WO2018173846A1 - 物体検出装置、物体検出方法および物体検出プログラム - Google Patents

物体検出装置、物体検出方法および物体検出プログラム Download PDF

Info

Publication number
WO2018173846A1
WO2018173846A1 PCT/JP2018/009643 JP2018009643W WO2018173846A1 WO 2018173846 A1 WO2018173846 A1 WO 2018173846A1 JP 2018009643 W JP2018009643 W JP 2018009643W WO 2018173846 A1 WO2018173846 A1 WO 2018173846A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
image
certainty factor
region
area
Prior art date
Application number
PCT/JP2018/009643
Other languages
English (en)
French (fr)
Inventor
大地 久田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/483,791 priority Critical patent/US11107231B2/en
Priority to JP2019507568A priority patent/JP6766950B2/ja
Publication of WO2018173846A1 publication Critical patent/WO2018173846A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to an object detection device, an object detection method, and an object detection program for detecting a predetermined target from an image.
  • an area frame called a sliding window is used to cut out an area that is smaller than the image area of the detected image from the image to be detected (hereinafter referred to as “detected image”), and cut out the detected area.
  • the detection accuracy is improved by means such as image classification.
  • Machine learning is a type of artificial intelligence and is an algorithm that enables computers to “learn”.
  • Machine learning analyzes model data created by humans (learning data with correct answer labels) and creates a prediction model.
  • Machine learning for creating a prediction model using such model data is generally called “supervised machine learning”.
  • supervised machine learning By using a predictive model, it is possible to obtain which label is classified for the data that is not labeled with the correct answer (the correct answer is unknown) and the probability value for each label. Predictions can be made.
  • a detection area as large as the target object to be detected is set for the detection image, and it is learned whether the target object exists in the detection area while moving the detection area. Judgment is made using the prediction model.
  • the movement distance is made too small, the number of areas where the detection areas overlap in the detection image increases. Then, it is often determined that the target object exists in many detection regions whose positions and the like are slightly different with respect to the same object. At this time, even if the object is not a target object, an erroneous determination may be made because the detection region includes only a part of the object.
  • the threshold value for the machine learning classification result threshold value for determining that the object is an object.
  • the moving distance in each direction of the detection area in the image (hereinafter collectively referred to as the sliding width) is a parameter that greatly affects the detection processing speed and the detection accuracy.
  • the sliding width is a parameter that greatly affects the detection processing speed and the detection accuracy.
  • the object is identified by a simple primary identification processing, and the secondary identification processing with a relatively large amount of computation based on the result. It is described that the position / scale (size) of the scan area in is determined. More specifically, the method described in Patent Document 1 uses a result of a primary identification process for determining the presence or absence of an object with respect to a specified area while changing the position or scale of the scan area. The position / scale of the scan area of the secondary identification process is determined so as to include substantially the entire object. As a result, even if a plurality of region candidates having slightly different positions are extracted from the same object, a substantially useless calculation is performed on the same object in the secondary identification process. Therefore, it is said that both the identification accuracy and the calculation amount can be reduced.
  • Patent Document 2 when a region that is a candidate image region of a category to be recognized (for example, a pedestrian or the like) is identified as a background image, a threshold value is set for the numerical value of reliability. It is described that only regions having the above reliability are output. At this time, the method described in Patent Document 2 describes that when a candidate exceeding a predetermined maximum number is detected, a threshold value with higher reliability is reset so as to be within the maximum number.
  • Patent Document 1 In the method described in Patent Document 1, it is necessary to perform unsupervised machine learning twice, that is, primary identification processing and secondary identification processing on one detected image, and an object is detected without omission in the primary identification processing. There is a need to. In order to perform the presence / absence determination of the target object with high accuracy in the primary identification process that is unsupervised machine learning, as described above, the sliding width and the size of the detection area need to be appropriately set. However, Patent Document 1 does not consider at all the compatibility between the identification accuracy of the object and the reduction of the calculation amount. Accordingly, the above-described problem similarly occurs with respect to the setting of the sliding width in the primary identification process.
  • the maximum number must be set appropriately.
  • the total number of detection regions varies depending on the sliding width, and it is difficult to set the maximum number appropriately.
  • an appropriate threshold value corresponding to the sliding width cannot be set.
  • the present invention has been made in view of the above-described problems, and when detecting a predetermined object using a prediction model from an arbitrary image, the detection processing is made efficient without reducing the detection accuracy. For the purpose.
  • the image detection apparatus is a certainty factor for each of the detection regions cut out from a plurality of positions of the first image using a predetermined prediction model from the first image whose coordinates of the detection target are known, Based on the first object detection means for acquiring the certainty level indicating the certainty that the detection target exists within the detection area and the certainty level acquired from the first image, the presence or absence of the detection target is unknown.
  • the image detection method has a certainty factor for each of the detection areas cut out from a plurality of positions of the first image using a predetermined prediction model from the first image whose coordinates of the detection target are known. Then, a certainty factor indicating the certainty that the detection target exists in the detection region is acquired, and based on the certainty factor acquired from the first image, the detection target is detected from the second image whose presence or absence of the detection target is unknown.
  • a parameter used when detecting an object including a detection threshold value that is a threshold value for certainty, and narrowing down detection area candidates as a detection area extraction source from the entire second image area based on the parameter
  • a detection threshold value that is a threshold value for certainty
  • narrowing down detection area candidates as a detection area extraction source from the entire second image area based on the parameter To obtain a certainty factor for each of the detection regions cut out from the narrowed detection region candidates using a prediction model, and to detect a detection object based on the obtained certainty factor.
  • the image detection program allows a computer to be sure of each detection region cut out from a plurality of positions of the first image using a predetermined prediction model from the first image whose coordinates of the detection target are known.
  • the presence or absence of the detection object based on the first object detection process for acquiring the certainty level indicating the certainty that the detection target is present in the detection area and the certainty level acquired from the first image Is a parameter used when detecting a detection target object from an unknown second image and includes a parameter determination process for determining a parameter including a detection threshold value that is a threshold value for the certainty factor, and from the entire second image region based on the parameter
  • each detection area that is cut out from the narrowed-down detection area candidates is used. Get the confidence Te, characterized in that to execute the second object detection process of detecting a detection object based on the acquired confidence.
  • the detection process when a predetermined object is detected from an arbitrary image using a prediction model, the detection process can be performed efficiently without reducing the detection accuracy.
  • FIG. 1 is a block diagram illustrating an example of the object detection device 100 according to the first embodiment.
  • the object detection apparatus 100 includes a detection model storage unit 1, a detection image storage unit 2, a parameter adjustment image storage unit 3, an object detection unit 4, a certainty factor calculation unit 5, and a certainty factor.
  • the detection model storage unit 1 stores a learned machine learning model (prediction model) used for object detection.
  • the detected image storage unit 2 stores the detected image.
  • the detected image storage unit 2 may store one or a plurality of detected images.
  • the parameter adjustment image storage unit 3 stores a parameter adjustment image that is an image used to determine the window setting parameter.
  • the number of parameter adjustment images stored in the parameter adjustment image storage unit 3 may be one or plural.
  • the parameter adjustment image is, for example, an image including an object as a subject. It is more preferable that the parameter adjustment image includes an object having the same size as the object to be detected from the detection image.
  • the parameter adjustment image is used as learning data in supervised machine learning described later.
  • the parameter adjustment image storage unit 3 stores, for example, one or more parameter adjustment images and the coordinates (hereinafter referred to as “correct answer coordinates”) of an area where the object exists in each parameter adjustment image.
  • the window setting parameter is a parameter for determining a detection area to be passed to machine learning, and includes at least information indicating a sliding width to be used and a detection threshold at that time.
  • an index “granularity” is used as an identifier for identifying the sliding width.
  • the granularity is an index indicating the degree of fineness of extraction of the detection area in the object detection process for an image that is a target of the object detection process described later.
  • the larger the value the smaller the sliding width, that is, the smaller the moving distance, and the more the detection area is cut out.
  • the expression of the number of levels of granularity may be used, but the “number of levels” indicates how many granularities are used for one object detection process (number of granularities).
  • the next higher particle size is represented with respect to the currently set particle size. Further, for example, when the particle size level is 1, it represents the coarsest (lowest) particle size among the used particle sizes.
  • the detection threshold value is an index indicating the probability that the target object is present in the detection region output from the certainty factor calculation unit 5 described later, and the target object is present in the detection region in the subsequent process. Then, it is a threshold value used as a criterion for determination. For example, if the certainty factor for a certain detection area is equal to or greater than the detection threshold, the subsequent process may be determined that an object exists in the detection area.
  • the object detection unit 4 performs an object detection process described later on the input image.
  • the object detection unit 4 performs the following two processes according to the type of input image.
  • the object detection unit 4 moves the sliding window with respect to each detection region while moving the sliding window using a sliding width corresponding to two or more predetermined adjustment granularities t for the entire input image. Then, a certainty factor based on an output value indicating a classification result from machine learning is acquired, and a detection result is output based on the result.
  • the object detection unit 4 sends the certainty factor in each detection region to the detection threshold value determination unit 7 as a detection result for each granularity t.
  • the region threshold value is a threshold value of the area occupancy rate of the actual target object in the detection region for determining that each detection region is an object region in which the object exists in the first object detection process. For example, if the region threshold is 0.5, the object area that is the area (number of pixels) of the region where the object actually exists is 50% or more with respect to the total area (number of pixels) of the detection region. For example, it is determined that the detection area is an object area.
  • the detection threshold which is a parameter for object detection, is adjusted in the subsequent processing.
  • the object detection unit 4 uses the sliding width and detection threshold indicated by the specified window setting parameter for the input image, and outputs an output value indicating the classification result from machine learning while moving the sliding window. Based on the result, the detection result is output.
  • the object detection unit 4 stores the coordinates of the object in the detection image as a detection result in the detection result storage unit 10.
  • the identifier of the target image and the coordinates of the detection region are sent to the certainty factor calculation unit 5 as a reply. Take the way to get.
  • the certainty factor calculation unit 5 performs the following two processes based on the coordinates of the detection area sent from the object detection unit 4 and the identifier of the target image.
  • the certainty factor storage unit 6 stores the certainty factor of the detection region of the coordinate within the distance within the movement threshold R with respect to the same image for the same image, the certainty factor calculation unit 5 is stored Reply with confidence.
  • the certainty factor calculating unit 5 performs machine learning Is used to calculate the certainty for the detection area of the sent coordinates.
  • the certainty factor calculation unit 5 uses, for example, a learned machine learning model (prediction model) stored in the detection model storage unit 1 and image data (pixel values, etc.) around the detection region coordinates to detect the detection. Calculate confidence for the region.
  • a learned machine learning model outputs a value close to 1 if the input image is similar to the learned image, and a value close to 0 otherwise.
  • the certainty factor calculation unit 5 may send the machine learning output value to the object detection unit 4 as the certainty factor.
  • the certainty factor calculation unit 5 stores the certainty factor calculated here in the certainty factor storage unit 6 by using the identifier of the image and the coordinates of the detection region as a key, and the reliability calculation for the coordinate peripheral region from the next time onward. To prevent.
  • the certainty factor storage unit 6 stores the identifier of the image, the coordinates of the detection area, and the certainty factor in association with each other.
  • the detection threshold value determination unit 7 When the detection threshold value determination unit 7 receives from the object detection unit 4 the certainty factor for each detection region for each granularity t with respect to all parameter adjustment images as a result of the first object detection process, the detection threshold value determination unit 7 Based on the above, a detection threshold Dth (t) for each granularity is determined. Further, the detection threshold value determination unit 7 calculates the number of object areas detected count (t) at each granularity based on the determined detection threshold value Dth (t).
  • the detection threshold value storage unit 8 stores the detection number count (t) and the detection threshold value Dth (t) for each granularity obtained by the detection threshold value determination unit 7.
  • the parameter setting unit 9 Based on the information stored in the detection threshold storage unit 8, the parameter setting unit 9 detects the detection granularity j that is the granularity used in the second object detection processing for the detected image and the detection threshold Dth (j) at each detection granularity. Is transmitted to the object detection unit 4 as a window setting parameter.
  • the detection result storage unit 10 stores the result of the second object detection process.
  • the detection result storage unit 10 stores, for example, the identifier of the detected image and the coordinates of the object detected from the image.
  • FIG. 2 a case where a predetermined object such as a ship is detected from a detection image such as a satellite image will be described as an example.
  • a detection area having a smaller size is cut out with a sliding window.
  • machine learning is applied to each of the cut-out detection areas, and the coordinates of the object are detected from the detection image based on the certainty factor for the object in each obtained detection area.
  • the horizontal width and vertical width of the detection area are represented by W and H, respectively, and the horizontal width and vertical width of the entire detection image from which the detection area is cut out are represented by PW and PH, respectively.
  • the object detection apparatus 100 performs a first object detection process using the adjustment granularity t on the parameter adjustment image (step S01).
  • the object detection unit 4 and the certainty factor calculation unit 5 perform the first object detection process using the adjustment granularity t, and obtain the certainty factor for each detection region corresponding to a plurality of types of sliding widths. .
  • the object detection apparatus 100 obtains the detection threshold and the number of detected objects at each granularity t based on the result of step S01 and the correct coordinates attached to the parameter adjustment image (step S02).
  • the detection threshold value determination unit 7 identifies an object region based on the certainty factor and correct coordinates for each detection region for each parameter adjustment image, and based on the identification result, the granularity The detection threshold value and the number of detected objects for each are obtained.
  • the object detection apparatus 100 determines the window setting parameter used for the detected image based on the result of step S02 (step S03).
  • the parameter setting unit 9 determines the detection granularity j used for the detected image and the corresponding detection threshold based on the detection threshold and the number of detected objects for each granularity obtained by the detection threshold determination unit 7.
  • the object detection apparatus 100 performs a second object detection process on the detected image using the detection granularity j and the detection threshold indicated by the window setting parameter determined in step S03, and the object is detected from the detected image.
  • the object detection unit 4 performs a process of detecting an object by machine learning while narrowing the detection object with respect to the detected image using the designated sliding width and detection threshold.
  • the object detection part 4 stores the coordinate of the target object in a detection image in the detection result memory
  • FIG. 4 is a flowchart illustrating an example of a processing flow of the detection threshold adjustment processing.
  • the object detection unit 4 performs a first object detection process.
  • the object detection unit 4 sets each of the operation parameters of the first object detection process to an initial value (step S101).
  • the object detection unit 4 receives, for example, the detection area sizes W and H used for the first object detection processing, the initial values SW 1 and SH 1 of the sliding widths SW and SH, and the initial value a 1 of the area threshold value a. Then, they are set as operation parameters. Also, the adjustment granularity t is set to the initial level 1.
  • the object detection unit 4 selects one image from the parameter adjustment image storage unit 3 (step S102). Then, the object detection unit 4 acquires the certainty factor of the object for each detection region from the certainty factor calculation unit 5 while moving the detection region by SW and SH within the range indicated by the scope for the selected image. (Step S103: sliding window process). Details of the sliding window process in step S103 will be described later.
  • step S104 the object detection unit 4 determines whether or not the acquisition of the certainty factor for each detection region at the granularity t has been completed for all the parameter adjustment images. If not completed (No in step S104), the process returns to step S102, the next parameter adjustment image is selected, and the same processing is repeated. On the other hand, if completed (Yes in step S104), the process proceeds to step S105.
  • step S105 the detection threshold value determination unit 7 based on the detection result for each parameter adjustment image acquired in step S103 and the object coordinates (correct coordinates) stored in the parameter adjustment image storage unit 3. Identify the object area. For example, for each parameter adjustment image, the detection threshold value determination unit 7 compares the coordinates of the set detection area with the correct coordinates, and any object is set to the area threshold value a with respect to the area of each detection area.
  • the detection regions included above may be specified as object regions, the number of the detection regions may be counted, and the certainty factor may be collected.
  • the detection threshold value determination unit 7 obtains the detection number count (t) and the detection threshold value Dth (t) for the granularity t based on the number of object regions and the certainty factor in each collected image (step S106).
  • the minimum value is set as the detection threshold value Dth (t) at the granularity t
  • the total number of object regions of all the collected images is set as the detection number count (t) at the granularity t.
  • the detection threshold value determination unit 7 stores the detection number count (t) and the detection threshold value Dth (t) thus obtained in the detection threshold value storage unit 8.
  • the object detection unit 4 may determine the presence / absence of the next level of adjustment granularity based on whether SW or SH is 2 or less in step S107. In this case, if the current SW or SH is 2 or less, the process proceeds to step S109; otherwise, the process proceeds to step S108. Note that the value of each parameter at the next level of the granularity t is not limited to the above example.
  • step S109 the detection count count (t) and the detection threshold value Dth (t) at all the granularities t are stored in the detection threshold value storage unit 8, and the detection threshold value adjustment process is terminated.
  • FIG. 5 is a flowchart illustrating an example of a processing flow of the window setting parameter determination processing.
  • the parameter setting unit 9 acquires the detection threshold Dth (t) and the detection number count (t) for each adjustment granularity t stored in the detection threshold storage unit 8 (step S201).
  • the parameter setting unit 9 determines the average detection number DCount at the detection granularity j based on the detection number count (t) (step S202).
  • the parameter setting unit 9 may, for example, sum the detection numbers count (t) for all the particle sizes t and set the value obtained by dividing the total ⁇ count by a specific Dt as the average detection number DCount of detection particles.
  • FIG. 6 is an explanatory diagram showing a calculation example of the average detection number DCount of the detection granularity.
  • the parameter setting unit 9 determines a granularity t j that is a level boundary in the detected granularity j (step S203).
  • FIG. 7 is an explanatory diagram showing an outline of a method for determining the granularity t j based on the average detection number DCount of detection granularities.
  • the position where the total number of detections ⁇ count at the granularity t is equally divided into Dt is regarded as an ideal level boundary, and the granularity t closest to it is the granularity t j that becomes the level boundary at the detection granularity j. You may decide to.
  • the parameter setting unit 9 determines a sliding width and a detection threshold for each detection granularity j based on the determined granularity t j (step S204).
  • the parameter setting unit 9 generates, for example, a window setting parameter including information indicating the granularity t j that is the detection granularity j, and information indicating the SW, SH, and detection threshold for each detection granularity j as information of the detection granularity j. May be.
  • FIG. 8 is a flowchart illustrating an example of a process flow of the second object detection process.
  • the window setting including information indicating the SW, SH, and detection threshold value Dth for each detection granularity j determined in the above-described window setting parameter determination process together with the detection image in the object detection unit 4. Assume that parameters are entered.
  • the second object detection process is called at least for the number of detected images.
  • the object detection unit 4 moves the detection region by SW and SH within the range indicated by the scope with respect to the input detection image, and calculates the certainty factor of the object with respect to each detection region. (Step S302: sliding window process).
  • the object detection unit 4 specifies an object region based on the detection result acquired in step S302 and determines a detection range at the next granularity (steps S303 to S305).
  • the object detection unit 4 determines whether or not there is a detection region having a certainty factor equal to or greater than the detection threshold Dth (j) (step S303). If it exists (Yes in step S303), all of the detection areas are set as detection target areas at the next level of the detection granularity j (step S304). If it does not exist (No in step S303), the process moves to step S306.
  • the other operation parameters SW, SH, and Dth are also updated in accordance with the update of the detection granularity j.
  • a part indicating a partial area is set.
  • step S305 the process returns to step S302.
  • step S305 When the sliding window process is completed for all the detection granularities (Yes in step S305), the detection area remaining as the detection target area is the object area, and the coordinates of the object area are stored in the detection result storage unit 10. Store (step S306).
  • FIG. 9 is a flowchart showing an example of the processing flow of the sliding window processing by the object detection unit 4. Note that this example is an example of processing called when the sliding window processing is performed on the entire image in step S103 or step S302 described above.
  • the object detection unit 4 first sets the coordinates (x, y) of the detection area to (0, 0) as shown in FIG. 9 (step S511).
  • the coordinates (x, y) represent the center coordinates of the detection area, and the center coordinates include an error corresponding to the movement threshold R.
  • the object detection unit 4 passes the coordinates (x, y) to the certainty factor calculation unit 5 and acquires the certainty factor in the detection region (step S512).
  • the process flow of the certainty factor acquisition process in the certainty factor calculation unit 5 will be described later.
  • the object detection unit 4 shifts the detection area coordinates (x, y) horizontally by SW (step S513).
  • step S515 the object detection unit 4 determines whether x exceeds PW + W (step S514). If not exceeded (No in step S514), the process returns to step S512 to obtain the certainty factor at the updated coordinates (x, y). On the other hand, if it exceeds (Yes in step S514), the process proceeds to step S515 in order to perform the vertical sliding direction.
  • step S515 the object detection unit 4 returns x to the initial value 0, and then shifts the detection region coordinates (x, y) vertically by SH.
  • step S517 the object detection part 4 determines whether y exceeded PH + H (step S516). If not exceeded (No in step S516), the process returns to step S512 to obtain the certainty factor at the updated coordinates (x, y). On the other hand, if it exceeds (Yes in step S516), it is determined that the detection process has been completed for all the target areas, and the process proceeds to step S517.
  • step S517 the object detection unit 4 outputs a set of the coordinates (x, y) and the certainty factor of the detection area obtained so far as a detection result.
  • FIG. 10 is a flowchart showing an example of the processing flow of the sliding window processing by the object detection unit 4. Note that this example is an example of processing called when the sliding window processing is performed on the partial region of the image in step S302 described above.
  • the object detection unit 4 first sets the coordinates (x, y) of the detection region to (x c , y c ) (step S521).
  • the coordinates (x, y) represent the center coordinates of the detection area, and the center coordinates include an error corresponding to the movement threshold R.
  • the coordinates (x c , y c ) specify the center coordinates of one of the detection areas that are set as detection target areas as a result of the previous sliding window process.
  • the object detection unit 4 passes the coordinates (x, y) to the certainty factor calculation unit 5 and acquires the certainty factor in the detection region (step S522).
  • the object detection unit 4 shifts the detection area coordinates (x, y) horizontally by SW (step S523).
  • step S524 determines whether x exceeds x c + W (step S524). If not exceeded (No in step S524), the process returns to step S522, and the certainty factor is obtained from the updated coordinates (x, y). On the other hand, if it exceeds (Yes in step S524), the process proceeds to step S525 in order to perform the vertical sliding direction.
  • step S525 the object detection unit 4, after returning the x to the initial value x c, shifted SH content detection area coordinates (x, y) in the vertical.
  • step S526 determines whether y exceeds y c + H (step S526). If not exceeded (No in step S526), the process returns to step S522, and the certainty factor is obtained with the updated coordinates (x, y). On the other hand, if it exceeds (Yes in step S526), it is determined that the detection process has been completed for all target regions, and the process proceeds to step S527.
  • step S527 the object detection unit 4 outputs a set of the coordinates (x, y) and the certainty factor of the detection area obtained so far as a detection result.
  • FIG. 11 is a flowchart showing an example of the processing flow of the certainty factor acquisition process in the certainty factor calculation unit 5.
  • the certainty calculation section 5 is confident that the certain image has the certainty that the detection area coordinates are within the movement threshold R. Whether it is stored in the degree storage unit 6 is checked (step S601). If stored (Yes in step S601), the stored certainty factor is output (step S605).
  • the certainty factor calculation unit 5 calculates the certainty factor based on the detection region coordinates.
  • the certainty factor calculation unit 5 cuts out a rectangular area having a width W and a height H centered on the detection area coordinates (x, y) from the detection image (step S602). Specifically, a rectangular area (x ⁇ W / 2, y ⁇ H / 2, x + W / 2, y + H / 2) is cut out.
  • the certainty factor calculation unit 5 classifies the images using the object detection model with respect to the cut-out rectangular area image, calculates the certainty factor (step S603), and stores the calculation result in the certainty factor storage unit 6 ( Step S604). In step S605, the calculated certainty factor is output.
  • the sliding width is automatically adjusted based on the obtained certainty factor, and the object is detected. It is possible to detect an object by efficient calculation while narrowing down places where there is likely to be. At that time, by setting the appropriate detection granularity, that is, sliding width and detection threshold, based on the detection results obtained by supervised machine learning, fewer determinations can be made while maintaining the detection accuracy that is the average number of detections. Object detection can be performed by processing.
  • the method of this embodiment is used to finely cut out a detection area from a detection image with a sliding window and classify the detection area cut out using supervised machine learning into a predetermined category, learning used for the machine learning is performed. Data can be expanded and filtered.
  • the detection area is moved in a direction in which the certainty factor increases in the second and subsequent sliding processes in the second object detection process.
  • the machine learning model (prediction model) is not trained with the binary of “with object (1)” or “without object (0)”, but in the detection region. Learning to output a value based on how much the object is included.
  • the detection area initial position calculation method in the second object detection process is different from that in the first embodiment. That is, in the present embodiment, the detection area is moved with a relatively large size (for example, the same width as the size of the detection area) with respect to the entire image, and the coordinates at which the certainty factor is greater than the detection threshold are set to the initial value of the detection area. Let it be the position (detection target area of the second detection process).
  • the adjustment granularity t is fixed to one, and the same setting as the initial granularity of the second object detection processing (for example, with the same width as the size of the detection region). Set to move).
  • the movement direction and the movement amount of the detection area are determined as follows in the second and subsequent detection processes.
  • the certainty factor at each point in each direction (for example, eight directions in the up, down, left, and right diagonal directions) considered as the movement destination in the detection area is calculated and determined based on the obtained certainty factor. For example, you may always move to the direction with the highest certainty degree, and you may determine a moving direction stochastically based on certainty degree.
  • the certainty factor is large, there is a high possibility that the object is nearby. Therefore, the larger the certainty factor, the smaller the moving amount, and conversely, the smaller the certainty factor, the larger the moving amount.
  • One or more threshold values may be prepared for the certainty factor, and a predetermined movement amount may be set depending on whether or not each threshold value is exceeded.
  • FIG. 12 is a flowchart illustrating an example of a processing flow of detection threshold adjustment processing according to the second embodiment. The same operations as those in the detection threshold value adjustment process of the first embodiment shown in FIG.
  • the object detection unit 4 performs a first object detection process.
  • the object detection unit 4 sets each of the operation parameters of the first object detection process to an initial value (step S111).
  • the object detection unit 4 receives, for example, the detection area sizes W and H used for the first object detection processing, the initial values SW 1 and SH 1 of the sliding widths SW and SH, and the initial value a 1 of the area threshold value a. Then, they are set as operation parameters. Also, the adjustment granularity t is set to the initial level 1.
  • Steps S102 to S105 are the same as those in the first embodiment. That is, the object detection unit 4 acquires the certainty factor for each detection region at the current granularity for all parameter adjustment images, and the detection threshold value determination unit 7 based on the result and the correct coordinates, Identify the object area.
  • the detection threshold value determination unit 7 determines a detection threshold value in the granularity based on the identified object region (step S112). Also in this embodiment, the detection threshold value determination part 7 should just make the minimum value among the reliability of an object area
  • the parameter setting unit 9 generates, for example, a window setting parameter including information indicating the granularity t j that is the detection granularity j and information indicating the SW, SH, and the detection threshold of the detection granularity j as information of the detection granularity j. May be.
  • FIG. 13 and FIG. 14 are flowcharts showing an example of the processing flow of the second object detection processing in the present embodiment.
  • the second object detection process is called at least for the number of detected images.
  • the object detection unit 4 sets each operation parameter of the second object detection process to an initial value (step S311).
  • step S302 and step S303 is the same as that in the first embodiment.
  • the object detection unit 4 If there is no detection region having a certainty factor equal to or greater than the detection threshold Dth in step S303, the object detection unit 4 outputs a detection result indicating that the target object does not exist in the detection image, and ends the process (step S303). No in S303, Step S312).
  • the object detection unit 4 sets the detection region as a detection region initial position (step S313).
  • the processing from step S311 to step S313 may be referred to as detection region candidate initial position determination processing.
  • the object detection unit 4 selects one of the detection region initial positions set in the detection region candidate initial position determination process (step S314), and sets the detection region to the detection region initial position (step S314). Step S315).
  • the object detection unit 4 acquires the certainty factor around the detection area (step S316). For example, the object detecting unit 4 calculates the certainty factor by designating the coordinate obtained by adding a predetermined amount equal to or larger than the movement threshold R to the direction of the center coordinate of the current detection region for each movable direction. You may acquire from the part 5.
  • the object detection part 4 determines a moving direction and a moving amount based on the acquired certainty factor (step S317, step S318).
  • the object detection unit 4 repeats the above process while the movement amount from the initial position exceeds the movement threshold R (No in step S319, returns to step S315).
  • the movement amount from the initial position is equal to or less than the movement threshold R
  • the coordinates of the detection region are stored as object coordinates in the detection result storage unit 10 (Yes in step S319, step S320).
  • the object detection unit 4 performs the detection process of step S315 to step S320 for all detection region candidates (No in step S321, returns to step S314).
  • the object detection unit 4 outputs a detection result with the coordinates of the detection region stored so far as object coordinates (Ste S322).
  • the number of times of calculation of confidence can be further reduced as compared with the method of the first embodiment.
  • FIG. 15 is a schematic block diagram illustrating a configuration example of a computer according to the embodiment of the present invention.
  • the computer 1000 includes a CPU 1001, a main storage device 1002, an auxiliary storage device 1003, an interface 1004, a display device 1005, and an input device 1006.
  • the above-described object detection device may be mounted on the computer 1000, for example.
  • the operation of each device may be stored in the auxiliary storage device 1003 in the form of a program.
  • the CPU 1001 reads out the program from the auxiliary storage device 1003 and develops it in the main storage device 1002, and executes the predetermined processing in the above embodiment according to the program.
  • the auxiliary storage device 1003 is an example of a tangible medium that is not temporary.
  • Other examples of the non-temporary tangible medium include a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory connected via the interface 1004.
  • the computer that has received the distribution may develop the program in the main storage device 1002 and execute the predetermined processing in the above embodiment.
  • the program may be for realizing a part of predetermined processing in each embodiment.
  • the program may be a difference program that realizes the predetermined processing in the above-described embodiment in combination with another program already stored in the auxiliary storage device 1003.
  • the interface 1004 transmits / receives information to / from other devices.
  • the display device 1005 presents information to the user.
  • the input device 1006 accepts input of information from the user.
  • some elements of the computer 1000 may be omitted. For example, if the device does not present information to the user, the display device 1005 can be omitted.
  • each device is implemented by general-purpose or dedicated circuits (Circuitry), processors, etc., or combinations thereof. These may be constituted by a single chip or may be constituted by a plurality of chips connected via a bus. Moreover, a part or all of each component of each device may be realized by a combination of the above-described circuit and the like and a program.
  • each device When some or all of the constituent elements of each device are realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged. Also good.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • FIG. 16 is a block diagram showing an outline of the object detection apparatus of the present invention.
  • the object detection apparatus 50 of the present invention may include a first object detection unit 501, a parameter determination unit 502, and a second object detection unit 503.
  • the first object detection unit 501 (for example, the first object detection processing portion of the object detection unit 4) uses a predetermined prediction model for the first image whose coordinates of the detection target are known, and uses the first prediction model. A certainty factor is obtained for each detection region cut out from a plurality of positions of the image and indicates a certainty that the detection target exists in the detection region.
  • the parameter determination unit 502 detects the detection target from the second image whose presence or absence of the detection target is unknown based on the certainty factor acquired from the first image. Parameters that are used in the determination, including a detection threshold that is a threshold for the certainty factor.
  • the second object detection means 503 (for example, the second object detection processing portion of the object detection unit 4) narrows down detection area candidates from which the detection area is cut out from the entire second image area based on the parameters. Then, using the prediction model, the certainty factor is acquired for the detection region cut out from the detection region candidate, and the detection target is detected based on the acquired certainty factor.
  • the detection region candidates can be appropriately narrowed down to positions where the detection target object is likely to exist with respect to the second image. Therefore, when a predetermined target is detected from an arbitrary image using a prediction model Thus, the detection process can be made more efficient without degrading the detection accuracy.
  • Parameter determination means for determining a parameter including a detection threshold that is a threshold for certainty, which is a parameter used when detecting an object, and to extract a detection region from the entire second image region based on the parameter After narrowing down the detection area candidates, using the prediction model, obtain the certainty factor for each of the detection areas cut out from the narrowed detection area candidate, and detect based on the obtained certainty degree
  • Object detecting apparatus characterized by comprising a second object detecting means for detecting.
  • the parameter determination means sets a detection area in which the detection object is present in a predetermined area ratio or more based on the coordinates of the detection object in the first image as an object area, and sets a minimum certainty factor in the object area as a detection threshold.
  • the object detection apparatus according to Supplementary Note 1 or Supplementary Note 2, which is determined as follows.
  • the second object detection means acquires the certainty factor for the entire image as a detection region candidate for the same image at the first time, and the second certainty is equal to or greater than the detection threshold value after the second time.
  • the object detection device according to any one of appendix 1 to appendix 3, wherein the detection area is selected as a detection area candidate and the certainty factor is acquired.
  • the first object detection means uses three or more adjustment granularities each corresponding to a different sliding width, makes the entire first image a detection area candidate for each adjustment granularity, and determines the certainty factor.
  • the parameter determination means determines two or more detection granularities and detection thresholds for each detection granularity based on the certainty factor of each detection region and the coordinates of the detection target for each adjustment granularity acquired from the first image.
  • the second object detection means obtains the certainty factor from the detection area candidate using the sliding width and the detection threshold corresponding to one detection granularity selected from the two or more detection granularities in descending order of the sliding width.
  • the object detection apparatus according to appendix 4, wherein the next detection area candidate is determined.
  • the parameter determination means obtains the number of object regions, which are detection regions where the detection threshold and the detection target exist, for each adjustment particle size, and based on the average number of detections in each detection particle size obtained from the number of object regions.
  • the object detection device according to appendix 5, wherein two or more detection particle sizes are determined from the adjustment particle sizes.
  • the first object detection means acquires the certainty factor using the entire first image as a detection area candidate using one adjustment granularity corresponding to a predetermined sliding width, and the parameter determination means Based on the certainty factor acquired from one image and the coordinates of the detection target, a detection threshold for the adjustment granularity is obtained, and the adjustment granularity and the detection threshold are used as the detection granularity and the detection threshold.
  • the entire image is made a detection area candidate, and the detection area is extracted from the detection area candidate using the sliding width and the detection threshold corresponding to the detection granularity.
  • each detection area candidate is first Start the movement of the detection area from the position and determine the movement direction and amount of the detection area in each detection area candidate based on the certainty obtained from the vicinity of the position of the detection area before the movement.
  • the object detection apparatus according to supplementary note 1 or supplementary note 2, wherein the certainty factor in the detection region is acquired.
  • the object detection apparatus according to any one of appendix 1 to appendix 7, wherein the first object detection unit and the second object detection unit acquire the certainty factor using the certainty factor calculation unit.
  • An object detection method characterized in that, using a prediction model, a certainty factor is obtained for each detection region cut out from the narrowed detection region candidates, and a detection target is detected based on the obtained certainty factor.
  • the present invention can also be suitably applied to a case where a detection target is detected using a prediction model other than a learned machine learning model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

物体検出装置は、検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度を取得する第１の物体検出手段５０１と、取得された確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定手段５０２と、決定されたパラメータを基に第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、絞り込まれた検出領域候補から切り出される検出領域の各々に対して確信度を取得し、取得した確信度を基に検出対象物を検出する第２の物体検出手段５０３とを備える。

Description

物体検出装置、物体検出方法および物体検出プログラム
　本発明は、画像から所定の対象物を検出する物体検出装置、物体検出方法および物体検出プログラムに関する。
　近年、教師あり機械学習による画像分類手法を利用して、任意の画像から対象物を検出する手法が広く用いられている。当該手法では、スライディングウィンドウと呼ばれる領域枠を利用して、検出対象とされる画像（以下、「検出画像」という）から検出画像の画像領域よりも小さな領域を検出領域として切り出し、切り出した検出領域に対して画像分類を行うなどの工夫により、検出精度の向上が図られている。
　機械学習は、人工知能の一種であり、コンピュータに「学習」を可能にするアルゴリズムである。機械学習は、人間が作ったお手本データ（正解ラベル付きの学習データ）を分析し、予測モデルを作成する。このようなお手本データを用いて予測モデルを作成する機械学習は一般に「教師あり機械学習」と呼ばれている。予測モデルを用いることにより、正解ラベルが付されていない（正解が未知の）データに対して、どのラベルに分類されるかや各ラベルに対する確率値などを得ることができるため、将来の値に対する予測などを行うことができる。
　対象物検出システムでは、検出画像に対して、検出したい対象物と同じくらいの大きさの検出領域を設定し、検出領域を移動させながら検出領域に対象物が存在するか否かを、学習済みの予測モデルを用いて判定する。
　例えば、画像内において対象物を二分するような検出領域が設定された場合、当該検出領域に対して対象物があると判定されない可能性がある。このような検出漏れをなくすには、検出領域を画像全体に対して上下左右に少しずつ動かしながら対象物の有無を判定すればよいが、移動する度に判定処理が行われるため、移動する回数が増えると画像１枚に対して検出にかかる処理時間が増加する。一方、検出にかかる処理時間を効率化するには、検出領域を大きく動かすなどして判定回数を減らせばよいが、移動距離が大きくなると対象物を見逃しやすくなり、検出漏れのリスクが高くなる。
　さらには、移動距離を小さくしすぎると、検出画像において検出領域が重複する領域の数が増加する。すると、同一の物体に対して位置等がわずかに異なる多くの検出領域で、対象物が存在すると判定されることも多くなる。このとき、該物体が対象物でない場合であっても、検出領域が物体の一部しか含んでいない等の理由から誤判定される場合がある。このように、スライディング幅が小さくなると、対象物でない物体を対象物であると誤判定する機会が増し、その結果、誤検出が増えて検出精度が悪くなることがある。これを防ぐために、機械学習の分類結果に対する閾値（対象物と判定するための閾値）を上げることも考えられるが、閾値を上げると対象物の検出漏れが起きやすくなる。
　このように、画像内における検出領域の各方向における移動距離（以下、まとめてスライディング幅と呼ぶ）は、検出の処理速度と検出精度に大きく影響があるパラメータである。しかし、そのようなパラメータに対して、任意の画像において検出精度を高めつつ、検出にかかる処理を効率化できるような値を設定するのは容易ではない。例えば、いくつかの画像に対してスライディング幅を調整しながら検出処理を繰り返して適切な値に設定するなどの試行錯誤が必要であった。
　対象物の識別精度と演算量の低減の両立に関して、例えば、特許文献１には、簡易な一次識別処理によって対象物を識別し、その結果を基に演算量が相対的に多い二次識別処理におけるスキャン領域の位置・スケール（大きさ）を決定することが記載されている。より具体的には、特許文献１に記載の方法は、スキャン領域の位置またはスケールを変更しながら指定された領域に対して対象物の存否判定を行う一次識別処理の結果を利用して、対象物の略全体を含むように二次識別処理のスキャン領域の位置・スケールを決定する。これにより、同一の対象物に対して位置等がわずかに異なった複数の領域候補が抽出された場合であっても、２次識別処理で同一対象物に対して実質的に無駄な演算を実行せずに済むため、識別精度と演算量の低減が両立できるとされている。
　また、例えば、特許文献２には、認識対象となるカテゴリ（例えば、歩行者等）の画像領域の候補となる領域を背景画像と識別する際に、信頼度の数値に閾値を設定し、閾値以上の信頼度を持つ領域のみを出力させることが記載されている。このとき、特許文献２に記載の方法は、予め定めた最大個数を超える候補が検出された場合には、最大個数に収まるようにより高い信頼度の閾値を再設定することが記載されている。
国際公開第２０１４／１０３４３３号公報 特開２０１５－０４９７０２号公報
　特許文献１に記載の方法は、１つの検出画像に対して一次識別処理と二次識別処理の２回の教師なし機械学習を行う必要があり、かつ一次識別処理で、対象物を漏れなく検出する必要がある。教師なし機械学習である一次識別処理で、高精度に対象物の存否判定を行うためには、上述したように、スライディング幅および検出領域の大きさが適切に設定される必要がある。しかし、特許文献１にはその際の対象物の識別精度と演算量の低減の両立については何ら考慮されていない。したがって、一次識別処理のスラインディング幅の設定について、上述したような問題が同様に発生する。
　また、特許文献２に記載の方法は、最大個数が適切に設定されていなければならない。しかし、例えば、スライディング幅が都度変更されるようなシステムでは、スライディング幅に応じて検出領域の総数が変動するため、最大個数を適切に設定することは困難である。このように、検出個数を基準にして信頼度の閾値を定める方法では、スライディング幅に応じた適切な閾値を設定することはできない。
　本発明は、上述した課題に鑑みてなされたものであり、任意の画像から予測モデルを用いて所定の対象物を検出する際、検出精度を低下させずに、検出にかかる処理を効率化することを目的とする。
　本発明による画像検出装置は、検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第１の物体検出手段と、第１画像から取得される確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定手段と、パラメータを基に第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、絞り込まれた検出領域候補から切り出される検出領域の各々に対して確信度を取得し、取得した確信度を基に検出対象物を検出する第２の物体検出手段とを備えたことを特徴とする。
　また、本発明による画像検出方法は、検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得し、第１画像から取得される確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定し、パラメータを基に第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、絞り込まれた検出領域候補から切り出される検出領域の各々に対して確信度を取得し、取得した確信度を基に検出対象物を検出することを特徴とする。
　また、本発明による画像検出プログラムは、コンピュータに、検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第１の物体検出処理、第１画像から取得される確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定処理、およびパラメータを基に第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、絞り込まれた検出領域候補から切り出される検出領域の各々に対して確信度を取得し、取得した確信度を基に検出対象物を検出する第２の物体検出処理を実行させることを特徴とする。
　本発明によれば、任意の画像から予測モデルを用いて所定の対象物を検出する際、検出精度を低下させずに、検出にかかる処理を効率化できる。
第１の実施形態の物体検出装置１００の例を示すブロック図である。 検出画像の例を示す説明図である。 第１の実施形態の物体検出装置１００の動作の概略を示すフローチャートである。 第１の実施形態の検出閾値調整処理の処理フローの一例を示すフローチャートである。 第１の実施形態のウィンドウ設定パラメータ決定処理の処理フローの一例を示すフローチャートである。 検出粒度の平均検出数ＤＣｏｕｎｔの算出例を示す説明図である。 検出粒度の平均検出数ＤＣｏｕｎｔに基づく粒度ｔｊの決定方法の概要を示す説明図である。 第１の実施形態の第２の物体検出処理の処理フローの一例を示すフローチャートである。 スライディングウィンドウ処理（画像全体）の処理フローの一例を示すフローチャートである。 スライディングウィンドウ処理（部分領域）の処理フローの一例を示すフローチャートである。 確信度計算部５における確信度の取得処理の処理フローの一例を示すフローチャートである。 第２の実施形態の検出閾値調整処理の処理フローの一例を示すフローチャートである。 第２の実施形態の第２の物体検出処理の処理フローの一例を示すフローチャートである。 第２の実施形態の第２の物体検出処理の処理フローの一例を示すフローチャート（つづき）である。 本発明の実施形態にかかるコンピュータの構成例を示すブロック図である。 本発明の物体検出装置の概要を示すブロック図である。
［実施形態１］
　以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態の物体検出装置１００の例を示すブロック図である。図１に示すように、物体検出装置１００は、検出モデル記憶部１と、検出画像記憶部２と、パラメータ調整用画像記憶部３と、物体検出部４と、確信度計算部５と、確信度記憶部６と、検出閾値決定部７と、検出閾値記憶部８と、パラメータ設定部９と、検出結果記憶部１０とを備える。
　検出モデル記憶部１は、物体検出に使用する学習済み機械学習モデル（予測モデル）を記憶する。
　検出画像記憶部２は、検出画像を記憶する。検出画像記憶部２に記憶される検出画像は１つであっても複数であってもよい。
　パラメータ調整用画像記憶部３は、ウィンドウ設定パラメータを決定するために用いる画像であるパラメータ調整用画像を記憶する。パラメータ調整用画像記憶部３に記憶されるパラメータ調整用画像は１つであっても複数であってもよい。ここで、パラメータ調整用画像は、例えば、対象物を被写体に含む画像である。なお、パラメータ調整用画像は、検出画像から検出したい対象物と同じ程度の大きさの対象物が含まれているとより好ましい。パラメータ調整用画像は、後述する教師あり機械学習における学習データとして用いられる。パラメータ調整用画像記憶部３は、例えば、１つ以上のパラメータ調整用画像と、各パラメータ調整用画像において対象物が存在する領域の座標（以下、「正解座標」という）とを記憶する。
　ここで、ウィンドウ設定パラメータは、機械学習に渡す検出領域を決定するためのパラメータであって、用いるスライディング幅とそのときの検出閾値とを示す情報を少なくとも含む。本実施形態では、スライディング幅を識別する識別子として、「粒度」という指標を用いる。
　粒度は、後述する物体検出処理の対象とされた画像に対する当該物体検出処理における検出領域の切り出しの細かさの度合いを示す指標である。本実施形態では、粒度は、値が大きい程、スライディング幅が小さくなる、すなわち移動距離が小さくなり、検出領域の切り出しが多く行われることを表す。なお、以下では、粒度のレベル数という表現を用いる場合があるが、該「レベル数」は、１回の物体検出処理に用いる粒度が何通りあるか（粒度の個数）を表す。また、粒度について「次レベル」といった場合には、今設定されている該粒度に対して次に高い粒度を表す。また、例えば、粒度レベル１といった場合には、用いる粒度のうち最も粗い（低い）粒度を表す。
　また、検出閾値は、後述する確信度計算部５から出力される検出領域に対象物が存在する確からしさを示す指標である確信度に対して、後段の処理で当該検出領域に対象物が存在すると判定する基準とされる閾値である。後段の処理は、例えば、ある検出領域に対する確信度が検出閾値以上であれば、当該検出領域に対象物が存在すると判定すればよい。
　物体検出部４は、入力された画像に対して後述する物体検出処理を行う。本実施形態では、物体検出部４は、入力された画像の種別に応じて次の２つの処理を行う。
（１）パラメータ調整用画像が入力された場合（第１の物体検出処理）
　物体検出部４は、入力された画像全体に対して、予め定めておいた２以上の調整用の粒度ｔに対応するスライディング幅を用いて、スライディングウィンドウを移動させつつ、各検出領域に対して、機械学習からの分類結果を示す出力値に基づく確信度を取得し、その結果を基に検出結果を出力する。物体検出部４は、粒度ｔごとに、検出結果として各検出領域における確信度を検出閾値決定部７に送る。
　第１の物体検出処理で用いる調整用の粒度ｔには、スライディング幅だけでなく、その幅での領域閾値が対応づけられているものとする。領域閾値は、第１の物体検出処理で各検出領域が物体が存在している領域である物体領域と判定されるための、該検出領域における実際の対象物の面積占有率の閾値である。例えば、領域閾値が０．５であれば、検出領域の全面積（画素数）に対して対象物が実際に存在している領域の面積（画素数）である物体面積が５０％以上であれば、当該検出領域は物体領域であると判定される。
　なお、第１の物体検出処理において正解座標付きの画像であるパラメータ調整用画像を用いた教師あり機械学習の結果得られる各検出領域の確信度と、正解座標と、領域閾値とを基に、後段の処理で物体検出用のパラメータである検出閾値が調整される。
（２）検出画像が入力された場合（第２の物体検出処理）
　物体検出部４は、入力された画像に対して、指定されたウィンドウ設定パラメータにより示されるスライディング幅および検出閾値を用いて、スライディングウィンドウを移動させつつ、機械学習からの分類結果を示す出力値に基づく確信度を取得し、その結果を基に検出結果を出力する。物体検出部４は、検出結果として検出画像において対象物の座標を検出結果記憶部１０に格納する。
　なお、第１の物体検出処理および第２の物体検出処理では、検出領域に対する確信度を取得する方法として、対象画像の識別子と検出領域の座標とを確信度計算部５に送り、その返信として取得する方法をとる。
　確信度計算部５は、物体検出部４から送られてきた検出領域の座標と対象画像の識別子とを基に次の２つの処理を行う。
（１）確信度記憶部６に、同じ画像について、送られてきた座標と移動閾値Ｒ以内の距離にある座標の検出領域の確信度が格納されている場合
　確信度計算部５は、格納されている確信度を返信する。
（２）確信度記憶部６に、同じ画像について、送られてきた座標と移動閾値Ｒ以内の距離にある座標の検出領域の確信度が格納されていない場合
　確信度計算部５は、機械学習を用いて、送られてきた座標の検出領域に対する確信度を計算する。確信度計算部５は、例えば、検出モデル記憶部１に格納されている学習済みの機械学習モデル（予測モデル）と、検出領域座標周辺の画像データ（画素値等）とを用いて、該検出領域に対する確信度を計算する。
　一般的に、学習済みの機械学習モデルは、入力された画像が学習した画像に似ていれば１に近い値、そうでなければ０に近い値を出力する。確信度計算部５は、この機械学習の出力値を確信度として物体検出部４に送ってもよい。また、確信度計算部５は、ここで計算した確信度を、画像の識別子および検出領域の座標をキーに確信度記憶部６に記憶し、次回以降の当該座標周辺領域に対する確信度の重複演算を防止する。
　確信度記憶部６は、画像の識別子と検出領域の座標と確信度とを対応づけて記憶する。
　検出閾値決定部７は、物体検出部４から、第１の物体検出処理の結果として全てのパラメータ調整用画像に対する、粒度ｔごとの各検出領域に対する確信度を受け取ると、該結果と正解座標とに基づいて、各粒度に対する検出閾値Ｄｔｈ（ｔ）を決定する。また、検出閾値決定部７は、決定された検出閾値Ｄｔｈ（ｔ）に基づき、各粒度における物体領域の検出数ｃｏｕｎｔ（ｔ）を計算する。
　検出閾値記憶部８は、検出閾値決定部７が求めた各粒度に対する検出数ｃｏｕｎｔ（ｔ）および検出閾値Ｄｔｈ（ｔ）を記憶する。
　パラメータ設定部９は、検出閾値記憶部８に記憶されている情報を基に、検出画像に対する第２の物体検出処理で用いる粒度である検出粒度ｊおよび各検出粒度における検出閾値Ｄｔｈ（ｊ）とを決定し、ウィンドウ設定パラメータとして物体検出部４に送信する。
　検出結果記憶部１０は、第２の物体検出処理の結果を記憶する。検出結果記憶部１０は、例えば、検出画像の識別子とその画像から検出された対象物の座標とを記憶する。
　次に、本実施形態の動作を説明する。以下では、図２に示すように、衛星画像などの検出画像から船などの所定の対象物を検出する場合を例に説明する。図２に示すように、本実施形態では、検出画像に対してよりサイズの小さい検出領域をスライディングウインドウで細かく切り出す。そして、切り出した検出領域の各々に対して機械学習を適用して、得られた各検出領域における対象物に対する確信度を基に、検出画像から対象物の座標を検出する。
　以下では、図２に示すように、検出領域の横幅および縦幅をそれぞれＷとＨで表し、検出領域の切出元となる検出画像全体の横幅および縦幅をそれぞれＰＷおよびＰＨと表す。
　まず、図３を参照して本実施形態の物体検出装置１００の動作の概略を説明する。図３に示すように、まず、物体検出装置１００は、パラメータ調整用画像に対して調整用の粒度ｔを用いた第１の物体検出処理を実施する（ステップＳ０１）。ここでは、物体検出部４と確信度計算部５とが、調整用の粒度ｔを用いて第１の物体検出処理を行い、複数種類のスライディング幅に対応した、検出領域ごとの確信度を得る。
　次に、物体検出装置１００は、ステップＳ０１の結果と、パラメータ調整用画像に付された正解座標とに基づいて、各粒度ｔにおける検出閾値と物体検出数を求める（ステップＳ０２）。ここでは、検出閾値決定部７が、粒度ｔごとに、各パラメータ調整用画像について各検出領域に対する確信度と正解座標とを基に物体領域を特定した上で、その特定結果を基に、粒度ごとの検出閾値と物体検出数を求める。
　次に、物体検出装置１００は、ステップＳ０２の結果を基に、検出画像に用いるウィンドウ設定パラメータを決定する（ステップＳ０３）。ここでは、パラメータ設定部９が、検出閾値決定部７が求めた粒度ごとの検出閾値と物体検出数を基に、検出画像に用いる検出粒度ｊおよびそれに対応する検出閾値を決定する。
　次に、物体検出装置１００は、検出画像に対してステップＳ０３で決定されたウィンドウ設定パラメータにより示される検出粒度ｊおよび検出閾値を用いて、第２の物体検出処理を行い、検出画像から対象物の座標を検出する（ステップＳ０４）。ここでは、物体検出部４が、検出画像に対して、指定されたスライディング幅および検出閾値を用いて検出対象を狭めながら機械学習により対象物を検出する処理を行う。そして、物体検出部４が、検出結果として検出画像における対象物の座標を検出結果記憶部１０に格納する。
　次に、上記の各ステップの動作をより具体的に説明する。まず、上記のステップＳ０１およびステップＳ０２の動作に相当する検出閾値調整処理について説明する。図４は、検出閾値調整処理の処理フローの一例を示すフローチャートである。
　本例では、まず物体検出部４が、第１の物体検出処理を行う。物体検出部４は、例えば、第１の物体検出処理の動作パラメータの各々を初期値に設定する（ステップＳ１０１）。物体検出部４は、例えば、第１の物体検出処理に用いる検出領域サイズＷ，Ｈや、スライディング幅ＳＷおよびＳＨの初期値ＳＷ１およびＳＨ１や、領域閾値ａの初期値ａ１が入力されると、それらを動作パラメータに設定する。また、調整用の粒度ｔを初期値であるレベル１に設定する。
　以下に示す例では、Ｗと、Ｈと、ＳＷ１＝０．５Ｗと、ＳＨ１＝０．５Ｈと、ａ１＝０．５とが入力され、動作パラメータとしてＳＷ＝０．５Ｗ、ＳＨ＝０．５Ｈ、ａ＝０．５、ｔ＝１が設定されたものとする。また、物体検出処理における検出範囲（検出領域の切出元とする範囲）を示すｓｃｏｐｅには、画像全体を示すａｌｌを設定する。
　次に、物体検出部４は、パラメータ調整用画像記憶部３から画像を１枚選択する（ステップＳ１０２）。そして、物体検出部４は、選択した画像に対して、ｓｃｏｐｅが示す範囲内でＳＷおよびＳＨずつ検出領域を移動させながら、各検出領域に対する対象物の確信度を確信度計算部５から取得する（ステップＳ１０３：スライディングウィンドウ処理）。なお、ステップＳ１０３におけるスライディングウィンドウ処理の詳細は後述する。
　次に、物体検出部４は、全てのパラメータ調整用画像に対して、当該粒度ｔにおける各検出領域に対する確信度の取得が完了したかを判定する（ステップＳ１０４）。完了していなければ（ステップＳ１０４のＮｏ）、ステップＳ１０２に戻り、次のパラメータ調整用画像を選択して同様の処理を繰り返す。一方、完了していれば（ステップＳ１０４のＹｅｓ）、ステップＳ１０５に進む。
　ステップＳ１０５では、検出閾値決定部７が、ステップＳ１０３で取得された各パラメータ調整用画像に対する検出結果と、パラメータ調整用画像記憶部３に記憶されている物体座標（正解座標）とに基づいて、物体領域を特定する。検出閾値決定部７は、例えば、パラメータ調整用画像ごとに、設定された検出領域の座標と、正解座標とを対比させて、各検出領域の面積に対していずれかの対象物が領域閾値ａ以上含まれる検出領域を物体領域に特定し、その数を数えるとともにその確信度を収集してもよい。
　次に、検出閾値決定部７は、収集した各画像における物体領域の数および確信度を基に、当該粒度ｔに対する検出数ｃｏｕｎｔ（ｔ）および検出閾値Ｄｔｈ（ｔ）を求める（ステップＳ１０６）。ここで、収集した全画像の確信度のうち、最小値を当該粒度ｔにおける検出閾値Ｄｔｈ（ｔ）とし、収集した全画像の物体領域の総数を当該粒度ｔにおける検出数ｃｏｕｎｔ（ｔ）とする。検出閾値決定部７は、このようにして求めた検出数ｃｏｕｎｔ（ｔ）および検出閾値Ｄｔｈ（ｔ）を検出閾値記憶部８に格納する。
　次に、物体検出部４は、次レベルの粒度ｔがあるか否かを判定する（ステップＳ１０７）。次レベルの粒度ｔがある場合（ステップＳ１０７のＹｅｓ）、すなわちスライディング幅をさらに縮小できる場合には、粒度ｔを次レベルに設定し、該レベルに対応した値に動作パラメータを更新する（ステップＳ１０８）。そして、ステップＳ１０２に戻り、次のレベルの粒度（ｔ＝ｔ＋１）に対して上記と同様の処理を行う。一方、次レベルの粒度ｔがなければ、すなわちスライディング幅をこれ以上縮小できない場合には（ステップＳ１０７のＮｏ）、ステップＳ１０９に進む。
　ステップＳ１０８で、物体検出部４は、次レベルに対応した各動作パラメータの更新として、例えば次のような値を設定してもよい。すなわち、スライディング幅を現在値の半分、すなわちＳＷ＝０．５ｔ＋１ＷおよびＳＨ＝０．５ｔ＋１Ｈとし、さらに領域閾値ａを現在値からその半分量を引き上げた値、すなわちａ＝１－０．５ｔ＋１としてもよい。なお、その後、ｔ＝ｔ＋１とすればよい。
　そして、次レベルのＳＷまたはＳＨが１未満になるまで、上記と同様の処理を繰り返す。なお、上記の更新例の場合、物体検出部４は、ステップＳ１０７で、ＳＷまたはＳＨが２以下であるか否かにより、次レベルの調整用粒度の有無を判定してもよい。この場合、現在のＳＷまたはＳＨが２以下であれば、ステップＳ１０９に進み、そうでなければステップＳ１０８に進めばよい。なお、粒度ｔの次レベルの各パラメータの値は上記の例には限定されない。
　ステップＳ１０９では、全ての粒度ｔにおける検出数ｃｏｕｎｔ（ｔ）および検出閾値Ｄｔｈ（ｔ）が検出閾値記憶部８に格納されて、当該検出閾値調整処理を終了する。
　次に、上記のステップＳ０３に相当するウィンドウ設定パラメータ決定処理について説明する。図５は、ウィンドウ設定パラメータ決定処理の処理フローの一例を示すフローチャートである。
　図５に示す例では、まず、パラメータ設定部９は、検出閾値記憶部８に格納されている調整用の粒度ｔごとの検出閾値Ｄｔｈ（ｔ）および検出数ｃｏｕｎｔ（ｔ）を取得する（ステップＳ２０１）。
　次に、パラメータ設定部９は、検出数ｃｏｕｎｔ（ｔ）を基に、検出粒度ｊにおける平均検出数ＤＣｏｕｎｔを決定する（ステップＳ２０２）。パラメータ設定部９は、例えば、全ての粒度ｔに対する検出数ｃｏｕｎｔ（ｔ）を合計し、その合計Σｃｏｕｎｔを特定のＤｔで割った値を検出粒度の平均検出数ＤＣｏｕｎｔとしてもよい。ここで、Ｄｔは、検出粒度のレベル数に対応する値であって、本例では、検出粒度のレベル数＝Ｄｔ－１である。
　図６は、検出粒度の平均検出数ＤＣｏｕｎｔの算出例を示す説明図である。図６には、Σｃｏｕｎｔが３００であり、Ｄｔが３である場合の検出粒度の平均検出数ＤＣｏｕｎｔの算出例が示されている。この場合、ＤＣｏｕｎｔ＝（Σｃｏｕｎｔ）／Ｄｔ＝１００と算出される。
　次に、パラメータ設定部９は、検出粒度ｊにおけるレベル境界となる粒度ｔｊを決定する（ステップＳ２０３）。パラメータ設定部９は、例えば、粒度ｔでの検出数の合計Σｃｏｕｎｔを、Ｄｔに等分するｔｊ（ｊ＝１，２，・・・，Ｄｔ－１）を算出してもよい。
　図７は、検出粒度の平均検出数ＤＣｏｕｎｔに基づく粒度ｔｊの決定方法の概要を示す説明図である。図７に示すように、粒度ｔでの検出数の合計Σｃｏｕｎｔを、Ｄｔに等分する位置を理想のレベル境界とみなし、それに最も近づく粒度ｔを、検出粒度ｊにおけるレベル境界となる粒度ｔｊに決定してもよい。図７に示す例では、検出粒度のレベル１（ｊ＝１）に対応する粒度ｔ１＝１、検出粒度のレベル２（ｊ＝２）に対応する粒度ｔ２＝３と決定される。
　次に、パラメータ設定部９は、決定した粒度ｔｊに基づいて、各々の検出粒度ｊのスライディング幅および検出閾値を決定する（ステップＳ２０４）。パラメータ設定部９は、例えば、検出粒度ｊ＝粒度ｔｊとして、対応する粒度ｔｊのスライディング幅および検出閾値を、検出粒度のスライディング幅および検出閾値としてもよい。パラメータ設定部９は、例えば、検出粒度ｊの情報として、検出粒度ｊとされる粒度ｔｊを示す情報や、検出粒度ｊごとのＳＷ、ＳＨおよび検出閾値を示す情報を含むウィンドウ設定パラメータを生成してもよい。
　次に、上記のステップＳ０４に相当する第２の物体検出処理について説明する。図８は、第２の物体検出処理の処理フローの一例を示すフローチャートである。
　図８に示す例では、まず、物体検出部４に、検出画像とともに、上述したウィンドウ設定パラメータ決定処理で決定された、検出粒度ｊごとのＳＷ、ＳＨおよび検出閾値Ｄｔｈを示す情報を含むウィンドウ設定パラメータが入力されるものとする。なお、検出画像が複数、検出画像記憶部２に記憶されている場合には、少なくとも検出画像の数分、当該第２の物体検出処理が呼ばれるものとする。
　物体検出部４は、ウィンドウ設定パラメータが入力されると、第２の物体検出処理の動作パラメータの各々を初期値に設定する（ステップＳ３０１）。物体検出部４は、例えば、第２の物体検出処理に用いる検出領域サイズＷ，Ｈや、各々の検出粒度ｊにおけるスライディング幅ＳＷｊおよびＳＨｊや、検出閾値Ｄｔｈ（ｊ）が入力されると、それらを動作パラメータに設定する。このとき、物体検出部４は、検出粒度ｊ＝１であるとして、各動作パラメータに、当該検出粒度ｊに応じた値を設定する。なお、ｊ＝１での物体検出処理における検出範囲を示すｓｃｏｐｅには、画像全体を示すａｌｌを設定する。
　次に、物体検出部４は、入力された検出画像に対して、ｓｃｏｐｅが示す範囲内でＳＷおよびＳＨずつ検出領域を移動させながら、各検出領域に対する対象物の確信度を確信度計算部５から取得する（ステップＳ３０２：スライディングウィンドウ処理）。
　次に、物体検出部４は、ステップＳ３０２で取得された検出結果に基づいて、物体領域を特定するとともに、次粒度での検出範囲を決定する（ステップＳ３０３～ステップＳ３０５）。
　物体検出部４は、検出閾値Ｄｔｈ（ｊ）以上の確信度をもつ検出領域が存在するか否かを判定する（ステップＳ３０３）。存在すれば（ステップＳ３０３のＹｅｓ）、該検出領域の全てを、検出粒度ｊの次レベルでの検出対象領域とする（ステップＳ３０４）。存在しなければ（ステップＳ３０３のＮｏ）、ステップＳ３０６に移動する。
　ステップＳ３０４では、検出粒度ｊの次レベルでの検出対象領域を設定するとともに、検出粒度ｊを次レベルに更新する（ｊ＝ｊ＋１）。このとき、検出粒度ｊの更新に合わせて、他の動作パラメータＳＷ，ＳＨ，Ｄｔｈも更新される。また、ｓｃｏｐｅは、部分領域であることを示すｐａｒｔが設定される。
　そして、全ての検出粒度に対してスライディングウィンドウ処理が完了するまで、上記処理を繰り返す（ステップＳ３０５のＮｏ，ステップＳ３０２に戻る）。
　全ての検出粒度に対してスライディングウィンドウ処理が完了すると（ステップＳ３０５のＹｅｓ）、検出対象領域として最後まで残った検出領域が物体領域であるとして、該物体領域の座標を、検出結果記憶部１０に記憶する（ステップＳ３０６）。
　図９は、物体検出部４によるスライディングウィンドウ処理の処理フローの一例を示すフローチャートである。なお、本例は、上記のステップＳ１０３やステップＳ３０２で、画像全体に対してスライディングウィンドウ処理を行う場合に呼ばれる処理の例である。
　画像全体に対するスライディングウィンドウ処理では、物体検出部４は、図９に示すように、まず、検出領域の座標（ｘ，ｙ）を（０，０）に設定する（ステップＳ５１１）。ここで、座標（ｘ，ｙ）は、検出領域の中心座標を表すが、該中心座標には移動閾値Ｒ分の誤差が含まれる。
　次に、物体検出部４は、確信度計算部５に当該座標（ｘ，ｙ）を渡して、当該検出領域における確信度を取得する（ステップＳ５１２）。なお、確信度計算部５における確信度の取得処理の処理フローは後述する。
　次に、物体検出部４は、検出領域座標（ｘ，ｙ）を横にＳＷ分ずらす（ステップＳ５１３）。ここでは、ｘ＝ｘ＋ＳＷとすればよい。
　次に、物体検出部４は、ｘがＰＷ＋Ｗを超えたか否かを判定する（ステップＳ５１４）。超えていなければ（ステップＳ５１４のＮｏ）、ステップＳ５１２に戻り更新後の座標（ｘ，ｙ）にて確信度を得る。一方、超えていれば（ステップＳ５１４のＹｅｓ）、縦方向のスライディング方向を行うため、ステップＳ５１５に進む。
　ステップＳ５１５では、物体検出部４は、ｘを初期値０に戻した上で、検出領域座標（ｘ，ｙ）を縦にＳＨ分ずらす。ここでは、ｘ＝０、ｙ＝ｙ＋ＳＨとすればよい。
　そして、物体検出部４は、ｙがＰＨ＋Ｈを超えたか否かを判定する（ステップＳ５１６）。超えていなければ（ステップＳ５１６のＮｏ）、ステップＳ５１２に戻り更新後の座標（ｘ，ｙ）にて確信度を得る。一方、超えていれば（ステップＳ５１６のＹｅｓ）、全ての対象領域について検出処理を完了したとして、ステップＳ５１７に進む。
　ステップＳ５１７では、物体検出部４は、これまでに得た検出領域の座標（ｘ，ｙ）と確信度の組を検出結果として出力する。
　また、図１０は、物体検出部４によるスライディングウィンドウ処理の処理フローの一例を示すフローチャートである。なお、本例は、上記のステップＳ３０２で、画像の部分領域に対してスライディングウィンドウ処理を行う場合に呼ばれる処理の例である。
　画像の部分領域に対するスライディングウィンドウ処理では、物体検出部４は、図１０に示すように、まず、検出領域の座標（ｘ，ｙ）を（ｘｃ，ｙｃ）に設定する（ステップＳ５２１）。ここで、座標（ｘ，ｙ）は、検出領域の中心座標を表すが、該中心座標には移動閾値Ｒ分の誤差が含まれる。また、座標（ｘｃ，ｙｃ）には、前回のスライディングウィンドウ処理の結果、検出対象領域とされたうちのいずれかの検出領域の中心座標が指定されることを想定している。
　次に、物体検出部４は、確信度計算部５に当該座標（ｘ，ｙ）を渡して、当該検出領域における確信度を取得する（ステップＳ５２２）。
　次に、物体検出部４は、検出領域座標（ｘ，ｙ）を横にＳＷ分ずらす（ステップＳ５２３）。ここでは、ｘ＝ｘ＋ＳＷとすればよい。
　次に、物体検出部４は、ｘがｘｃ＋Ｗを超えたか否かを判定する（ステップＳ５２４）。超えていなければ（ステップＳ５２４のＮｏ）、ステップＳ５２２に戻り更新後の座標（ｘ，ｙ）にて確信度を得る。一方、超えていれば（ステップＳ５２４のＹｅｓ）、縦方向のスライディング方向を行うため、ステップＳ５２５に進む。
　ステップＳ５２５では、物体検出部４は、ｘを初期値ｘｃに戻した上で、検出領域座標（ｘ，ｙ）を縦にＳＨ分ずらす。ここでは、ｘ＝ｘｃ、ｙ＝ｙ＋ＳＨとすればよい。
　そして、物体検出部４は、ｙがｙｃ＋Ｈを超えたか否かを判定する（ステップＳ５２６）。超えていなければ（ステップＳ５２６のＮｏ）、ステップＳ５２２に戻り更新後の座標（ｘ，ｙ）にて確信度を得る。一方、超えていれば（ステップＳ５２６のＹｅｓ）、全ての対象領域について検出処理を完了したとして、ステップＳ５２７に進む。
　ステップＳ５２７では、物体検出部４は、これまでに得た検出領域の座標（ｘ，ｙ）と確信度の組を検出結果として出力する。
　また、図１１は、確信度計算部５における確信度の取得処理の処理フローの一例を示すフローチャートである。図１１に示すように、確信度計算部５は、画像識別子とともに検出領域座標（ｘ，ｙ）が渡されると、同じ画像で、検出領域座標が移動閾値Ｒ以内の距離にある確信度が確信度記憶部６に格納されているか否かを確認する（ステップＳ６０１）。格納されていれば（ステップＳ６０１のＹｅｓ）、格納されている確信度を出力する（ステップＳ６０５）。
　一方、格納されていなければ（ステップＳ６０１のＮｏ）、確信度計算部５は、検出領域座標を基に確信度を計算する。確信度計算部５は、検出画像から検出領域座標（ｘ，ｙ）を中心とする幅Ｗ,高さＨの矩形領域を切り出す（ステップＳ６０２）。具体的には、矩形領域（ｘ－Ｗ／２，ｙ－Ｈ／２，ｘ＋Ｗ／２，ｙ＋Ｈ／２）を切り出す。
　そして、確信度計算部５は、切り出した矩形領域画像に対して物体検出モデルを用いて画像を分類し、確信度を計算し（ステップＳ６０３）、計算結果を確信度記憶部６に格納する（ステップＳ６０４）。そして、ステップＳ６０５に進み、計算した確信度を出力する。
　以上のように、本実施形態によれば、機械学習を用いて任意の検出画像から所定の対象物を検知する際に、得られた確信度を元にスライディング幅を自動調整して、対象物がありそうな場所を絞り込みながら、効率的な演算で物体検出を行うことができる。また、その際、教師あり機械学習により得た検出結果を基に、適切な各検出粒度すなわちスライディング幅および検出閾値を設定することにより、平均検出数となる検出精度を維持しながら、より少ない判定処理で、物体検出を行うことができる。
　したがって、任意の画像から予測モデルを用いて所定の対象物を検出する際に、検出精度と検出にかかる処理の効率化とを両立することができる。
　また、本実施形態の、検出画像からスライディングウインドウで検出領域を細かく切り出して、教師あり機械学習を用いて切り出した検出領域を所定のカテゴリに分類する方法を利用すれば、該機械学習に用いる学習データを拡張したり選別することもできる。
［実施形態２］
　次に、本発明の第２の実施形態を説明する。第１の実施形態では、パラメータ調整用画像を用いて調整された検出粒度に対応する検出閾値に従って、検出対象領域を狭めながら該検出対象領域内を網羅的にスライドさせながら確信度を算出して最終的な検出結果を得た。本実施形態では、第１の実施形態の方法よりも更に確信度の計算回数を削減する。
　より具体的には、本実施形態では、第２の物体検出処理における２回目以降のスライディング処理で、確信度が大きくなる方向に検出領域を移動させる。
　なお、この方法を使用するためには、機械学習モデル（予測モデル）を、「対象物有（１）」または「対象物なし（０）」の２値で学習させるのではなく、検出領域に対象物がどの程度含まれるのかに基づく値を出力するように学習させる。
　以下、第１の実施形態と異なる部分を中心に説明する。本実施形態では、第２の物体検出処理における検出領域の初期位置計算方法が第１の実施形態と異なる。すなわち、本実施形態では、画像全体に対して検出領域を比較的大きな（例えば、検出領域のサイズと同じ幅）で動かし、そのときの確信度が検出閾値よりも大きかった座標を検出領域の初期位置（２回目の検出処理の検出対象領域）とする。
　また、本実施形態では、検出閾値を調整する際、調整用の粒度ｔを１つに固定し、かつ第２の物体検出処理の初期粒度と同じ設定（例えば、検出領域のサイズと同じ幅で移動する設定）とする。
　また、本実施形態では、第２の物体検出処理で、２回目以降の検出処理の際、検出領域の移動方向および移動量を次のように決定する。すなわち、当該検出領域において移動先として考えられる各方向（例えば、上下左右斜め方向の８方向）における地点での確信度を計算し、得られた確信度に基づいて決定する。例えば、常に確信度が最も高い方向に移動させてもよいし、確信度を基に確率的に移動方向を定めてもよい。また、例えば、確信度が大きい場合には対象物が近くにある可能性が高いことから、確信度が大きいほど移動量を小さくし、逆に確信度が小さいほど移動量を大きくしてもよい。なお、確信度に対して１つ以上の閾値を用意しておき、各閾値を超えるか否かによって予め定めておいた移動量が設定されるようにしてもよい。
　図１２は、第２の実施形態における検出閾値調整処理の処理フローの一例を示すフローチャートである。なお、図４に示す第１の実施形態の検出閾値調整処理と同じ動作については同じ符号を付し、説明を省略する。
　本例では、まず物体検出部４が、第１の物体検出処理を行う。物体検出部４は、例えば、第１の物体検出処理の動作パラメータの各々を初期値に設定する（ステップＳ１１１）。物体検出部４は、例えば、第１の物体検出処理に用いる検出領域サイズＷ，Ｈや、スライディング幅ＳＷおよびＳＨの初期値ＳＷ１およびＳＨ１や、領域閾値ａの初期値ａ１が入力されると、それらを動作パラメータに設定する。また、調整用の粒度ｔを初期値であるレベル１に設定する。
　以下に示す例では、Ｗと、Ｈと、ＳＷ１＝Ｗと、ＳＨ１＝Ｈと、ａ１＝０．５とが入力され、動作パラメータとしてＳＷ＝Ｗ、ＳＨ＝Ｈ、ａ＝０．５、ｔ＝１に設定されたものとする。また、物体検出処理における検出範囲を示すｓｃｏｐｅには、画像全体を示すａｌｌを設定する。なお、本例では調整用の粒度ｔは１つのみ（ｔ＝１のみ）である。
　ステップＳ１０２～ステップＳ１０５までは第１の実施形態と同様である。すなわち、物体検出部４が、全てのパラメータ調整用画像に対して、現在の粒度での各検出領域に対する確信度を取得し、検出閾値決定部７が、その結果と正解座標とに基づいて、物体領域を特定する。
　そして、検出閾値決定部７は、特定した物体領域を基に、当該粒度における検出閾値を決定する（ステップＳ１１２）。本実施形態でも、検出閾値決定部７は、物体領域の確信度のうち最小値を検出閾値とすればよい。
　なお、パラメータ設定部９は、ステップＳ１１２で決定された粒度ｔにおける検出閾値を、そのまま第２の物体検出処理における検出粒度ｊ＝ｔ＝１における検出閾値とする。パラメータ設定部９は、例えば、検出粒度ｊの情報として、検出粒度ｊとされる粒度ｔｊを示す情報や、検出粒度ｊのＳＷ、ＳＨおよび検出閾値を示す情報を含むウィンドウ設定パラメータを生成してもよい。
　また、図１３および図１４は、本実施形態における第２の物体検出処理の処理フローの一例を示すフローチャートである。
　本実施形態では、まず、物体検出部４に、検出画像とともに、上述したウィンドウ設定パラメータ決定処理で決定された、検出粒度ｊのＳＷ、ＳＨおよび検出閾値Ｄｔｈを示す情報を含むウィンドウ設定パラメータが入力されるものとする。なお、検出画像が複数、検出画像記憶部２に記憶されている場合には、少なくとも検出画像の数分、当該第２の物体検出処理が呼ばれるものとする。
　物体検出部４は、ウィンドウ設定パラメータが入力されると、第２の物体検出処理の動作パラメータの各々を初期値に設定する（ステップＳ３１１）。なお、検出粒度ｊが１に固定されるだけで、初期値の設定方法は、第１の実施形態と同様である。なお、本例では、ＳＷ＝Ｗ、ＳＨ＝Ｈが設定されたとする。
　ステップＳ３０２およびステップＳ３０３の処理は第１の実施形態と同様である。
　なお、ステップＳ３０３で、確信度が検出閾値Ｄｔｈ以上の検出領域が存在しなければ、物体検出部４は、検出画像に対象物は存在しないとする検出結果を出力して処理を終了する（ステップＳ３０３のＮｏ、ステップＳ３１２）。
　一方、確信度が検出閾値Ｄｔｈ以上の検出領域が存在した場合、物体検出部４は、当該検出領域を、検出領域初期位置に設定する（ステップＳ３１３）。なお、ステップＳ３１１～ステップＳ３１３の処理を、検出領域候補の初期位置決定処理と呼ぶ場合がある。
　次に、物体検出部４は、検出領域候補の初期位置決定処理で設定された検出領域初期位置の中から１つを選択し（ステップＳ３１４）、検出領域を該検出領域初期位置に設定する（ステップＳ３１５）。
　次に、物体検出部４は、検出領域周辺の確信度を取得する（ステップＳ３１６）。物体検出部４は、例えば、現在の検出領域の中心座標に対して、移動可能な方向ごとに当該方向に移動閾値Ｒ以上の所定の量を足した座標を指定して確信度を確信度計算部５から取得してもよい。
　そして、物体検出部４は、取得した確信度に基づいて、移動方向および移動量を決定する（ステップＳ３１７、ステップＳ３１８）。
　物体検出部４は、初期位置からの移動量が移動閾値Ｒを上回っている間、上記の処理を繰り返す（ステップＳ３１９のＮｏ，ステップＳ３１５に戻る）。一方、初期位置からの移動量が移動閾値Ｒ以下となった場合には、検出結果記憶部１０に当該検出領域の座標を物体座標として保存する（ステップＳ３１９のＹｅｓ，ステップＳ３２０）。
　また、物体検出部４は、全ての検出領域候補に対してステップＳ３１５～ステップＳ３２０の検出処理を行う（ステップＳ３２１のＮｏ，ステップＳ３１４に戻る）。
　最後に、物体検出部４は、全ての検出領域候補に対してステップＳ３１５～ステップＳ３２０の検出処理が完了すると、これまでに保存された検出領域の座標を物体座標とする検出結果を出力する（ステップＳ３２２）。
　以上のように、本実施形態によれば、さらに第１の実施形態の方法よりも更に確信度の計算回数を削減できる。
［その他の実施形態］
　なお、上記の実施形態では、検出画像から船などの特定の対象物を検出する例を示したが、例えば、対象物が複数（例えば、船と飛行機と車、第１の船と第２の船、など）ある場合にも上記の方法は適用可能である。その場合、対象物として分類したい物体をカテゴリに分けて、カテゴリごとに予測モデルおよびパラメータ調整用画像を切り替えて上記の方法を実施すればよい。
　次に、本発明の実施形態にかかるコンピュータの構成例を示す。図１５は、本発明の実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。
　上述の物体検出装置は、例えば、コンピュータ１０００に実装されてもよい。その場合、各装置の動作は、プログラムの形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の実施形態における所定の処理を実施する。
　補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータは１０００がそのプログラムを主記憶装置１００２に展開し、上記の実施形態における所定の処理を実行してもよい。
　また、プログラムは、各実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで上記の実施形態における所定の処理を実現する差分プログラムであってもよい。
　インタフェース１００４は、他の装置との間で情報の送受信を行う。また、ディスプレイ装置１００５は、ユーザに情報を提示する。また、入力デバイス１００６は、ユーザからの情報の入力を受け付ける。
　また、実施形態における処理内容によっては、コンピュータ１０００の一部の要素は省略可能である。例えば、装置がユーザに情報を提示しないのであれば、ディスプレイ装置１００５は省略可能である。
　また、各装置の各構成要素の一部または全部は、汎用または専用の回路（Circuitry）、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　また、図１６は、本発明の物体検出装置の概要を示すブロック図である。図１６に示すように、本発明の物体検出装置５０は、第１の物体検出手段５０１と、パラメータ決定手段５０２と、第２の物体検出手段５０３とを備えていてもよい。
　第１の物体検出手段５０１（例えば、物体検出部４の第１の物体検出処理部分）は、検出対象物の座標が既知の第１画像に対し、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度であってその検出領域内に検出対象物が存在する確からしさを示す確信度を取得する。
　パラメータ決定手段５０２（例えば、検出閾値決定部７およびパラメータ設定部９）は、第１画像から取得される確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定する。
　第２の物体検出手段５０３（例えば、物体検出部４の第２の物体検出処理部分）は、パラメータを基に、第２画像全領域から検出領域を切り出す元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、検出領域候補から切り出した検出領域に対して確信度を取得し、取得した確信度を基に、検出対象物を検出する。
　このような構成により、第２画像に対して検出対象物が存在しそうな位置に検出領域候補を適切に絞り込むことができるので、任意の画像から予測モデルを用いて所定の対象物を検出する際、検出精度を低下させずに、検出にかかる処理を効率化できる。
　なお、上記の実施形態は以下の付記のようにも記載できる。
　（付記１）検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第１の物体検出手段と、第１画像から取得される確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定手段と、パラメータを基に第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、絞り込まれた検出領域候補から切り出される検出領域の各々に対して確信度を取得し、取得した確信度を基に検出対象物を検出する第２の物体検出手段とを備えたことを特徴とする物体検出装置。
　（付記２）パラメータ決定手段は、第１画像から取得される確信度と検出対象物の座標とに基づいて、検出閾値を決定する付記１記載の物体検出装置。
　（付記３）パラメータ決定手段は、第１画像における検出対象物の座標に基づいて検出対象物が所定面積比率以上存在する検出領域を物体領域とし、物体領域の中で最小の確信度を検出閾値に決定する付記１または付記２記載の物体検出装置。
　（付記４）第２の物体検出手段は、同一画像に対し、１回目で、画像全体を検出領域候補にして、確信度を取得し、２回目以降で、前回の確信度が検出閾値以上の検出領域を検出領域候補にして、確信度を取得する付記１から付記３のうちのいずれかに記載の物体検出装置。
　（付記５）第１の物体検出手段は、各々が異なるスライディング幅に対応する３以上の調整用粒度を用いて、調整用粒度ごとに、第１画像全体を検出領域候補にして、確信度を取得し、パラメータ決定手段は、第１画像から取得される調整用粒度ごとの各検出領域の確信度と検出対象物の座標とに基づき、２以上の検出粒度および各検出粒度における検出閾値を決定し、第２の物体検出手段は、２以上の検出粒度の中からスライディング幅が大きい順に選択される１の検出粒度に対応するスライディング幅および検出閾値を用いて、検出領域候補から確信度の取得および次回の検出領域候補の決定を行う付記４記載の物体検出装置。
　（付記６）パラメータ決定手段は、調整用粒度ごとに、検出閾値および検出対象物が存在する検出領域である物体領域の数を求め、物体領域の数から求まる各検出粒度における平均検出数を基に、調整用粒度の中から２以上の検出粒度を決定する付記５記載の物体検出装置。
　（付記７）第１の物体検出手段は、所定のスライディング幅に対応する１つの調整用粒度を用いて、第１画像全体を検出領域候補にして確信度を取得し、パラメータ決定手段は、第１画像から取得される確信度と検出対象物の座標とに基づき、調整用粒度における検出閾値を求め、調整用粒度およびその検出閾値を、検出粒度およびその検出閾値とし、第２の物体検出手段は、同一画像に対し、１回目で、画像全体を検出領域候補にし、該検出領域候補から、検出粒度に対応するスライディング幅および検出閾値を用いて、検出領域の切り出し、各検出領域の確信度の取得および次回の検出領域候補における検出領域の初期位置の決定を行い、２回目で、前回の確信度が検出閾値以上の検出領域を検出領域候補にして、各検出領域候補で初期位置から検出領域の移動を開始し、かつ各検出領域候補内における検出領域の移動方向および移動量を、移動前の検出領域の位置周辺から取得される確信度を基に決定しながら、移動先の検出領域における確信度を取得する付記１または付記２記載の物体検出装置。
　（付記８）画像の識別子と、検出領域の座標と、該検出領域から予測モデルを用いて取得された確信度とを対応づけて記憶する確信度記憶手段と、画像の識別子および検出領域の座標が入力されると、確信度記憶手段に、入力された画像の識別子が示す画像の入力された座標と所定の閾値以内の距離にある座標の検出領域から取得された確信度が記憶されている場合、記憶されている確信度を返し、記憶されていない場合、入力された画像の識別子が示す画像の入力された座標の検出領域における確信度を予測モデルを用いて計算する確信度計算手段とを備え、第１の物体検出手段および第２の物体検出手段は、確信度計算手段を用いて確信度を取得する付記１から付記７のうちのいずれかに記載の物体検出装置。
　（付記９）検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得し、第１画像から取得される確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定し、パラメータを基に第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、絞り込まれた検出領域候補から切り出される検出領域の各々に対して確信度を取得し、取得した確信度を基に検出対象物を検出することを特徴とする物体検出方法。
　（付記１０）コンピュータに、検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第１の物体検出処理、第１画像から取得される確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定処理、およびパラメータを基に第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、予測モデルを利用して、絞り込まれた検出領域候補から切り出される検出領域の各々に対して確信度を取得し、取得した確信度を基に検出対象物を検出する第２の物体検出処理を実行させるための物体検出プログラム。
　以上、本実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１７年３月２２日に出願された日本特許出願２０１７－０５５６７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、学習済みの機械学習モデル以外の予測モデルを用いて検出対象物を検出する場合にも好適に適用可能である。
　１００　物体検出装置
　１　検出モデル記憶部
　２　検出画像記憶部
　３　パラメータ調整用画像記憶部
　４　物体検出部
　５　確信度計算部
　６　確信度記憶部
　７　検出閾値決定部
　８　検出閾値記憶部
　９　パラメータ設定部
　１０　検出結果記憶部
　１０００　コンピュータ
　１００１　ＣＰＵ
　１００２　主記憶装置
　１００３　補助記憶装置
　１００４　インタフェース
　１００５　ディスプレイ装置
　１００６　入力デバイス
　５０　物体検出装置
　５０１　第１の物体検出手段
　５０２　パラメータ決定手段
　５０３　第２の物体検出手段

Claims (10)

  1. 　検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、前記第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第１の物体検出手段と、
    　前記第１画像から取得される前記確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、前記確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定手段と、
    　前記パラメータを基に前記第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、前記予測モデルを利用して、絞り込まれた前記検出領域候補から切り出される検出領域の各々に対して前記確信度を取得し、取得した前記確信度を基に検出対象物を検出する第２の物体検出手段とを備えた
    　ことを特徴とする物体検出装置。
  2. 　前記パラメータ決定手段は、前記第１画像から取得される前記確信度と検出対象物の座標とに基づいて、前記検出閾値を決定する
    　請求項１記載の物体検出装置。
  3. 　前記パラメータ決定手段は、前記第１画像における検出対象物の座標に基づいて検出対象物が所定面積比率以上存在する検出領域を物体領域とし、前記物体領域の中で最小の前記確信度を検出閾値に決定する
    　請求項１または請求項２記載の物体検出装置。
  4. 　前記第２の物体検出手段は、同一画像に対し、１回目で、画像全体を検出領域候補にして、前記確信度を取得し、２回目以降で、前回の前記確信度が検出閾値以上の検出領域を検出領域候補にして、前記確信度を取得する
    　請求項１から請求項３のうちのいずれかに記載の物体検出装置。
  5. 　前記第１の物体検出手段は、各々が異なるスライディング幅に対応する３以上の調整用粒度を用いて、前記調整用粒度ごとに、前記第１画像全体を検出領域候補にして、前記確信度を取得し、
    　前記パラメータ決定手段は、前記第１画像から取得される前記調整用粒度ごとの各検出領域の前記確信度と検出対象物の座標とに基づき、２以上の検出粒度および各検出粒度における検出閾値を決定し、
    　前記第２の物体検出手段は、前記２以上の検出粒度の中からスライディング幅が大きい順に選択される１の検出粒度に対応するスライディング幅および検出閾値を用いて、検出領域候補から前記確信度の取得および次回の検出領域候補の決定を行う
    　請求項４記載の物体検出装置。
  6. 　前記パラメータ決定手段は、前記調整用粒度ごとに、検出閾値および検出対象物が存在する検出領域である物体領域の数を求め、前記物体領域の数から求まる各検出粒度における平均検出数を基に、前記調整用粒度の中から２以上の検出粒度を決定する
    　請求項５記載の物体検出装置。
  7. 　前記第１の物体検出手段は、所定のスライディング幅に対応する１つの調整用粒度を用いて、前記第１画像全体を検出領域候補にして前記確信度を取得し、
    　前記パラメータ決定手段は、前記第１画像から取得される前記確信度と検出対象物の座標とに基づき、前記調整用粒度における検出閾値を求め、前記調整用粒度およびその検出閾値を、前記検出粒度およびその検出閾値とし、
    　前記第２の物体検出手段は、同一画像に対し、１回目で、画像全体を検出領域候補にし、該検出領域候補から、前記検出粒度に対応するスライディング幅および前記検出閾値を用いて、検出領域の切り出し、各検出領域の前記確信度の取得および次回の検出領域候補における検出領域の初期位置の決定を行い、２回目で、前回の前記確信度が検出閾値以上の検出領域を検出領域候補にして、各検出領域候補で前記初期位置から検出領域の移動を開始し、かつ各検出領域候補内における検出領域の移動方向および移動量を、移動前の検出領域の位置周辺から取得される前記確信度を基に決定しながら、移動先の検出領域における前記確信度を取得する
    　請求項１または請求項２記載の物体検出装置。
  8. 　画像の識別子と、検出領域の座標と、該検出領域から前記予測モデルを用いて取得された前記確信度とを対応づけて記憶する確信度記憶手段と、
    　画像の識別子および検出領域の座標が入力されると、前記確信度記憶手段に、入力された画像の識別子が示す画像の前記入力された座標と所定の閾値以内の距離にある座標の検出領域から取得された前記確信度が記憶されている場合、記憶されている前記確信度を返し、記憶されていない場合、入力された画像の識別子が示す画像の前記入力された座標の検出領域における前記確信度を前記予測モデルを用いて計算する確信度計算手段とを備え、
    　前記第１の物体検出手段および前記第２の物体検出手段は、前記確信度計算手段を用いて前記確信度を取得する
    　請求項１から請求項７のうちのいずれかに記載の物体検出装置。
  9. 　検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、前記第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得し、
    　前記第１画像から取得される前記確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、前記確信度に対する閾値である検出閾値を含むパラメータを決定し、
    　前記パラメータを基に前記第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、前記予測モデルを利用して、絞り込まれた前記検出領域候補から切り出される検出領域の各々に対して前記確信度を取得し、取得した前記確信度を基に検出対象物を検出する
    　ことを特徴とする物体検出方法。
  10. 　コンピュータに、
    　検出対象物の座標が既知の第１画像から、所定の予測モデルを利用して、前記第１画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第１の物体検出処理、
    　前記第１画像から取得される前記確信度に基づいて、検出対象物の存否が未知の第２画像から検出対象物を検出する際に用いるパラメータであって、前記確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定処理、および
    　前記パラメータを基に前記第２画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、前記予測モデルを利用して、絞り込まれた前記検出領域候補から切り出される検出領域の各々に対して前記確信度を取得し、取得した前記確信度を基に検出対象物を検出する第２の物体検出処理
    　を実行させるための物体検出プログラム。
PCT/JP2018/009643 2017-03-22 2018-03-13 物体検出装置、物体検出方法および物体検出プログラム WO2018173846A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/483,791 US11107231B2 (en) 2017-03-22 2018-03-13 Object detection device, object detection method, and object detection program
JP2019507568A JP6766950B2 (ja) 2017-03-22 2018-03-13 物体検出装置、物体検出方法および物体検出プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-055679 2017-03-22
JP2017055679 2017-03-22

Publications (1)

Publication Number Publication Date
WO2018173846A1 true WO2018173846A1 (ja) 2018-09-27

Family

ID=63585248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009643 WO2018173846A1 (ja) 2017-03-22 2018-03-13 物体検出装置、物体検出方法および物体検出プログラム

Country Status (3)

Country Link
US (1) US11107231B2 (ja)
JP (1) JP6766950B2 (ja)
WO (1) WO2018173846A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151726B2 (en) * 2018-01-10 2021-10-19 Canon Medical Systems Corporation Medical image processing apparatus, X-ray diagnostic apparatus, and medical image processing method
US10223611B1 (en) * 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
CN112115803B (zh) * 2020-08-26 2023-10-13 深圳市优必选科技股份有限公司 口罩状态提醒方法、装置及移动终端
CN113435260A (zh) * 2021-06-07 2021-09-24 上海商汤智能科技有限公司 图像检测方法和相关训练方法及相关装置、设备及介质
CN115294505B (zh) * 2022-10-09 2023-06-20 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备
CN117765480B (zh) * 2024-02-20 2024-05-10 天科院环境科技发展（天津）有限公司 一种道路沿线野生动物迁徙预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140369A (ja) * 2007-12-07 2009-06-25 Sony Corp 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム
JP2014211854A (ja) * 2012-06-01 2014-11-13 株式会社リコー 対象物認識装置、対象物認識方法及び対象物認識用プログラム
JP2015001966A (ja) * 2013-06-18 2015-01-05 株式会社デンソー 物体検出装置
JP2015177300A (ja) * 2014-03-14 2015-10-05 オリンパス株式会社 画像認識装置および画像認識方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000206029A (ja) * 1998-11-11 2000-07-28 Sekisui Chem Co Ltd 粒状模様測定装置及び粒状模様評価方法、並びに粒状模様測定プログラム若しくは粒状模様評価プログラムを記録したコンピュ―タ読み取り可能な記録媒体、並びに粒状模様評価方法を用いた塗装条件設定方法
US6578017B1 (en) * 1999-02-26 2003-06-10 Information Decision Technologies, Llc Method to aid object detection in images by incorporating contextual information
WO2008107002A1 (en) * 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US8223831B2 (en) * 2007-06-22 2012-07-17 Samsung Electronics Co., Ltd. System and method for periodic pattern detection for motion compensated interpolation
WO2013136395A1 (ja) * 2012-03-12 2013-09-19 日本電気株式会社 検知装置、検知方法、プログラムが格納された記憶媒体
JP5922257B2 (ja) 2012-12-25 2016-05-24 本田技研工業株式会社 車両周辺監視装置
KR101473991B1 (ko) * 2013-05-30 2014-12-24 주식회사 에스원 얼굴 검출 방법 및 그 장치
JP2015049702A (ja) 2013-09-02 2015-03-16 日本電気株式会社 対象認識装置、対象認識方法、およびプログラム
US9456170B1 (en) * 2013-10-08 2016-09-27 3Play Media, Inc. Automated caption positioning systems and methods
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
US9235904B1 (en) * 2014-06-20 2016-01-12 Nec Laboratories America, Inc. Object detection with Regionlets re-localization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140369A (ja) * 2007-12-07 2009-06-25 Sony Corp 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム
JP2014211854A (ja) * 2012-06-01 2014-11-13 株式会社リコー 対象物認識装置、対象物認識方法及び対象物認識用プログラム
JP2015001966A (ja) * 2013-06-18 2015-01-05 株式会社デンソー 物体検出装置
JP2015177300A (ja) * 2014-03-14 2015-10-05 オリンパス株式会社 画像認識装置および画像認識方法

Also Published As

Publication number Publication date
JP6766950B2 (ja) 2020-10-14
JPWO2018173846A1 (ja) 2019-11-07
US11107231B2 (en) 2021-08-31
US20190392606A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
WO2018173846A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
CN106886795B (zh) 基于图像中的显著物体的物体识别方法
US20190122072A1 (en) Reverse neural network for object re-identification
US9501703B2 (en) Apparatus and method for recognizing traffic sign board
US10204283B2 (en) Image recognizing apparatus, image recognizing method, and storage medium
US9098775B2 (en) Multi-class identifier, method, and computer-readable recording medium
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
EP3203417B1 (en) Method for detecting texts included in an image and apparatus using the same
CN108805170A (zh) 形成用于全监督式学习的数据集
CN107622274B (zh) 用于图像处理的神经网络训练方法、装置以及计算机设备
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
CN114937086B (zh) 多图像目标检测的训练方法、检测方法及相关产品
Sharma et al. A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network
US11900664B2 (en) Reading system, reading device, reading method, and storage medium
CN112651274A (zh) 路上障碍物检测装置、路上障碍物检测方法及记录介质
CN111460917B (zh) 基于多模态信息融合的机场异常行为检测系统及方法
CN111284501A (zh) 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置
CN114902299A (zh) 图像中关联对象的检测方法、装置、设备和存储介质
JP2015125662A (ja) 物体識別プログラム及び装置
CN113762220B (zh) 目标识别方法、电子设备、计算机可读存储介质
Ali et al. On-road vehicle detection using support vector machine and decision tree classifications
CN115271096B (zh) 点云处理和机器学习模型训练方法、装置及自动驾驶车辆
KR101419837B1 (ko) 분할 이미지 셀을 이용하는 아다부스트 기반의 보행자 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18771206

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019507568

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18771206

Country of ref document: EP

Kind code of ref document: A1