WO2022190531A1 - 物体検出装置、物体検出方法、およびプログラム - Google Patents

物体検出装置、物体検出方法、およびプログラム Download PDF

Info

Publication number
WO2022190531A1
WO2022190531A1 PCT/JP2021/047100 JP2021047100W WO2022190531A1 WO 2022190531 A1 WO2022190531 A1 WO 2022190531A1 JP 2021047100 W JP2021047100 W JP 2021047100W WO 2022190531 A1 WO2022190531 A1 WO 2022190531A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
candidate
area
target area
detected
Prior art date
Application number
PCT/JP2021/047100
Other languages
English (en)
French (fr)
Inventor
真也 阪田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN202180093783.0A priority Critical patent/CN116868227A/zh
Priority to DE112021007212.9T priority patent/DE112021007212T5/de
Priority to US18/547,793 priority patent/US20240144631A1/en
Publication of WO2022190531A1 publication Critical patent/WO2022190531A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to technology for detecting objects.
  • a technique that uses a two-stage detector that is divided into a front stage and a rear stage.
  • a candidate area of a detection target for example, a face
  • a detection target is detected from the plurality of candidate areas by a detector in the subsequent stage. It performs highly accurate object detection.
  • the purpose of the present invention is to provide technology capable of high-speed and high-precision object detection.
  • the present invention adopts the following configuration.
  • a first aspect of the present invention is an object detection apparatus for detecting a predetermined object from an image, comprising: first detection means for detecting a candidate area in which the object exists from the image; determination means for determining a target area from the detected one or more candidate areas; and second detection means for detecting the object from the target area by a detection algorithm different from that of the first detection means. and storage means for storing detection information representing detection results of the target area by the two detection means, wherein the determination means stores one or more determining the target area from the candidate areas of the object detection apparatus.
  • Objects to be detected are not particularly limited, but include, for example, human bodies, faces, specific animals, automobiles, and specific products.
  • the candidate area is an area judged by the first detecting means to have a high probability that the object to be detected exists, and the area (target area) to be detected by the second detecting means is based on this candidate area. determined by Any algorithm may be used for the first detection means and the second detection means, but the detection algorithm for the second detection means has higher precision than the detection algorithm for the first detection means. It is desirable to be able to detect it in a short period of time and have a large amount of calculation.
  • the detection information is information obtained by performing object detection processing performed by the second detection means, and includes, for example, the position and size of the target area, an image corresponding to the target area, and the object to be detected in the target area. A score or the like representing the probability of inclusion is included.
  • the detection information may include information about target areas in which no object was detected by the second detection means.
  • the determining means preferably determines, as the target area, candidate areas other than candidate areas having a predetermined value or more of similarity with the target area in which no object was detected in the previous frame.
  • the first detection means also outputs a first detection reliability representing the probability that the object is included in the candidate area, and the determination means outputs a similarity to the target area in which the object was not detected in the previous frame.
  • the target area may be determined based on a value obtained by subtracting a predetermined value from the first detection reliability for candidate areas having a predetermined value or more, and based on the first detection reliability for other candidate areas. . According to the above configuration, since the number of candidate regions to be passed to the second detection means is reduced, it is possible to reduce the processing time while maintaining the detection performance by performing the detection processing in two stages.
  • the predetermined value to be subtracted from the first detection reliability may be a value corresponding to the number of consecutive frames in which no object is detected by the second detection means.
  • the predetermined value may be increased as the number of consecutive frames increases, or the predetermined value to be subtracted from the first detection reliability may be subtracted only when the number of consecutive frames is equal to or greater than a certain number.
  • the predetermined value to be subtracted from the first detection reliability may be a fixed value.
  • the first detection means also outputs a first detection reliability representing the probability that the object is included in the candidate area, and the detection information is the object area determined by the second detection means.
  • the second detection reliability representing the probability that the target area indicated by the detection information is similar to the target area indicated by the detection information;
  • the target area may be determined based on the value obtained by subtracting the value corresponding to the degree of detection, and based on the first detection reliability for the other candidate areas. For example, the higher the second detection reliability, the larger the predetermined value to be subtracted from the first detection reliability.
  • the detection information includes the position and/or size of the target area, and the determining means preferably obtains the similarity based on the position and/or size of the candidate area and the position and/or size of the target area.
  • object detection the same object in the input image may be erroneously detected many times. can be reduced to As a result, the number of candidate areas across the second detection unit is reduced, so that two-stage detection processing can be performed to reduce the processing time while maintaining the detection performance.
  • the detection information includes an image corresponding to the target area
  • the determining means preferably obtains the degree of similarity based on the image included in the detection information and the image corresponding to the candidate area. This enables highly accurate object detection even when the position and size of the area corresponding to the erroneous detection information and the candidate area match or are similar, but the images corresponding to the two areas are completely different.
  • a second aspect of the present invention is an object detection method for detecting a predetermined object from an image, comprising: a first detection step of detecting a candidate area in which the object exists from the image; a determination step of determining a target region from one or more of the detected candidate regions; and a second detection step of detecting the object from the target region by a detection algorithm different from that of the first detection step. and a storage step of storing detection information representing the detection results of the two detection steps for the target region, wherein the determining step stores one or more determining the target area from the candidate areas of the object detection method.
  • the present invention may be regarded as an object detection device having at least part of the above means, or as a device for recognizing or tracking an object to be detected, or as an image processing device or monitoring system. Further, the present invention may be regarded as an object detection method, an object recognition method, an object tracking method, an image processing method, and a monitoring method including at least part of the above processing. Further, the present invention can also be regarded as a program for realizing such a method and a recording medium on which the program is non-temporarily recorded. It should be noted that each of the means and processes described above can be combined with each other as much as possible to constitute the present invention.
  • object detection can be performed at high speed and with high accuracy.
  • FIG. 1 is a diagram showing an application example of object detection.
  • FIG. 2 is a diagram showing the configuration of the object detection device.
  • FIG. 3 is a flowchart of object detection processing.
  • FIG. 4 is a flowchart of determination processing.
  • FIG. 5 is a flowchart of determination processing.
  • An object detection device detects an object (for example, a human body) from an image acquired by a fixed camera attached above a detection target area (for example, a ceiling). Also, the object detection device uses a two-stage detector that is divided into a front stage and a rear stage. An object 101 and an object 102 are detected objects (for example, a human body) and are moving objects that move within the imaging range of the fixed camera 1 . An object 103 is an object (for example, a flower) provided within the imaging range of the fixed camera 1 .
  • the object detection apparatus detects candidate areas 111 to 113 in which the object exists in the input image using the above-described detector in the preceding stage.
  • Candidate areas 111-113 are areas corresponding to the objects 101-103.
  • the object 103 is not a human body to be detected, a candidate region 113 is generated when the features of the object 103 are similar to those of a human body.
  • the object detection device performs object detection using the latter detector described above, and records the detection result in the storage device.
  • the subsequent detector basically targets the target regions 121-123 corresponding to the candidate regions 111-113.
  • the front-stage detector erroneously detects the object (flower) 103 as an object, but the rear-stage detector can detect that it is not the object. In this case, it is conceivable that the preceding detector continues to erroneously detect the object 103 . If all of the candidate areas are set as target areas for the detector in the subsequent stage, in the situation of FIG. do.
  • an area (target area) in which an object is to be detected by the latter detector is detected from among the areas (candidate areas) in which the preceding detector detects an object, with respect to one or more previous frames.
  • the target area is determined based on the detection score (reliability) of the preceding detector in the candidate area, but for the area where the latter detector did not detect the object in one or more previous frames, The target area may be determined based on a value obtained by subtracting a predetermined value from the detection score.
  • the value to be subtracted may be a fixed value, or may be a value corresponding to the number of consecutive frames in which the object is not detected. In this way, even if a region in which the preceding detector has detected an object is similar to a region in which the latter detector has not detected the object, it is excluded from the processing targets of the latter detector. This makes it possible to speed up the processing while maintaining the accuracy of object detection.
  • FIG. 2 is a functional block diagram of the object detection device 10 according to this embodiment.
  • the object detection device 10 is an information processing device (computer) including an arithmetic device (CPU; processor), a memory, a storage device (storage unit 16), an input/output device, and the like.
  • the functions of the image input unit 11, the first detection unit 12, the determination unit 13, the second detection unit 14, the output unit 15, etc. are provided by the object detection apparatus 10 executing the program stored in the storage device. be. Some or all of these functions may be implemented by dedicated logic circuits such as ASICs and FPGAs.
  • the image input unit 11 has a function of capturing image data from the camera 20.
  • the captured image data is handed over to the first detection unit 12 .
  • This image data may be stored in the storage unit 16 .
  • the image data is received directly from the camera 20 in this embodiment, the image data may be received via a communication device or the like, or may be received via a recording medium.
  • the input image is not particularly limited, and may be an RGB image, a gray image, or an image representing distance, temperature, or the like.
  • the first detection unit 12 detects candidate areas (areas where the object to be detected is likely to exist) from the input image.
  • the first detection unit 12 detects a candidate region using a detector that uses Haar-like features and adaboost.
  • the detection result is handed over to the determination unit 13 .
  • the detection result includes the detected candidate area, and may further include the likelihood that the object to be detected exists in the candidate area (first detection reliability, detection score).
  • the feature amount used for detection and the learning algorithm of the detector are not particularly limited. For example, any feature amount such as a HoG (Histogram of Gradient) feature amount, a SIFT feature amount, a SURF feature amount, or a sparse feature amount can be used as the feature amount.
  • the learning algorithm can use any learning method such as a boosting method other than adaboost, SVM (Support Vector Machine), neural network, decision tree learning, and the like.
  • the determination unit 13 determines a region (target region) to be detected by the second detection unit 14 from among the candidate regions detected by the first detection unit 12 .
  • the determination unit 13 uses the detection information of the previous frame stored in the storage unit 16 to determine the target area from among the candidate areas.
  • the detection information includes information about target areas (erroneous detection areas) in which no object was detected by the second detection unit 14 (to be described later) in one or more previous frames.
  • the determination unit 13 determines, among the candidate regions, those other than the candidate regions having a degree of similarity with the erroneously detected region equal to or greater than a predetermined value as target regions, and outputs them to the second detection unit 14 in the subsequent stage.
  • the determination unit 13 selects an error region from the candidate regions having the first detection reliability equal to or higher than a predetermined value.
  • a region excluding candidate regions similar to the detection region may be determined as the candidate region.
  • the second detection unit 14 performs object detection on the target area determined by the determination unit 13 .
  • the detection result includes information indicating whether or not the object to be detected exists in the target area, and the likelihood that the object to be detected exists in the target area (second detection reliability, detection score). etc. may be included.
  • the second detection unit 14 stores the position and/or size of the target area in which it is determined that the object to be detected does not exist as detection information in the storage unit 16 as a result of the object detection. Record.
  • the second detection unit 14 may record detection information (positions and/or sizes) of all the target regions determined by the determination unit 13 in the storage unit 16 .
  • the second detection unit 14 detects an object using a detector using deep learning.
  • the method of deep learning is not particularly limited, for example, CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), SAE (Stacked Auto Encoder), DBN (Deep Belief Network) detector by any method such as There may be.
  • the second detection unit 14 may not be a detector using deep learning. However, it is desirable that the detection algorithm of the second detection unit 14 is capable of detection with higher accuracy and requires a larger amount of calculation than the detection algorithm of the first detection unit 12 .
  • the output unit 15 outputs detection results for the objects detected by the second detection unit 14 .
  • the output unit 15 outputs result information indicating that an object has been detected for a candidate region in which the reliability of the detection result by the second detection unit 14 is equal to or greater than a threshold.
  • a threshold a threshold for candidate regions whose reliability is less than the threshold need not be included in the result information.
  • the detection result information is not particularly limited, but in the case of face detection, for example, information such as face area, reliability, face direction, age, sex, race, facial expression, etc. can be mentioned.
  • FIG. 3 is a flowchart showing the overall flow of object detection processing by the object detection device 10. As shown in FIG. The details of the object detection device 100 will be described below with reference to the flowchart of FIG.
  • step S31 the object detection device 10 acquires an image (input image).
  • the input image may be obtained from the camera 20 via the image input unit 11 , may be obtained from another computer via the communication device 104 , or may be obtained from the storage unit 16 .
  • step S32 the first detection unit 12 detects candidate regions (regions in which the detection target object is estimated to exist) from the input image (first detection processing).
  • the first detection unit 12 is configured to use the Haar-like feature amount as the image feature amount and AdaBoost as the learning algorithm.
  • the detection result of the first detection process may include, in addition to the candidate areas described above, the probability that the object to be detected exists in the candidate area (first detection reliability, detection score).
  • step S ⁇ b>33 the determination unit 13 determines, among the candidate areas detected in step S ⁇ b>32 , the candidate areas other than the candidate areas whose degree of similarity to the erroneously detected area is equal to or greater than a predetermined value, as target areas.
  • An erroneously detected area is a target area in which no object has been detected in the second detection process described later in one or more previous frames.
  • the determination unit 13 outputs, as a target area, an area obtained by excluding areas similar to the erroneously detected area from among the candidate areas detected in step S32.
  • the determination unit 13 acquires detection information (the position and size of the erroneously detected area) from the storage unit 16 (S41).
  • the determination unit 13 may acquire only erroneous detection information for the immediately preceding frame, or may acquire erroneous detection information for a predetermined number of recent frames.
  • the determining unit 13 calculates the degree of similarity between each of the one or more candidate regions and the falsely detected region (S42).
  • IoU Intersection over Union
  • IoU is a value obtained by dividing the area of the intersection of two regions by the area of the union of the two regions. IoU takes a value between 0 and 1, 1 when the two regions completely overlap, and 0 when they do not overlap at all.
  • the position and size of the candidate area and the position and size of the erroneously detected area may be used to calculate the IoU.
  • the determining unit 13 determines whether or not the IoU is equal to or greater than a predetermined threshold T1 (S43), and if the IoU is equal to or greater than the threshold T1, outputs the area excluding the corresponding candidate area as the target area ( S44).
  • step S34 the second detection unit 14 determines whether or not the one or more target regions output in step S33 include an object to be detected (second detection processing).
  • the second detection unit 14 performs object detection using a discriminator trained using a multilayer neural network called a convolutional neural network (CNN).
  • CNN convolutional neural network
  • step S35 the second detection unit 14 determines whether or not there is a target area that was determined not to contain the object to be detected in the process of step S34.
  • step S36 the second detection unit 14 records, in the storage unit 16, information regarding the target area determined not to contain the detection target object as detection information.
  • the position and size of the target area determined not to include the object to be detected are recorded in the storage unit 16 as the detection information.
  • step S37 the output unit 15 outputs the detection result for the area where the object was detected in step S34.
  • the output unit 15 outputs result information indicating that a detection target object has been detected for a detection target region in which the reliability of the detection result (second detection reliability) of the object detection region is equal to or greater than the threshold.
  • a detection target area whose reliability is less than the threshold need not be included in the result information.
  • ⁇ Advantageous effects of the present embodiment> In object detection, the same object in an input image may be erroneously detected many times. can be reduced to As a result, the number of candidate regions (target regions) across the second detection unit is reduced, so that two-step detection processing can be performed to reduce processing time while maintaining detection performance.
  • step S33 an example in which the degree of similarity is determined in step S33 based on the positions and sizes of the candidate area and the erroneously detected area has been described.
  • step S33 an example will be described in which the degree of similarity is determined by performing pattern matching between an image corresponding to a candidate area and an image corresponding to an erroneously detected area.
  • the description of the same processing as in the above-described first embodiment is omitted, and the determination processing (S33), which is a different processing, will be described.
  • FIG. 5 is a flow chart of the determination process performed in step S33 in this embodiment.
  • the determination unit 13 acquires detection information from the storage unit 16 (S51).
  • the detection information includes an image corresponding to the erroneously detected area.
  • the determining unit 13 performs pattern matching processing using the image corresponding to the erroneously detected area for each of the images corresponding to one or more candidate areas (S52).
  • the determination unit 13 determines whether or not the degree of similarity between images obtained by pattern matching is equal to or greater than a predetermined threshold value T2 (S53).
  • T2 predetermined threshold value
  • the area excluding the area is output as the target area (S54).
  • ⁇ Advantageous effects of the present embodiment> even if the positions and sizes of the erroneously detected area and the candidate area match or are similar, but the images corresponding to the two areas are completely different, object detection can be performed with high accuracy. For example, even if the object to be detected overlaps the position of the object 103 shown in FIG. 1, the similarity is calculated based on the image, so the area corresponding to the position can be used as the target area. .
  • the determination unit 13 determines, as a target area, a candidate area excluding those similar to an erroneously detected area from the candidate areas, but the present invention is not limited to this. .
  • the determination unit 13 determines a candidate area for which the first detection reliability is equal to or greater than a predetermined threshold value T3 as the target area. do.
  • the determination unit 13 determines that a value obtained by subtracting a predetermined value from the first detection reliability is equal to or greater than the above-described predetermined threshold value T3 for candidate regions whose degree of similarity to the erroneously detected region is equal to or greater than a predetermined threshold value T4.
  • a certain candidate area may be determined as the target area.
  • the method of determining the predetermined value to be subtracted from the first detection reliability is not particularly limited.
  • the predetermined value to be subtracted from reliability may be a fixed value.
  • the predetermined value to be subtracted from the reliability may be determined according to the number of consecutive frames in which the target object is not detected by the second detection unit 14 .
  • the predetermined value may be increased as the number of consecutive frames increases, or the predetermined value to be subtracted from the first detection reliability may be subtracted only when the number of consecutive frames is equal to or greater than a certain number.
  • the predetermined value to be subtracted from the reliability may be determined based on the second detection reliability.
  • the determination unit 13 determines a candidate area whose first detection reliability is equal to or greater than a predetermined threshold value T3 as the target area. At this time, the determination unit 13 subtracts the value based on the second detection reliability from the first detection reliability for the candidate area whose similarity to the erroneously detected area is equal to or greater than the predetermined threshold value T4. A candidate area that is equal to or greater than a predetermined threshold value T3 of is determined as the target area. For example, the higher the second detection reliability, the larger the predetermined value to be subtracted from the reliability.
  • a ratio or difference in size between regions, a difference in position (for example, central coordinate values) between regions, or a combination thereof may be used as a similarity index.
  • Object detection device 11 Image input unit 12: First detection unit 13: Determination unit 14: Second detection unit 15: Output unit 16: Storage units 1, 20: Cameras 101, 102, 103: Object 111, 112, 113: candidate regions 121, 122, 123: target regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

画像から所定の物体を検出する物体検出装置であって、前記画像から前記物体が存在する候補領域を検出する第１の検出手段と、前記第１の検出手段によって検出された１つ以上の前記候補領域から対象領域を決定する判定手段と、前記対象領域を対象として、前記第１の検出手段とは異なる検出アルゴリズムによって前記物体を検出する第２の検出手段と、前記対象領域に対する前記２の検出手段による検出結果を表す検出情報を記憶する記憶手段と、を有し、前記判定手段は、１つ以上前のフレームに対する前記検出情報に基づいて、１つ以上の前記候補領域から前記対象領域を決定する、ことを特徴とする物体検出装置。

Description

物体検出装置、物体検出方法、およびプログラム
　本発明は、物体を検出する技術に関する。
　従来より、物体検出において、前段と後段に分かれた二段構成の検出器を用いて検出を行う技術が知られている。例えば、特許文献１、特許文献２では、前段の検出器で検出対象（例えば、顔）の候補領域を検出して、後段の検出器で当該複数の候補領域から検出対象を検出することで、高精度な物体検出を行っている。
特開２００６－２９３７２０号公報 特開２０１９－０２１００１号公報
　しかしながら、従来技術では、２段階の検出処理を行うことで、処理時間が増大するという問題がある。特に、固定カメラでは、検出対象の物体（例えば、動体）以外は見え方が変わらないため、前段の検出器で一度発生した誤検出は何度も同じ場所で発生する。誤検出された領域に対しても後段の検出器で再度検出処理を行われてしまい、処理時間をより一層増大させてしまう問題がある。
　本発明は、高速かつ高精度に物体検出が可能な技術を提供することを目的とする。
　上記目的を達成するために本発明は、以下の構成を採用する。
　本発明の第一側面は、画像から所定の物体を検出する物体検出装置であって、前記画像から前記物体が存在する候補領域を検出する第１の検出手段と、前記第１の検出手段によって検出された１つ以上の前記候補領域から対象領域を決定する判定手段と、前記対象領域を対象として、前記第１の検出手段とは異なる検出アルゴリズムによって前記物体を検出する第２の検出手段と、前記対象領域に対する前記２の検出手段による検出結果を表す検出情報を記憶する記憶手段と、を有し、前記判定手段は、１つ以上前のフレームに対する前記検出情報に基づいて、１つ以上の前記候補領域から前記対象領域を決定する、ことを特徴とする物体検出装置である。
　検出対象の物体は、特に限定されないが、例えば、人体、顔、特定の動物、自動車、特定の商品などが挙げられる。候補領域は、検出対象の物体が存在する確率が高いと第１の検出手段によって判断された領域であり、第２の検出手段の検出の対象とする領域（対象領域）はこの候補領域に基づいて決定される。第１の検出手段および第２の検出手段は、どのようなアルゴリズムを用いたものであってもよいが、第２の検出手段の検出アルゴリズムは、第１の検出手段の検出アルゴリズムよりも高精度に検出が可能かつ計算量がより多いことが望ましい。検出情報は、第２の検出手段によって行われる物体検出処理を行って得られた情報であって、例えば、対象領域の位置やサイズ、対象領域に対応する画像、対象領域に検出対象の物体が含まれる確からしさを表すスコア等が含まれる。
　検出情報は、第２の検出手段によって物体が検出されなかった対象領域に関する情報を含むとよい。この場合、判定手段は、候補領域のうち、前フレームにおいて物体が検出されなかった対象領域との類似度が所定値以上の候補領域以外を、前記対象領域として決定するとよい。また、第１の検出手段は、候補領域に物体が含まれる確からしさを表す第１の検出信頼度も出力し、判定手段は、前フレームにおいて物体が検出されなかった対象領域との類似度が所定値以上の候補領域については第１の検出信頼度から所定の値を減算した値に基づいて、その他の候補領域については第１の検出信頼度に基づいて、対象領域を決定してもよい。上記の構成によれば、第２の検出手段に渡る候補領域の数が減るので、２段階の検出処理を行うことで検出性能を維持したまま、処理時間を削減することができる。
　また、第１の検出信頼度から減算する所定の値は、第２の検出手段によって物体が検出されなかった連続フレーム数に応じた値であるとよい。例えば、連続フレーム数が増加するほど、所定の値を大きくしてもよいし、連続フレーム数が一定数以上の場合に初めて第１の検出信頼度から減算する所定の値を減算してもよい。なお、第１の検出信頼度から減算する所定の値は、固定値であってもよい。
　また、第１の検出手段は、候補領域に物体が含まれる確からしさを表す第１の検出信頼度も出力し、検出情報は、第２の検出手段によって判定される、対象領域に物体が含まれる確からしさを表す第２の検出信頼度を含み、判定手段は、検出情報に示される対象領域との類似度が所定値以上の候補領域については第１の検出信頼度から第２の検出信頼度に応じた値を減算した値に基づいて、その他の候補領域については第１の検出信頼度に基づいて、対象領域を決定するとよい。例えば、第２の検出信頼度が高い程、第１の検出信頼度から減算する所定の値を大きくすればよい。
　検出情報は、対象領域の位置および／またはサイズを含み、判定手段は、候補領域の位置および／またはサイズと、対象領域の位置および／またはサイズとに基づいて、類似度を求めるとよい。物体検出において、入力画像中の同じ物に対し、何度も誤検出が発生することがあるが、上記の構成によれば、同じ位置・サイズのものを何度も誤検出することを効果的に減らすことができる。これにより、第２の検出部に渡る候補領域の数が減るので、２段階の検出処理を行うことで検出性能を維持したまま、処理時間を削減することができる。
　検出情報は、対象領域に対応する画像を含み、判定手段は、検出情報に含まれる画像と、候補領域に対応する画像とに基づいて、類似度を求めるとよい。これにより、誤検出情報に対応する領域と候補領域との位置やサイズが一致または類似するが、２つの領域に対応する画像が全く異なる場合にも高精度に物体検出を行うことができる。
　本発明の第二側面は、画像から所定の物体を検出する物体検出方法であって、前記画像から前記物体が存在する候補領域を検出する第１の検出ステップと、前記第１の検出ステップで検出された１つ以上の前記候補領域から対象領域を決定する判定ステップと、前記対象領域を対象として、前記第１の検出ステップとは異なる検出アルゴリズムによって前記物体を検出する第２の検出ステップと、前記対象領域に対する前記２の検出ステップにおける検出結果を表す検出情報を記憶する記憶ステップと、を有し、前記判定ステップでは、１つ以上前のフレームに対する前記検出情報に基づいて、１つ以上の前記候補領域から前記対象領域を決定する、を有することを特徴とする物体検出方法である。
　本発明は、上記手段の少なくとも一部を有する物体検出装置として捉えてもよいし、検出対象の物体を認識または追跡する装置、あるいは画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む物体検出方法、物体認識方法、物体追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、高速かつ高精度に物体検出を行うことができる。
図１は、物体検出の適用例を示す図である。 図２は、物体検出装置の構成を示す図である。 図３は、物体検出処理のフローチャートである。 図４は、判定処理のフローチャートである。 図５は、判定処理のフローチャートである。
（適用例）
　図１を参照して、本発明に係る物体検出装置の適用例を説明する。物体検出装置は、検出対象エリアの上方（例えば、天井）に取り付けられた固定カメラによって取得される画像から対象物（例えば、人体）を検出する。また、物体検出装置は、前段と後段に分かれた二段構成の検出器を用いる。物体１０１および物体１０２は、検出物（例えば、人体）であって、固定カメラ１の撮像範囲を移動する動体である。物体１０３は、固定カメラ１の撮像範囲内に設けられる物体（例えば、花）である。物体検出装置は、入力画像に対して上述の前段の検出器を用いて対象物が存在する候補領域１１１～１１３を検出する。候補領域１１１～１１３は、物体１０１～１０３に対応する領域である。物体１０３は検出対象の人体ではないが、物体１０３の特徴が人体に類似している場合に候補領域１１３が発生する。そして、物体検出装置は、上述の後段の検出器を用いて物体検出を行い、検出結果を記憶装置に記録する。後段の検出器は、基本的に候補領域１１１～１１３に対応する対象領域１２１～１２３を対象として行う。ここで、前段の検出器は、物体（花）１０３を対象物であると誤検出するが、後段の検出器は対象物ではないと検出できるものとする。この場合、前段の検出器は物体１０３の誤検出し続けることが考えられる。候補領域の全てを後段の検出器の対象領域とすると、図１の状況において、後段の検出器は対象物が存在しないにもかかわらず、毎フレーム検出処理を行うことになり無駄な処理が発生する。
　そこで、本適用例においては、前段の検出器が物体を検出した領域（候補領域）のうちから、後段の検出器が物体検出を行う領域（対象領域）を、１つ以上前のフレームに対する検出情報に基づいて決定する。例えば、１つ以上前のフレームにおいて後段の検出器が対象物を検出しなかった領域との類似度が高い現フレームの候補領域は、対象領域から除外することが考えられる。あるいは、候補領域のうち前段の検出器の検出スコア（信頼度）に基づいて対象領域を決定するが、１つ以上前のフレームにおいて後段の検出器が対象物を検出しなかった領域については、検出スコアから所定の値を減算した値に基づいて対象領域と決定してもよい。減算する値は、固定値であってもよいし、対象物が検出されなかった連続フレーム数に応じた値としてもよい。このように、前段の検出器が対象物を検出した領域であっても、後段の検出器が対象物を検出しなかった領域と類似する場合には、後段の検出器の処理対象から除外することで、物体検出の精度を保ちつつ処理を高速化できる。
（実施形態１）
＜構成＞
　図２は、本実施形態に係る物体検出装置１０における機能ブロック図である。物体検出装置１０は、演算装置（ＣＰＵ；プロセッサ）、メモリ、記憶装置（記憶部１６）、入出力装置等を含む情報処理装置（コンピュータ）である。記憶装置に格納されたプログラムを物体検出装置１０が実行することで、画像入力部１１、第１の検出部１２、判定部１３、第２の検出部１４、出力部１５等の機能が提供される。これらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実装されてもよい。
　画像入力部１１は、カメラ２０から画像データを取り込む機能を有する。取り込まれた画像データは、第１の検出部１２に引き渡される。この画像データは記憶部１６に格納されてもよい。なお、本実施形態ではカメラ２０から、直接、画像データを受け取っているが、通信装置等を介して画像データを受け取ったり、記録媒体を経由して画像データを受け取ったりしてもよい。なお、入力される画像は特に限定されず、ＲＧＢ画像やグレー画像、距離または温度等を表す画像であってもよい。
　第１の検出部１２は、入力画像から候補領域（検出対象の物体が存在しそうな領域）を検出する。本実施形態では、第１の検出部１２は、Ｈａａｒ－ｌｉｋｅ特徴量とａｄａｂｏｏｓｔを用いた検出器を用いて候補領域の検出を行う。検出結果は、判定部１３に引き渡される。検出結果には、検出された候補領域が含まれ、さらに、当該候補領域に検出対象の物体が存在する確からしさ（第１の検出信頼度、検出スコア）が含まれてもよい。なお、検出に用いる特徴量および検出器の学習アルゴリズムは特に限定されない。例えば、特徴量として、ＨｏＧ（Ｈｉｓｔｇｒａｍ　ｏｆ　Ｇｒａｄｉｅｎｔ）特徴量、ＳＩＦＴ特徴量、ＳＵＲＦ特徴量、Ｓｐａｒｓｅ特徴量など任意の特徴量を用いることができる。また、学習アルゴリズムも、ａｄａｂｏｏｓｔ以外のｂｏｏｓｔｉｎｇ手法や、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ニューラルネットワーク、決定木学習などの任意の学習手法を用いることができる。
　判定部１３は、第１の検出部１２によって検出された候補領域の中から、第２の検出部１４による検出の対象とする領域（対象領域）を決定する。本実施形態においては、判定部１３は、記憶部１６に記憶される前フレームの検出情報を用いて、候補領域の中から対象領域を決定する。検出情報は、１つ以上前のフレームにおいて、後述する第２の検出部１４によって物体が検出されなかった対象領域（誤検出領域）に関する情報を含む。判定部１３は、候補領域のうち、誤検出領域との類似度が所定値以上の候補領域以外を、対象領域として決定し、後段の第２の検出部１４に出力する。なお、判定部１３は、第１の検出部１２の検出結果に、上述の第１の検出信頼度が含まれる場合、当該第１の検出信頼度が所定値以上の候補領域の中から、誤検出領域に類似する候補領域を除いた領域を、候補領域として決定してもよい。
　第２の検出部１４は、判定部１３によって決定された対象領域に対して物体検出を行う。検出結果には、対象領域に検出対象の物体が存在するか否かを示す情報が含まれ、さらに、対象領域に検出対象の物体が存在する確からしさ（第２の検出信頼度、検出スコア）等が含まれてもよい。また、本実施形態では、第２の検出部１４は、物体検出を行った結果、検出対象の物体が存在しないと判断された対象領域の位置および／またはサイズを、検出情報として記憶部１６に記録する。なお、第２の検出部１４は、判定部１３によって決定された対象領域すべての検出情報（位置および／またはサイズ）を記憶部１６に記録してもよい。本実施形態では、第２の検出部１４は、深層学習を用いた検出器を用いて物体の検出を行う。なお、深層学習の手法は特に限定されず、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＳＡＥ（Ｓｔａｃｋｅｄ　Ａｕｔｏ　Ｅｎｃｏｄｅｒ）、ＤＢＮ（Ｄｅｅｐ　Ｂｅｌｉｅｆ　Ｎｅｔｗｏｒｋ）などの任意の手法による検出器であってもよい。また、第２の検出部１４は、深層学習を用いた検出器でなくても構わない。ただし、第２の検出部１４の検出アルゴリズムは、第１の検出部１２の検出アルゴリズムよりも高精度に検出が可能かつ計算量がより多いことが望ましい。
　出力部１５は、第２の検出部１４によって検出された物体について検出結果を出力する。例えば、出力部１５は、第２検出部１４による検出結果の信頼度が閾値以上である候補領域について、物体が検出されたことを示す結果情報を出力する。信頼度が閾値未満の候補領域については、結果情報に含めなくてよい。検出結果情報は、特に限定されないが、例えば顔検出の場合には、顔領域、信頼度、顔の向き、年齢、性別、人種、表情など情報が挙げられる。
＜処理内容＞
　図３は、物体検出装置１０による物体検出処理の全体の流れを示すフローチャートである。以下、図３のフローチャートにしたがって、物体検出装置１００の詳細について説明する。
≪Ｓ３１：画像入力処理≫
　ステップＳ３１において、物体検出装置１０は、画像（入力画像）を取得する。入力画像は、画像入力部１１を介してカメラ２０から取得されてもよいし、通信装置１０４を介して他のコンピュータから取得されてもよいし、記憶部１６から取得されてもよい。
≪Ｓ３２：第１の検出処理≫
　ステップＳ３２において、第１の検出部１２は、入力画像から候補領域（検出対象の物体が存在すると推定される領域）を検出する（第１の検出処理）。本実施形態では、第１の検出部１２は、画像特徴量としてＨａａｒ－ｌｉｋｅ特徴量を用い、学習アルゴリズムとしてＡｄａＢｏｏｓｔを用いるように構成される。第１の検出処理の検出結果として、上述の候補領域の他に、当該候補領域に検出対象の物体が存在する確からしさ（第１の検出信頼度、検出スコア）が含まれてもよい。
≪Ｓ３３：判定処理≫
　ステップＳ３３において、判定部１３は、ステップＳ３２で検出された候補領域のうち、誤検出領域との類似度が所定値以上の候補領域以外を、対象領域として決定する。誤検出領域は、１つ以上前のフレームにおける後述する第２の検出処理において、物体が検出されなかった対象領域である。判定部１３は、ステップＳ３２で検出された候補領域の中から誤検出領域に類似するものを除いた領域を対象領域として出力する。
　ステップＳ３３で行われる判定処理について、図４を用いて詳しく説明する。図４は、本実施形態に係る判定処理のフローチャートである。まず、判定部１３は、記憶部１６から検出情報（誤検出領域の位置およびサイズ）を取得する（Ｓ４１）。判定部１３は、直前のフレームに対する誤検出情報のみを取得してもよいし、直近の所定数フレームに対する誤検出情報を取得してもよい。そして、判定部１３は、１つ以上の候補領域のそれぞれに対して、誤検出領域との類似度を算出する（Ｓ４２）。本実施形態では、領域同士における類似度の指標として、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）を用いる。ＩｏＵは、２つの領域の積集合の面積を、当該２つの領域の和集合の面積で割った値である。ＩｏＵは、０から１の間の値をとり、２つの領域が完全に重なると１、全く重ならないと０となる。ＩｏＵの算出には、候補領域の位置およびサイズ、ならびに誤検出領域の位置およびサイズを用いればよい。そして、判定部１３は、ＩｏＵが所定の閾値Ｔ１以上か否かを判定して（Ｓ４３）、ＩｏＵが閾値Ｔ１以上である場合に、該当する候補領域を除いた領域を対象領域として出力する（Ｓ４４）。
≪Ｓ３４～Ｓ３６：第２の検出処理≫
　ステップＳ３４において、第２の検出部１４は、ステップＳ３３で出力された１つ以上の対象領域に対して、検出対象の物体が含まれるか否かを判定する（第２の検出処理）。本実施形態では、第２の検出部１４は、たたみ込みニューラルネットワーク（ＣＮＮ）と呼ばれる多層ニューラルネットワークを用いて学習した識別器を用いて物体検出を行う。
　ステップＳ３５において、第２の検出部１４は、ステップＳ３４の処理において、検出対象の物体が含まれないと判定された対象領域があるか否かを判定する。
　ステップＳ３６において、第２の検出部１４は、検出対象の物体が含まれないと判定された対象領域に関する情報を検出情報として記憶部１６に記録する。本実施形態では、検出情報として、検出対象の物体が含まれないと判定された対象領域の位置およびサイズが記憶部１６に記録される。
≪Ｓ３７：検出結果出力処理≫
　ステップＳ３７において、出力部１５は、ステップＳ３４で物体が検出された領域について検出結果を出力する。出力部１５は、物体検出領域による検出結果の信頼度（第２の検出信頼度）が閾値以上である検出対象領域について、検出対象の物体が検出されたことを示す結果情報を出力する。信頼度が閾値未満の検出対象領域については、結果情報に含めなくてよい。
＜本実施形態の有利な効果＞
　物体検出において、入力画像中の同じ物に対し、何度も誤検出が発生することがあるが、本実施形態によれば、同じ位置・サイズのものを何度も誤検出することを効果的に減らすことができる。これにより、第２の検出部に渡る候補領域（対象領域）の数が減るので、２段階の検出処理を行うことで検出性能を維持したまま、処理時間を削減することができる。
（実施形態２）
　上述の実施形態１では、ステップＳ３３において、候補領域および誤検出領域の位置や大きさに基づいて、類似度を決定する例について説明した。本実施形態では、ステップＳ３３において、候補領域に対応する画像と誤検出領域に対応する画像とのパターンマッチングを行うことで類似度を決定する例について説明する。上述の実施形態１と同じ処理については説明を省略し、相違する処理である判定処理（Ｓ３３）について説明する。
＜判定処理（Ｓ３３）＞
　図５は、本実施形態において、ステップＳ３３で行われる判定処理のフローチャートである。まず、判定部１３は、記憶部１６から検出情報を取得する（Ｓ５１）。本実施形態では、検出情報には、誤検出領域に対応する画像が含まれる。そして、判定部１３は、１つ以上の候補領域に対応する画像のそれぞれに対して、誤検出領域に対応する画像を用いてパターンマッチング処理を行う（Ｓ５２）。そして、判定部１３は、パターンマッチングによって得られる画像同士の類似度が所定の閾値Ｔ２以上であるか否かを判断して（Ｓ５３）、類似度が閾値Ｔ２以上である場合に、該当する候補領域を除いた領域を対象領域として出力する（Ｓ５４）。
＜本実施形態の有利な効果＞
　本実施形態によれば、誤検出領域と候補領域との位置やサイズが一致または類似するが、２つの領域に対応する画像が全く異なる場合にも高精度に物体検出を行うことができる。例えば、図１に示す物体１０３の位置に、検出対象の物体が重なった場合にも、画像に基づいて類似度を算出しているため、当該位置に対応する領域を対象領域とすることができる。
（変形例）
　上述の実施形態１および実施形態２では、判定部１３は、候補領域の中から誤検出領域に類似するものを除いた候補領域を、対象領域として決定する例について説明したが、これに限定されない。例えば、第１の検出部１２が上述の第１の検出信頼度を出力する場合に、判定部１３は、当該第１の検出信頼度が所定の閾値Ｔ３以上である候補領域を対象領域として決定する。このとき、判定部１３は、誤検出領域との類似度が所定の閾値Ｔ４以上の候補領域については、第１の検出信頼度から所定の値を減算した値が上述の所定の閾値Ｔ３以上である候補領域を対象領域として決定してもよい。
　なお、第１の検出信頼度から減算する所定の値の決定方法は特に限定されない。信頼度から減算する所定の値は、固定値でもよい。また、信頼度から減算する所定の値は、第２の検出部１４によって対象物体が検出されなかった連続フレーム数に応じて決定してもよい。例えば、連続フレーム数が増加するほど、所定の値を大きくしてもよいし、連続フレーム数が一定数以上の場合に初めて第１の検出信頼度から減算する所定の値を減算してもよい。さらに、第２の検出部１４によって第２の検出信頼度が出力される場合、信頼度から減算する所定の値は、当該第２の検出信頼度に基づいて決定されもよい。例えば、判定部１３は、第１の検出信頼度が所定の閾値Ｔ３以上である候補領域を対象領域として決定する。このとき、判定部１３は、誤検出領域との類似度が所定の閾値Ｔ４以上の候補領域については、第１の検出信頼度から、第２の検出信頼度に基づく値を減算した値が上述の所定の閾値Ｔ３以上である候補領域を対象領域として決定してもよい。例えば、第２の検出信頼度が高い程、信頼度から減算する所定の値を大きくすればよい。
　上述の実施形態１では、領域同士における類似度の指標として、ＩｏＵを用いる例について説明したが、これに限定されない。例えば、領域同士のサイズの比や差、または領域同士の位置（例えば、中央の座標値）の差、あるいはこれらの組合せを類似度の指標として用いてもよい。
　上述の実施形態２では、画像同士の類似度を求める際にパターンマッチングを行う例について説明したが、これに限定されない。例えば、画像における色情報の差や輝度情報の差を類似度の指標として用いてもよい。
１０：物体検出装置
１１：画像入力部
１２：第１の検出部
１３：判定部
１４：第２の検出部
１５：出力部
１６：記憶部
１，２０：カメラ
１０１，１０２，１０３：物体
１１１，１１２，１１３：候補領域
１２１，１２２，１２３：対象領域
 

Claims (11)

  1. 　画像から所定の物体を検出する物体検出装置であって、
    　前記画像から前記物体が存在する候補領域を検出する第１の検出手段と、
    　前記第１の検出手段によって検出された１つ以上の前記候補領域から対象領域を決定する判定手段と、
    　前記対象領域を対象として、前記第１の検出手段とは異なる検出アルゴリズムによって前記物体を検出する第２の検出手段と、
    　前記対象領域に対する前記第２の検出手段による検出結果を表す検出情報を記憶する記憶手段と、
    　を有し、
    　前記判定手段は、１つ以上前のフレームに対する前記検出情報に基づいて、１つ以上の前記候補領域から前記対象領域を決定する、
    　ことを特徴とする物体検出装置。
  2. 　前記検出情報は、前記第２の検出手段によって前記物体が検出されなかった対象領域に関する情報を含む、
    　請求項１に記載の物体検出装置。
  3. 　前記判定手段は、前記候補領域のうち、前フレームにおいて前記物体が検出されなかった対象領域との類似度が所定値以上の候補領域以外を、前記対象領域として決定する、
    　請求項２に記載の物体検出装置。
  4. 　前記第１の検出手段は、前記候補領域に前記物体が含まれる確からしさを表す第１の検出信頼度も出力し、
    　前記判定手段は、前フレームにおいて前記物体が検出されなかった対象領域との類似度が所定値以上の候補領域については前記第１の検出信頼度から所定の値を減算した値に基づいて、その他の候補領域については前記第１の検出信頼度に基づいて、前記対象領域を決定する、
    　請求項２に記載の物体検出装置。
  5. 　前記所定の値は、前記第２の検出手段によって前記物体が検出されなかった連続フレーム数に応じた値である、
    　請求項４に記載の物体検出装置。
  6. 　前記所定の値は、固定値である、
    　請求項４に記載の物体検出装置。
  7. 　前記第１の検出手段は、前記候補領域に前記物体が含まれる確からしさを表す第１の検出信頼度も出力し、
    　前記検出情報は、前記第２の検出手段によって判定される、前記対象領域に前記物体が含まれる確からしさを表す第２の検出信頼度を含み、
    　前記判定手段は、前記検出情報に示される対象領域との類似度が所定値以上の候補領域については前記第１の検出信頼度から前記第２の検出信頼度に応じた値を減算した値に基づいて、その他の候補領域については前記第１の検出信頼度に基づいて、前記対象領域を決定する、
    　請求項１に記載の物体検出装置。
  8. 　前記検出情報は、前記対象領域の位置および／またはサイズを含み、
    　前記判定手段は、前記候補領域の位置および／またはサイズと、前記対象領域の位置および／またはサイズとに基づいて、前記類似度を求める、
    　ことを特徴とする請求項３から７のいずれか一項に記載の物体検出装置。
  9. 　前記検出情報は、前記対象領域に対応する画像を含み、
    　前記判定手段は、前記検出情報に含まれる前記画像と、前記候補領域に対応する画像とに基づいて、前記類似度を求める、
    　ことを特徴とする請求項３から７のいずれか一項に記載の物体検出装置。
  10. 　画像から所定の物体を検出する物体検出方法であって、
    　前記画像から前記物体が存在する候補領域を検出する第１の検出ステップと、
    　前記第１の検出ステップで検出された１つ以上の前記候補領域から対象領域を決定する判定ステップと、
    　前記対象領域を対象として、前記第１の検出ステップとは異なる検出アルゴリズムによって前記物体を検出する第２の検出ステップと、
    　前記対象領域に対する前記２の検出ステップにおける検出結果を表す検出情報を記憶する記憶ステップと、
    　を有し、
    　前記判定ステップでは、１つ以上前のフレームに対する前記検出情報に基づいて、１つ以上の前記候補領域から前記対象領域を決定する、
    　を有することを特徴とする物体検出方法。
  11. 　請求項１０に記載の物体検出方法の各ステップをコンピュータに実行させるためのプログラム。
     
PCT/JP2021/047100 2021-03-08 2021-12-20 物体検出装置、物体検出方法、およびプログラム WO2022190531A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180093783.0A CN116868227A (zh) 2021-03-08 2021-12-20 物体检测装置、物体检测方法以及程序
DE112021007212.9T DE112021007212T5 (de) 2021-03-08 2021-12-20 Objekterfassungseinrichtung, Objekterfassungsverfahren und Programm
US18/547,793 US20240144631A1 (en) 2021-03-08 2021-12-20 Object detection device, object detection method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021036637A JP2022136840A (ja) 2021-03-08 2021-03-08 物体検出装置、物体検出方法、およびプログラム
JP2021-036637 2021-03-08

Publications (1)

Publication Number Publication Date
WO2022190531A1 true WO2022190531A1 (ja) 2022-09-15

Family

ID=83227546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047100 WO2022190531A1 (ja) 2021-03-08 2021-12-20 物体検出装置、物体検出方法、およびプログラム

Country Status (5)

Country Link
US (1) US20240144631A1 (ja)
JP (1) JP2022136840A (ja)
CN (1) CN116868227A (ja)
DE (1) DE112021007212T5 (ja)
WO (1) WO2022190531A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159391A (ja) * 2018-03-07 2019-09-19 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4708835B2 (ja) 2005-04-12 2011-06-22 日本電信電話株式会社 顔検出装置、顔検出方法、及び顔検出プログラム
JP6907774B2 (ja) 2017-07-14 2021-07-21 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159391A (ja) * 2018-03-07 2019-09-19 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム

Also Published As

Publication number Publication date
US20240144631A1 (en) 2024-05-02
JP2022136840A (ja) 2022-09-21
DE112021007212T5 (de) 2024-01-04
CN116868227A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
US10885372B2 (en) Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium
Kim et al. Uncertainty-guided cross-modal learning for robust multispectral pedestrian detection
US20220027669A1 (en) Objects and Features Neural Network
US9292745B2 (en) Object detection apparatus and method therefor
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
US8705850B2 (en) Object determining device and program thereof
CN111797709B (zh) 一种基于回归检测的实时动态手势轨迹识别方法
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
JP5262705B2 (ja) 運動推定装置及びプログラム
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
JP7392488B2 (ja) 遺留物誤検出の認識方法、装置及び画像処理装置
US20190114501A1 (en) Target tracking method and system adaptable to multi-target tracking
JP6844230B2 (ja) 画像処理プログラム、画像処理装置および画像処理方法
CN111415370A (zh) 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
US11394870B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
Tsai et al. Joint detection, re-identification, and LSTM in multi-object tracking
WO2022190531A1 (ja) 物体検出装置、物体検出方法、およびプログラム
US20220207904A1 (en) Image processing apparatus, image processing method, and storage medium
JP6540577B2 (ja) 物体認識装置
CN112633078B (zh) 目标跟踪自校正方法、系统、介质、设备、终端及应用
Chong et al. A novel pedestrian detection and tracking with boosted HOG classifiers and Kalman filter
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
CN113920168A (zh) 一种音视频控制设备中图像跟踪方法
Mattheij et al. Depth-based detection using Haarlike features
GB2446293A (en) Video based monitoring system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930376

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180093783.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18547793

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021007212

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21930376

Country of ref document: EP

Kind code of ref document: A1