WO2020141588A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020141588A1
WO2020141588A1 PCT/JP2019/048322 JP2019048322W WO2020141588A1 WO 2020141588 A1 WO2020141588 A1 WO 2020141588A1 JP 2019048322 W JP2019048322 W JP 2019048322W WO 2020141588 A1 WO2020141588 A1 WO 2020141588A1
Authority
WO
WIPO (PCT)
Prior art keywords
detector
target
information processing
detection result
sensing data
Prior art date
Application number
PCT/JP2019/048322
Other languages
English (en)
French (fr)
Inventor
育規 石井
拓也 山口
洋平 中田
亮太 藤村
宗太郎 築澤
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to EP19907542.5A priority Critical patent/EP3907721A4/en
Priority to JP2020563864A priority patent/JP7407738B2/ja
Priority to CN201980045420.2A priority patent/CN112424849B/zh
Publication of WO2020141588A1 publication Critical patent/WO2020141588A1/ja
Priority to US17/149,269 priority patent/US11481990B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a technique in which the correspondence between the characteristic of the response output by the detector and the optimum threshold is trained by a regression model, and the threshold is switched according to the characteristic of the response of the detector.
  • the present disclosure provides an information processing device, an information processing method, and a program capable of stably improving the performance of object detection.
  • an information processing apparatus including a processor, and the processor is a first detector for detecting a first target in first sensing data. For detecting a second target different from the first target in the second sensing data ordered next to the first sensing data, based on the detection result of the first detector. Determine the processing settings for the second detector.
  • An information processing device is an information processing device including a processor, and the processor acquires a detection result of a first detector for detecting a first target in first sensing data. Then, based on the detection result of the first detector, (i) a second target for detecting a second target different from the first target in the second sensing data ordered next to the first sensing data. One of the detection results is selected from the detection result based on the processing result of the detector and the detection result in the second sensing data of the first detector, or (ii) the detection result of the second detector and the first detection result. A method of integrating with the detection result in the second sensing data of the detector is determined.
  • an information processing method is a method for causing a computer to execute, wherein a detection result of a first detector for detecting a first target in first sensing data is acquired, and Setting of the processing of the second detector for detecting a second target different from the first target in the second sensing data ordered next to the first sensing data based on the detection result of the first detector. To decide.
  • one aspect of the present disclosure can be realized as a program for causing a computer to execute the above information processing method.
  • it may be realized as a computer-readable non-transitory recording medium that stores the program.
  • FIG. 1 is a block diagram showing an example of the configuration of the information processing apparatus according to the first embodiment.
  • FIG. 2 is a flowchart showing an example of the operation of the information processing device according to the first embodiment.
  • FIG. 3 is a detailed flowchart of the process of step S2006 of FIG.
  • FIG. 4 is a diagram for schematically explaining an example of the operation of the information processing apparatus according to the first embodiment.
  • FIG. 5 is a diagram for schematically explaining an example of the operation of the information processing apparatus according to the first modification of the first embodiment.
  • FIG. 6 is a diagram for schematically explaining an example of the operation of the information processing apparatus according to the second modification of the first embodiment.
  • FIG. 7 is a block diagram showing an example of the configuration of the information processing apparatus according to the second embodiment.
  • FIG. 8 is a flowchart showing an example of operations of the calculation unit and the correction unit of the information processing device according to the second embodiment.
  • FIG. 9 is a detailed flowchart of the process of step S8002 of FIG.
  • FIG. 10 is a diagram for schematically explaining an example of the operation of the information processing apparatus according to the second embodiment.
  • a machine learning model is trained to detect local shape features of the object from a large number of positive case and negative case sample images of the object to be detected.
  • the object can be detected relatively well.
  • the detection sensitivity of the detector may be reduced in a situation where it is easily affected by weather or changes in lighting, such as an image obtained from a camera used in an outdoor environment such as a security camera or an in-vehicle camera.
  • the light of the illumination may be reflected by a puddle on the road surface and the vertical width of the candidate frame of the object may extend in the road surface direction, or the object may not be detected due to whiteout.
  • the objects to be detected are the same type of object, it may be difficult to be detected depending on the orientation or orientation of the object. For example, when a pedestrian falls, a fallen pedestrian (that is, a pedestrian in a lying posture) is often erroneously detected as behind the pedestrian. In this way, the same detection target may be difficult to detect.
  • the inventor of the present application uses, for example, two detectors, and based on the detection result of one detector, sets the processing such as the threshold value or the detection model of the other detector It was found that the performance of object detection can be stably improved by making a decision.
  • An information processing apparatus is an information processing apparatus including a processor, wherein the processor acquires a detection result of a first detector for detecting a first target in first sensing data, A second detector process for detecting a second target different from the first target in the second sensing data ordered next to the first sensing data based on the detection result of the first detector. Determine the settings.
  • the processing of the second detector for detecting the second target in the second sensing data is performed based on the a priori information that the first target is detected in the first sensing data before the second sensing data.
  • the settings can be determined. Therefore, the detection accuracy of the second target in the second sensing data, that is, the detection target can be improved. Therefore, the detection performance can be stably improved.
  • the processor may be configured to detect the second detector based on a relationship between a detection result of the first detector and a candidate of a detection result of the second detector.
  • the processing settings may be determined.
  • the candidate of the detection result of the second detector is used, so that the processing setting of the second detector can be executed more appropriately. Therefore, the detection accuracy of the second target in the second sensing data can be further improved.
  • the relationship may include a region of the first target detected by the first detector and a candidate of the second target detected by the second detector. It may be the distance to the area.
  • the second target is detected based on the similarity between the first target detected in the first sensing data and the second target detected in the second sensing data ordered after the first sensing data. can do. Therefore, the second target can be detected more accurately.
  • the processor determines the setting of the process of the second detector according to whether or not the first target is detected in the first sensing data. You may.
  • the processor determines the setting of the process of the second detector according to whether or not the first target is detected in the second sensing data. You may.
  • the processing settings of the second detector can be determined. Therefore, the detection accuracy of the second target can be further increased.
  • the processor may determine the setting of the process of the second detector when the first target is detected in the first sensing data. ..
  • the processing of the second detector for detecting the second target in the second sensing data is performed based on the a priori information that the first target is detected in the first sensing data before the second sensing data.
  • the settings can be determined. Therefore, the detection accuracy of the second target in the second sensing data can be improved.
  • the processor further determines the setting of the process of the second detector when the first target is not detected in the second sensing data. Good.
  • the second target is detected based on the information that the first target is not detected in the second sensing data ordered next to the first sensing data.
  • the processing setting of the second detector for detecting the second target in the sensing data can be determined. Therefore, the detection accuracy of the second target can be further increased.
  • the processor may determine the setting of the process of the second detector when the first target is not detected in the first sensing data. Good.
  • the setting of the process may be a parameter used for the process.
  • the parameter used for the processing may be a likelihood threshold value for the second target, a likelihood correction value, or a tracking threshold value that is the number of data for detection determination.
  • the setting of the process may be a calculation resource assigned to the process of the second detector.
  • the setting of the process may be selection of the second detector.
  • the processing setting may be the resolution or size of the data input to the second detector.
  • the detection performance of the second detector can be improved.
  • the first target and the second target may be objects of the same type but different postures.
  • An information processing device is an information processing device including a processor, and the processor acquires a detection result of a first detector for detecting a first target in first sensing data. Then, based on the detection result of the first detector, (i) a second target for detecting a second target different from the first target in the second sensing data ordered next to the first sensing data. One of the detection results is selected from the detection result based on the processing result of the detector and the detection result in the second sensing data of the first detector, or (ii) the detection result of the second detector and the first detection result. A method of integrating with the detection result in the second sensing data of the detector is determined.
  • the process for the second sensing data of the second detector can be determined based on the detection result of the first sensing data of the first detector. .. Therefore, when the first detector cannot accurately detect the first target in the second sensing data, the detection result based on the processing result of the second detector is used to detect the second sensing data of the first detector.
  • the detection result in can be complemented.
  • the processor may provide a detection result between the detection result of the first target in the first sensing data and the detection result of the first target in the second sensing data.
  • the magnitude of the change may be calculated, and (i) or (ii) may be executed based on the magnitude of the change.
  • the magnitude of the change is the magnitude of change in a specific direction in the sensing data between the detection result of the first target in the first sensing data and the detection result of the first target in the second sensing data.
  • the processor may detect the detection result based on the processing result of the second detector and the second sensing data of the first detector in (i).
  • One of the detection results may be selected from the detection results in step 1, or the weight in the integration of the detection result of the second detector and the detection result of the first detector may be determined in (ii). ..
  • the importance of the detection result of the second detector in the detection process of the first target can be switched based on the variation of the detection result of the first detector. Therefore, the detection accuracy of the first target can be improved.
  • the first target and the second target may be objects of the same type but different parts.
  • an information processing method is a method for causing a computer to execute, wherein a detection result of a first detector for detecting a first target in first sensing data is acquired, and Setting of the processing of the second detector for detecting a second target different from the first target in the second sensing data ordered next to the first sensing data based on the detection result of the first detector. To decide.
  • the processing of the second detector for detecting the second target in the second sensing data is performed based on the prior information that the first target is detected in the first sensing data before the second sensing data.
  • the settings can be determined. Therefore, the detection accuracy of the second sensing data can be improved.
  • one aspect of the present disclosure can be realized as a program for causing a computer to execute the above information processing method.
  • it may be realized as a computer-readable non-transitory recording medium that stores the program.
  • each diagram is a schematic diagram and is not necessarily an exact illustration. Therefore, for example, the scales and the like in the drawings do not necessarily match. Further, in each of the drawings, the substantially same components are designated by the same reference numerals, and duplicate description will be omitted or simplified.
  • a term indicating a relationship between elements such as horizontal or vertical, and a numerical range are not expressions expressing only a strict meaning, but a substantially equivalent range, for example, a difference of about several%. It is an expression that means to include.
  • FIG. 1 is a block diagram showing an example of the configuration of the information processing device 100 according to the first embodiment.
  • the information processing apparatus 100 includes an input unit 10, a first detector 20, a second detector 30, a detection result storage unit 40, a calculation unit 50, a correction unit 60, And an output unit 70.
  • the information processing device 100 may be realized by, for example, a computer including a processor and a memory.
  • each component of the information processing device 100 may be realized by, for example, the processor executing one or more programs stored in the memory.
  • the information processing apparatus 100 may be realized by, for example, a plurality of computers, each including a processor and a memory, capable of communicating with each other operating in cooperation with each other.
  • each component of the information processing device 100 may be realized by, for example, any one or more processors executing one or more programs recorded in any one or more memories. ..
  • the information processing apparatus 100 will be described as being realized by a computer including a processor and a memory.
  • the input unit 10 acquires at least one sensing data and inputs the acquired sensing data to the first detector 20 and the second detector 30.
  • the input unit 10 may acquire the sensing data from a sensor or a recording medium that is communicably connected by wire or wirelessly, for example.
  • the at least one sensing data is at least one image captured by the imaging device including the image sensor.
  • the input unit 10 acquires, for example, an image from the imaging device and inputs the acquired image to each of the first detector 20 and the second detector 30.
  • the input unit 10 may acquire a moving image composed of a plurality of images and input each image to the first detector 20 and the second detector 30.
  • the information processing apparatus 100 acquires the detection result of the first detector 20 that detects the first target (hereinafter, first detection target) in the first image, and based on the detection result of the first detector 20, performs the first detection.
  • the setting of the process of the second detector 30 for detecting a second target (hereinafter, second detection target) different from the first detection target in the second image ordered next to the image is determined.
  • the second image may be an image in the frame next to the first image, or may be an image two frames or more after the first image. That is, the second image may be the image that is temporally next to the first image in the series of images, or may be the image that is next to the first image in the order in which the detection process is performed.
  • Both the first detector 20 and the second detector 30 detect a detection target in each of a plurality of images.
  • the first detector 20 is a machine learning model that is trained using machine learning to detect the first detection target in the image.
  • the second detector 30 is a machine learning model that is trained using machine learning to detect the second detection target in the image.
  • the first detector 20 and the second detector 30 may be different machine learning models or may be one machine learning model.
  • the first detection target and the second detection target are objects of the same type but different postures.
  • the second detection target may be an object that is harder to detect than the first detection target, in other words, has a posture that is likely to be erroneously detected.
  • the first detection target is a person in a standing posture
  • the second detection target is a person in a lying posture. These persons may be the same person or different persons.
  • the detection result storage unit 40 stores the detection result of the first detector 20.
  • the detection result the image input to the first detector 20, the likelihood of the detection frame detected in the image with respect to the first detection target, the coordinates in the image of the detection frame, the size of the detection frame, and , And information such as variations in the size of the detection frame in each image are associated with each other.
  • the detection result storage unit 40 may store not only the detection result of the image in which the first detection target has been detected but also the detection results of all the images for which the first detector 20 has performed the detection processing.
  • the calculation unit 50 reads the detection result of the first detector 20 from the detection result storage unit 40 and calculates information for determining the processing setting of the second detector 30. For example, the calculation unit 50 acquires information about candidates (in other words, candidate frames) for the second detection target area detected by the second detector 30. Then, the calculation unit 50 calculates the relationship between the acquired detection result of the first detector 20 and the acquired candidate of the detection result of the second detector 30. More specifically, the calculation unit 50, when the first detection target is detected in the first image, the first detection target region (that is, the detection frame) detected by the first detector 20, and the second detection target. The distance to the second detection target candidate frame detected by the container 30 is calculated. The distance is, for example, the overlap between the region of the first detection target detected in the first image by the first detector 20 and the candidate frame of the second detection target detected in the second image by the second detector 30. The ratio or the distance between the centers of gravity.
  • the correction unit 60 is based on the detection result of the first detector 20 (in other words, based on the result calculated by the calculation unit 50), the second detector 30 for detecting the second detection target in the second image. Determine the processing settings for.
  • the process setting is a parameter used for the process of the second detector 30.
  • the parameter used for the processing is, for example, a likelihood threshold for the second detection target, a degree of likelihood correction, or a tracking threshold that is the number of data for detection determination.
  • the correction unit 60 may determine the setting of the process of the second detector 30 based on the relationship between the detection result of the first detector 20 and the candidate of the detection result of the second detector 30. As described above, the relationship is the distance between the area of the first detection target detected by the first detector 20 and the area of the second detection target candidate detected by the second detector 30.
  • the parameter used for the process of the second detector 30 will be described as a likelihood threshold value (hereinafter, also simply referred to as a threshold value) for the second detection target.
  • the correction unit 60 determines the threshold value of the second detector 30 according to whether or not the first detection target is detected in the first image. Furthermore, the correction unit 60 may determine the threshold value of the second detector 30 according to whether or not the first detection target is detected in the second image. For example, the correction unit 60 determines the threshold value of the second detector 30 so that when the first detection target is detected in the first image, the probability that the second detection target is detected in the second image is high. May be. In addition, for example, the correction unit 60 may detect the second detection target in the second image when the first detection target is detected in the first image and the first detection target is not detected in the second image. The threshold value of the second detector 30 may be determined so that The correction unit 60 outputs the determined threshold value of the second detector 30 to the second detector 30.
  • the second detector 30 acquires and updates the threshold value determined by the correction unit 60.
  • the second detector 30 updates the threshold value
  • the second detector 30 detects the second detection target in the second image based on the updated threshold value.
  • the second detector 30 outputs the detection result obtained by updating the threshold value to the output unit 70.
  • the second detector 30 acquires and updates the threshold value determined by the correction unit 60, but at this time, the correction unit 60 inputs the determined threshold value to the conversion table and outputs the threshold value of the second detector 30.
  • the detection result may be corrected, and the corrected detection result may be output to the output unit 70.
  • the output unit 70 outputs the detection result of the first detector 20 and the detection result of the second detector 30 for each image.
  • the output unit 70 may output these detection results to a presentation unit (not shown), or may output them to a device other than the information processing device 100.
  • the output unit 70 causes the presentation unit to present information based on the detection result based on the user's operation input to the operation unit (not shown).
  • the operation unit is, for example, a keyboard, a mouse, a touch panel, a button, a microphone, or the like.
  • the presentation unit is, for example, a display or a speaker.
  • the information processing device 100 may or may not include the operation unit and the presentation unit.
  • the operation unit and the presentation unit may be included in a device other than the information processing device 100, for example.
  • the device other than the information processing device 100 may be an information terminal such as a smartphone, a tablet, or a computer. Further, although the information processing apparatus 100 is exemplified by the computer, it may be provided on a server connected via a communication network such as the Internet.
  • FIG. 2 is a flowchart showing an example of the operation of the information processing device 100 according to the first embodiment.
  • FIG. 3 is a detailed flowchart of the process of step S2006 of FIG.
  • FIG. 4 is a diagram for schematically explaining an example of the operation of the information processing device 100 according to the first embodiment.
  • the information processing apparatus 100 acquires a moving image from a sensor such as an image sensor, and inputs each of a plurality of images included in the moving image to the first detector 20 and the second detector 30.
  • the first detector 20 detects a first detection target in the input image
  • the second detector 30 detects a second detection target different from the first detection target in the input image.
  • the information processing apparatus 100 inputs the image of the nth frame (hereinafter, second image) among the plurality of images acquired from the sensor to the first detector 20 and the second detector 30. Yes (step S2001).
  • each of the first detector 20 and the second detector 30 is a machine learning model, for example, a convolutional neural network.
  • the first detector 20 executes the detection process of the first detection target in the second image (step S2002). At this time, the first detector 20 detects a plurality of candidate frames in the input second image and calculates the likelihood of each detected candidate frame with respect to the first detection target. For each candidate frame, the first detector 20 determines whether or not the likelihood for the first detection target is equal to or greater than a threshold value, and selects, for example, the candidate frame having the maximum likelihood from among the candidate frames equal to or greater than the threshold value. Judge as the detection frame of the detection target.
  • the first detector 20 stores the detection result in the detection result storage unit 40 (step S2003).
  • the first detection target is detected in the (n ⁇ m)th frame (1 ⁇ m ⁇ n) (hereinafter, first image), and the first detection target is detected in the nth frame (hereinafter, second image). 1 Detection target is not detected.
  • the first detector 20, for example, provides information indicating that the first detection target is detected in the first image to the coordinates, size, and likelihood of the first image and the detection frame TG1 of the first detection target. It is stored in the detection result storage unit 40 in association with information such as.
  • the first detector 20 may store information indicating that the first detection target has not been detected in the second image in the detection result storage unit 40, for example.
  • the second detector 30 executes the detection process of the second detection target in the second image (step S2004). At this time, the second detector 30 detects a plurality of candidate frames in the input second image and calculates the likelihood of each detected candidate frame with respect to the second detection target. For each candidate frame, the second detector 30 determines whether or not the likelihood for the second detection target is greater than or equal to a threshold value, and, for example, the candidate frame that indicates the maximum likelihood is the second candidate frame that is greater than or equal to the threshold value. It is determined to be a detection target. In the example of FIG. 4, the second detector 30 detects a candidate frame having a predetermined likelihood (for example, 0.5) as the second detection target in the second image. However, since the candidate frame is smaller than the threshold value, it is determined that the candidate frame is not the second detection target.
  • a threshold value for example, 0.5
  • the calculation unit 50 reads the detection result of the first detector 20 m frames before (that is, the first image) from the detection result storage unit 40 (step S2005). At this time, if the flag indicating that the first detection target has been detected is attached to the read first image, the calculation unit 50 determines the second detector 30 based on the detection result of the first detector 20.
  • the information for determining the processing setting of is calculated.
  • the information for determining the processing setting may be, for example, information such as a pixel value, a size, coordinates of a region indicating the first detection target in the first image, and a pixel value around the region.
  • the correction unit 60 determines the processing setting of the second detector 30 based on the detection result of the first detector 20 (step S2006). In other words, the correction unit 60 determines the setting of the process of the second detector 30 based on the information calculated by the calculation unit 50 based on the detection result of the first detector 20. Since the setting of the process and the parameter used for the process have been described above, the description thereof will be omitted here.
  • the setting of the process of the second detector 30 is the likelihood threshold for the second detection target. In the example of FIG. 4, the likelihood threshold is corrected from 0.7 to 0.4.
  • step S2006 will be described more specifically with reference to FIGS. 3 and 4.
  • the calculation unit 50 calculates the overlapping ratio of the area indicating the first detection target detected in the first image (that is, the detection frame of the first detection target) and the candidate frame to the second detection target detected in the second image, or The distance between the centers of gravity is calculated (step S3002 in FIG. 3).
  • the above process may be executed for all the generated candidate frames, or the above process may be executed only for candidate frames having a predetermined likelihood (for example, 0.5) or more.
  • the correction unit 60 determines the setting of the process of the second detector 30 based on the calculation result of step S3002 (step S3003). Although not shown in FIGS. 2 and 3, the correction unit 60 corrects the processing setting by outputting the determined processing setting of the second detector 30 to the second detector 30.
  • the correction unit 60 determines the setting of the process of the second detection unit so that the probability that the second detection target is detected increases (step S3004).
  • the correction unit 60 refers to the probability value calculated by the calculation unit 50 and determines the likelihood threshold of the second detector 30 so that the probability that the second detection target is detected in the second image is high. You may.
  • step S2006 will be described.
  • the second detector 30 acquires and updates the processing settings determined by the correction unit 60 (step S2007). In the example of FIG. 4, the second detector 30 updates the likelihood threshold to 0.4.
  • the second detector 30 performs the detection process of the second detection target in the second image based on the updated process settings (step S2008).
  • the second detector 30 detects the second detection target in the second image based on the updated likelihood threshold 0.4.
  • the candidate frame having the predetermined threshold value (0.5) for the second detection target in the second image is determined to be the candidate frame indicating the second detection target based on the likelihood threshold 0.4.
  • the candidate frame is output as the detection result of the second detection target, that is, the detection frame TG2.
  • the output unit 70 acquires the detection results from the first detector 20 and the second detector 30, and outputs information indicating the acquired detection results (for example, the coordinates of the candidate frame and the likelihood) (step S2009).
  • FIG. 5 is a diagram for schematically explaining an example of the operation of the information processing apparatus according to the first modification of the first embodiment.
  • points different from the first embodiment will be mainly described. Note that the description of the contents overlapping with those of the first embodiment will be simplified or omitted. Further, the configuration of the information processing apparatus according to the first modification is similar to that of the first embodiment, and therefore will be described with reference to FIG.
  • the information processing apparatus 100 of the first modification differs from the information processing apparatus 100 of the first embodiment in that the processing setting of the second detector 30 is the selection of the second detector 30.
  • the correction unit 60 determines one detector from a plurality of detectors having different performances based on the detection result of the first detector 20, and sets the determined detector as the second detector 30.
  • the first detection target detected in the past is the first image (n ⁇ 1th frame).
  • the processing setting of the second detector 30 is determined.
  • the processing setting is the selection of the second detector.
  • Each of the detectors that are candidates for selection is a detection model trained by machine learning and has different detection performance. These detection models may differ in the number of hidden layers, the number of nodes, or the weight of nodes of a neural network (NN), for example.
  • the information processing apparatus 100 selects a detection model having higher performance than the detection model used from these detection models and uses it as the second detector 30.
  • the setting of the process of the second detector 30 may be a calculation resource assigned to the process of the second detector 30.
  • the correction unit 60 determines the calculation resource allocated to the process of the second detector 30 based on the detection result of the first detector 20.
  • the calculation resource may be, for example, the allocation amount of the calculation resource in the CPU or the GPU (Graphics Processing Unit), or the storage capacity in the cache memory.
  • the correction unit 60 determines more calculation resources than the calculation resources allocated to the second detector 30 until then.
  • the processor allocates the determined computational resources to the second detector 30.
  • the correction unit 60 may set the amount of data input to the second detector 30.
  • the correction unit 60 may set the input data amount so that the resolution, size, or frame rate of the data input to the second detector 30 increases.
  • FIG. 6 is a diagram for schematically explaining an example of the operation of the information processing apparatus according to the second modification of the first embodiment. Also in the second modification, similar to the first modification, points different from the first embodiment will be mainly described. Note that the description of the contents overlapping with those of the first embodiment will be simplified or omitted. Further, the configuration of the information processing apparatus according to the second modification is similar to that of the first embodiment and the first modification, and therefore will be described with reference to FIG.
  • the first detection target and the second detection target are objects of the same type, but the information processing device 100 according to the modified example 2 has the first detection target and the second detection target. Are different types of objects from the first embodiment.
  • the first detection target is a road surface
  • the second detection target is a person in a lying posture, as in the first embodiment.
  • the first detector 20 and the second detector 30 detect different detection targets in images of the same frame.
  • the first detector 20 detects a detection target in the image of the n-th frame
  • the second detector 30 detects a predetermined likelihood with respect to the second detection target in the image of the n-th frame.
  • a candidate frame having a degree eg, 0.5
  • the calculation unit 50 calculates the overlapping ratio or the distance between the centers of gravity of the first detection target detection frame detected by the first detector 20 and the second detection target candidate frame detected by the second detector 30.
  • the correction unit 60 corrects the likelihood threshold of the second detection target of the second detector 30 according to the above-described overlapping rate calculated by the calculation unit 50 or the distance between the centers of gravity.
  • the correction unit 60 changes the likelihood threshold value 0.7 preset in the second detector 30 to the likelihood threshold value 0.4 according to the calculation result of the calculation unit 50.
  • an object having a low appearance frequency such as a person lying on the road surface is likely to be detected only in a specific scene, and thus the detection performance of the object is improved.
  • the susceptibility to detection does not change in a scene other than a specific scene, false detection can be reduced.
  • FIG. 7 is a block diagram showing an example of the configuration of the information processing device 110 according to the second embodiment.
  • the information processing apparatus 110 includes an input unit 11, a first detector 21, a second detector 31, a detection result storage unit 41, a calculation unit 51, a correction unit 61, And an output unit 71.
  • the information processing device 110 may be realized by, for example, a computer including a processor and a memory.
  • each component of the information processing device 110 may be realized by, for example, the processor executing one or more programs stored in the memory.
  • the information processing device 110 may be realized by, for example, a plurality of computers, each including a processor and a memory, which are communicable with each other and operate in cooperation.
  • each component of the information processing device 110 may be realized by, for example, any one or more processors executing one or more programs recorded in any one or more memories. ..
  • the information processing apparatus 110 will be described as being realized by a computer including a processor and a memory, as in the first embodiment.
  • the input unit 11 is the same as the input unit 10 in FIG.
  • the first detector 21 and the second detector 31 detect a detection target in each of the plurality of images input from the input unit 11.
  • the first detector 21 is a machine learning model that is trained using machine learning to detect a first detection target in an image.
  • the second detector 31 is a machine learning model that is trained using machine learning so as to detect the second detection target in the image.
  • the first detector 21 and the second detector 31 may be different machine learning models or may be one machine learning model.
  • the first detection target and the second detection target are objects of the same type but different parts.
  • the first detection target is a target that is difficult to be accurately detected due to a bad sensing condition of the sensor, for example, an image sensor having a bad imaging condition.
  • the second detection target is a target in which erroneous detection is less likely to occur than the first detection target due to the sensing conditions of the sensor, for example.
  • the state in which the imaging condition is bad may be, for example, a case where a pedestrian is illuminated by the light of the vehicle while it is raining during a time period when the light of the vehicle is turned on.
  • the candidate frame in the image may change in the vertical direction and be detected larger than it should be.
  • the types of the first detection target and the second detection target are both pedestrians, but the first detection target is the whole body of the pedestrian and the second detection target is the upper body of the pedestrian.
  • the first detector 21 detects the first detection target in each of the plurality of images. For example, the first detector 21 may track the first detection target in a plurality of consecutive images. Thereby, the first detector 21 can track the first detection target in time series.
  • the second detector 31 tracks the upper half of the first detection target detected by the first detector 21.
  • the tracking of the first detection target and the second detection target may be performed using a tracking threshold value that defines the number of frames until the detection frame is determined, and tracking that defines the number of frames until the detection frame is deleted. It may be performed using a threshold.
  • the detection result storage unit 41 stores the detection result of the first detector 21.
  • the detection result storage unit 41 is the same as the detection result storage unit 40 in the first embodiment, and thus the description thereof is omitted here.
  • the calculation unit 51 calculates the magnitude of change between the detection result of the first detection target in the first image and the detection result of the first detection target in the second image.
  • the magnitude of this change is the magnitude of the change in the specific direction in the image between the detection result of the first detection target in the first image and the detection result of the first detection target in the second image.
  • the calculation unit 51 reads the detection result of the first detector 21 from the detection result storage unit 41, and, for example, the detection result of the first detection target in the first image and the detection result of the first detection target in the second image, The difference in the vertical size of is calculated.
  • the calculation unit 51 tracks the detection result of the first detector 21, and determines the vertical direction of the detection frame of the first detection target in the second image that corresponds to the detection frame of the first detection target in the first image. Calculate the size of the direction. Then, the calculation unit 51 calculates the vertical size difference between the detection frame of the first detection target in the first image and the detection frame of the first detection target in the second image corresponding to the detection frame.
  • the correction unit 61 (i) detects either the detection result of the first detection target in the second image or the detection result based on the processing result of the second detector 31 as the second image. Is selected as the detection result of the first detection target. Specifically, when the difference calculated by the calculation unit 51 is smaller than the threshold value, the correction unit 61 determines the detection result of the first detector 21 as the detection result of the first detection target in the second image. On the other hand, when the difference is equal to or larger than the threshold value, the correction unit 61 determines the detection result based on the processing result of the second detector 31 as the detection result of the first detection target in the second image.
  • the correction unit 61 generates a candidate frame in which the detection frame of the second detection target detected by the second detector 31 in the second image is extended in the vertical direction by X times, for example, twice. Then, the correction unit 61 determines the generated candidate frame as the detection result (that is, the detection frame) of the first detection target in the second image.
  • the correction unit 61 determines, based on the result calculated by the calculation unit 51, (ii) how to integrate the detection result of the second detector 31 and the detection result of the first detector 21 in the second image. However, they may be integrated. Specifically, the correction unit 61 determines the weight of each of the detection result of the first detector 21 and the detection result of the second detector 31 according to the difference calculated by the calculation unit 51. For example, the correction unit 61 relatively decreases the weight of the detection result of the first detector 21 as the difference is larger, and increases the weight of the detection result of the first detector 21 as the difference is smaller. Then, the correction unit 61 integrates the detection results of the first detector 21 and the second detector 31 according to the weight. For example, the correction unit 61 calculates a weighted average of the coordinate values of each detection frame. Then, the calculation result is determined as the detection result of the first detection target.
  • the selection of (i) above may be executed using the weight.
  • the correction unit 61 may determine the detection result having the larger weight as the detection result of the first detection target.
  • the output unit 71 acquires the detection result of the first detection target determined by the correction unit 61 and outputs the detection result to the presentation unit (not shown), the information terminal, or a processing device other than the information processing device 110. Good.
  • FIG. 8 is a flowchart showing an example of operations of the calculation unit 51 and the correction unit 61 of the information processing device 110 according to the second embodiment.
  • FIG. 9 is a detailed flowchart of the process of step S8002 of FIG.
  • FIG. 10 is a diagram for schematically explaining an example of the operation of the information processing device 110 according to the second embodiment.
  • the information processing apparatus 110 acquires the detection result of the first detector 21 for detecting the first detection target in the first image (step S8001).
  • the first detector 21 detects the detection frame TG1 of the first detection target in the (n ⁇ 2)th frame (first image), and orders the frames next to the first image.
  • the detection frame TG1 of the first detection target is detected in the obtained n-1th frame (second image).
  • These detection results are stored in the detection result storage unit 41, for example, in association with the image and information such as coordinates of the detection frame in the image.
  • the calculation unit 51 reads out and acquires these detection results from the detection result storage unit 41.
  • the information processing apparatus 110 detects a second detection target different from the first detection target in the second image sequenced after the first image based on the detection result of the first detector 21. To select one of the detection results based on the processing result of the second detector 31 and the detection result in the second image of the first detector 21, or (ii) the processing of the second detector 31. A method of integrating the detection result based on the result and the detection result in the second image of the first detector 21 is determined (step S8002). At this time, the information processing apparatus 110 calculates the magnitude of change between the detection result of the first detection target in the first image and the detection result of the first detection target in the second image, and the magnitude of the change. Based on the above, (i) or (ii) may be executed.
  • the magnitude of the change is the magnitude of the change in the specific direction in the image between the detection result of the first detection target in the first image and the detection result of the first detection target in the second image.
  • the information processing apparatus 110 in the above (i), according to the magnitude of the change in the specific direction, the detection result based on the processing result of the second detector 31 and the detection result in the second image of the first detector 21.
  • the detection results based on the processing result of the second detector 31 and the detection result of the first detector 21 in (ii) above. May be.
  • a detection result with a larger weight may be selected from among the weights in the integration of the above two detection results, and in (ii) above, the coordinates of each detection frame may be selected.
  • a weighted average of the values may be calculated and the calculation result may be output as the detection result of the first detection target.
  • the weight in integration has been described above, and thus the description thereof is omitted here.
  • Step S8002 will be described more specifically with reference to FIGS. 9 and 10.
  • the calculation unit 51 tracks the first detection target in the first image and the second image (step S9001), and detects the detection result of the first detection target in the first image and the detection result in the second image.
  • the difference in the vertical size from the detection result of the first detection target is calculated (step S9002). More specifically, as shown in FIG. 10, the vertical size h1 of the first detection target detection frame TG1 in the first image (n ⁇ 2nd frame) and the second image (n ⁇ 1)
  • the difference ⁇ H1 from the vertical size h2 of the first detection target detection frame TG1 in the (th frame) is calculated.
  • the correction unit 61 determines whether or not the vertical size difference ⁇ H1 calculated by the calculation unit 51 is equal to or more than a threshold value (step S9003).
  • the correction unit 61 selects the detection result in the second image of the first detector 21, that is, the detection frame TG1 in (i) (step S9005). ..
  • the detection result of the first detector 21 may be selected by setting the weight of the detection result of the second detector 31 to zero.
  • the correction unit 61 detects the detection result of the first detector 21 based on the processing result of the second detector 31 in (i) above. Select as a result.
  • the weight in integration of the detection result based on the processing result of the second detector 31 and the detection result of the first detector 21 is determined (step S9004).
  • the detection result based on the processing result of the second detector 31 is, for example, the second detection detected by the second detector 31 as shown in the (n-1)th frame in the row of the correction unit in FIG. It is a first detection target candidate frame TG1′ (vertical size 2h3) generated by extending the target detection frame (vertical size h3) X times in the vertical direction, for example, twice. ..
  • the correction unit 61 determines the first detection target detection frame TG1 detected by the first detector 21 and the candidate frame TG1′ corresponding to the first detection target, which has a larger weight in integration. Select. For example, as shown in the (n-1)th frame in the row of the correction unit in FIG. 10, the candidate frame TG1' of the first detection target is selected as the output target in (i) above.
  • step S9004 the correction unit 61 determines the first detection target candidate frame TG1′ generated based on the detection result of the second detector 31 and the detection result of the first detector 21 according to the difference.
  • the weight in the integration with the first detection target detection frame TG1 is determined.
  • the correction unit 61 uses the determined weights to weight the coordinate values of the first detection target detection frame TG1 detected by the first detector 21 and the first detection target candidate frame TG1′. Calculate the average. For example, as shown in FIG.
  • the correction unit 61 includes the detection frame TG1 of the first detector 21 (the vertical size h4) and the detection frame TG2 of the second detector 31 (the vertical size h5). ), the weight of the candidate frame TG1′ (vertical size 2h5) is determined according to the difference ⁇ H2. Then, the correction unit 61 uses the determined weight to calculate a weighted average of the coordinates of TG1 and TG1′ to generate a first detection target candidate frame TG1′′ (vertical size h6). .. The generated candidate frame TG1′′ is an output target.
  • the correction unit 61 determines the frame determined by one of the methods (i) and (ii) as the detection result of the first detection target in the second image.
  • the processing described in the above embodiments may be realized by centralized processing using a single device (system), or realized by distributed processing using a plurality of devices.
  • the processor that executes the above program may be a single processor or a plurality of processors. That is, centralized processing may be performed or distributed processing may be performed.
  • the present disclosure can be used as an information processing device that can improve the detection accuracy of a detection target that is difficult to detect, and can be used for, for example, an in-vehicle camera system and a security camera system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１００）は、プロセッサを備える情報処理装置であって、プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器（２０）の検出結果を取得し、第１検出器（２０）の検出結果に基づいて、第１センシングデータの次に順序付けられた第２センシングデータにおける第１ターゲットとは異なる第２ターゲットを検出するための第２検出器（３０）の処理の設定を決定する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　画像中の物体を検出する技術において、物体の検出精度を向上させる技術が提案されている。例えば、特許文献１では、検出器が出力する応答の特徴と最適な閾値との対応関係を回帰モデルで訓練させて、検出器の応答の特徴に応じて閾値を切り替える技術が開示されている。
米国特許出願公開第２０１３／００３４２６３号明細書
　しかしながら、特許文献１に記載の従来技術は、上記対応関係の訓練が収束しない場合に、適切な閾値を設定することができず、誤検出又は未検出が発生すなわち検出性能が低下するおそれがある。例えば、単一の検出器では、検出対象すなわちターゲットの状態などのケースによって応答が安定しないことがある。応答が安定しないと上記対応関係の訓練は収束しにくいと考えられる。
　そこで、本開示は、物体検出の性能を安定的に向上させることができる情報処理装置、情報処理方法及びプログラムを提供する。
　上記課題を解決するため、本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　また、本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、（ｉ）前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）前記第２検出器の検出結果と前記第１検出器の第２センシングデータにおける検出結果との統合のさせ方を決定する。
　また、本開示の一態様に係る情報処理方法は、コンピュータに実行させるための方法であって、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　また、本開示の一態様は、上記情報処理方法をコンピュータに実行させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータで読み取り可能な非一時的な記録媒体として実現することもできる。
　本開示によれば、物体検出の性能を安定的に向上させることができる。
図１は、実施の形態１に係る情報処理装置の構成の一例を示すブロック図である。 図２は、実施の形態１に係る情報処理装置の動作の一例を示すフローチャートである。 図３は、図２のステップＳ２００６の処理の詳細なフローチャートである。 図４は、実施の形態１に係る情報処理装置の動作の一例を模式的に説明するための図である。 図５は、実施の形態１の変形例１に係る情報処理装置の動作の一例を模式的に説明するための図である。 図６は、実施の形態１の変形例２に係る情報処理装置の動作の一例を模式的に説明するための図である。 図７は、実施の形態２に係る情報処理装置の構成の一例を示すブロック図である。 図８は、実施の形態２に係る情報処理装置の算出部及び補正部の動作の一例を示すフローチャートである。 図９は、図８のステップＳ８００２の処理の詳細なフローチャートである。 図１０は、実施の形態２に係る情報処理装置の動作の一例を模式的に説明するための図である。
　（本開示に至った知見）
　従来、画像中の物体を検出する技術において、検出対象の物体に関する多数の正事例及び負事例のサンプル画像から物体の局所的な形状特徴を検出するように機械学習モデルを訓練することにより、任意のシーンにおいて、比較的良好に物体を検出することができる。しかしながら、例えば、防犯カメラ又は車載カメラなどの屋外環境で使用されるカメラから得られる画像のように、天候又は照明の変動などによる影響を受けやすい状況では、検出器の検出感度が低下することが多い。例えば、雨天状況では、路面の水たまりで照明の光が反射して、物体の候補枠の縦幅が路面方向に延びることにより、又は、ホワイトアウトにより、物体を検出することができない場合がある。
　また、例えば、検出対象が同じ種類の物体であっても、物体の向き又は姿勢によっては、検出されにくくなる場合がある。例えば、歩行者が転倒した場合に、転倒した歩行者（つまり、横たわった姿勢の歩行者）は、歩行者の陰であると誤検知されることが多い。このように、同じ検出対象であっても検出されにくい場合がある。
　また、検出器の検出精度を高めるために、機械学習モデルの隠れ層の数を増やすことが知られているが、例えば、車載カメラシステムなどのように、組み込み装置に検出器を実装する場合、処理量に制限があるため、検出器の処理量を増やすことは難しい。
　そこで、本願発明者は、上記課題を鑑み鋭意検討した結果、例えば２つの検出器を用い、一方の検出器の検出結果に基づいて、他方の検出器の閾値又は検出モデルなどの処理の設定を決定することにより、物体検出の性能を安定的に向上させることができることを見出した。
　本開示の一態様の概要は、以下の通りである。
　本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　これにより、第２センシングデータよりも前の第１センシングデータにおいて第１ターゲットが検出されたという事前情報に基づいて、第２センシングデータにおける第２ターゲットを検出するための第２検出器の処理の設定を決定ことができる。そのため、第２センシングデータにおける第２ターゲット、すなわち検出対象の検出精度を向上することができる。したがって、検出性能を安定的に向上させることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１検出器の検出結果と前記第２検出器の検出結果の候補との関係に基づいて、前記第２検出器の処理の設定を決定してもよい。
　これにより、第１検出器の検出結果に加えて、第２検出器の検出結果の候補を用いるため、第２検出器の処理の設定をより適切に実行することができる。そのため、第２センシングデータにおける第２ターゲットの検出精度をさらに向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記関係は、前記第１検出器で検出された前記第１ターゲットの領域と、前記第２検出器で検出される前記第２ターゲットの候補の領域との距離であってもよい。
　これにより、第１センシングデータにおいて検出された第１ターゲットと、第１センシングデータの次に順序付けられた第２センシングデータにおいて検出された第２ターゲットとの類似性に基づいて、第２ターゲットを検出することができる。そのため、より精度良く第２ターゲットを検出することができる。
　例えば、本開示の一態様に係る情報処理装置は、前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されたか否かに応じて、第２検出器の処理の設定を決定することができるため、検出性能が安定的に維持されやすくなる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第２センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されたか否かという事前情報に加え、第１センシングデータの次に順序付けられた第２センシングデータにおいて第１ターゲットが検出されたか否かという情報に基づいて、第２検出器の処理の設定を決定することができる。そのため、第２ターゲットの検出精度をより高めることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出される場合、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第２センシングデータよりも前の第１センシングデータにおいて第１ターゲットが検出されたという事前情報に基づいて、第２センシングデータにおける第２ターゲットを検出するための第２検出器の処理の設定を決定ことができる。そのため、第２センシングデータにおける第２ターゲットの検出精度を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、さらに、前記第２センシングデータにおいて前記第１ターゲットが検出されない場合に、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されたという事前情報に加え、第１センシングデータの次に順序付けられた第２センシングデータにおいて第１ターゲットが検出されないという情報に基づいて、第２センシングデータにおいて第２ターゲットを検出するための第２検出器の処理の設定を決定することができる。そのため、第２ターゲットの検出精度をより高めることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されなくなった場合、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されなくなったという情報に基づいて、第２センシングデータにおいて第２ターゲットを検出するための第２検出器の処理の設定を決定することができる。そのため、第２ターゲットの検出精度をより高めることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記処理の設定は、前記処理に用いられるパラメタであってもよい。より具体的には、前記処理に用いられるパラメタは、前記第２ターゲットに対する尤度閾値、尤度の補正値、又は、検出判定のためのデータ数であるトラッキング閾値であってもよい。
　これにより、第２検出器の第２ターゲットに対する検出感度を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記処理の設定は、前記第２検出器の処理に割り当てられる計算リソースであってもよい。
　これにより、第１センシングデータにおける第１ターゲットの検出結果に応じて、第２検出器の処理に割り当てる計算リソースを決定することができるため、第２ターゲットの検出感度を高める必要がある場合に、処理量の大きい検出モデルに切り替えることができる。そのため、処理量を低減しつつ、第２検出器の処理能力を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記処理の設定は、前記第２検出器の選択であってもよい。例えば、前記処理の設定は、前記第２検出器に入力されるデータの解像度又はサイズであってもよい。
　これにより、第２検出器の検出性能を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記第１ターゲットと前記第２ターゲットとは、種類が同じで姿勢が異なる物体であってもよい。
　これにより、第１ターゲット及び第２ターゲットのように姿勢の異なる同じ種類の物体を検出することにより、姿勢の違いによる検出感度の低下を低減することができる。
　また、本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、（ｉ）前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）前記第２検出器の検出結果と前記第１検出器の第２センシングデータにおける検出結果との統合のさせ方を決定する。
　これにより、第１検出器の検出精度が安定しない場合に、前記第１検出器の第１センシングデータにおける検出結果に基づいて、第２検出器の第２センシングデータに対する処理を決定することができる。そのため、第１検出器が第２センシングデータにおける第１ターゲットを精度良く検出できない場合に、上記の第２検出器の処理結果に基づく検出結果を用いて、前記第１検出器の第２センシングデータにおける検出結果を補完することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との間の変化の大きさを算出し、前記変化の大きさに基づいて前記（ｉ）又は前記（ｉｉ）を実行してもよい。例えば、前記変化の大きさは、前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との、センシングデータにおける特定の方向の変化の大きさであり、前記プロセッサは、前記特定の方向の変化の大きさに応じて、前記（ｉ）において、前記第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、前記（ｉｉ）において、前記第２検出器の前記検出結果及び前記第１検出器の検出結果の前記統合における重みを決定してもよい。
　これにより、第１検出器の検出結果のばらつきに基づいて、第１ターゲットの検出処理における第２検出器の検出結果の重要度を切り替えることができる。そのため、第１ターゲットの検出精度を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記第１ターゲットと前記第２ターゲットとは、種類が同じで部分が異なる物体であってもよい。
　これにより、第２ターゲットの候補枠を縦方向に拡張する（例えば、Ｘ倍にする）ことにより、第１ターゲットの候補枠に相当すると推定される候補枠を生成することができる。例えば、第１ターゲットの検出結果が安定しない場合に、第２ターゲットの検出結果を利用して、第１ターゲットの検出結果を補うことができるため、第１ターゲットの検出精度の低下を低減することができる。
　また、本開示の一態様に係る情報処理方法は、コンピュータに実行させるための方法であって、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　これにより、第２センシングデータよりも前の第１センシングデータにおいて第１ターゲットが検出されたという事前情報に基づいて、第２センシングデータにおける第２ターゲットを検出するための第２検出器の処理の設定を決定ことができる。そのため、第２センシングデータの検出精度を向上することができる。
　また、本開示の一態様は、上記情報処理方法をコンピュータに実行させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータで読み取り可能な非一時的な記録媒体として実現することもできる。
　以下では、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
　また、本明細書において、水平又は垂直などの要素間の関係性を示す用語、並びに、数値範囲は、厳密な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異を含むことを意味する表現である。
　（実施の形態１）
　以下、実施の形態１に係る情報処理装置について説明する。
　［構成］
　図１は、実施の形態１に係る情報処理装置１００の構成の一例を示すブロック図である。図１に示されるように、情報処理装置１００は、入力部１０と、第１検出器２０と、第２検出器３０と、検出結果記憶部４０と、算出部５０と、補正部６０と、出力部７０とを含んで構成される。
　情報処理装置１００は、例えば、プロセッサとメモリとを含んで構成されるコンピュータによって実現されてもよい。この場合、情報処理装置１００の各構成要素は、例えば、プロセッサがメモリに記憶される１以上のプログラムを実行することで実現されてもよい。また、情報処理装置１００は、例えば、それぞれがプロセッサとメモリとを含んで構成される、互いに通信可能な複数のコンピュータが協調して動作することによって実現されてもよい。この場合、情報処理装置１００の各構成要素は、例えば、いずれかの１以上のプロセッサが、いずれかの１以上のメモリに記録される、１以上のプログラムを実行することで実現されてもよい。ここでは、情報処理装置１００は、プロセッサとメモリとを含んで構成されるコンピュータによって実現されるとして説明する。
　入力部１０は、少なくとも１つのセンシングデータを取得し、取得したセンシングデータを、第１検出器２０及び第２検出器３０に入力する。入力部１０は、例えば、有線又は無線により通信可能に接続されたセンサ又は記録媒体からセンシングデータを取得してもよい。ここでは、少なくとも１つのセンシングデータは、イメージセンサを備える撮像装置が撮像する少なくとも１つの画像であるとして説明する。
　入力部１０は、例えば、撮像装置から画像を取得し、取得した画像を第１検出器２０及び第２検出器３０のそれぞれに入力する。また、入力部１０は、複数の画像から構成される動画像を取得し、各画像を第１検出器２０及び第２検出器３０のそれぞれに入力してもよい。
　情報処理装置１００は、第１画像における第１ターゲット（以下、第１検出対象）を検出する第１検出器２０の検出結果を取得し、第１検出器２０の検出結果に基づいて、第１画像の次に順序付けられた第２画像における第１検出対象とは異なる第２ターゲット（以下、第２検出対象）を検出するための第２検出器３０の処理の設定を決定する。第２画像は、第１画像の次のフレームの画像であってもよく、第１画像の２フレーム以上後の画像であってもよい。つまり、第２画像は、一連の画像において、第１画像の時間的に次の画像であってもよく、検出処理に供される順番において第１画像の次の画像であってもよい。
　第１検出器２０及び第２検出器３０は、共に、複数の画像のそれぞれにおける検出対象を検出する。第１検出器２０は、画像中の第１検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。また、第２検出器３０は、画像中の第２検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。第１検出器２０及び第２検出器３０は、それぞれ異なる機械学習モデルであってもよく、１つの機械学習モデルであってもよい。
　第１検出対象と第２検出対象とは、種類が同じで姿勢が異なる物体である。第２検出対象は、第１検出対象よりも検出されにくい、言い換えると、誤検出されやすい姿勢の物体であってもよい。例えば、第１検出対象は、立っている姿勢の人物であり、第２検出対象は、横たわっている姿勢の人物である。これらの人物は、同一の人物であってもよく、異なる人物であってもよい。
　検出結果記憶部４０は、第１検出器２０の検出結果を格納する。当該検出結果では、第１検出器２０に入力された画像と、当該画像において検出された検出枠の第１検出対象に対する尤度、当該検出枠の画像における座標、当該検出枠の大きさ、及び、各画像における検出枠の大きさのばらつきなどの情報とが紐づけられている。検出結果記憶部４０には、第１検出対象が検出された画像の検出結果に限らず、第１検出器２０が検出処理を実行した全ての画像の検出結果が格納されてもよい。
　算出部５０は、検出結果記憶部４０から第１検出器２０の検出結果を読み出し、第２検出器３０の処理の設定を決定するための情報を算出する。例えば、算出部５０は、第２検出器３０で検出される第２検出対象の領域の候補（言い換えると、候補枠）の情報を取得する。そして、算出部５０は、取得した第１検出器２０の検出結果と第２検出器３０の検出結果の候補との関係を算出する。より具体的には、算出部５０は、第１画像において第１検出対象が検出された場合、第１検出器２０で検出された第１検出対象の領域（すなわち検出枠）と、第２検出器３０で検出される第２検出対象の候補枠との距離を算出する。当該距離は、例えば、第１検出器２０によって第１画像で検出された第１検出対象の領域と、第２検出器３０によって第２画像で検出される第２検出対象の候補枠との重なり率、又は、重心間の距離である。
　補正部６０は、第１検出器２０の検出結果に基づいて（言い換えると、算出部５０が算出した結果に基づいて）、第２画像における第２検出対象を検出するための第２検出器３０の処理の設定を決定する。処理の設定は、第２検出器３０の処理に用いられるパラメタである。処理に用いられるパラメタは、例えば、第２検出対象に対する尤度閾値、尤度の補正度、又は、検出判定のためのデータ数であるトラッキング閾値である。また、補正部６０は、第１検出器２０の検出結果と、第２検出器３０の検出結果の候補との関係に基づいて、第２検出器３０の処理の設定を決定してもよい。上述したように、当該関係は、第１検出器２０で検出された第１検出対象の領域と、第２検出器３０で検出される第２検出対象の候補の領域との距離である。
　以下、本実施の形態では、第２検出器３０の処理に用いられるパラメタは、第２検出対象に対する尤度閾値（以下、単に、閾値ともいう）であるとして説明する。
　補正部６０は、第１画像において第１検出対象が検出されたか否かに応じて、第２検出器３０の閾値を決定する。さらに、補正部６０は、第２画像において第１検出対象が検出されたか否かに応じて、第２検出器３０の閾値を決定してもよい。例えば、補正部６０は、第１画像で第１検出対象が検出される場合、第２画像で第２検出対象が検出される確率が高くなるように、第２検出器３０の閾値を決定してもよい。また、例えば、補正部６０は、第１画像で第１検出対象が検出され、かつ、第２画像において第１検出対象が検出されない場合に、第２画像で第２検出対象が検出される確率が高くなるように、第２検出器３０の閾値を決定してもよい。補正部６０は、決定した第２検出器３０の閾値を第２検出器３０に出力する。
　第２検出器３０は、補正部６０が決定した閾値を取得して更新する。第２検出器３０は、閾値を更新すると、更新された閾値に基づいて、第２画像における第２検出対象の検出を行う。第２検出器３０は、閾値を更新して得られた検出結果を出力部７０に出力する。
　上記の例では、補正部６０が決定した閾値を第２検出器３０が取得して更新するが、このとき、補正部６０は、決定した閾値を変換テーブルに入力して第２検出器３０の検出結果を補正し、補正後の検出結果を出力部７０に出力してもよい。
　出力部７０は、各画像に対する、第１検出器２０の検出結果と、第２検出器３０の検出結果とを、出力する。出力部７０は、これらの検出結果を提示部（不図示）に出力してもよく、情報処理装置１００以外の他の装置に出力してもよい。例えば、出力部７０は、操作部（不図示）に入力されたユーザの操作に基づいて、検出結果に基づく情報を提示部に提示させる。操作部は、例えば、キーボード、マウス、タッチパネル、ボタン、又は、マイクなどである。提示部は、例えば、ディスプレイ又はスピーカーなどである。なお、情報処理装置１００は、操作部及び提示部を備えていてもよく、備えていなくてもよい。操作部及び提示部は、例えば、情報処理装置１００以外の他の装置が備えていてもよい。情報処理装置１００以外の他の装置は、例えば、スマートフォン、タブレット、又は、コンピュータなどの情報端末であってもよい。また、情報処理装置１００は、コンピュータを例に挙げたが、インターネットなどの通信ネットワークを介して接続されるサーバ上に設けられてもよい。
　［動作］
　続いて、実施の形態１に係る情報処理装置１００の動作の一例について図２～図４を参照しながら説明する。図２は、実施の形態１に係る情報処理装置１００の動作の一例を示すフローチャートである。図３は、図２のステップＳ２００６の処理の詳細なフローチャートである。図４は、実施の形態１に係る情報処理装置１００の動作の一例を模式的に説明するための図である。
　情報処理装置１００は、例えば、イメージセンサなどのセンサから動画像を取得し、動画像に含まれる複数の画像のそれぞれを第１検出器２０及び第２検出器３０に入力する。第１検出器２０は、入力された画像における第１検出対象を検出し、第２検出器３０は、入力された画像における第１検出対象とは異なる第２検出対象を検出する。
　ここでは、図２及び図４に示されるように、情報処理装置１００は、複数の画像のうちのｎ番目（ｎ≧２の整数）のフレームの画像を処理する例を説明する。
　図２に示されるように、情報処理装置１００は、センサから取得した複数の画像のうち、ｎフレーム目の画像（以下、第２画像）を第１検出器２０及び第２検出器３０に入力する（ステップＳ２００１）。上述したように、第１検出器２０及び第２検出器３０は、それぞれ、機械学習モデルであり、例えば、畳み込みニューラルネットワークである。
　第１検出器２０は、第２画像における第１検出対象の検出処理を実行する（ステップＳ２００２）。このとき、第１検出器２０は、入力された第２画像における複数の候補枠を検出し、検出された各候補枠の第１検出対象に対する尤度を算出する。第１検出器２０は、各候補枠について、第１検出対象に対する尤度が閾値以上であるか否か判定し、閾値以上の候補枠のうち、例えば、最大尤度を示す候補枠を第１検出対象の検出枠と判定する。
　次いで、第１検出器２０は、検出結果を検出結果記憶部４０に格納する（ステップＳ２００３）。図４の例では、ｎ－ｍ番目（１≦ｍ＜ｎ）のフレーム（以下、第１画像）において第１検出対象が検出されており、ｎ番目のフレーム（以下、第２画像）において第１検出対象が検出されていない。この場合、第１検出器２０は、例えば、第１画像において第１検出対象が検出されたことを示す情報を、第１画像と第１検出対象の検出枠ＴＧ１の座標、大きさ及び尤度などの情報と紐づけて、検出結果記憶部４０に格納する。なお、第１検出器２０は、例えば、第２画像において第１検出対象が検出されなかったことを示す情報を検出結果記憶部４０に格納してもよい。
　続いて、第２検出器３０の動作について説明する。第２検出器３０は、第２画像における第２検出対象の検出処理を実行する（ステップＳ２００４）。このとき、第２検出器３０は、入力された第２画像における複数の候補枠を検出し、検出された各候補枠の第２検出対象に対する尤度を算出する。第２検出器３０は、各候補枠について、第２検出対象に対する尤度が閾値以上であるか否か判定し、閾値以上の候補枠のうち、例えば、最大尤度を示す候補枠が第２検出対象であると判定する。図４の例では、第２検出器３０は、第２画像において第２検出対象に所定の尤度（例えば、０．５）を示す候補枠を検出している。しかしながら、当該候補枠は、閾値よりも小さいため、当該候補枠は、第２検出対象ではないと判定される。
　算出部５０は、ｍフレーム前（すなわち、第１画像）の第１検出器２０の検出結果を、検出結果記憶部４０から読み出す（ステップＳ２００５）。このとき、算出部５０は、読み出した第１画像に第１検出対象が検出されたことを示すフラグが付されている場合、第１検出器２０の検出結果に基づいて、第２検出器３０の処理の設定を決定するための情報を算出する。処理の設定を決定するための情報は、例えば、第１画像における第１検出対象を示す領域の画素値、大きさ、座標、及び、領域の周囲の画素値などの情報であってもよい。
　補正部６０は、第１検出器２０の検出結果に基づいて、第２検出器３０の処理の設定を決定する（ステップＳ２００６）。言い換えると、補正部６０は、第１検出器２０の検出結果に基づいて算出部５０が算出した情報に基づいて、第２検出器３０の処理の設定を決定する。なお、処理の設定、及び、処理に用いられるパラメタについては、上述したため、ここでの説明を省略する。ここでは、図４に示されるように、第２検出器３０の処理の設定は、第２検出対象に対する尤度閾値である。図４の例では、尤度閾値は、０．７から０．４に補正される。
　ステップＳ２００６の処理について、図３及び図４を参照しながら、より具体的に説明する。
　例えば、図４に示されるように、第１画像において第１検出対象が検出され、かつ、第２画像において第２検出対象に対する候補枠が生成された場合（図３のステップＳ３００１でＹｅｓ）、算出部５０は、第１画像で検出された第１検出対象を示す領域（すなわち第１検出対象の検出枠）と、第２画像で検出された第２検出対象に対する候補枠との重なり率又は重心間の距離を算出する（図３のステップＳ３００２）。なお、生成された全ての候補枠について上記処理が実行されてもよいし、所定の尤度（例えば０．５）以上の候補枠のみについて上記処理が実行されてもよい。
　次いで、補正部６０は、ステップＳ３００２の算出結果に基づいて、第２検出器３０の処理の設定を決定する（ステップＳ３００３）。図２及び図３に示されていないが、補正部６０は、決定した第２検出器３０の処理の設定を第２検出器３０に出力することにより、処理の設定を補正する。
　なお、図４に示されていないが、例えば、第１画像において第１検出対象が検出され、第２画像において第２検出対象に対して所定の尤度を有する検出枠が検出されていない場合（図３のステップＳ３００１でＮｏ）、補正部６０は、第２検出対象が検出される確率が高まるように、第２検出部の処理の設定を決定する（ステップＳ３００４）。例えば、補正部６０は、算出部５０が算出した確率値を参照して、第２画像で第２検出対象が検出される確率が高くなるように、第２検出器３０の尤度閾値を決定してもよい。
　続いて、図２を再び参照し、ステップＳ２００６以降の処理フローについて説明する。
　第２検出器３０は、補正部６０が決定した処理の設定を取得して更新する（ステップＳ２００７）。図４の例では、第２検出器３０は、尤度閾値を０．４に更新する。
　次いで、第２検出器３０は、更新した処理の設定に基づいて、第２画像における第２検出対象の検出処理を行う（ステップＳ２００８）。図４の例では、第２検出器３０は、更新した尤度閾値０．４に基づいて、第２画像において第２検出対象を検出する。これにより、第２画像において第２検出対象に対して所定の閾値（０．５）を有する候補枠は、尤度閾値０．４に基づいて、第２検出対象を示す候補枠であると判定される。すなわち、当該候補枠が第２検出対象の検出結果すなわち検出枠ＴＧ２として出力される。
　出力部７０は、第１検出器２０及び第２検出器３０から検出結果を取得し、取得した検出結果を示す情報（例えば、候補枠の座標及び尤度など）を出力する（ステップＳ２００９）。
　（変形例１）
　実施の形態１の変形例１に係る情報処理装置について説明する。図５は、実施の形態１の変形例１に係る情報処理装置の動作の一例を模式的に説明するための図である。変形例１では、実施の形態１と異なる点を中心に説明する。なお、実施の形態１と重複する内容については、説明を簡素化又は省略する。また、変形例１に係る情報処理装置の構成については、実施の形態１と同様であるため、図１を参照しながら説明する。
　変形例１の情報処理装置１００は、第２検出器３０の処理の設定が、第２検出器３０の選択である点で、実施の形態１の情報処理装置１００と異なる。
　補正部６０は、第１検出器２０の検出結果に基づいて、性能が異なる複数の検出器から１つの検出器を決定して、当該決定された検出器を第２検出器３０として設定する。
　図５に示されるように、変形例１に係る情報処理装置１００は、過去（ｎ－２番目のフレーム）においては検出されていた第１検出対象が第１画像（ｎ－１番目のフレーム）において検出されなくなった場合、第２検出器３０の処理の設定を決定する。例えば、処理の設定は、第２検出器の選択である。選択の候補となる検出器のそれぞれは、機械学習により訓練された検出モデルであり、検出性能が異なる。これらの検出モデルは、例えば、ニューラルネットワーク（ＮＮ）の隠れ層の数、ノード数、又は、ノードの重みなどが異なってよい。情報処理装置１００は、これらの検出モデルの中から使用していた検出モデルよりも高性能な検出モデルを選択して第２検出器３０として使用する。
　なお、第２検出器３０の処理の設定は、第２検出器３０の処理に割り当てられる計算リソースであってもよい。具体的には、補正部６０は、第１検出器２０の検出結果に基づいて第２検出器３０の処理に割り当てられる計算リソースを決定する。計算リソースは、例えば、ＣＰＵ若しくはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などにおける演算リソースの割当て量、又はキャッシュメモリなどにおける記憶容量であってよい。
　例えば、第１検出器２０により第１検出対象が検出されなくなった場合、補正部６０は、それまで第２検出器３０に割り当てられていた計算リソースよりも多く計算リソースを決定する。プロセッサは、決定された計算リソースを第２検出器３０に割り当てる。
　その際、補正部６０は、第２検出器３０に入力するデータの量を設定してもよい。例えば、補正部６０は、第２検出器３０に入力するデータの解像度、サイズ、又はフレームレートが増加するように入力データ量を設定してもよい。
　（変形例２）
　続いて、実施の形態１の変形例２に係る情報処理装置について説明する。図６は、実施の形態１の変形例２に係る情報処理装置の動作の一例を模式的に説明するための図である。変形例２においても、変形例１と同様に、実施の形態１と異なる点を中心に説明する。なお、実施の形態１と重複する内容については、説明を簡素化又は省略する。また、変形例２に係る情報処理装置の構成については、実施の形態１及び変形例１と同様であるため、図１を参照しながら説明する。
　実施の形態１に係る情報処理装置１００では、第１検出対象及び第２検出対象は同じ種類の物体であるが、変形例２に係る情報処理装置１００は、第１検出対象と第２検出対象とが異なる種類の物体である点で、実施の形態１と異なる。
　例えば、図６に示されるように、第１検出対象は、路面であり、第２検出対象は、実施の形態１と同様に、横たわっている姿勢の人物である。第１検出器２０及び第２検出器３０は、同じフレームの画像における異なる検出対象を検出する。
　図６に示されるように、第１検出器２０がｎ番目のフレームの画像において検出対象を検出し、第２検出器３０がｎ番目のフレームの画像において第２検出対象に対して所定の尤度（例えば、０．５）を有する候補枠を検出する。このとき、算出部５０は、第１検出器２０が検出した第１検出対象検出枠と、第２検出器３０が検出した第２検出対象の候補枠との重なり率又は重心間の距離を算出する。補正部６０は、算出部５０が算出した上記の重なり率又は重心間の距離に応じて、第２検出器３０の第２検出対象の尤度閾値を補正する。補正部６０は、第２検出器３０に予め設定された尤度閾値０．７を、算出部５０の算出結果に応じて尤度閾値０．４に変更する。これにより、例えば、路面に横たわっている姿勢の人物のように出現頻度の低い物体が特定のシーンにおいてのみ検出されやすくなるため、当該物体の検出性能が高められる。また、特定のシーン以外では検出されやすさが変わらないため、誤検出を低減することができる。
　（実施の形態２）
　続いて、実施の形態２に係る情報処理装置について説明する。実施の形態１及びその変形例では、第１検出器の検出結果に基づいて、第２検出器の処理の設定を決定したが、実施の形態２では、第１検出器が不安定な場合に、第２検出器の検出結果を用いて、第１ターゲットを検出する点で異なる。以下、実施の形態１及びその変形例と異なる点を中心に説明する。なお、以下では、センシングデータは、実施の形態１と同様に、画像であるとして説明する。
　［構成］
　図７は、実施の形態２に係る情報処理装置１１０の構成の一例を示すブロック図である。図７に示されるように、情報処理装置１１０は、入力部１１と、第１検出器２１と、第２検出器３１と、検出結果記憶部４１と、算出部５１と、補正部６１と、出力部７１とを含んで構成される。
　情報処理装置１１０は、例えば、プロセッサとメモリとを含んで構成されるコンピュータによって実現されてもよい。この場合、情報処理装置１１０の各構成要素は、例えば、プロセッサがメモリに記憶される１以上のプログラムを実行することで実現されてもよい。また、情報処理装置１１０は、例えば、それぞれがプロセッサとメモリとを含んで構成される、互いに通信可能な複数のコンピュータが協調して動作することによって実現されてもよい。この場合、情報処理装置１１０の各構成要素は、例えば、いずれかの１以上のプロセッサが、いずれかの１以上のメモリに記録される、１以上のプログラムを実行することで実現されてもよい。ここでは、情報処理装置１１０は、実施の形態１と同様に、プロセッサとメモリとを含んで構成されるコンピュータによって実現されるとして説明する。
　入力部１１は、図１の入力部１０と同様である。第１検出器２１及び第２検出器３１は、入力部１１から入力された複数の画像それぞれにおいて検出対象を検出する。第１検出器２１は、画像中の第１検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。また、第２検出器３１は、画像中の第２検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。第１検出器２１及び第２検出器３１は、それぞれ異なる機械学習モデルであってもよく、１つの機械学習モデルであってもよい。
　第１検出対象と第２検出対象とは、種類が同じで部分が異なる物体である。第１検出対象は、センサのセンシング条件が悪い状態、例えば、イメージセンサでは、撮像条件が悪い状態により、正確に検知しにくい対象である。一方、第２検出対象は、例えば、センサのセンシング条件によって、誤検知が第１検出対象よりも生じにくい対象である。撮像条件が悪い状態とは、例えば、車両のライトを点灯する時間帯に、雨が降っている状態で、車両のライトに歩行者が照らされた場合が考えられる。このとき、路面の水たまりなどで光が反射し、画像における候補枠が垂直方向に変化して本来より大きく検出される場合がある。例えば、第１検出対象及び第２検出対象の種類はいずれも歩行者であるが、第１検出対象は、歩行者の全身であり、第２検出対象は、歩行者の上半身である。
　第１検出器２１は、複数の画像のそれぞれにおいて第１検出対象を検出する。例えば、第１検出器２１は、連続する複数の画像において、第１検出対象をトラッキングしてもよい。これにより、第１検出器２１は、時系列で第１検出対象を追跡することができる。第２検出器３１は、第１検出器２１で検出された第１検出対象の上半分をトラッキングする。第１検出対象及び第２検出対象のトラッキングは、検出枠を確定するまでのフレーム数を規定するトラッキング閾値を用いても実行されてもよく、検出枠を削除するまでのフレーム数を規定するトラッキング閾値を用いて実行されてもよい。
　検出結果記憶部４１は、第１検出器２１の検出結果を格納する。検出結果記憶部４１については、実施の形態１における検出結果記憶部４０と同様であるため、ここでの説明を省略する。
　算出部５１は、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との間の変化の大きさを算出する。この変化の大きさは、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との、画像における特定の方向の変化の大きさである。算出部５１は、第１検出器２１の検出結果を検出結果記憶部４１から読み出し、例えば、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果と、の縦方向の大きさの差分を算出する。より具体的には、算出部５１は、第１検出器２１の検出結果をトラッキングし、第１画像における第１検出対象の検出枠に対応する第２画像における第１検出対象の検出枠の縦方向の大きさを算出する。そして、算出部５１は、第１画像における第１検出対象の検出枠と、当該検出枠に対応する第２画像における第１検出対象の検出枠との縦方向の大きさの差分を算出する。
　補正部６１は、算出部５１が算出した結果に基づいて、（ｉ）第２画像における第１検出対象の検出結果及び第２検出器３１の処理結果に基づく検出結果のいずれかを第２画像における第１検出対象の検出結果として選択する。具体的には、補正部６１は、算出部５１が算出した差分が閾値よりも小さい場合、第１検出器２１の検出結果を第２画像における第１検出対象の検出結果として決定する。一方、補正部６１は、上記の差分が閾値以上である場合、第２検出器３１の処理結果に基づく検出結果を第２画像における第１検出対象の検出結果として決定する。例えば、補正部６１は、第２検出器３１が第２画像において検出した第２検出対象の検出枠を縦方向にＸ倍、例えば２倍に伸ばした候補枠を生成する。そして、補正部６１は、生成した候補枠を第２画像における第１検出対象の検出結果（すなわち検出枠）として決定する。
　また、補正部６１は、算出部５１が算出した結果に基づいて、（ｉｉ）第２画像における第２検出器３１の検出結果と第１検出器２１の検出結果との統合のさせ方を決定し、統合させてもよい。具体的には、補正部６１は、算出部５１が算出した差分に応じて、第１検出器２１の検出結果及び第２検出器３１の検出結果それぞれの重みを決定する。例えば、補正部６１は、当該差分が大きいほど第１検出器２１の検出結果の重みを相対的に小さくし、当該差分が小さいほど第１検出器２１の検出結果の重みを大きくする。そして、補正部６１は、第１検出器２１及び第２検出器３１の検出結果それぞれを重みに従って統合する。例えば、補正部６１は、検出枠それぞれの座標値の重み付き平均を算出する。そして、算出結果が第１検出対象の検出結果として決定される。
　なお、当該重みを用いて上記（ｉ）の選択が実行されてもよい。例えば、補正部６１は、当該重みが大きい検出結果を第１検出対象の検出結果として決定してもよい。
　出力部７１は、補正部６１が決定した第１検出対象の検出結果を取得し、提示部（不図示）、情報端末、又は、情報処理装置１１０以外の他の処理装置などに出力してもよい。
　［動作］
　以下、実施の形態２に係る情報処理装置１１０の動作の一例について説明する。ここでは、実施の形態１と異なる点について説明する。
　図８は、実施の形態２に係る情報処理装置１１０の算出部５１及び補正部６１の動作の一例を示すフローチャートである。図９は、図８のステップＳ８００２の処理の詳細なフローチャートである。図１０は、実施の形態２に係る情報処理装置１１０の動作の一例を模式的に説明するための図である。
　図８に示されるように、情報処理装置１１０は、第１画像における第１検出対象を検出するための第１検出器２１の検出結果を取得する（ステップＳ８００１）。例えば、図１０に示されるように、第１検出器２１は、ｎ－２番目のフレーム（第１画像）において、第１検出対象の検出枠ＴＧ１を検出し、第１画像の次に順番付けられたｎ－１番目のフレーム（第２画像）において第１検出対象の検出枠ＴＧ１を検出する。これらの検出結果は、例えば、画像と当該画像中の検出枠の座標などの情報とが紐づけられて、検出結果記憶部４１に格納されている。算出部５１は、これらの検出結果を検出結果記憶部４１から読み出して取得する。
　続いて、情報処理装置１１０は、第１検出器２１の検出結果に基づいて、（ｉ）第１画像の次に順序付けられた第２画像における第１検出対象とは異なる第２検出対象を検出するための第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の第２画像における検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）第２検出器３１の処理結果に基づく検出結果と第１検出器２１の第２画像における検出結果との統合のさせ方を決定する（ステップＳ８００２）。このとき、情報処理装置１１０は、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との間の変化の大きさを算出し、当該変化の大きさに基づいて、上記（ｉ）又は上記（ｉｉ）を実行してもよい。なお、上記の変化の大きさは、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との、画像における特定の方向の変化の大きさである。情報処理装置１１０は、当該特定の方向の変化の大きさに応じて、上記（ｉ）において、第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の第２画像における検出結果からいずれかの検出結果を選択する、又は、上記の（ｉｉ）において、第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の検出結果の統合における重みを決定し、統合させてもよい。このとき、例えば、上記の（ｉ）においては、上記の２つの検出結果の統合における重みのうち重みの大きい検出結果を選択してもよく、上記の（ｉｉ）においては、検出枠それぞれの座標値の重み付き平均を算出し、算出結果を第１検出対象の検出結果として出力してもよい。なお、統合における重みについては、上述したため、ここでの説明を省略する。
　図９及び図１０を参照しながら、ステップＳ８００２をより具体的に説明する。図９に示されるように、算出部５１は、第１画像及び第２画像において第１検出対象をトラッキングし（ステップＳ９００１）、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との縦方向の大きさの差分を算出する（ステップＳ９００２）。より具体的には、図１０に示されるように、第１画像（ｎ－２番目のフレーム）における第１検出対象の検出枠ＴＧ１の縦方向の大きさｈ１と、第２画像（ｎ－１番目のフレーム）における第１検出対象の検出枠ＴＧ１の縦方向の大きさｈ２との差分ΔＨ１とを算出する。
　続いて、補正部６１は、算出部５１が算出した縦方向の大きさの差分ΔＨ１が閾値以上であるか否かを判定する（ステップＳ９００３）。当該差分ΔＨが閾値よりも小さい場合（ステップＳ９００３でＮｏ）、補正部６１は、上記（ｉ）において、第１検出器２１の第２画像における検出結果すなわち検出枠ＴＧ１を選択する（ステップＳ９００５）。あるいは、上記（ｉｉ）において、第２検出器３１の検出結果の重みをゼロにすることで、第１検出器２１の検出結果が選択されてもよい。
　一方、補正部６１は、当該差分ΔＨが閾値以上である場合（ステップＳ９００３でＹｅｓ）、上記の（ｉ）において、第２検出器３１の処理結果に基づく検出結果を第１検出器２１の検出結果として選択する。あるいは、上記（ｉｉ）において、第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の検出結果の統合における重みを決定する（ステップＳ９００４）。
　まず、上記（ｉ）の例をｎ－１番目のフレームの例を用いて説明する。ここで、第２検出器３１の処理結果に基づく検出結果は、例えば、図１０の補正部の列におけるｎ－１番目のフレームに示すように、第２検出器３１で検出された第２検出対象の検出枠（縦方向の大きさｈ３）を縦方向にＸ倍に、例えば２倍に伸ばすことにより生成された、第１検出対象の候補枠ＴＧ１’（縦方向の大きさ２ｈ３）である。ステップＳ９００４の処理において、補正部６１は、第１検出器２１で検出された第１検出対象の検出枠ＴＧ１、及び、第１検出対象に対応する候補枠ＴＧ１’のうち統合における重みの大きい枠を選択する。例えば、図１０の補正部の行のｎ－１番目のフレームに示されるように、上記の（ｉ）において、この第１検出対象の候補枠ＴＧ１’を出力対象として選択する。
　続いて、上記（ｉｉ）の例をｎ番目のフレームの例を用いて説明する。ステップＳ９００４の処理において、補正部６１は、上記差分に応じて、第２検出器３１の検出結果に基づいて生成された第１検出対象の候補枠ＴＧ１’と、第１検出器２１の検出結果である第１検出対象の検出枠ＴＧ１と、の統合における重みを決定する。そして、補正部６１は、決定された重みを用いて、第１検出器２１で検出された第１検出対象の検出枠ＴＧ１、及び、第１検出対象の候補枠ＴＧ１’の座標値の重み付き平均を算出する。例えば、補正部６１は、図１０に示されるような、第１検出器２１の検出枠ＴＧ１（縦方向の大きさｈ４）、及び第２検出器３１の検出枠ＴＧ２（縦方向の大きさｈ５）に基づく候補枠ＴＧ１’（縦方向の大きさ２ｈ５）の重みを、差分ΔＨ２に応じて決定する。そして、補正部６１は、決定された重みを用いて、ＴＧ１とＴＧ１’の座標の重み付き平均を算出して第１検出対象の候補枠ＴＧ１’’（縦方向の大きさｈ６）を生成する。生成された候補枠ＴＧ１’’が出力対象となる。
　補正部６１は、上記（ｉ）及び（ｉｉ）のいずれかの方法によって決定された枠を、第２画像における第１検出対象の検出結果として決定する。
　（他の実施の形態）
　以上、１つ又は複数の態様に係る情報処理装置、情報処理方法及びプログラムについて、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲に含まれる。
　例えば、上記の実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は、分散処理を行ってもよい。
　また、上記の各実施の形態は、請求の範囲又はその均等の範囲において種々の変更、書き換え、付加、及び、省略などを行うことができる。
　本開示は、検出されにくい検出対象の検出精度を向上することができる情報処理装置などとして利用でき、例えば、車載カメラシステム、及び、防犯カメラシステムなどに利用することができる。
　１０、１１　入力部
　２０、２１　第１検出器
　３０、３１　第２検出器
　４０、４１　検出結果記憶部
　５０、５１　算出部
　６０、６１　補正部
　７０、７１　出力部
　１００、１１０　情報処理装置

Claims (20)

  1. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する、
    　情報処理装置。
  2. 　前記プロセッサは、前記第１検出器の検出結果と前記第２検出器の検出結果の候補との関係に基づいて、前記第２検出器の処理の設定を決定する、
    　請求項１に記載の情報処理装置。
  3. 　前記関係は、前記第１検出器で検出された前記第１ターゲットの領域と、前記第２検出器で検出される前記第２ターゲットの候補の領域との距離である、
    　請求項２に記載の情報処理装置。
  4. 　前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定する、
    　請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記プロセッサは、前記第２センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定する、
    　請求項４に記載の情報処理装置。
  6. 　前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出される場合、前記第２検出器の前記処理の設定を決定する、
    　請求項４又は５に記載の情報処理装置。
  7. 　前記プロセッサは、さらに前記第２センシングデータにおいて前記第１ターゲットが検出されない場合に、前記第２検出器の前記処理の設定を決定する、
    　請求項６に記載の情報処理装置。
  8. 　前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されなくなった場合、前記第２検出器の前記処理の設定を決定する、
    　請求項４又は５に記載の情報処理装置。
  9. 　前記処理の設定は、前記処理に用いられるパラメタである、
    　請求項１～８のいずれか１項に記載の情報処理装置。
  10. 　前記処理に用いられるパラメタは、前記第２ターゲットに対する尤度閾値、尤度の補正度、又は、検出判定のためのデータ数であるトラッキング閾値である、
    　請求項９に記載の情報処理装置。
  11. 　前記処理の設定は、前記第２検出器の処理に割り当てられる計算リソースである、
    　請求項１～１０のいずれか１項に記載の情報処理装置。
  12. 　前記処理の設定は、前記第２検出器の選択である、
    　請求項１～１１のいずれか１項に記載の情報処理装置。
  13. 　前記処理の設定は、前記第２検出器に入力されるデータの解像度、サイズ又はフレームレートである、
    　請求項１～１２のいずれか１項に記載の情報処理装置。
  14. 　前記第１ターゲットと前記第２ターゲットとは、種類が同じで姿勢が異なる物体である、
    　請求項１～１３のいずれか１項に記載の情報処理装置。
  15. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、（ｉ）前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）前記第２検出器の検出結果と前記第１検出器の第２センシングデータにおける検出結果との統合のさせ方を決定する、
    　情報処理装置。
  16. 　前記プロセッサは、
    　前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との間の変化の大きさを算出し、
    　前記変化の大きさに基づいて前記（ｉ）又は前記（ｉｉ）を実行する、
    　請求項１５に記載の情報処理装置。
  17. 　前記変化の大きさは、前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との、センシングデータにおける特定の方向の変化の大きさであり、
    　前記プロセッサは、
    　前記特定の方向の変化の大きさに応じて、
    　前記（ｉ）において、前記第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、
    　前記（ｉｉ）において、前記第２検出器の前記検出結果及び前記第１検出器の検出結果の前記統合における重みを決定する、
    　請求項１６に記載の情報処理装置。
  18. 　前記第１ターゲットと前記第２ターゲットとは、種類が同じで部分が異なる物体である、
    　請求項１５～１７のいずれか１項に記載の情報処理装置。
  19. 　コンピュータに実行させるための方法であって、
    　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する、
    　情報処理方法。
  20. 　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する、
    　情報処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2019/048322 2019-01-02 2019-12-10 情報処理装置、情報処理方法及びプログラム WO2020141588A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19907542.5A EP3907721A4 (en) 2019-01-02 2019-12-10 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2020563864A JP7407738B2 (ja) 2019-01-02 2019-12-10 情報処理装置、情報処理方法及びプログラム
CN201980045420.2A CN112424849B (zh) 2019-01-02 2019-12-10 信息处理装置、信息处理方法及记录介质
US17/149,269 US11481990B2 (en) 2019-01-02 2021-01-14 Detection device, detection method, and recording medium for detecting an object in an image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962787581P 2019-01-02 2019-01-02
US62/787,581 2019-01-02
JP2019107892 2019-06-10
JP2019-107892 2019-06-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/149,269 Continuation US11481990B2 (en) 2019-01-02 2021-01-14 Detection device, detection method, and recording medium for detecting an object in an image

Publications (1)

Publication Number Publication Date
WO2020141588A1 true WO2020141588A1 (ja) 2020-07-09

Family

ID=71406898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048322 WO2020141588A1 (ja) 2019-01-02 2019-12-10 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11481990B2 (ja)
EP (1) EP3907721A4 (ja)
JP (1) JP7407738B2 (ja)
CN (1) CN112424849B (ja)
WO (1) WO2020141588A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159503B1 (ja) * 2022-08-24 2022-10-24 セーフィー株式会社 情報処理システム、情報処理方法、及び情報処理プログラム
EP4372584A1 (en) * 2022-11-17 2024-05-22 Zenseact AB A method for performing a perception task of an electronic device or a vehicle using a plurality of neural networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055262A (ja) * 2009-09-02 2011-03-17 Mitsubishi Electric Corp 画像検出装置
US20130034263A1 (en) 2011-08-04 2013-02-07 Yuanyuan Ding Adaptive Threshold for Object Detection
JP2013134703A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp 検出装置及び検出方法
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
WO2018012084A1 (ja) * 2016-07-15 2018-01-18 パナソニックＩｐマネジメント株式会社 画像認識システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171380B2 (en) * 2011-12-06 2015-10-27 Microsoft Technology Licensing, Llc Controlling power consumption in object tracking pipeline
CN104517275A (zh) * 2013-09-27 2015-04-15 株式会社理光 对象检测方法和系统
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
US9525892B2 (en) * 2014-05-27 2016-12-20 Nextdrive Inc. Video image distribution method
US9383261B2 (en) * 2014-06-13 2016-07-05 Ge Aviation Systems Llc Method of eliminating spurious signals and a relative navigation system
JP6825569B2 (ja) * 2015-09-30 2021-02-03 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2017107503A (ja) * 2015-12-11 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム
JP6514089B2 (ja) * 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP2017146990A (ja) * 2017-04-26 2017-08-24 株式会社東芝 物体検出装置及びその検出方法
US11080875B2 (en) * 2018-03-22 2021-08-03 Jvckenwood Corporation Shape measuring apparatus, shape measuring method, non-transitory computer readable medium storing program
WO2019206239A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd. Systems and methods for detecting a posture of a human object
US10699154B2 (en) * 2018-08-08 2020-06-30 At&T Intellectual Property I, L.P. Optimizing 360-degree video streaming with video content analysis
US11200424B2 (en) * 2018-10-12 2021-12-14 Adobe Inc. Space-time memory network for locating target object in video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055262A (ja) * 2009-09-02 2011-03-17 Mitsubishi Electric Corp 画像検出装置
US20130034263A1 (en) 2011-08-04 2013-02-07 Yuanyuan Ding Adaptive Threshold for Object Detection
JP2013134703A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp 検出装置及び検出方法
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
WO2018012084A1 (ja) * 2016-07-15 2018-01-18 パナソニックＩｐマネジメント株式会社 画像認識システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3907721A4

Also Published As

Publication number Publication date
CN112424849A (zh) 2021-02-26
JP7407738B2 (ja) 2024-01-04
JPWO2020141588A1 (ja) 2021-11-11
CN112424849B (zh) 2023-08-04
US20210142087A1 (en) 2021-05-13
EP3907721A4 (en) 2022-03-09
US11481990B2 (en) 2022-10-25
EP3907721A1 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
JP4915655B2 (ja) 自動追尾装置
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
US8243987B2 (en) Object tracking using color histogram and object size
JP5989251B2 (ja) 操作入力装置及び方法、並びにプログラム及び記録媒体
US8989448B2 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
JP2020107349A (ja) 物体追跡システム、物体追跡方法、プログラム
JP5919665B2 (ja) 情報処理装置、物体追跡方法および情報処理プログラム
US20140241570A1 (en) Using a combination of 2d and 3d image data to determine hand features information
US10600189B1 (en) Optical flow techniques for event cameras
US8135172B2 (en) Image processing apparatus and method thereof
JP2012226745A (ja) 奥行き画像内の物体を検出する方法およびシステム
JPWO2014080613A1 (ja) 色補正装置、色補正方法および色補正用プログラム
WO2019013246A1 (ja) 物体検出装置、物体検出方法、およびプログラム
WO2020141588A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2006059252A (ja) 動き検出方法及び装置，プログラム，車両用監視システム
Nghiem et al. Background subtraction in people detection framework for RGB-D cameras
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
JP2012221162A (ja) 対象物検出装置及びプログラム
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
JP2019149119A (ja) 画像処理装置、画像処理方法及びプログラム
US20210304417A1 (en) Observation device and observation method
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
JP2014203133A (ja) 画像処理装置、画像処理方法
JP2011081675A (ja) 画像処理装置および画像処理方法
US20210074002A1 (en) Motion Image Integration Method and Motion Image Integration System Capable of Merging Motion Object Images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19907542

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020563864

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019907542

Country of ref document: EP

Effective date: 20210802