WO2020202636A1 - 情報処理方法、及び、情報処理システム - Google Patents

情報処理方法、及び、情報処理システム Download PDF

Info

Publication number
WO2020202636A1
WO2020202636A1 PCT/JP2019/046123 JP2019046123W WO2020202636A1 WO 2020202636 A1 WO2020202636 A1 WO 2020202636A1 JP 2019046123 W JP2019046123 W JP 2019046123W WO 2020202636 A1 WO2020202636 A1 WO 2020202636A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
detection
imaging
acquired
data
Prior art date
Application number
PCT/JP2019/046123
Other languages
English (en)
French (fr)
Inventor
高橋　正樹
石川　和史
裕介 塚本
翔太 大西
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021511099A priority Critical patent/JP7407427B2/ja
Priority to EP19922485.8A priority patent/EP3951704A4/en
Priority to CN201980071024.7A priority patent/CN112955928A/zh
Publication of WO2020202636A1 publication Critical patent/WO2020202636A1/ja
Priority to US17/398,168 priority patent/US11977980B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • This disclosure relates to an information processing method for generating a training data set in machine learning processing and an information processing system. More specifically, the present invention relates to an information processing method for generating a training data set used for machine learning processing for dealing with false detection in an object detection device that detects a general object from an image, and an information processing system.
  • the general object detection device needs to accurately detect the object, but it cannot be denied that it causes erroneous detection (hereinafter, erroneous detection).
  • erroneous detection As a coping method in that case, there is a method of correctly correcting the erroneously detected image data and the detected data and re-learning the object detection device as training data. This process has the effect of making it difficult for the object detection device to cause the same false detection.
  • the neural network type detector there are transfer learning and fine tuning as the re-learning processing method.
  • training image data including the recognition target is generated by geometrically transforming the area in which the recognition target is reflected, and a composite image of the same background portion (just a background) and a composite image of different background portions (unnatural). ), A method of generating a composite image (unnatural) of different object parts and generating training image data that does not include a recognition target by the recognizer is shown.
  • the recognition performance of the recognizer is not always improved in re-learning.
  • the area in which the recognition target is displayed is randomly shifted or rotated as the geometric transformation, the area in which the recognition target is displayed after the geometric transformation becomes unnatural in the original image, which adversely affects the learning effect. May cause.
  • an object of the present disclosure is to provide an information processing method and an information processing system capable of increasing the certainty that the object detection performance of the trained model for object detection is improved in re-learning.
  • the first method of information processing is to a trained model in which a computer acquires object data of a first image and an object reflected in the first image and outputs an object detection result by inputting the image.
  • the part of the first image corresponding to the difference between the object detection result obtained by inputting the image and the object data is extracted, and the same object data as the object data corresponding to the extracted part of the first image is extracted.
  • a second image including a portion corresponding to the above and reflecting an image based on the extracted portion of the first image in the portion corresponding to the same object data in the acquired second image.
  • the information processing system includes an acquisition unit that acquires object data of a first image and an object reflected in the first image, and a trained model that outputs an object detection result by inputting an image.
  • the part of the first image corresponding to the difference between the object detection result obtained by inputting the first image and the object data is extracted, and is the same as the object data corresponding to the extracted part of the first image.
  • a generator that generates training data for the trained model is provided.
  • a recording medium such as a system, method, integrated circuit, computer program or computer-readable CD-ROM, and the system, method, integrated circuit, computer program. And any combination of recording media may be realized.
  • the information processing method and the information processing system it is possible to increase the certainty that the object detection performance of the trained model for object detection is improved in relearning.
  • FIG. 1 is a block diagram showing a functional configuration of the information processing system according to the first embodiment.
  • FIG. 2 is a flowchart showing the operation of the server device according to the first embodiment.
  • FIG. 3 is a configuration diagram showing an example of log information acquired by the server device according to the first embodiment.
  • FIG. 4 is an example of an image input to the determination detection unit according to the first embodiment.
  • FIG. 5 is a diagram showing a detection result of the determination detection unit according to the first embodiment.
  • FIG. 6 is a diagram showing an example of a cut-out image according to the first embodiment.
  • FIG. 7 is a diagram showing an example of an image group stored in the storage unit.
  • FIG. 8 is a diagram showing the detection results of the determination detection unit for the images included in the image group.
  • FIG. 9A is a diagram showing an example of an image group included in the training data.
  • FIG. 9B is a diagram showing an example of annotation information included in the training data.
  • FIG. 10 is a diagram showing an example of the category structure of object detection.
  • FIG. 11A is a flowchart showing a first example of the operation of the generation unit according to the modified example of the first embodiment.
  • FIG. 11B is a flowchart showing a second example of the operation of the generation unit according to the modified example of the first embodiment.
  • FIG. 11C is a flowchart showing a third example of the operation of the generation unit according to the modified example of the first embodiment.
  • FIG. 11D is a flowchart showing a fourth example of the operation of the generation unit according to the modified example of the first embodiment.
  • FIG. 11A is a diagram showing an example of an image group included in the training data.
  • FIG. 9B is a diagram showing an example of annotation information included in the training data.
  • FIG. 10 is a diagram showing
  • FIG. 11E is a flowchart showing a fifth example of the operation of the generation unit according to the modified example of the first embodiment.
  • FIG. 11F is a flowchart showing a sixth example of the operation of the generation unit according to the modified example of the first embodiment.
  • FIG. 12 is a flowchart showing the operation of the server device according to the second embodiment.
  • FIG. 13 is a configuration diagram showing an example of log information acquired by the server device according to the second embodiment.
  • FIG. 14 is an example of an image input to the determination detection unit according to the second embodiment.
  • FIG. 15 is a diagram showing an example of an image group included in the training data.
  • the inventors of the present application have diligently studied the generation of training data for effectively taking measures against erroneous detection of the object detection device, and devised the information processing method and the information processing system described below.
  • the first method of information processing is to a trained model in which a computer acquires object data of a first image and an object reflected in the first image and outputs an object detection result by inputting the image.
  • the part of the first image corresponding to the difference between the object detection result obtained by inputting the image and the object data is extracted, and the same object data as the object data corresponding to the extracted part of the first image is extracted.
  • a second image including a portion corresponding to the above and reflecting an image based on the extracted portion of the first image in the portion corresponding to the same object data in the acquired second image.
  • the second image is an image including a part for the same object data as the object data (for example, the object class) corresponding to the part (erroneously detected object) of the first image.
  • the image generated by reflecting (for example, superimposing or replacing) an erroneously detected object on such a second image becomes a natural image with less discomfort. That is, it is suppressed that the training data becomes an unnatural image, which adversely affects the learning effect.
  • the information processing method it is possible to increase the certainty that the object detection performance of the trained model for object detection is improved in the re-learning.
  • the object detection result is further acquired, and the acquired object detection result is compared with the object data. Then, the portion of the first image is extracted based on the comparison result.
  • a computer for example, a server device
  • training data can be generated at a lower cost.
  • the image based on the portion of the first image is an image obtained by processing the portion of the first image.
  • an image based on the part of the first image can be acquired from the first image.
  • the training data can be generated based on the falsely detected object (part of the first image) itself, it is possible to generate effective training data for the falsely detected object.
  • the image based on the portion of the first image is an image similar to the portion of the first image selected from the images prepared in advance.
  • an image based on the part of the first image can be acquired without processing the first image.
  • training data can be generated using an image similar to the portion of the first image.
  • the selected image is a 3D image
  • the posture (for example, inclination) of the 3D image can be easily changed. Therefore, when the selected image is reflected in the second image, a more natural image can be generated, so that more effective training data can be generated.
  • an image in which the position or orientation of the imaging device at the time of imaging is the same as or similar to the position or orientation of the imaging device at the time of imaging the first image is defined as the second image. get.
  • the second image even if an image whose time zone or weather at the time of imaging is the same as or similar to the time zone or weather at the time of imaging of the first image is acquired as the second image.
  • the area data around the portion corresponding to the same object data as the object data corresponding to the portion of the first image is the area data around the portion of the first image.
  • An image that is the same as or similar to the above may be acquired as the second image.
  • the second image closer to the environment in which the first image was acquired can be selected.
  • the image generated by reflecting the erroneously detected object in such a second image is an image similar to the environment in which the first image was taken.
  • re-learning using images having similar environments can increase the certainty of improving the object detection performance of the trained model for object detection. Therefore, more effective training data can be generated.
  • the size of the portion corresponding to the same object data as the object data corresponding to the portion of the first image is the same as or similar to the size of the portion of the first image.
  • the image is acquired as the second image.
  • the first image and the second image are captured images, and in the acquisition of the second image, the imaging parameter of the imaging device at the time of imaging is the imaging device at the time of capturing the first image.
  • An image that is the same as or similar to the imaging parameters of the above is acquired as the second image.
  • training data including an image similar to the environment in which the first image was taken, based on information other than the subject (object erroneously detected).
  • the information processing system includes an acquisition unit that acquires object data of a first image and an object reflected in the first image, and a trained model that outputs an object detection result by inputting an image.
  • the part of the first image corresponding to the difference between the object detection result obtained by inputting the first image and the object data is extracted, and is the same as the object data corresponding to the extracted part of the first image.
  • a generator that generates training data for the trained model is provided.
  • these comprehensive or specific embodiments may be implemented in a system, device, method, integrated circuit, computer program, or non-temporary recording medium such as a computer-readable CD-ROM, system. , Devices, methods, integrated circuits, computer programs, and any combination of recording media.
  • each figure is a schematic view and is not necessarily exactly illustrated.
  • the false detection of the object detection device includes undetected. That is, the false detection includes the fact that the object detection unit could not correctly detect the object and that the object could not be detected. Further, the first embodiment describes a case where an object cannot be detected correctly, and the second embodiment describes a case where an object that is not a detection target is erroneously detected.
  • FIG. 1 is a block diagram of the functional configuration of the information processing system 1 according to the present embodiment.
  • the information processing system 1 includes a mobile body 10 and a server device 30.
  • the moving body 10 is, for example, a vehicle.
  • the vehicle is, for example, an autonomous driving vehicle that controls the driving of the vehicle without requiring the operation of the driver, but even if the vehicle can be switched to either automatic driving or manual driving. Good.
  • the moving body 10 has an object detection unit 11 and a communication unit 12. Further, the moving body 10 further has a plurality of sensors including an optical sensor such as a camera (not shown) that generates an image of the surroundings of the moving body 10.
  • the object detection unit 11 detects an object existing around the moving body 10 based on the information acquired from a sensor such as an optical sensor.
  • a sensor such as an optical sensor.
  • the optical sensor is a camera and the object detection unit 11 acquires an image from the camera and detects an object existing around the moving body 10 based on the acquired image will be described.
  • the object detection unit 11 detects an object based on the input sensor data, that is, an image or the like.
  • the object detection unit 11 is an information processing unit that controls processing for an object detection model (learned model), and is composed of an electric circuit.
  • the object detection model is a neural network type mathematical model (inferencer) having a plurality of layers, and includes a mathematical model for performing an object detection process.
  • the object detection model has a plurality of processing layers composed of an input layer, an intermediate layer, and an output layer.
  • the processing target data of the object detection process is input to the input layer as input data (input information).
  • the processing result data of the object detection process is output as output data (output information) from the output layer.
  • the processing layer that is different from the input layer and the output layer, and the processing layer between the input layer and the output layer is called an intermediate layer.
  • the object detection model may have a plurality of intermediate layers.
  • an object detection model learned using learning data is mounted inside the object detection unit 11.
  • the object detection model is trained so as to be able to detect two object classes, "passenger car” and "person”, based on the image which is the input data.
  • the object detection unit 11 generates log information (see FIG. 3) for transmission to the server device 30 based on the image to be detected, the detection result, and the like.
  • the log information will be described later, but includes an image showing the detection target and the detection result in the object detection unit 11.
  • the communication unit 12 is a communication circuit (in other words, a communication module) for the mobile body 10 to communicate with the server device 30.
  • the communication unit 12 functions as a log transfer device that transfers the log information generated by the object detection unit 11 to the server device 30 via the network 20.
  • the timing at which the communication unit 12 transmits the log information is not particularly limited, and the log information may be transmitted sequentially or periodically.
  • the mobile body 10 may include a storage unit (storage device) for storing log information.
  • a storage unit storage device for storing log information.
  • the network 20 is a wide area network (WAN: Wide Area Network) such as the Internet.
  • WAN Wide Area Network
  • the mobile body 10 and the server device 30 are wirelessly connected to each other via the network 20 (specifically, via a relay device (not shown) provided at the end of the network 20).
  • the server device 30 is an information processing device (training data set generation device) that generates a training data set for retraining a trained model (object detection model) for object detection.
  • the server device 30 is operated by, for example, a manufacturer who has created an object detection model mounted on an object detection unit 11 included in the mobile body 10, another business operator, or the like.
  • the server device 30 has a communication unit 31, a determination detection unit 32, a false detection determination unit 33, a generation unit 34, and a storage unit 35.
  • the communication unit 31 is a communication circuit (in other words, a communication module) for the server device 30 to communicate with the mobile body 10.
  • the communication unit 31 functions as a log collector that receives log information from the mobile body 10 via the network 20.
  • the communication unit 31 outputs the received log information to the determination detection unit 32 and the false detection determination unit 33.
  • the communication unit 31 is an example of an acquisition unit.
  • the determination detection unit 32 is a processing unit that performs object detection processing on the image included in the log information.
  • the determination detection unit 32 has a larger calculation scale than the object detection unit 11, and can perform more accurate object detection.
  • the determination detection unit 32 has an object detection model that has been trained so that image segmentation (semantic segmentation) can be executed, and performs image segmentation on an image using the object detection model.
  • image segmentation is to perform a process of labeling each of a plurality of pixels of an image with the meaning indicated by the pixel. This is equivalent to labeling which class of objects each pixel belongs to, that is, which category it belongs to.
  • the determination detection unit 32 includes an object class (“passenger car” and “person” in the present embodiment) that can be detected by the object detection unit 11, and can detect more object classes than the object class. It is possible to have an object detection model trained in the above and execute an object detection process using the trained model.
  • object class (“passenger car” and “person” in the present embodiment) that can be detected by the object detection unit 11, and can detect more object classes than the object class. It is possible to have an object detection model trained in the above and execute an object detection process using the trained model.
  • the determination detection unit 32 outputs the detection result to the erroneous detection determination unit 33.
  • the determination detection unit 32 outputs the segmentation result (see FIG. 8), which is the result of executing the image segmentation, to the erroneous detection determination unit 33.
  • the false detection determination unit 33 determines whether or not the detection result in the object detection unit 11 is correct based on the log information acquired from the object detection unit 11 and the detection result of the determination detection unit 32 (that is, the object detection unit 11). It is a processing unit that determines (whether or not the object detection is erroneous detection). The erroneous detection determination unit 33 makes the above determination based on, for example, whether or not there is a difference in the detection results between the object detection unit 11 and the determination detection unit 32. The erroneous detection determination unit 33 outputs the determination result to the generation unit 34.
  • the generation unit 34 is a processing unit that generates training data for re-learning the object detection model of the object detection unit 11 based on the determination result of the erroneous detection determination unit 33.
  • the present embodiment is characterized by a method of generating training data in the generation unit 34.
  • the generation unit 34 cuts out the object from the image in which the erroneous detection determination unit 33 determines that the detection result of the object detection unit 11 is incorrect. Then, the generation unit 34 increases the effective training data (inflated) by superimposing or replacing the cut-out image on another image in which the object and the object class (for example, "passenger car") appear in the same object. ) Perform processing. Note that cutting out is an example of extraction.
  • the training data may be data used as input data for re-learning the object detection model, or test data for verifying the detection ability of the re-learned object detection model. May be good.
  • the storage unit 35 is a storage device in which an image group (see FIG. 7) including a plurality of images for inflating training data is stored.
  • the image group may be stored in advance. Further, the storage unit 35 may store the image included in the log information acquired from the false detection determination unit 33 as an image group. In this case, the image and the detection result of the determination detection unit 32 in the image are stored in association with each other.
  • each of the plurality of images included in the image group stored in the storage unit 35 may be further associated with various information included in the log information shown in FIG. 3 to be described later.
  • each of the plurality of images included in the image group may be associated with information such as the time (or time zone) at which the image was taken and the weather.
  • each of the plurality of images included in the image group may be associated with information such as the position or posture of the camera when the image is taken.
  • each of the plurality of images included in the image group is associated with information such as brightness (for example, brightness of an object in the image) or brightness (for example, brightness of an object in the object) in the image. You may.
  • the brightness in the image may be, for example, information acquired by a sensor other than the camera.
  • the log information (see FIG. 3) itself may be stored.
  • the object detection result by the determination detection unit 32 is applied to the detection information included in the log information.
  • the object detection result of the object detection unit 11 does not have to be stored in the storage unit 35.
  • the storage unit 35 may store a program or the like executed by each processing unit included in the server device 30.
  • the storage unit 35 is composed of, for example, a semiconductor memory.
  • the server device 30 is, for example, a determination detection unit 32 having higher accuracy than the object detection unit 11 which is the enhancement target (re-learning target) for the image of the false detection scene data. To be equipped. Then, the server device 30 cuts out the erroneously detected image area by using the segmentation result or the detection result of the determination detection unit 32, and reflects the cut-out image 120 on another image in which an object of the same object class is displayed. By doing so, training data for false detection countermeasures is generated. This makes it possible to enhance the effect of the re-learning process on the object detection unit 11 as a countermeasure against false detection.
  • FIG. 2 is a flowchart showing the operation of the server device 30 according to the present embodiment.
  • the server device 30 acquires log information from the mobile body 10 (S10). Specifically, the communication unit 31 receives log information from the mobile body 10. Then, the communication unit 31 outputs the received log information to the determination detection unit 32 and the erroneous detection determination unit 33. Note that the determination detection unit 32 may output only an image among various data included in the log information.
  • FIG. 3 is a configuration diagram showing an example of log information 100 acquired by the server device 30 according to the present embodiment.
  • the log information 100 includes, for example, a scene image, shooting device information, time information, shooting position information, detection information, imaging parameters, and the like.
  • the scene image (hereinafter, also simply referred to as an image) is an image 101 captured by a camera included in the moving body 10, and is an image 101 to be executed for object detection processing.
  • the image 101 may be associated with an object region 101a, which is a region corresponding to the detection information.
  • the region where the target object 110 exists is the object region 101a.
  • the shooting device information is information about the camera that shot the camera.
  • the photographing device information is, for example, information for identifying the camera that captured the image 101, and in the example of FIG. 3, it is the front camera.
  • the time information is information indicating the time when the image 101 was taken.
  • the shooting position information is information indicating the position and orientation in which the image 101 was shot.
  • the detection information is information indicating the detection result of the object detection unit 11 for the image 101 and the like. Specifically, the detection information includes a detection result and information indicating an object region 101a corresponding to the detection result.
  • FIG. 3 shows an example in which the detection result of the object detection unit 11 for the target object 110 which is a “passenger car” is a “person”. That is, the log information 100 shown in FIG. 3 indicates the log information when the object detection unit 11 erroneously detects.
  • the object area 101a is shown as a rectangle, the shape of the object area 101a is an example and may be other than the rectangle.
  • the imaging parameter is information indicating the imaging conditions of the camera when the image 101 is captured.
  • the shooting conditions are, for example, gain, white balance, and the like.
  • the determination detection unit 32 executes the object detection process using the image 101 included in the log information 100 acquired from the communication unit 31 as input data (S20).
  • FIG. 4 is an example of the image 200 input to the determination detection unit 32 according to the present embodiment.
  • FIG. 5 is a diagram showing a detection result of the determination detection unit 32 according to the present embodiment.
  • the image 200 is the same image as the image 101 included in the log information 100.
  • the image 200 input to the determination detection unit 32 does not include the object region 101a.
  • FIG. 5 shows that the target object 110 shown in FIG. 4 is determined to be a “passenger car”.
  • the determination detection unit 32 can accurately detect the object from the object detection unit 11 of the moving body 10, so that the object detection unit 11 can accurately detect the erroneously detected object.
  • the determination detection unit 32 outputs the detection result (here, the segmentation result 300) to the erroneous detection determination unit 33.
  • the false positive determination unit 33 uses the detection result acquired from the determination detection unit 32 and the log information 100 (that is, the detection result of the object detection unit 11 of the moving body 10). Based on this, it is determined whether or not there is an erroneous detection in the detection of the object detection unit 11 (S30).
  • the erroneous detection determination unit 33 makes the above determination, for example, depending on whether or not there is a difference in the detection results of the determination detection unit 32 and the object detection unit 11.
  • the detection result of the determination detection unit 32 is "passenger car" (see FIG. 5) for the target object 110, whereas the detection result of the object detection unit 11 of the moving body 10 is "person". (See FIG. 3).
  • the erroneous detection determination unit 33 determines that there is an erroneous detection in the detection of the object detection unit 11 when there is a difference between the detection result of the determination detection unit 32 and the detection result of the object detection unit 11. ..
  • the erroneous detection determination unit 33 collects the log information 100 corresponding to the image as erroneous detection scene data (S40). Then, the erroneous detection determination unit 33 outputs the collected erroneous detection scene data to the generation unit 34.
  • the erroneous detection determination unit 33 outputs the erroneous detection scene data and the segmentation result 300 for the erroneous detection scene data to the generation unit 34.
  • the erroneously detected image means an image showing the erroneously detected target object 110.
  • the difference between the detection result of the determination detection unit 32 and the detection result of the object detection unit 11 means that, for example, the determination detection unit 32 detects an object, but the object detection unit 11 detects the object. Including the case where it is not done. That is, even if the object detection unit 11 cannot detect the object that should be originally detected, it is included in the false detection of the object detection unit 11.
  • the false detection determination unit 33 determines that there is no false detection (No in S30). the process ends.
  • the generation unit 34 performs annotation processing on the false detection scene data acquired from the false detection determination unit 33 (S50).
  • the generation unit 34 performs annotation processing on the false detection scene data based on the detection result of the determination detection unit 32.
  • the generation unit 34 performs annotation processing on the false detection scene data based on the segmentation result 300.
  • the object class for the target object 110 is changed from "person” to "passenger car”.
  • the annotated false positive scene data (that is, the log information in which the detection result is correct) may be used as training data.
  • the generation unit 34 performs a process (inflated process) of increasing training data for suppressing erroneous detection.
  • the generation unit 34 generates training data effective for suppressing false detection of the object detection unit 11 based on a predetermined rule. The process of generating effective training data in the generation unit 34 will be described below.
  • the generation unit 34 generates a cut-out image obtained by cutting out the falsely detected object region 101a based on the segmentation result 300 with respect to the false detection scene data image 101 (S60). Specifically, a cut-out image 120 obtained by cutting out the target object 110 as shown in FIG. 6 is generated.
  • FIG. 6 is a diagram showing an example of the cutout image 120 according to the present embodiment.
  • the generation unit 34 is located, for example, between an object (for example, the moving body 10 and the target object 110) that hides a part of the target object 110 in the image 101, and is viewed from the moving body 10. If there is an object that overlaps 110), the object and the target object 110 may be cut out as one. For example, there is another object hiding the target object 110 between the target object 110 to be cut out and the own vehicle (moving body 10), and the other object is also displayed in advance set from the segmentation result. If it can be cut out at the area threshold value (for example, 120 size of the cut-out image), it may be cut out as a single block. For example, the target object 110 and another object may be objects of the same object class (for example, a passenger car). By reflecting the cut-out image cut out in one block on other images, it is possible to generate a natural image with less discomfort as training data.
  • an object for example, the moving body 10 and the target object 110
  • the image superimposed or replaced with another image is obtained by, for example, processing the target object 110 of the image 101 (an example of the portion of the first image). It may be the obtained image (for example, cutout image 120).
  • the cut-out image 120 may be subjected to predetermined image processing.
  • the generation unit 34 then generates a clipped image from another image group in which the same object class (for example, a passenger car) exists as the falsely detected object (here, the target object 110).
  • An image capable of reflecting 120 is selected (S70).
  • reflection includes superposition or substitution.
  • FIG. 7 is a diagram showing an example of the image group 400 stored in the storage unit 35.
  • FIG. 8 is a diagram showing the detection results of the determination detection unit 32 for the image 401 included in the image group 400. Specifically, FIG. 8 shows the segmentation result 500 for image 401.
  • the target objects 410 and 420 are present in the image 401.
  • the object class of the target object 410 is "passenger car", and the object class of the target object 420 is "sign".
  • the target object 410 has the same object class as the target object 110 in the image 101.
  • the generation unit 34 determines whether or not the object classes of the target objects 110 and 410 are the same, based on the detection results of the determination detection unit 32 in each target object.
  • the object class of the target objects 110 and 410 is a "passenger car”.
  • the generation unit 34 has the same object class as the erroneously detected object class from the image group 400 stored in advance based on the segmentation results 300 and 500 using the determination detection unit 32. To pick out.
  • the image 401 in which the same object class as the erroneously detected object class exists is an example of an image capable of reflecting the cutout image 120.
  • the generation unit 34 may preferentially select an image in which the target object 110 can be reflected in the same size from the image group 400 as the image that can be reflected. Further, the generation unit 34 may select an image that can be reflected by enlarging or reducing the target object 110 within a predetermined magnification as an image that can be reflected.
  • the generation unit 34 then reflects the cropped image 120 for the selected image group (S80). For example, the generation unit 34 reflects the cut-out image 120 in the region where the “passenger car” of the segmentation result 500 of FIG. 7 exists for the image 401 selected from the image group 400.
  • FIG. 9A is a diagram showing an example of the image group 600 included in the training data.
  • the generation unit 34 generates the image 601 by superimposing the cutout image 120 obtained by cutting out the target object 110 shown by the cutout image 120 on the target object 410 of the image 401 shown in FIG. 7, for example. ..
  • the generation unit 34 superimposes the target object 110 on the position where the "passenger car” exists in the image 401.
  • the image 601 is an image in which the target object 110 is superimposed on the position where the target object 110 actually exists (in the present embodiment, the roadway on which the "passenger car” exists).
  • an image close to the real world can be generated. Therefore, when fine-tuning a general-purpose neural network to a neural network dedicated to the moving body 10, fine-tuning is performed so that an object can be detected more accurately. be able to.
  • the generation unit 34 may further superimpose or replace the cut-out image 120 whose size is adjusted based on the size of the region where the “passenger car” of the segmentation result 500 of FIG. 7 exists on the image 401. Sizing includes scaling up and down.
  • the adjustment width (an example of the adjustment ratio) for adjusting the size of the cutout image 120 may be set in advance.
  • the enlargement or reduction may be within ⁇ 20% with respect to the size of the cutout image 120 shown in FIG.
  • the process of enlarging and reducing the cropped image 120 is executed while the aspect ratio of the cropped image 120 remains constant. Further, when the cut-out image 120 is superimposed, the enlargement ratio or the reduction ratio may be determined so that the area where the target object 410 cannot be seen or can be seen becomes smaller (the protruding area becomes smaller) in the superimposed image 601.
  • the generation unit 34 prevents the object superimposed on the image 401 (for example, the passenger car shown by the cutout image 120) from being only a relatively large object in the image 401, so that the original image (for example, the image) is not included. You may superimpose while interpolating using the peripheral pixels of the target object 110 of 101).
  • the generation unit 34 generates the annotation information 700 corresponding to the image group 600 based on the annotation information corresponding to the image group 400 shown in FIG. 7. As shown in FIG. 9B, a "passenger car" is annotated with respect to the target object 110.
  • the generation unit 34 generates training data by the image group 600 shown in FIG. 9A and the annotation information 700 corresponding to the image group 600 (S90).
  • the generation unit 34 may additionally generate training data using images having annotation information having similar categories. For example, as shown in FIG. 10, the category structure of the object class is determined in advance, and a configuration using "bus” or “truck", which is the same upper category “vehicle” as “passenger car", can be considered.
  • the generation unit 34 may select an image whose object class is "bus" or "track” from the image group 400, and execute the processes of steps S80 and S90 on the selected image.
  • FIG. 10 is a diagram showing an example of the category structure of object detection.
  • the generation unit 34 may generate training data using all of the selected images, or the generation unit 34 may generate training data.
  • a preset number of images may be extracted from the images.
  • the generation unit 34 may extract the image by using a subcategory of the object class. For example, in the category structure shown in FIG. 10, a configuration in which the subcategories "sedan” and "SUV" of "passenger car” are used can be considered. If the number of images that can be reflected in step S70 exceeds the preset number, the generation unit 34 is further the same as or similar to the lower category (for example, “sedan”) in the target object 110 of the object class “passenger car”.
  • An image in which an object of the category appears may be preferentially selected, and the processes of steps S80 and S90 may be executed on the selected image.
  • the generation unit 34 preferentially selects an image in which an object identified as a "sedan" is displayed.
  • the category structure shown in FIG. 10 is stored in the storage unit 35. Further, the determination detection unit 32 can detect, for example, an object class included in the category structure shown in FIG.
  • the generation unit 34 has described an example in which the cutout image 120 is superposed or replaced with another image having the same object class as the target object 110, but the present invention is not limited to this.
  • the generation unit 34 may reflect a CG (Computer Graphics) image such as a 3D model similar to the cutout image 120 in the image selected in step S70.
  • the generation unit 34 may generate a CG image based on the cutout image 120, and when the storage unit 35 stores the CG image of the target object, the generation unit 34 may generate a CG image having a feature amount similar to that of the cutout image 120. You may choose.
  • the selected CG image may be an image having the most feature amount similar to the cutout image 120, or may be a plurality of CG images having the feature amount similar to a predetermined amount or more.
  • the image (an example of the image based on the portion of the first image) to be superimposed or replaced with the other image (the image selected in step S70) is, for example, an object selected from the images prepared in advance. It may be an image similar to the object 110 (an example of a part of the first image).
  • the size and tilt (for example, rotation angle) of the CG image may be adjusted.
  • the adjustment range of the size and tilt of the CG image is an example of the adjustment ratio.
  • the adjustment ratio is such that the CG image does not collapse as an image, and it is preferable that the adjustment ratio is set to such a ratio that an object can be detected as the object.
  • the timing of executing the processes in the determination detection unit 32, the erroneous detection determination unit 33, and the generation unit 34 is not particularly limited. For example, it may be executed every time the communication unit 31 acquires the log information 100 from the object detection unit 11, or it may be executed periodically, or when a predetermined number or a predetermined amount of log information 100 is accumulated. It may be executed. Further, for example, when the log information 100 includes the reliability of the detection result in the object detection unit 11, the determination detection unit 32 may execute the object detection process according to the reliability. For example, the determination detection unit 32 may execute the object detection process by giving priority to an image including an object having a detection result reliability of a predetermined value or less, or an object having a detection result reliability of a predetermined value or less. The object detection process may be executed only for the image containing. As a result, the server device 30 can generate training data more efficiently.
  • the false detection determination unit 33 acquires the detection result from the determination detection unit 32, and obtains the acquired detection result (an example of the object data) and the detection information of the log information 100 (an example of the object detection result).
  • An example of comparing and extracting the target object 110 (an example of a part of the first image) based on the comparison result has been described, but the present invention is not limited to this.
  • the server device 30 does not have to acquire the detection information of the log information 100.
  • the erroneous detection determination unit 33 acquires, for example, information (for example, information about the target object 110) corresponding to the difference between the detection results of the determination detection unit 32 and the object detection unit 11 from the administrator who manages the server device 30. You may.
  • the false detection determination unit 33 receives an instruction of the target object 110 to be relearned via a reception unit (not shown), which is a user interface that receives input from the administrator, and outputs the instruction to the generation unit 34. You may.
  • the instruction of the target object 110 includes information indicating the position and object class of the target object 110 in the image 101 included in the log information 100.
  • the server device 30 has described an example of receiving the log information 100 including the detection information from the mobile body 10, but the present invention is not limited to this.
  • the server device 30 may acquire an image captured by the moving body 10 from the moving body 10.
  • the server device 30 may include, for example, an object detection unit (not shown) having the same learned model as the object detection unit 11 included in the moving body 10.
  • the erroneous detection determination unit 33 compares the detection result of the object detection unit with the detection result of the determination detection unit 32 to see if there is a difference (that is, the detection result of the object detection unit is correct). Whether or not) may be determined.
  • the computer determines the object class (object) related to the image 101 (an example of the first image) and the target object 110 (an example of the object reflected in the image 101). Acquires an example of data) and outputs the object detection result by inputting the image 101 Corresponding to the difference between the object detection result (for example, segmentation result 300) obtained by inputting the image 101 into the trained model and the object data.
  • the part of the image 101 (for example, the target object 110) is extracted, and the object data corresponding to the extracted part of the image 101 (for example, the image 401 including the part corresponding to the same object data as the “passenger car” (second).
  • An example of an image is acquired, and a cut-out image 120 (an image based on the portion of the first image) of the extracted image 101 is applied to the target object 410 (an example of a portion corresponding to the same object data) in the acquired image 401.
  • training data of the trained model is generated.
  • the object detection unit 11 of the moving body 10 cannot detect the passenger car.
  • the neural network type object detection unit 11 it is preferable that the neural network is relearned (additional learning).
  • FIGS. 11A to 11F Modified Example of Embodiment 1
  • the server device and the like according to the modified example of the present embodiment will be described with reference to FIGS. 11A to 11F.
  • the configuration of the server device according to this modification is the same as that of the server device 30 according to the first embodiment, and the description thereof will be omitted. Further, in the same process as the server device 30 of the first embodiment, the description may be omitted or simplified.
  • the server device preferentially selects an image to be used for training data from the images selected in step S70 shown in FIG. 2 by the following processing.
  • the process shown in FIGS. 11A to 11F may be executed, for example, when the number of images selected in step S70 exceeds the number of training data to be generated.
  • the processes of FIGS. 11A to 11F shown below are executed between steps S70 and S80 shown in FIG.
  • FIG. 11A is a flowchart showing a first example of the operation of the generation unit 34 according to this modification.
  • the generation unit 34 may further determine whether or not the position or orientation of the image pickup apparatus at the time of imaging is the same or similar to the image selected in step S70 (S110). ). Specifically, the generation unit 34 determines the position or posture of the image pickup device (for example, the camera included in the moving body 10) when the image 101 included in the log information 100 acquired from the moving body 10 is imaged, and in step S70. It is determined whether or not the position or posture of the imaging device (for example, a camera included in a moving body different from the moving body 10) at the time of capturing the selected image is the same or similar.
  • the position or posture of the image pickup device for example, the camera included in the moving body 10
  • the generation unit 34 determines an image that can reflect the image (an example of the second image) (S120). Then, the generation unit 34 determines whether or not the number of images determined to be the images that can be reflected has reached a predetermined number (S130). When the number reaches a predetermined number (S130), the generation unit 34 proceeds to the process of step S90. If the generation units 34 are not the same or similar (No in step S110), or if the number has not reached a predetermined number (No in S130), the process returns to step S110 and steps S110 for the next image. Execute the processing of.
  • the position of the image pickup device is the position of the image pickup device obtained from the GPS positioning result or the like.
  • the position of the image pickup device when the image 101 is captured can be acquired from the shooting position information included in the log information 100.
  • the posture of the image pickup device is, for example, the direction in which the optical axis of the image pickup device is directed.
  • the posture of the image pickup device when the image 101 is captured is the imaging device information and the imaging position included in the log information 100. It can be obtained from the information.
  • the similarity means that the position or posture of the image pickup device that has captured the image selected in step S70 is within a predetermined range set in advance with respect to the position or posture included in the log information 100.
  • the predetermined range may be stored in the storage unit 35 in advance.
  • the image selected in step S70 if there is a similar image (date and time is different) within a predetermined range in which the shooting position information of the image is set in advance, the image is preferentially selected. Will be done. Therefore, it is possible to generate training data that is effective in the learning process for passenger cars traveling on a fixed course such as a fixed-route bus or taxi.
  • FIG. 11B is a flowchart showing a second example of the operation of the generation unit 34 according to this modification.
  • the generation unit 34 may further determine whether or not the time zone or weather at the time of imaging is the same or similar to the image selected in step S70 (S210). Specifically, the generation unit 34 captures the time zone or weather when the image 101 included in the log information 100 acquired from the moving body 10 is captured, and the time zone or weather when the image selected in step S70 is captured. Determine if the weather is the same or similar.
  • step S210 when the time zone or the weather is the same or similar (Yes in S210), the generation unit 34 executes the processes after step S120. If the time zone or weather is not the same or similar (No in step S210), or if the number has not reached a predetermined number (No in S130), the generation unit 34 returns to step S210 and next image. The process of step S210 is executed.
  • the time zone at the time of imaging may be a time or the like.
  • the time zone at the time of imaging of the image 101 can be acquired from the time information included in the log information 100.
  • the weather at the time of imaging includes at least one such as temperature, humidity, wind condition (wind direction or air volume), cloud condition (cloudy cloud, clear cloud, etc.), presence or absence of precipitation or snowfall.
  • the weather at the time of capturing the image 101 can be acquired from the time information included in the log information 100, the shooting position information, and the information in the database storing the weather information.
  • the similarity means that the time zone or weather at the time of imaging in which the image selected in step S70 is captured is within a predetermined range set in advance with respect to the time or weather included in the log information 100.
  • Similar weather means, for example, that the types of weather are the same (an example within a predetermined range). Further, the similar weather may mean that, for example, the temperature, humidity, and the like are within a predetermined range.
  • the types of weather include, for example, "fine weather”, “sunny”, “cloudy”, “fog", “rain”, and “thunder”.
  • the predetermined range may be stored in the storage unit 35 in advance.
  • the image selected in step S70 if there is a similar image within a predetermined range in which the shooting time zone or weather of the image is set in advance, the image is preferentially selected. Therefore, an image close to the environment when the target object 110 is erroneously detected can be preferentially selected. Therefore, when the factor of erroneous detection of the target object 110 depends on the environment around the target object 110, etc. It is possible to generate particularly effective training data.
  • FIG. 11C is a flowchart showing a third example of the operation of the generation unit 34 according to this modification.
  • the generation unit 34 may further determine whether or not the brightness or the brightness in the imaging direction at the time of imaging is the same or similar to the image selected in step S70 ( S310). Specifically, the generation unit 34 determines the brightness of the image 101 included in the log information 100 acquired from the moving body 10 or the brightness in the imaging direction at the time of imaging, and the brightness of the image selected in step S70 or the imaging of the image. It is determined whether or not the brightness in the imaging direction at the time is the same or similar.
  • step S310 when the brightness or brightness is the same or similar (Yes in S310), the generation unit 34 executes the processes after step S120. Further, when the brightness or brightness is not the same or similar (No in step S310) and when the number does not reach a predetermined number (No in S130), the generation unit 34 returns to step S310 and returns to the next image. The process of step S310 is executed.
  • the luminance at the time of imaging is the luminance on the image.
  • the luminance at the time of imaging in the image 101 can be acquired from the image 101 included in the log information 100.
  • the brightness is, for example, the brightness of the cut-out image 120, but is not limited to this, and may be the brightness of the entire image 101. Further, the brightness may be calculated by statistical processing. The brightness may be, for example, the maximum value, the minimum value, the average value, or the median value of the brightness in the cutout image 120.
  • the brightness in the imaging direction at the time of imaging is, for example, the brightness information acquired from a sensor other than the imaging device that imaged the image 101 (for example, a sensor that detects the amount of light incident in the detection range). is there. Information on brightness may be included in, for example, log information 100.
  • the similarity here is the image obtained by capturing the image selected in step S70 or the imaging direction at the time of capturing the image with respect to the brightness of the image 101 or the brightness of the image 101 at the time of imaging. It means that the brightness is within a preset predetermined range.
  • the predetermined range may be stored in the storage unit 35 in advance.
  • the image selected in step S70 if there is an image having similar brightness or brightness within a predetermined range, the image is preferentially selected. Therefore, an image close to the environment when the target object 110 is erroneously detected can be preferentially selected. Therefore, when the factor of erroneous detection of the target object 110 depends on the environment around the target object 110, etc. It is possible to generate particularly effective training data.
  • FIG. 11D is a flowchart showing a fourth example of the operation of the generation unit 34 according to this modification.
  • the generation unit 34 further has the same size or the size of the parts (for example, the target objects 110 and 410) corresponding to the object data (for example, the object class) with respect to the image selected in step S70. It may be determined whether or not they are similar (S410). Specifically, the generation unit 34 has the size of the target object 110 existing in the image 101 of the log information 100 acquired from the moving body 10 and the size of the target object 410 existing in the image 401 selected in step S70. Determine if they are the same or similar.
  • step S410 when the size of the portion corresponding to the object data is the same or similar (Yes in S410), the generation unit 34 executes the processes after step S120. Further, the generation unit 34 returns to step S410 when the sizes of the portions corresponding to the object data are not the same or similar (No in step S410) and when the predetermined number has not been reached (No in S130). , The process of step S410 is executed for the next image.
  • the size of the target object 110 is the size on the image.
  • the size of the target object 110 can be obtained from the image 101 included in the log information 100. Further, the size of the target object 410 can be obtained from the image 401.
  • the similarity means that the size of the target object 410 existing in the image selected in step S70 is within a preset predetermined range with respect to the target object 110.
  • the predetermined range may be stored in the storage unit 35 in advance.
  • the generation unit 34 can generate training data including a natural image with less discomfort.
  • FIG. 11E is a flowchart showing a fifth example of the operation of the generation unit 34 according to this modification.
  • the generation unit 34 may further determine whether or not the area data around the portion corresponding to the object data is the same or similar to the image selected in step S70. (S510). Specifically, the generation unit 34 has a segmentation result 300 of the image 101 included in the log information 100 acquired from the mobile body 10 (see, for example, FIG. 5) and a segmentation result 500 of the image selected in step S70 (see, for example, FIG. 5). For example, it is determined whether or not is the same as or similar to (see FIG. 8).
  • step S510 when the area data around the portion corresponding to the object data is the same or similar (Yes in S510), the generation unit 34 executes the processes after step S120. Further, the generation unit 34 steps when the area data around the portion corresponding to the object data is not the same or similar (No in step S510) and when the predetermined number has not been reached (No in S130). Returning to S510, the process of step S510 is executed for the next image.
  • the area data around the portion corresponding to the object data can be acquired if the determination detection unit 32 can output the segmentation result.
  • the area data around the portion (target object 110) corresponding to the object data in the image 101 is, for example, a "roadway”, a “forest”, or the like.
  • the area data around the portion (target object 410) corresponding to the object data in the image 401 is, for example, a "roadway", a "forest", or the like.
  • the similarity means that the area data around the portion corresponding to the object data of the image selected in step S70 is preset with respect to the area data around the portion corresponding to the object data of the image 101. It means that it is within the predetermined range.
  • the predetermined range may be the range of the position or size of the area data of the same category (for example, "roadway”, “forest”, etc.).
  • the predetermined range may be stored in the storage unit 35 in advance.
  • the image selected in step S70 if there is an image in which the area data around the portion corresponding to the object data of the image is similar within a predetermined range, the image is preferentially selected. .. Therefore, an image close to the environment when the target object 110 is erroneously detected can be preferentially selected. Therefore, when the factor of erroneous detection of the target object 110 depends on the environment around the target object 110, etc. It is possible to generate particularly effective training data.
  • FIG. 11F is a flowchart showing a sixth example of the operation of the generation unit 34 according to this modification.
  • the generation unit 34 may further determine whether or not the imaging parameters of the imaging apparatus at the time of imaging are the same or similar to the image selected in step S70 (S610). .. Specifically, the generation unit 34 captures the imaging parameters of the imaging device at the time of capturing the image 101 included in the log information 100 acquired from the moving body 10 and the imaging device at the time of capturing the image selected in step S70. Determine if the parameters are the same or similar.
  • step S610 when the imaging parameters of the imaging apparatus at the time of imaging are the same or similar (Yes in S610), the generation unit 34 executes the processes after step S120. Further, the generation unit 34 returns to step S610 when the imaging parameters of the imaging apparatus at the time of imaging are not the same or similar (No in step S610) and when the predetermined number has not been reached (No in S130). , The process of step S610 is executed for the next image.
  • the imaging parameter of the imaging device at the time of imaging is a setting condition of the imaging device.
  • the imaging parameter of the imaging device at the time of imaging the image 101 can be acquired from the imaging parameter included in the log information 100.
  • the imaging parameters are, for example, gain or white balance settings, but are not limited thereto.
  • the similarity here means that the imaging parameters of the imaging device at the time of imaging the image selected in step S70 are within a predetermined range set in advance with respect to the imaging parameters of the imaging device at the time of imaging the image 101.
  • the predetermined range may be stored in the storage unit 35 in advance.
  • the image is preferentially selected. Therefore, it is possible to generate training data similar to the environment in which the image 101 was taken, based on information other than the subject (for example, the target object 110). Further, it is possible to generate particularly effective training data when the factor of erroneously detecting the target object 110 does not depend on the subject such as the target object 110, for example, when the imaging parameter is a factor. Become.
  • steps S70 and S80 two or more processes of steps S110, S210, S310, S410, S510 and S610 may be executed. Further, the above-mentioned predetermined range may be set for each object class of the target object 110 existing in the image 101 included in the log information 100.
  • processing other than the above may be executed between steps S70 and S80. For example, if there is a scene image that can be superimposed in a state where the protruding area of the target object 410 of the image 601 is small, it may be preferentially selected.
  • the configuration of the server device according to the present embodiment is the same as that of the server device 30 according to the first embodiment, and the description thereof will be omitted. Further, in the same process as the server device 30 of the first embodiment, the description may be omitted or simplified.
  • the object detection unit 11 erroneously detects an object that is not the detection target.
  • the object detection unit 11 is a detection unit that detects only a “person” will be described.
  • FIG. 12 is a flowchart showing the operation of the server device according to the present embodiment.
  • the server device 30 acquires log information from the mobile body 10 (S1010). Specifically, the communication unit 31 receives log information from the mobile body 10. Then, the communication unit 31 outputs the received log information to the determination detection unit 32 and the erroneous detection determination unit 33.
  • FIG. 13 is a configuration diagram showing an example of the log information 800 acquired by the server device 30 according to the present embodiment.
  • the log information 800 includes, for example, a scene image, shooting device information, time information, shooting position information, detection information, imaging parameters, and the like, as in the log information 100.
  • the object detection unit 11 determines that the target object 820 existing in the area surrounded by the object area 801a is a "person”.
  • the object class of the object object 820 is a "sign”.
  • the object detection unit 11 erroneously detects a "sign” that should not be detected as a "person”.
  • step S1020 is the same process as step S20 shown in FIG. 2, and detailed description thereof will be omitted.
  • the segmentation result (see, for example, FIG. 8) is output.
  • FIG. 14 is an example of the image 900 input to the determination detection unit 32 according to the present embodiment. It is assumed that the image 900 is the same image as the image 401. In other words, the segmentation result of the image 900 is the same as the segmentation result 500 shown in FIG. Hereinafter, the segmentation result of the image 900 will be described as the segmentation result 500.
  • the false detection determination unit 33 is an object based on the detection result (here, the segmentation result 500) acquired from the determination detection unit 32 and the log information (that is, the detection result of the object detection unit 11 of the moving body 10). It is determined whether or not there is an erroneous detection in the detection of the detection unit 11 (S1030). For example, the erroneous detection determination unit 33 determines whether or not there is a difference between the detection result and the log information (specifically, the detection information which is the object detection result).
  • the detection result of the determination detection unit 32 is a "mark" (see FIG. 8) for the target object 820, whereas the detection result of the object detection unit 11 of the moving body 10 is "person". (See FIG. 13).
  • the erroneous detection determination unit 33 determines that there is an erroneous detection in the detection of the object detection unit 11.
  • the false detection determination unit 33 determines that there is a false detection (Yes in S1030)
  • the log information 800 is collected as false detection scene data (S1040).
  • the erroneous detection determination unit 33 outputs the collected erroneous detection scene data to the generation unit 34. Further, the false detection determination unit 33 ends the process when it determines that there is no false positive (No in S1030).
  • the generation unit 34 performs annotation processing on the false detection scene data acquired from the false detection determination unit 33 (S1050).
  • the object detection unit 11 since the object detection unit 11 detects only the “person”, the object detection unit 11 does not have a detection category (object class) called “mark”.
  • the area is generally not annotated, but in the present embodiment, for example, an annotation indicating that the area is not a "person” such as a "background” is performed.
  • steps S1060 to S1090 is the same as the processing of S60 to S90 shown in FIG. 2, and detailed description thereof will be omitted.
  • the generation unit 34 generates a cut-out image (not shown) cut out from the target object 820, and reflects the generated cut-out image in the image (an example of the second image) selected in step S1070 (S1080).
  • the generation unit 34 generates training data having the image group 1000 including the image 1001 as shown in FIG. 15 (S1090). That is, the generation unit 34 mass-produces training data by the above processing.
  • FIG. 15 is a diagram showing an example of the image group 1000 included in the training data.
  • an object detector for example, a determination detection unit 32
  • the object detector for example, the object detection unit 11
  • the moving body is an automobile (autonomous driving vehicle)
  • the present invention is not limited to this.
  • the present disclosure is applicable as long as it is a moving body including an object detection unit (object detection device).
  • the moving object may be a flying object (for example, a drone) or a ship, or a robot (for example, a self-propelled vacuum cleaner) that autonomously moves based on an image of the surroundings. May be good.
  • the server device (training data set generator) according to the present disclosure is applicable not only in the field of self-driving cars but also in different product fields such as robots and drones.
  • the object detection unit included in the moving body in the above embodiment may be able to output a segmentation result as a detection result.
  • the order of the plurality of processes described in the above embodiment is an example.
  • the order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel.
  • each component described in each embodiment may be realized as software, or typically may be realized as an LSI which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them. Although it is referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used. Furthermore, if an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology or another technology derived from it, it is naturally possible to integrate the components using that technology.
  • LSI Field Programmable Array
  • the division of the functional block in the block diagram is an example, and a plurality of functional blocks are realized as one functional block, one functional block is divided into a plurality of ones, and some functions are transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.
  • the server device included in the information processing system may be realized as a single device or may be realized by a plurality of devices.
  • each processing unit of the server device may be realized by two or more server devices.
  • the components included in the information processing system may be distributed to the plurality of server devices in any way.
  • the communication method between the plurality of server devices is not particularly limited.
  • the technique of the present disclosure may be the above-mentioned program, or may be a non-temporary computer-readable recording medium on which the above-mentioned program is recorded.
  • the above program can be distributed via a transmission medium such as the Internet.
  • the program and the digital signal composed of the programs may be transmitted via a telecommunication line, a wireless or wired communication line, a network typified by the Internet, data broadcasting, or the like.
  • the program and the digital signal composed of the programs may be executed by another independent computer system by recording and transferring the program on a recording medium or by transferring via a network or the like. ..
  • This disclosure can be applied to an information processing method or the like that generates training data for re-learning a trained model.
  • Information processing system 10 Mobile 11 Object detection unit 12 Communication unit 20 Network 30 Server device 31 Communication unit (acquisition unit) 32 Judgment detection unit 33 False detection judgment unit 34 Generation unit 35 Storage unit 100, 800 Log information 101, 200, 401, 601, 801, 900, 1001 Image 101a, 801a Object area 110, 410, 420, 810, 820 Target Object 120 Cutout image 300, 500 Segmentation result 400, 600, 1000 Image group 700 Annotation information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

情報処理方法は、コンピュータが、第１画像および第１画像に映る物体の物体データを取得し（Ｓ１０）、画像を入力として物体検出結果を出力する学習済みモデルに第１画像を入力することにより得られる物体検出結果と物体データとの差に対応する第１画像の部分を抽出し（Ｓ６０）、抽出された第１画像の部分に対応する物体データと同一の物体データに対応する部分を含む第２画像を取得し（Ｓ７０）、取得された第２画像における同一の物体データに対応する部分に、抽出された第１画像の部分に基づく画像を反映させる（Ｓ８０）ことにより、学習済みモデルのトレーニングデータを生成する（Ｓ９０）。

Description

情報処理方法、及び、情報処理システム
　本開示は、機械学習処理における訓練用データセットを生成するための情報処理方法、及び、情報処理システムに関する。より詳しくは、画像から一般物体を検出する物体検出装置における誤検出に対処するための機械学習処理に使用する訓練用データセットを生成する報処理方法、及び、情報処理システムに関する。
　近年、一般物体検出装置は、ディープラーニング技術の採用により、飛躍的に性能向上し、研究又は商品化が多数行われている。また、運転手の代わりに機械が運転する自動運転車（ロボットカー）においても、カメラ装置もしくは、レーダ、ステレオカメラ等の測距センサ装置等から転送される画像に対する一般物体検出装置は、自動運転車における要素機能の１つである。一般物体とは、歩行者、乗用車、道路標識、建物及び道路の領域等を示す。自動運転車は、一般物体検出装置からの検出情報に基づき、自動運転車本体を制御し、目的の場所へ安全に移動することが必須要件となる。
　よって、一般物体検出装置は、正確に物体検出を行う必要があるが、誤った検出（以降、誤検出）を引き起こすことも否定はできない。その場合の対処方法として、誤検出された画像データと検出データを正しく訂正し、それらを訓練用データとしてその物体検出装置に対して再学習処理する手法が存在する。この処理によって、その物体検出装置において同じような誤検出を起こし難くする効果がある。ニューラルネットワーク型検出器では、その再学習処理の手法として、転移学習やファインチューニングなどが存在する。
　そして、その再学習処理には、誤検出対策のための大量の訓練用データが必要となる。特許文献１には、認識対象が映る領域を幾何変換することにより認識対象を含む訓練用画像データを生成し、同じ背景部分の合成画像（只の背景）、異なる背景部分の合成画像（不自然）、異なる物体部分の合成画像（不自然）を生成し、認識器による認識対象を含まない訓練用画像データを生成する方法が示されている。
特開２０１２－８８７８７号公報
　しかし、特許文献１で開示される発明では、認識器（物体検出部）の認識性能が再学習において必ずしも向上するとは限らない。例えば、特許文献１では、幾何変換として、認識対象が映る領域をランダムにシフトしたり回転させたりするため、幾何変換後の認識対象が映る領域が元の画像において不自然となり、学習効果に悪影響を及ぼすおそれがある。
　そこで、本開示では、物体検出用の学習済みモデルの物体検出性能が再学習において向上する確実性を高めることができる情報処理方法、及び、情報処理システムを提供することを目的とする。
　本開示の一態様に係る情報処理方法は、コンピュータが、第１画像および前記第１画像に映る物体の物体データを取得し、画像を入力として物体検出結果を出力する学習済みモデルに前記第１画像を入力することにより得られる物体検出結果と前記物体データとの差に対応する前記第１画像の部分を抽出し、抽出された前記第１画像の部分に対応する物体データと同一の物体データに対応する部分を含む第２画像を取得し、取得された前記第２画像における前記同一の物体データに対応する部分に、抽出された前記第１画像の部分に基づく画像を反映させることにより、前記学習済みモデルのトレーニングデータを生成する。
　また、本開示の一態様に係る情報処理システムは、第１画像および前記第１画像に映る物体の物体データを取得する取得部と、画像を入力として物体検出結果を出力する学習済みモデルに前記第１画像を入力することにより得られる物体検出結果と前記物体データとの差に対応する前記第１画像の部分を抽出し、抽出された前記第１画像の部分に対応する物体データと同一の物体データに対応する部分を含む第２画像を取得し、取得された前記第２画像における前記同一の物体データに対応する部分に、抽出された前記第１画像の部分に基づく画像を反映させることにより、前記学習済みモデルのトレーニングデータを生成する生成部とを備える。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様に係る情報処理方法、及び、情報処理システムによれば、物体検出用の学習済みモデルの物体検出性能が再学習において向上する確実性を高めることができる。
図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。 図２は、実施の形態１に係るサーバ装置の動作を示すフローチャートである。 図３は、実施の形態１に係るサーバ装置が取得するログ情報の一例を示す構成図である。 図４は、実施の形態１に係る判定用検出部に入力される画像の一例である。 図５は、実施の形態１に係る判定用検出部の検出結果を示す図である。 図６は、実施の形態１に係る切り出し画像の一例を示す図である。 図７は、記憶部が格納する画像群の一例を示す図である。 図８は、画像群に含まれる画像に対する判定用検出部の検出結果を示す図である。 図９Ａは、訓練用データに含まれる画像群の一例を示す図である。 図９Ｂは、訓練用データに含まれるアノテーション情報の一例を示す図である。 図１０は、物体検出のカテゴリ構造の一例を示す図である。 図１１Ａは、実施の形態１の変形例に係る生成部の動作の第１例を示すフローチャートである。 図１１Ｂは、実施の形態１の変形例に係る生成部の動作の第２例を示すフローチャートである。 図１１Ｃは、実施の形態１の変形例に係る生成部の動作の第３例を示すフローチャートである。 図１１Ｄは、実施の形態１の変形例に係る生成部の動作の第４例を示すフローチャートである。 図１１Ｅは、実施の形態１の変形例に係る生成部の動作の第５例を示すフローチャートである。 図１１Ｆは、実施の形態１の変形例に係る生成部の動作の第６例を示すフローチャートである。 図１２は、実施の形態２に係るサーバ装置の動作を示すフローチャートである。 図１３は、実施の形態２に係るサーバ装置が取得するログ情報の一例を示す構成図である。 図１４は、実施の形態２に係る判定用検出部に入力される画像の一例である。 図１５は、訓練用データに含まれる画像群の一例を示す図である。
　（本開示の基礎となった知見）
　自動運転車を含む様々な工業製品の分野において、ニューラルネットワーク型物体検出装置を搭載し、その検出結果に基づき、自動的に制動を行う製品が市場に投入されている。
　しかしながら、ニューラルネットワーク型物体検出装置の学習処理においては、膨大な画像データの収集とアノテーション作業とを必要とする。また、アノテーション作業は手作業が一般的であり、非常にコストが掛かる作業となっている。
　そのため、様々な訓練用データを作成するための自動化手法が提案されている。しかし、物体検出装置の誤検出を効果的に対策するための訓練用データの自動生成における設計及び技術的な解決策に関しては、検討されていなかった。
　そこで、本願発明者らは、物体検出装置の誤検出を効果的に対策するための訓練用データの生成について鋭意検討を行い、以下に説明する情報処理方法及び情報処理システムを創案した。
　本開示の一態様に係る情報処理方法は、コンピュータが、第１画像および前記第１画像に映る物体の物体データを取得し、画像を入力として物体検出結果を出力する学習済みモデルに前記第１画像を入力することにより得られる物体検出結果と前記物体データとの差に対応する前記第１画像の部分を抽出し、抽出された前記第１画像の部分に対応する物体データと同一の物体データに対応する部分を含む第２画像を取得し、取得された前記第２画像における前記同一の物体データに対応する部分に、抽出された前記第１画像の部分に基づく画像を反映させることにより、前記学習済みモデルのトレーニングデータを生成する。
　これにより、トレーニングデータ（訓練用データ）を自動で生成することができる。さらに、第２画像は、第１画像の部分（誤検出した物体）に対応する物体データ（例えば、物体クラス）と同一の物体データに対する部分を含む画像である。このような第２画像に、誤検出した物体が反映（例えば、重畳又は置換）されることにより生成される画像は、違和感の少ない自然な画像となる。つまり、訓練用データが不自然な画像となることで、学習効果に悪影響を及ぼすことが抑制される。
　よって、本開示の一態様に係る情報処理方法によれば、物体検出用の学習済みモデルの物体検出性能が再学習において向上する確実性を高めることができる。
　また、例えば、さらに、前記物体検出結果を取得し、取得された前記物体検出結果と前記物体データとを比較する。そして、比較結果に基づいて前記第１画像の部分を抽出する。
　これにより、コンピュータ（例えば、サーバ装置）において、一括して処理を行うことができる。言い換えると、訓練用データを生成する処理の全てを自動化することができるので、より低コストで訓練用データを生成することができる。
　また、例えば、前記第１画像の部分に基づく画像は、前記第１画像の部分を加工することにより得られた画像である。
　これにより、第１画像の部分に基づく画像を、当該第１画像から取得することができる。言い換えると、誤検知した物体（第１画像の部分）そのものに基づいて、訓練用データを生成することができるので、当該誤検知した物体に対して有効な訓練用データを生成することができる。
　また、例えば、前記第１画像の部分に基づく画像は、予め用意された画像から選択される、前記第１画像の部分と類似する画像である。
　これにより、第１画像の部分に基づく画像を、当該第１画像を加工することなく取得することができる。例えば、第１画像から当該第１画像の部分を切り出すことが困難である場合であっても、第１画像の部分と類似する画像を用いて訓練用データを生成することができる。また、選択された画像が３Ｄ画像である場合、当該３Ｄ画像の姿勢（例えば、傾きなど）を容易に変更することができる。よって、第２画像に当該選択された画像を反映するときに、より自然な画像を生成することができるので、さらに有効な訓練データを生成することができる。
　また、例えば、前記第２画像の取得では、撮像時の撮像装置の位置又は姿勢が、前記第１画像の撮像時の撮像装置の位置又は姿勢と同一又は類似である画像を前記第２画像として取得する。
　これにより、例えば、路線バス、タクシーなどの決まったコースを走行する乗用車向けの学習処理では効果的となる訓練用データを生成することができる。
　また、例えば、前記第２画像の取得では、撮像時の時間帯又は天候が、前記第１画像の撮像時の時間帯又は天候と同一又は類似である画像を前記第２画像として取得してもよい。また、例えば、前記第２画像の取得では、輝度又は撮像時の撮像方向の明るさが、前記第１画像の輝度又は第１画像の撮像時の撮像方向の明るさと同一又は類似である画像を前記第２画像として取得してもよい。また、例えば、前記第２画像の取得では、前記第１画像の部分に対応する物体データと同一の物体データに対応する部分の周囲の領域データが、前記第１画像の部分の周囲の領域データと同一又は類似である画像を前記第２画像として取得してもよい。
　これにより、第１画像を取得した環境により近い第２画像が選択を選択することができる。このような第２画像に、誤検出した物体が反映されることにより生成される画像は、第１画像が撮影された環境に類似した画像となる。例えば、ファインチューニングを行う場合、環境が類似した画像を用いて再学習することで、物体検出用の学習済みモデルの物体検出性能を向上させる確実性を高めることができる。よって、さらに有効な訓練用データを生成することができる。
　また、例えば、前記第２画像の取得では、前記第１画像の部分に対応する物体データと同一の物体データに対応する部分のサイズが、前記第１画像の部分のサイズと同一又は類似である画像を前記第２画像として取得する。
　これにより、より違和感の少ない自然な画像が生成されるので、さらに有効な訓練データを生成することができる。
　また、例えば、前記第１画像、及び、前記第２画像は、撮像画像であり、前記第２画像の取得では、撮像時の撮像装置の撮像パラメータが、前記第１画像の撮像時の撮像装置の撮像パラメータと同一又は類似である画像を前記第２画像として取得する。
　これにより、被写体（誤検出した物体）以外の情報に基づいて、第１画像が撮影された環境に類似した画像を含む訓練用データを生成することができる。
　また、本開示の一態様に係る情報処理システムは、第１画像および前記第１画像に映る物体の物体データを取得する取得部と、画像を入力として物体検出結果を出力する学習済みモデルに前記第１画像を入力することにより得られる物体検出結果と前記物体データとの差に対応する前記第１画像の部分を抽出し、抽出された前記第１画像の部分に対応する物体データと同一の物体データに対応する部分を含む第２画像を取得し、取得された前記第２画像における前記同一の物体データに対応する部分に、抽出された前記第１画像の部分に基づく画像を反映させることにより、前記学習済みモデルのトレーニングデータを生成する生成部とを備える。
　これにより、コンピュータが、プログラムに従って、上記の情報処理方法を実行することができる。
　さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　また、本明細書において、同じなどの要素間の関係性を示す用語、および、矩形などの要素の形状を示す用語、並びに、数値及び数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
　また、本明細書において、物体検出装置（物体検出部）の誤検出とは、未検出を含む。つまり、誤検出は、物体検出部が物体を正しく検出できていないこと、及び、物体を検出できなかったことを含む。また、実施の形態１では、物体を正しく検出できなかった場合について説明し、実施の形態２では、検出対象ではない物体を誤って検出した場合について説明する。
　（実施の形態１）
　以下、本実施の形態に係る情報処理方法、及び、情報処理システムついて、図１～図１０を参照しながら説明する。
　［１－１.情報処理システムの構成］
　まずは、本実施の形態に係るサーバ装置３０を含む情報処理システム１の構成について、図１を参照しながら説明する。図１は、本実施の形態に係る情報処理システム１の機能構成をブロック図である。
　図１に示すように、情報処理システム１は、移動体１０と、サーバ装置３０とを備える。
　移動体１０は、例えば、車両である。車両は、例えば、運転者の操作を必要とせずに、車両の運転を制御する自動運転車であるが、自動運転または手動運転の何れかに切り替えて走行することが可能な車両であってもよい。
　移動体１０は、物体検出部１１と通信部１２とを有する。また、移動体１０は、さらに、移動体１０の周囲を撮影した画像を生成するカメラ（図示しない）などの光センサを含む複数のセンサを有する。物体検出部１１は、光センサなどのセンサから取得した情報に基づいて、移動体１０の周囲に存在する物体を検出する。以下では、光センサがカメラであり、物体検出部１１は、当該カメラから画像を取得し、取得した画像に基づいて移動体１０の周囲に存在する物体を検出する場合を説明する。
　物体検出部１１は、入力されたセンサデータすなわち画像等に基づき物体を検出する。物体検出部１１は、物体検出モデル（学習済みモデル）に対する処理を制御する情報処理部であって、電気回路で構成される。物体検出モデルは、複数の層を有するニューラルネットワーク型の数理モデル（推論器）であって、物体検出処理を行うための数理モデルを含む。
　基本的に、物体検出モデルは、入力層、中間層及び出力層で構成される複数の処理層を有する。入力層には、物体検出処理の処理対象データが入力データ（入力情報）として入力される。そして、出力層から、物体検出処理の処理結果データが出力データ（出力情報）として出力される。入力層と出力層とは異なる処理層であって、入力層と出力層と間の処理層は、中間層と呼ばれる。物体検出モデルは、複数の中間層を有していてもよい。
　例えば、物体検出部１１の内部に、学習データを用いて学習された物体検出モデルが実装される。本実施の形態では、物体検出モデルは、入力データである画像に基づいて、「乗用車」及び「人物」の２つの物体クラスを検出可能に学習されているとする。
　また、物体検出部１１は、検出対象の画像及び検出結果などに基づいて、サーバ装置３０に送信するためのログ情報（図３を参照）を生成する。ログ情報については、後述するが、検出対象が映る画像及び物体検出部１１における検出結果が含まれる。
　通信部１２は、移動体１０がサーバ装置３０と通信を行うための通信回路（言い換えれば、通信モジュール）である。通信部１２は、ネットワーク２０を介してサーバ装置３０に物体検出部１１が生成したログ情報を転送するログ転送器として機能する。なお、通信部１２がログ情報を送信するタイミングは特に限定されず、ログ情報は、逐次送信されてもよいし、定期的に送信されてもよい。
　なお、移動体１０は、ログ情報を格納する記憶部（記憶装置）を備えていてもよい。
　ネットワーク２０は、インターネット等の広域ネットワーク（ＷＡＮ：Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。移動体１０とサーバ装置３０とは、ネットワーク２０を介して（具体的には、ネットワーク２０の末端に設けられた中継装置（図示しない）を介して）無線通信可能に接続されている。
　サーバ装置３０は、物体検出用の学習済みモデル（物体検出モデル）を再学習させるための訓練用データセットを生成する情報処理装置（訓練用データセット生成装置）である。サーバ装置３０は、例えば、移動体１０が備える物体検出部１１に実装されている物体検出モデルを作製した製造メーカ、その他の事業者等により運用される。
　サーバ装置３０は、通信部３１と、判定用検出部３２と、誤検出判定部３３と、生成部３４と、記憶部３５とを有する。
　通信部３１は、サーバ装置３０が移動体１０と通信を行うための通信回路（言い換えれば、通信モジュール）である。通信部３１は、ネットワーク２０を介して移動体１０からログ情報を受信するログ収集器として機能する。通信部３１は、受信したログ情報を判定用検出部３２及び誤検出判定部３３に出力する。なお、通信部３１は、取得部の一例である。
　判定用検出部３２は、ログ情報に含まれる画像に対して物体検出処理を行う処理部である。判定用検出部３２は、物体検出部１１より演算規模が大きく、より正確な物体検出を行うことができる。本実施の形態では、判定用検出部３２は、画像セグメンテーション（セマンティックセグメンテーション）を実行可能に学習された物体検出モデルを有し、当該物体検出モデルを用いて画像に対して画像セグメンテーションを実行する。画像セグメンテーションを実行するとは、画像が有する複数の画素のそれぞれに対して、当該画素が示す意味をラベル付けする処理を実行することである。これは、各画素がどのクラスのオブジェクト、つまりどのカテゴリに属しているのかをラベル付けすることに相当する。
　なお、判定用検出部３２は、物体検出部１１が検出可能な物体クラス（本実施の形態では、「乗用車」及び「人物」）を含み、かつ、当該物体クラスより多くの物体クラスを検出可能に学習された物体検出モデルを有し、当該学習済みモデルを用いて物体検出処理を実行してもよい。
　判定用検出部３２は、検出結果を誤検出判定部３３に出力する。本実施の形態では、判定用検出部３２は、画像セグメンテーションを実行した結果であるセグメンテーション結果（図８を参照）を誤検出判定部３３に出力する。
　誤検出判定部３３は、物体検出部１１から取得したログ情報と、判定用検出部３２の検出結果とに基づいて、物体検出部１１における検出結果が正しかったか否か（つまり、物体検出部１１の物体検出が誤検出であるか否か）を判定する処理部である。誤検出判定部３３は、例えば、物体検出部１１及び判定用検出部３２における検出結果に差があるか否かに基づいて、上記の判定を行う。誤検出判定部３３は、判定結果を生成部３４に出力する。
　生成部３４は、誤検出判定部３３の判定結果に基づいて、物体検出部１１が有する物体検出モデルを再学習させるための訓練用データを生成する処理部である。本実施の形態では、生成部３４における訓練用データの生成方法に特徴を有する。詳細は後述するが、生成部３４は、誤検出判定部３３が物体検出部１１の検出結果が正しくないと判定した物体が映る画像から当該物体を切り出す。そして、生成部３４は、当該物体と物体クラス（例えば、「乗用車」）が同じ物体が映る他の画像に、切り出した画像を重畳する又は置換することにより、有効な訓練用データを増やす（水増しする）処理を行う。なお、切り出すことは、抽出することの一例である。
　なお、訓練用データは、物体検出モデルを再学習するための入力データに用いられるデータであってもよいし、再学習された物体検出モデルの検出能力を検証するためのテスト用データであってもよい。
　記憶部３５は、訓練用データを水増しするための複数の画像を含む画像群（図７を参照）が格納された記憶装置である。画像群は、予め格納されていてもよい。また、記憶部３５は、誤検出判定部３３から取得したログ情報に含まれる画像を、画像群として、格納してもよい。この場合、当該画像と、当該画像における判定用検出部３２の検出結果とが対応付けられて格納される。
　なお、記憶部３５に格納される画像群に含まれる複数の画像のそれぞれは、後述する図３に示すログ情報に含まれる各種情報が、さらに対応付けられていてもよい。例えば、画像群に含まれる複数の画像のそれぞれは、当該画像を撮影した時刻（又は時間帯）、天候などの情報が対応付けられていてもよい。また、画像群に含まれる複数の画像のそれぞれは、当該画像を撮影したときのカメラの位置又は姿勢などの情報が対応付けられていてもよい。また、画像群に含まれる複数の画像のそれぞれは、当該画像における輝度（例えば、当該画像における物体の輝度）又は明るさ（例えば、当該物体における物体の明るさ）などの情報が対応付けられていてもよい。画像における明るさは、例えば、カメラ以外のセンサにより取得された情報であってもよい。
　ログ情報に含まれる画像を画像群として格納する場合、ログ情報（図３参照）そのものが格納されてもよい。この場合、ログ情報に含まれる検出情報は、判定用検出部３２による物体検出結果が適用される。言い換えると、記憶部３５には、物体検出部１１の物体検出結果は、格納されなくてもよい。
　また、記憶部３５は、サーバ装置３０が備える各処理部が実行するプログラム等を格納していてもよい。記憶部３５は、例えば、半導体メモリにより構成される。
　上記のように、サーバ装置３０は、例えば、誤検出シーンデータの画像に対して、強化対象である（再学習の対象である）物体検出部１１より精度面で高性能な判定用検出部３２を備える。そして、サーバ装置３０は、判定用検出部３２のセグメンテーション結果又は検出結果を使用して、誤検出された画像領域を切り出し、切り出し画像１２０を同一の物体クラスの物体が映る他の画像に反映することで、誤検出対策のための訓練用データを生成する。これにより、誤検出対策のための物体検出部１１に対する再学習処理の効果を高めることが可能となる。
　［１－２.サーバ装置の動作］
　次に、サーバ装置３０の動作、及び、生成する画像等について、図２～図１０を参照しながら説明する。図２は、本実施の形態に係るサーバ装置３０の動作を示すフローチャートである。
　図２に示すように、まず、サーバ装置３０は、移動体１０からログ情報を取得する（Ｓ１０）。具体的には、通信部３１は、移動体１０からログ情報を受信する。そして、通信部３１は、受信したログ情報を判定用検出部３２及び誤検出判定部３３に出力する。なお、判定用検出部３２には、ログ情報に含まれる各種データのうち画像のみが出力されてもよい。
　ここで、通信部３１が移動体１０から受信するログ情報、つまり移動体１０の物体検出部１１が生成するログ情報について、図３を参照しながら説明する。図３は、本実施の形態に係るサーバ装置３０が取得するログ情報１００の一例を示す構成図である。
　図３に示すように、ログ情報１００には、例えば、シーン画像、撮影機器情報、時刻情報、撮影位置情報、検出情報、撮像パラメータ等が含まれる。
　シーン画像（以降において、単に画像とも記載する）は、移動体１０が備えるカメラが撮像した画像１０１であり、物体検出処理を実行する対象の画像１０１である。画像１０１には、検出情報に対応する領域である物体領域１０１ａが対応付けられていてもよい。図３の例では、対象物体１１０が存在する領域が物体領域１０１ａである。
　撮影機器情報は、撮影したカメラに関する情報である。撮影機器情報は、例えば、画像１０１を撮影したカメラを特定するための情報であり、図３の例では、前方カメラである。
　時刻情報は、画像１０１が撮影された時刻を示す情報である。
　撮影位置情報は、画像１０１が撮影された位置及び方位を示す情報である。
　検出情報は、画像１０１に対する物体検出部１１の検出結果等を示す情報である。具体的には、検出情報には、検出結果及び当該検出結果に対応する物体領域１０１ａを示す情報が含まれる。図３では、「乗用車」である対象物体１１０に対する物体検出部１１の検出結果が「人物」である例について示している。つまり、図３に示すログ情報１００は、物体検出部１１が誤検出した場合のログ情報を示す。なお、物体領域１０１ａを矩形で示しているが、物体領域１０１ａの形状は一例であり、矩形以外であってもよい。
　撮像パラメータは、画像１０１を撮影したときのカメラの撮影条件を示す情報である。撮影条件は、例えば、ゲイン、ホワイトバランスなどである。
　図２を再び参照して、判定用検出部３２は、通信部３１から取得したログ情報１００に含まれる画像１０１を入力データとして、物体検出処理を実行する（Ｓ２０）。図４は、本実施の形態に係る判定用検出部３２に入力される画像２００の一例である。図５は、本実施の形態に係る判定用検出部３２の検出結果を示す図である。画像２００は、ログ情報１００に含まれる画像１０１と同一の画像である。なお、判定用検出部３２に入力される画像２００に、物体領域１０１ａは含まれない。
　図４に示す画像２００を判定用検出部３２に入力することで、図５に示すセグメンテーション結果３００が出力される。図５では、図４に示す対象物体１１０が「乗用車」であること判定されていることを示している。このように、判定用検出部３２は、移動体１０の物体検出部１１より正確に物体検出を行うことができるため、物体検出部１１では誤検出した物体を正確に検出することができる。
　判定用検出部３２は、検出結果（ここでは、セグメンテーション結果３００）を誤検出判定部３３に出力する。
　図２を再び参照して、次に、誤検出判定部３３は、判定用検出部３２から取得した検出結果と、ログ情報１００（つまり、移動体１０の物体検出部１１の検出結果）とに基づいて、物体検出部１１の検出に誤検出があるか否かを判定する（Ｓ３０）。誤検出判定部３３は、例えば、判定用検出部３２及び物体検出部１１の検出結果に差があるか否かにより上記の判定を行う。本実施の形態では、対象物体１１０に対し、判定用検出部３２の検出結果は「乗用車」（図５を参照）であるのに対し、移動体１０の物体検出部１１の検出結果は「人物」（図３を参照）である。
　このように、誤検出判定部３３は、判定用検出部３２の検出結果と物体検出部１１の検出結果とに差がある場合に、物体検出部１１の検出において、誤検出があると判定する。誤検出判定部３３は、誤検出があると判定する（Ｓ３０でＹｅｓ）と、当該画像に対応するログ情報１００を誤検出シーンデータとして収集する（Ｓ４０）。そして、誤検出判定部３３は、収集した誤検出シーンデータを生成部３４に出力する。例えば、誤検出判定部３３は、誤検出シーンデータ、及び、当該誤検出シーンデータに対するセグメンテーション結果３００を生成部３４に出力する。なお、誤検出された画像とは、誤検出された対象物体１１０が映っている画像を意味する。また、判定用検出部３２の検出結果と物体検出部１１の検出結果とに差があるとは、例えば、判定用検出部３２は物体を検出しているが物体検出部１１は当該物体を検出していない場合も含む。つまり、物体検出部１１が本来検出するべき物体を検出できていない場合も、物体検出部１１の誤検出に含まれる。
　また、誤検出判定部３３は、誤検出がないと判定する（Ｓ３０でＮｏ）と、処理を終了する。
　次に、生成部３４は、誤検出判定部３３から取得した誤検出シーンデータに対してアノテーションの処理を行う（Ｓ５０）。生成部３４は、誤検出シーンデータに対して、判定用検出部３２の検出結果に基づいたアノテーションの処理を行う。本実施の形態では、生成部３４は、誤検出シーンデータに対してセグメンテーション結果３００に基づいたアノテーションの処理を行う。具体的には、対象物体１１０に対する物体クラスを、「人物」から「乗用車」に変更する。アノテーションされた誤検出シーンデータ（つまり、検出結果が正しくなったログ情報）は、訓練用データとして用いられてもよい。
　ここで、物体検出部１１における誤検出を抑制する、つまり高精度の物体検出を可能にする物体検出モデルを生成するには、訓練用データが多いとよい。移動体１０からの複数のログ情報１００の中から訓練用データを抽出することも可能ではあるが、有効な訓練用データを抽出するには多くの時間及び人手を要する。そこで、生成部３４は、誤検出を抑制するための訓練用データを増やす処理（水増し処理）を行う。生成部３４は、物体検出部１１の誤検出を抑制するために有効な訓練用データを所定の規則に基づいて生成する。以下では、生成部３４における、有効な訓練用データを生成する処理について説明する。
　生成部３４は、誤検出シーンデータの画像１０１に対して、セグメンテーション結果３００に基づいて、誤検出した物体領域１０１ａを切り出した切り出し画像を生成する（Ｓ６０）。具体的には、図６に示すような対象物体１１０を切り出した切り出し画像１２０を生成する。図６は、本実施の形態に係る切り出し画像１２０の一例を示す図である。
　なお、生成部３４は、例えば、画像１０１に対象物体１１０の一部を隠している物体（例えば、移動体１０と対象物体１１０との間に位置しており、移動体１０から見て対象物体１１０と重なっている物体）が存在する場合、当該物体と対象物体１１０とを一体として切り出してもよい。例えば、切り出し対象の対象物体１１０と自車両（移動体１０）との間に、当該対象物体１１０を隠している別の物体が存在し、当該別の物体もセグメンテーション結果から事前に設定された表示面積閾値（例えば、切り出し画像の１２０大きさ）で切り出せるのであれば、一塊で切り出してもよい。例えば、対象物体１１０と別の物体とは、物体クラスが同じ物体（例えば、乗用車）であってもよい。一塊で切り出された切り出し画像を他の画像に反映させることで、より違和感の少ない自然な画像を訓練用データとして生成することができる。
　このように、他の画像に重畳又は置換される画像（第１画像の部分に基づく画像の一例）は、例えば、画像１０１の対象物体１１０（第１画像の部分の一例）を加工することにより得られた画像（例えば、切り出し画像１２０）であってもよい。なお、切り出し画像１２０に所定の画像処理が施されてもよい。
　図２を再び参照して、次に、生成部３４は、誤検出した物体（ここでは、対象物体１１０）と同じ物体クラス（例えば、乗用車）が存在する他の画像群の中から、切り出し画像１２０を反映可能な画像を選択する（Ｓ７０）。なお、反映は、重畳又は置換を含む。
　図７は、記憶部３５が格納する画像群４００の一例を示す図である。図８は、画像群４００に含まれる画像４０１に対する判定用検出部３２の検出結果を示す図である。具体的には、図８は、画像４０１に対するセグメンテーション結果５００を示す。
　図７に示すように、画像４０１には、対象物体４１０及び４２０が存在する。図８に示すように、対象物体４１０は、物体クラスが「乗用車」であり、対象物体４２０は、物体クラスが「標識」である。対象物体４１０は、画像１０１における対象物体１１０と物体クラスが同じである。生成部３４は、対象物体１１０及び４１０の物体クラスが同一であるか否かを、それぞれの対象物体における判定用検出部３２の検出結果に基づいて判定する。ここでは、対象物体１１０及び４１０の物体クラスは、「乗用車」である。
　このように、生成部３４は、事前に格納された画像群４００から、判定用検出部３２を使用したセグメンテーション結果３００及び５００に基づいて、誤検出した物体クラスと同じ物体クラスが存在する画像４０１を選び出す。誤検出した物体クラスと同じ物体クラスが存在する画像４０１は、切り出し画像１２０を反映可能な画像の一例である。
　なお、ステップＳ７０において、生成部３４は、画像群４００の中から対象物体１１０をそのままの大きさで反映可能な画像を優先して、反映可能な画像として選択してもよい。また、生成部３４は、対象物体１１０を所定の倍率内で拡大又は縮小して反映可能な画像を反映可能な画像として選択してもよい。
　図２を再び参照して、次に、生成部３４は、選択された画像群に対して切り出し画像１２０を反映する（Ｓ８０）。生成部３４は、例えば、画像群４００から選択された画像４０１に対して、図７のセグメンテーション結果５００の「乗用車」が存在する領域に切り出し画像１２０を反映する。
　図９Ａは、訓練用データに含まれる画像群６００の一例を示す図である。
　図９Ａに示すように、生成部３４は、例えば、図７に示す画像４０１の対象物体４１０に切り出し画像１２０が示す対象物体１１０を切り出した切り出し画像１２０を重畳することで、画像６０１を生成する。生成部３４は、画像４０１において「乗用車」が存在している位置に、対象物体１１０を重畳する。画像６０１は、対象物体１１０が現実に存在する位置（本実施の形態では、「乗用車」が存在する車道）に当該対象物体１１０が重畳された画像である。これにより、現実世界に近い画像を生成することができるので、汎用のニューラルネットワークを移動体１０専用のニューラルネットワークにファインチューニングするときに、より精度よく物体を検出することができるようにファインチューニングすることができる。
　なお、対象物体４１０に切り出し画像１２０を重畳する場合、重畳後の画像（例えば、図９Ａに示す画像６０１）において、対象物体４１０が見えないことが望ましい。そこで、生成部３４は、さらに、画像４０１に対して、図７のセグメンテーション結果５００の「乗用車」が存在する領域のサイズをもとにサイズ調整した切り出し画像１２０を重畳又は置換してもよい。サイズ調整には、拡大及び縮小が含まれる。
　切り出し画像１２０をサイズ調整する調整幅（調整割合の一例）は、予め設定されていてもよい。例えば、図６に示す切り出し画像１２０のサイズに対して、±２０％以内の拡大又は縮小であってもよい。なお、切り出し画像１２０のアスペクト比は一定のまま、拡大及び縮小する処理が実行される。また、切り出し画像１２０を重畳する場合、重畳後の画像６０１において、対象物体４１０が見えない又は見える領域が小さくなる（はみ出し面積が小さくなる）ように拡大率又は縮小率が決定されてもよい。
　また、生成部３４は、画像４０１に重畳した物体（例えば、切り出し画像１２０が示す乗用車）が当該画像４０１において相対的に大きな物体ばかりにならないようにするために、もとの画像（例えば、画像１０１）の対象物体１１０の周辺画素を使用して補間しながら重畳してもかまわない。
　また、図９Ｂに示すように、生成部３４は、図７に示す画像群４００に対応するアノテーション情報に基づいて、画像群６００に対応するアノテーション情報７００を生成する。図９Ｂに示すように、対象物体１１０に対して、「乗用車」がアノテーションされている。
　図２を再び参照して、生成部３４は、図９Ａに示す画像群６００と当該画像群６００に対応するアノテーション情報７００とにより、訓練用データを生成する（Ｓ９０）。
　なお、生成部３４は、生成された訓練用データの数が事前に設定した数を下回る場合、カテゴリが類似したアノテーション情報を持つ画像を用いて、追加で訓練用データを生成してもよい。例えば、図１０に示すように事前に物体クラスのカテゴリ構造が定められており、「乗用車」と同じ上位カテゴリ「車両」である「バス」又は「トラック」を使用する構成が考えられる。生成部３４は、画像群４００の中から、物体クラスが「バス」又は「トラック」である画像を選択し、選択した画像に対してステップＳ８０及びＳ９０の処理を実行してもよい。なお、図１０は、物体検出のカテゴリ構造の一例を示す図である。
　また、生成部３４は、ステップＳ７０で選択された画像の数が事前に設定した数を上回る場合、選択された画像の全てを用いて訓練用データを生成してもよいし、選択された画像の中から事前に設定した数の画像を抽出してもよい。例えば、生成部３４は、物体クラスの下位カテゴリを用いて、当該画像を抽出してもよい。例えば、図１０に示すようなカテゴリ構造において、「乗用車」の下位カテゴリ「セダン」及び「ＳＵＶ」を使用する構成が考えられる。生成部３４は、ステップＳ７０で反映可能な画像が事前に設定した数を上回る場合は、さらに、物体クラス「乗用車」である対象物体１１０における下位カテゴリ（例えば、「セダン」）と同一又は類似するカテゴリの物体が映る画像を優先的に選択し、選択した画像に対してステップＳ８０及びＳ９０の処理を実行してもよい。生成部３４は、例えば、「セダン」と同一視される物体が映る画像を優先的に選択する。
　なお、図１０に示すカテゴリ構造は、記憶部３５に格納されている。また、判定用検出部３２は、例えば、図１０に示すカテゴリ構造に含まれる物体クラスを検出可能である。
　上記では、生成部３４は、切り出し画像１２０を対象物体１１０と同一の物体クラスが存在する他の画像に重畳又は置換する処理を行う例について説明したが、これに限定されない。生成部３４は、例えば、切り出し画像１２０に類似した３Ｄモデル等のＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）画像をステップＳ７０で選択した画像に反映してもよい。生成部３４は、切り出し画像１２０に基づいてＣＧ画像を生成してもよいし、記憶部３５が対象物体のＣＧ画像を格納している場合は、切り出し画像１２０と特徴量が類似するＣＧ画像を選択してもよい。選択されるＣＧ画像は、切り出し画像１２０と最も特徴量が類似している画像であってもよいし、特徴量が所定量以上類似する複数のＣＧ画像であってもよい。
　このように、他の画像（ステップＳ７０で選択された画像）に重畳又は置換される画像（第１画像の部分に基づく画像の一例）は、例えば、予め用意された画像から選択される、対象物体１１０（第１画像の部分の一例）と類似する画像であってもよい。この場合、ＣＧ画像のサイズ及び傾き（例えば、回転角度）が調整されてもよい。ＣＧ画像のサイズ及び傾きの調整幅は、調整割合の一例である。なお、調整割合は、ＣＧ画像が画像として崩れない程度の割合であり、物体をその物体として検出可能な程度の割合に設定されるとよい。
　なお、判定用検出部３２、誤検出判定部３３、及び、生成部３４における処理を実行するタイミングは特に限定されない。例えば、通信部３１が物体検出部１１からログ情報１００を取得するたびに実行されてもよし、定期的に実行されてもよいし、所定数又は所定容量のログ情報１００が蓄積されたときに実行されてもよい。また、判定用検出部３２は、例えば、ログ情報１００に物体検出部１１における検出結果における信頼度が含まれている場合、当該信頼度に応じて物体検出処理を実行してもよい。判定用検出部３２は、例えば、検出結果の信頼度が所定以下である物体が含まれる画像を優先して物体検出処理を実行してもよいし、検出結果の信頼度が所定以下である物体が含まれる画像のみに対して物体検出処理を実行してもよい。これにより、サーバ装置３０は、より効率的に訓練用データを生成することができる。
　なお、上記では、誤検出判定部３３は、判定用検出部３２から検出結果を取得し、取得した検出結果（物体データの一例）とログ情報１００の検出情報（物体検出結果の一例）とを比較し、比較結果に基づいて対象物体１１０（第１画像の部分の一例）を抽出する例について説明したが、これに限定されない。例えば、サーバ装置３０は、ログ情報１００の検出情報を取得しなくてもよい。誤検出判定部３３は、例えば、判定用検出部３２及び物体検出部１１の検出結果の差に対応する情報（例えば、対象物体１１０に関する情報）を、サーバ装置３０を管理する管理者から取得してもよい。誤検出判定部３３は、管理者からの入力を受け付けるユーザインターフェースである受付部（図示しない）を介して、再学習する対象である対象物体１１０の指示を受け付け、当該指示を生成部３４に出力してもよい。対象物体１１０の指示とは、ログ情報１００に含まれる画像１０１における対象物体１１０の位置及び物体クラスを示す情報を含む。
　なお、上記では、サーバ装置３０は、移動体１０から検出情報を含むログ情報１００を受信する例について説明したが、これに限定されない。サーバ装置３０は、移動体１０から移動体１０が撮像した画像を取得してもよい。サーバ装置３０は、例えば、移動体１０が備える物体検出部１１と同じ学習済みモデルを有する物体検出部（図示しない）を備えていてもよい。そして、誤検出判定部３３は、当該物体検出部における検出結果と判定用検出部３２における検出結果とを比較することで、差があるか否か（つまり、当該物体検出部の検出結果が正しいか否か）を判定してもよい。
　以上のように、本実施の形態に係るサーバ装置３０における情報処理方法は、コンピュータが、画像１０１（第１画像の一例）および対象物体１１０（画像１０１に映る物体の一例）に関する物体クラス（物体データの一例）を取得し、画像１０１を入力として物体検出結果を出力する学習済みモデルに画像１０１を入力することにより得られる物体検出結果（例えば、セグメンテーション結果３００）と物体データとの差に対応する画像１０１の部分(例えば、対象物体１１０)を抽出し、抽出された画像１０１の部分に対応する物体データ（例えば、「乗用車」と同一の物体データに対応する部分を含む画像４０１（第２画像の一例）を取得し、取得された画像４０１における対象物体４１０（同一の物体データに対応する部分の一例）に、抽出された画像１０１の切り出し画像１２０（第１画像の部分に基づく画像の一例）を反映させることにより、学習済みモデルのトレーニングデータを生成する。
　これにより、現実世界に近づけた訓練用データを生成することができる。それにより、物体検出用の学習済みモデルの物体検出性能が再学習において向上する確実性を高めることができる。ひいては、ニューラルネットワーク型検出器の誤検出修正に有効な学習処理環境を低コストで実現できる。例えば、有効な訓練用データを自動的に水増し処理することができる。
　例えば、乗用車のデザインが大幅に変更となると、移動体１０の物体検出部１１では、当該乗用車を検出できないことが起こり得る。例えば、ニューラルネットワーク型の物体検出部１１の場合、当該ニューラルネットワークの再学習（追加学習）が行われるとよい。上記のような方法で、再学習のための訓練用データが生成されることで、デザインが大幅に変更となった乗用車を検出できる確実性を高めることができる。
　（実施の形態１の変形例）
　以下、本実施の形態の変形例に係るサーバ装置等について、図１１Ａ～図１１Ｆを参照しながら説明する。なお、本変形例に係るサーバ装置の構成は、実施の形態１に係るサーバ装置３０と同様であり、説明を省略する。また、実施の形態１のサーバ装置３０と同様の処理においては、説明を省略又は簡略化する場合がある。
　本変形例に係るサーバ装置は、図２に示すステップＳ７０で選択された画像の中から、さらに、以下の処理により訓練用データに用いる画像を優先的に選び出す。図１１Ａ～図１１Ｆに示される処理は、例えば、ステップＳ７０で選択された画像の数が生成する訓練用データの数を上回る場合に実行されてもよい。なお、以下に示す図１１Ａ～図１１Ｆの処理は、図２に示すステップＳ７０とＳ８０との間に実行される。
　図１１Ａは、本変形例に係る生成部３４の動作の第１例を示すフローチャートである。
　図１１Ａに示すように、生成部３４は、ステップＳ７０で選択した画像に対して、さらに、撮像時の撮像装置の位置又は姿勢が同一又は類似しているか否かを判定してもよい（Ｓ１１０）。具体的には、生成部３４は、移動体１０から取得したログ情報１００に含まれる画像１０１を撮像したときの撮像装置（例えば、移動体１０が備えるカメラ）の位置又は姿勢と、ステップＳ７０で選択された画像を撮像したときの撮像装置（例えば、移動体１０とは異なる移動体が備えるカメラ）の位置又は姿勢とが同一又は類似であるか否かを判定する。
　そして、生成部３４は、位置又は姿勢が同一又は類似である場合（Ｓ１１０でＹｅｓ）、当該画像を反映可能な画像（第２画像の一例）に決定する（Ｓ１２０）。そして、生成部３４は、反映可能な画像に決定した画像が所定の数に達してか否かを判定する（Ｓ１３０）。生成部３４は、所定の数に達した場合（Ｓ１３０）、ステップＳ９０の処理に進む。また、生成部３４は、同一又は類似ではない場合（ステップＳ１１０でＮｏ）、及び、所定の数に達していない場合（Ｓ１３０でＮｏ）は、ステップＳ１１０に戻り、次の画像に対してステップＳ１１０の処理を実行する。
　なお、撮像装置の位置は、ＧＰＳ測位結果等により得られる当該撮像装置の位置であり、例えば、画像１０１を撮像したときの撮像装置の位置は、ログ情報１００に含まれる撮影位置情報から取得可能である。また、撮像装置の姿勢は、例えば、撮像装置の光軸の向けられた方向であり、例えば、画像１０１を撮像したときの撮像装置の姿勢は、ログ情報１００に含まれる撮影機器情報及び撮影位置情報から取得可能である。
　なお、ここでの類似とは、ログ情報１００に含まれる位置又は姿勢に対して、ステップＳ７０で選択された画像を撮像した撮像装置の位置又は姿勢が予め設定された所定範囲内であることを意味する。所定範囲は、予め記憶部３５に格納されていてもよい。
　これにより、ステップＳ７０で選択された画像のうち、当該画像の撮影位置情報が事前に設定された所定範囲内で類似する画像（日時は異なる）が存在する場合は、当該画像が優先的に選択される。よって、路線バス、タクシーなどの決まったコースを走行する乗用車向けの学習処理では効果的となる訓練用データを生成することが可能となる。
　次に、図１１Ｂは、本変形例に係る生成部３４の動作の第２例を示すフローチャートである。
　図１１Ｂに示すように、生成部３４は、ステップＳ７０で選択した画像に対して、さらに、撮像時の時間帯又は天候が同一又は類似しているか否かを判定してもよい（Ｓ２１０）。具体的には、生成部３４は、移動体１０から取得したログ情報１００に含まれる画像１０１を撮像したときの時間帯又は天候と、ステップＳ７０で選択された画像を撮像したときの時間帯又は天候とが同一又は類似であるか否かを判定する。
　そして、生成部３４は、時間帯又は天候が同一又は類似である場合（Ｓ２１０でＹｅｓ）、ステップＳ１２０以降の処理を実行する。また、生成部３４は、時間帯又は天候が同一又は類似ではない場合（ステップＳ２１０でＮｏ）、及び、所定の数に達していない場合（Ｓ１３０でＮｏ）は、ステップＳ２１０に戻り、次の画像に対してステップＳ２１０の処理を実行する。
　なお、撮像時の時間帯は、時刻等であってもよく、例えば、画像１０１の撮像時の時間帯は、ログ情報１００に含まれる時刻情報から取得可能である。また、撮像時の天候は、例えば、気温、湿度、風の状態（風向き又は風量）、雲の状態（くもり雲、きり雲など）、降水又は降雪の有無などの少なくとも１つを含む。例えば、画像１０１の撮像時の天候は、ログ情報１００に含まれる時刻情報、及び、撮影位置情報と、天候情報を格納したデータベースの情報とから取得可能である。
　なお、ここでの類似とは、ログ情報１００に含まれる時刻又は天候に対して、ステップＳ７０で選択された画像を撮像した撮像時の時間帯又は天候が予め設定された所定範囲内であることを意味する。天候が類似とは、例えば、天候の種類が同じ（所定範囲内の一例）であることを意味する。また、天候が類似とは、例えば、気温、湿度などが所定範囲内であることであってもよい。天候の種類とは、例えば、「快晴」、「晴れ」、「曇り」、「霧」、「雨」、「雷」などである。所定範囲は、予め記憶部３５に格納されていてもよい。
　これにより、ステップＳ７０で選択された画像のうち、当該画像の撮影時間帯又は天候が事前に設定された所定範囲内で類似する画像が存在する場合は、当該画像が優先的に選択される。よって、対象物体１１０を誤検知したときの環境に近い画像を優先的に選ぶことができるので、対象物体１１０を誤検出した要因が対象物体１１０の周囲の環境に依存している場合などにおいて、特に有効な訓練用データを生成することが可能となる。
　次に、図１１Ｃは、本変形例に係る生成部３４の動作の第３例を示すフローチャートである。
　図１１Ｃに示すように、生成部３４は、ステップＳ７０で選択した画像に対して、さらに、輝度又は撮像時の撮像方向の明るさが同一又は類似しているか否かを判定してもよい（Ｓ３１０）。具体的には、生成部３４は、移動体１０から取得したログ情報１００に含まれる画像１０１の輝度又は撮像時の撮像方向の明るさと、ステップＳ７０で選択された画像の輝度又は当該画像の撮像時の撮像方向の明るさとが同一又は類似であるか否かを判定する。
　そして、生成部３４は、輝度又は明るさが同一又は類似である場合（Ｓ３１０でＹｅｓ）、ステップＳ１２０以降の処理を実行する。また、生成部３４は、輝度又は明るさが同一又は類似ではない場合（ステップＳ３１０でＮｏ）、及び、所定の数に達していない場合（Ｓ１３０でＮｏ）は、ステップＳ３１０に戻り、次の画像に対してステップＳ３１０の処理を実行する。
　なお、撮像時の輝度は、画像上の輝度であり、例えば、画像１０１における撮像時の輝度は、ログ情報１００に含まれる画像１０１から取得可能である。輝度は、例えば、切り出し画像１２０の輝度であるが、これに限定されず、画像１０１全体の輝度であってもよい。また、輝度は、統計処理により算出されてもよい。輝度は、例えば、切り出し画像１２０における輝度の最大値、最小値、平均値、又は、中央値であってもよい。また、撮像時の撮像方向の明るさは、例えば、画像１０１を撮像した撮像装置以外のセンサ（例えば、検知範囲内に入射する光の量を検知するセンサ）から取得される明るさの情報である。明るさに関する情報は、例えば、ログ情報１００に含まれていてもよい。
　なお、ここでの類似とは、画像１０１の輝度又は画像１０１の撮像時の撮像方向の明るさに対して、ステップＳ７０で選択された画像を撮像した画像又は当該画像の撮像時の撮像方向の明るさが予め設定された所定範囲内であることを意味する。所定範囲は、予め記憶部３５に格納されていてもよい。
　これにより、ステップＳ７０で選択された画像のうち、当該画像の輝度又は明るさが所定範囲内で類似する画像が存在する場合は、当該画像が優先的に選択される。よって、対象物体１１０を誤検知したときの環境に近い画像を優先的に選ぶことができるので、対象物体１１０を誤検出した要因が対象物体１１０の周囲の環境に依存している場合などにおいて、特に有効な訓練用データを生成することが可能となる。
　次に、図１１Ｄは、本変形例に係る生成部３４の動作の第４例を示すフローチャートである。
　図１１Ｄに示すように、生成部３４は、ステップＳ７０で選択した画像に対して、さらに、物体データ（例えば、物体クラス）に対応する部分（例えば、対象物体１１０及び４１０）のサイズが同一又は類似しているか否かを判定してもよい（Ｓ４１０）。具体的には、生成部３４は、移動体１０から取得したログ情報１００の画像１０１に存在する対象物体１１０のサイズと、ステップＳ７０で選択された画像４０１に存在する対象物体４１０のサイズとが同一又は類似であるか否かを判定する。
　そして、生成部３４は、物体データに対応する部分のサイズが同一又は類似である場合（Ｓ４１０でＹｅｓ）、ステップＳ１２０以降の処理を実行する。また、生成部３４は、物体データに対応する部分のサイズが同一又は類似ではない場合（ステップＳ４１０でＮｏ）、及び、所定の数に達していない場合（Ｓ１３０でＮｏ）は、ステップＳ４１０に戻り、次の画像に対してステップＳ４１０の処理を実行する。
　なお、対象物体１１０のサイズは、画像上でのサイズであり、例えば、対象物体１１０のサイズは、ログ情報１００に含まれる画像１０１から取得可能である。また、対象物体４１０のサイズは、画像４０１から取得可能である。
　なお、ここでの類似とは、対象物体１１０に対して、ステップＳ７０で選択された画像に存在する対象物体４１０のサイズが予め設定された所定範囲内であることを意味する。所定範囲は、予め記憶部３５に格納されていてもよい。
　これにより、ステップＳ７０で選択された画像のうち、対象物体４１０のサイズが所定範囲内で類似する画像が存在する場合は、当該画像が優先的に選択される。よって、生成部３４は、違和感の少ない自然な画像を含む訓練用データを生成することが可能となる。
　次に、図１１Ｅは、本変形例に係る生成部３４の動作の第５例を示すフローチャートである。
　図１１Ｅに示すように、生成部３４は、ステップＳ７０で選択した画像に対して、さらに、物体データに対応する部分の周囲の領域データが同一又は類似しているか否かを判定してもよい（Ｓ５１０）。具体的には、生成部３４は、移動体１０から取得したログ情報１００に含まれる画像１０１のセグメンテーション結果３００(例えば、図５を参照)と、ステップＳ７０で選択された画像のセグメンテーション結果５００（例えば、図８を参照）とが同一又は類似であるか否かを判定する。
　そして、生成部３４は、物体データに対応する部分の周囲の領域データが同一又は類似である場合（Ｓ５１０でＹｅｓ）、ステップＳ１２０以降の処理を実行する。また、生成部３４は、物体データに対応する部分の周囲の領域データが同一又は類似ではない場合（ステップＳ５１０でＮｏ）、及び、所定の数に達していない場合（Ｓ１３０でＮｏ）は、ステップＳ５１０に戻り、次の画像に対してステップＳ５１０の処理を実行する。
　なお、物体データに対応する部分の周囲の領域データは、判定用検出部３２がセグメンテーション結果を出力可能であれば取得可能である。また、画像１０１における物体データに対応する部分（対象物体１１０）の周囲の領域データは、例えば、「車道」、「森林」等である。また、画像４０１における物体データに対応する部分（対象物体４１０）の周囲の領域データは、例えば、「車道」、「森林」等である。
　なお、ここでの類似とは、画像１０１の物体データに対応する部分の周囲の領域データに対して、ステップＳ７０で選択された画像の物体データに対応する部分の周囲の領域データが予め設定された所定範囲内であることを意味する。所定範囲は、同じカテゴリ（例えば、「車道」、「森林」など）の領域データの位置又はサイズの範囲であってもよい。所定範囲は、予め記憶部３５に格納されていてもよい。
　これにより、ステップＳ７０で選択された画像のうち、当該画像の物体データに対応する部分の周囲の領域データが所定範囲内で類似する画像が存在する場合は、当該画像が優先的に選択される。よって、対象物体１１０を誤検知したときの環境に近い画像を優先的に選ぶことができるので、対象物体１１０を誤検出した要因が対象物体１１０の周囲の環境に依存している場合などにおいて、特に有効な訓練用データを生成することが可能となる。
　次に、図１１Ｆは、本変形例に係る生成部３４の動作の第６例を示すフローチャートである。
　図１１Ｆに示すように、生成部３４は、ステップＳ７０で選択した画像に対して、さらに、撮像時の撮像装置の撮像パラメータが同一又は類似しているか否かを判定してもよい（Ｓ６１０）。具体的には、生成部３４は、移動体１０から取得したログ情報１００に含まれる画像１０１の撮像時の撮像装置の撮像パラメータと、ステップＳ７０で選択された画像の撮像時の撮像装置の撮像パラメータとが同一又は類似であるか否かを判定する。
　そして、生成部３４は、撮像時の撮像装置の撮像パラメータが同一又は類似である場合（Ｓ６１０でＹｅｓ）、ステップＳ１２０以降の処理を実行する。また、生成部３４は、撮像時の撮像装置の撮像パラメータが同一又は類似ではない場合（ステップＳ６１０でＮｏ）、及び、所定の数に達していない場合（Ｓ１３０でＮｏ）は、ステップＳ６１０に戻り、次の画像に対してステップＳ６１０の処理を実行する。
　なお、撮像時の撮像装置の撮像パラメータは、撮像装置の設定条件であり、例えば、画像１０１の撮像時の撮像装置の撮像パラメータは、ログ情報１００に含まれる撮像パラメータから取得可能である。撮像パラメータは、例えば、ゲイン、又は、ホワイトバランスの設定であるが、これに限定されない。
　なお、ここでの類似とは、画像１０１の撮像時の撮像装置の撮像パラメータに対して、ステップＳ７０で選択された画像の撮像時の撮像装置の撮像パラメータが予め設定された所定範囲内であることを意味する。所定範囲は、予め記憶部３５に格納されていてもよい。
　これにより、ステップＳ７０で選択された画像のうち、当該画像の撮像時の撮像装置の撮像パラメータが所定範囲内で類似する画像が存在する場合は、当該画像を優先的に選択される。よって、被写体（例えば、対象物体１１０）以外の情報に基づいて、画像１０１が撮影された環境に類似した訓練用データを生成することができる。また、対象物体１１０を誤検出した要因が対象物体１１０等の被写体に依存していない場合などにおいて、例えば、撮像パラメータが要因である場合において、特に有効な訓練用データを生成することが可能となる。
　なお、ステップＳ７０とＳ８０との間において、ステップＳ１１０、Ｓ２１０、Ｓ３１０、Ｓ４１０、Ｓ５１０及びＳ６１０のうち２以上の処理が実行されてもよい。また、上記の所定範囲は、ログ情報１００に含まれる画像１０１に存在する対象物体１１０の物体クラスごとに設定されてもよい。
　なお、上記以外の処理がステップＳ７０とＳ８０との間において、実行されてもよい。例えば、画像６０１の対象物体４１０のはみ出し面積が小さい状態で重畳処理が可能なシーン画像が存在する場合は、優先的に選択されてもよい。
　（実施の形態２）
　以下、本実施の形態に係るサーバ装置等について、図１２～図１５を参照しながら説明する。なお、本実施の形態に係るサーバ装置の構成は、実施の形態１に係るサーバ装置３０と同様であり、説明を省略する。また、実施の形態１のサーバ装置３０と同様の処理においては、説明を省略又は簡略化する場合がある。
　本実施の形態では、物体検出部１１が検出対象ではない物体を誤検出した場合について説明する。なお、以下において、物体検出部１１は、「人物」のみを検出する検出部である例について説明する。
　図１２は、本実施の形態に係るサーバ装置の動作を示すフローチャートである。
　図１２に示すように、まず、サーバ装置３０は、移動体１０からログ情報を取得する（Ｓ１０１０）。具体的には、通信部３１は、移動体１０からログ情報を受信する。そして、通信部３１は、受信したログ情報を判定用検出部３２及び誤検出判定部３３に出力する。
　ここで、移動体１０から受信するログ情報、つまり移動体１０の物体検出部１１が生成するログ情報について、図１３を参照しながら説明する。図１３は、本実施の形態に係るサーバ装置３０が取得するログ情報８００の一例を示す構成図である。
　図１３に示すように、ログ情報８００には、ログ情報１００と同様、例えば、シーン画像、撮影機器情報、時刻情報、撮影位置情報、検出情報、撮像パラメータ等が含まれる。
　シーン画像に示すように、画像８０１には、対象物体８１０及び８２０が存在している。また、検出情報に示すように、物体検出部１１は、物体領域８０１ａで囲まれた領域内に存在する対象物体８２０を、「人物」と判定している。対象物体８２０の物体クラスは、「標識」である。物体検出部１１は、本来検出すべき対象ではない「標識」を「人物」と誤検出している。
　図１２を再び参照して、ステップＳ１０２０は、図２に示すステップＳ２０と同様の処理であり詳細な説明を省略するが、図１４に示す画像９００を判定用検出部３２に入力することで、セグメンテーション結果（例えば、図８参照）が出力される。図１４は、本実施の形態に係る判定用検出部３２に入力される画像９００の一例である。なお、画像９００は、画像４０１と同じ画像であるとする。言い換えると、画像９００のセグメンテーション結果は、図８に示すセグメンテーション結果５００と同一である。以下において、画像９００のセグメンテーション結果がセグメンテーション結果５００であるとして説明する。
　誤検出判定部３３は、判定用検出部３２から取得した検出結果（ここでは、セグメンテーション結果５００）と、ログ情報（つまり、移動体１０の物体検出部１１の検出結果）とに基づいて、物体検出部１１の検出に誤検出があるか否かを判定する（Ｓ１０３０）。例えば、誤検出判定部３３は、検出結果とログ情報（具体的には、物体検出結果である検出情報）との差があるか否かを判定する。本実施の形態では、対象物体８２０に対し、判定用検出部３２の検出結果は「標識」（図８を参照）であるのに対し、移動体１０の物体検出部１１の検出結果は「人物」（図１３を参照）である。
　このように、誤検出判定部３３は、判定用検出部３２の検出結果と物体検出部１１の検出結果とが異なる場合に、物体検出部１１の検出において、誤検出があると判定する。誤検出判定部３３は、誤検出があると判定する（Ｓ１０３０でＹｅｓ）と、ログ情報８００を誤検出シーンデータとして収集する（Ｓ１０４０）。そして、誤検出判定部３３は、収集した誤検出シーンデータを生成部３４に出力する。また、誤検出判定部３３は、誤検出がないと判定する（Ｓ１０３０でＮｏ）と処理を終了する。
　次に、生成部３４は、誤検出判定部３３から取得した誤検出シーンデータに対してアノテーションの処理を行う（Ｓ１０５０）。本実施の形態では、物体検出部１１は、「人物」のみを検出するので、物体検出部１１において「標識」という検出カテゴリ（物体クラス）は存在しない。このような場合、一般的には当該領域のアノテーションは行わないが、本実施の形態では、例えば、「背景」などの「人物」ではないことを示すアノテーションを実施する。
　ステップＳ１０６０～Ｓ１０９０の処理は、図２に示すＳ６０～Ｓ９０の処理と同様であり詳細な説明を省略する。生成部３４は、対象物体８２０を切り出した切り出し画像（図示しない）を生成し、生成した切り出し画像をステップＳ１０７０で選択された画像（第２画像の一例）に反映する（Ｓ１０８０）。これにより、生成部３４は、図１５に示すような画像１００１を含む画像群１０００を有する訓練用データを生成する（Ｓ１０９０）。つまり、生成部３４は、上記の処理により、訓練用データを量産する。なお、図１５は、訓練用データに含まれる画像群１０００の一例を示す図である。
　なお、再学習処理対象の物体検出器（例えば、物体検出部１１）に比べて検出カテゴリ数の多い演算規模の大きな物体検出器（例えば、判定用検出部３２）の検出結果を用いることにより、さらに効率的に誤検出対策のための訓練用データを量産できる。
　（その他の実施の形態）
　以上、本開示について実施の形態等に基づいて説明したが、本開示は、上記実施の形態等に限定されるものではない。
　例えば、上記実施の形態等では、移動体は、自動車（自動運転車）である例について説明したが、これに限定されない。物体検出部（物体検出装置）を備える移動体であれば、本開示は適用可能である。例えば、移動体は、飛行体（例えば、ドローンなど）又は船舶であってもよいし、周囲を撮像した画像に基づいて自律的に移動するロボット（例えば、自走式掃除機など）であってもよい。言い換えると、本開示に係るサーバ装置（訓練用データセット生成装置）は、自動運転車の分野だけではなく、ロボット及びドローンなどの異なる製品分野でも適用可能である。
　また、上記実施の形態における移動体が備える物体検出部は、検出結果としてセグメンテーション結果を出力可能であってもよい。
　また、上記実施の形態において説明された複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
　また、各実施の形態で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行っても良い。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、情報処理システムが備えるサーバ装置は、単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。例えば、サーバ装置の各処理部は、２以上のサーバ装置で実現されてもよい。情報処理システムが複数のサーバ装置によって実現される場合、情報処理システムが備える構成要素は、複数のサーバ装置にどのように振り分けられてもよい。また、複数のサーバ装置間の通信方法は、特に限定されない。
　さらに、本開示の技術は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
　本開示は、学習済みモデルを再学習するための訓練用データを生成する情報処理方法等に適用可能である。
　１　　情報処理システム
　１０　　移動体
　１１　　物体検出部
　１２　　通信部
　２０　　ネットワーク
　３０　　サーバ装置
　３１　　通信部（取得部）
　３２　　判定用検出部
　３３　　誤検出判定部
　３４　　生成部
　３５　　記憶部
　１００、８００　　ログ情報
　１０１、２００、４０１、６０１、８０１、９００、１００１　　画像
　１０１ａ、８０１ａ　　物体領域
　１１０、４１０、４２０、８１０、８２０　　対象物体
　１２０　　切り出し画像
　３００、５００　　セグメンテーション結果
　４００、６００、１０００　　画像群
　７００　　アノテーション情報

Claims (11)

  1. 　コンピュータが、
    　第１画像および前記第１画像に映る物体の物体データを取得し、
    　画像を入力として物体検出結果を出力する学習済みモデルに前記第１画像を入力することにより得られる物体検出結果と前記物体データとの差に対応する前記第１画像の部分を抽出し、
    　抽出された前記第１画像の部分に対応する物体データと同一の物体データに対応する部分を含む第２画像を取得し、
    　取得された前記第２画像における前記同一の物体データに対応する部分に、抽出された前記第１画像の部分に基づく画像を反映させることにより、前記学習済みモデルのトレーニングデータを生成する
    　情報処理方法。
  2. 　さらに、前記物体検出結果を取得し、取得された前記物体検出結果と前記物体データとを比較し、
    　比較結果に基づいて前記第１画像の部分を抽出する
    　請求項１に記載の情報処理方法。
  3. 　前記第１画像の部分に基づく画像は、前記第１画像の部分を加工することにより得られた画像である
    　請求項１又は２に記載の情報処理方法。
  4. 　前記第１画像の部分に基づく画像は、予め用意された画像から選択される、前記第１画像の部分と類似する画像である
    　請求項１又は２に記載の情報処理方法。
  5. 　前記第２画像の取得では、撮像時の撮像装置の位置又は姿勢が、前記第１画像の撮像時の撮像装置の位置又は姿勢と同一又は類似である画像を前記第２画像として取得する
    　請求項１～４のいずれか１項に記載の情報処理方法。
  6. 　前記第２画像の取得では、撮像時の時間帯又は天候が、前記第１画像の撮像時の時間帯又は天候と同一又は類似である画像を前記第２画像として取得する
    　請求項１～５のいずれか１項に記載の情報処理方法。
  7. 　前記第２画像の取得では、輝度又は撮像時の撮像方向の明るさが、前記第１画像の輝度又は第１画像の撮像時の撮像方向の明るさと同一又は類似である画像を前記第２画像として取得する
    　請求項１～６のいずれか１項に記載の情報処理方法。
  8. 　前記第２画像の取得では、前記第１画像の部分に対応する物体データと同一の物体データに対応する部分のサイズが、前記第１画像の部分のサイズと同一又は類似である画像を前記第２画像として取得する
    　請求項１～７のいずれか１項に記載の情報処理方法。
  9. 　前記第２画像の取得では、前記第１画像の部分に対応する物体データと同一の物体データに対応する部分の周囲の領域データが、前記第１画像の部分の周囲の領域データと同一又は類似である画像を前記第２画像として取得する
    　請求項１～８のいずれか１項に記載の情報処理方法。
  10. 　前記第１画像、及び、前記第２画像は、撮像画像であり、
    　前記第２画像の取得では、撮像時の撮像装置の撮像パラメータが、前記第１画像の撮像時の撮像装置の撮像パラメータと同一又は類似である画像を前記第２画像として取得する
    　請求項１～９のいずれか１項に記載の情報処理方法。
  11. 　第１画像および前記第１画像に映る物体の物体データを取得する取得部と、
    　画像を入力として物体検出結果を出力する学習済みモデルに前記第１画像を入力することにより得られる物体検出結果と前記物体データとの差に対応する前記第１画像の部分を抽出し、抽出された前記第１画像の部分に対応する物体データと同一の物体データに対応する部分を含む第２画像を取得し、取得された前記第２画像における前記同一の物体データに対応する部分に、抽出された前記第１画像の部分に基づく画像を反映させることにより、前記学習済みモデルのトレーニングデータを生成する生成部とを備える
    　情報処理システム。
PCT/JP2019/046123 2019-04-04 2019-11-26 情報処理方法、及び、情報処理システム WO2020202636A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021511099A JP7407427B2 (ja) 2019-04-04 2019-11-26 情報処理方法、及び、情報処理システム
EP19922485.8A EP3951704A4 (en) 2019-04-04 2019-11-26 INFORMATION PROCESSING PROCEDURES AND INFORMATION PROCESSING SYSTEM
CN201980071024.7A CN112955928A (zh) 2019-04-04 2019-11-26 信息处理方法以及信息处理系统
US17/398,168 US11977980B2 (en) 2019-04-04 2021-08-10 Information processing method and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-072242 2019-04-04
JP2019072242 2019-04-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/398,168 Continuation US11977980B2 (en) 2019-04-04 2021-08-10 Information processing method and information processing system

Publications (1)

Publication Number Publication Date
WO2020202636A1 true WO2020202636A1 (ja) 2020-10-08

Family

ID=72667808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046123 WO2020202636A1 (ja) 2019-04-04 2019-11-26 情報処理方法、及び、情報処理システム

Country Status (5)

Country Link
US (1) US11977980B2 (ja)
EP (1) EP3951704A4 (ja)
JP (1) JP7407427B2 (ja)
CN (1) CN112955928A (ja)
WO (1) WO2020202636A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220179724A1 (en) * 2020-12-08 2022-06-09 Samsung Electronics Co., Ltd. Method for operating storage device and host device, and storage device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019217733A1 (de) * 2019-11-18 2021-05-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem für ein Fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088787A (ja) 2010-10-15 2012-05-10 Canon Inc 画像処理装置、画像処理方法
WO2013175792A1 (ja) * 2012-05-23 2013-11-28 パナソニック株式会社 人物属性推定システム、及び学習用データ生成装置
WO2018079400A1 (ja) * 2016-10-24 2018-05-03 ホーチキ株式会社 火災監視システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9808712D0 (en) * 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
JP3134845B2 (ja) * 1998-07-03 2001-02-13 日本電気株式会社 動画像中の物体抽出装置及び方法
JP2009003787A (ja) * 2007-06-22 2009-01-08 Sanyo Electric Co Ltd 対象物検出装置、対象物検出プログラム及び対象物検出システム
JP5333080B2 (ja) * 2009-09-07 2013-11-06 株式会社日本自動車部品総合研究所 画像認識システム
JP2014194341A (ja) * 2011-07-27 2014-10-09 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP5708689B2 (ja) * 2013-03-13 2015-04-30 株式会社デンソー 物体検出装置
JP6532190B2 (ja) * 2014-03-26 2019-06-19 キヤノン株式会社 画像検索装置、画像検索方法
US10354232B2 (en) * 2015-02-11 2019-07-16 FRED TOMLIN, Jr. Systems and methods for object identification and pricing for waste removal and transport services
JP7071054B2 (ja) * 2017-01-20 2022-05-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6851221B2 (ja) * 2017-02-28 2021-03-31 セコム株式会社 画像監視装置
CN108257081B (zh) * 2018-01-17 2022-05-13 百度在线网络技术（北京）有限公司 用于生成图片的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088787A (ja) 2010-10-15 2012-05-10 Canon Inc 画像処理装置、画像処理方法
WO2013175792A1 (ja) * 2012-05-23 2013-11-28 パナソニック株式会社 人物属性推定システム、及び学習用データ生成装置
WO2018079400A1 (ja) * 2016-10-24 2018-05-03 ホーチキ株式会社 火災監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3951704A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220179724A1 (en) * 2020-12-08 2022-06-09 Samsung Electronics Co., Ltd. Method for operating storage device and host device, and storage device

Also Published As

Publication number Publication date
EP3951704A1 (en) 2022-02-09
US20210365731A1 (en) 2021-11-25
JP7407427B2 (ja) 2024-01-04
JPWO2020202636A1 (ja) 2020-10-08
CN112955928A (zh) 2021-06-11
US11977980B2 (en) 2024-05-07
EP3951704A4 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN111081064B (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
CN109767637B (zh) 倒计时信号灯识别及处理的方法和装置
US20190188541A1 (en) Joint 3d object detection and orientation estimation via multimodal fusion
US20210365699A1 (en) Geometry-aware instance segmentation in stereo image capture processes
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
CN102737236A (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN113160594A (zh) 变化点检测装置以及地图信息发布系统
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
WO2020202636A1 (ja) 情報処理方法、及び、情報処理システム
US20220342427A1 (en) Information processing device, information processing method, and program
CN115457358A (zh) 一种图像与点云的融合的处理方法、装置和无人车
CN111738033A (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
JP7486079B2 (ja) 情報処理方法、及び、情報処理システム
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN114841910A (zh) 车载镜头遮挡识别方法及装置
KR102592988B1 (ko) 항공영상에서의 객체 탐지방법 및 장치
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
CN112529011A (zh) 目标检测方法及相关装置
CN110309845B (zh) 信息处理系统以及信息处理方法
CN115359457A (zh) 基于鱼眼图像的3d目标检测方法及系统
CN112560606B (zh) 挂车角度识别方法及装置
CN115307622A (zh) 在动态环境下基于深度学习的自主建图方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19922485

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511099

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019922485

Country of ref document: EP

Effective date: 20211104