WO2022009652A1 - データ収集システム、センサ装置、データ収集装置、及びデータ収集方法 - Google Patents

データ収集システム、センサ装置、データ収集装置、及びデータ収集方法 Download PDF

Info

Publication number
WO2022009652A1
WO2022009652A1 PCT/JP2021/023319 JP2021023319W WO2022009652A1 WO 2022009652 A1 WO2022009652 A1 WO 2022009652A1 JP 2021023319 W JP2021023319 W JP 2021023319W WO 2022009652 A1 WO2022009652 A1 WO 2022009652A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sensor device
learning
image
sensor
Prior art date
Application number
PCT/JP2021/023319
Other languages
English (en)
French (fr)
Inventor
健二 鈴木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/003,552 priority Critical patent/US20230237774A1/en
Publication of WO2022009652A1 publication Critical patent/WO2022009652A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • This disclosure relates to a data collection system, a sensor device, a data collection device, and a data collection method.
  • the conventional technology cannot always be learned using appropriate data.
  • the data is used as it is, so that it may not be possible to learn a model such as a neural network having desired performance. Therefore, it is desired to collect desired data used for learning.
  • this disclosure proposes a data collection system, a sensor device, a data collection device, and a data collection method capable of collecting desired data used for machine learning.
  • one form of data collection system includes a sensor device that collects data, a learning model that outputs data according to a learning result to an input, and learning of the learning model.
  • the server device includes a server device having a data analysis unit for identifying valid data or missing data, and the server device is similar to the learning effective data, the missing data, or the data specified by the data analysis unit.
  • a request signal for collecting data is transmitted to the sensor device, and the sensor device collects data useful for the learning, the missing data or similar data based on the received request signal, and collects the collected data. It is transmitted to the server device, and the server device relearns the learning model based on the data transmitted from the sensor device.
  • Embodiment 1-1 Outline of data collection process according to the embodiment of the present disclosure 1-1-1.
  • Configuration of sensor device according to the embodiment 1-5 Information processing procedure according to the embodiment 1-5-1.
  • FIG. 1 is a diagram showing an example of data collection processing according to the embodiment of the present disclosure.
  • the data collection process according to the embodiment of the present disclosure is realized by the data collection system 1 including the data collection device 100 and the sensor device 10.
  • FIG. 1 describes an outline of the data collection process realized by the data collection system 1.
  • FIG. 1 is a diagram showing an example of data collection processing according to the embodiment of the present disclosure.
  • the data collection device 100 uses XAI (Explainable AI) or Influence function (influence function) to specify effective or influential data for learning in learning data used for machine learning (hereinafter, also referred to as “possessed data”). However, it is a server device that requests the sensor device 10 for the specified data, the data lacking in the possessed data, or the data similar to at least one of these data. Then, the data collecting device 100 collects the data used for machine learning by acquiring the data corresponding to the request from the sensor device 10. In FIG. 1, as an example, the data collecting device 100 adds data acquired from the sensor device 10 to data used for learning of a deep neural network (DNN: Deep Neural Network) (hereinafter, also referred to as “learning data”). show.
  • DNN Deep Neural Network
  • the data collection device 100 executes a learning process of deep learning (hereinafter, also referred to as “deep learning”) using learning data for an identification model (hereinafter, also simply referred to as “model”) which is a DNN that performs image recognition. ..
  • model a DNN that performs image recognition.
  • the deep neural network may be simply referred to as a neural network (NN: Neural Network).
  • the sensor device 10 is not limited to the camera but may be various devices as long as the data required by the data collecting device 100 can be collected by the sensor and provided to the data collecting device 100.
  • the sensor device 10 includes a mobile robot, a UAV (Unmanned Aerial Vehicle) such as a drone, a moving object such as a vehicle such as an automobile, an image sensor (imager), an earphone, an AR (Augmented Reality) glass, or the like. It may be a wearable device (Wearable Device), a TV, a mobile phone, a refrigerator, an air conditioner, or other home appliances, but the details of this point will be described later.
  • the sensor device 10 acquires data by sensing (detection) of the sensor unit 16 (see FIG. 8) (step S1).
  • the sensor device 10 captures an image by the image sensor 161 (see FIG. 8) and holds the captured image as data SD1.
  • the data SD1 is stored in the data storage unit 142 (see FIG. 8).
  • the sensor device 10 may take an image corresponding to the request from the data collection device 100, and this point will be described later.
  • the data collecting device 100 specifies the data required for the sensor device 10 based on the learning data DS1 used for machine learning (step S2).
  • the learning data DS1 is stored in the data information storage unit 121 (see FIG. 4).
  • the learning data DS1 contains a large number of images taken by adults (for example, 98% of the total) and only a small number of images taken by children (for example, 2% of the total). do.
  • the data corresponding to the attribute “child” included in the learning data DS1 is smaller than the data corresponding to the other attribute “adult”.
  • an attribute with a small amount of corresponding data such as the attribute “child” in FIG. 1, may be described as a “minority attribute”.
  • the data collecting device 100 compares a predetermined threshold value (for example, 0.1 (10%), 0.05 (5%), etc.) with the ratio of data corresponding to each attribute, and is less than the predetermined threshold value.
  • a predetermined threshold value for example, 0.1 (10%), 0.05 (5%), etc.
  • the attribute of may be determined to be a minority attribute.
  • the data acquisition device 100 specifies the data required for the sensor device 10 according to the bias of the data structure included in the learning data DS1.
  • the data acquisition device 100 identifies the data corresponding to the minority attribute as the data requested from the sensor device 10.
  • the data acquisition device 100 specifies an image corresponding to the minority attribute “child” as an image requested from the sensor device 10 as shown in the request information MC1.
  • the case of specifying the data lacking in the possessed data is shown, but the data specified as the data having an effective effect or influence on learning may be requested by using XAI or the Influence function. However, the details of XAI, Influence function, etc. will be described later.
  • the data acquisition device 100 requests the data from the sensor device 10 (step S3).
  • the data collecting device 100 requests the sensor device 10 for an image corresponding to the minority attribute "child” by transmitting the request information MC1 to the sensor device 10.
  • the data collection device 100 may transmit information indicating the number of required data (hereinafter, also referred to as “requested number”). For example, the data acquisition device 100 may transmit information indicating the number of images (requested number) corresponding to the required minority attribute “children”.
  • the sensor device 10 that has received the request from the data collection device 100 generates the collection data CSD1 corresponding to the request information (step S4).
  • the sensor device 10 uses the data SD1 and the collection condition CD1 to generate the data CSD1 for collection.
  • Collection condition CD1 includes a data collection standard indicating that the photographed person's face is subjected to mosaic processing in consideration of the privacy of the photographed person (subject).
  • the collection condition CD1 is not limited to the above collection criteria, but may include conditions related to the consent of the photographed person (subject) and the judgment criteria of the photographed place (country, administrative division, etc.). This point will be described later.
  • the judgment standard here is a concept that includes various things such as rules (laws, ordinances, etc.), regulations, ethics, etc.
  • the administrative divisions referred to here may be anything as long as they have the authority to establish rules such as ordinances, and in the case of Japan, for example, prefectures and municipalities are included.
  • the sensor device 10 extracts an image including a person corresponding to the minority attribute "child" from the data SD1 as a target image. For example, the sensor device 10 estimates whether or not a child is included in the image by an object recognition technique such as general object recognition, and extracts an image presumed to include the child as a target image. Further, the sensor device 10 may extract a target image corresponding to the minority attribute "child” by using the meta information indicating the attribute associated with each image in the data SD1.
  • the sensor device 10 mosaic-processes the human face in each extracted target image.
  • the mosaic processing referred to here is not limited to the processing of applying the mosaic processing to the area of the human face in the image, and any processing can be used as long as it is a processing that makes it difficult to identify an individual by the human face. Often, for example, editing to reduce the resolution of a person's facial area in an image is also included.
  • the sensor device 10 identifies an area including a person's face from an image based on, for example, artificial intelligence or a machine learning model by face recognition technology or the like, and performs image processing such as appropriate mosaic processing for the specified area. Is applied to generate edited image data in which a human face is mosaic-processed. As a result, the sensor device 10 generates data CSD1 for collection including an edited image group in which the child is imaged and the face of the child is mosaicked.
  • the sensor device 10 may sense the data corresponding to the request when the data corresponding to the request is small. For example, when the number of target images corresponding to the minority attribute "children" in the data SD1 is less than a predetermined number (for example, the required number), the sensor device 10 photographs a person corresponding to the minority attribute "children". , Images corresponding to the minority attribute "children" may be acquired until the requested number is reached.
  • a predetermined number for example, the required number
  • an artificial intelligence, a machine learning model, or an agent obtains the consent of an appropriate person when taking a picture of a child.
  • such artificial intelligence and machine learning models regularly collect national and regional laws, precedents, regulations, or guidelines to determine what data is legal and what data is illegal. By learning, it is possible to determine whether the data collected by the sensor device using the trained model is illegal or legal.
  • the sensor device 10 provides the data CSD1 for collection to the data collection device 100 (step S5).
  • the sensor device 10 transmits the collection data CSD1 including the edited image group in which the child's face is mosaicked to the data collection device 100.
  • the data collecting device 100 that has acquired the collecting data CSD1 from the sensor device 10 adds the acquired providing data to the learning data DS1 (step S6). As a result, the data acquisition device 100 adds an image corresponding to the minority attribute "child" to the learning data DS1. As a result, the data acquisition device 100 can use the learning data DS1 in which the image corresponding to the minority attribute "child" is added and the bias of the data structure is improved.
  • the data acquisition device 100 learns the model M1 which is a neural network by using the training data DS1 (step S7).
  • the data acquisition device 100 learns the model M1 by using the learning data DS1 in which the correct answer label indicating the object included in the image is associated with each image.
  • the data collecting device 100 uses the learning data DS1 to perform a learning process so as to minimize the set loss function (loss function), and learns the model M1.
  • the above is an example, and the data acquisition device 100 may perform the learning process of the model M1 by various methods.
  • the data acquisition device 100 identifies data that is lacking, or data that has an effective effect or influence in machine learning, and requests the identified data from the sensor device 10 to be used for learning. Data can be collected. Further, the data collecting device 100 requests the sensor device 10 for the data of the minority attribute, and collects the data of the minority attribute, so that the bias of the data configuration can be improved.
  • the sensor device 10 can collect the desired data used for learning while satisfying the conditions for collecting the data by providing the data satisfying the collecting conditions. can.
  • the sensor device 10 collects desired data to be used for learning while considering the privacy of the person by editing the face of the person in consideration of the privacy of the person (child) who was photographed. can do.
  • a case is shown in which data is collected by editing a human face with a collection standard related to privacy such as a human face as a collection condition, but the collection conditions are not limited to the above and are various conditions.
  • the data collection system 1 has the consent of the subject (person) whose data is collected by the sensor and the owner of the data, and the rules (laws, ordinances, etc.) of the area (country, administrative division, etc.) where sensing is performed by the sensor. ) May be used by artificial intelligence or machine learning or may be set in advance. This point will be described below.
  • the data collection system 1 may use the presence or absence of the consent of the person included in the image as a collection condition.
  • the data collection system 1 may be subject to the collection condition that the editing of the human face is not required when the consent of the person included in the image is obtained or the consent is obtained by the agent function or the like.
  • the sensor device 10 may determine that the image satisfies the collection condition for the image with the consent of the person in the image, and may transmit the image to the data collection device 100 without editing the image.
  • the data collection system 1 may use collection conditions based on the rules (laws, ordinances, etc.) of the area (country, administrative division, etc.) where data is collected by the sensor device 10. For example, the data collection system 1 may use collection conditions based on rules regarding privacy in the area where sensing is performed by the sensor device 10. For example, when the country that collects data by the sensor device 10 prohibits the use of an image including a human face, the data collection system 1 may use editing the human face as a collection condition. In this case, the sensor device 10 may change the face of a person in the image into a mosaic process or the face of another person and transmit it to the data acquisition device 100.
  • Collection conditions based on rules such as laws and regulations may be set by the administrator of the data collection system 1, or the rules targeted by the data collection system 1 are analyzed. It may be set automatically.
  • the administrator of the data collection system 1 sets the collection conditions based on the rules such as laws and ordinances, the administrator etc. specifies the collection conditions based on the rules, and the collection conditions specified from the data collection device 100 are set by the sensor device. It may be transmitted to 10.
  • the sensor device 10 that has received the collection conditions stores the received collection conditions in the collection condition storage unit 141, and uses the collection conditions to provide data to the data collection device 100.
  • the data collection system 1 uses, for example, artificial intelligence, machine learning models, or natural language processing technology to set laws and regulations such as national and administrative divisions. You may analyze or learn and set / change the collection conditions based on the analysis / learning results.
  • the data collecting device 100 estimates the contents of laws and ordinances by parsing character information such as laws and ordinances and appropriately using various conventional techniques such as AI to analyze and learn the contents of the laws and ordinances, and the estimation results.
  • the collection conditions specified based on the above may be provided to the sensor device 10.
  • the data collecting device 100 when it is estimated that the data collecting device 100 needs to protect personal information based on the contents of laws and ordinances, the collecting conditions including the inability to identify an individual are transmitted to the sensor device 10.
  • the collecting conditions including the editing of the human face are transmitted to the sensor device 10.
  • the data collecting device 100 may learn judgment criteria such as rules (laws, ordinances, etc.), regulations, ethics, etc. at the point where data is collected, and make a judgment based on the learning result.
  • the data collection device 100 may collect data such as rules, regulations, and ethics of each country, and learn a judgment criterion model based on the data.
  • the data collecting device 100 collects usable data judged to be usable and unusable data judged to be unusable according to the judgment criteria such as rules (laws, ordinances, etc.), regulations, and ethical standards of each country. , You may learn the judgment criterion model based on those data.
  • the data acquisition device 100 may learn the judgment criterion model so as to output "1" when the available data is input and output "0" when the unavailable data is input. good.
  • the data acquisition device 100 may determine the availability of each data by using the judgment criterion model.
  • the data collecting device 100 inputs the target data into the judgment standard model, determines that the target data can be used as it is when the value output by the judgment standard model is equal to or higher than a predetermined threshold value, and uses the target data as it is as training data. It may be used as.
  • the data collecting device 100 inputs the target data into the judgment standard model, and if the value output by the judgment standard model is less than a predetermined threshold value, determines that the target data cannot be used as it is, and uses the target data. It may be edited or excluded from the data used for training.
  • the data collection device 100 may make various judgments based on judgment criteria such as rules, regulations, and ethical standards.
  • the data editing may be performed by the data collecting device 100.
  • the data acquisition device 100 may change the face of a person in the image to the face of another person.
  • the data collection system 1 may use a data collection standard that does not require editing of a human face as a collection condition.
  • the sensor device 10 may determine that the image satisfies the collection condition and transmit the image to the data collection device 100 without editing the image.
  • the sensor device 10 may collect data corresponding to the attributes requested by the data collecting device 100.
  • the sensor device 10 may capture an image including a person (also referred to as a “corresponding person”) corresponding to the minority attribute “child” requested by the data collecting device 100. Then, the sensor device 10 may edit the face of the relevant person in the image and transmit the edited image to the data acquisition device 100 without the consent of the relevant person.
  • a system that actively collects minority attribute data such as the data collection system 1 as shown in FIG. 1, is useful.
  • the data collection system 1 can reduce the burden on the entire system by acquiring only the minority attribute data. For example, when the data collection system 1 is applied to an in-vehicle system, if the data of the child is insufficient, the recognition rate of the short child may deteriorate in the automatic driving.
  • the camera of the in-vehicle system determines the child and actively collects the data. This data collection eliminates data imbalances.
  • Influence function In the above example, the case where the missing data is specified and the specified data is requested is shown, but the specified data is specified as the data that has an effective effect or influence on learning by using XAI or the Influence function. Or similar data may be requested.
  • the Influence function will be described as an example of a method for identifying effective effect or influential data, but the effective effect or influential data will be specified using XAI such as Grad-CAM and LIME, which will be described later. May be done.
  • the data collection device 100 quantitatively analyzes the influence of each data in the data set on the model (parameter) generated by the Influence function. For example, the data acquisition device 100 uses the Influence function to formulate the influence of the presence or absence of certain (learning) data on the accuracy (output result) of the model. For example, the data acquisition device 100 measures the degree of influence that each data has on learning without retraining using a data set excluding each data whose influence is to be measured. Then, the data acquisition device 100 identifies an effective effect or data having an influence based on the degree of influence of each measured data. The data acquisition device 100 specifies data in which the measured influence degree satisfies a predetermined condition as effective effect or influence data. For example, the data acquisition device 100 specifies data having a measured influence degree equal to or higher than a predetermined threshold value as effective effect or influence data.
  • the influence function is also used, for example, as a method for explaining a black box model of machine learning.
  • the Influence function is disclosed in the following documents, for example. ⁇ Understanding Black-box Predictions via Influence Functions, Pang Wei Kho and Percy Liang ⁇ https://arxiv.org/abs/1703.04730>
  • the data acquisition device 100 can calculate the contribution of data to machine learning by using the Influence function, and can measure (know) how much positive or negative influence a certain data has. can. For example, the data acquisition device 100 calculates (measures) the degree of influence by an algorithm, data, or the like, as shown below. In the following, a case where an image is used as input data will be described as an example.
  • the input x (image) is regarded as a prediction problem in machine learning by the output y (label).
  • Each image is labeled, that is, the image and the correct label are associated with each other.
  • n is an arbitrary natural number
  • a set of labels data set
  • each labeled image z (may be simply referred to as "image z") has the following formula (may be simply described as "image z"). It becomes like 1).
  • the data acquisition device 100 uses the equation (3) to calculate a parameter ((the left side of the equation (3))) that minimizes the loss.
  • a parameter ((the left side of the equation (3))) that minimizes the loss.
  • the empirical loss is capable of the second derivative and is a convex function with respect to the parameter ⁇ .
  • a parameter (variable) with a " ⁇ " above a certain character such as a parameter (variable) with a “ ⁇ ” (hat) above the " ⁇ ” shown on the left side of equation (3).
  • a parameter (variable) in which " ⁇ " is added above " ⁇ ” shown on the left side of the equation (3) is referred to in the text, " ⁇ " is followed by " ⁇ ". , Notated.
  • the data acquisition device 100 calculates a parameter (the left side of the equation (4)) when learning is performed using the equation (4) without using the learning data (image z).
  • the degree of influence is the difference (difference) between when the training point z (image z) is removed and when all the data points including the training point z are present. This difference is expressed by the following equation (5).
  • the data acquisition device 100 uses Influence functions to perform calculations without recalculation (re-learning) when the image z is removed by effective approximation as shown below.
  • This idea is a method of calculating the change of parameters assuming that the image z is weighted by a minute ⁇ .
  • a new parameter (the left side of the equation (6)) is defined using the following equation (6).
  • equation (7) shows an influence function corresponding to a certain image z.
  • equation (7) represents the amount of change in the parameter with respect to a minute ⁇ .
  • the equation (8) shows a Hessian (Hessian matrix).
  • Hessian matrix assuming that it is a Hessian matrix with a positive-definite value, there is also an inverse matrix.
  • the parameter change when the image z is removed is approximately the same.
  • the data acquisition device 100 can measure (find) the degree of influence when the data point z (image z) is removed without re-learning.
  • the data acquisition device 100 measures (determines) the degree of influence on the loss at a certain test point z test using the following equations (10-1) to (10-3).
  • the data acquisition device 100 can measure (find) the degree of influence of the data in the machine learning model by this calculation.
  • the right-hand side of equation (10-3) consists of a gradient for a certain data loss (loss), a Hessian inverse matrix, a certain training data loss gradient, and the like.
  • the effect of certain data on the prediction (loss) of the model can be obtained by the equation (10-3).
  • the data acquisition device 100 may appropriately execute various calculations to measure the degree of influence that each image has on learning.
  • the data collection device 100 may also specify an effective effect or influence data based on a score calculated by calculating a quantitative score for Grad-CAM and LIMIT, which will be described later.
  • the data acquisition device 100 may specify data in which the region showing the characteristics of the heat map generated by the Grad-CAM is equal to or larger than a predetermined threshold value as data having an effective effect or influence.
  • the data acquisition device 100 may specify data in which the output of the rationale model generated by LIME is equal to or greater than a predetermined threshold value as data having a valid effect or influence.
  • XAI or Influence function by any method, the data that has an effective effect or influence on learning can be specified. You may.
  • the data collection system 1 generates rationale information for visualizing the rationale for the output (judgment) of the model after inputting the image by grad-CAM.
  • the data collection system 1 uses Grad-CAM to generate evidence information indicating the basis for determining the presence or absence of a person by the model M1 that recognizes an image.
  • the data collection system 1 generates evidence information by processing related to Grad-CAM as disclosed in the following documents.
  • the data collection system 1 uses the technology of Grad-CAM, which is a visualization method applicable to the entire network including CNN, to generate rationale information showing the rationale for the output of the model M1.
  • the data collection system 1 can visualize the part that affects each class by calculating the weight of each channel from the final layer of the CNN and multiplying the weights. In this way, the data collection system 1 can visualize which part of the image was focused on in the neural network including the CNN.
  • the data collection system 1 generates ground information by the method of Grad-CAM (see the above document).
  • the data collection system 1 specifies a target type (class) and generates information (image) corresponding to the specified class.
  • the data collection system 1 uses the technology of Grad-CAM to generate information (image) for a designated class by various processes such as backpropagation.
  • the data collection system 1 specifies a class of the type "child” and generates an image related to the evidence information corresponding to the type "child”.
  • the data collection system 1 generates an image showing the range (area) being watched for recognition (classification) of the type "child” in the form of a so-called heat map (color map).
  • the data collection system 1 stores the input data (image) and the basis information indicating the basis of the determination result in the storage unit 120 (see FIG. 3) as a log (history) in association with each other. This makes it possible to verify what kind of input the data collection system 1 has determined to perform the subsequent operation. Further, for example, the data collection system 1 may use a log of input data (image) stored in the storage unit 120 and ground information indicating the grounds of the determination result for various processes. For example, the data collection system 1 may generate data by using a log of input data (image) and evidence information indicating the basis of the determination result. For example, the data collection system 1 may generate an image in which the input image is modified so as to include an image of a region indicated by the heat map as the basis information. The above is an example, and the data collection system 1 may generate data from the log by appropriately using various methods.
  • the data collection system 1 may generate ground information by a method such as LIME.
  • the data collection system 1 may generate evidence information by processing related to LIME as disclosed in the following documents.
  • the data collection system 1 generates ground information by the method of LIME (see the above document). For example, the data collection system 1 generates another model (rationale model) that locally approximates to show the reason (rationale) why the model made such a judgment. The data collection system 1 generates a basis model that locally approximates the combination of the input information and the output result corresponding to the input information. Then, the data collection system 1 uses the rationale model to generate rationale information.
  • the data collection system 1 generates a plurality of input information by duplicating or changing the input information (target input information) that is the basis of an image or the like. Then, the data collection system 1 inputs each of the plurality of input information into the model (explanation target model) for which the basis information is generated, and outputs a plurality of output information corresponding to each input information from the explanation target model. .. Then, the data collection system 1 learns the basis model using the combination (pair) of each of the plurality of input information and each of the corresponding plurality of output information as training data. In this way, the data collection system 1 generates a rationale model that locally approximates the target input information with another interpretable model (such as a linear model).
  • another interpretable model such as a linear model
  • FIG. 14 is a conceptual diagram of processing including visualization of judgment. Is.
  • the processing PS in FIG. 14 shows an overall conceptual diagram of processing including visualization of judgments realized by the data collection system 1. Any device included in the data collection system 1 such as the data collection device 100 and the sensor device 10 may perform the processing in which the data collection system 1 shown below is described as the main body of the processing.
  • the input image TD is input to the trained model NN as shown in the input IN in FIG.
  • the data collection system 1 displays on the output device OD the image judgment result visualized by the above-mentioned visualization time technique such as Grad-CAM, LIME, and the judgment basis information RS such as the heat map of the judgment basis.
  • the output device OD is, for example, a monitor, AR glass, VR (Virtual Reality) glass, or the like.
  • the output device OD may be integrated with the sensor device 10.
  • the input image TD and the judgment basis information RS are transmitted to the cloud center (data collection device 100) to perform re-learning. It is possible to improve the recognition accuracy of the deep learning recognizer (model). Then, the data collection system 1 distributes the relearned model to the edge (for example, the output device OD or the sensor device 10) to update the edge model.
  • the edge for example, the output device OD or the sensor device
  • one neural network NN is shown, but two second deep learnings, a first deep learning recognizer for recognizing a human face and body and a second deep learning recognizer for general object recognition. It may have a recognizer (neural network).
  • the input image TD is first input to the first deep learning recognizer that recognizes a human face or body. If the result is a person, the image judgment result and the heat map of the judgment basis are displayed. In the case of a person other than a person, the judgment is made by the second deep learning recognizer for general object recognition, and the result and the judgment basis are similarly displayed. Since a person and an object may appear in one image at the same time, both images pass through the object recognizer. In this case as well, the output device OD allows a human to visually check the judgment result and the basis in real time.
  • the data collection system 1 shown in FIG. 2 will be described.
  • the data collection system 1 is an information processing system that realizes an adjustment process for adjusting learning data.
  • the data collection system 1 includes a data collection device 100 and a plurality of sensor devices 10a, 10b, 10c, and 10d.
  • the sensor devices 10a, 10b, 10c, 10d and the like may be referred to as the sensor device 10.
  • four sensor devices 10a, 10b, 10c, and 10d are illustrated, but the data collection system 1 includes a number of sensor devices 10 larger than four (for example, 20 or 100 or more). It may be.
  • FIG. 2 is a diagram showing a configuration example of a data collection system according to an embodiment.
  • the data collection system 1 shown in FIG. 2 may include a plurality of data collection devices 100.
  • the data collecting device 100 is a server device (information processing device) that requests the sensor device 10 for data identified as having an effective effect or influence in machine learning, data identified as being insufficient, or data similar to any of them. ). Further, the data collection device 100 executes the learning process using the data set.
  • server device information processing device
  • the sensor device 10 is a device (computer) that provides data to the data collection device 100 in response to a request from the data collection device 100. Each sensor device 10 acquires data by sensing the sensor unit 16 (see FIG. 8).
  • the sensor device 10 is a collection condition including at least one of the consent of the subject or the right holder of the data to be collected by the sensor unit 16, the criterion for determining the point where the sensor unit 16 performs sensing, and the data collection standard. The data satisfying the condition is transmitted to the data acquisition device 100.
  • the sensor device 10a is a moving body such as a UAV such as a drone or a vehicle such as an automobile.
  • the sensor device 10a has a function of communicating with the data collection device 100, and may move in response to a request from the data collection device 100.
  • the sensor device 10a has an image pickup function such as an image sensor (imager), moves to a position corresponding to a request from the data acquisition device 100, captures an image or a moving image at that position, and obtains the captured image or moving image as data. It is transmitted to the collecting device 100.
  • the settings such as the resolution, the angle of view, the brightness, and the frame rate of the image data and the characteristics of the data may be changed depending on the effect or influence on the learning.
  • the sensor device 10b is a camera having an image pickup function.
  • the sensor device 10b is a camera that captures moving images and images and holds the captured data.
  • the sensor device 10b captures an image or moving image in response to a request from the data collecting device 100, and transmits the captured image or moving image to the data collecting device 100.
  • the sensor device 10c is an image sensor (imager) having an image pickup function.
  • the sensor device 10c has a function of communicating with the data collection device 100, and has a function of transmitting captured images and moving images to the data collection device 100.
  • the sensor device 10c captures an image or moving image in response to a request from the data collecting device 100, and transmits the captured image or moving image to the data collecting device 100.
  • the settings such as the resolution, the angle of view, the brightness, and the frame rate of the image data and the characteristics of the data may be changed depending on the effect or influence on the learning.
  • the sensor device 10d is an AR glass.
  • the sensor device 10d is a sensor device 10 having a function of displaying information.
  • the sensor device 10d has an image pickup function such as an image sensor (imager), acquires an image or a moving image in response to a request from the data collecting device 100, and transmits the captured image or the moving image to the data collecting device 100.
  • the sensor device 10d superimposes the image on the captured range and superimposes and displays the information having transparency.
  • the sensor device 10d may be any device as long as it has a function of displaying information, and may be, for example, a monitor, a VR glass, or a windshield of a moving body (automobile or the like).
  • the sensor device 10 may be any device as long as it can perform sensing by the sensor and provide the collected information to the data collection device 100.
  • the sensor device 10 may be, for example, a device such as a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, or a PDA (Personal Digital Assistant).
  • the sensor device 10 may be a wearable terminal or the like that the user can wear, as in the AR glass described above.
  • the sensor device 10 may be a wristwatch-type terminal, a glasses-type terminal, or the like.
  • the sensor device 10 may be a so-called home electric appliance such as a television or a refrigerator.
  • the sensor device 10 may be a robot that interacts with a human (user), such as a smart speaker, an entertainment robot, or a domestic robot.
  • the sensor device 10 may be a device arranged at a predetermined position such as digital signage.
  • FIG. 3 is a diagram showing a configuration example of the data collection device 100 according to the embodiment of the present disclosure.
  • the data acquisition device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the data collecting device 100 includes an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the data collecting device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may have.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 110 is connected to the network N (see FIG. 2) by wire or wirelessly, and transmits / receives information to / from another information processing device such as the sensor device 10. Further, the communication unit 110 may send and receive information to and from the sensor device 10.
  • NIC Network Interface Card
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 120 according to the embodiment includes a data information storage unit 121, a model information storage unit 122, and a minority attribute information storage unit 123.
  • a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory)
  • flash memory Flash Memory
  • FIG. 3 the storage unit 120 according to the embodiment includes a data information storage unit 121, a model information storage unit 122, and a minority attribute information storage unit 123.
  • the data information storage unit 121 stores various information related to the data used for learning.
  • the data information storage unit 121 stores learning data (data set) used for learning.
  • FIG. 4 is a diagram showing an example of a data information storage unit according to the embodiment of the present disclosure.
  • the data information storage unit 121 stores various information related to various data such as learning data used for learning and evaluation data used for accuracy evaluation (measurement).
  • FIG. 4 shows an example of the data information storage unit 121 according to the embodiment.
  • the data information storage unit 121 includes items such as “data set ID”, “data ID”, “data”, “attribute # 1”, and “attribute # 2”.
  • Data set ID indicates identification information for identifying the data set.
  • the "data ID” indicates identification information for identifying an object.
  • data indicates data corresponding to the object identified by the data ID. That is, in the example of FIG. 4, the vector data (data) corresponding to the object is associated and registered with the data ID that identifies the object.
  • Attribute # 1 and “attribute # 2" indicate the attribute corresponding to each target of the corresponding data.
  • attribute # 1 is an attribute related to age, and indicates whether each data corresponds to an adult or a child.
  • attribute # 2 is an attribute related to gender, and indicates whether each data corresponds to male or female.
  • an adult, a child, a man, a woman, etc. are illustrated as an example of the attribute (category), but the attribute is not limited to the above and may be various attributes. Not only “attribute # 1" and “attribute # 2" but also three or more attributes such as “attribute # 3" and "attribute # 4" may be stored. For example, "attribute # 3" may be an attribute related to race. Further, the attributes are not limited to those related to the appearance, but may be attributes related to the inner surface, and may be various demographic attributes or psychographic attributes.
  • the data set (data set DS1) identified by the data set ID “DS1” includes a plurality of data identified by the data IDs “DID1”, “DID2”, “DID3” and the like. Show that.
  • the data DT1 identified by the data ID "DID1" indicates that the data corresponds to an adult male.
  • the data DT1 is an image taken by an adult male.
  • the data DT2 identified by the data ID "DID2" indicates that the data corresponds to a female child.
  • the data DT2 is an image of a female child.
  • the data DT1 and DT3 to DT8 other than the data DT2 are images captured by an adult, and show a case where the proportion of images captured by a child is small.
  • the data information storage unit 121 is not limited to the above, and may store various information depending on the purpose.
  • the data information storage unit 121 stores correct answer information (correct answer label) corresponding to each data in association with each data.
  • correct answer information correct answer label
  • the attributes stored in "attribute # 1" and “attribute # 2" may be used as correct answer information.
  • the data information storage unit 121 may identifiable whether each data is learning data, evaluation data, or the like. For example, the data information storage unit 121 stores the learning data and the evaluation data in a distinguishable manner. The data information storage unit 121 may store information that identifies whether each data is learning data or evaluation data.
  • the data acquisition device 100 learns a model based on each data used as training data and correct answer information. The data acquisition device 100 measures the accuracy of the model based on each data used as evaluation data and correct answer information. The data acquisition device 100 measures the accuracy of the model by collecting the result of comparing the output result output by the model when the evaluation data is input and the correct answer information.
  • the model information storage unit 122 stores information about the model.
  • the model information storage unit 122 stores information (model data) indicating the structure of the model (network).
  • FIG. 5 is a diagram showing an example of a model information storage unit according to the embodiment of the present disclosure.
  • FIG. 5 shows an example of the model information storage unit 122 according to the embodiment.
  • the model information storage unit 122 includes items such as "model ID", "use", and "model data”.
  • Model ID indicates identification information for identifying the model.
  • User indicates the use of the corresponding model.
  • Model data indicates model data.
  • FIG. 5 an example in which conceptual information such as “MDT1” is stored in “model data” is shown, but in reality, various information constituting the model such as information and functions related to the network included in the model are stored. included.
  • model M1 identified by the model ID "M1" indicates that the use is "image recognition".
  • Model M1 is a model used for image recognition.
  • model M1 is used for human detection.
  • the model data of the model M1 is the model data MDT1.
  • the model information storage unit 122 is not limited to the above, and may store various information depending on the purpose.
  • the model information storage unit 122 stores the parameter information of the model learned (generated) by the learning process.
  • the minority attribute information storage unit 123 stores various information related to the minority attribute (minority category).
  • FIG. 6 is a diagram showing an example of a minority attribute information storage unit according to an embodiment.
  • the minority attribute information storage unit 123 shown in FIG. 6 includes items such as “minority attribute” and “ratio”.
  • Minority attribute indicates a minority attribute.
  • the “minority attribute” indicates an attribute in which the ratio of the retained data stored in the data information storage unit 121 is less than a predetermined threshold value (for example, 0.1, 0.15, etc.). Further, the “ratio” indicates a specific value of the ratio of the data corresponding to the minority attribute in the retained data stored in the data information storage unit 121.
  • the minority attribute information storage unit 123 is not limited to the above, and may store various information depending on the purpose.
  • the control unit 130 is a program stored inside the data collection device 100 by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit) (for example, an information processing program such as a data collection processing program according to the present disclosure). Is realized by executing RAM (Random Access Memory) etc. as a work area. Further, the control unit 130 is a controller, and is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 includes a selection unit 131, a transmission unit 132, a reception unit 133, an information processing unit 134, and a learning unit 135, and has information processing functions described below. Realize or execute the action.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 3, and may be any other configuration as long as it is configured to perform information processing described later.
  • the connection relationship of each processing unit included in the control unit 130 is not limited to the connection relationship shown in FIG. 3, and may be another connection relationship.
  • the selection unit 131 executes a selection process for making various selections.
  • the selection unit functions as a data analysis unit.
  • the selection unit 131 performs selection processing based on various information.
  • the selection unit 131 selects the data required for the sensor device 10 according to the bias of the data structure included in the data used for machine learning and the effective effects and influences in machine learning.
  • the selection unit 131 determines the data requested from the sensor device 10 according to the data having a bias in the data structure included in the retained data stored in the data information storage unit 121 and the data having an effective effect on learning identified by XAI. Select.
  • the selection unit 131 identifies the data identified as insufficient based on the retained data.
  • the selection unit 131 selects data having a minority attribute in which the data contained in the possessed data is smaller than other attributes, or data similar thereto, as the data requested from the sensor device 10.
  • the selection unit 131 determines, among the attributes to which the data included in the retained data stored in the data information storage unit 121 corresponds, the data of the minority attribute in which the corresponding data is small is the data requested to the sensor device 10.
  • the transmission unit 132 transmits various information.
  • the transmission unit 132 transmits a request signal for collecting data useful for learning the learning model, missing data, or data similar to any of them to the sensor device 50.
  • the transmission unit 132 requests various information from an external device such as the sensor device 10.
  • the transmission unit 132 requests the data to the sensor device 10 by transmitting the request information for designating the data to the sensor device 10.
  • the transmission unit 132 requests the sensor device 10 having the sensor unit 16 for the data selected as necessary based on the possessed data.
  • the transmission unit 132 requests the sensor device 10 for the data selected by the selection unit 131.
  • the transmission unit 132 requests data from a sensor device 10 having an image sensor that captures an image.
  • the receiving unit 133 receives various information.
  • the receiving unit 133 receives various information from an external information processing device.
  • the receiving unit 133 acquires various information from the sensor device 10.
  • the receiving unit 133 acquires various information from the storage unit 120.
  • the receiving unit 133 acquires various information from the data information storage unit 121, the model information storage unit 122, and the minority attribute information storage unit 123.
  • the receiving unit 133 receives the data corresponding to the request signal from the sensor device 50.
  • 133 is a collection condition including at least one of the consent of the subject or the data right holder who is the target of data collection by the sensor unit 16, the judgment criteria of the point where the data collection is performed by the sensor unit 16, and the data collection standard.
  • the data satisfying the condition is received from the sensor device 10.
  • the receiving unit 133 receives an image including a person from the sensor device 10.
  • the information processing unit 134 changes various information.
  • the information processing unit 134 changes the image by editing the image.
  • the information processing unit 134 generates the changed image by changing the original image.
  • the information processing unit 134 changes the face of a person in the image to the face of another person different from the person.
  • the information processing unit 134 changes the mosaic-processed area to the face of another person.
  • the information processing unit 134 changes the face of a person in the image to the face of another person.
  • the information processing unit 134 identifies an area containing a person's face from the image by using face recognition technology or the like, and edits the specified area by replacing it with another person's face so that the person's face in the image is another person's face. Generates a modified image that has been modified to a face.
  • the information processing unit 134 uses the technology of GAN (Generative Adversarial Network) to change the face of a person in an image to the face of another person. Even if the information processing unit 134 uses the image of the face of the person (permitted user) who has permitted the use of the face image stored in the storage unit 120, the face of the person in the image is changed to the face of the permitted user. good.
  • GAN Generative Adversarial Network
  • the information processing unit 134 generates a changed image in which another person's face is placed in that area.
  • the information processing unit 134 identifies an area that has been mosaic-processed from the image by image recognition technology or the like, and edits the specified area by replacing it with another person's face, so that the other person's face is placed after the change. Generate an image of.
  • the learning unit 135 learns various information.
  • the learning unit 135 learns various types of information based on information from an external information processing device and information stored in the storage unit 120.
  • the learning unit 135 learns various types of information based on the information stored in the data information storage unit 121.
  • the learning unit 135 stores the model generated by learning in the model information storage unit 122.
  • the learning unit 135 performs learning processing.
  • the learning unit 135 performs various learning.
  • the learning unit 135 learns various types of information based on the information received by the receiving unit 133.
  • the learning unit 135 learns (generates) a model.
  • the learning unit 135 learns various information such as a model.
  • the learning unit 135 generates a model by learning.
  • the learning unit 135 learns a model by using various techniques related to machine learning. For example, the learning unit 135 learns the parameters of the model (network).
  • the learning unit 135 learns a model by using various techniques related to machine learning.
  • the learning unit 135 learns network parameters. For example, the learning unit 135 learns the network parameters of the model M1. The learning unit 135 learns the network parameters of the model M1.
  • the learning unit 135 performs learning processing based on the learning data (teacher data) stored in the data information storage unit 121.
  • the learning unit 135 generates a model M1 by performing a learning process using the learning data stored in the data information storage unit 121.
  • the learning unit 135 generates a model used for image recognition.
  • the learning unit 135 generates the model M1 by learning the parameters of the network of the model M1.
  • the learning method by the learning unit 135 is not particularly limited, but for example, learning data in which label information (labels indicating objects or people in an image, etc.) and an image group are linked is prepared, and the learning data is used as a multi-layer neural network. You may learn by inputting to the calculation model based on. Further, for example, a method based on DNN (Deep Neural Network) such as CNN (Convolutional Neural Network) or 3D-CNN may be used.
  • DNN Deep Neural Network
  • CNN Convolutional Neural Network
  • 3D-CNN 3D-CNN
  • the learning unit 135 targets time-series data such as moving images (moving images) such as videos, it is a recurrent neural network (RNN) or an LSTM (Long Short-Term Memory units) that is an extension of the RNN. You may use the method based on.
  • RNN recurrent neural network
  • LSTM Long Short-Term Memory units
  • the learning unit 135 executes the learning process using the data set.
  • the learning unit 135 adds the data received by the receiving unit 133 to the learning data, and executes the learning process of the neural network using the learning data to which the data is added.
  • the learning unit 135 updates the model M1 by executing a learning process using the added data set.
  • the data acquisition device 100 may use a model (network) in the form of a neural network (NN) such as a deep neural network (DNN).
  • NN neural network
  • DNN deep neural network
  • the data acquisition device 100 is not limited to the neural network, and may use various types of models (functions) such as a regression model such as SVM (Support Vector Machine).
  • SVM Small Vector Machine
  • the data acquisition device 100 may use a model (function) of any format.
  • the data acquisition device 100 may use various regression models such as a non-linear regression model and a linear regression model.
  • FIG. 7 is an example of a network corresponding to the model.
  • the network NW1 shown in FIG. 7 shows a neural network including a plurality of (multilayer) intermediate layers between the input layer INL and the output layer OUTL.
  • the network NW1 shown in FIG. 7 corresponds to the model M1 which is the neural network in FIG.
  • the data acquisition device 100 may learn the parameters of the network NW1 shown in FIG. 7.
  • the network NW1 shown in FIG. 7 is a conceptual diagram showing a neural network (model) used for image recognition corresponding to the network of the model M1.
  • model used for image recognition corresponding to the network of the model M1.
  • the network NW1 outputs the recognition result from the output layer OUTL.
  • the data acquisition device 100 inputs information to the input layer INL in the network NW1 to output the recognition result corresponding to the input from the output layer OUTL.
  • FIG. 7 shows the network NW1 as an example of the model (network), the network NW1 may be in various formats depending on the application and the like.
  • the data acquisition device 100 learns the model M1 by learning the parameters (weights) of the model M1 having the structure of the network NW1 shown in FIG. 7.
  • FIG. 8 is a diagram showing a configuration example of the sensor device according to the embodiment of the present disclosure.
  • the sensor device 10 includes a communication unit 11, an input unit 12, an output unit 13, a storage unit 14, a control unit 15, and a sensor unit 16.
  • the sensor device 10 may have any device configuration as long as it can collect data and provide it to the data collection device 100. For example, if the sensor device 10 has a communication unit 11 that communicates with the data collection device 100 and a control unit 15 that performs a process of collecting data, other configurations may be arbitrary. Depending on the type of the sensor device 10, for example, the sensor device 10 may not have any of the input unit 12, the output unit 13, the storage unit 14, and the sensor unit 16.
  • the sensor device 10 when the sensor device 10 is an image sensor (imager), the sensor device 10 may have only the communication unit 11, the control unit 15, and the sensor unit 16.
  • the image sensor used in the image sensor (imager) is CMOS (Complementary Metal Oxide Semiconductor).
  • the image pickup element used in the image sensor (imager) is not limited to CMOS, and may be various image pickup elements such as a CCD (Charge Coupled Device).
  • the sensor device 10 when the sensor device 10 is a data server, the sensor device 10 may have a configuration having only a communication unit 11, a storage unit 14, and a control unit 15.
  • the sensor device 10 when the sensor device 10 is a moving body, the sensor device 10 may be configured to have a mechanism for realizing movement of a drive unit (motor) or the like.
  • the communication unit 11 is realized by, for example, a NIC or a communication circuit.
  • the communication unit 11 is connected to the network N (Internet or the like) by wire or wirelessly, and transmits / receives information to / from other devices such as the data collection device 100 via the network N.
  • the input unit 12 accepts various inputs.
  • the input unit 12 accepts the user's operation.
  • the input unit 12 may accept an operation (user operation) on the sensor device 10 used by the user as an operation input by the user.
  • the input unit 12 may receive information regarding a user's operation using a remote controller (remote controller) via the communication unit 11. Further, the input unit 12 may have a button provided on the sensor device 10 or a keyboard or mouse connected to the sensor device 10.
  • the input unit 12 may have a touch panel capable of realizing a function equivalent to that of a remote controller, a keyboard, or a mouse.
  • various information is input to the input unit 12 via the display (output unit 13).
  • the input unit 12 receives various operations from the user via the display screen by the function of the touch panel realized by various sensors. That is, the input unit 12 receives various operations from the user via the display (output unit 13) of the sensor device 10.
  • the input unit 12 accepts a user's operation via the display (output unit 13) of the sensor device 10.
  • the output unit 13 outputs various information.
  • the output unit 13 has a function of displaying information.
  • the output unit 13 is provided in the sensor device 10 and displays various information.
  • the output unit 13 is realized by, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
  • the output unit 13 has a transparent display.
  • the output unit 13 may have a function of outputting voice.
  • the output unit 13 has a speaker that outputs sound.
  • the storage unit 14 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 14 stores various information used for displaying the information.
  • the storage unit 14 has a collection condition storage unit 141 and a data storage unit 142.
  • the collection condition storage unit 141 stores various information regarding the data collection conditions.
  • the collection condition storage unit 141 stores the conditions of the data to be collected as the data used for learning.
  • FIG. 9 is a diagram showing an example of a collection condition storage unit according to the embodiment of the present disclosure.
  • the collection condition storage unit 141 includes items such as "condition ID" and "collection condition information”.
  • Collection condition information indicates the condition of the data to be collected. In the example of FIG. 9, it is shown that the collection condition identified by the condition ID “CD1” is the collection condition information INF1. In the example of FIG. 9, although the illustration is abstractly shown as “INF1”, the “collection condition information” may store information indicating a specific standard indicating what kind of data is to be collected.
  • the collection conditions related to privacy are stored in the "collection condition information”.
  • “Collection condition information” includes at least one of the consent of the subject or data right holder who is the target of data collection by the sensor, the judgment criteria of the point where the data is collected by the sensor, and the data collection standard. Is remembered.
  • the collection condition indicating whether or not the consent of the person included in the image is required is stored.
  • the collection conditions indicating the collection standards based on the laws and ordinances of the country or administrative division where the data is collected by the sensor are stored.
  • the “collection condition information” in the case of an image including a human face, information indicating whether or not to edit the human face is stored.
  • the collection condition storage unit 141 is not limited to the above, and may store various information depending on the purpose.
  • the data storage unit 142 stores various information related to the data acquired by the data collection of the sensor unit 16.
  • the data storage unit 142 stores the image captured by the image sensor 161.
  • the data storage unit 142 stores each acquired data in association with identification information (ID) for identifying the data and the date and time of collection. Further, when the sensor unit 16 collects a plurality of types of data such as images and sounds, the data types are associated with each data and stored. Further, in the data storage unit 142, information indicating whether or not the consent of the subject (person) for which the data is collected or the right holder of the data is obtained is stored in association with each data. For example, in the data storage unit 142, when the subject (person) who collects the data has consented to the use of the data for learning, information indicating that the consent of the person has been obtained for the data is stored in the data storage unit 142. Store in association with each other.
  • ID identification information
  • control unit 15 for example, a program stored inside the sensor device 10 (for example, an information processing program such as a data providing program according to the present disclosure) is executed by a CPU, an MPU, or the like with a RAM or the like as a work area. It will be realized. Further, the control unit 15 is a controller, and may be realized by an integrated circuit such as an ASIC or FPGA.
  • control unit 15 includes a reception unit 151, an acquisition unit 152, a data processing unit 153, and a transmission unit 154, and realizes or executes the functions and operations of information processing described below. do.
  • the internal configuration of the control unit 15 is not limited to the configuration shown in FIG. 8, and may be any other configuration as long as it is configured to perform information processing described later.
  • the receiving unit 151 receives various information.
  • the receiving unit 151 receives various information from an external information processing device.
  • the receiving unit 151 receives various information from other information processing devices such as the data collecting device 100.
  • the receiving unit 151 receives information indicating the data required by the data collecting device 100.
  • the receiving unit 151 receives the request information from the data collecting device 100.
  • the acquisition unit 152 acquires various information.
  • the acquisition unit 152 acquires various information from the storage unit 14.
  • the acquisition unit 152 acquires various information from the collection condition storage unit 141 and the data storage unit 142.
  • the acquisition unit 152 acquires the data corresponding to the request information received by the reception unit 151.
  • the acquisition unit 152 extracts the data corresponding to the request information received by the reception unit 151 from the data storage unit 142.
  • the acquisition unit 152 extracts data corresponding to the attribute “child”.
  • the data processing unit 153 performs data processing for editing information.
  • the data processing unit 153 edits the sensor information collected by the sensor unit 16.
  • the data processing unit 153 edits the image collected by the image sensor 161.
  • the data processing unit 153 edits the data so as to satisfy the collection conditions. If the image captured by the sensor unit 16 does not meet the privacy-related collection conditions, the data processing unit 153 edits the image with a modification that protects the privacy.
  • the data processing unit 153 processes the human face included in the image when the image does not meet the collection conditions related to privacy.
  • the data processing unit 153 mosaics a human face.
  • the data processing unit 153 changes the face of a person to the face of another person different from the person.
  • the data processing unit 153 processes the face of the person included in the image without the consent of the person.
  • the data processing unit 153 mosaics the human face in each target image extracted by the acquisition unit 152.
  • the data processing unit 153 identifies an area containing a person's face from the image by using face recognition technology or the like, and mosaics the specified area to obtain an edited image in which the person's face is mosaic-processed. Generate.
  • the data processing unit 153 edits to change the face of a person in the image to the face of another person.
  • the data processing unit 153 identifies an area containing a person's face from the image by using face recognition technology or the like, and edits the specified area by replacing it with another person's face so that the person's face in the image is another person's face. Generate a modified image with the face changed.
  • the data processing unit 153 uses GAN technology to change the face of a person in an image to the face of another person. Even if the data processing unit 153 changes the face of the person in the image to the face of the permitted user by using the image of the face of the person (permitted user) who has permitted the use of the face image stored in the storage unit 14. good.
  • the transmission unit 154 transmits various information to an external information processing device. For example, the transmission unit 154 transmits various information to another information processing device such as the data collection device 100. The transmission unit 154 transmits the information stored in the storage unit 14. The transmission unit 154 transmits various information in response to a request from another information processing device such as the data collection device 100. The transmission unit 154 transmits various types of information stored in the storage unit 14.
  • the transmission unit 154 transmits the sensor information collected by the sensor unit 16 to the data collection device 100.
  • the transmission unit 154 transmits the image captured by the image sensor 161 (image sensor) of the sensor unit 16 to the data acquisition device 100.
  • the transmission unit 154 transmits the provision data collected as the data corresponding to the request information to the external device.
  • the transmission unit 154 transmits the provision data collected as the data corresponding to the request information to the data collection device 100.
  • the transmission unit 154 transmits the data acquired by the acquisition unit 152 to the data collection device 100.
  • the transmission unit 154 transmits the collection data including the edited image group edited by the data processing unit 153 to the data collection device 100.
  • the transmission unit 154 receives data satisfying the collection conditions including at least one of the consent of the subject to be collected by the sensor unit 16, the criterion for determining the point where the sensor unit 16 collects the data, and the data collection standard. , Sent to the data collection device 100.
  • the transmission unit 154 transmits data to the data collection device 100 in response to a request for data from the data collection device 100.
  • the transmission unit 154 is edited by the data processing unit 153 and transmits data satisfying the collection conditions to the data collection device 100.
  • the transmission unit 154 transmits data to the data collection device 100 that satisfies the collection conditions regarding the privacy of the person who is the subject.
  • the transmission unit 154 transmits the image edited by the data processing unit 153 to the data acquisition device 100.
  • the transmission unit 154 transmits an image in which the face of the person concerned is edited by the data processing unit 153 to the data collection device 100.
  • the sensor unit 16 has a sensor.
  • the sensor unit 16 has an image sensor 161 that captures an image.
  • the sensor unit 16 captures an image of the corresponding person corresponding to the attribute required by the data acquisition device 100 by the image sensor 161.
  • the sensor unit 16 is not limited to the above, and may have various sensors.
  • the sensor unit 16 is for receiving biological information such as sound sensor, position sensor, acceleration sensor, gyro sensor, temperature sensor, humidity sensor, illuminance sensor, pressure sensor, proximity sensor, odor, sweat, heartbeat, pulse, and brain wave. It may have various sensors such as sensors. Further, the sensor for collecting the above-mentioned various information in the sensor unit 16 may be a common sensor or may be realized by different sensors.
  • FIG. 10 is a flowchart showing the processing of the data collection device according to the embodiment of the present disclosure. Specifically, FIG. 10 is a flowchart showing a procedure of information processing by the data acquisition device 100.
  • the data acquisition device 100 transmits a request signal requesting data to the sensor device (step S101).
  • the data collecting device 100 transmits to the sensor device 10 a request signal for collecting data useful for learning a learning model that outputs an input according to a learning result, insufficient data, or data similar to the data. do.
  • the data acquisition device 100 receives the data corresponding to the request from the sensor device (step S102).
  • the data acquisition device 100 receives data corresponding to the request signal from the sensor device 10.
  • FIG. 11 is a flowchart showing the processing of the sensor device according to the embodiment of the present disclosure. Specifically, FIG. 11 is a flowchart showing a procedure of information processing by the sensor device 10.
  • the sensor device 10 receives a request signal requesting data (step S201). For example, the sensor device 10 receives from the data acquisition device 100 a request signal requesting data useful for learning the learning model used by the data acquisition device 100, insufficient data, or data similar to the data. Then, the sensor device 10 transmits the collected data to the server device (step S202). For example, the sensor device 10 collects valid data, missing data or similar data based on the request signal, and transmits the collected data to the data collection device 100.
  • FIG. 12 is a sequence diagram showing a processing procedure of the data collection system according to the embodiment of the present disclosure.
  • the sensor device 10 acquires data by the sensor (step S301). For example, the sensor device 10 acquires an image by the image sensor 161.
  • the data collection device 100 determines necessary data based on the possessed data used for machine learning (step S302). For example, the data acquisition device 100 determines the data of the minority attribute as the necessary data.
  • the data acquisition device 100 requests data from the sensor device 10 (step S303). For example, the data acquisition device 100 requests the sensor device 10 for an image in which the minority attribute "child" is taken.
  • the sensor device 10 edits the data (step S304). For example, the sensor device 10 mosaic-edits the child's face in the image.
  • the sensor device 10 transmits the edited data to the data collection device 100 (step S305). For example, the sensor device 10 transmits an edited image obtained by mosaicking the child's face in the image to the data acquisition device 100.
  • the data acquisition device 100 that has received the data from the sensor device 10 adds the received data as learning data (step S306). For example, the data acquisition device 100 adds the received edited image to the data set used for learning.
  • FIG. 13 is a flowchart showing an example of data collection and learning processing of a minority attribute.
  • the data collection system 1 is described as the main body of the processing below, any of the data collection device 100 and the sensor device 10 included in the data collection system 1 may perform the processing.
  • the data collection system 1 collects data having a minority attribute (step S401). For example, the data collection system 1 collects an image of a minority attribute "child” by taking an image of a child by the sensor device 10 and transmitting it to the data collection device 100. As a result, the data collection system 1 adds the image of the minority attribute "child" to the accumulated data AD.
  • the data collection system 1 performs re-learning (step S402). For example, in the data collection system 1, the data collection device 100 relearns the model (network) using the accumulated data AD to which the image of the minority attribute “child” is added as training data.
  • step S403 the data collection system 1 checks the data bias.
  • step S403 determines that there is a data bias
  • the data collection system 1 returns to step S401 and repeats the process.
  • step S403 no data bias
  • the data collection system 1 ends the re-learning process.
  • the data collection system 1 replaces the network of the system with the network relearned in step S402.
  • the data collection system 1 updates the parameters of the model (network) to the parameters after the re-learning in step S402.
  • the data collection system 1 does not need to collect any more data and ends.
  • the data collection system 1 collects a small number of data.
  • a sensor device 10 such as an in-vehicle camera (for example, a data collection system 1)
  • a sensor device 10 such as an in-vehicle camera
  • the judgment basis for example, a bounding box or a heat map
  • It can be displayed on an output device OD such as an AR glass or a transmissive monitor and superimposed on the real world.
  • a system having such a configuration has a feature that the processing is very light because the image outside the vehicle in the real world is not captured in the display device.
  • a system that recognizes a person or an object using an output device OD such as a VR glass has a 360-degree spherical viewing angle, and thus performs a wider range of recognition. be able to.
  • the low recognition rate of minority data attributes may impair fairness.
  • the recognition rate in person / object recognition is lower than that of many data attributes, which is unfair.
  • Such unfairness is not desirable in terms of AI ethics in terms of practical use, and may have adverse effects on minority data attributes.
  • some data taken by an in-vehicle camera includes a clear facial image.
  • it may be difficult to obtain the consent of a passerby photographed by an in-vehicle camera. Therefore, a process of performing face recognition on an image taken by an in-vehicle camera and automatically applying a mosaic to the face image or a process of reducing the resolution of the face image is performed.
  • a process of performing face recognition on an image taken by an in-vehicle camera and automatically applying a mosaic to the face image or a process of reducing the resolution of the face image is performed.
  • By taking the procedure of converting to information that cannot identify an individual and then uploading it to the cloud it is possible to achieve both protection of personal information and utilization of data. Relearn a deep neural network containing additional data on the cloud. Then, the accuracy of the model can be improved by updating and distributing the relearned deep neural network to the in-vehicle system.
  • FIG. 15 is a flowchart showing an example of the model update process.
  • the data collection system 1 has at least the sensor device 10a which is a mobile body as the sensor device 10.
  • the data collection system 1 is described as the main body of the processing below, any of the data collection device 100 and the sensor device 10 included in the data collection system 1 may perform the processing.
  • the data collection system 1 acquires an image with a camera (step S501).
  • the sensor device 10 acquires an image by taking an image of the image sensor 161.
  • the data collection system 1 detects the face of a person (step S502).
  • the sensor device 10 detects the face of a person included in the image.
  • the data collection system 1 applies a mosaic to the face portion or reduces the resolution (step S503).
  • the data collection system 1 converts the data into data that cannot identify an individual.
  • the sensor device 10 performs a process of applying a mosaic to the face portion or reducing the resolution.
  • the data collection system 1 adds data and performs re-learning (step S504).
  • the data collecting device 100 acquires data from the sensor device 10, adds the acquired data to the training data, and performs re-learning.
  • the data collection system 1 updates the relearned model (step S505).
  • the data acquisition device 100 updates the parameters of the model (network) to the parameters after the re-learning in step S404.
  • the data collecting device 100 may be a device having a sensor unit 16 and having a function of sensing and acquiring necessary data by the sensor unit 16 of the own device.
  • the data acquisition device 100 may be a camera, a smartphone, a television, a car, a drone, a robot, an AR glass, or the like.
  • the data collection device 100 may be a sensor device that autonomously collects necessary data.
  • the image captured by the image sensor 161 has been described as an example of the data, but the data is not limited to the image and may be data sensed by various sensors. That is, the sensor is not limited to the image sensor 161 and may be a sensor that senses various types of data. For example, the sensor may be a sound sensor that senses the sound of a microphone or the like.
  • the data acquisition device 100 requests the voice data required by the sensor device 10.
  • the sensor device 10 acquires voice data by a sound sensor and transmits it to the data collection device 100.
  • the data acquisition device 100 learns a neural network (model) by using the acquired voice data as learning data.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.
  • the data collection system (data collection system 1 in the embodiment) according to the present disclosure outputs a sensor device (sensor device 10 in the embodiment) for collecting data and an output according to the learning result for the input.
  • a server device including a learning model to be performed and a server device (data collecting device 100 in the embodiment) having a data analysis unit (selection unit 131 in the embodiment) for identifying data that is valid or insufficient for learning the learning model.
  • the data collection system can collect desired data used for machine learning by requesting data from the sensor device and transmitting the data corresponding to the request to the server device. can.
  • the data collection system selects data that meets at least the consent of the subject to be collected or the right holder of the data, or the judgment criteria of the point where the data is collected, in the data collection by the sensor device.
  • the sensor device can collect desired data to be used for machine learning by transmitting the data to the server device in response to the data request from the server device.
  • the sensor device collects data useful for learning the learning model used by the server device, insufficient data, or data similar to the data from the external device.
  • a receiving unit for receiving the requested request signal is provided, valid data, missing data or similar data is collected based on the request signal, and the collected data is transmitted to the server device. ..
  • the sensor device can collect desired data used for machine learning by transmitting data to the server device in response to an external request.
  • the sensor device transmits data to the server device that at least satisfies the consent of the subject for which the data is collected or the right holder of the data, or the judgment criteria of the point where the data is collected.
  • the sensor device can collect desired data used for machine learning by transmitting data satisfying a predetermined condition to the server device.
  • the sensor device includes an image sensor (image sensor 161 in the embodiment), changes the resolution, brightness, angle of view, or frame rate according to a request signal, and transmits the image sensor to the server device.
  • image sensor 161 in the embodiment changes the resolution, brightness, angle of view, or frame rate according to a request signal, and transmits the image sensor to the server device.
  • the sensor device can collect desired data used for machine learning by changing the resolution, the luminance, the angle of view, or the frame rate according to the requested signal and transmitting the data.
  • the sensor device includes a data processing unit (data processing unit 153 in the embodiment), and the data processing unit transmits data to which predetermined processing has been performed to the server device.
  • the data processing unit edits the collected data. In this way, the sensor device can collect desired data by editing the collected data.
  • the data processing unit performs processing related to privacy protection.
  • the sensor device can collect desired data while protecting the privacy of the person to be collected by performing the process related to the privacy protection.
  • the data processing unit transforms the face of the person included in the data.
  • the sensor device can collect desired data while satisfying the collection conditions regarding privacy by mosaicking the human face.
  • the data processing department changes the face of a person to the face of another person different from the person.
  • the sensor device can collect desired data while satisfying the collection conditions regarding privacy by changing the face of a person to the face of another person.
  • the image sensor acquires the image of the corresponding person corresponding to the minority attribute.
  • the sensor device can acquire the image required by the server device by acquiring the image of the corresponding person corresponding to the minority attribute, so that desired data can be collected.
  • the data processing department edits the face of the relevant person in the data without the consent of the relevant person.
  • the sensor device collects desired data while protecting the privacy of the person concerned by editing the face of the person concerned without the consent of the person concerned who has taken an image in response to the request of the server device. be able to.
  • the data collection device includes a transmission unit (transmission unit 132 in the embodiment) and a reception unit (reception unit 133 in the embodiment).
  • the transmission unit transmits to the sensor device a request signal for collecting data useful for learning a learning model that outputs an input according to the learning result, insufficient data, or data similar to the data.
  • the receiving unit receives data corresponding to the request signal from the sensor device.
  • the data collecting device can collect the desired data used for machine learning by requesting the data from the sensor device and receiving the data from the sensor device.
  • the data collection device is provided with a data analysis unit.
  • the data analysis unit identifies data that is useful or missing for learning. In this way, the data acquisition device can collect desired data to be used for machine learning by identifying necessary data and requesting the sensor device.
  • the data collection device includes a learning unit (learning unit 135 in the embodiment).
  • the learning unit adds the data received from the sensor device to the learning data, and uses the added learning data to execute the learning process of the neural network.
  • the data acquisition device performs learning using the learning data that can be learned by an accurate model by executing the learning process of the neural network using the learning data after the data is added from the sensor device. Can be done.
  • the transmitter requests data from a sensor device having an image sensor.
  • the data acquisition device can collect desired data to be used for machine learning by requesting the data from the sensor device having the image sensor.
  • the receiving unit receives data including people from the sensor device.
  • the data collection device can collect data including people.
  • the data collection device includes an information processing unit (information processing unit 134 in the embodiment).
  • the information processing department changes the face of a person to the face of another person different from the person.
  • the data acquisition device can collect desired data while protecting the privacy of the photographed person by changing the face of the person in the data to the face of another person different from the person.
  • the information processing department changes the mosaic-processed area to another person's face.
  • the data acquisition device can use the data including the face of another person who is not the photographed person for learning by changing the mosaic-processed area to the face of another person, so that the photographed person can be used. Accurate models can be learned while preserving the privacy of.
  • FIG. 16 is a hardware configuration diagram showing an example of a computer that realizes the functions of information devices such as a data acquisition device and a sensor device.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the information processing program according to the present disclosure and the data in the storage unit 120 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • Sensor devices that collect data and It is provided with a learning model that outputs an input according to a learning result, and a server device having a data analysis unit that identifies data that is valid or insufficient for learning the learning model.
  • the server device transmits a request signal for collecting data useful for learning, insufficient data, or data similar to the data specified by the data analysis unit to the sensor device.
  • the sensor device collects data useful for the learning, the missing data or similar data based on the received request signal, and transmits the collected data to the server device.
  • the server device is a data collection system characterized in that the learning model is retrained based on the data transmitted from the sensor device.
  • the data collection system selects data that satisfies at least the consent of the subject to be collected or the right holder of the data, or the judgment criteria of the point where the data is collected in the data collection by the sensor device.
  • the data collection system according to (1), wherein the data is transmitted to the server device.
  • (3) In a sensor device that collects data It is equipped with a receiver that receives from an external device a request signal that requests data that is useful for learning the learning model used by the server device, missing data, or data similar to the data.
  • a sensor device comprising collecting the valid data, the missing data or similar data based on the request signal, and transmitting the collected data to the server device.
  • the sensor device is characterized in that at least the consent of the subject for which the data is collected or the right holder of the data, or the data satisfying the judgment criteria of the point where the data is collected is transmitted to the server device.
  • the sensor device includes an image sensor, and is characterized in that the resolution, brightness, angle of view, or frame rate is changed according to the requested signal and transmitted to the server device (3) or (4). ).
  • (6) Data processing unit that edits the collected data, Further prepare The sensor device according to (5), wherein the data processing unit transmits data that has been subjected to predetermined processing to the server device. (7) The data processing unit Take action to protect your privacy, The sensor device according to (6).
  • the data processing unit The sensor device according to (7), which deforms a person's face included in the data.
  • the data processing unit The sensor device according to (8), wherein the human face is mosaic-processed.
  • the data processing unit The sensor device according to (9), wherein the face of the person is changed to the face of another person different from the person.
  • the image sensor is The sensor device according to any one of (6) to (10), which acquires an image of a person corresponding to a minority attribute.
  • the data processing unit The sensor device according to (11), which edits the face of the relevant person in the data without the consent of the relevant person.
  • a transmitter that sends a request signal to the sensor device to collect data that is useful for learning a learning model that outputs data according to the learning result, insufficient data, or data similar to the data.
  • a receiving unit that receives data corresponding to the requested signal from the sensor device, and a receiving unit.
  • a data analysis unit that identifies data that is valid for learning or data that is lacking. Further prepare The transmitter is The data acquisition device according to (13), which requests the sensor device for the data specified by the data analysis unit.
  • a learning unit that adds data received from the sensor device to the learning data and executes the learning process of the neural network using the added learning data.
  • the data acquisition device according to (13) or (14).
  • the transmitter is The data acquisition device according to any one of (13) to (15), which requests data from the sensor device having an image sensor.
  • the receiver is The data acquisition device according to (16), which receives data including a person from the sensor device.
  • Information processing department that changes the face of the person to the face of another person different from the person.
  • the information processing unit The data acquisition device according to (18), wherein when the person's face is mosaic-processed, the mosaic-processed area is changed to the face of another person.
  • the sensor device collects the data
  • a server device having a learning model that outputs an input according to a learning result and a data analysis unit that identifies data that is valid or insufficient for training of the training model is a learning specified by the data analysis unit.
  • data useful for the learning, the missing data or similar data is collected, and the collected data is transmitted to the server device.
  • the server device retrains the learning model based on the data transmitted from the sensor device.
  • the data collection method that performs the process.
  • Data collection system 100 Data collection device (server device) 110 Communication unit 120 Storage unit 121 Data information storage unit 122 Model information storage unit 123 Minority attribute information storage unit 130 Control unit 131 Selection unit (data analysis unit) 132 Transmitter 133 Receiver 134 Information processing 135 Learning unit 10 Sensor device 11 Communication unit 12 Input unit 13 Output unit 14 Storage unit 141 Collection condition storage unit 142 Data storage unit 15 Control unit 151 Reception unit 152 Acquisition unit 153 Data processing unit 154 Transmitter 16 Sensor (sensor)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係るデータ収集システムは、データを収集するセンサ装置と、入力に対して学習結果に応じた出力を行う学習モデルと、前記学習モデルの学習に有効なデータまたは不足するデータを特定するデータ解析部を有するサーバ装置とを備え、前記サーバ装置は、前記データ解析部により特定された学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号を前記センサ装置に送信し、前記センサ装置は受信した前記要求信号に基づき前記学習に有効なデータ、前記不足するデータ又は類似するデータを収集し、収集した前記データを前記サーバ装置へ送信し、前記サーバ装置は、前記センサ装置から送信されたデータに基づき前記学習モデルの再学習を行う。

Description

データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
　本開示は、データ収集システム、センサ装置、データ収集装置、及びデータ収集方法に関する。
　様々な技術分野において、深層学習（ディープラーニング）等の機械学習（単に「学習」ともいう）を利用した情報処理が活用されており、ニューラルネットワーク等のモデルを学習する技術が提供されてきている。このような学習においては、学習されるニューラルネットワーク等のモデル等の性能に学習に用いるデータが影響するため、学習に用いるデータが重要であり、学習に用いるデータに関する技術が提供されている（例えば、特許文献１参照）。
特開２０１９－１７９４５７号公報
　従来技術によれば、欠落した値を候補値から補完したデータを用いて学習を行う。
　しかしながら、従来技術は、適切なデータを用いて学習することができるとは限らない。例えば、従来技術では、学習に適していないデータが用いられる場合、そのデータがそのまま用いられるため、所望の性能を有するニューラルネットワーク等のモデルを学習することができない場合がある。そのため、学習に用いる所望のデータを収集することが望まれている。
　そこで、本開示では、機械学習に用いる所望のデータを収集することができるデータ収集システム、センサ装置、データ収集装置、及びデータ収集方法を提案する。
　上記の課題を解決するために、本開示に係る一形態のデータ収集システムは、データを収集するセンサ装置と、入力に対して学習結果に応じた出力を行う学習モデルと、前記学習モデルの学習に有効なデータまたは不足するデータを特定するデータ解析部を有するサーバ装置とを備え、前記サーバ装置は、前記データ解析部により特定された学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号を前記センサ装置に送信し、前記センサ装置は受信した前記要求信号に基づき前記学習に有効なデータ、前記不足するデータ又は類似するデータを収集し、収集した前記データを前記サーバ装置へ送信し、前記サーバ装置は、前記センサ装置から送信されたデータに基づき前記学習モデルの再学習を行う。
本開示の実施形態に係るデータ収集処理の一例を示す図である。 本開示の実施形態に係るデータ収集システムの構成例を示す図である。 本開示の実施形態に係るデータ収集装置の構成例を示す図である。 本開示の実施形態に係るデータ情報記憶部の一例を示す図である。 本開示の実施形態に係るモデル情報記憶部の一例を示す図である。 本開示の実施形態に係る少数属性情報記憶部の一例を示す図である。 モデルに対応するネットワークの一例を図である。 本開示の実施形態に係るセンサ装置の構成例を示す図である。 本開示の実施形態に係る収集条件記憶部の一例を示す図である。 本開示の実施形態に係るデータ収集装置の処理を示すフローチャートである。 本開示の実施形態に係るセンサ装置の処理を示すフローチャートである。 本開示の実施形態に係るデータ収集システムの処理手順を示すシーケンス図である。 少数属性のデータ収集及び学習の処理の一例を示すフローチャートである。 判断の可視化を含む処理の概念図である。 モデルのアップデート処理の一例を示すフローチャートである。 データ収集装置やセンサ装置等の情報機器の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかるデータ収集システム、センサ装置、データ収集装置、及びデータ収集方法が限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．本開示の実施形態に係るデータ収集処理の概要
　　　　１－１－１．データ収集（同意、判断規準等）
　　　　１－１－２．少数属性データの取得
　　　　１－１－３．Influence　function
　　　　１－１－４．判断の可視化（Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ等）
　　　１－２．実施形態に係るデータ収集システムの構成
　　　１－３．実施形態に係るデータ収集装置の構成
　　　　１－３－１．モデル（ネットワーク）例
　　　１－４．実施形態に係るセンサ装置の構成
　　　１－５．実施形態に係る情報処理の手順
　　　　１－５－１．データ収集装置に係る処理の手順
　　　　１－５－２．センサ装置に係る処理の手順
　　　　１－５－３．データ収集システムに係る処理の手順
　　　１－６．少数属性のデータ収集及び学習処理例
　　　１－７．判断根拠の表示等
　　２．その他の実施形態
　　　２－１．その他の構成例
　　　２－２．データ
　　　２－３．その他
　　３．本開示に係る効果
　　４．ハードウェア構成
［１．実施形態］
［１－１．本開示の実施形態に係るデータ収集処理の概要］
　図１は、本開示の実施形態に係るデータ収集処理の一例を示す図である。本開示の実施形態に係るデータ収集処理は、データ収集装置１００やセンサ装置１０を含むデータ収集システム１によって実現される。図１では、データ収集システム１によって実現されるデータ収集処理の概要を説明する。図１は、本開示の実施形態に係るデータ収集処理の一例を示す図である。
　データ収集装置１００は、機械学習に用いる学習データ（以下「保有データ」ともいう）において、学習に有効な効果あるいは影響を及ぼすデータをXAI（Explainable　AI）あるいはInfluence　function（影響関数）を用いて特定し、特定したデータ、保有データに不足するデータ、または、これらのデータのうち少なくとも１つのデータに類似するデータをセンサ装置１０に要求するサーバ装置である。そして、データ収集装置１００は、センサ装置１０から要求に対応するデータを取得することで、機械学習に用いるデータを収集する。図１では、データ収集装置１００は、センサ装置１０から取得したデータを、ディープニューラルネットワーク（ＤＮＮ：Deep　Neural　Network）の学習に用いるデータ（以下「学習データ」ともいう）に追加する場合を一例として示す。データ収集装置１００は、画像認識を行うＤＮＮである識別モデル（以下、単に「モデル」ともいう）を、学習データを用いて深層学習（以下「ディープラーニング」ともいう）を行う学習処理を実行する。なお、以下では、ディープニューラルネットワーク（ＤＮＮ）を単にニューラルネットワーク（ＮＮ：Neural　Network）と記載する場合がある。
　また、図１では、画像を撮像するカメラを、センサ装置１０の一例として説明する。なお、センサ装置１０は、データ収集装置１００が要求するデータをセンサにより収集しデータ収集装置１００に提供可能であれば、カメラに限らず、種々の装置であってもよい。例えば、センサ装置１０は、移動ロボット、ドローン等のＵＡＶ（Unmanned　Aerial　Vehicle）や自動車等の車両等である移動体や、イメージセンサ（イメージャ）や、イヤホン、ＡＲ（Augmented　Reality：拡張現実）グラス等のウェアラブル端末（Wearable　Device）、テレビ、携帯電話、冷蔵庫、エアコン等の家電製品であってもよいが、この点についての詳細は後述する。
　ここから、図１に示す処理の概要を説明する。まず、センサ装置１０は、センサ部１６（図８参照）のセンシング（検知）によりデータを取得する（ステップＳ１）。図１の例では、センサ装置１０は、画像センサ１６１（図８参照）により画像を撮像し、撮像した画像をデータＳＤ１として保有する。データＳＤ１は、データ記憶部１４２（図８参照）に記憶される。なお、センサ装置１０は、データ収集装置１００からの要求に応じて、その要求に対応する画像の撮影を行ってもよいが、この点については後述する。
　データ収集装置１００は、機械学習に用いる学習データＤＳ１に基づいて、センサ装置１０に要求するデータを特定する（ステップＳ２）。学習データＤＳ１は、データ情報記憶部１２１（図４参照）に記憶される。図１では、学習データＤＳ１は、大人が撮影された画像が多数（例えば全体の９８％等）含まれ、子供が撮影された画像が少数（例えば全体の２％等）しか含まれないものとする。このように、図１では、学習データＤＳ１に含まれる属性「子供」に該当するデータが他の属性「大人」に該当するデータよりも少ない。以下では、図１の属性「子供」のように該当するデータが少ない属性を「少数属性」と記載する場合がある。例えば、データ収集装置１００は、所定の閾値（例えば、０．１（１０％）や０．０５（５％）等）と、各属性に該当するデータの割合とを比較し、所定の閾値未満の属性を少数属性であると判定してもよい。
　データ収集装置１００は、学習データＤＳ１に含まれるデータ構成の偏りに応じて、センサ装置１０に要求するデータを特定する。データ収集装置１００は、少数属性に該当するデータをセンサ装置１０に要求するデータに特定する。図１の例では、データ収集装置１００は、要求情報ＭＣ１に示すように、少数属性「子供」に該当する画像をセンサ装置１０に要求する画像に特定する。なお、図１の例では、保有データに不足するデータを特定する場合を示すが、XAIあるいはInfluence　functionを用いて学習に有効な効果あるいは影響を及ぼすデータと特定されたデータを要求してもよいが、XAI、Influence　function等の点についての詳細は後述する。
　そして、データ収集装置１００は、データをセンサ装置１０に要求する（ステップＳ３）。データ収集装置１００は、要求情報ＭＣ１をセンサ装置１０へ送信することにより、少数属性「子供」に該当する画像をセンサ装置１０に要求する。データ収集装置１００は、必要とするデータの数（以下「要求数」ともいう）を示す情報を送信してもよい。例えば、データ収集装置１００は、必要とする少数属性「子供」に該当する画像の数（要求数）を示す情報を送信してもよい。
　データ収集装置１００からの要求を受信したセンサ装置１０は、要求情報に対応する収集用データＣＳＤ１を生成する（ステップＳ４）。センサ装置１０は、データＳＤ１と、収集条件ＣＤ１とを用いて、収集用データＣＳＤ１を生成する。収集条件ＣＤ１には、撮影された人（主体）のプライバシを考慮して、撮影された人の顔にモザイク加工を行うことを示すデータの収集基準が含まれる。なお、収集条件ＣＤ１には、上記の収集基準に限らず、撮影された人（主体）の同意や撮影された地点（国や行政区画等）の判断規準に関する条件が含まれてもよいが、この点については後述する。ここでいう、判断規準は、その地点の規則（法律や条例等）、規制、倫理観等、例えばその地点での（価値）判断の基となる様々なものが含まれる概念である。また、ここでいう行政区画は、条例等の規則を制定する権限を有するものであればどのようなものでもよく、例えば日本の場合、都道府県や市町村等が含まれる。
　センサ装置１０は、データＳＤ１から少数属性「子供」に該当する人が含まれる画像を対象画像として抽出する。例えば、センサ装置１０は、一般物体認識等の物体認識の技術等により画像中に子供が含まれるかを推定し、子供が含まれると推定される画像を対象画像として抽出する。また、センサ装置１０は、データＳＤ１中の各画像に対応付けられた属性を示すメタ情報を用いて、少数属性「子供」に該当する対象画像を抽出してもよい。
　そして、センサ装置１０は、抽出した各対象画像中の人の顔をモザイク加工する。なお、ここでいうモザイク加工には、画像中の人の顔の領域にモザイク処理を施す処理に限らず、人の顔による個人の特定を難しくする処理であればどのような処理であってもよく、例えば画像中の人の顔の領域の解像度を低くする編集も含まれる。センサ装置１０は、例えば、人工知能や機械学習モデルに基づき、顔認識の技術等により画像中から人物の顔が含まれる領域を特定し、特定した領域に対して適切なモザイク加工等の画像処理を施すことにより、人の顔にモザイク加工が施された編集済み画像データを生成する。これにより、センサ装置１０は、子供が撮像され、その子供の顔がモザイク加工された編集済み画像群を含む収集用データＣＳＤ１を生成する。
　なお、センサ装置１０は、要求に対応するデータが少ない場合、要求に対応するデータをセンシングしてもよい。例えば、センサ装置１０は、データＳＤ１中の少数属性「子供」に該当する対象画像の数が所定数（例えば要求数等）未満である場合、少数属性「子供」に該当する人の撮影を行い、要求数に達するまで少数属性「子供」に該当する画像を取得してもよい。但し、撮影する国や地域によって規制や倫理観が異なるため、例えば、人工知能や機械学習モデルあるいはエージェントが、子供の撮影に際して、適切な相手から同意を得る。例えば、そのような人工知能や機械学習モデルは、定期的に各国、各地域の法律、判例、規制、あるいはガイドラインを収集し、どのようなデータが適法でどのようなデータが違法であるかを学習することにより、学習済みモデルを用いてセンサ装置が収集したデータが違法であるか、適法であるかを判別することができる。
　そして、センサ装置１０は、収集用データＣＳＤ１をデータ収集装置１００へ提供する（ステップＳ５）。センサ装置１０は、子供の顔がモザイク加工された編集済み画像群を含む収集用データＣＳＤ１をデータ収集装置１００へ送信する。
　センサ装置１０から収集用データＣＳＤ１を取得したデータ収集装置１００は、取得した提供用データを学習データＤＳ１に追加する（ステップＳ６）。これにより、データ収集装置１００は、少数属性「子供」に該当する画像を学習データＤＳ１に追加する。これにより、データ収集装置１００は、少数属性「子供」に該当する画像が追加され、データ構成の偏りが改善された学習データＤＳ１を学習に用いることができる。
　そして、データ収集装置１００は、学習データＤＳ１を用いて、ニューラルネットワークであるモデルＭ１を学習する（ステップＳ７）。例えば、データ収集装置１００は、各画像に、その画像に含まれる物体を示す正解ラベルが対応付けられた学習データＤＳ１を用いて、モデルＭ１を学習する。例えば、データ収集装置１００は、学習データＤＳ１を用いて、設定した損失関数（ロス関数）を最小化するように学習処理を行い、モデルＭ１を学習する。なお、上記は一例であり、データ収集装置１００は、種々の方法によりモデルＭ１の学習処理を行ってもよい。
　上述したように、データ収集装置１００は、機械学習において、不足するデータ、または有効な効果あるいは影響を及ぼすデータを特定し、特定したデータをセンサ装置１０に要求することで、学習に用いる所望のデータを収集することができる。また、データ収集装置１００は、少数属性のデータをセンサ装置１０に要求し、少数属性のデータを収集することで、データ構成の偏りを改善することができる。
　また、センサ装置１０は、データ収集装置１００にデータを提供する際に、収集条件を満たすデータを提供することで、データの収集に関する条件を満たしつつ、学習に用いる所望のデータを収集することができる。図１の例では、センサ装置１０は、撮影された人（子供）のプライバシを考慮して、人の顔を編集することにより、人のプライバシを考慮しつつ、学習に用いる所望のデータを収集することができる。
［１－１－１．データ収集（同意、判断規準等）］
　図１の例では、人の顔などプライバシに関する収集基準を収集条件として、人の顔を編集してデータを収集する場合を示したが、収集条件は、上記に限らず、種々の条件であってもよい。例えば、データ収集システム１は、センサによりデータ収集の対象となった主体（人）やデータの所有者の同意や、センサによりセンシングを行う地域（国や行政区画等）の規則（法律や条例等）に関する収集条件を人工知能や機械学習により用いても予め設定してもよい。この点について以下説明する。
　データ収集システム１は、画像に含まれる人の同意の有無を収集条件として用いてもよい。例えば、データ収集システム１は、画像に含まれる人の同意がある、或は、エージェント機能等により同意を得た場合、人の顔の編集を不要とすることを収集条件としてもよい。この場合、センサ装置１０は、画像中の人の同意がある画像については、その画像が収集条件を満たすと判定し、画像を編集することなく、データ収集装置１００に送信してもよい。
　また、データ収集システム１は、センサ装置１０によりデータ収集を行う地域（国や行政区画等）の規則（法律や条例等）に基づく収集条件を用いてもよい。例えば、データ収集システム１は、センサ装置１０によりセンシングを行う地域のプライバシに関する規則に基づく収集条件を用いてもよい。例えば、データ収集システム１は、センサ装置１０によりデータ収集を行う国が人の顔を含む画像の利用を禁止している場合、人の顔を編集することを収集条件として用いてもよい。この場合、センサ装置１０は、画像中の人の顔をモザイク加工や別人の顔に変更して、データ収集装置１００に送信してもよい。
　法律や条例等の規則（GDPR（General　Data　Protection　Regulation）等含む）に基づく収集条件は、データ収集システム１の管理者等が設定してもよいし、データ収集システム１が対象となる規則を解析し自動で設定してもよい。法律や条例等の規則に基づく収集条件をデータ収集システム１の管理者等が設定する場合、管理者等が規則を基に収集条件を指定し、データ収集装置１００から指定した収集条件をセンサ装置１０に送信してもよい。収集条件を受信したセンサ装置１０は、受信した収集条件を収集条件記憶部１４１に格納し、その収集条件を用いて、データ収集装置１００へのデータの提供を行う。
　また、規則を解析または学習し自動で設定する場合、データ収集システム１は、例えば、人工知能や機械学習モデル、あるいは、自然言語処理技術を用いて、国や行政区画等の法律や条例等を解析または学習し、解析・学習結果に基づき収集条件を設定・変更してもよい。例えば、データ収集装置１００は、法律や条例等の文字情報を構文解析、AI等の種々の従来技術を適宜用いて解析や学習をすることにより、法律や条例等の内容を推定し、推定結果を基に特定した収集条件をセンサ装置１０に提供してもよい。
　例えば、データ収集装置１００が法律や条例等の内容を基に個人情報の保護が必要であると推定した場合、個人を特定できないことを含む収集条件をセンサ装置１０に送信する。データ収集装置１００が法律や条例等の内容を基に人の顔の編集が必要であると推定した場合、人の顔を編集することを含む収集条件をセンサ装置１０に送信する。なお、上記は一例であり、データ収集システム１は、種々の情報を適宜用いて、収集条件を設定する。
　データ収集装置１００は、データを収集した地点の規則（法律や条例等）、規制、倫理観等の判断規準を学習して、その学習結果を基に判断を行ってもよい。例えば、データ収集装置１００は、各国の規則、規制、倫理観等のデータを収集し、そのデータを基に判断規準モデルを学習してもよい。例えば、データ収集装置１００は、各国の規則（法律や条例等）、規制、倫理観等の判断規準で利用可能と判断された利用可データと、利用不可と判断された利用不可データを収集し、それらのデータを基に判断規準モデルを学習してもよい。例えば、データ収集装置１００は、利用可データが入力された場合に「１」を出力し、利用不可データが入力された場合に「０」を出力するように、判断規準モデルを学習してもよい。この場合、データ収集装置１００は、判断規準モデルを用いて、各データの利用可否を判断してもよい。データ収集装置１００は、対象データを判断規準モデルに入力し、判断規準モデルの出力した値が所定の閾値以上である場合、その対象データをそのまま利用可能と判断し、その対象データをそのまま学習データとして用いてもよい。また、データ収集装置１００は、対象データを判断規準モデルに入力し、判断規準モデルの出力した値が所定の閾値未満である場合、その対象データのそのまま利用不可能と判断し、その対象データを編集したり、学習に用いるデータから除外したりしてもよい。なお、上記は、一例であり、データ収集装置１００は、規則、規制、倫理観等の判断規準を基に種々の判断を行ってもよい。
　また、上記の例では、センサ装置１０がデータの編集を行う場合を示すが、データの編集は、データ収集装置１００が行ってもよい。例えば、データ収集装置１００は、画像中の人の顔を別人の顔に変更してもよい。また、例えば、データ収集システム１は、人の顔の編集を不要とするデータの収集基準を収集条件としてもよい。この場合、センサ装置１０は、画像が収集条件を満たすと判定し、画像を編集することなく、データ収集装置１００に送信してもよい。
　また、上述したようにセンサ装置１０は、データ収集装置１００が要求した属性に該当するデータの収集を行ってもよい。センサ装置１０は、データ収集装置１００が要求した少数属性「子供」に該当する人（「該当者」ともいう）を含む画像を撮影してもよい。そして、センサ装置１０は、該当者の同意がない場合、画像中の該当者の顔を編集し、編集後の画像をデータ収集装置１００に送信してもよい。
［１－１－２．少数属性データの取得］
　ここで、図１で一例として示した少数属性データの取得に関して記載する。人物・物体認識において、少数データ属性の認識率の低さが公平性を損なう恐れがある。例えば、認識しにくい肌の色、子供などの小さい人間など、データ数が少ない場合に、人物・物体認識での認識率が多数データ属性に比べて低くなるという不公平が生じてしまう。実用面において、ＡＩ倫理として望ましくなく、少数データ属性へ不利な結果を及ぼしてしまう恐れがある。
　そこで、図１に示すようなデータ収集システム１のような、少数属性データを積極的に収集するシステムが有用である。多数属性データは充分に存在し、データが不均衡なことが起因してデータバイアスが生じるケースがある。そこで、データ収集システム１は、少数属性データだけをデータ取得することによって、全体システムへの負担を軽減することができる。例えば、データ収集システム１が車載システムに適用された場合において、子供のデータが足りない場合、自動運転において背丈の低い子供の認識率が悪くなる恐れがある。車載システムのカメラ（例えばセンサ装置１０）は、子供を判定して積極的にデータを収集する。このデータ収集によって、データの不均衡が解消される。子供のデータが補充され、データバイアスが緩和されたデータセットによって、自動運転用のディープラーニングの学習を再度行う。その後、データバイアスが生じているかどうかをチェックする。少数データの認識率を測定することでもバイアスチェックをすることができるが、この点は図１３で示す。
［１－１－３．Influence　function］
　上述した例では、不足するデータを特定して、特定したデータを要求する場合を示しが、XAIあるいはInfluence　function等を用いて学習に有効な効果あるいは影響を及ぼすデータと特定して、特定したデータやその類似データを要求してもよい。以下では、有効な効果あるいは影響を及ぼすデータを特定する手法の一例として、Influence　functionについて記載するが、有効な効果あるいは影響を及ぼすデータを特定は、後述するＧｒａｄ－ＣＡＭ、ＬＩＭＥなどのXAIを用いて行われてもよい。
　データ収集装置１００は、Influence　functionにより、データセット中の各データが生成するモデル（パラメータ）に与える影響を定量的に解析する。例えば、データ収集装置１００は、Influence　functionを用いて、ある（学習）データの有無がモデルの精度（出力結果）に与える影響を定式化する。例えば、データ収集装置１００は、影響の測定対象となる各データを除いたデータセットを用いた再学習無しで、各データが学習に与えた影響度を測定する。そして、データ収集装置１００は、測定した各データの影響度を基に、有効な効果あるいは影響を及ぼすデータを特定する。データ収集装置１００は、測定した影響度が所定の条件を満たすデータを、有効な効果あるいは影響を及ぼすデータに特定する。例えば、データ収集装置１００は、測定した影響度が所定の閾値以上のデータを、有効な効果あるいは影響を及ぼすデータに特定する。
　以下、Influence　functionを用いた影響度の測定について、数式などを用いて記載する。Influence　functionは、例えば、機械学習のブラックボックスモデルを説明する方法としても用いられる。なお、Influence　functionについては例えば下記の文献に開示されている。
　・Understanding　Black-box　Predictions　via　Influence　Functions,　　Pang　Wei　Kho　and　Percy　Liang　<https://arxiv.org/abs/1703.04730>
　データ収集装置１００は、Influence　functionを用いることで、機械学習へのデータの寄与度を計算することができ、あるデータがどのくらいの好影響又は悪影響を与えているのかを測定する（知る）ことができる。例えば、データ収集装置１００は、以下に示すように、アルゴリズムやデータ等によって影響度を算出（測定）する。以下では、画像を入力データとする場合を一例として説明する。
　例えば、入力ｘ（画像）、を出力ｙ（ラベル）による機械学習における予測問題として捉える。各画像にはラベルが振られている、すなわち画像と正解ラベルとが対応付けられている。例えばｎ個（ｎは任意の自然数）の画像とラベルのセット（データセット）があるとすると、それぞれのラベル付き画像ｚ（単に「画像ｚ」と記載する場合がある）は、以下の式（１）のようになる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ある点ｚ（画像ｚ）におけるモデルのパラメータθ∈Θでの損失をＬ（ｚ，θ）とすると、全てのｎ個データでの経験損失は、以下の式（２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　そして、この経験損失の最小化は、損失を最小化するパラメータを見つける（決定する）ことを意味するので、以下の式（３）のように表せる。
Figure JPOXMLDOC01-appb-M000003
　例えば、データ収集装置１００は、式（３）を用いて損失を最小化するパラメータ（（式（３）の左辺））を算出する。ここで、経験損失は、二階微分が可能であり、パラメータθに対して凸関数であると仮定する。以下、機械学習モデルのトレーニングポイントであるデータの影響度を理解することを目標として、どのように計算をするのかを示していく。仮に、あるトレーニングポイントのデータが無い場合、機械学習モデルにどのような影響を与えるのかを考えていく。
　なお、式（３）の左辺に示す「θ」の上に「＾」（ハット）が付されたパラメータ（変数）のように、ある文字の上に「＾」が付されたパラメータ（変数）は、例えば予測値を示す。以下、式（３）の左辺に示す「θ」の上に「＾」が付されたパラメータ（変数）について文章中で言及する場合、「θ」に続けて「＾」を記載した「θ＾」で表記する。あるトレーニングポイントｚ（画像ｚ）を機械学習モデルから取り除いた場合は、以下の式（４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000004
　例えば、データ収集装置１００は、式（４）を用いてある学習データ（画像ｚ）を用いずに学習を行った場合のパラメータ（式（４）の左辺）を算出する。例えば、影響度は、トレーニングポイントｚ（画像ｚ）を取り除いたときと、トレーニングポイントｚを含めて全てのデータポイントがあるときとの差（差分）である。この差分は、以下の式（５）のように示される。
Figure JPOXMLDOC01-appb-M000005
　ここで、画像ｚを取り除いたとき場合について再計算すると、計算コストが非常に高い。そこで、データ収集装置１００は、Influence　functionsを用いて、以下に示すように、効果的な近似よって、画像ｚを取り除いた場合を再計算（再学習）することなしに演算をする。
　この考え方は、画像ｚが微小なεによって重みづけられたとして、パラメータの変化を計算していく方法である。ここで、以下の式（６）を用いて、新たなパラメータ（式（６）の左辺）を定義する。
Figure JPOXMLDOC01-appb-M000006
　１９８２年のCookとWeisbergによる先行研究の結果を利用することによって、パラメータθ＾（（式（３）の左辺））での重みづけられた画像ｚの影響度は、以下の式（７）、（８）のように書き表すことができる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　なお、CookとWeisbergによる先行研究については例えば下記の文献に開示されている。
　・Residuals　and　Influence　in　Regression,　　Cook,　R.D.　and　Weisberg,　S　<https://conservancy.umn.edu/handle/11299/37076>
　例えば、式（７）は、ある画像ｚに対応する影響関数を示す。例えば、式（７）は、微小なεに対するパラメータの変化量を表す。また、例えば、式（８）は、ヘッシアン（ヘッセ行列）を示す。ここで、正定値を持つヘッセ行列であると仮定し、逆行列も存在する。ある点であるデータポイントｚ（画像ｚ）を取り除くことは、「ε＝－１／ｎ」によって重みづけられることと同じであると仮定すると、画像ｚを取り除いたときのパラメータ変化は近似的に、以下の式（９）のように表すことができる。
Figure JPOXMLDOC01-appb-M000009
　つまり、データ収集装置１００は、再学習をすることなく、データポイントｚ（画像ｚ）を取り除いたときの影響度を測定する（求める）ことができる。
　次に、データ収集装置１００は、以下の式（１０－１）～式（１０－３）を用いて、あるテストポイントｚｔｅｓｔでの損失への影響度を測定する（求める）。
Figure JPOXMLDOC01-appb-M000010
　このように、あるテストポイントｚｔｅｓｔでの重みづけられた画像ｚの影響度を定式化できる。そのため、データ収集装置１００は、この演算によって、機械学習モデルにおけるデータの影響度を測定する（求める）ことができる。例えば、式（１０－３）の右辺は、あるデータのロス（損失）に対する勾配、ヘッシアンの逆行列、ある学習データのロスの勾配等からなる。例えば、あるデータがモデルの予測（ロス）に与える影響は、式（１０－３）により求めることができる。なお、上記は一例であり、データ収集装置１００は、種々の演算を適宜実行し各画像が学習に与えた影響度を測定してもよい。
　また、データ収集装置１００は、後述するＧｒａｄ－ＣＡＭやＬＩＭＥについても定量的なスコアを算出し算出したスコアを基に、有効な効果あるいは影響を及ぼすデータを特定してもよい。例えば、データ収集装置１００は、Ｇｒａｄ－ＣＡＭで生成されたヒートマップの特徴を示す領域が所定の閾値以上のデータを、有効な効果あるいは影響を及ぼすデータに特定してもよい。例えば、データ収集装置１００は、ＬＩＭＥで生成された根拠用モデルの出力が所定の閾値以上のデータを、有効な効果あるいは影響を及ぼすデータに特定してもよい。なお、上記は一例であり、XAIあるいはInfluence　function等を用いて、有効な効果あるいは影響を及ぼすデータを特定可能であれば、どのような方法により学習に有効な効果あるいは影響を及ぼすデータを特定してもよい。
［１－１－４．判断の可視化（Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ等）］
　更に、Ｇｒａｄ－ＣＡＭ（Gradient-weighted　Class　Activation　Mapping）、ＬＩＭＥ（Local　Interpretable　Model-agnostic　Explanations）などのExplainable　AI（XAI）と呼ばれるアルゴリズムを用いることで、ディープラーニングの判断根拠を人間が知ることができる。そのため、データ収集システム１は、Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ等の手法を適宜用いて、モデルの出力（判断）に関する根拠を可視化してもよい。これによって、データ収集システム１を利用する利用者は、子供の認識が正しく行われているのかを知ることができる。以下、Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ等を用いた可視化の例について簡単に記載する。
　まず、Ｇｒａｄ－ＣＡＭについて記載する。例えば、データ収集システム１は、Ｇｒａｄ－ＣＡＭにより、画像の入力後のモデルの出力（判断）に関する根拠を可視化する根拠情報を生成する。データ収集システム１は、Ｇｒａｄ－ＣＡＭにより、画像を認識するモデルＭ１が人の有無を判断した根拠を示す根拠情報を生成する。例えば、データ収集システム１は、下記の文献に開示されるようなＧｒａｄ－ＣＡＭに関する処理により、根拠情報を生成する。データ収集システム１は、ＣＮＮが含まれるネットワーク全般に適用可能な可視化手法であるＧｒａｄ－ＣＡＭの技術を用いて、モデルＭ１の出力に関する根拠を示す根拠情報を生成する。例えば、データ収集システム１は、ＣＮＮの最終層から各チャンネルの重みを計算し重みを掛け合わせることで各クラスに影響する部分を可視化することができる。このように、データ収集システム１は、ＣＮＮを含むニューラルネットワークにおいて画像のどの部分に注目して判断がなされたかを可視化することができる。
　・Grad-CAM:　Visual　Explanations　from　Deep　Networks　via　Gradient-based　Localization　<https://arxiv.org/abs/1610.02391>
　なお、Ｇｒａｄ－ＣＡＭの技術についての説明は適宜省略するが、データ収集システム１は、Ｇｒａｄ－ＣＡＭ（上記文献参照）の手法により、根拠情報を生成する。例えば、データ収集システム１は、対象とする種別（クラス）を指定して、指定したクラスに対応する情報（画像）を生成する。例えば、データ収集システム１は、Ｇｒａｄ－ＣＡＭの技術を用いて、逆誤差伝搬（Backpropagation）等の各種処理により、指定したクラスを対象に情報（画像）を生成する。例えば、データ収集システム１は、種別「子供」のクラスを指定して、種別「子供」に対応する根拠情報に関する画像を生成する。例えば、データ収集システム１は、種別「子供」の認識（分類）のために注視している範囲（領域）を、いわゆるヒートマップ（カラーマップ）の形式で示す画像を生成する。
　また、データ収集システム１は、入力となるデータ（画像）と、その判断結果の根拠を示す根拠情報とを対応付けて記憶部１２０（図３参照）にログ（履歴）として格納する。これにより、データ収集システム１がどのような入力に対する判断により、その後の動作を行ったのかを検証可能となる。また、例えば、データ収集システム１は、記憶部１２０に記憶された入力となるデータ（画像）と、その判断結果の根拠を示す根拠情報とのログを、種々の処理に利用してもよい。例えば、データ収集システム１は、入力となるデータ（画像）と、その判断結果の根拠を示す根拠情報とのログを用いて、データを生成してもよい。例えば、データ収集システム１は、根拠情報であるヒートマップが根拠として示す領域の画像を含むように、入力画像を変更した画像を生成してもよい。なお、上記は一例であり、データ収集システム１は、種々の手法を適宜用いて、ログからデータを生成してもよい。
　また、データ収集システム１は、ＬＩＭＥ等の手法により、根拠情報を生成してもよい。例えば、データ収集システム１は、下記の文献に開示されるようなＬＩＭＥに関する処理により、根拠情報を生成してもよい。
　・"Why　Should　I　Trust　You?":　Explaining　the　Predictions　of　Any　Classifier　<https://arxiv.org/abs/1602.04938>
　なお、ＬＩＭＥの技術についての説明は適宜省略するが、データ収集システム１は、ＬＩＭＥ（上記文献参照）の手法により、根拠情報を生成する。例えば、データ収集システム１は、モデルがなぜそのような判断を下したのかを理由（根拠）を示すために局所近似する他のモデル（根拠用モデル）を生成する。データ収集システム１は、入力情報とその入力情報に対応する出力結果との組合せを対象に、局所的に近似する根拠用モデルを生成する。そして、データ収集システム１は、根拠用モデルを用いて、根拠情報を生成する。
　例えば、データ収集システム１は、画像等の基となる入力情報（対象入力情報）を複製したり、変更を加えたりした複数の入力情報を生成する。そして、データ収集システム１は、根拠情報の生成対象となるモデル（説明対象モデル）に、複数の入力情報の各々を入力し、各入力情報に対応する複数の出力情報を説明対象モデルから出力させる。そして、データ収集システム１は、複数の入力情報の各々と、対応する複数の出力情報の各々との組合せ（ペア）を学習データとして、根拠用モデルを学習する。このように、データ収集システム１は、対象入力情報を対象として別の解釈可能なモデル（線形モデルとか）で局所近似する根拠用モデルを生成する。
　ここから、判断の可視化を含む処理について図１４を用いて説明する。図１４は、判断の可視化を含む処理の概念図である。である。図１４中の処理ＰＳは、データ収集システム１により実現される判断の可視化を含む処理の全体的な概念図を示す。以下に示すデータ収集システム１が処理の主体として記載されている処理については、データ収集装置１００やセンサ装置１０等のデータ収集システム１に含まれるいずれの装置が行ってもよい。
　まず、図１４中の処理ＰＳの全体的な処理概要を説明する。データ収集システム１による処理ＰＳにおいては、図１４中の入力ＩＮに示すように、学習されたモデルＮＮに入力画像ＴＤが入力される。データ収集システム１は、上述したＧｒａｄ－ＣＡＭ、ＬＩＭＥ等の可視化時術により可視化した画像判断結果や、その判断根拠のヒートマップ等の判断根拠情報ＲＳを出力装置ＯＤに表示する。出力装置ＯＤは、例えば、モニタ、ＡＲグラス、ＶＲ（Virtual　Reality：仮想現実）グラスなどである。出力装置ＯＤは、センサ装置１０と一体であってもよい。これにより、データ収集システム１では、人間が判断結果と根拠をリアルタイムに目視することができる。
　そして、データ収集システム１による処理ＰＳにおいては、図１４中の学習処理ＬＮに示すように、入力画像ＴＤや判断根拠情報ＲＳをクラウドセンター（データ収集装置１００）へ送信し、再学習を行うことでディープラーニング認識器（モデル）の認識精度を向上させることができる。そして、データ収集システム１は、再学習したモデルを、エッジ（例えば出力装置ＯＤやセンサ装置１０）へ配信して、エッジのモデルを更新する。
　なお、図１４の例では、１つのニューラルネットワークＮＮを示すが、人間の顔や体を認識する第１ディープラーニング認識器、一般物体認識用の第２ディープラーニング認識器の２つの第２ディープラーニング認識器（ニューラルネットワーク）を有してもよい。
　この場合、入力画像ＴＤは、先ず、人間の顔や体を認識する第１ディープラーニング認識器へ入力される。その結果が人物であった場合、画像判断結果とその判断根拠のヒートマップ表示をする。人物以外の場合は、一般物体認識用の第２ディープラーニング認識器にて判定され、同様に結果と判断根拠が表示される。一枚の画像に人物と物体が同時に映っていることもなるので、いずれの画像も物体認識器を通る。この場合も、出力装置ＯＤは、人間が判断結果と根拠をリアルタイムに目視することができる。
［１－２．実施形態に係るデータ収集システムの構成］
　図２に示すデータ収集システム１について説明する。データ収集システム１は、学習データを調整する調整処理を実現する情報処理システムである。図２に示すように、データ収集システム１は、データ収集装置１００と、複数のセンサ装置１０ａ、１０ｂ、１０ｃ、１０ｄとが含まれる。なお、センサ装置１０ａ、１０ｂ、１０ｃ、１０ｄ等を区別しない場合、センサ装置１０と記載する場合がある。また、図２では、４個のセンサ装置１０ａ、１０ｂ、１０ｃ、１０ｄを図示するが、データ収集システム１には、４個より多い数（例えば２０個や１００個以上）のセンサ装置１０が含まれてもよい。センサ装置１０と、データ収集装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図２は、実施形態に係るデータ収集システムの構成例を示す図である。なお、図２に示したデータ収集システム１には、複数台のデータ収集装置１００が含まれてもよい。
　データ収集装置１００は、機械学習において有効な効果あるいは影響があると特定したデータ、不足すると特定したデータ、またはそれらのいずれかに類似するデータを、センサ装置１０に要求するサーバ装置（情報処理装置）である。また、データ収集装置１００は、データセットを用いて学習処理を実行する。
　センサ装置１０は、データ収集装置１００からの要求に応じてデータ収集装置１００にデータを提供する装置（コンピュータ）である。各センサ装置１０は、センサ部１６（図８参照）のセンシングによりデータを取得する。センサ装置１０は、センサ部１６によるデータ収集の対象となる主体あるいはデータの権利者の同意、センサ部１６によるセンシングを行う地点の判断規準、及びデータの収集基準のうち少なくとも１つを含む収集条件を満たすデータを、データ収集装置１００に送信する。
　図２の例では、センサ装置１０ａは、ドローン等のＵＡＶや自動車等の車両等の移動体である。例えば、センサ装置１０ａは、データ収集装置１００と通信する機能を有し、データ収集装置１００からの要求に応じた移動を行ってもよい。センサ装置１０ａは、イメージセンサ（イメージャ）等の撮像機能を有し、データ収集装置１００からの要求に応じた位置まで移動し、その位置で画像や動画を撮像し、撮像した画像や動画をデータ収集装置１００に送信する。その際、学習への効果あるいは影響に応じて、例えば、画像データの解像度、画角、輝度、フレームレートといった設定やデータの特性を変えてもよい。
　また、図２の例では、センサ装置１０ｂは、撮像機能を有するカメラである。センサ装置１０ｂは、動画や画像を撮像し、撮像したデータを保有するカメラである。例えば、センサ装置１０ｂは、データ収集装置１００からの要求に応じて、画像や動画を撮像し、撮像した画像や動画をデータ収集装置１００に送信する。
　図２の例では、センサ装置１０ｃは、撮像機能を有するイメージセンサ（イメージャ）である。例えば、センサ装置１０ｃは、データ収集装置１００と通信する機能を有し、撮像した画像や動画をデータ収集装置１００に送信する機能を有する。例えば、センサ装置１０ｃは、データ収集装置１００からの要求に応じて、画像や動画を撮像し、撮像した画像や動画をデータ収集装置１００に送信する。その際、学習への効果あるいは影響に応じて、例えば、画像データの解像度、画角、輝度、フレームレートといった設定やデータの特性を変えてもよい。
　図２の例では、センサ装置１０ｄは、ＡＲグラスである。センサ装置１０ｄは、情報を表示する機能を有するセンサ装置１０である。センサ装置１０ｄは、イメージセンサ（イメージャ）等の撮像機能を有し、データ収集装置１００からの要求に応じて、画像や動画を撮像し、撮像した画像や動画をデータ収集装置１００に送信する。例えば、センサ装置１０ｄは、画像が撮像された範囲に重畳させて、透過性を有する情報を重畳表示する。
　なお、センサ装置１０ｄは、情報を表示する機能を有すれば、どのような装置であってもよく、例えば、モニタ、ＶＲグラス、移動体（自動車等）のフロントガラスであってもよい。
　なお、センサ装置１０は、センサによるセンシングを行い、収集した情報をデータ収集装置１００へ提供可能であれば、どのような装置であってもよい。センサ装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal　Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal　Digital　Assistant）等の装置であってもよい。センサ装置１０は、上記のＡＲグラスのように、ユーザが身に着けるウェアラブル端末等であってもよい。例えば、センサ装置１０は、腕時計型端末やメガネ型端末等であってもよい。また、センサ装置１０は、テレビや冷蔵庫等のいわゆる家電製品であってもよい。例えば、センサ装置１０は、スマートスピーカやエンタテインメントロボットや家庭用ロボットと称されるような、人間（ユーザ）と対話するロボットであってもよい。また、センサ装置１０は、デジタルサイネージ等の所定の位置に配置される装置であってもよい。
［１－３．実施形態に係るデータ収集装置の構成］
　次に、実施形態に係るデータ収集処理を実行するデータ収集装置の一例であるデータ収集装置１００の構成について説明する。図３は、本開示の実施形態に係るデータ収集装置１００の構成例を示す図である。
　図３に示すように、データ収集装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、データ収集装置１００は、データ収集装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。そして、通信部１１０は、ネットワークＮ（図２参照）と有線または無線で接続され、センサ装置１０等の他の情報処理装置との間で情報の送受信を行う。また、通信部１１０は、センサ装置１０との間で情報の送受信を行ってもよい。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、データ情報記憶部１２１と、モデル情報記憶部１２２と、少数属性情報記憶部１２３とを有する。
　実施形態に係るデータ情報記憶部１２１は、学習に用いるデータに関する各種情報を記憶する。データ情報記憶部１２１は、学習に用いる学習データ（データセット）を記憶する。図４は、本開示の実施形態に係るデータ情報記憶部の一例を示す図である。例えば、データ情報記憶部１２１は、学習に用いる学習データや精度評価（測定）に用いる評価用データ等の種々のデータに関する各種情報を記憶する。図４に、実施形態に係るデータ情報記憶部１２１の一例を示す。図４の例では、データ情報記憶部１２１は、「データセットＩＤ」、「データＩＤ」、「データ」、「属性＃１」、「属性＃２」といった項目が含まれる。
　「データセットＩＤ」は、データセットを識別するための識別情報を示す。「データＩＤ」は、オブジェクトを識別するための識別情報を示す。また、「データ」は、データＩＤにより識別されるオブジェクトに対応するデータを示す。すなわち、図４の例では、オブジェクトを識別するデータＩＤに対して、オブジェクトに対応するベクトルデータ（データ）が対応付けられて登録されている。
　「属性＃１」や「属性＃２」は、対応するデータの各対象に対応する属性を示す。「属性＃１」は、年齢に関する属性であり、各データが大人または子供のいずれに該当するかを示す。「属性＃２」は、性別に関する属性であり、各データが男性または女性のいずれに該当するかを示す。
　なお、図４の例では、属性（カテゴリ）の一例として、大人、子供、男性、女性等を例示するが、属性は上記に限らず、種々の属性であってもよい。「属性＃１」、「属性＃２」のみに限らず、「属性＃３」、「属性＃４」等、３つ以上の属性が記憶されてもよい。例えば、「属性＃３」は人種に関する属性であってもよい。また、属性は、外見に関するものに限らず、内面に関する属性であってもよく、種々のデモグラフィック属性やサイコグラフィック属性であってもよい。
　図４の例では、データセットＩＤ「ＤＳ１」により識別されるデータセット（データセットＤＳ１）には、データＩＤ「ＤＩＤ１」、「ＤＩＤ２」、「ＤＩＤ３」等により識別される複数のデータが含まれることを示す。
　データＩＤ「ＤＩＤ１」により識別されるデータＤＴ１は、大人の男性に該当するデータであることを示す。例えば、データＤＴ１は、大人の男性が撮像された画像である。
　また、データＩＤ「ＤＩＤ２」により識別されるデータＤＴ２は、子供の女性に該当するデータであることを示す。例えば、データＤＴ２は、子供の女性が撮像された画像である。図４の例では、データＤＴ２以外のデータＤＴ１、ＤＴ３～ＤＴ８は、大人が撮像された画像であり、子供が撮像された画像の割合が少ない場合を示す。
　なお、データ情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。データ情報記憶部１２１は、各データに対応する正解情報（正解ラベル）を各データに対応付けて記憶する。例えば、データ情報記憶部１２１は、「属性＃１」、「属性＃２」に記憶された属性が正解情報として用いられてもよい。
　また、データ情報記憶部１２１は、各データが学習データであるか、評価用データであるか等を特定可能に記憶してもよい。例えば、データ情報記憶部１２１は、学習データと評価用データとを区別可能に記憶する。データ情報記憶部１２１は、各データが学習データや評価用データであるかを識別する情報を記憶してもよい。データ収集装置１００は、学習データとして用いられる各データと正解情報とに基づいて、モデルを学習する。データ収集装置１００は、評価用データとして用いられる各データと正解情報とに基づいて、モデルの精度を測定する。データ収集装置１００は、評価用データを入力した場合にモデルが出力する出力結果と、正解情報とを比較した結果を収集することにより、モデルの精度を測定する。
　実施形態に係るモデル情報記憶部１２２は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２２は、モデル（ネットワーク）の構造を示す情報（モデルデータ）を記憶する。図５は、本開示の実施形態に係るモデル情報記憶部の一例を示す図である。図５に、実施形態に係るモデル情報記憶部１２２の一例を示す。図５に示した例では、モデル情報記憶部１２２は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。
　「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図５では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルに含まれるネットワークに関する情報や関数等、そのモデルを構成する種々の情報が含まれる。
　図５に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「画像認識」であることを示す。モデルＭ１は、画像認識に用いられるモデルである。例えば、モデルＭ１は、人の検出に用いられる。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。
　なお、モデル情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、モデル情報記憶部１２２は、学習処理により学習（生成）されたモデルのパラメータ情報を記憶する。
　実施形態に係る少数属性情報記憶部１２３は、少数属性（少数カテゴリ）に関する各種情報を記憶する。図６は、実施形態に係る少数属性情報記憶部の一例を示す図である。図６に示す少数属性情報記憶部１２３には、「少数属性」、「割合」といった項目が含まれる。
　「少数属性」は、少数属性を示す。「少数属性」は、データ情報記憶部１２１に格納された保有データにおいて、割合が所定の閾値（例えば０．１や０．１５等）よりも少ない属性を示す。また、「割合」は、データ情報記憶部１２１に格納された保有データにおいて、少数属性に該当するデータの割合の具体的な値を示す。
　図６の例では、「子供」が少数属性に該当することを示す。少数属性「子供」の割合は、「０．０２」であることを示す。この場合、データ情報記憶部１２１に格納された保有データのうち、２％は子供が撮像された画像であり、残りの９８％は大人が撮像された画像であることを示す。
　なお、少数属性情報記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
　図３に戻り、説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、データ収集装置１００内部に記憶されたプログラム（例えば、本開示に係るデータ収集処理プログラム等の情報処理プログラム）がＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　図３に示すように、制御部１３０は、選定部１３１と、送信部１３２と、受信部１３３と、情報処理部１３４と、学習部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。
　選定部１３１は、各種の選定を行う選定処理を実行する。選定部は、データ解析部として機能する。選定部１３１は、各種情報を基に選定処理を行う。選定部１３１は、機械学習に用いるデータに含まれるデータ構成の偏りや機械学習における有効な効果や影響に応じて、センサ装置１０に要求するデータを選定する。選定部１３１は、データ情報記憶部１２１に格納済みの保有データに含まれるデータ構成の偏りやXAIにより特定された学習に有効な影響等があるデータに応じて、センサ装置１０に要求するデータを選定する。
　選定部１３１は、保有データを基に不足すると特定したデータを特定する。選定部１３１は、保有データに含まれるデータが他の属性よりも少ない少数属性のデータ又はそれに類似するデータをセンサ装置１０に要求するデータに選定する。選定部１３１は、データ情報記憶部１２１に格納済みの保有データに含まれるデータが該当する属性のうち、該当するデータが少ない少数属性のデータをセンサ装置１０に要求するデータに決定する。
　送信部１３２は、各種情報を送信する。送信部１３２は、学習モデルの学習に有効なデータ、不足するデータ又はそれらのいずれかに類似するデータを収集する要求信号をセンサ装置５０に送信する。送信部１３２は、センサ装置１０等の外部の装置へ各種情報を要求する。送信部１３２は、センサ装置１０へデータを指定する要求情報を送信することにより、センサ装置１０へデータを要求する。
　送信部１３２は、保有データを基に必要と選定したデータを、センサ部１６を有するセンサ装置１０に要求する。送信部１３２は、選定部１３１により選定されたデータをセンサ装置１０に要求する。送信部１３２は、画像を撮像する画像センサを有するセンサ装置１０にデータを要求する。
　受信部１３３は、各種情報を受信する。受信部１３３は、外部の情報処理装置から各種情報を受信する。受信部１３３は、センサ装置１０から各種情報を取得する。
　受信部１３３は、記憶部１２０から各種情報を取得する。受信部１３３は、データ情報記憶部１２１やモデル情報記憶部１２２や少数属性情報記憶部１２３から各種情報を取得する。
　受信部１３３は、センサ装置５０から要求信号に対応するデータを受信する。１３３は、センサ部１６によるデータ収集の対象となる主体のあるいはデータの権利者の同意、センサ部１６によるデータ収集を行う地点の判断規準、及びデータの収集基準のうち少なくとも１つを含む収集条件を満たすデータを、センサ装置１０から受信する。受信部１３３は、人を含む画像をセンサ装置１０から受信する。
　情報処理部１３４は、各種情報を変更処理する。情報処理部１３４は、画像を編集することにより、画像を変更する。情報処理部１３４は、元の画像を変更することにより、変更後の画像を生成する。情報処理部１３４は、画像中の人の顔を人とは異なる別人の顔に変更する。情報処理部１３４は、画像中の人の顔がモザイク加工されている場合、モザイク加工された領域を別人の顔に変更する。
　情報処理部１３４は、画像中の人の顔を別人の顔に変更する。情報処理部１３４は、顔認識の技術等により画像中から人物の顔が含まれる領域を特定し、特定した領域を別人の顔に置き換える編集を行うことにより、画像中の人の顔が別人の顔に変更された変更後の画像を生成する。情報処理部１３４は、ＧＡＮ（Generative　Adversarial　Network：敵対的生成ネットワーク）の技術を用いて、画像中の人の顔を別人の顔に変更する。情報処理部１３４は、記憶部１２０に記憶された顔画像の使用を許可した人（許可ユーザ）の顔の画像を用いて、画像中の人の顔を、許可ユーザの顔に変更してもよい。
　また、情報処理部１３４は、画像中にモザイク加工がされている領域がある場合、その領域に別人の顔を配置した変更後の画像を生成する。情報処理部１３４は、画像認識の技術等により画像中からモザイク加工が施された領域を特定し、特定した領域を別人の顔に置き換える編集を行うことにより、別人の顔が配置された変更後の画像を生成する。
　学習部１３５は、各種情報を学習する。学習部１３５は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を学習する。学習部１３５は、データ情報記憶部１２１に記憶された情報に基づいて、各種情報を学習する。学習部１３５は、学習により生成したモデルをモデル情報記憶部１２２に格納する。
　学習部１３５は、学習処理を行う。学習部１３５は、各種学習を行う。学習部１３５は、受信部１３３により受信された情報に基づいて、各種情報を学習する。学習部１３５は、モデルを学習（生成）する。学習部１３５は、モデル等の各種情報を学習する。学習部１３５は、学習によりモデルを生成する。学習部１３５は、種々の機械学習に関する技術を用いて、モデルを学習する。例えば、学習部１３５は、モデル（ネットワーク）のパラメータを学習する。学習部１３５は、種々の機械学習に関する技術を用いて、モデルを学習する。
　学習部１３５は、ネットワークのパラメータを学習する。例えば、学習部１３５は、モデルＭ１のネットワークのパラメータを学習する。学習部１３５は、モデルＭ１のネットワークのパラメータを学習する。
　学習部１３５は、データ情報記憶部１２１に記憶された学習データ（教師データ）に基づいて、学習処理を行う。学習部１３５は、データ情報記憶部１２１に記憶された学習データを用いて、学習処理を行うことにより、モデルＭ１を生成する。例えば、学習部１３５は、画像認識に用いられるモデルを生成する。学習部１３５は、モデルＭ１のネットワークのパラメータを学習することにより、モデルＭ１を生成する。
　学習部１３５による学習の手法は特に限定されないが、例えば、ラベル情報（画像中の物体や人を示すラベル等）と画像群とを紐づけた学習データを用意し、その学習データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。また、例えばＣＮＮ（Convolutional　Neural　Network）、３Ｄ－ＣＮＮ等のＤＮＮ（Deep　Neural　Network）に基づく手法が用いられてもよい。学習部１３５は、映像等の動画像（動画）のような時系列データを対象とする場合、再帰型ニューラルネットワーク（Recurrent　Neural　Network：ＲＮＮ）やＲＮＮを拡張したＬＳＴＭ（Long　Short-Term　Memory　units）に基づく手法を用いてもよい。
　学習部１３５は、データセットを用いて学習処理を実行する。学習部１３５は、受信部１３３により受信されたデータを学習データに追加し、当該データが追加された学習データを用いて、ニューラルネットワークの学習処理を実行する。学習部１３５は、追加後のデータセットを用いて、学習処理を実行することにより、モデルＭ１を更新する。
［１－３－１．モデル（ネットワーク）例］
　上述したように、データ収集装置１００は、ディープニューラルネットワーク（ＤＮＮ）等のニューラルネットワーク（ＮＮ）の形式のモデル（ネットワーク）を用いてもよい。なお、データ収集装置１００は、ニューラルネットワークに限らず、ＳＶＭ（Support　Vector　Machine）等の回帰モデルや等の種々の形式のモデル（関数）を用いてもよい。このように、データ収集装置１００は、任意の形式のモデル（関数）を用いてもよい。データ収集装置１００は、非線形の回帰モデルや線形の回帰モデル等、種々の回帰モデルを用いてもよい。
　この点について、図７を用いて、モデルのネットワーク構造の一例を説明する。図７は、モデルに対応するネットワークの一例を図である。図７に示すネットワークＮＷ１は、入力層ＩＮＬと出力層ＯＵＴＬとの間に複数（多層）の中間層を含むニューラルネットワークを示す。図７に示すネットワークＮＷ１は、図１中のニューラルネットワークであるモデルＭ１に対応する。例えば、データ収集装置１００は、図７に示すネットワークＮＷ１のパラメータを学習してもよい。
　図７に示すネットワークＮＷ１は、モデルＭ１のネットワークに対応し、画像認識に用いられるニューラルネットワーク（モデル）を示す概念的な図である。例えば、ネットワークＮＷ１は、入力層ＩＮＬ側から例えば画像が入力された場合に、出力層ＯＵＴＬからその認識結果を出力する。例えば、データ収集装置１００は、ネットワークＮＷ１中の入力層ＩＮＬに情報を入力することにより、出力層ＯＵＴＬから入力に対応する認識結果を出力させる。
　なお、図７では、モデル（ネットワーク）の一例としてネットワークＮＷ１を示すが、ネットワークＮＷ１は、用途等に応じて種々の形式であってもよい。例えば、データ収集装置１００は、図７に示すネットワークＮＷ１の構造を有するモデルＭ１のパラメータ（重み）を学習することにより、モデルＭ１を学習する。
［１－４．実施形態に係るセンサ装置の構成］
　次に、実施形態に係る情報処理を実行するセンサ装置の一例であるセンサ装置１０の構成について説明する。図８は、本開示の実施形態に係るセンサ装置の構成例を示す図である。
　図８に示すように、センサ装置１０は、通信部１１と、入力部１２と、出力部１３と、記憶部１４と、制御部１５と、センサ部１６とを有する。なお、センサ装置１０は、データを収集し、データ収集装置１００へ提供可能な構成であれば、どのような装置構成であってもよい。例えば、センサ装置１０は、データ収集装置１００と通信する通信部１１と、データを収集する処理を行う制御部１５とを有すれば、その他の構成は任意であってもよい。センサ装置１０の種別によっては、例えば、センサ装置１０は、入力部１２や出力部１３や記憶部１４やセンサ部１６のいずれかを有しなくてもよい。
　例えば、センサ装置１０がイメージセンサ（イメージャ）である場合、センサ装置１０は、通信部１１と制御部１５とセンサ部１６のみを有する構成であってもよい。例えば、イメージセンサ（イメージャ）に用いられる撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor：相補型金属酸化膜半導体）である。なお、イメージセンサ（イメージャ）に用いられる撮像素子は、ＣＭＯＳに限らず、ＣＣＤ（Charge　Coupled　Device：電荷結合素子）等、種々の撮像素子であってもよい。また、例えば、センサ装置１０がデータサーバである場合、センサ装置１０は、通信部１１と記憶部１４と制御部１５のみを有する構成であってもよい。また、例えば、センサ装置１０が移動体である場合、センサ装置１０は、駆動部（モータ）等の移動を実現するための機構を有する構成であってもよい。
　通信部１１は、例えば、ＮＩＣや通信回路等によって実現される。通信部１１は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、データ収集装置１００等の他の装置等との間で情報の送受信を行う。
　入力部１２は、各種入力を受け付ける。入力部１２は、ユーザの操作を受け付ける。入力部１２は、ユーザが利用するセンサ装置１０への操作（ユーザ操作）をユーザによる操作入力として受け付けてもよい。入力部１２は、通信部１１を介して、リモコン（リモートコントローラー：remote　controller）を用いたユーザの操作に関する情報を受け付けてもよい。また、入力部１２は、センサ装置１０に設けられたボタンや、センサ装置１０に接続されたキーボードやマウスを有してもよい。
　例えば、入力部１２は、リモコンやキーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部１２は、ディスプレイ（出力部１３）を介して各種情報が入力される。入力部１２は、各種センサにより実現されるタッチパネルの機能により、表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部１２は、センサ装置１０のディスプレイ（出力部１３）を介してユーザから各種操作を受け付ける。例えば、入力部１２は、センサ装置１０のディスプレイ（出力部１３）を介してユーザの操作を受け付ける。
　出力部１３は、各種情報を出力する。出力部１３は、情報を表示する機能を有する。出力部１３は、センサ装置１０に設けられ各種情報を表示する。出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。なお、センサ装置１０がＡＲグラスである場合、出力部１３は、透過性を有するディスプレイを有する。出力部１３は、音声を出力する機能を有してもよい。例えば、出力部１３は、音声を出力するスピーカーを有する。
　記憶部１４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、情報の表示に用いる各種情報を記憶する。記憶部１４は、収集条件記憶部１４１と、データ記憶部１４２とを有する。
　実施形態に係る収集条件記憶部１４１は、データの収集条件に関する各種情報を記憶する。収集条件記憶部１４１は、学習に用いるデータとして、収集するデータの条件を記憶する。図９は、本開示の実施形態に係る収集条件記憶部の一例を示す図である。図４の例では、収集条件記憶部１４１は、「条件ＩＤ」、「収集条件情報」といった項目が含まれる。
　「条件ＩＤ」は、収集条件を識別するための識別情報を示す。「収集条件情報」は、収集するデータの条件を示す。図９の例では、条件ＩＤ「ＣＤ１」により識別される収集条件は、収集条件情報ＩＮＦ１であることを示す。図９の例では「ＩＮＦ１」のように抽象的に図示するが、「収集条件情報」には、どのようなデータを収集するかを示す具体的な基準を示す情報が記憶されてもよい。
　「収集条件情報」には、プライバシに関する収集条件が記憶される。「収集条件情報」には、センサによるデータ収集の対象となる主体あるいはデータの権利者の同意、センサによるデータ収集を行う地点の判断規準、及びデータの収集基準のうち少なくとも１つを含む収集条件が記憶される。「収集条件情報」には、画像に含まれる人の同意が必要かどうかを示す収集条件が記憶される。「収集条件情報」には、センサによるデータ収集を行う国や行政区画の法律や条例に基づく収集基準を示す収集条件が記憶される。「収集条件情報」には、人の顔が含まれる画像の場合に、人の顔を編集するか否かを示す情報が記憶される。
　なお、収集条件記憶部１４１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
　データ記憶部１４２には、センサ部１６のデータ収集により取得したデータに関する各種情報が記憶される。データ記憶部１４２には、画像センサ１６１により撮像された画像を記憶する。
　データ記憶部１４２は、取得した各データに、そのデータを識別するための識別情報（ＩＤ）や収集した日時を対応付けて記憶する。また、センサ部１６が画像や音声等の複数の種別のデータ収集を行う場合、各データに、そのデータの種別を対応付けて記憶する。また、データ記憶部１４２には、各データに、そのデータの収集対象となる主体（人）あるいはデータの権利者の同意の有無を示す情報を対応付けて記憶する。例えば、データ記憶部１４２には、データの学習への利用について、そのデータの収集対象となる主体（人）による同意がある場合、そのデータに人の同意を取得済みであることを示す情報を対応付けて記憶する。
　図８に戻り、説明を続ける。制御部１５は、例えば、ＣＰＵやＭＰＵ等によって、センサ装置１０内部に記憶されたプログラム（例えば、本開示に係るデータ提供プログラム等の情報処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１５は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
　図８に示すように、制御部１５は、受信部１５１と、取得部１５２と、データ処理部１５３と、送信部１５４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図８に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　受信部１５１は、各種情報を受信する。受信部１５１は、外部の情報処理装置から各種情報を受信する。受信部１５１は、データ収集装置１００等の他の情報処理装置から各種情報を受信する。
　受信部１５１は、データ収集装置１００が必要とするデータを示す情報を受信する。受信部１５１は、データ収集装置１００から要求情報を受信する。
　取得部１５２は、各種情報を取得する。取得部１５２は、記憶部１４から各種情報を取得する。取得部１５２は、収集条件記憶部１４１やデータ記憶部１４２から各種情報を取得する。
　取得部１５２は、受信部１５１により受信された要求情報に対応するデータを取得する。取得部１５２は、受信部１５１により受信された要求情報に対応するデータを、データ記憶部１４２から抽出する。取得部１５２は、属性「子供」に該当するデータを抽出する。
　データ処理部１５３は、情報を編集するデータ処理を行う。データ処理部１５３は、センサ部１６により収集されたセンサ情報を編集する。データ処理部１５３は、画像センサ１６１により収集された画像を編集する。
　データ処理部１５３は、センサ部１６により収集されたデータが収集条件を満たさない場合、収集条件を満たすように当該データを編集する。データ処理部１５３は、センサ部１６により撮像された画像がプライバシに関する収集条件を満たさない場合、プライバシを保護する修正により画像を編集する。
　データ処理部１５３は、画像がプライバシに関する収集条件を満たさない場合、画像に含まれる人の顔を加工する。データ処理部１５３は、人の顔をモザイク加工する。データ処理部１５３は、人の顔を人とは異なる別人の顔に変更する。データ処理部１５３は、該当者の同意がない場合、画像に含まれる該当者の顔を加工する。
　データ処理部１５３は、取得部１５２により抽出された各対象画像中の人の顔をモザイク加工する。データ処理部１５３は、顔認識の技術等により画像中から人物の顔が含まれる領域を特定し、特定した領域をモザイク加工することにより、人の顔にモザイク加工が施された編集済み画像を生成する。
　データ処理部１５３は、画像中の人の顔を別人の顔に変更する編集を行う。データ処理部１５３は、顔認識の技術等により画像中から人物の顔が含まれる領域を特定し、特定した領域を別人の顔に置き換える編集を行うことにより、画像中の人の顔が別人の顔に変更された編集済み画像を生成する。データ処理部１５３は、ＧＡＮの技術を用いて、画像中の人の顔を別人の顔に変更する。データ処理部１５３は、記憶部１４に記憶された顔画像の使用を許可した人（許可ユーザ）の顔の画像を用いて、画像中の人の顔を、許可ユーザの顔に変更してもよい。
　送信部１５４は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１５４は、データ収集装置１００等の他の情報処理装置へ各種情報を送信する。送信部１５４は、記憶部１４に記憶された情報を送信する。送信部１５４は、データ収集装置１００等の他の情報処理装置からの要求に応じて、各種情報を送信する。送信部１５４は、記憶部１４に記憶された情報を、各種情報を送信する。
　送信部１５４は、センサ部１６により収集されたセンサ情報をデータ収集装置１００へ送信する。送信部１５４は、センサ部１６の画像センサ１６１（イメージセンサ）により撮像された画像をデータ収集装置１００へ送信する。
　送信部１５４は、要求情報に対応するデータとして収集された提供用データを外部装置へ送信する。送信部１５４は、要求情報に対応するデータとして収集された提供用データをデータ収集装置１００へ送信する。送信部１５４は、取得部１５２により取得されたデータをデータ収集装置１００へ送信する。送信部１５４は、データ処理部１５３により編集された編集済み画像群を含む収集用データをデータ収集装置１００へ送信する。
　送信部１５４は、センサ部１６によるデータ収集の対象となる主体の同意、センサ部１６によるデータ収集を行う地点の判断規準、及びデータの収集基準のうち少なくとも１つを含む収集条件を満たすデータを、データ収集装置１００に送信する。送信部１５４は、データ収集装置１００からのデータの要求に応じて、データをデータ収集装置１００に送信する。
　送信部１５４は、データ処理部１５３により編集され、収集条件を満たすデータをデータ収集装置１００に送信する。送信部１５４は、主体である人のプライバシに関する収集条件を満たすデータをデータ収集装置１００に送信する。送信部１５４は、データ処理部１５３により編集された画像をデータ収集装置１００に送信する。送信部１５４は、データ処理部１５３により該当者の顔が編集された画像をデータ収集装置１００に送信する。
　センサ部１６は、センサを有する。センサ部１６は、画像を撮像する画像センサ１６１を有する。センサ部１６は、画像センサ１６１により、データ収集装置１００が要求する属性に該当する該当者の画像を撮像する。
　なお、センサ部１６は、上記に限らず、種々のセンサを有してもよい。センサ部１６は、音センサ、位置センサ、加速度センサ、ジャイロセンサ、温度センサ、湿度センサ、照度センサ、圧力センサ、近接センサ、ニオイや汗や心拍や脈拍や脳波等の生体情報を受信のためのセンサ等の種々のセンサを有してもよい。また、センサ部１６における上記の各種情報を収集するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。
［１－５．実施形態に係る情報処理の手順］
　次に、図１０～図１２を用いて、実施形態に係る各種情報処理の手順について説明する。
［１－５－１．データ収集装置に係る処理の手順］
　まず、図１０を用いて、本開示の実施形態に係るデータ収集装置に係る処理の流れについて説明する。図１０は、本開示の実施形態に係るデータ収集装置の処理を示すフローチャートである。具体的には、図１０は、データ収集装置１００による情報処理の手順を示すフローチャートである。
　図１０に示すように、データ収集装置１００は、データを要求する要求信号をセンサ装置に送信する（ステップＳ１０１）。例えば、データ収集装置１００は、入力に対して学習結果に応じた出力を行う学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号をセンサ装置１０に送信する。そして、データ収集装置１００は、要求に対応するデータをセンサ装置から受信する（ステップＳ１０２）。例えば、データ収集装置１００は、センサ装置１０から要求信号に対応するデータを受信する。
［１－５－２．センサ装置に係る処理の手順］
　次に、図１１を用いて、本開示の実施形態に係るデータ収集装置に係る処理の流れについて説明する。図１１は、本開示の実施形態に係るセンサ装置の処理を示すフローチャートである。具体的には、図１１は、センサ装置１０による情報処理の手順を示すフローチャートである。
　図１１に示すように、センサ装置１０は、データを要求する要求信号を受信する（ステップＳ２０１）。例えば、センサ装置１０は、データ収集装置１００より、データ収集装置１００が使用する学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似したデータを要求する要求信号を受信する。そして、センサ装置１０は、収集したデータをサーバ装置へ送信する（ステップＳ２０２）。例えば、センサ装置１０は、要求信号に基づいて、有効なデータ、不足するデータ又は類似したデータを収集し、収集したデータをデータ収集装置１００へ送信する。
［１－５－３．データ収集システムに係る処理の手順］
　次に、図１２を用いて、データ収集システムに係る具体的な処理の一例について説明する。図１２は、本開示の実施形態に係るデータ収集システムの処理手順を示すシーケンス図である。
　図１２に示すように、センサ装置１０は、センサによりデータを取得する（ステップＳ３０１）。例えば、センサ装置１０は、画像センサ１６１により画像を取得する。
　データ収集装置１００は、機械学習に用いる保有データを基に必要なデータを決定する（ステップＳ３０２）。例えば、データ収集装置１００は、少数属性のデータを必要なデータに決定する。
　データ収集装置１００は、データをセンサ装置１０に要求する（ステップＳ３０３）。例えば、データ収集装置１００は、少数属性「子供」が撮影された画像をセンサ装置１０に要求する。
　センサ装置１０は、データを編集する（ステップＳ３０４）。例えば、センサ装置１０は、画像中の子供の顔をモザイク編集する。センサ装置１０は、編集後のデータをデータ収集装置１００へ送信する（ステップＳ３０５）。例えば、センサ装置１０は、画像中の子供の顔をモザイク加工した編集後の画像をデータ収集装置１００へ送信する。
　センサ装置１０からデータを受信したデータ収集装置１００は、受信したデータを学習データとして追加する（ステップＳ３０６）。例えば、データ収集装置１００は、受信した編集後の画像を学習に用いるデータセットに追加する。
［１－６．少数属性のデータ収集及び学習処理例］
　ここで、図１３を用いて少数属性のデータ収集及び学習処理例について説明する。図１３は、少数属性のデータ収集及び学習の処理の一例を示すフローチャートである。以下でデータ収集システム１が処理の主体として記載されている処理については、データ収集システム１に含まれるデータ収集装置１００とセンサ装置１０とのいずれの装置が行ってもよい。
　図１３に示すように、データ収集システム１は、少数属性のデータを収集する（ステップＳ４０１）。例えば、データ収集システム１は、センサ装置１０が子供の画像を撮影し、データ収集装置１００へ送信することにより、少数属性「子供」の画像を収集する。これにより、データ収集システム１は、少数属性「子供」の画像を蓄積データＡＤに追加する。
　そして、データ収集システム１は、再学習を行う（ステップＳ４０２）。例えば、データ収集システム１は、少数属性「子供」の画像を追加した蓄積データＡＤを学習データとして用いて、データ収集装置１００がモデル（ネットワーク）の再学習を行う。
　そして、データ収集システム１は、データバイアスのチェックを行う（ステップＳ４０３）。データ収集システム１は、データバイアスありと判定した場合（ステップＳ４０３：データバイアスあり）、ステップＳ４０１に戻って処理を繰り返す。また、データ収集システム１は、データバイアスなしと判定した場合（ステップＳ４０３：データバイアスなし）、再学習の処理を終了する。
　また、データ収集システム１は、ステップＳ４０２で再学習したネットワークにシステムのネットワークを入れ替える。データ収集システム１は、モデル（ネットワーク）のパラメータを、ステップＳ４０２での再学習後のパラメータに更新する。
　上述のように、データ収集システム１は、データバイアスがなければ、これ以上のデータ収集は行う必要がなく終了する。データバイアスが生じている場合には、データ収集システム１は、少数データのデータ収集を行う。このようなループによって構築された再学習ネットワークを自動運転に搭載することで、データに起因するＡＩ倫理問題を解決することができる。データ収集システム１では、今まで子供が認識し難かったが、再学習によって子供の認識率の向上を実現することができる。
［１－７．判断根拠の表示等］
　次に、判断根拠のリアルタイムな表示の点等について記載する。ディープラーニングの結果やその判断根拠をリアルタイムに動画を表示することに意義がある。しかしながら、ディープラーニングでの画像において、リアルタイムに動画を表示することは、非常に重い処理を強いられる。例えば、人物・物体認識において、４Ｋなどの高解像度の動画をリアルタイムに表示させることは難しい。そこで、ディープラーニングの結果や判断根拠だけをＡＲグラス又は透過型モニタ等の出力装置ＯＤ（図１４参照）へ表示させ、実世界の映像は画像表示せずに直接みることを構成するシステム（例えばデータ収集システム１）にて、高速動画処理が可能となる。
　例えば、車載カメラ等のセンサ装置１０を用いた人物や物体の認識を行うシステム（例えばデータ収集システム１）において、認識した人物や物体の結果と判断根拠（例えば、バウンディングボックスやヒートマップ）のみをＡＲグラス又は透過型モニタ等の出力装置ＯＤに表示させて、実世界と重畳させることができる。このような構成のシステム（例えばデータ収集システム１）は、実世界での車外の映像を表示デバイスへ取り込まないので、処理が非常に軽いという特徴がある。その他、ＶＲグラス等の出力装置ＯＤを用いた人物や物体の認識を行うシステム（例えばデータ収集システム１）は、３６０度の全天球での視野角を持つことから、より広範囲な認識を行うことができる。
　コンピュータ（情報処理装置）を用いた人物や物体の認識において、少数データ属性の認識率の低さが公平性を損なう恐れがある。例えば、認識しにくい肌の色、子供などの小さい人間など、データ数が少ない場合に、人物・物体認識での認識率が多数データ属性に比べて低くなるという不公平が生じてしまう。このような不公平は、実用面において、ＡＩ倫理として望ましくなく、少数データ属性へ不利な結果を及ぼしてしまう恐れがある。
　例えば、車載システムにおいて、認識しにくい肌の色、子供などの小さい人間の認識率が低ければ、そのような少数データ属性は、自動車事故に巻き込まれる確率が高くなってしまう。そこで、車載カメラにて撮影したデータを保存して、クラウドへアップするシステムが考えられる。クラウド上にて、新規に撮影されたデータを追加して再学習することで、ディープニューラルネットワークの精度を向上することができる。その際に問題となるのは、個人情報の保護である。
　例えば、車載カメラにて撮影されたデータは、鮮明な顔画像を含んだものもある。また、車載カメラにて撮影された通行人の承諾を得ることは、困難な場合がある。そこで、車載カメラで撮影された映像に顔認識をして、顔画像へ自動的にモザイクをかける処理、又は、顔画像の解像度を落とす処理を施す。個人を特定できない情報へ変換してから、クラウドへアップロードするという手順を踏むことによって、個人情報の保護とデータ活用を両立することが可能となる。クラウド上にて、追加データを含んだディープニューラルネットワークの再学習をする。そして、その再学習されたディープニューラルネットワークを車載システムへアップデート配信することによって、モデルの精度を向上させることができる。
　上述した処理をデータ収集システム１で行う場合の処理例について、図１５を用いて説明する。図１５は、モデルのアップデート処理の一例を示すフローチャートである。この場合、データ収集システム１は、少なくともセンサ装置１０として、移動体であるセンサ装置１０ａを有する。以下でデータ収集システム１が処理の主体として記載されている処理については、データ収集システム１に含まれるデータ収集装置１００とセンサ装置１０とのいずれの装置が行ってもよい。
　図１５に示すように、まず、データ収集システム１は、カメラで映像を取得する（ステップＳ５０１）。例えば、センサ装置１０は、画像センサ１６１の撮像により映像を取得する。
　そして、データ収集システム１は、人物の顔を検出する（ステップＳ５０２）。例えば、センサ装置１０は、映像に含まれる人物の顔を検出する。
　そして、データ収集システム１は、顔の部分にモザイクをかける、又は、解像度を落とす（ステップＳ５０３）。これにより、データ収集システム１は、個人を特定できないデータへ変換する。例えば、センサ装置１０は、顔の部分にモザイクをかける、又は、解像度を落とす処理を実行する。
　そして、データ収集システム１は、データを追加して再学習を行う（ステップＳ５０４）。例えば、データ収集装置１００は、センサ装置１０からデータを取得し、取得したデータを学習データに追加して、再学習を行う。
　そして、データ収集システム１は、再学習したモデルへアップデートを行う（ステップＳ５０５）。例えば、データ収集装置１００は、モデル（ネットワーク）のパラメータを、ステップＳ４０４での再学習後のパラメータに更新する。
［２．その他の実施形態］
　上述した各実施形態に係る処理は、上記各実施形態や変形例以外にも種々の異なる形態（変形例）にて実施されてよい。
［２－１．その他の構成例］
　なお、上記の例では、データ収集装置１００とセンサ装置１０とが別体である場合を示したが、これらの装置は一体であってもよい。例えば、データ収集装置１００は、センサ部１６を有し、必要なデータを自装置のセンサ部１６によりセンシングし取得する機能を有する装置であってもよい。データ収集装置１００は、カメラ、スマホ、テレビ、自動車、ドローン、ロボット、ＡＲグラス等であってもよい。このように、データ収集装置１００は、自律的に必要なデータを収集するセンサ装置であってもよい。
［２－２．データ］
　上述した例では、画像センサ１６１が撮像する画像をデータの一例として説明したが、データは画像に限らず、種々のセンサによりセンシングされたデータであってもよい。すなわち、センサは、画像センサ１６１に限らず、種々の種別のデータをセンシングするセンサであってもよい。例えば、センサは、マイク等の音をセンシングする音センサであってもよい。この場合、データ収集装置１００は、センサ装置１０に必要とする音声データを要求する。センサ装置１０は、音センサにより音声データを取得し、データ収集装置１００へ送信する。データ収集装置１００は、取得した音声データを学習データとして用いてニューラルネットワーク（モデル）を学習する。
［２－２．その他］
　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
［３．本開示に係る効果］
　上述のように、本開示に係るデータ収集システム（実施形態ではデータ収集システム１）は、データを収集するセンサ装置（実施形態ではセンサ装置１０）と、入力に対して学習結果に応じた出力を行う学習モデルと、学習モデルの学習に有効なデータまたは不足するデータを特定するデータ解析部（実施形態では選定部１３１）を有するサーバ装置（実施形態ではデータ収集装置１００）とを備え、サーバ装置は、データ解析部により特定された学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号をセンサ装置に送信し、センサ装置は受信した要求信号に基づき学習に有効なデータ、不足するデータ又は類似するデータを収集し、収集したデータをサーバ装置へ送信し、サーバ装置は、センサ装置から送信されたデータに基づき学習モデルの再学習を行う。
　このように、本開示に係るデータ収集システムは、センサ装置にデータを要求し、センサ装置がサーバ装置に要求に対応するデータを送信することにより、機械学習に用いる所望のデータを収集することができる。
　また、データ取集システムは、センサ装置によるデータ収集において、少なくとも、データ収集の対象となる主体あるいは当該データの権利者の同意、又は、データ収集を行う地点の判断規準を満たすデータを選定してサーバ装置へ送信する。このように、センサ装置は、サーバ装置からのデータの要求に応じて、データをサーバ装置に送信することにより、機械学習に用いる所望のデータを収集することができる。
　上述のように、本開示に係るセンサ装置は、データを収集するセンサ装置において、外部装置より、サーバ装置が使用する学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似したデータを要求する要求信号を受信する受信部（実施形態では受信部１５１）を備え、要求信号に基づいて、有効なデータ、不足するデータ又は類似したデータを収集し、収集したデータをサーバ装置へ送信する。
　このように、本開示に係るセンサ装置は、外部からの要求に応じて、データをサーバ装置に送信することにより、機械学習に用いる所望のデータを収集することができる。
　また、センサ装置は、少なくとも、データ収集の対象となる主体あるいは当該データの権利者の同意、又は、データ収集を行う地点の判断規準を満たすデータをサーバ装置へ送信する。このように、センサ装置は、所定の条件を満たすデータをサーバ装置に送信することにより、機械学習に用いる所望のデータを収集することができる。
　また、センサ装置は、イメージセンサ（実施形態では画像センサ１６１）を備え、要求信号に応じて、解像度、輝度、画角、又は、フレームレートを変更して、サーバ装置に送信する。このように、センサ装置は、要求信号に応じて、解像度、輝度、画角、又は、フレームレートを変更して送信することにより、機械学習に用いる所望のデータを収集することができる。
　また、本開示に係るセンサ装置は、データ処理部（実施形態ではデータ処理部１５３）を備え、データ処理部により、所定の処理がなされたデータをサーバ装置へ送信する。データ処理部は、収集したデータを編集する。このように、センサ装置は、収集したデータを編集することにより、所望のデータを収集することができる。
　また、データ処理部は、プライバシの保護に関する処理を行う。このように、センサ装置は、プライバシの保護に関する処理を行うことにより、データ収集の対象となる人のプライバシを保護しつつ、所望のデータを収集することができる。
　また、データ処理部は、データに含まれる人の顔を変形する。このように、センサ装置は、人の顔をモザイク加工することにより、プライバシに関する収集条件を満たしつつ、所望のデータを収集することができる。
　また、データ処理部は、人の顔を人とは異なる別人の顔に変更する。このように、センサ装置は、人の顔を別人の顔に変更することにより、プライバシに関する収集条件を満たしつつ、所望のデータを収集することができる。
　また、イメージセンサは、少数属性に該当する該当者の画像を取得する。このように、センサ装置は、少数属性に該当する該当者の画像を取得することで、サーバ装置が必要とする画像を取得することができるため、所望のデータを収集することができる。
　また、データ処理部は、該当者の同意がない場合、データ中の該当者の顔を編集する。このように、センサ装置は、サーバ装置の要求に応じて撮像した該当者の同意がない場合、該当者の顔を編集することにより、該当者のプライバシを保護しつつ、所望のデータを収集することができる。
　上述のように、本開示に係るデータ収集装置（実施形態ではデータ収集装置１００）は、送信部（実施形態では送信部１３２）と、受信部（実施形態では受信部１３３）とを備える。送信部は、入力に対して学習結果に応じた出力を行う学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号をセンサ装置に送信する。受信部は、センサ装置から要求信号に対応するデータを受信する。
　このように、本開示に係るデータ収集装置は、データをセンサ装置に要求し、センサ装置からデータを受信することにより、機械学習に用いる所望のデータを収集することができる。
　また、本開示に係るデータ収集装置は、データ解析部を備える。データ解析部は、学習に有効なデータまたは不足するデータを特定する。このように、データ収集装置は、必要なデータを特定し、センサ装置に要求することで、機械学習に用いる所望のデータを収集することができる。
　また、本開示に係るデータ収集装置は、学習部（実施形態では学習部１３５）を備える。学習部は、センサ装置から受信したデータを学習データに追加し、追加後の学習データを用いて、ニューラルネットワークの学習処理を実行する。このように、データ収集装置は、センサ装置からのデータ追加後の学習データを用いて、ニューラルネットワークの学習処理を実行することで、精度良いモデルが学習可能な学習データを用いて学習を行うことができる。
　また、送信部は、イメージセンサを有するセンサ装置にデータを要求する。このように、データ収集装置は、イメージセンサを有するセンサ装置にデータを要求することで、機械学習に用いる所望のデータを収集することができる。
　また、受信部は、人を含むデータをセンサ装置から受信する。このように、データ収集装置は、人を含むデータを収集することができる。
　また、本開示に係るデータ収集装置は、情報処理部（実施形態では情報処理部１３４）を備える。情報処理部は、人の顔を人とは異なる別人の顔に変更する。このように、データ収集装置は、データ中の人の顔を人とは異なる別人の顔に変更することにより、撮影された人のプライバシを保護しつつ、所望のデータを収集することができる。
　また、情報処理部は、人の顔がモザイク加工されている場合、モザイク加工された領域を別人の顔に変更する。このように、データ収集装置は、モザイク加工された領域を別人の顔に変更することにより、撮影された人ではない別人の顔が含まれるデータを学習に用いることができるため、撮影された人のプライバシを保護しつつ、精度良いモデルが学習可能になる。
［４．ハードウェア構成］
　上述してきた各実施形態や変形例に係るデータ収集装置１００やセンサ装置１０や出力装置ＯＤ等の情報機器は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。図１６は、データ収集装置やセンサ装置等の情報機器の機能を実現するコンピュータの一例を示すハードウェア構成図である。以下、実施形態に係るデータ収集装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係るデータ収集装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　データを収集するセンサ装置と、
　入力に対して学習結果に応じた出力を行う学習モデルと、前記学習モデルの学習に有効なデータまたは不足するデータを特定するデータ解析部を有するサーバ装置とを備え、
　前記サーバ装置は、前記データ解析部により特定された学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号を前記センサ装置に送信し、
　前記センサ装置は受信した前記要求信号に基づき前記学習に有効なデータ、前記不足するデータ又は類似するデータを収集し、収集した前記データを前記サーバ装置へ送信し、
　前記サーバ装置は、前記センサ装置から送信されたデータに基づき前記学習モデルの再学習を行うことを特徴とするデータ収集システム。
（２）
　前記データ取集システムは、前記センサ装置によるデータ収集において、少なくとも、前記データ収集の対象となる主体あるいは当該データの権利者の同意、又は、前記データ収集を行う地点の判断規準を満たすデータを選定して前記サーバ装置へ送信することを特徴とする（１）に記載のデータ収集システム。
（３）
　データを収集するセンサ装置において、
　外部装置より、サーバ装置が使用する学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似したデータを要求する要求信号を受信する受信部を備え、
　前記要求信号に基づいて、前記有効なデータ、前記不足するデータ又は類似したデータを収集し、収集したデータを前記サーバ装置へ送信することを特徴とするセンサ装置。
（４）
　前記センサ装置は、少なくとも、前記データ収集の対象となる主体あるいは当該データの権利者の同意、又は、前記データ収集を行う地点の判断規準を満たすデータを前記サーバ装置へ送信することを特徴とする（３）に記載のセンサ装置。
（５）
　前記センサ装置は、イメージセンサを備え、前記要求信号に応じて、解像度、輝度、画角、又は、フレームレートを変更して、前記サーバ装置に送信することを特徴とする（３）または（４）に記載のセンサ装置。
（６）
　収集したデータを編集するデータ処理部、
　をさらに備え、
　前記データ処理部により、所定の処理がなされたデータを前記サーバ装置へ送信する
　ことを特徴とする（５）に記載のセンサ装置。
（７）
　前記データ処理部は、
　プライバシの保護に関する処理を行う、
　（６）に記載のセンサ装置。
（８）
　前記データ処理部は、
　データに含まれる人の顔を変形する
　（７）に記載のセンサ装置。
（９）
　前記データ処理部は、
　前記人の顔をモザイク加工する
　（８）に記載のセンサ装置。
（１０）
　前記データ処理部は、
　前記人の顔を前記人とは異なる別人の顔に変更する
　（９）に記載のセンサ装置。
（１１）
　前記イメージセンサは、
　少数属性に該当する該当者の画像を取得する
　（６）～（１０）のいずれか１つに記載のセンサ装置。
（１２）
　前記データ処理部は、
　前記該当者の同意がない場合、データ中の前記該当者の顔を編集する
　（１１）に記載のセンサ装置。
（１３）
　入力に対して学習結果に応じた出力を行う学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号をセンサ装置に送信する送信部と、
　前記センサ装置から前記要求信号に対応するデータを受信する受信部と、
　を備えるデータ収集装置。
（１４）
　前記学習に有効なデータまたは前記不足するデータを特定するデータ解析部、
　をさらに備え、
　前記送信部は、
　前記データ解析部により特定されたデータを前記センサ装置に要求する
　（１３）に記載のデータ収集装置。
（１５）
　前記センサ装置から受信したデータを学習データに追加し、追加後の前記学習データを用いて、ニューラルネットワークの学習処理を実行する学習部、
　をさらに備える（１３）または（１４）に記載のデータ収集装置。
（１６）
　前記送信部は、
　イメージセンサを有する前記センサ装置にデータを要求する
　（１３）～（１５）のいずれか１つに記載のデータ収集装置。
（１７）
　前記受信部は、
　人を含むデータを前記センサ装置から受信する
　（１６）に記載のデータ収集装置。
（１８）
　前記人の顔を前記人とは異なる別人の顔に変更する情報処理部、
　をさらに備える（１７）に記載のデータ収集装置。
（１９）
　前記情報処理部は、
　前記人の顔がモザイク加工されている場合、モザイク加工された領域を前記別人の顔に変更する
　（１８）に記載のデータ収集装置。
（２０）
　センサ装置がデータを収集し、
　入力に対して学習結果に応じた出力を行う学習モデルと、前記学習モデルの学習に有効なデータまたは不足するデータを特定するデータ解析部を有するサーバ装置が、前記データ解析部により特定された学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号を前記センサ装置に送信し、
　前記センサ装置が受信した前記要求信号に基づき前記学習に有効なデータ、前記不足するデータ又は類似するデータを収集し、収集した前記データを前記サーバ装置へ送信し、
　前記サーバ装置が前記センサ装置から送信されたデータに基づき前記学習モデルの再学習を行う、
　処理を実行するデータ収集方法。
　１　データ収集システム
　１００　データ収集装置（サーバ装置）
　１１０　通信部
　１２０　記憶部
　１２１　データ情報記憶部
　１２２　モデル情報記憶部
　１２３　少数属性情報記憶部
　１３０　制御部
　１３１　選定部（データ解析部）
　１３２　送信部
　１３３　受信部
　１３４　情報処理部
　１３５　学習部
　１０　センサ装置
　１１　通信部
　１２　入力部
　１３　出力部
　１４　記憶部
　１４１　収集条件記憶部
　１４２　データ記憶部
　１５　制御部
　１５１　受信部
　１５２　取得部
　１５３　データ処理部
　１５４　送信部
　１６　センサ部（センサ）

Claims (20)

  1. 　データを収集するセンサ装置と、
    　入力に対して学習結果に応じた出力を行う学習モデルと、前記学習モデルの学習に有効なデータまたは不足するデータを特定するデータ解析部を有するサーバ装置とを備え、
    　前記サーバ装置は、前記データ解析部により特定された学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号を前記センサ装置に送信し、
    　前記センサ装置は受信した前記要求信号に基づき前記学習に有効なデータ、前記不足するデータ又は類似するデータを収集し、収集した前記データを前記サーバ装置へ送信し、
    　前記サーバ装置は、前記センサ装置から送信されたデータに基づき前記学習モデルの再学習を行うことを特徴とするデータ収集システム。
  2. 　前記データ取集システムは、前記センサ装置によるデータ収集において、少なくとも、前記データ収集の対象となる主体あるいは当該データの権利者の同意、又は、前記データ収集を行う地点の判断規準を満たすデータを選定して前記サーバ装置へ送信することを特徴とする請求項１に記載のデータ収集システム。
  3. 　データを収集するセンサ装置において、
    　外部装置より、サーバ装置が使用する学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似したデータを要求する要求信号を受信する受信部を備え、
    　前記要求信号に基づいて、前記有効なデータ、前記不足するデータ又は類似したデータを収集し、収集したデータを前記サーバ装置へ送信することを特徴とするセンサ装置。
  4. 　前記センサ装置は、少なくとも、前記データ収集の対象となる主体あるいは当該データの権利者の同意、又は、前記データ収集を行う地点の判断規準を満たすデータを選定して前記サーバ装置へ送信することを特徴とする請求項３に記載のセンサ装置。
  5. 　前記センサ装置は、イメージセンサを備え、前記要求信号に応じて、解像度、輝度、画角、又は、フレームレートを変更して、前記サーバ装置へ送信することを特徴とする請求項３に記載のセンサ装置。
  6. 　収集したデータを編集するデータ処理部、
    　をさらに備え、
    　前記データ処理部により、所定の処理がなされたデータを前記サーバ装置へ送信する
    　ことを特徴とする請求項５に記載のセンサ装置。
  7. 　前記データ処理部は、
    　プライバシの保護に関する処理を行う、
    　請求項６に記載のセンサ装置。
  8. 　前記データ処理部は、
    　データに含まれる人の顔を変形する
    　請求項７に記載のセンサ装置。
  9. 　前記データ処理部は、
    　前記人の顔をモザイク加工する
    　請求項８に記載のセンサ装置。
  10. 　前記データ処理部は、
    　前記人の顔を前記人とは異なる別人の顔に変更する
    　請求項９に記載のセンサ装置。
  11. 　前記イメージセンサは、
    　少数属性に該当する該当者の画像を取得する
    　請求項６に記載のセンサ装置。
  12. 　前記データ処理部は、
    　前記該当者の同意がない場合、データ中の前記該当者の顔を変更する
    　請求項１１に記載のセンサ装置。
  13. 　入力に対して学習結果に応じた出力を行う学習モデルの学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号をセンサ装置に送信する送信部と、
    　前記センサ装置から前記要求信号に対応するデータを受信する受信部と、
    　を備えるデータ収集装置。
  14. 　前記学習に有効なデータまたは前記不足するデータを特定するデータ解析部、
    　をさらに備え、
    　前記送信部は、
    　前記データ解析部により特定されたデータを前記センサ装置に要求する
    　請求項１３に記載のデータ収集装置。
  15. 　前記センサ装置から受信したデータを学習データに追加し、追加後の前記学習データを用いて、ニューラルネットワークの学習処理を実行する学習部、
    　をさらに備える請求項１３に記載のデータ収集装置。
  16. 　前記送信部は、
    　イメージセンサを有する前記センサ装置にデータを要求する
    　請求項１３に記載のデータ収集装置。
  17. 　前記受信部は、
    　人を含むデータを前記センサ装置から受信する
    　請求項１６に記載のデータ収集装置。
  18. 　前記人の顔を前記人とは異なる別人の顔に変更する情報処理部、
    　をさらに備える請求項１７に記載のデータ収集装置。
  19. 　前記情報処理部は、
    　前記人の顔がモザイク加工されている場合、モザイク加工された領域を前記別人の顔に変更する
    　請求項１８に記載のデータ収集装置。
  20. 　センサ装置がデータを収集し、
    　入力に対して学習結果に応じた出力を行う学習モデルと、前記学習モデルの学習に有効なデータまたは不足するデータを特定するデータ解析部を有するサーバ装置が、前記データ解析部により特定された学習に有効なデータ、不足するデータ又は当該データに類似するデータを収集する要求信号を前記センサ装置に送信し、
    　前記センサ装置が受信した前記要求信号に基づき前記学習に有効なデータ、前記不足するデータ又は類似するデータを収集し、収集した前記データを前記サーバ装置へ送信し、
    　前記サーバ装置が前記センサ装置から送信されたデータに基づき前記学習モデルの再学習を行う、
    　処理を実行するデータ収集方法。
PCT/JP2021/023319 2020-07-07 2021-06-21 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法 WO2022009652A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/003,552 US20230237774A1 (en) 2020-07-07 2021-06-21 Data collection system, sensor device, data collection device, and data collection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020117369 2020-07-07
JP2020-117369 2020-07-07

Publications (1)

Publication Number Publication Date
WO2022009652A1 true WO2022009652A1 (ja) 2022-01-13

Family

ID=79552927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023319 WO2022009652A1 (ja) 2020-07-07 2021-06-21 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法

Country Status (2)

Country Link
US (1) US20230237774A1 (ja)
WO (1) WO2022009652A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085796A (ja) * 2012-10-23 2014-05-12 Sony Corp 情報処理装置およびプログラム
WO2018142764A1 (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置
JP2019159959A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 検査システム、識別システム、及び学習データ生成装置
JP2019192082A (ja) * 2018-04-27 2019-10-31 Ａｗｌ株式会社 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085796A (ja) * 2012-10-23 2014-05-12 Sony Corp 情報処理装置およびプログラム
WO2018142764A1 (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置
JP2019159959A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 検査システム、識別システム、及び学習データ生成装置
JP2019192082A (ja) * 2018-04-27 2019-10-31 Ａｗｌ株式会社 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム

Also Published As

Publication number Publication date
US20230237774A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
DE102020102230A1 (de) Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen
WO2020192471A1 (zh) 一种图像分类模型训练的方法、图像处理的方法及装置
Petrović Subjective tests for image fusion evaluation and objective metric validation
US20190287297A1 (en) Three-dimensional environment modeling based on a multi-camera convolver system
JP6989294B2 (ja) 監視システム及び監視方法
JP2019179390A (ja) 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
GB2604964A (en) Systems and methods for detecting symptoms of occupant illness
JP2021530823A (ja) ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器
Suthar et al. Human activity recognition using deep learning: a survey
Gupta et al. A multimodal facial cues based engagement detection system in e-learning context using deep learning approach
Venkatesvara Rao et al. Real-time video object detection and classification using hybrid texture feature extraction
US20230115987A1 (en) Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing apparatus
DE102022201786A1 (de) System und verfahren für multimodales neurosymbolisches szenenverständnis
JP7001150B2 (ja) 識別システム、モデル再学習方法およびプログラム
WO2022041182A1 (zh) 音乐推荐方法和装置
WO2018211602A1 (ja) 学習装置、推定装置、学習方法及びプログラム
WO2022009652A1 (ja) データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
US20200301398A1 (en) Information processing device, information processing method, and program
US9942472B2 (en) Method and system for real-time image subjective social contentment maximization
CN113627448A (zh) 构建人体热舒适预测模型的方法、预测方法及系统
JP2021033359A (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム
US20210385426A1 (en) A calibration method for a recording device and a method for an automatic setup of a multi-camera system
JP2020166315A (ja) 学習データの生成方法、トレーニング方法、予測モデル、コンピュータプログラム
JP6981553B2 (ja) 識別システム、モデル提供方法およびモデル提供プログラム
JP7084962B2 (ja) 推定プログラム、推定装置、推定方法、生成プログラム、生成装置及び生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP