WO2018142766A1 - 学習済みモデル提供方法および学習済みモデル提供装置 - Google Patents

学習済みモデル提供方法および学習済みモデル提供装置 Download PDF

Info

Publication number
WO2018142766A1
WO2018142766A1 PCT/JP2017/044297 JP2017044297W WO2018142766A1 WO 2018142766 A1 WO2018142766 A1 WO 2018142766A1 JP 2017044297 W JP2017044297 W JP 2017044297W WO 2018142766 A1 WO2018142766 A1 WO 2018142766A1
Authority
WO
WIPO (PCT)
Prior art keywords
learned model
learned
model
user
data
Prior art date
Application number
PCT/JP2017/044297
Other languages
English (en)
French (fr)
Inventor
裕一 松本
杉浦　雅貴
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US16/098,023 priority Critical patent/US20190147361A1/en
Priority to JP2018538805A priority patent/JP7065266B2/ja
Priority to EP17895213.1A priority patent/EP3579153A4/en
Priority to CN201780027066.1A priority patent/CN109074521A/zh
Publication of WO2018142766A1 publication Critical patent/WO2018142766A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present disclosure provides a learned model providing method of selecting one or more learned models from a plurality of learned models stored in advance in a database in response to a use request acquired from the user side apparatus and providing the selected model to the user side apparatus. And an apparatus for providing a learned model.
  • Patent No. 5445722 gazette
  • the present disclosure is mainly intended to select and provide a learned model optimal for use in a user-side device from a plurality of learned models stored in advance.
  • the learning model providing method acquires test data, which is data in which attribute information of the data is attached to sensing data, from the user-side device, and the test data is stored in advance in the database.
  • the performance of each of the plurality of learned models is calculated by applying to each of the completed models, and based on the calculated performance, a learned model to be provided to the user device from the plurality of learned models is provided. It is characterized by selecting.
  • FIG. 1 is an overall configuration diagram of a learned model providing system of the present disclosure.
  • FIG. 2A is a block diagram showing a schematic configuration of a server apparatus.
  • FIG. 2B is a block diagram showing a schematic configuration of a storage unit of the server device.
  • FIG. 3 is a block diagram showing a schematic configuration of the user side apparatus.
  • FIG. 4 is a sequence diagram showing an operation procedure of the learned model provision device.
  • FIG. 5 is a sequence diagram showing an operation procedure of a learned model providing device according to another embodiment.
  • test data which is data obtained by adding attribute information of sensing data to the sensing data
  • the test data is stored in advance in a database.
  • the performance of each of the plurality of learned models is calculated by applying to each of the plurality of learned models, and the plurality of learned models are provided to the user side apparatus based on the calculated performance. It is a method of providing a trained model characterized by selecting a trained model to be used.
  • the user side is selected from the plurality of learned models stored in advance in the database, based on the performance calculated using the test data acquired from the user side device.
  • the trained models to provide to the device can be selected.
  • a plurality of learned models each of which acquires test data which is data obtained by adding attribute information of the data to sensing data, from the user-side device, and stores the test data in a database in advance. Calculating the performance of each of the plurality of learned models, and determining a learned model for fine tuning from the plurality of learned models based on the calculated performance.
  • the test data is used to fine tune the determined learned model for fine tuning, and the test data is applied to the fine tuned learned model to obtain the fine tuned learning
  • the performance of the model is calculated, and based on the calculated performance
  • There are a learned model provides methods and selects the learned model that provides the user device from the fine tuned learned model.
  • fine tuning can be performed on the learned model determined based on the performance calculated using the test data acquired from the user device Therefore, it becomes possible to provide the optimal learned model by utilization in the user side apparatus.
  • the second disclosure information on whether or not provision of a learned model fine-tuned using the test data to a third party is obtained from the user side device If the information to the effect that the provision of the fine-tuned learned model to a third party is denied is provided, the provision of the fine-tuned learned model to the third party is not performed. I assume.
  • the method of providing a learned model according to the third disclosure it is possible to prevent provision of a fine-tuned learned model to a third party using test data acquired from the user-side device. It is possible to protect the privacy of the user of the user device.
  • model information which is information of at least one of a function and a generation environment of the selected learned model, is presented to the user side device.
  • the learned model determined to be used by the user device is the user device It is characterized by providing to.
  • the user of the user device determines the learned model to be used by the user device based on the model information of the selected learned model. Is possible.
  • a recommendation degree of the learned model is given to the selected learned model, and the selected learning model is selected.
  • the user device may Providing the learned model whose use has been determined to the user-side device.
  • the user of the user device determines the learned model to be used by the user device based on the recommendation degree of the selected learned model. Is possible.
  • the recommendation degree is a usage record of the learned model, an evaluation of the learned model, and a number of learning data used for generating the learned model. It is determined on the basis of at least one of
  • the degree of encouragement can be easily and appropriately determined.
  • the seventh disclosure includes one or more processors, a database storing a plurality of learned models in advance, and a communication unit that communicates with a user device, the processor including: Test data, which is data obtained by adding attribute information of the data to the sensing data, is obtained from the user-side device, and the test data is applied to each of the plurality of learned models to obtain the plurality of learned models. It is a learned model providing device characterized by calculating each performance and selecting a learned model to be provided to the user side device from the plurality of learned models based on the calculated performance.
  • the user side is selected from the plurality of learned models stored in advance in the database based on the performance calculated using the test data acquired from the user side device.
  • the trained models to provide to the device can be selected.
  • An eighth disclosure includes one or more processors, a database in which a plurality of learned models are stored in advance, and a communication unit that performs communication with a user device, the processor including:
  • the test data which is data obtained by adding attribute information of the data to the sensing data, is acquired from the user device, and the test data is applied to each of the plurality of learned models to obtain the plurality of learned data.
  • the performance of each of the models is calculated, and a learned model for fine tuning is determined from the plurality of learned models based on the calculated performance, and the determined fine tuning is performed using the test data.
  • the performance of the fine-tuned learned model is calculated by applying to the learned model, and the learned model provided from the fine-tuned learned model to the user-side device based on the calculated performance. It is a learned model providing device characterized by selecting.
  • fine tuning can be performed on the learned model determined based on the performance calculated using the test data acquired from the user device Therefore, it becomes possible to provide the optimal learned model by utilization in the user side apparatus.
  • the processor is configured to determine whether to provide a learned model fine-tuned using the test data from the user device to a third party. When information is acquired and information indicating that the fine tuned learning model is not provided to a third party is provided, the fine tuned learning model is provided to a third party It is characterized by no.
  • the learned model provision device pertaining to the ninth disclosure it is possible to prevent provision of a fine-tuned learned model to a third party using test data acquired from the user-side device. It is possible to protect the privacy of the user of the user device.
  • the processor is configured to receive model information as information on at least one of a function of the selected learned model and a generation environment.
  • the learned model determined to be used by the user-side device when information is presented from the user-side device indicating the learned model determined to be used by the user-side device. It provides the said user side apparatus, It is characterized by the above-mentioned.
  • the user of the user device determines the learned model to be used by the user device based on the model information of the selected learned model. Is possible.
  • the processor gives the recommendation degree of the learned model to the selected learned model, and the processor selects the selected learning model.
  • the processor selects the selected learning model.
  • the user of the user device determines the learned model to be used by the user device based on the recommendation degree of the selected learned model. Is possible.
  • the recommendation degree is a usage record of the learned model, an evaluation of the learned model, and a number of learning data used for generating the learned model. It is determined on the basis of at least one of
  • the recommendation degree can be easily and appropriately determined.
  • weight values of connections (synaptic connections) between nodes constituting a neural network are updated using a known algorithm (for example, in the back error propagation method, an error from a correct answer in the output layer) Is performed by adjusting / updating the weight value so as to reduce.
  • a set of weight values between nodes for which the learning process has been completed is called a "learned model”, and the learned model is applied to a neural network having the same configuration as the neural network used in the learning process (internode connection
  • the unknown input data that is, new input data not used in the learning process
  • the correct data as the output data (recognition result) with a certain accuracy.
  • a neural network using the learned model is configured to execute recognition processing, thereby performing image recognition and speech recognition with the learned recognition accuracy. It is possible to do
  • the learned model is a model in which performance optimization is attempted on data for learning on a predetermined basis. Therefore, in general, in order to verify what kind of performance the learned model will perform for actual data different from the data for learning, it is necessary to operate while obtaining the actual data It was supposed to be.
  • the learned model providing system 1 In the learned model providing system 1 according to the present disclosure, one or more of the plurality of learned models stored in advance in the database are adapted to the use purpose of the user device in response to the use request acquired from the user device It is a system for selecting a learned model and providing it to the user side device.
  • the learned model referred to in the present specification means machine learning (for example, deep learning using a multi-layered neural network, support vector machine, boosting, reinforcement learning, etc.) based on learning data and correct data (teacher data). It is a model generated by machine learning (for example, deep learning using a multi-layered neural network, support vector machine, boosting, reinforcement learning, etc.) based on learning data and correct data (teacher data). It is a model generated by
  • FIG. 1 is an overall configuration diagram of a learned model providing system 1 according to the present disclosure.
  • a learned model providing system 1 includes a learned model providing apparatus 2 (hereinafter, referred to as “server apparatus”) that stores a plurality of learned models in advance, and a server apparatus. And a user-side device 3 that receives provision of a learned model.
  • the server device 2 and the user device 3 are connected to each other via a network such as the Internet.
  • the server device 2 is a general computer device, and stores a plurality of learned models in a learned model database 27 (see FIG. 2B) described later. Then, when the server apparatus 2 receives a use request including the use purpose from the user side apparatus 3, a plurality of learned models which are stored in the learned model database 27 are suitable for the use complete model suitable for the use purpose. It selects and transmits to the user side device 3.
  • the server device 2 may be configured as a cloud server for providing the user-side device 3 with the learned model stored in advance.
  • FIG. 2A is a block diagram showing a schematic configuration of the server device 2
  • FIG. 2B is a block diagram showing a schematic configuration of a storage unit of the server device 2.
  • the server device 2 includes a storage unit 21, a processor 22, a display unit 23, an input unit 24, a communication unit 25, and a bus 26 connecting them.
  • the storage unit 21 is, for example, a storage device (storage) such as a ROM (Read Only Memory) or a hard disk, and stores various programs and various data for realizing each function of the server device 2. In addition, as illustrated in FIG. 2B, the storage unit 21 stores a learned model database 27.
  • the processor 22 is, for example, a CPU (Central Processing Unit), reads various programs and various data from the storage unit 21 onto a RAM (Random Access Memory) (not shown), and executes each process of the server device 2.
  • the display unit 23 is configured by a display such as a liquid crystal display panel or the like, and is used to display the processing result of the processor 22 or the like.
  • the input unit 24 is configured by an input device such as a keyboard and a mouse, and is used to operate the server device 2.
  • the communication unit 25 communicates with the user device 3 via a network such as the Internet.
  • a plurality of learned models are stored in advance. Further, in the learned model database 27, model information which is information of at least one of the function of the learned model and the generation environment is stored in advance for each of the plurality of learned models.
  • the model information includes storage model information, generation environment information, and necessary resource information.
  • the stored model information is the function of the learned model, the performance of the learned model, the value for using the learned model, and the number of data of learning data (sensing data) used for generating the learned model. Contains information about at least one.
  • the function of a learned model is the purpose or use of the learned model.
  • the learned model is a learned model that performs some estimation of the person from the captured image including the person
  • examples of the functions of the learned model include a face detection function, a human body detection function, and a motion detection function. , A posture detection function, a person attribute estimation function, a person action prediction function, and the like.
  • the functions of the learned model are not limited to these, and may be various functions according to the purpose of using the learned model.
  • the performance of a learned model is, for example, the accuracy rate (degree of correctness), accuracy rate, recall rate, type of neural network model, number of layers, etc. when processing such as image analysis processing is performed using the learned model. It is.
  • the consideration for using the learned model is, for example, a virtual currency or points.
  • the generation environment information is information related to an acquisition environment of learning data (sensing data) used to generate a learned model, and specifically, is used to acquire learning data acquisition conditions and learning data. It contains information on at least one of the installation environment of the device.
  • learning data acquisition conditions include imaging time (eg, day, night, etc.), imaging Environment (for example, weather, illuminance, etc.), number of cameras, various imaging parameters of cameras (for example, installation height, imaging angle, focal length, zoom magnification, resolution, etc.), etc.
  • an installation environment of the device (camera) used for the place where the camera is installed for example, a convenience store, a station, a shopping mall, a factory, an airport, etc.
  • an environment around the camera for example, outdoors, indoors, etc. And the like.
  • Necessary resource information is information on the resource or ability of a device necessary to use the learned model, and more specifically, the resource and ability of a computer device performing processing using the learned model (resource And specifications), and information about the resources and capabilities (resources and specifications) of the device (eg, camera) used to obtain user-side data to be used when utilizing the learned model in the computer device .
  • the resources or capabilities of a computer device include the type of CPU, the type (or number) of GPUs, the OS, the type of neural network model, the number of layers, etc. that the computer device has.
  • the user side device 3 is a general computer device, and is used to perform processing such as image analysis processing and new machine learning using the learned model provided from the server device 2. As described above, provision of the learned model from the server device 2 to the user device 3 is performed by the user device 3 transmitting a use request to the server device 2.
  • FIG. 3 is a block diagram showing a schematic configuration of the user side device 3.
  • the user device 3 includes a storage unit 31, a processor 32, a display unit 33, an input unit 34, a communication unit 35, and a bus 36 connecting them.
  • the storage unit 31 is, for example, a storage device (storage) such as a ROM or a hard disk, and stores various programs and various data for realizing each function of the user device 3.
  • the processor 32 is, for example, a CPU, reads various programs and various data from the storage unit 31 onto a RAM (not shown), and executes each process of the user device 3.
  • the display unit 33 is configured of a display such as a liquid crystal display panel or the like, and is used to display the processing result of the processor 32 or the like.
  • the input unit 34 includes an input device such as a keyboard and a mouse, and is used to operate the user device 3.
  • the communication unit 35 communicates with the server device 2 via a network such as the Internet.
  • the above-described devices of the learned model providing system 1 are not limited to computer devices, and other information processing devices (for example, servers or the like) capable of performing similar functions can also be used.
  • information processing devices for example, servers or the like
  • at least a part of the functions of the above-described apparatuses of the learned model providing system 1 may be replaced by processing by other known hardware.
  • FIG. 4 is a sequence diagram showing an operation procedure of the learned model providing system 1.
  • an operation procedure of the server device 2 and the user side device 3 of the learned model providing system 1 will be described.
  • the user of the user device 3 operates the input unit 34 to input test data to the user device 3 (step ST101).
  • the test data is used as test data of a learned model stored in the server device 2.
  • the test data is a face image of the user, and a face image (sensing data) of the user captured by a camera (not shown) connected to the user side device 3 is used as test data.
  • the test data is attached with the attribute information of the test data. This attribute information is used as correct answer information when calculating the performance of the learned model using test data.
  • the test data since the test data is a face image of the user, information indicating the age, gender, etc. of the user is attached as attribute information of the test data. The attachment of the attribute information may be performed by the user operating the input unit 34 of the user device 3.
  • test data input to the user device 3 is transmitted to the server device 2 via a network such as the Internet (step ST102).
  • the server device 2 When receiving test data from the user-side device 3, the server device 2 applies the test data to each of a plurality of learned models stored in the learned model database 27, and the performance of each learned model is obtained. Is calculated (step ST103). Further, attribute information attached to test data is also used to calculate the performance of the learned model. Specifically, the performance of the learned model is calculated by comparing the information estimated by applying the test data to the learned model and the attribute information attached to the test data. In the present embodiment, the accuracy rate (degree of accuracy) is used as the performance of the learned model. The calculation of the accuracy rate is performed using a known method. In addition to the correct answer rate, various indexes such as the precision rate and the recall rate can be used as the performance of the learned model according to the output format of the learned model.
  • the server device 2 selects and determines one or more fine tuning models from the plurality of learned models stored in the learned model database 27 based on the calculated correct answer rate (Step ST104). For example, a learned model whose accuracy rate exceeds a predetermined threshold or a model whose accuracy rate is higher than a predetermined rank may be selected as the fine tuning model.
  • the server device 2 performs fine tuning of the selected model for fine tuning using the test data (step ST105). If there are multiple selected fine tuning models, fine tuning is performed on each of the fine tuning models.
  • the fine tuning referred to in the present specification is additional learning performed using additional learning data.
  • test data is used as additional learning data. Fine tuning is performed using a known method.
  • the server device 2 applies test data to the fine-tuned learned model as in step ST103 described above, and calculates the accuracy rate of the fine-tuned learned model (step ST106).
  • the accuracy rate of each fine-tuned learned model is calculated.
  • the calculation of the accuracy rate is performed using a known method.
  • various indexes such as the precision rate and the recall rate can be used as the performance of the learned model according to the output format of the learned model.
  • the server device 2 selects one or more learned models to be provided to the user device 3 from the fine-tuned learned models based on the calculated correct answer rate (step ST107). Similar to step ST104 described above, for example, learning in which the user-side device 3 is provided with a learned model whose correct answer rate exceeds a predetermined threshold, or a learned model whose answer rate is higher than a predetermined order. It is good to select it as a finished model.
  • a learned model before fine-tuning may be included in the selection target. That is, from the fine-tuned learned model and the learned model before fine-tuning, the learned model to be provided to the user side device 3 may be selected based on the accuracy rate of each learned model. .
  • the server device 2 assigns the recommended degree of the learned model to the selected learned model (step ST108).
  • a recommendation degree is given to each of the selected learned models.
  • the recommendation degree is determined based on at least one of usage of the learned model, evaluation of the learned model, and the number of learning data used to generate the learned model.
  • the usage record should use the usage history of the learned model.
  • the usage history and the evaluation may be linked to the learned model and stored in advance in the learned model database 27.
  • the server device 2 transmits the model information and the recommendation degree of the selected learned model to the user side device 3 (step ST109).
  • model information is stored in advance in the learned model database 27. Thereby, the model information and the recommendation degree of the learned model selected by the server device 2 can be presented to the user of the user-side device 3.
  • the user side device 3 When the user side device 3 receives the model information and the recommendation degree of the selected learned model from the server device 2, the user side device 3 displays a screen indicating the received information on the display unit 33. The user of the user device 3 confirms the information displayed on the display unit 33, and determines a learned model to be used by the user device 3 (step ST110). Specifically, the user of the user-side device 3 determines whether or not to accept the use of the learned model if the above-described selected learned model is one, and the above-mentioned selected When there are a plurality of learned models, it is determined to use any one of the plurality of learned models or not to use any of the learned models.
  • the determination result of the user of the user device 3 is input to the user device 3 via the input unit 34.
  • the determination result input to the user device 3 is transmitted from the user device 3 to the server device 2 as a determination notification (step ST111).
  • the server device 2 transmits the learned model determined by the user device 3 to the user device 3 (step ST112).
  • the server device 2 stores in advance in the learned model database 27 based on the performance calculated using the test data acquired from the user-side device 3 It is possible to select a trained model to be provided to the user side device 3 from the plurality of trained models that have been sent. As a result, it is possible to select and provide a learned model optimal for use in the user side device 3 from a plurality of learned models stored in advance in the learned model database 27.
  • the server device 2 performs fine tuning on the learned model determined based on the performance calculated using the test data acquired from the user device 3. Since it can be performed, it becomes possible to provide the optimal learned model by utilization by the user side apparatus 3.
  • the model information and the recommendation degree of the learned model selected by the server device 2 can be presented to the user of the user side device 3, so the user side device It becomes possible for three users to determine a learned model to be used by the user-side device 3 based on the information.
  • the test data is also used to transmit information indicating whether the fine-tuned learned model can be provided to a third party.
  • the test data is transmitted from the user side device 3 to the server device 2
  • the test data is also used to transmit information indicating whether the fine-tuned learned model can be provided to a third party.
  • the user of the user device 3 operates the input unit 34 to use the test data in the user device 3.
  • Whether to provide a fine-tuned learned model to a third party is input (step ST201).
  • the information indicating whether the fine-tuned learned model is provided to the third party and input to the user-side device 3 is transmitted to the server device 2 via the network such as the Internet, together with the test data ( Step ST202).
  • the server device 2 may use the fine-tuned learned model, Do not provide to other users such as other user devices.
  • the server device 2 may use the fine-tuned learned model, Do not provide to other users such as other user devices.
  • the database the learned model database 27 or other databases
  • processing for prohibiting provision of the learned model to the third party is performed (step ST203).
  • the user side device 3 obtains information indicating that the fine tuned learned model can be provided to a third party, processing for prohibiting this provision to the third party is not performed. In this way, provision of the fine-tuned learned model to a third party can be prevented, so that the privacy of the user of the user-side device 3 can be protected.
  • fine tuning is performed on a learned model determined based on the performance calculated using test data acquired from the user device 3.
  • this fine tuning is not essential. It may be omitted.
  • both of the model information and the recommendation degree are presented to the user side device 3.
  • only one of the model information and the recommendation degree may be presented.
  • presentation of this model information and recommendation degree is not essential, and may be omitted.
  • image data is taken as an example of learning data and user side data (sensing data), but the learning data and user side data are not limited to image data, for example, sound, temperature , Humidity, vibration, weather, etc. may be data.
  • the learned model provision method and the learned model provision device according to the present disclosure can be applied to a learned model that uses various data in various fields such as manufacturing, logistics, public services, transportation, medical care, education, and finance, for example. It is.
  • a learning model providing method and a learning model providing apparatus select and provide a learning model optimal for use in a user-side apparatus from a plurality of learning models stored in advance in a database. It is useful as a trained model providing method and a trained model providing device that make it possible.
  • Trained model provision system 2 Trained model provision device (server unit) 3 User-side Device 22 Processor 25 Communication Unit 27 Learned Model Database

Abstract

学習済みモデル提供システム（１）が、複数の学習済みモデルを予め保管している学習済みモデル提供装置（２）と、学習済みモデル提供装置（２）から学習済みモデルの提供を受けるユーザ側装置（３）とを備えた構成とする。学習済みモデル提供装置（２）は、ユーザ側装置（３）から取得したテストデータを使用して算出した性能に基づいて、学習済みモデルデータベース（２７）に保管されている複数の学習済みモデルからユーザ側装置（３）に提供する学習済みモデルを選択することができる。これにより、データベース（２７）に予め保管されている複数の学習済みモデルから、ユーザ側装置（３）での利用に最適な学習済みモデルを選択して提供することが可能となる。

Description

学習済みモデル提供方法および学習済みモデル提供装置
　本開示は、ユーザ側装置から取得した利用要求に応じてデータベースに予め保管されている複数の学習済みモデルから１または複数の学習済みモデルを選択してユーザ側装置に提供する学習済みモデル提供方法および学習済みモデル提供装置に関する。
　従来、センシングデータを利用するセンサネットワークにおいてセンシングデータの流通を適正化することを目的として、センシングデータを出力するセンサに関する情報であるセンサ側メタデータと、センシングデータを利用してサービスを提供するアプリケーションに関する情報であるアプリ側メタデータとのマッチングを行うことにより、アプリケーションの要求を満たすセンシングデータを提供可能なセンサを抽出するようにした技術が知られている（特許文献１参照）。
特許第５４４５７２２号公報
　本開示は、予め保管されている複数の学習済みモデルから、ユーザ側装置での利用に最適な学習済みモデルを選択して提供することを主目的とする。
　本開示の学習済みモデル提供方法は、ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする。
　本開示によれば、データベースに予め保管されている複数の学習済みモデルから、ユーザ側装置での利用に最適な学習済みモデルを選択して提供することが可能となる。
図１は、本開示の学習済みモデル提供システムの全体構成図である。 図２Ａは、サーバ装置の概略構成を示すブロック図である。 図２Ｂは、サーバ装置の記憶部の概略構成を示すブロック図である。 図３は、ユーザ側装置の概略構成を示すブロック図である。 図４は、学習済みモデル提供装置の動作手順を示すシーケンス図である。 図５は、別の実施形態に係る学習済みモデル提供装置の動作手順を示すシーケンス図である。
　上記課題を解決するためになされた第１の開示は、ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供方法である。
　この第１の開示に係る学習済みモデル提供方法によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて、データベースに予め保管されている複数の学習済みモデルからユーザ側装置に提供する学習済みモデルを選択することができる。
　これにより、データベースに予め保管されている複数の学習済みモデルからユーザ側装置での利用に最適な学習済みモデルを選択して提供することが可能となる。
　また、第２の開示は、ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供方法である。
　この第２の開示に係る学習済みモデル提供方法によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行うことができるので、ユーザ側装置での利用により最適な学習済みモデルを提供することが可能となる。
　また、第３の開示は、上記第２の開示において、前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わないことを特徴とする。
　この第３の開示に係る学習済みモデル提供方法によれば、ユーザ側装置から取得したテストデータを使用してファインチューニングされた学習済みモデルの第三者への提供を防止することができるので、ユーザ側装置のユーザのプライバシーを保護することが可能となる。
　また、第４の開示は、上記第１の開示または第２の開示において、前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。
　この第４の開示に係る学習済みモデル提供方法によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルのモデル情報に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。
　また、第５の開示は、上記第１の開示または第２の開示において、前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。
　この第５の開示に係る学習済みモデル提供方法によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルの推奨度に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。
　また、第６の開示は、上記第５の開示において、前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定されることを特徴とする。
　この第６の開示に係る学習済みモデル提供方法によれば、前記奨励度を容易かつ適切に決定することができる。
　また、第７の開示は、１または複数のプロセッサと、複数の学習済みモデルを予め保管しているデータベースと、ユーザ側装置との間で通信を行う通信部とを備え、前記プロセッサは、前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、前記複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供装置である。
　この第７の開示に係る学習済みモデル提供装置によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて、データベースに予め保管されている複数の学習済みモデルからユーザ側装置に提供する学習済みモデルを選択することができる。
　これにより、データベースに予め保管されている複数の学習済みモデルからユーザ側装置での利用に最適な学習済みモデルを選択して提供することが可能となる。
　また、第８の開示は、１または複数のプロセッサと、複数の学習済みモデルを予め保管しているデータベースと、ユーザ側装置との間で通信を行う通信部とを備え、前記プロセッサは、前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、前記複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供装置である。
　この第８の開示に係る学習済みモデル提供装置によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行うことができるので、ユーザ側装置での利用により最適な学習済みモデルを提供することが可能となる。
　また、第９の開示は、上記第８の開示において、前記プロセッサは、前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わないことを特徴とする。
　この第９の開示に係る学習済みモデル提供装置によれば、ユーザ側装置から取得したテストデータを使用してファインチューニングされた学習済みモデルの第三者への提供を防止することができるので、ユーザ側装置のユーザのプライバシーを保護することが可能となる。
　また、第１０の開示は、上記第７の開示または第８の開示において、前記プロセッサは、前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。
　この第１０の開示に係る学習済みモデル提供装置によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルのモデル情報に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。
　また、第１１の開示は、上記第７の開示または第８の開示において、前記プロセッサは、前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。
　この第１１の開示に係る学習済みモデル提供装置によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルの推奨度に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。
　また、第１２の開示は、上記第１１の開示において、前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定されることを特徴とする。
　この第１２の開示に係る学習済みモデル提供装置によれば、前記推奨度を容易かつ適切に決定することができる。
　以下、本開示の実施形態について、図面を参照しながら説明する。
　近年、画像認識や音声認識等の分野においてニューラルネットワークを利用した機械学習技術の研究開発の進展が目覚ましい。特に深層学習（ディープラーニング）という技術を用いると、従来の特徴量ベースによる画像認識・音声認識技術では得られなかった認識精度を実現できる例が報告されており、様々な産業への応用も検討されている。深層学習では、学習用の画像データや音声データを多層型ニューラルネットワークの入力層に入力したときに、正しい認識結果である出力データ（正解データ）が出力層から出力されるように学習処理が行われる。出力データは、典型的には入力データに対するアノテーションやメタデータであり、例えば、画像であれば写っている対象物の名称や種類・属性など、音声であれば発声された単語や文などであり得る。深層学習の学習処理は、ニューラルネットワークを構成する各ノード間の結合（シナプス結合）の重み値を、既知のアルゴリズムを用いて更新する（例えば逆誤差伝搬法では、出力層での正解との誤差を小さくするように重み値を調整・更新する等）ことによって行われる。学習処理が完了したノード間の重み値の集合体は「学習済みモデル」と呼ばれ、学習処理で用いたニューラルネットワークと同じ構成を持つニューラルネットワークに対して学習済みモデルを適用する（ノード間結合の重み値として設定する）ことで、未知の入力データ、すなわち学習処理で用いていない新たな入力データをそのニューラルネットワークに入力した際に、出力データ（認識結果）として、一定の精度で正解データを出力させることができる。したがって、学習済みモデルの生成（すなわち学習処理）を行う装置と異なる装置において、学習済みモデルを用いたニューラルネットワークを構成して認識処理を実行することで、学習した認識精度で画像認識や音声認識を行うことが可能となる。
　学習済みモデルは学習用のデータに対して所定の基準で性能の最適化を試みたモデルである。よって一般的には、学習用のデータとは異なる実際のデータに対して学習済みモデルがどのような性能を発揮するかを検証するためには、実際のデータを得ながら運用を行うことが必要とされていた。発明者らは複数の学習済みモデルの中から特定の学習済みモデルを選択することは複雑な問題であると考えた。複数の学習済みモデルの中から適した学習済みモデルを選択するために、この運用を複数の学習済みモデルに対して行うことには膨大な試験期間が必要と考えられるため現実的ではないからである。
　本開示に係る学習済みモデル提供システム１は、ユーザ側装置から取得した利用要求に応じて、データベースに予め保管されている複数の学習済みモデルからユーザ側装置の利用目的に適合する１または複数の学習済みモデルを選択してユーザ側装置に提供するためのシステムである。本明細書でいう学習済みモデルとは、学習データおよび正解データ（教師データ）に基づき、機械学習（例えば、多層構造のニューラルネットワークを用いた深層学習、サポートベクターマシン、ブースティング、強化学習等）により生成したモデルのことである。
　図１は、本開示に係る学習済みモデル提供システム１の全体構成図である。図１に示すように、本開示に係る学習済みモデル提供システム１は、複数の学習済みモデルを予め保管している学習済みモデル提供装置２（以降、「サーバ装置」と称する）と、サーバ装置２から学習済みモデルの提供を受けるユーザ側装置３とを備えて構成されている。サーバ装置２とユーザ側装置３とは、インターネット等のネットワークを介して互いに接続されている。
　サーバ装置２は、一般的なコンピュータ装置であり、複数の学習済みモデルを後述する学習済みモデルデータベース２７（図２Ｂ参照）に保管している。そして、サーバ装置２は、ユーザ側装置３から利用目的を含む利用要求を受信したときに、その利用目的に適合する学習済みモデルを学習済みモデルデータベース２７に保管されている複数の学習済みモデルから選択してユーザ側装置３に送信する。このように、サーバ装置２は、予め保管されている学習済みモデルをユーザ側装置３に提供するためのクラウドサーバとして構成してもよい。
　図２Ａは、サーバ装置２の概略構成を示すブロック図であり、図２Ｂは、サーバ装置２の記憶部の概略構成を示すブロック図である。図２Ａに示すように、サーバ装置２は、記憶部２１、プロセッサ２２、表示部２３、入力部２４、通信部２５、およびそれらを接続するバス２６を備えている。
　記憶部２１は、例えばＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やハードディスク等の記憶装置（ストレージ）であり、サーバ装置２の各機能を実現するための各種プログラムおよび各種データを格納している。また、記憶部２１は、図２Ｂに示すように、学習済みモデルデータベース２７を格納している。プロセッサ２２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、記憶部２１から各種プログラムおよび各種データを図示しないＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）上に読み出して、サーバ装置２の各処理を実行する。表示部２３は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ２２での処理結果の表示等に使用される。入力部２４は、キーボードやマウス等の入力デバイスなどで構成され、サーバ装置２の操作に使用される。通信部２５は、インターネット等のネットワークを介して、ユーザ側装置３との間で通信を行う。
　学習済みモデルデータベース２７には、複数の学習済みモデルが予め保管されている。また、学習済みモデルデータベース２７には、複数の学習済みモデルのそれぞれについて、その学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報が予め記憶されている。モデル情報は、保管モデル情報、生成環境情報、および必要リソース情報を含む。
　保管モデル情報は、その学習済みモデルの機能、その学習済みモデルの性能、その学習済みモデルの利用対価、およびその学習済みモデルの生成に使用された学習データ（センシングデータ）のデータ数のうちの少なくとも１つに関する情報を含む。
　学習済みモデルの機能とは、その学習済みモデルの使用目的または使用用途である。例えば、その学習済みモデルが人物を含む撮像画像から前記人物についての何らかの推定を行う学習済みモデルである場合は、学習済みモデルの機能の例としては、顔検出機能、人体検出機能、動き検出機能、姿勢検出機能、人物属性推定機能、人物行動予測機能等が挙げられる。なお、学習済みモデルの機能は、これらに限定されるものではなく、学習済みモデルの使用目的に応じて様々な機能であり得る。学習済みモデルの性能は、例えば、その学習済みモデルを利用して画像解析処理等の処理を行ったときの正解率（正解度）、適合率、再現率、ニューラルネットワークモデルの種類や階層数等である。学習済みモデルの利用対価は、例えば、仮想通貨やポイント等である。
　生成環境情報は、学習済みモデルの生成に使用された学習データ（センシングデータ）の取得環境に関する情報であり、具体的には、学習データの取得条件、および学習データを取得するのに使用された装置の設置環境の少なくとも一方に関する情報を含む。例えば、学習データが撮像画像であり、学習データを取得するのに使用された装置がカメラである場合は、学習データの取得条件の例としては、撮像時刻（例えば、昼、夜等）、撮像環境（例えば、天候、照度等）、カメラの数、カメラの各種の撮像パラメータ（例えば、設置高さ、撮像角度、焦点距離、ズーム倍率、解像度等）などが挙げられ、学習データを取得するのに使用された装置（カメラ）の設置環境の例としては、カメラの設置された場所（例えば、コンビニ、駅、ショッピングモール、工場、空港等）、カメラの周囲の環境（例えば、屋外、屋内等）などが挙げられる。
　必要リソース情報は、その学習済みモデルを利用するのに必要な装置の資源または能力に関する情報であり、具体的には、その学習済みモデルを利用して処理を行うコンピュータ装置の資源および能力（リソースおよびスペック）、およびそのコンピュータ装置でその学習済みモデルを利用するときに使用されるユーザ側データを取得するのに使用される装置（例えばカメラ）の資源および能力（リソースおよびスペック）に関する情報を含む。コンピュータ装置の資源または能力には、そのコンピュータ装置が有する、ＣＰＵの種類、ＧＰＵの種類（または個数）、ＯＳ、ニューラルネットワークモデルの種類や階層数等も含まれる。
　ユーザ側装置３は、一般的なコンピュータ装置であり、サーバ装置２から提供された学習済みモデルを使用して画像解析処理や新たな機械学習等の処理を行うのに使用される。前述したように、サーバ装置２からユーザ側装置３への学習済みモデルの提供は、ユーザ側装置３がサーバ装置２に対して利用要求を送信することによりなされる。
　図３は、ユーザ側装置３の概略構成を示すブロック図である。図３に示すように、ユーザ側装置３は、記憶部３１、プロセッサ３２、表示部３３、入力部３４、通信部３５、およびそれらを接続するバス３６を備えている。
　記憶部３１は、例えばＲＯＭやハードディスク等の記憶装置（ストレージ）であり、ユーザ側装置３の各機能を実現するための各種プログラムおよび各種データを格納している。プロセッサ３２は、例えばＣＰＵであり、記憶部３１から各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、ユーザ側装置３の各処理を実行する。表示部３３は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ３２での処理結果の表示等に使用される。入力部３４は、キーボードやマウス等の入力デバイスなどで構成され、ユーザ側装置３の操作に使用される。通信部３５は、インターネット等のネットワークを介して、サーバ装置２との間で通信を行う。
　なお、学習済みモデル提供システム１の上記の各装置は、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（例えばサーバ等）を用いることもできる。また、学習済みモデル提供システム１の上記の各装置の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
　図４は、学習済みモデル提供システム１の動作手順を示すシーケンス図である。以下、図４のシーケンス図を参照して、学習済みモデル提供システム１のサーバ装置２およびユーザ側装置３の動作手順について説明する。
　まず、ユーザ側装置３のユーザが入力部３４を操作して、ユーザ側装置３にテストデータを入力する（ステップＳＴ１０１）。このテストデータは、サーバ装置２に保管されている学習済みモデルのテストデータとして使用される。本実施形態では、テストデータはユーザの顔画像であり、ユーザ側装置３に接続された図示しないカメラで撮像したユーザの顔画像（センシングデータ）をテストデータとして使用する。また、テストデータには、そのテストデータの属性情報を添付する。この属性情報は、テストデータを使用して学習済みモデルの性能を算出するときに、正解情報として使用される。本実施形態では、テストデータはユーザの顔画像であるので、ユーザの年齢や性別等を示す情報がテストデータの属性情報として添付される。属性情報の添付作業は、ユーザがユーザ側装置３の入力部３４を操作して行うとよい。
　ユーザ側装置３に入力されたテストデータは、インターネット等のネットワークを介して、サーバ装置２に送信される（ステップＳＴ１０２）。
　サーバ装置２は、ユーザ側装置３からテストデータを受信すると、そのテストデータを学習済みモデルデータベース２７に保管されている複数の学習済みモデルのそれぞれに対して当てはめて、それぞれの学習済みモデルの性能を算出する（ステップＳＴ１０３）。また、学習済みモデルの性能の算出には、テストデータに添付された属性情報も使用される。具体的には、学習済みモデルにテストデータを当てはめることにより推定された情報と、テストデータに添付されている属性情報とを比較することによって、学習済みモデルの性能が算出される。本実施形態では、学習済みモデルの性能として正解率（正解度）を用いる。正解率の算出は、公知の手法を用いて行われる。なお、学習済みモデルの出力形式に応じて、正解率以外にも、適合率や再現率等の様々な指標を学習済みモデルの性能として用いることができる。
　続いて、サーバ装置２は、算出された正解率に基づいて、学習済みモデルデータベース２７に保管されている複数の学習済みモデルから、１または複数のファインチューニング用モデルを選択して決定する（ステップＳＴ１０４）。例えば、正解率が予め定められた閾値を超えた学習済みモデル、または正解率が予め定められた順位よりも上位の学習済みモデルをファインチューニング用モデルとして選択するとよい。
　次に、サーバ装置２は、テストデータを使用して、選択されたファインチューニング用モデルのファインチューニングを行う（ステップＳＴ１０５）。選択されたファインチューニング用モデルが複数存在する場合は、それぞれのファインチューニング用モデルに対してファインチューニングを行う。なお、本明細書でいうファインチューニングとは、追加的な学習データを使用して行う追加学習のことである。本開示では、テストデータを追加的な学習データとして使用する。ファインチューニングは、公知の手法を用いて行われる。
　続いて、サーバ装置２は、上述したステップＳＴ１０３と同様に、ファインチューニングされた学習済みモデルに対してテストデータを当てはめて、ファインチューニングされた学習済みモデルの正解率を算出する（ステップＳＴ１０６）。ファインチューニングされた学習済みモデルが複数存在する場合は、それぞれのファインチューニングされた学習済みモデルの正解率を算出する。正解率の算出は、公知の手法を用いて行われる。なお、学習済みモデルの出力形式に応じて、正解率以外にも、適合率や再現率等の様々な指標を学習済みモデルの性能として用いることができる。
　そして、サーバ装置２は、算出された正解率に基づいて、ファインチューニングされた学習済みモデルから、ユーザ側装置３に提供する１または複数の学習済みモデルを選択する（ステップＳＴ１０７）。上述したステップＳＴ１０４と同様に、例えば、正解率が予め定められた閾値を超えた学習済みモデル、または正解率が予め定められた順位よりも上位の学習済みモデルをユーザ側装置３に提供する学習済みモデルとして選択するとよい。
　なお、ファインチューニングされた学習済みモデル以外にも、ファインチューニングする前の学習済みモデルも選択対象に含めてもよい。すなわち、ファインチューニングされた学習済みモデルおよびファインチューニングする前の学習済みモデルから、それぞれの学習済みモデルの正解率に基づいて、ユーザ側装置３に提供する学習済みモデルを選択するようにしてもよい。
　次に、サーバ装置２は、上記の選択された学習済みモデルに対して、その学習済みモデルの推奨度を付与する（ステップＳＴ１０８）。選択された学習済みモデルが複数存在する場合は、選択された学習済みモデルのそれぞれに対して推奨度を付与する。推奨度は、その学習済みモデルの利用実績、その学習済みモデルの評価、およびその学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定される。利用実績は、その学習済みモデルの利用履歴を用いるとよい。評価は、インターネット等のネットワークを介して外部から取得した評価や評判等を用いるとよい。利用履歴および評価は、その学習済みモデルに紐付けて学習済みモデルデータベース２７に予め記憶させておくとよい。
　そして、サーバ装置２は、上記の選択された学習済みモデルのモデル情報および推奨度をユーザ側装置３に送信する（ステップＳＴ１０９）。前述したように、モデル情報は、学習済みモデルデータベース２７に予め記憶されている。これにより、ユーザ側装置３のユーザに対して、サーバ装置２で選択された学習済みモデルのモデル情報および推奨度を提示することができる。
　ユーザ側装置３がサーバ装置２から上記の選択された学習済みモデルのモデル情報および推奨度を受信すると、ユーザ側装置３は受信した情報を示す画面を表示部３３に表示する。ユーザ側装置３のユーザは、表示部３３に表示されたそれらの情報を確認して、ユーザ側装置３で利用する学習済みモデルを決定する（ステップＳＴ１１０）。具体的には、ユーザ側装置３のユーザは、上記の選択された学習済みモデルが１つである場合は、その学習済みモデルの利用を承諾するか否かを決定し、上記の選択された学習済みモデルが複数存在する場合は、その複数の学習済みモデルのうちのいずれかの学習済みモデルの利用を決定するか、またはいずれの学習済みモデルも利用しないことを決定する。
　ユーザ側装置３のユーザの決定結果は、入力部３４を介してユーザ側装置３に入力される。ユーザ側装置３に入力された決定結果は、決定通知として、ユーザ側装置３からサーバ装置２に送信される（ステップＳＴ１１１）。そして、サーバ装置２は、ユーザ側装置３から受信した決定通知に基づき、ユーザ側装置３で決定された学習済みモデルをユーザ側装置３に送信する（ステップＳＴ１１２）。
　このようにして、本開示に係る学習済みモデル提供システム１では、サーバ装置２は、ユーザ側装置３から取得したテストデータを使用して算出した性能に基づいて、学習済みモデルデータベース２７に予め保管されている複数の学習済みモデルからユーザ側装置３に提供する学習済みモデルを選択することができる。これにより、学習済みモデルデータベース２７に予め保管されている複数の学習済みモデルから、ユーザ側装置３での利用に最適な学習済みモデルを選択して提供することが可能となる。
　また、本開示に係る学習済みモデル提供システム１では、サーバ装置２は、ユーザ側装置３から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行うことができるので、ユーザ側装置３での利用により最適な学習済みモデルを提供することが可能となる。
　また、本開示に係る学習済みモデル提供システム１では、サーバ装置２で選択された学習済みモデルのモデル情報および推奨度をユーザ側装置３のユーザに対して提示することができるので、ユーザ側装置３のユーザが、それらの情報に基づいてユーザ側装置３で利用する学習済みモデルを決定することが可能となる。
　なお、ユーザ側装置３からサーバ装置２にテストデータを送信するときに、そのテストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否を示す情報も送信するようにしてもよい。具体的には、図５のシーケンス図に示すように、ステップＳＴ１０１でのテストデータの入力後に、ユーザ側装置３のユーザが入力部３４を操作して、ユーザ側装置３に、テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否を入力する（ステップＳＴ２０１）。ユーザ側装置３に入力された、ファインチューニングされた学習済みモデルの第三者への提供の可否を示す情報は、テストデータとともに、インターネット等のネットワークを介して、サーバ装置２に送信される（ステップＳＴ２０２）。
　そして、サーバ装置２は、ユーザ側装置３から、ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、そのファインチューニングされた学習済みモデルを、他のユーザ側装置等の第三者に提供しないようにする。具体的には、ファインチューニングされた学習済みモデルを保管するデータベース（学習済みモデルデータベース２７または他のデータベース）において、第三者への提供が否とされたファインチューニングされた学習済みモデルに対して、第三者への提供を禁止する禁止フラグを記入することにより、その学習済みモデルの第三者への提供を禁止する処理を行う（ステップＳＴ２０３）。ユーザ側装置３から、ファインチューニングされた学習済みモデルの第三者への提供を可とする旨の情報を取得した場合は、この第三者への提供を禁止する処理は行わない。このようにすると、ファインチューニングされた学習済みモデルの第三者への提供を防止することができるので、ユーザ側装置３のユーザのプライバシーを保護することが可能となる。
　以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る学習済みモデル提供方法および学習済みモデル提供装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
　例えば、本実施形態では、ユーザ側装置３から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行ったが、このファインチューニングは必須ではなく、省略してもよい。
　また、本実施形態では、学習済みモデルを選択した後にユーザ側装置３にモデル情報および推奨度の両方を提示したが、モデル情報および推奨度の一方だけを提示するようにしてもよい。また、このモデル情報および推奨度の提示は必須ではなく、省略してもよい。
　また、本実施形態では、学習データおよびユーザ側データ（センシングデータ）として画像データを例に挙げたが、学習データおよびユーザ側データは、画像データに限定されるものではなく、例えば、音、温度、湿度、振動、天候等のデータであってもよい。本開示に係る学習済みモデル提供方法および学習済みモデル提供装置は、例えば製造、物流、公共サービス、交通、医療、教育、金融等の様々な分野における様々なデータを使用する学習済みモデルに適用可能である。
　本開示に係る学習済みモデル提供方法および学習済みモデル提供装置は、データベースに予め保管されている複数の学習済みモデルから、ユーザ側装置での利用に最適な学習済みモデルを選択して提供することを可能とする学習済みモデル提供方法および学習済みモデル提供装置して有用である。
　１　　学習済みモデル提供システム
　２　　学習済みモデル提供装置（サーバ装置）
　３　　ユーザ側装置
　２２　プロセッサ
　２５　通信部
　２７　学習済みモデルデータベース

Claims (12)

  1. 　ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
    　前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
    　前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
    　ことを特徴とする学習済みモデル提供方法。
  2. 　ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
    　前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
    　前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、
    　前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、
    　前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、
    　前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
    　ことを特徴とする学習済みモデル提供方法。
  3. 　前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、
    　前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わない
    　ことを特徴とする請求項２に記載の学習済みモデル提供方法。
  4. 　前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、
    　前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
    　ことを特徴とする請求項１または請求項２に記載の学習済みモデル提供方法。
  5. 　前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、
    　前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
    　ことを特徴とする請求項１または請求項２に記載の学習済みモデル提供方法。
  6. 　前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定される
    　ことを特徴とする請求項５に記載の学習済みモデル提供方法。
  7. 　１または複数のプロセッサと、
    　複数の学習済みモデルを予め保管しているデータベースと、
    　ユーザ側装置との間で通信を行う通信部とを備え、
    　前記プロセッサは、
    　前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
    　前記テストデータを、前記複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
    　前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
    　ことを特徴とする学習済みモデル提供装置。
  8. 　１または複数のプロセッサと、
    　複数の学習済みモデルを予め保管しているデータベースと、
    　ユーザ側装置との間で通信を行う通信部とを備え、
    　前記プロセッサは、
    　前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
    　前記テストデータを、前記複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
    　前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、
    　前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、
    　前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、
    　前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
    　ことを特徴とする学習済みモデル提供装置。
  9. 　前記プロセッサは、
    　前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、
    　前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わない
    　ことを特徴とする請求項８に記載の学習済みモデル提供装置。
  10. 　前記プロセッサは、
    　前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、
    　前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
    　ことを特徴とする請求項７または請求項８に記載の学習済みモデル提供装置。
  11. 　前記プロセッサは、
    　前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、
    　前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
    　ことを特徴とする請求項７または請求項８に記載の学習済みモデル提供装置。
  12. 　前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定される
    　ことを特徴とする請求項１１に記載の学習済みモデル提供装置。
PCT/JP2017/044297 2017-02-03 2017-12-11 学習済みモデル提供方法および学習済みモデル提供装置 WO2018142766A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/098,023 US20190147361A1 (en) 2017-02-03 2017-12-11 Learned model provision method and learned model provision device
JP2018538805A JP7065266B2 (ja) 2017-02-03 2017-12-11 学習済みモデル提供方法および学習済みモデル提供装置
EP17895213.1A EP3579153A4 (en) 2017-02-03 2017-12-11 LEARNED MODEL PROVIDING METHOD AND LEARNED MODEL PROVIDING DEVICE
CN201780027066.1A CN109074521A (zh) 2017-02-03 2017-12-11 学得模型提供方法和学得模型提供装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017018295 2017-02-03
JP2017-018295 2017-02-03

Publications (1)

Publication Number Publication Date
WO2018142766A1 true WO2018142766A1 (ja) 2018-08-09

Family

ID=63040434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044297 WO2018142766A1 (ja) 2017-02-03 2017-12-11 学習済みモデル提供方法および学習済みモデル提供装置

Country Status (5)

Country Link
US (1) US20190147361A1 (ja)
EP (1) EP3579153A4 (ja)
JP (1) JP7065266B2 (ja)
CN (1) CN109074521A (ja)
WO (1) WO2018142766A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157692A1 (en) * 2015-06-30 2018-06-07 Omron Corporation Data flow control device and data flow control method
WO2020045539A1 (ja) * 2018-08-31 2020-03-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2020065908A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
JP2020120406A (ja) * 2018-08-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像方法及びプログラム
WO2020174658A1 (ja) * 2019-02-28 2020-09-03 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
JP2021023048A (ja) * 2019-07-29 2021-02-18 中国電力株式会社 発電出力算出装置、及び発電出力算出方法
JP2021033583A (ja) * 2019-08-22 2021-03-01 株式会社デンソーテン 制御装置、制御システムおよび制御方法
WO2021038759A1 (ja) * 2019-08-28 2021-03-04 富士通株式会社 モデル選択方法、モデル選択プログラムおよび情報処理装置
JP2021043772A (ja) * 2019-09-12 2021-03-18 株式会社東芝 提供装置、提供方法及びプログラム
JP2021089446A (ja) * 2019-03-13 2021-06-10 ダイキン工業株式会社 モデルの選定方法および深層強化学習方法
WO2021186692A1 (ja) * 2020-03-19 2021-09-23 Toa株式会社 Ａｉ制御装置、ａｉ制御装置に接続されるサーバー装置、及びａｉ制御方法
JP2022033153A (ja) * 2019-02-01 2022-02-28 株式会社コンピュータマインド 情報処理装置
JP2022047528A (ja) * 2020-09-11 2022-03-24 アクタピオ，インコーポレイテッド 学習装置、学習方法および学習プログラム
WO2022113534A1 (ja) * 2020-11-27 2022-06-02 株式会社Ｊｖｃケンウッド 機械学習装置、機械学習方法、および学習済みモデル
JP2022134138A (ja) * 2019-02-28 2022-09-14 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
RU2811535C2 (ru) * 2019-02-28 2024-01-15 Мицубиси Электрик Корпорейшн Устройство обработки данных, система обработки данных и способ обработки данных
JP7436460B2 (ja) 2018-09-11 2024-02-21 シナプティクス インコーポレイテッド 保護されたデータのニューラルネットワーク推論

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110431569A (zh) * 2017-03-21 2019-11-08 首选网络株式会社 服务器装置、已学习模型提供程序、已学习模型提供方法以及已学习模型提供系统
JP7014782B2 (ja) 2017-05-01 2022-02-01 株式会社Preferred Networks 自動着色方法、自動着色システム及び自動着色装置
JP7252701B2 (ja) * 2017-05-23 2023-04-05 株式会社Preferred Networks システム、プログラム、および方法
US10929899B2 (en) * 2017-12-18 2021-02-23 International Business Machines Corporation Dynamic pricing of application programming interface services
US11218374B2 (en) * 2019-07-30 2022-01-04 Microsoft Technology Licensing, Llc Discovery and resolution of network connected devices
US11399312B2 (en) * 2019-08-13 2022-07-26 International Business Machines Corporation Storage and retention intelligence in mobile networks
CN112578575B (zh) * 2019-09-30 2022-12-16 豪雅镜片泰国有限公司 学习模型的生成方法、记录介质、眼镜镜片选择支持方法及系统
US11727284B2 (en) 2019-12-12 2023-08-15 Business Objects Software Ltd Interpretation of machine learning results using feature analysis
US20210264312A1 (en) * 2020-02-21 2021-08-26 Sap Se Facilitating machine learning using remote data
US11580455B2 (en) 2020-04-01 2023-02-14 Sap Se Facilitating machine learning configuration
KR20210123476A (ko) 2020-04-03 2021-10-14 에스케이하이닉스 주식회사 전자 장치
US20220207444A1 (en) * 2020-12-30 2022-06-30 International Business Machines Corporation Implementing pay-as-you-go (payg) automated machine learning and ai
WO2023199172A1 (en) * 2022-04-11 2023-10-19 Nokia Technologies Oy Apparatus and method for optimizing the overfitting of neural network filters
KR102645690B1 (ko) * 2023-06-13 2024-03-11 주식회사 노타 노드에 대응되는 인공지능 기반의 모델을 제공하기 위한 방법 및 디바이스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268684A (ja) * 2001-03-14 2002-09-20 Ricoh Co Ltd 音声認識用音響モデル配信方法
JP5408380B1 (ja) * 2013-06-17 2014-02-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置
JP5445722B1 (ja) 2012-09-12 2014-03-19 オムロン株式会社 データフロー制御指令発生装置およびセンサ管理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4001494B2 (ja) 2002-03-12 2007-10-31 富士通株式会社 教材作成支援方法、教材利用管理方法、サーバ、及びプログラム
CA2834959A1 (en) * 2011-05-04 2012-11-08 Google Inc. Predictive analytical modeling accuracy assessment
US8626791B1 (en) * 2011-06-14 2014-01-07 Google Inc. Predictive model caching
JP6500377B2 (ja) 2014-09-19 2019-04-17 富士ゼロックス株式会社 情報処理装置及びプログラム
EP3259914A1 (en) * 2015-02-19 2017-12-27 Magic Pony Technology Limited Interpolating visual data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268684A (ja) * 2001-03-14 2002-09-20 Ricoh Co Ltd 音声認識用音響モデル配信方法
JP5445722B1 (ja) 2012-09-12 2014-03-19 オムロン株式会社 データフロー制御指令発生装置およびセンサ管理装置
JP5408380B1 (ja) * 2013-06-17 2014-02-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3579153A4

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748326B2 (en) * 2015-06-30 2023-09-05 Omron Corporation Data flow control device and data flow control method
US20180157692A1 (en) * 2015-06-30 2018-06-07 Omron Corporation Data flow control device and data flow control method
WO2020045539A1 (ja) * 2018-08-31 2020-03-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020038410A (ja) * 2018-08-31 2020-03-12 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020120406A (ja) * 2018-08-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像方法及びプログラム
JP7436460B2 (ja) 2018-09-11 2024-02-21 シナプティクス インコーポレイテッド 保護されたデータのニューラルネットワーク推論
JPWO2020065908A1 (ja) * 2018-09-28 2021-08-30 日本電気株式会社 パターン認識装置およびパターン認識方法
WO2020065908A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
JP7024881B2 (ja) 2018-09-28 2022-02-24 日本電気株式会社 パターン認識装置およびパターン認識方法
JP2022033153A (ja) * 2019-02-01 2022-02-28 株式会社コンピュータマインド 情報処理装置
TWI771249B (zh) * 2019-02-28 2022-07-11 日商三菱電機股份有限公司 資料處理裝置、資料處理系統以及資料處理方法
WO2020174658A1 (ja) * 2019-02-28 2020-09-03 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
JPWO2020174658A1 (ja) * 2019-02-28 2021-09-30 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
TWI753290B (zh) * 2019-02-28 2022-01-21 日商三菱電機股份有限公司 資料處理裝置、資料處理系統以及資料處理方法
RU2811535C2 (ru) * 2019-02-28 2024-01-15 Мицубиси Электрик Корпорейшн Устройство обработки данных, система обработки данных и способ обработки данных
JP7313515B2 (ja) 2019-02-28 2023-07-24 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
JP2022134138A (ja) * 2019-02-28 2022-09-14 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
JP7094434B2 (ja) 2019-02-28 2022-07-01 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
JP2021089446A (ja) * 2019-03-13 2021-06-10 ダイキン工業株式会社 モデルの選定方法および深層強化学習方法
JP2021023048A (ja) * 2019-07-29 2021-02-18 中国電力株式会社 発電出力算出装置、及び発電出力算出方法
JP7272158B2 (ja) 2019-07-29 2023-05-12 中国電力株式会社 発電出力算出装置、及び発電出力算出方法
JP2021033583A (ja) * 2019-08-22 2021-03-01 株式会社デンソーテン 制御装置、制御システムおよび制御方法
JP7252862B2 (ja) 2019-08-22 2023-04-05 株式会社デンソーテン 制御装置、制御システムおよび制御方法
WO2021038759A1 (ja) * 2019-08-28 2021-03-04 富士通株式会社 モデル選択方法、モデル選択プログラムおよび情報処理装置
JP7051772B2 (ja) 2019-09-12 2022-04-11 株式会社東芝 提供装置、提供方法及びプログラム
JP2021043772A (ja) * 2019-09-12 2021-03-18 株式会社東芝 提供装置、提供方法及びプログラム
JP7407271B2 (ja) 2020-03-19 2023-12-28 Toa株式会社 Ａｉ制御装置、ａｉ制御装置に接続されるサーバー装置、及びａｉ制御方法
WO2021186692A1 (ja) * 2020-03-19 2021-09-23 Toa株式会社 Ａｉ制御装置、ａｉ制御装置に接続されるサーバー装置、及びａｉ制御方法
JP2022047528A (ja) * 2020-09-11 2022-03-24 アクタピオ，インコーポレイテッド 学習装置、学習方法および学習プログラム
JP7458352B2 (ja) 2020-09-11 2024-03-29 アクタピオ，インコーポレイテッド 学習装置、学習方法および学習プログラム
WO2022113534A1 (ja) * 2020-11-27 2022-06-02 株式会社Ｊｖｃケンウッド 機械学習装置、機械学習方法、および学習済みモデル

Also Published As

Publication number Publication date
CN109074521A (zh) 2018-12-21
US20190147361A1 (en) 2019-05-16
JPWO2018142766A1 (ja) 2019-11-21
EP3579153A1 (en) 2019-12-11
JP7065266B2 (ja) 2022-05-12
EP3579153A4 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
WO2018142766A1 (ja) 学習済みモデル提供方法および学習済みモデル提供装置
JP7149459B2 (ja) 学習済みモデル提供方法および学習済みモデル提供装置
JP7129598B2 (ja) 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置
US10885111B2 (en) Generating cross-domain data using variational mapping between embedding spaces
US11580417B2 (en) System and method for processing data and managing information
US20190122155A1 (en) Blockchain enabled crowdsourcing
US11120458B2 (en) Group-based sequential recommendations
CN108492364B (zh) 用于生成图像生成模型的方法和装置
US20150310388A1 (en) Local couriers network in the context of an on-line trading platform
US20160381227A1 (en) Methods and apparatuses for connecting consumers to local service providers
US20180189810A1 (en) Processing user experience feedback in a retail environment to assist corrective action
CN106611100B (zh) 一种用户行为分析方法和装置
US10977735B1 (en) Providing user interaction data associated with a property
WO2022268620A1 (en) Sensor compensation using backpropagation
US20200118233A1 (en) Rating and notifying volunteer responders
US20200089812A1 (en) Updating social media post based on subsequent related social media content
US11029984B2 (en) Method and system for managing and using data confidence in a decentralized computing platform
KR102656584B1 (ko) 비디오 영상 기반 부동산 정보 관리 서버 및 이를 이용한 부동산 정보 제공 방법
US11244372B2 (en) Remote determination of a suitable item
US20230409959A1 (en) Grouped aggregation in federated learning
US20160314505A1 (en) Crowd sourced estimation system
CN115292559A (zh) 物品信息的处理方法、装置、计算机设备和存储介质
JP2023068525A (ja) 情報処理装置
CN117556284A (zh) 专家抽取方法、装置、设备、介质和程序产品
US20190066245A1 (en) Personalized healthcare image analysis system

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018538805

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895213

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017895213

Country of ref document: EP

Effective date: 20190903