WO2019167556A1 - ラベル収集装置、ラベル収集方法及びラベル収集プログラム - Google Patents

ラベル収集装置、ラベル収集方法及びラベル収集プログラム Download PDF

Info

Publication number
WO2019167556A1
WO2019167556A1 PCT/JP2019/003818 JP2019003818W WO2019167556A1 WO 2019167556 A1 WO2019167556 A1 WO 2019167556A1 JP 2019003818 W JP2019003818 W JP 2019003818W WO 2019167556 A1 WO2019167556 A1 WO 2019167556A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
teacher
accuracy
processing unit
teacher data
Prior art date
Application number
PCT/JP2019/003818
Other languages
English (en)
French (fr)
Inventor
井上　創造
Original Assignee
国立大学法人九州工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人九州工業大学 filed Critical 国立大学法人九州工業大学
Priority to JP2020502890A priority Critical patent/JP7320280B2/ja
Priority to US16/967,639 priority patent/US20210279637A1/en
Priority to CN201980012515.4A priority patent/CN111712841A/zh
Publication of WO2019167556A1 publication Critical patent/WO2019167556A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a label collection device, a label collection method, and a label collection program.
  • Supervised machine learning which is one field of machine learning, may be executed to recognize human behavior based on sensor data or the like (see Non-Patent Document 1).
  • the supervised machine learning phase includes a learning (training) phase and a determination (evaluation) phase.
  • teacher data is created by attaching a teacher label (Annotations) to a sample such as sensor data. Since the work of creating teacher data requires time and effort, the burden on the creator is great. For this reason, the creator may give a teacher a label that is not related to the sample due to human error, concentration, incentive, or the like. In this case, the accuracy of machine learning for recognizing a human action based on the sample decreases.
  • a teacher label Annotations
  • the conventional label collecting apparatus may not be able to collect teacher labels of teacher data that improves the accuracy of machine learning.
  • an object of the present invention is to provide a label collection device, a label collection method, and a label collection program that can collect teacher labels of teacher data that improves the accuracy of machine learning.
  • One aspect of the present invention is an acquisition unit that acquires a teacher label of teacher data used for machine learning, a learning processing unit that executes machine learning of a model based on the teacher data including the acquired teacher label,
  • the label collection device includes an accuracy detection unit that detects the accuracy of the model and a presentation processing unit that presents the accuracy, and the acquisition unit acquires the updated teacher data.
  • One aspect of the present invention is based on first teacher data including an acquisition unit that acquires a first teacher label of first teacher data used for machine learning, and the acquired first teacher label and sample.
  • a learning processing unit that performs machine learning of the first model, an accuracy detection unit that detects the accuracy of the first model, a presentation processing unit that presents the accuracy, and a second correct as an action label for the sample
  • a warning processing unit that outputs a warning when the similarity between the second teacher data including the teacher label and the first teacher data is equal to or lower than a predetermined similarity threshold, and the acquisition unit is updated
  • It is a label collection apparatus which acquires 1st teacher data.
  • the learning processing unit includes third teacher data including a third teacher label that is not correct as an action label for the sample, and the second teacher label. Based on the second teacher data including the second teacher data, and the warning processing unit has an accuracy of the second model with respect to the first teacher data equal to or lower than a predetermined accuracy threshold. Output a warning in case.
  • One embodiment of the present invention is the above-described label collection device, in which the sample is sensor data, and the first teacher label is a label representing human behavior.
  • One embodiment of the present invention is based on first teacher data including a step of obtaining a first teacher label of first teacher data used for machine learning, and the obtained first teacher label and sample. Performing a machine learning of a first model; detecting an accuracy of the first model; presenting the accuracy; and a second teacher label that is not associated with the sample.
  • a label collecting method including a step of outputting a warning when the similarity between the second teacher data and the first teacher data is equal to or less than a predetermined similarity threshold, and obtaining the updated first teacher data. is there.
  • a first teacher data including a procedure for acquiring a first teacher label of first teacher data used for machine learning in a computer, and the acquired first teacher label and sample.
  • a second teacher label whose association with the sample is not low, a procedure for performing machine learning of the first model based on the steps, a procedure for detecting the accuracy of the first model, a procedure for presenting the accuracy,
  • a procedure for outputting a warning and a procedure for obtaining the updated first teacher data are executed. It is a label collection program for.
  • FIG. 1 is a diagram illustrating an example of the configuration of the label collection device 1a.
  • the label collection device 1a is an information processing device that collects teacher labels of teacher data used for machine learning, and is, for example, a personal computer, a smartphone terminal, a tablet terminal, or the like.
  • the teacher label is an action label for the sample, for example, a label representing a human action.
  • the label collection device 1a stores a set X of samples x as input data.
  • the number of samples (number of elements) in the set is 1 or more.
  • the sample x is sensor data, for example, image data, audio data, acceleration data, temperature data, and illuminance data.
  • the image data is, for example, moving image data or still image data taken by a nurse with a camera attached to a hospital room.
  • the image data may include a recognition result of characters included in the image.
  • the voice data is, for example, voice data collected by a microphone worn by a nurse at work.
  • the acceleration data is, for example, acceleration data detected by an acceleration sensor worn by a nurse at work.
  • the subscript i of d i represents the index of the sample included in the teacher data.
  • the creator confirms the sample x presented from the label collection device 1a and determines the teacher label y to be given to the sample x.
  • the creator can give a teacher label such as “dog” or “cat” to still image data that is non-series data.
  • the creator can give a teacher label “medicine” to sample x, which is still image data in which the figure of a nurse who is taking medication to a patient is captured.
  • the creator can assign a teacher label in a group format such as [start time, end time, classification class] to the audio data that is the series data.
  • the creator records the teacher label given to the sample x in the label collection device 1a by operating the label collection device 1a.
  • the sample x is non-series data as an example.
  • the teacher label set Y is represented in the form of ⁇ y 1 ,..., Y n ⁇ as an example.
  • the label collection device 1a includes a bus 2, an input device 3, an interface 4, a display device 5, a storage device 6, a memory 7, and an arithmetic processing unit 8a.
  • the bus 2 transfers data between the functional units of the label collection device 1a.
  • the input device 3 is configured using an existing input device such as a keyboard, a pointing device (such as a mouse or a tablet), a button, or a touch panel.
  • the input device 3 is operated by a teacher data creator.
  • the input device 3 may be a wireless communication device.
  • the input device 3 may input a sample x such as image data and audio data generated by a sensor to the interface 4 by wireless communication.
  • the interface 4 is realized by using hardware such as LSI (Large Scale Integration) and ASIC (Application Specific Integrated Circuit).
  • the interface 4 records the sample x input from the input device 3 in the storage device 6.
  • the interface 4 may output the sample x to the arithmetic processing unit 8a.
  • the interface 4 outputs the teacher label y input from the input device 3 to the arithmetic processing unit 8a.
  • Display device 5 is an image display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, or an organic EL (Electro Luminescence) display.
  • the display device 5 displays the image data acquired from the interface 4.
  • the image data acquired from the interface 4 is, for example, image data of the sample x, character string image data representing the teacher label, and numerical data representing the accuracy of the machine learning estimation model.
  • the storage device 6 is a non-volatile recording medium (non-temporary recording medium) such as a flash memory or a hard disk drive.
  • the storage device 6 stores a program.
  • the program is provided to the label collection device 1a as a cloud service, for example.
  • the program may be provided to the label collection device 1a as an application distributed from the server device.
  • the storage device 6 stores one or more samples x input to the interface 4 by the input device 3.
  • the storage device 6 stores one or more teacher labels y input to the interface 4 by the input device 3 in association with the sample x.
  • the storage device 6 stores one or more teacher data d that is data in which the sample x and the teacher label y are associated with each other.
  • the memory 7 is a volatile recording medium such as a RAM (Random Access Memory).
  • the memory 7 stores the program developed from the storage device 6.
  • the memory 7 temporarily stores various data generated by the arithmetic processing unit 8a.
  • the arithmetic processing unit 8a is configured by using a processor such as a CPU (Central Processing Unit).
  • the arithmetic processing unit 8 a functions as an acquisition unit 80, a learning processing unit 81, an accuracy detection unit 82, and a presentation processing unit 83 by executing a program expanded from the storage device 6 to the memory 7.
  • the acquisition unit 80 acquires the teacher label y i input to the interface 4 by the input device 3.
  • Acquisition unit 80 records the generated training data d i in the storage device 6.
  • subscript j of d j represents the index of the sample of teacher data.
  • the learning processing unit 81 performs machine learning of the estimation model M based on the set D of teacher data d i acquired by the acquisition unit 80.
  • the learning processing unit 81 may perform machine learning of the estimation model M based on past teacher data.
  • the accuracy detector 82 detects the accuracy of the estimated model M.
  • the accuracy of the estimation model M is a value that can be expressed by probability, and is, for example, the accuracy rate, accuracy rate, or recall rate of the estimation model M.
  • the accuracy detection unit 82 may detect an error of the output variable of the estimation model M.
  • the presentation processing unit 83 generates a numerical image representing the accuracy of the estimated model M.
  • the presentation processing unit 83 may generate an image representing each sample included in the teacher data.
  • the presentation processing unit 83 may generate an image such as a character string representing each teacher label included in the teacher data.
  • the presentation processing unit 83 outputs the generated image to the display device 5.
  • FIG. 2 is a flowchart showing an example of teacher data creation processing by the creator and the operation of the label collection device 1a.
  • the creator inputs a set D of teacher data d i to the label collection device 1a by assigning a teacher label y i to the sample x i (step S101).
  • the acquisition unit 80 acquires a set D of teacher data d i (step S201).
  • the learning processing unit 81 performs machine learning of the estimation model M based on the set D of the teacher data d i (Step S202).
  • the accuracy detector 82 detects the accuracy of the estimated model M (step S203).
  • the presentation processing unit 83 displays a numerical image indicating the accuracy of the estimated model M on the display device 5 (step S204).
  • the presentation processing unit 83 executes the processing in step S204 in real time while the sensor is generating image data or the like, for example.
  • the presentation processing unit 83 may execute the process of step S204 at a predetermined time on the day after the date on which the sensor generated image data or the like.
  • the creator creates a set of additional teacher data (step S102).
  • the creator performs the process of step S101 again in order to input the teacher data D + newly acquired so that the accuracy of the estimated model M exceeds the first accuracy threshold value to the learning processing unit.
  • the label collection device 1a of the first embodiment includes the acquisition unit 80, the learning processing unit 81, the accuracy detection unit 82, and the presentation processing unit 83.
  • the acquisition unit 80 acquires the teacher label y of the teacher data d used for machine learning.
  • Learning processing unit 81 performs a machine learning estimation model M on the basis of the training data d i containing the training labels y and the sample x i obtained.
  • the accuracy detector 82 detects the accuracy of the estimated model M.
  • the presentation processing unit 83 presents the accuracy of the estimated model M to the operator by causing the display device 5 to display the accuracy of the estimated model M.
  • the acquisition unit 80 acquires updated teacher data d i +.
  • the label collecting apparatus 1a can collect teacher labels of teacher data for improving the accuracy of machine learning. Since the quality of the updated teacher data is improved, the accuracy of supervised machine learning that recognizes behavior based on sensor data is improved.
  • the label collection device 1a can display the accuracy of the estimated model M on the display device 5, and can execute gamification that motivates the creator to improve the quality of the teacher data.
  • the device that records the action recognition result as the work history can record the output variable of the estimation model M in real time.
  • the device that visualizes the action recognition result can visualize the output variable of the estimation model M in real time.
  • the user can check the business history based on the recorded action recognition result.
  • the user can improve the business based on the business history.
  • a creator may perform an illegal act in which the creator gives the sample a teacher label that is not related to the sample. For example, a creator may give a teacher label “medicine” instead of a teacher label “document creation” to a sample that is still image data in which a figure of a nurse sitting and creating a document is photographed. it can.
  • the label collection device includes: first teacher data created by a first creator; and second teacher data created by one or more second creators who are not cheating. Based on the similarity, it is determined whether or not there is an illegal act when the first creator creates the first teacher data.
  • FIG. 3 is a diagram showing an example of the configuration of the label collection device 1b.
  • the label collection device 1b includes a bus 2, an input device 3, an interface 4, a display device 5, a storage device 6, a memory 7, and an arithmetic processing unit 8b.
  • the arithmetic processing unit 8b executes a program expanded from the storage device 6 to the memory 7, thereby obtaining an acquisition unit 80, a learning processing unit 81, an accuracy detection unit 82, a presentation processing unit 83, and a feature amount processing unit. 84, a set data generation unit 85, and a warning processing unit 86.
  • Acquisition unit 80 a set X of the first sample x i, obtains from the storage unit 6.
  • the acquisition unit 80 acquires from the storage device 6 a set Y of first teacher labels y i given to the first sample x i by the first creator.
  • the acquisition unit 80 acquires the second sample set X ′ from the storage device 6.
  • the acquisition unit 80 acquires, from the storage device 6, a set Y ′ of second teacher labels y j ′ given to the second sample x j ′ by one or more second creators who are not cheating.
  • the second teacher label y j ′ is a correct teacher label (hereinafter referred to as “legitimate label”) as an action label for the sample. Whether or not the teacher label has a low association with the sample is determined in advance based on a predetermined standard, for example.
  • Feature quantity processing unit 84 feature based on statistics of the set X of the first sample x i (hereinafter referred to as "first feature amounts”.) Is calculated.
  • the first feature quantity for example, if the first sample x i is the image data, an image feature amount of the first sample x i.
  • the feature quantity processing unit 84 calculates a feature quantity (hereinafter referred to as “second feature quantity”) based on a statistic of the set X ′ of the second samples x j ′.
  • the second feature amount is, for example, an image feature amount of the second sample x j ′ when the second sample x j ′ is image data.
  • the distance is a distance between a vector that is a set of the first feature value V and the first teacher data and a vector that is a set of the second feature value V ′ and the second teacher data.
  • the similarity G i is 1 when the average value h of each distance is equal to or greater than the threshold. When the average value h of each distance is less than the threshold value, the similarity G i is 0.
  • the degree of abnormality is the distance between the first teacher data d i and the second teacher data d j , that is, the first feature value V obtained from the first teacher data and the second feature value V ′ obtained from the second teacher data. May be the absolute value of the difference.
  • the degree of abnormality may be a Euclidean distance between the first feature value V obtained from the first data and the second feature value V ′ obtained from the second teacher data. An upper limit may be provided for the degree of abnormality.
  • the similarity threshold is, for example, 0.5 when the similarity G i is 1 or 0.
  • the presentation processing unit 83 outputs the average value H of the similarity G i to the display device 5. If it is determined that the average value H of the similarity G i is equal to or lower than the similarity threshold, the presentation processing unit 83 issues a warning that there is a high possibility that an illegal act has been performed regarding the creation of the first teacher data d i. To the display device 5.
  • FIG. 4 is a flowchart showing an example of the operation of the label collecting apparatus 1b.
  • the acquiring unit 80 acquires the set X of the first sample x i and the set Y of the first teacher label y i (step S301).
  • the acquiring unit 80 acquires a second sample set X ′ and a second teacher label y j ′ set Y ′ (step S302).
  • Feature quantity processing unit 84 based on the set X of the first sample x i, for calculating a first feature quantity V (step S303).
  • the feature quantity processing unit 84 calculates the second feature quantity V ′ based on the set X ′ of the second samples x j ′ (Step S304).
  • the set data generation unit 85 generates a set D of the first teacher data d i (step S305). Aggregate data generation unit 85 generates a set D 'of the second training data d j (step S306).
  • the warning processing unit 86 calculates an average value H of similarity G i between a set of vectors including the first feature quantity and the first teacher data and a set of vectors including the second feature quantity and the second teacher data. Is calculated (step S307).
  • the presentation processing unit 83 outputs the average value H of the similarities G i to the display device 5 (step S308).
  • the warning processing unit 86 determines whether or not the average value H of the similarity G i exceeds the similarity threshold (step S309). When it is determined that the average value H of the similarity G i exceeds the similarity threshold (step S309: YES), the label collection device 1b ends the process of the flowchart shown in FIG. When it is determined that the average value H of the similarity G i is equal to or less than the similarity threshold (step S309: NO), the presentation processing unit 83 outputs a warning to the display device 5 (step S310).
  • the label collection device 1b includes the acquisition unit 80, the learning processing unit 81, the accuracy detection unit 82, the presentation processing unit 83, and the warning processing unit 86.
  • the acquisition unit 80 acquires the first teacher label y i of the first teacher data d i used for machine learning.
  • the learning processing unit 81 performs machine learning of the estimation model M based on the first teacher data d i including the acquired first teacher label y i and the sample x i .
  • the accuracy detector 82 detects the accuracy of the estimated model M.
  • the presentation processing unit 83 presents the accuracy of the estimated model M to the operator by causing the display device 5 to display the accuracy of the estimated model M.
  • Warning processing unit 86 the similarity between the second training data d j and the first training data d i associated with the sample containing the second training labels not low (legitimate label) is equal to or less than a predetermined similarity threshold If it is, a warning is output. Moreover, the acquisition unit 80 acquires the first training data d i that has been updated.
  • the label collection device 1b can present to the user the degree of similarity between the teacher data set created by the creator and the teacher data set created by another creator. And Further, the label collecting apparatus 1b can output a warning when the similarity between the second teacher data dj and the first teacher data d i is equal to or less than a predetermined similarity threshold.
  • the third embodiment is different from the second embodiment in that the label collecting apparatus determines the presence or absence of fraud using a determination model in which machine learning is executed. In the third embodiment, differences from the second embodiment will be described.
  • FIG. 5 is a diagram showing an example of the configuration of the label collection device 1c.
  • the label collection device 1c includes a bus 2, an input device 3, an interface 4, a display device 5, a storage device 6, a memory 7, and an arithmetic processing unit 8c.
  • the arithmetic processing unit 8b executes a program expanded from the storage device 6 to the memory 7, thereby obtaining an acquisition unit 80, a learning processing unit 81, an accuracy detection unit 82, a presentation processing unit 83, and a feature amount processing unit.
  • 84 a set data generation unit 85, a warning processing unit 86, a label processing unit 87, a learning data generation unit 88, and a fraud determination learning processing unit 89.
  • Acquisition unit 80 acquires a set X of the first sample x i, and a set Y of the first training labels y i which is applied to the first sample x i by the first author.
  • the acquisition unit 80 obtains the second sample set X ′ and the second teacher label y j ′ set Y ′ given to the second sample x j ′ by one or more second creators who are not cheating. 'And get.
  • the acquiring unit 80 obtains the third sample set X ′′ and the third teacher label y k given to the third sample x k ′′ by one or more third creators who intentionally cheated. Get a set Y of ''.
  • the subscript k of x k ′′ represents the index of the third sample.
  • the label processing unit 87 includes the legitimate label in the second teacher data set D ′. For example, the label processing unit 87 'configuration of the (second sample x j' second training data d j, second training labels y j ') and (second sample x j', the second training labels y j ' , The valid label r j ′) is updated.
  • the label processing unit 87 includes an incorrect teacher label (hereinafter referred to as “illegal label”) as an action label for the sample in the third teacher data set D ′′.
  • the label processing unit 87 converts the configuration of the third teacher data d k ′′ (third sample x k ′′, third teacher label y k ′′) to (third sample x k ′′, third teacher label y k '', unauthorized label r k 'to update the configuration that').
  • the learning data generation unit 88 generates learning data that is data used for machine learning of the determination model F based on the second teacher data set D ′ and the third teacher data set D ′′.
  • the determination model F is a model for machine learning, and is a model used for determining the presence or absence of fraud.
  • the fraud determination learning processing unit 89 performs machine learning of the determination model F by using the generated learning data as input variables and output variables of the determination model F.
  • the fraud determination learning processing unit 89 records the determination model F for which machine learning has been executed in the storage device 6.
  • the first teacher data set D is detected.
  • the output P i indicating the legitimate label is 0, and the output variable P i representing the illegal label is 1.
  • the output P i may be expressed with a probability from 0 to 1.
  • the warning processing unit 86 determines whether or not the average accuracy H ′ of the determination model F exceeds the second accuracy threshold.
  • the second accuracy threshold is, for example, 0.5 when the output Pi is 1 or 0.
  • the accuracy of the determination model F is a value that can be expressed by probability, and is, for example, the accuracy rate, accuracy rate, or recall rate of the determination model F.
  • the presentation processing unit 83 outputs the average value H ′ of the accuracy of the determination model F to the display device 5.
  • the presentation processing unit 83 outputs a warning to the display device 5 when it is determined that the accuracy average value H ′ of the determination model F is equal to or less than the second accuracy threshold value.
  • FIG. 6 is a flowchart illustrating a learning example (learning phase) of the determination model F.
  • the acquiring unit 80 acquires the set X of the first sample x i and the set Y of the first teacher label y i (step S401).
  • the acquiring unit 80 acquires a second sample set X ′ and a second teacher label y j ′ set Y ′ (step S402).
  • the acquiring unit 80 acquires a third sample set X ′′ and a third teacher label y k ′′ set Y ′′ (step S403).
  • Aggregate data generation unit 85 generates a set D of the first training data d i (step S404). Aggregate data generation unit 85 generates a set D 'of the second training data d j (step S405). The set data generation unit 85 generates a set D ′′ of the third teacher data d k (step S406).
  • the label processing unit 87 includes the legitimate label in the second teacher data set D '(step S407).
  • the label processing unit 87 includes the unauthorized label in the third teacher data set D ′′ (step S408).
  • the learning data generation unit 88 generates learning data based on the second teacher data set D 'and the third teacher data set D' '(step S409).
  • the fraud determination learning processing unit 89 performs machine learning of the determination model F (step S410).
  • the fraud determination learning processing unit 89 records the determination model F for which machine learning has been executed in the storage device 6 (step S411).
  • FIG. 7 is a flowchart showing an example of determination of the accuracy of the determination model F (determination phase).
  • the fraud determination learning processing unit 89 inputs the first sample set X to the determination model F as an input variable (step S501).
  • Warning processing unit 86 the average value of the output P i (the output of the decision model F), calculated as an average value H 'of the accuracy of the determination model F (Step S502).
  • the presentation processing unit 83 outputs the average accuracy value H ′ of the determination model F to the display device 5 (step S503).
  • the warning processing unit 86 determines whether or not the accuracy average value H ′ of the determination model F exceeds the second accuracy threshold value (step S504). When it is determined that the accuracy average value H ′ of the determination model F exceeds the second accuracy threshold (step S504: YES), the label collection device 1c ends the processing of the flowchart shown in FIG. . When it is determined that the accuracy average value H ′ of the determination model F is equal to or less than the second accuracy threshold value (step S504: NO), the presentation processing unit 83 outputs a warning to the display device 5 (step S505).
  • the label collection device 1c includes the learning processing unit 81 and the warning processing unit 86.
  • the learning processing unit 81 performs machine learning of the determination model F based on the third teacher data d k and the second teacher data d j including the third teacher label (incorrect label) that is not related to the sample. Run.
  • Warning processing unit 86 the accuracy of judgment model F for the first training data d i outputs a warning when it is less than a predetermined second accuracy threshold.
  • the label collection device 1c can determine, for each creator, whether or not there is an illegal act when the creator creates the teacher data using the determination model F.
  • the label collection device 1c creates one first sample x i by fraud It is possible to determine whether the sample has been processed.
  • the present invention is applicable to an information processing apparatus that collects teacher labels of teacher data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

ラベル収集装置は、機械学習に用いられる教師データの教師ラベルを取得する取得部と、取得された教師ラベルを含む教師データに基づいてモデルの機械学習を実行する学習処理部と、モデルの精度を検出する精度検出部と、精度を提示する提示処理部とを備え、取得部は、更新された教師データを取得する。

Description

ラベル収集装置、ラベル収集方法及びラベル収集プログラム
　本発明は、ラベル収集装置、ラベル収集方法及びラベル収集プログラムに関する。
　本願は、２０１８年２月２７日に、日本に出願された特願２０１８－０３３６５５号に基づき優先権を主張し、その内容をここに援用する。
　機械学習の一分野である教師あり機械学習は、センサデータ等に基づいて人の行動を認識するために実行されることがある（非特許文献１参照）。教師あり機械学習のフェーズには、学習（訓練）フェーズと、判定（評価）フェーズとがある。
Nattaya Mairittha (Fah), Sozo Inoue, "Exploring the Challenges of Gamification in Mobile Activity Recognition", SOFT九州支部学術講演会, pp.47-50, 2017-12-02, Kagoshima.
　学習フェーズでは、センサデータ等であるサンプルに教師ラベルが付与されること（Annotations）によって、教師データが作成される。教師データを作成する作業は、手間と時間が必要であるため、作成者への負担が大きい。このため、作成者は、ヒューマンエラー、集中力又はインセンティブ等の理由で、サンプルとは関連が低い教師ラベルをサンプルに付与してしまう場合がある。この場合、サンプルに基づいて人の行動を認識する機械学習の精度は、低下してしまう。
　機械学習の精度を低下させないためには、機械学習の精度を向上させる教師データの教師ラベルを収集する必要がある。しかしながら、従来のラベル収集装置は、機械学習の精度を向上させる教師データの教師ラベルを収集することができない場合があった。
　上記事情に鑑み、本発明は、機械学習の精度を向上させる教師データの教師ラベルを収集することを可能とするラベル収集装置、ラベル収集方法及びラベル収集プログラムを提供することを目的としている。
　本発明の一態様は、機械学習に用いられる教師データの教師ラベルを取得する取得部と、取得された前記教師ラベルを含む前記教師データに基づいてモデルの機械学習を実行する学習処理部と、前記モデルの精度を検出する精度検出部と、前記精度を提示する提示処理部とを備え、前記取得部は、更新された前記教師データを取得する、ラベル収集装置である。
　本発明の一態様は、機械学習に用いられる第１の教師データの第１の教師ラベルを取得する取得部と、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する学習処理部と、前記第１のモデルの精度を検出する精度検出部と、前記精度を提示する提示処理部と、前記サンプルに対する行動ラベルとして正しい第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する警告処理部とを備え、前記取得部は、更新された第１の教師データを取得する、ラベル収集装置である。
　本発明の一態様は、上記のラベル収集装置であって、前記学習処理部は、前記サンプルに対する行動ラベルとして正しくない第３の教師ラベルを含む第３の教師データと、前記第２の教師ラベルを含む第２の教師データとに基づいて、第２のモデルの機械学習を実行し、前記警告処理部は、第１の教師データに対する前記第２のモデルの精度が所定の精度閾値以下である場合に警告を出力する。
　本発明の一態様は、上記のラベル収集装置であって、前記サンプルは、センサデータであり、前記第１の教師ラベルは、人の行動を表すラベルである。
　本発明の一態様は、機械学習に用いられる第１の教師データの第１の教師ラベルを取得するステップと、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行するステップと、前記第１のモデルの精度を検出するステップと、前記精度を提示するステップと、前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力するステップと更新された第１の教師データを取得するステップとを含むラベル収集方法である。
　本発明の一態様は、コンピュータに、機械学習に用いられる第１の教師データの第１の教師ラベルを取得する手順と、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する手順と、前記第１のモデルの精度を検出する手順と、前記精度を提示する手順と、前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する手順と更新された第１の教師データを取得する手順とを実行させるためのラベル収集プログラムである。
　本発明により、機械学習の精度を向上させる教師データの教師ラベルを収集することが可能である。
第１実施形態における、ラベル収集装置の構成の例を示す図である。 第１実施形態における、作成者による教師データの作成処理とラベル収集装置の動作との例を示すフローチャートである。 第２実施形態における、ラベル収集装置の構成の例を示す図である。 第２実施形態における、ラベル収集装置の動作の例を示すフローチャートである。 第３実施形態における、ラベル収集装置の構成の例を示す図である。 第３実施形態における、判定モデルの学習例を示すフローチャートである。 第３実施形態における、判定モデルの精度の判定例を示すフローチャートである。
　本発明の実施形態について、図面を参照して詳細に説明する。
　（第１実施形態）
　図１は、ラベル収集装置１ａの構成の例を示す図である。ラベル収集装置１ａは、機械学習に用いられる教師データの教師ラベルを収集する情報処理装置であり、例えば、パーソナルコンピュータ、スマートフォン端末、タブレット端末等である。教師ラベルは、サンプルに対する行動ラベルであり、例えば人の行動を表すラベルである。
　ラベル収集装置１ａは、サンプルｘの集合Ｘを入力データとして記憶している。以下では、集合のサンプルの数（要素数）は１以上である。サンプルｘは、センサデータであり、例えば、画像データ、音声データ、加速度データ、温度データ、照度データである。画像データは、例えば、病室に取り付けられたカメラによって看護師が撮影されている動画像又は静止画像のデータである。画像のデータは、画像に含まれている文字の認識結果を含んでもよい。音声データは、例えば、勤務中の看護師が身につけているマイクによって収音された音声のデータである。加速度データは、例えば、勤務中の看護師が身につけている加速度センサによって検出された加速度のデータである。
　１人以上の作成者は、サンプルの集合Ｘを構成するサンプルｘｉに教師ラベル（分類クラス）を付与することによって、機械学習に用いられる教師データｄｉ（＝（サンプルｘｉ，教師ラベルｙｉ））を作成する。ｄｉの添字ｉは、教師データに含まれているサンプルのインデックスを表す。
　作成者は、ラベル収集装置１ａから提示されたサンプルｘを確認し、サンプルｘに付与する教師ラベルｙを決定する。例えば、作成者は、非系列データである静止画像データに、「犬」「猫」のような教師ラベルを付与することができる。例えば、作成者は、患者に投薬している看護師の姿が撮影されている静止画像データであるサンプルｘに、教師ラベル「投薬」を付与することができる。作成者は、系列データである音声データに、［開始時刻，終了時刻，分類クラス］等の組形式の教師ラベルを付与することができる。作成者は、ラベル収集装置１ａを操作することによって、サンプルｘに付与される教師ラベルをラベル収集装置１ａに記録する。
　以下では、サンプルｘは、一例として非系列データである。教師ラベルの集合Ｙは、一例として｛ｙ１，…，ｙｎ｝の形式で表記される。
　ラベル収集装置１ａは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ａとを備える。
　バス２は、ラベル収集装置１ａの各機能部の間におけるデータを転送する。
　入力装置３は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力装置３は、教師データの作成者によって操作される。
　入力装置３は、無線通信装置でもよい。入力装置３は、例えば、センサによって生成された画像データ及び音声データ等のサンプルｘを、無線通信によってインタフェース４に入力してもよい。
　インタフェース４は、例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現される。インタフェース４は、入力装置３から入力されたサンプルｘを、記憶装置６に記録する。インタフェース４は、サンプルｘを演算処理部８ａに出力してもよい。インタフェース４は、入力装置３から入力された教師ラベルｙを、演算処理部８ａに出力する。
　表示装置５は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示装置５は、インタフェース４から取得された画像データを表示する。インタフェース４から取得される画像データは、例えば、サンプルｘの画像データ、教師ラベルを表す文字列の画像データ、機械学習の推定モデルの精度を表す数値データである。
　記憶装置６は、フラッシュメモリ、ハードディスクドライブ等の不揮発性の記録媒体（非一時的な記録媒体）である。記憶装置６は、プログラムを記憶する。プログラムは、例えば、クラウドサービスとしてラベル収集装置１ａに提供される。プログラムは、サーバ装置から配信されるアプリケーションとして、ラベル収集装置１ａに提供されてもよい。
　記憶装置６は、入力装置３によってインタフェース４に入力された１以上のサンプルｘを記憶する。記憶装置６は、入力装置３によってインタフェース４に入力された１以上の教師ラベルｙを、サンプルｘに対応付けて記憶する。記憶装置６は、サンプルｘと教師ラベルｙとが対応付けられたデータである１以上の教師データｄを記憶する。
　メモリ７は、ＲＡＭ（Random Access Memory）等の揮発性の記録媒体である。メモリ７は、記憶装置６から展開されたプログラムを記憶する。メモリ７は、演算処理部８ａによって生成された各種データを一時的に記憶する。
　演算処理部８ａは、ＣＰＵ（Central Processing Unit）等のプロセッサを用いて構成される。演算処理部８ａは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３として機能する。
　取得部８０は、入力装置３によってインタフェース４に入力された教師ラベルｙｉを取得する。取得部８０は、表示装置５に表示されているサンプルｘｉに教師ラベルｙｉを対応付けることによって、教師データｄｉ（＝（ｘｉ，ｙｉ））を生成する。取得部８０は、生成された教師データｄｉを記憶装置６に記録する。
　取得部８０は、教師データｄｉの集合Ｄ（＝（サンプルｘｉの集合Ｘ，教師ラベルｙｉの集合Ｙ））を、教師データのデータセットとして記憶装置６から取得する。なお、取得部８０は、他の作成者によって作成された教師データｄｊの集合Ｄを、過去の教師データのデータセットとして更に取得してもよい。ｄｊの添字ｊは、教師データのサンプルのインデックスを表す。
　学習処理部８１は、取得部８０によって取得された教師データｄｉの集合Ｄに基づいて、推定モデルＭの機械学習を実行する。学習処理部８１は、過去の教師データに基づいて推定モデルＭの機械学習を実行してもよい。
　精度検出部８２は、推定モデルＭの精度を検出する。推定モデルＭの精度は、確率で表現可能な値であり、例えば、推定モデルＭの正解率、適合率又は再現率である。精度検出部８２は、推定モデルＭの精度を検出する代わりに、推定モデルＭの出力変数の誤差を検出してもよい。
　提示処理部８３は、推定モデルＭの精度を表す数値の画像を生成する。提示処理部８３は、教師データに含まれている各サンプルを表す画像を生成してもよい。提示処理部８３は、教師データに含まれている各教師ラベルを表す文字列等の画像を生成してもよい。提示処理部８３は、生成された画像を表示装置５に出力する。
　次に、動作例を説明する。
　図２は、作成者による教師データの作成処理とラベル収集装置１ａの動作との例を示すフローチャートである。
　作成者は、サンプルｘｉに教師ラベルｙｉを付与することによって、教師データｄｉの集合Ｄをラベル収集装置１ａに入力する（ステップＳ１０１）。
　取得部８０は、教師データｄｉの集合Ｄを取得する（ステップＳ２０１）。学習処理部８１は、教師データｄｉの集合Ｄに基づいて、推定モデルＭの機械学習を実行する（ステップＳ２０２）。精度検出部８２は、推定モデルＭの精度を検出する（ステップＳ２０３）。提示処理部８３は、推定モデルＭの精度を表すを数値の画像等を、表示装置５に表示させる（ステップＳ２０４）。
　提示処理部８３は、ステップＳ２０４の処理を、例えばセンサが画像データ等を生成中にリアルタイムで実行する。提示処理部８３は、ステップＳ２０４の処理を、センサが画像データ等を生成した日の後日における所定時刻に実行してもよい。
　作成者は、追加の教師データの集合を作成する（ステップＳ１０２）。作成者は、推定モデルＭの精度が第１の精度閾値を超えるように新規に取得された教師データＤ＋を学習処理部に入力するため、ステップＳ１０１の処理を再び行う。
　以上のように、第１実施形態のラベル収集装置１ａは、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３とを備える。取得部８０は、機械学習に用いられる教師データｄの教師ラベルｙを取得する。学習処理部８１は、取得された教師ラベルｙとサンプルｘｉとを含む教師データｄｉに基づいて推定モデルＭの機械学習を実行する。精度検出部８２は、推定モデルＭの精度を検出する。提示処理部８３は、推定モデルＭの精度を表示装置５に表示させることによって、推定モデルＭの精度を作業者に提示する。取得部８０は、更新された教師データｄi＋を取得する。
　これによって、ラベル収集装置１ａは、機械学習の精度を向上させる教師データの教師ラベルを収集することが可能である。更新された教師データの質は向上しているので、センサデータに基づいて行動を認識する教師あり機械学習の精度は向上する。ラベル収集装置１ａは、推定モデルＭの精度を表示装置５に表示させ，作成者が教師データの質を向上させる動機づけをするというゲーミフィケーション（Gamification）を実行することが可能である。
　行動認識結果を業務履歴として記録する装置は、推定モデルＭの出力変数をリアルタイムで記録することができる。行動認識結果を可視化する装置は、推定モデルＭの出力変数をリアルタイムで可視化することができる。ユーザは、記録された行動認識結果に基づいて業務履歴を確認することができる。ユーザは、業務履歴に基づいて業務改善を行うことができる。
　（第２実施形態）
　第２実施形態では、サンプルに対する行動ラベルとして正しくない（サンプルとの関連が低い）教師ラベルを作成者がサンプルに付与するという不正行為（cheating）の有無をラベル収集装置が判定する点が、第１実施形態と相違する。第２実施形態では第１実施形態との相違点について説明する。
　作成者は、教師データを作成する際に、サンプルとの関連が低い教師ラベルを作成者がサンプルに付与するという不正行為を行う可能性がある。例えば、作成者は、座って書類を作成している看護師の姿が撮影されている静止画像データであるサンプルに、教師ラベル「書類作成」ではなく、教師ラベル「投薬」を付与することができる。
　第２実施形態のラベル収集装置は、第１の作成者によって作成された第１教師データと、不正行為を行っていない１人以上の第２の作成者によって作成された第２教師データとの類似度に基づいて、第１の作成者が第１教師データを作成した際の不正行為の有無を判定する。
　図３は、ラベル収集装置１ｂの構成の例を示す図である。ラベル収集装置１ｂは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ｂとを備える。演算処理部８ｂは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、特徴量処理部８４と、集合データ生成部８５と、警告処理部８６として機能する。
　取得部８０は、第１サンプルｘｉの集合Ｘを、記憶装置６から取得する。取得部８０は、第１の作成者によって第１サンプルｘｉに付与された第１教師ラベルｙｉの集合Ｙを、記憶装置６から取得する。
　取得部８０は、第２サンプルの集合Ｘ’を、記憶装置６から取得する。取得部８０は、不正行為を行っていない１人以上の第２の作成者によって第２サンプルｘｊ’に付与された第２教師ラベルｙｊ’の集合Ｙ’を、記憶装置６から取得する。第２教師ラベルｙｊ’は、サンプルに対する行動ラベルとして正しい教師ラベル（以下「正当ラベル」という。）である。サンプルとの関連が低い教師ラベルであるか否かは、例えば、所定の基準に基づいて予め定められる。
　特徴量処理部８４は、第１サンプルｘｉの集合Ｘの統計量に基づく特徴量（以下「第１特徴量」という。）を算出する。第１特徴量は、例えば、第１サンプルｘｉが画像データである場合、第１サンプルｘｉの画像特徴量である。
　特徴量処理部８４は、第２サンプルｘｊ’の集合Ｘ’の統計量に基づく特徴量（以下「第２特徴量」という。）を算出する。第２特徴量は、例えば、第２サンプルｘｊ’が画像データである場合、第２サンプルｘｊ’の画像特徴量である。
　集合データ生成部８５は、第１サンプルｘｉの集合Ｘと第１教師ラベルｙｉの集合Ｙとを結合することによって、第１教師データｄｉの集合Ｄ（＝｛（ｘ１，ｙ１），…｝）を生成する。集合データ生成部８５は、第２サンプルｘｊの集合Ｘ’と第２教師ラベルｙｊの集合Ｙ’とを結合することによって、第２教師データｄｊの集合Ｄ’（＝｛（ｘ１’，ｙ１’），…｝）を生成する。
　警告処理部８６は、第１教師データの集合Ｄと第２教師データの集合Ｄ’との類似度Ｇｉ（ｉ＝１，２，…）を、例えば第１特徴量Ｖ及び第２特徴量Ｖ’に基づいて、閾値法又は異常検出法によって算出する。なお、これらの方法は一例である。
　（閾値法）
　警告処理部８６は、例えば第１教師データｄｉから第２教師データｄｊ（ｊ＝１，２，…）までの各距離の平均値ｈを、類似度Ｇｉとして算出する。距離とは、第１特徴量Ｖ及び第１教師データを組にしたベクトルと、第２特徴量Ｖ’及び第２教師データを組にしたベクトルとの間の距離である。各距離の平均値ｈが閾値以上である場合、類似度Ｇｉは１である。各距離の平均値ｈが閾値未満である場合、類似度Ｇｉは０である。
　（異常検出法）
　警告処理部８６は、第２教師データｄｊ（ｊ＝１，２，…）に対する第１教師データｄｉの異常度の逆数（正常度）を、類似度Ｇｉとして算出してもよい。異常度は、第１教師データｄｉ及び第２教師データｄｊの間の距離、すなわち、第１教師データから得られる第１特徴量Ｖと第２教師データから得られる第２特徴量Ｖ’との差分の絶対値でもよい。又は、異常度は、第１データから得られる第１特徴量Ｖと第２教師データから得られる第２特徴量Ｖ’とのユークリッド距離でもよい。異常度には、上限が設けられてもよい。
　警告処理部８６は、類似度Ｇｉ（ｉ＝１，２，…）の平均値Ｈを算出する。警告処理部８６は、類似度Ｇｉの平均値Ｈが類似度閾値を超えているか否かを判定する。類似度閾値は、類似度Ｇｉが１又は０である場合、例えば０．５である。
　提示処理部８３は、類似度Ｇｉの平均値Ｈを表示装置５に出力する。提示処理部８３は、類似度Ｇｉの平均値Ｈが類似度閾値以下であると判定された場合、第１教師データｄｉの作成に関して不正行為が行われた可能性が高い旨の警告を、表示装置５に出力する。
　次に、ラベル収集装置１ｂの動作の例を説明する。
　図４は、ラベル収集装置１ｂの動作の例を示すフローチャートである。取得部８０は、第１サンプルｘｉの集合Ｘと、第１教師ラベルｙｉの集合Ｙとを取得する（ステップＳ３０１）。取得部８０は、第２サンプルの集合Ｘ’と、第２教師ラベルｙｊ’の集合Ｙ’とを取得する（ステップＳ３０２）。
　特徴量処理部８４は、第１サンプルｘｉの集合Ｘに基づいて、第１特徴量Ｖを算出する（ステップＳ３０３）。特徴量処理部８４は、第２サンプルｘｊ’の集合Ｘ’に基づいて、第２特徴量Ｖ’を算出する（ステップＳ３０４）。
　集合データ生成部８５は、第１教師データｄｉの集合Ｄを生成する（ステップＳ３０５）。集合データ生成部８５は、第２教師データｄｊの集合Ｄ’を生成する（ステップＳ３０６）。
　警告処理部８６は、第１特徴量及び第１教師データを組みにしたベクトルの集合と、第２特徴量及び第２教師データを組みにしたベクトルの集合との類似度Ｇｉの平均値Ｈを算出する（ステップＳ３０７）。提示処理部８３は、類似度Ｇｉの平均値Ｈを表示装置５に出力する（ステップＳ３０８）。
　警告処理部８６は、類似度Ｇｉの平均値Ｈが類似度閾値を超えているか否かを判定する（ステップＳ３０９）。類似度Ｇｉの平均値Ｈが類似度閾値を超えていると判定された場合（ステップＳ３０９：ＹＥＳ）、ラベル収集装置１ｂは、図４に示されたフローチャートの処理を終了する。類似度Ｇｉの平均値Ｈが類似度閾値以下であると判定された場合（ステップＳ３０９：ＮＯ）、提示処理部８３は、警告を表示装置５に出力する（ステップＳ３１０）。
　以上のように、第２実施形態のラベル収集装置１ｂは、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、警告処理部８６とを備える。取得部８０は、機械学習に用いられる第１の教師データｄｉの第１の教師ラベルｙｉを取得する。学習処理部８１は、取得された第１の教師ラベルｙｉとサンプルｘｉとを含む第１の教師データｄｉに基づいて、推定モデルＭの機械学習を実行する。精度検出部８２は、推定モデルＭの精度を検出する。提示処理部８３は、推定モデルＭの精度を表示装置５に表示させることによって、推定モデルＭの精度を作業者に提示する。警告処理部８６は、サンプルとの関連が低くない第２の教師ラベル（正当ラベル）を含む第２の教師データｄｊと第１の教師データｄｉとの類似度が所定の類似度閾値以下である場合に警告を出力する。さらに、取得部８０は、更新された第１の教師データｄｉを取得する。
　これによって、第２実施形態のラベル収集装置１ｂは、作成者によって作成された教師データの集合と他の作成者によって作成された教師データの集合との類似度を、ユーザに提示することを可能とする。また、ラベル収集装置１ｂは、第２の教師データｄｊと第１の教師データｄｉとの類似度が所定の類似度閾値以下である場合に、警告を出力することが可能である。
　（第３実施形態）
　第３実施形態では、機械学習が実行された判定モデルを用いて不正行為の有無をラベル収集装置が判定する点が、第２実施形態と相違する。第３実施形態では第２実施形態との相違点について説明する。
　図５は、ラベル収集装置１ｃの構成の例を示す図である。ラベル収集装置１ｃは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ｃとを備える。演算処理部８ｂは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、特徴量処理部８４と、集合データ生成部８５と、警告処理部８６と、ラベル処理部８７と、学習データ生成部８８と、不正判定学習処理部８９として機能する。
　取得部８０は、第１サンプルｘｉの集合Ｘと、第１の作成者によって第１サンプルｘｉに付与された第１教師ラベルｙｉの集合Ｙとを取得する。取得部８０は、第２サンプルの集合Ｘ’と、不正行為を行っていない１人以上の第２の作成者によって第２サンプルｘｊ’に付与された第２教師ラベルｙｊ’の集合Ｙ’とを取得する。取得部８０は、第３サンプルの集合Ｘ’’と、意図的に不正行為を行った１人以上の第３の作成者によって第３サンプルｘｋ’’に付与された第３教師ラベルｙｋ’’の集合Ｙ’’とを取得する。ｘｋ’’の添字ｋは、第３サンプルのインデックスを表す。
　集合データ生成部８５は、第１サンプルｘｉの集合Ｘと第１教師ラベルｙｉの集合Ｙとを結合することによって、第１教師データｄｉの集合Ｄ（＝｛（ｘ１，ｙ１），…｝）を生成する。集合データ生成部８５は、第２サンプルｘｊの集合Ｘ’と第２教師ラベルｙｊの集合Ｙ’とを結合することによって、第２教師データｄｊの集合Ｄ’（＝｛（ｘ１’，ｙ１’），…｝）を生成する。集合データ生成部８５は、第３サンプルｘｋの集合Ｘ’’と第３教師ラベルｙｋの集合Ｙ’’とを結合することによって、第３教師データｄｋの集合Ｄ’’（＝｛（ｘ１’’，ｙ１’’），…｝）を生成する。
　ラベル処理部８７は、正当ラベルを第２教師データの集合Ｄ’に含める。例えば、ラベル処理部８７は、第２教師データｄｊ’の構成（第２サンプルｘｊ’，第２教師ラベルｙｊ’）を、（第２サンプルｘｊ’，第２教師ラベルｙｊ’，正当ラベルｒｊ’）という構成に更新する。
　ラベル処理部８７は、サンプルに対する行動ラベルとして正しくない教師ラベル（以下「不正ラベル」という。）を、第３教師データの集合Ｄ’’に含める。例えば、ラベル処理部８７は、第３教師データｄｋ’’の構成（第３サンプルｘｋ’’，第３教師ラベルｙｋ’’）を、（第３サンプルｘｋ’’，第３教師ラベルｙｋ’’，不正ラベルｒｋ’’）という構成に更新する。
　学習データ生成部８８は、第２教師データの集合Ｄ’と第３教師データの集合Ｄ’’とに基づいて、判定モデルＦの機械学習に用いられるデータである学習データを生成する。判定モデルＦは、機械学習のモデルであり、不正行為の有無を判定するために用いられるモデルである。
　学習フェーズにおいて、不正判定学習処理部８９は、生成された学習データを判定モデルＦの入力変数及び出力変数とすることによって、判定モデルＦの機械学習を実行する。不正判定学習処理部８９は、機械学習が実行された判定モデルＦを、記憶装置６に記録する。
　学習フェーズよりも後の判定フェーズにおいて、不正判定学習処理部８９は、第１教師データｄｉを判定モデルＦの入力変数として、判定モデルＦの出力Ｐｉ（＝Ｆ（ｄｉ））を、第１教師データの集合Ｄについて検出する。正当ラベル及び不正ラベルが２値で表現されている場合、正当ラベルであることを表す出力Ｐｉは０であり、不当ラベルであることを表す出力変数Ｐｉは１である。なお、出力Ｐｉは、０から１までの確率で表現されてもよい。
　判定フェーズにおいて、警告処理部８６は、出力Ｐｉ（ｉ＝１，２，…）の平均値を、判定モデルＦの精度の平均値Ｈ’として算出する。警告処理部８６は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えているか否かを判定する。第２の精度閾値は、出力Ｐｉが１又は０である場合、例えば０．５である。判定モデルＦの精度は、確率で表現可能な値であり、例えば、判定モデルＦの正解率、適合率又は再現率である。
　提示処理部８３は、判定モデルＦの精度の平均値Ｈ’を表示装置５に出力する。提示処理部８３は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値以下であると判定された場合、警告を表示装置５に出力する。
　次に、ラベル収集装置１ｃの動作の例を説明する。
　図６は、判定モデルＦの学習例（学習フェーズ）を示すフローチャートである。取得部８０は、第１サンプルｘｉの集合Ｘと第１教師ラベルｙｉの集合Ｙとを取得する（ステップＳ４０１）。取得部８０は、第２サンプルの集合Ｘ’と第２教師ラベルｙｊ’の集合Ｙ’とを取得する（ステップＳ４０２）。取得部８０は、第３サンプルの集合Ｘ’’と第３教師ラベルｙｋ’’の集合Ｙ’’とを取得する（ステップＳ４０３）。
　集合データ生成部８５は、第１教師データｄｉの集合Ｄを生成する（ステップＳ４０４）。集合データ生成部８５は、第２教師データｄｊの集合Ｄ’を生成する（ステップＳ４０５）。集合データ生成部８５は、第３教師データｄｋの集合Ｄ’’を生成する（ステップＳ４０６）。
　ラベル処理部８７は、正当ラベルを第２教師データの集合Ｄ’に含める（ステップＳ４０７）。ラベル処理部８７は、不正ラベルを第３教師データの集合Ｄ’’に含める（ステップＳ４０８）。
　学習データ生成部８８は、第２教師データの集合Ｄ’と第３教師データの集合Ｄ’’とに基づいて、学習データを生成する（ステップＳ４０９）。不正判定学習処理部８９は、判定モデルＦの機械学習を実行する（ステップＳ４１０）。不正判定学習処理部８９は、機械学習が実行された判定モデルＦを、記憶装置６に記録する（ステップＳ４１１）。
　図７は、判定モデルＦの精度の判定例（判定フェーズ）を示すフローチャートである。不正判定学習処理部８９は、第１サンプルの集合Ｘを、入力変数として判定モデルＦに入力する（ステップＳ５０１）。警告処理部８６は、出力Ｐｉの平均値（判定モデルＦの出力）を、判定モデルＦの精度の平均値Ｈ’として算出する（ステップＳ５０２）。提示処理部８３は、判定モデルＦの精度の平均値Ｈ’を表示装置５に出力する（ステップＳ５０３）。
　警告処理部８６は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えているか否かを判定する（ステップＳ５０４）。判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えていると判定された場合（ステップＳ５０４：ＹＥＳ）、ラベル収集装置１ｃは、図７に示されたフローチャートの処理を終了する。判定モデルＦの精度の平均値Ｈ’が第２の精度閾値以下であると判定された場合（ステップＳ５０４：ＮＯ）、提示処理部８３は、警告を表示装置５に出力する（ステップＳ５０５）。
　以上のように、第３実施形態のラベル収集装置１ｃは、学習処理部８１と、警告処理部８６とを備える。学習処理部８１は、サンプルとの関連が低い第３の教師ラベル（不正ラベル）を含む第３の教師データｄｋと第２の教師データｄｊとに基づいて、判定モデルＦの機械学習を実行する。警告処理部８６は、第１の教師データｄｉに対する判定モデルＦの精度が所定の第２の精度閾値以下である場合に警告を出力する。
　これによって、第３実施形態のラベル収集装置１ｃは、作成者が教師データを作成した際の不正行為の有無を、判定モデルＦを用いて作成者ごとに判定することができる。ラベル収集装置１ｃは、１個の第１サンプルｘｉと１個の教師ラベルｙｉとから第１教師データｄｉが構成されている場合、１個の第１サンプルｘｉが不正行為によって作成されたサンプルであるか否かを判定することができる。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、教師データの教師ラベルを収集する情報処理装置に適用可能である。
　１ａ，１ｂ，１ｃ…ラベル収集装置、２…バス、３…入力装置、４…インタフェース、５…表示装置、６…記憶装置、７…メモリ、８ａ，８ｂ，８ｃ…演算処理部、８０…取得部、８１…学習処理部、８２…精度検出部、８３…提示処理部、８４…特徴量処理部、８５…集合データ生成部、８６…警告処理部、８７…ラベル処理部、８８…学習データ生成部、８９…不正判定学習処理部

Claims (6)

  1. 　機械学習に用いられる教師データの教師ラベルを取得する取得部と、
    　取得された前記教師ラベルを含む前記教師データに基づいてモデルの機械学習を実行する学習処理部と、
    　前記モデルの精度を検出する精度検出部と、
    　前記精度を提示する提示処理部と
    　を備え、
    　前記取得部は、更新された前記教師データを取得する、
    　ラベル収集装置。
  2. 　機械学習に用いられる第１の教師データの第１の教師ラベルを取得する取得部と、
    　取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する学習処理部と、
    　前記第１のモデルの精度を検出する精度検出部と、
    　前記精度を提示する提示処理部と、
    　前記サンプルに対する行動ラベルとして正しい第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する警告処理部と
    　を備え、
    　前記取得部は、更新された第１の教師データを取得する、
    　ラベル収集装置。
  3. 　前記学習処理部は、前記サンプルに対する行動ラベルとして正しくない第３の教師ラベルを含む第３の教師データと、前記第２の教師ラベルを含む第２の教師データとに基づいて、第２のモデルの機械学習を実行し、
    　前記警告処理部は、第１の教師データに対する前記第２のモデルの精度が所定の精度閾値以下である場合に警告を出力する、
    　請求項２に記載のラベル収集装置。
  4. 　前記サンプルは、センサデータであり、
    　前記第１の教師ラベルは、人の行動を表すラベルである、
    　請求項２又は請求項３に記載のラベル収集装置。
  5. 　機械学習に用いられる第１の教師データの第１の教師ラベルを取得するステップと、
    　取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行するステップと、
    　前記第１のモデルの精度を検出するステップと、
    　前記精度を提示するステップと、
    　前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力するステップと
    　更新された第１の教師データを取得するステップと
    　を含むラベル収集方法。
  6. 　コンピュータに、
    　機械学習に用いられる第１の教師データの第１の教師ラベルを取得する手順と、
    　取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する手順と、
    　前記第１のモデルの精度を検出する手順と、
    　前記精度を提示する手順と、
    　前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する手順と
    　更新された第１の教師データを取得する手順と
    　を実行させるためのラベル収集プログラム。
PCT/JP2019/003818 2018-02-27 2019-02-04 ラベル収集装置、ラベル収集方法及びラベル収集プログラム WO2019167556A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020502890A JP7320280B2 (ja) 2018-02-27 2019-02-04 ラベル収集装置、ラベル収集方法及びラベル収集プログラム
US16/967,639 US20210279637A1 (en) 2018-02-27 2019-02-04 Label collection apparatus, label collection method, and label collection program
CN201980012515.4A CN111712841A (zh) 2018-02-27 2019-02-04 标签收集装置、标签收集方法以及标签收集程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-033655 2018-02-27
JP2018033655 2018-02-27

Publications (1)

Publication Number Publication Date
WO2019167556A1 true WO2019167556A1 (ja) 2019-09-06

Family

ID=67806121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003818 WO2019167556A1 (ja) 2018-02-27 2019-02-04 ラベル収集装置、ラベル収集方法及びラベル収集プログラム

Country Status (4)

Country Link
US (1) US20210279637A1 (ja)
JP (1) JP7320280B2 (ja)
CN (1) CN111712841A (ja)
WO (1) WO2019167556A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078538A (ja) * 2019-11-14 2021-05-27 日本光電工業株式会社 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、およびコンピュータプログラム
WO2022185360A1 (ja) * 2021-03-01 2022-09-09 日本電信電話株式会社 支援装置、支援方法およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113805931B (zh) * 2021-09-17 2023-07-28 杭州云深科技有限公司 一种确定app标签的方法、电子设备及可读存储介质
US11874798B2 (en) * 2021-09-27 2024-01-16 Sap Se Smart dataset collection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230570A (ja) * 2014-06-04 2015-12-21 日本電信電話株式会社 学習モデル作成装置、判定システムおよび学習モデル作成方法
JP2018013857A (ja) * 2016-07-19 2018-01-25 富士通株式会社 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010357B2 (en) * 2004-03-02 2011-08-30 At&T Intellectual Property Ii, L.P. Combining active and semi-supervised learning for spoken language understanding
US20110112995A1 (en) * 2009-10-28 2011-05-12 Industrial Technology Research Institute Systems and methods for organizing collective social intelligence information using an organic object data model
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
US10949770B2 (en) * 2016-01-28 2021-03-16 Shutterstock, Inc. Identification of synthetic examples for improving search rankings
JP6946081B2 (ja) * 2016-12-22 2021-10-06 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230570A (ja) * 2014-06-04 2015-12-21 日本電信電話株式会社 学習モデル作成装置、判定システムおよび学習モデル作成方法
JP2018013857A (ja) * 2016-07-19 2018-01-25 富士通株式会社 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
INOUE, SOZO ET AL.: "Experiment of Caregiving Activity Sensing in a Nursing Facility", IPSJ TECHNICAL REPORT, 18 May 2017 (2017-05-18), pages 1 - 8, ISSN: 2188-8604 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078538A (ja) * 2019-11-14 2021-05-27 日本光電工業株式会社 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、およびコンピュータプログラム
JP7381301B2 (ja) 2019-11-14 2023-11-15 日本光電工業株式会社 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、およびコンピュータプログラム
WO2022185360A1 (ja) * 2021-03-01 2022-09-09 日本電信電話株式会社 支援装置、支援方法およびプログラム

Also Published As

Publication number Publication date
JP7320280B2 (ja) 2023-08-03
CN111712841A (zh) 2020-09-25
JPWO2019167556A1 (ja) 2021-02-04
US20210279637A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
WO2019167556A1 (ja) ラベル収集装置、ラベル収集方法及びラベル収集プログラム
US11553874B2 (en) Dental image feature detection
US10909401B2 (en) Attention-based explanations for artificial intelligence behavior
CN107610770B (zh) 用于自动化诊断的问题生成系统和方法
US10599761B2 (en) Digitally converting physical document forms to electronic surveys
US11610148B2 (en) Information processing device and information processing method
JP5875285B2 (ja) 医療診断支援装置、情報処理方法及びプログラム
KR20200005987A (ko) 터치입력을 이용한 인지장애 진단 시스템 및 방법
JP2013192624A (ja) 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
CN114341838A (zh) 病理报告中的使用自然语言处理的自动信息提取与扩展
US20210125724A1 (en) Medical image processing apparatus, medical image processing method, machine learning system, and program
JP2020052463A (ja) 情報処理方法および情報処理装置
JP5995415B2 (ja) 医療診断支援装置、情報処理方法及びプログラム
CN112486338A (zh) 医疗信息处理方法、装置及电子设备
JP2017010577A (ja) 医療診断支援装置及び医療診断支援方法
US20230125321A1 (en) User-guided structured document modeling
JP2021111299A (ja) 学習装置、学習方法、学習プログラム、識別装置、識別方法および識別プログラム
US20190163870A1 (en) Effective patient state sharing
JP6316325B2 (ja) 情報処理装置、情報処理装置の作動方法及び情報処理システム
US11068716B2 (en) Information processing method and information processing system
JP2018110040A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018073069A (ja) 評価方法、評価プログラム、及び評価装置
US20230137094A1 (en) Measurement device, measurement system, measurement method, and computer program product
US11154220B2 (en) Information processing apparatus, method, and information processing system for inferring a movement destination of a person by utilizing a wireless device
JP2005209229A (ja) 画像検索方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761692

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502890

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19761692

Country of ref document: EP

Kind code of ref document: A1