JPWO2019167556A1 - ラベル収集装置、ラベル収集方法及びラベル収集プログラム - Google Patents
ラベル収集装置、ラベル収集方法及びラベル収集プログラム Download PDFInfo
- Publication number
- JPWO2019167556A1 JPWO2019167556A1 JP2020502890A JP2020502890A JPWO2019167556A1 JP WO2019167556 A1 JPWO2019167556 A1 JP WO2019167556A1 JP 2020502890 A JP2020502890 A JP 2020502890A JP 2020502890 A JP2020502890 A JP 2020502890A JP WO2019167556 A1 JPWO2019167556 A1 JP WO2019167556A1
- Authority
- JP
- Japan
- Prior art keywords
- label
- teacher
- accuracy
- processing unit
- teacher data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000010801 machine learning Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000006399 behavior Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 description 53
- 230000005856 abnormality Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本願は、2018年2月27日に、日本に出願された特願2018−033655号に基づき優先権を主張し、その内容をここに援用する。
図1は、ラベル収集装置1aの構成の例を示す図である。ラベル収集装置1aは、機械学習に用いられる教師データの教師ラベルを収集する情報処理装置であり、例えば、パーソナルコンピュータ、スマートフォン端末、タブレット端末等である。教師ラベルは、サンプルに対する行動ラベルであり、例えば人の行動を表すラベルである。
入力装置3は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力装置3は、教師データの作成者によって操作される。
図2は、作成者による教師データの作成処理とラベル収集装置1aの動作との例を示すフローチャートである。
第2実施形態では、サンプルに対する行動ラベルとして正しくない(サンプルとの関連が低い)教師ラベルを作成者がサンプルに付与するという不正行為(cheating)の有無をラベル収集装置が判定する点が、第1実施形態と相違する。第2実施形態では第1実施形態との相違点について説明する。
警告処理部86は、例えば第1教師データdiから第2教師データdj(j=1,2,…)までの各距離の平均値hを、類似度Giとして算出する。距離とは、第1特徴量V及び第1教師データを組にしたベクトルと、第2特徴量V’及び第2教師データを組にしたベクトルとの間の距離である。各距離の平均値hが閾値以上である場合、類似度Giは1である。各距離の平均値hが閾値未満である場合、類似度Giは0である。
警告処理部86は、第2教師データdj(j=1,2,…)に対する第1教師データdiの異常度の逆数(正常度)を、類似度Giとして算出してもよい。異常度は、第1教師データdi及び第2教師データdjの間の距離、すなわち、第1教師データから得られる第1特徴量Vと第2教師データから得られる第2特徴量V’との差分の絶対値でもよい。又は、異常度は、第1データから得られる第1特徴量Vと第2教師データから得られる第2特徴量V’とのユークリッド距離でもよい。異常度には、上限が設けられてもよい。
図4は、ラベル収集装置1bの動作の例を示すフローチャートである。取得部80は、第1サンプルxiの集合Xと、第1教師ラベルyiの集合Yとを取得する(ステップS301)。取得部80は、第2サンプルの集合X’と、第2教師ラベルyj’の集合Y’とを取得する(ステップS302)。
第3実施形態では、機械学習が実行された判定モデルを用いて不正行為の有無をラベル収集装置が判定する点が、第2実施形態と相違する。第3実施形態では第2実施形態との相違点について説明する。
図6は、判定モデルFの学習例(学習フェーズ)を示すフローチャートである。取得部80は、第1サンプルxiの集合Xと第1教師ラベルyiの集合Yとを取得する(ステップS401)。取得部80は、第2サンプルの集合X’と第2教師ラベルyj’の集合Y’とを取得する(ステップS402)。取得部80は、第3サンプルの集合X’’と第3教師ラベルyk’’の集合Y’’とを取得する(ステップS403)。
Claims (6)
- 機械学習に用いられる教師データの教師ラベルを取得する取得部と、
取得された前記教師ラベルを含む前記教師データに基づいてモデルの機械学習を実行する学習処理部と、
前記モデルの精度を検出する精度検出部と、
前記精度を提示する提示処理部と
を備え、
前記取得部は、更新された前記教師データを取得する、
ラベル収集装置。 - 機械学習に用いられる第1の教師データの第1の教師ラベルを取得する取得部と、
取得された第1の教師ラベルとサンプルとを含む第1の教師データに基づいて第1のモデルの機械学習を実行する学習処理部と、
前記第1のモデルの精度を検出する精度検出部と、
前記精度を提示する提示処理部と、
前記サンプルに対する行動ラベルとして正しい第2の教師ラベルを含む第2の教師データと第1の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する警告処理部と
を備え、
前記取得部は、更新された第1の教師データを取得する、
ラベル収集装置。 - 前記学習処理部は、前記サンプルに対する行動ラベルとして正しくない第3の教師ラベルを含む第3の教師データと、前記第2の教師ラベルを含む第2の教師データとに基づいて、第2のモデルの機械学習を実行し、
前記警告処理部は、第1の教師データに対する前記第2のモデルの精度が所定の精度閾値以下である場合に警告を出力する、
請求項2に記載のラベル収集装置。 - 前記サンプルは、センサデータであり、
前記第1の教師ラベルは、人の行動を表すラベルである、
請求項2又は請求項3に記載のラベル収集装置。 - 機械学習に用いられる第1の教師データの第1の教師ラベルを取得するステップと、
取得された第1の教師ラベルとサンプルとを含む第1の教師データに基づいて第1のモデルの機械学習を実行するステップと、
前記第1のモデルの精度を検出するステップと、
前記精度を提示するステップと、
前記サンプルとの関連が低くない第2の教師ラベルを含む第2の教師データと第1の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力するステップと
更新された第1の教師データを取得するステップと
を含むラベル収集方法。 - コンピュータに、
機械学習に用いられる第1の教師データの第1の教師ラベルを取得する手順と、
取得された第1の教師ラベルとサンプルとを含む第1の教師データに基づいて第1のモデルの機械学習を実行する手順と、
前記第1のモデルの精度を検出する手順と、
前記精度を提示する手順と、
前記サンプルとの関連が低くない第2の教師ラベルを含む第2の教師データと第1の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する手順と
更新された第1の教師データを取得する手順と
を実行させるためのラベル収集プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018033655 | 2018-02-27 | ||
JP2018033655 | 2018-02-27 | ||
PCT/JP2019/003818 WO2019167556A1 (ja) | 2018-02-27 | 2019-02-04 | ラベル収集装置、ラベル収集方法及びラベル収集プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019167556A1 true JPWO2019167556A1 (ja) | 2021-02-04 |
JP7320280B2 JP7320280B2 (ja) | 2023-08-03 |
Family
ID=67806121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020502890A Active JP7320280B2 (ja) | 2018-02-27 | 2019-02-04 | ラベル収集装置、ラベル収集方法及びラベル収集プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210279637A1 (ja) |
JP (1) | JP7320280B2 (ja) |
CN (1) | CN111712841A (ja) |
WO (1) | WO2019167556A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7381301B2 (ja) * | 2019-11-14 | 2023-11-15 | 日本光電工業株式会社 | 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、およびコンピュータプログラム |
JPWO2022185360A1 (ja) * | 2021-03-01 | 2022-09-09 | ||
CN113805931B (zh) * | 2021-09-17 | 2023-07-28 | 杭州云深科技有限公司 | 一种确定app标签的方法、电子设备及可读存储介质 |
US11874798B2 (en) * | 2021-09-27 | 2024-01-16 | Sap Se | Smart dataset collection system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230570A (ja) * | 2014-06-04 | 2015-12-21 | 日本電信電話株式会社 | 学習モデル作成装置、判定システムおよび学習モデル作成方法 |
JP2018013857A (ja) * | 2016-07-19 | 2018-01-25 | 富士通株式会社 | センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置 |
JP2018106662A (ja) * | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8010357B2 (en) * | 2004-03-02 | 2011-08-30 | At&T Intellectual Property Ii, L.P. | Combining active and semi-supervised learning for spoken language understanding |
US20110112995A1 (en) * | 2009-10-28 | 2011-05-12 | Industrial Technology Research Institute | Systems and methods for organizing collective social intelligence information using an organic object data model |
CN104408469A (zh) * | 2014-11-28 | 2015-03-11 | 武汉大学 | 基于图像深度学习的烟火识别方法及系统 |
US10949770B2 (en) * | 2016-01-28 | 2021-03-16 | Shutterstock, Inc. | Identification of synthetic examples for improving search rankings |
-
2019
- 2019-02-04 JP JP2020502890A patent/JP7320280B2/ja active Active
- 2019-02-04 WO PCT/JP2019/003818 patent/WO2019167556A1/ja active Application Filing
- 2019-02-04 CN CN201980012515.4A patent/CN111712841A/zh active Pending
- 2019-02-04 US US16/967,639 patent/US20210279637A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230570A (ja) * | 2014-06-04 | 2015-12-21 | 日本電信電話株式会社 | 学習モデル作成装置、判定システムおよび学習モデル作成方法 |
JP2018013857A (ja) * | 2016-07-19 | 2018-01-25 | 富士通株式会社 | センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置 |
JP2018106662A (ja) * | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Non-Patent Citations (1)
Title |
---|
井上創造 ほか: "介護施設における介護スタッフの行動センシング実験", 情報処理学会 研究報告, vol. 2017-CDS-19,第13号, JPN6019014624, 18 May 2017 (2017-05-18), JP, pages 1 - 8, ISSN: 0004995374 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019167556A1 (ja) | 2019-09-06 |
US20210279637A1 (en) | 2021-09-09 |
CN111712841A (zh) | 2020-09-25 |
JP7320280B2 (ja) | 2023-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2019167556A1 (ja) | ラベル収集装置、ラベル収集方法及びラベル収集プログラム | |
CN109791600B (zh) | 将横屏视频转换为竖屏移动布局的方法 | |
US11610148B2 (en) | Information processing device and information processing method | |
TWI832966B (zh) | 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備 | |
US20190313963A1 (en) | Dental Image Feature Detection | |
JP5875285B2 (ja) | 医療診断支援装置、情報処理方法及びプログラム | |
CN109754389B (zh) | 一种图像处理方法、装置及设备 | |
US10664567B2 (en) | Extraction of information from an image and inclusion thereof in a clinical report | |
US11900266B2 (en) | Database systems and interactive user interfaces for dynamic conversational interactions | |
US9361580B2 (en) | Medical diagnosis support apparatus and method of controlling the same | |
US20230125321A1 (en) | User-guided structured document modeling | |
US11594327B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6448588B2 (ja) | 医療診断支援装置、医療診断支援システム、情報処理方法及びプログラム | |
CN109871866B (zh) | 用于医院内感染预测的模型训练方法、装置、设备及介质 | |
JP2021111299A (ja) | 学習装置、学習方法、学習プログラム、識別装置、識別方法および識別プログラム | |
JP2007058625A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP6316325B2 (ja) | 情報処理装置、情報処理装置の作動方法及び情報処理システム | |
US11068716B2 (en) | Information processing method and information processing system | |
EP4088645A1 (en) | Endoscopy assistance device, endoscopy assistance method, and computer-readable recording medium | |
JP3985826B2 (ja) | 画像検索方法及びその装置 | |
US9679498B2 (en) | Method and apparatus for providing a presentation model for an exercise | |
WO2023188160A1 (ja) | 入力支援装置、入力支援方法、及び非一時的なコンピュータ可読媒体 | |
EP4096209A1 (en) | Information processing device, information processing method, and information processing program | |
JP6985132B2 (ja) | 施設特定装置及びそのプログラム | |
CN112488284A (zh) | 模型训练方法、人物图像补全方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7320280 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |