JP7333496B2 - ラベリングプログラム、ラベリング装置及びラベリング方法 - Google Patents
ラベリングプログラム、ラベリング装置及びラベリング方法 Download PDFInfo
- Publication number
- JP7333496B2 JP7333496B2 JP2019125734A JP2019125734A JP7333496B2 JP 7333496 B2 JP7333496 B2 JP 7333496B2 JP 2019125734 A JP2019125734 A JP 2019125734A JP 2019125734 A JP2019125734 A JP 2019125734A JP 7333496 B2 JP7333496 B2 JP 7333496B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning data
- label
- learning
- data number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
次に、第1の実施の形態について説明する。図2及び図3は、第1の実施の形態におけるラベリング処理を説明するフローチャート図である。また、図4から図6は、第1の実施の形態におけるラベリング処理を説明する図である。
次に、第1の実施の形態の具体例について説明する。図6は、第1の実施の形態におけるラベリング処理の具体例を説明する図である。以下、学習データ群Dに含まれる学習データの数が100万個であり、nの値が1000であるものとして説明を行う。
次に、第2の実施の形態について説明する。図7及び図8は、第2の実施の形態におけるラベリング処理を説明するフローチャート図である。また、図9から図11は、第2の実施の形態におけるラベリング処理を説明する図である。なお、以下、第1の実施の形態と異なる点についてのみ説明を行う。
次に、第2の実施の形態の具体例について説明する。図10は、第2の実施の形態におけるラベリング処理の具体例を説明する図である。以下、学習データ群Dに含まれる学習データの数が100万個であり、n1の値及びn2の値が1000であるものとして説明を行う。
次に、第2の実施の形態におけるラベリング処理による実験結果について説明する。図11は、第2の実施の形態におけるラベリング処理による実験結果を示す表である。
次に、S27の処理における他の実施例について説明を行う。
5:操作端末
101:CPU
102:メモリ
103:ネットワークインタフェース
104:記憶媒体
105:バス
110:記憶領域
D:学習データ群
T:学習データ群
M:モデル
Claims (10)
- 第1記憶部に記憶した複数の学習データのうち、第1データ数の学習データを取り出して出力し、出力した前記第1データ数の学習データを前記第1記憶部から削除し、
出力した前記第1データ数の学習データのそれぞれに対応するラベルとしてユーザが決定した前記第1データ数のラベルの入力に応じて、前記第1データ数の学習データのそれぞれに前記ラベルを対応付けた前記第1データ数のラベル付き学習データを生成し、
生成した前記第1データ数のラベル付き学習データを第2記憶部に蓄積し、
前記第2記憶部に蓄積した前記第1データ数のラベル付き学習データを学習することによって第1モデルを生成し、
生成した前記第1モデルの認識能力を示す値に基づいて、第2データ数を特定し、
前記第1記憶部に記憶した複数の学習データから、前記第2データ数の学習データを取り出し、
取り出した前記第2データ数の学習データと、取り出した前記第2データ数の学習データの入力に伴って前記第1モデルから出力される前記第2データ数のラベルとを出力し、
出力した前記第2データ数のラベルに対し、前記第2データ数の学習データに対応するラベルとして間違っているか否かの判断と、間違っていると判断した場合におけるラベルの変更とがユーザによってそれぞれ行われた前記第2データ数のラベルの入力を受け付け、入力を受け付けた前記第2データ数のラベルを前記第2データ数の学習データのそれぞれに対応付けた前記第2データ数のラベル付き学習データを生成し、
生成した前記第2データ数のラベル付き学習データを前記第2記憶部に蓄積する、
処理をコンピュータに実行させることを特徴とするラベリングプログラム。 - 請求項1において、
前記第2データ数を特定する処理では、前記第1データ数の学習データのうち、前記第1モデルに対する入力に伴って前記第1モデルから出力されるラベルが正解でない学習データの第1割合を、前記第1モデルの認識能力を示す値として特定する、
ことを特徴とするラベリングプログラム。 - 請求項2において、
前記第2データ数を特定する処理では、前記第1データ数を前記第1割合で除算することによって、前記第2データ数を算出する、
ことを特徴とするラベリングプログラム。 - 請求項2において、
前記第2データ数を特定する処理では、
各学習データに対応付けられるラベルが正解のラベルでない場合におけるユーザの第1作業時間と、前記第1割合との積である第1の値を算出し、
各学習データに対応付けられるラベルが正解のラベルである場合におけるユーザの第2作業時間と、前記第1割合を1から減算して算出した値との積である第2の値を算出し、
前記第1の値と前記第2の値との和と、前記第2データ数との積が所定の閾値以下にな
るように、前記第2データ数を算出する、
ことを特徴とするラベリングプログラム。 - 請求項4において、
前記第1作業時間は、各学習データに対応付けられるラベルのそれぞれが正解であるか否かをユーザが判定するために要する時間と、学習データに対応付けられたラベルのそれぞれをユーザが正解のラベルに変更するために要する時間との和であり、
前記第2作業時間は、各学習データに対応付けられるラベルのそれぞれが正解であるか否かをユーザが判定するために要する時間である、
ことを特徴とするラベリングプログラム。 - 請求項5において、さらに、
前記第2記憶部に記憶したラベル付き学習データを学習することによって第2モデルを生成し、
前記第1記憶部に記憶した複数の学習データから、第3データ数の学習データを取り出し、
取り出した前記第3データ数の学習データと、取り出した前記第3データ数の学習データの入力に伴って前記第2モデルから出力される前記第3データ数のラベルとを出力し、
出力した前記第3データ数のラベルに対し、前記第3データ数の学習データに対応するラベルとして間違っているか否かの判断と、間違っていると判断した場合におけるラベルの変更とがユーザによってそれぞれ行われた前記第3データ数のラベルの入力を受け付け、入力を受け付けた前記第3データ数のラベルを前記第3データ数の学習データのそれぞれに対応付けた前記第3データ数のラベル付き学習データを生成し、
生成した前記第3データ数のラベル付き学習データを前記第2記憶部に蓄積する、
処理をコンピュータに実行させることを特徴とするラベリングプログラム。 - 請求項6において、
前記第2モデルを生成する処理と、前記第3データ数の学習データを取り出す処理と、前記第3データ数のラベルを出力する処理と、前記第3データ数のラベル付き学習データを生成する処理と、前記第3データ数のラベル付き学習データを蓄積する処理とを所定回数繰り返す、
ことを特徴とするラベリングプログラム。 - 請求項6において、
前記第1記憶部に記憶した複数の学習データの全てが取り出されるまで、前記第2モデルを生成する処理と、前記第3データ数の学習データを取り出す処理と、前記第3データ数のラベルを出力する処理と、前記第3データ数のラベル付き学習データを生成する処理と、前記第3データ数のラベル付き学習データを蓄積する処理とを繰り返す、
ことを特徴とするラベリングプログラム。 - 複数の学習データを記憶する第1記憶部と、
前記複数の学習データのうち、第1データ数の学習データを取り出して出力し、出力した前記第1データ数の学習データを前記第1記憶部から削除する第1出力部と、
出力した前記第1データ数の学習データのそれぞれに対応するラベルとしてユーザが決定した前記第1データ数のラベルの入力に応じて、前記第1データ数の学習データのそれぞれに前記ラベルを対応付けた前記第1データ数のラベル付き学習データを生成する第1
データ生成部と、
生成した前記第1データ数のラベル付き学習データを蓄積する第2記憶部と、
前記第2記憶部に蓄積した前記第1データ数のラベル付き学習データを学習することによって第1モデルを生成するモデル生成部と、
生成した前記第1モデルの認識能力を示す値に基づいて、第2データ数を特定するデータ数特定部と、
前記第1記憶部に記憶した複数の学習データから、前記第2データ数の学習データを取り出すデータ取出部と、
取り出した前記第2データ数の学習データと、取り出した前記第2データ数の学習データの入力に伴って前記第1モデルから出力される前記第2データ数のラベルとを出力する第2出力部と、
出力した前記第2データ数のラベルに対し、前記第2データ数の学習データに対応するラベルとして間違っているか否かの判断と、間違っていると判断した場合におけるラベルの変更とがユーザによってそれぞれ行われた前記第2データ数のラベルの入力を受け付け、入力を受け付けた前記第2データ数のラベルを前記第2データ数の学習データのそれぞれに対応付けた前記第2データ数のラベル付き学習データを生成する第2データ生成部と、を有し、
前記第2記憶部は、さらに、生成した前記第2データ数のラベル付き学習データを蓄積する、
ことを特徴とするラベリング装置。 - 第1記憶部に記憶した複数の学習データのうち、第1データ数の学習データを取り出して出力し、出力した前記第1データ数の学習データを前記第1記憶部から削除し、
出力した前記第1データ数の学習データのそれぞれに対応するラベルとしてユーザが決定した前記第1データ数のラベルの入力に応じて、前記第1データ数の学習データのそれぞれに前記ラベルを対応付けた前記第1データ数のラベル付き学習データを生成し、
生成した前記第1データ数のラベル付き学習データを第2記憶部に蓄積し、
前記第2記憶部に蓄積した前記第1データ数のラベル付き学習データを学習することによって第1モデルを生成し、
生成した前記第1モデルの認識能力を示す値に基づいて、第2データ数を特定し、
前記第1記憶部に記憶した複数の学習データから、前記第2データ数の学習データを取り出し、
取り出した前記第2データ数の学習データと、取り出した前記第2データ数の学習データの入力に伴って前記第1モデルから出力される前記第2データ数のラベルとを出力し、
出力した前記第2データ数のラベルに対し、前記第2データ数の学習データに対応するラベルとして間違っているか否かの判断と、間違っていると判断した場合におけるラベルの変更とがユーザによってそれぞれ行われた前記第2データ数のラベルの入力を受け付け、入力を受け付けた前記第2データ数のラベルを前記第2データ数の学習データのそれぞれに対応付けた前記第2データ数のラベル付き学習データを生成し、
生成した前記第2データ数のラベル付き学習データを前記第2記憶部に蓄積する、
処理をコンピュータに実行させることを特徴とするラベリング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019125734A JP7333496B2 (ja) | 2019-07-05 | 2019-07-05 | ラベリングプログラム、ラベリング装置及びラベリング方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019125734A JP7333496B2 (ja) | 2019-07-05 | 2019-07-05 | ラベリングプログラム、ラベリング装置及びラベリング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012494A JP2021012494A (ja) | 2021-02-04 |
JP7333496B2 true JP7333496B2 (ja) | 2023-08-25 |
Family
ID=74227393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019125734A Active JP7333496B2 (ja) | 2019-07-05 | 2019-07-05 | ラベリングプログラム、ラベリング装置及びラベリング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7333496B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005048184A1 (ja) | 2003-11-17 | 2005-05-26 | Nec Corporation | 能動学習方法およびシステム |
JP2017224184A (ja) | 2016-06-16 | 2017-12-21 | 株式会社日立製作所 | 機械学習装置 |
JP2019040335A (ja) | 2017-08-24 | 2019-03-14 | 三菱電機インフォメーションシステムズ株式会社 | 教師データを生成する方法、学習済みモデルを生成する方法、学習済みモデル、コンピュータおよびプログラム |
-
2019
- 2019-07-05 JP JP2019125734A patent/JP7333496B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005048184A1 (ja) | 2003-11-17 | 2005-05-26 | Nec Corporation | 能動学習方法およびシステム |
JP2017224184A (ja) | 2016-06-16 | 2017-12-21 | 株式会社日立製作所 | 機械学習装置 |
JP2019040335A (ja) | 2017-08-24 | 2019-03-14 | 三菱電機インフォメーションシステムズ株式会社 | 教師データを生成する方法、学習済みモデルを生成する方法、学習済みモデル、コンピュータおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021012494A (ja) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5629239B2 (ja) | ソフトウェアの動作をテストする装置及び方法 | |
US20180093191A1 (en) | Apparatus for generating game management scenario and method using the same | |
JP2017508210A5 (ja) | ||
US11294792B2 (en) | Automated review of source code for style issues | |
JP7059220B2 (ja) | 機械学習プログラム検証装置および機械学習プログラム検証方法 | |
Jansen et al. | The COMICS Tool–Co mputing Mi nimal C ounterexample s for DTMCs | |
JP6973197B2 (ja) | データセット検証装置、データセット検証方法、およびデータセット検証プログラム | |
JP6331756B2 (ja) | テストケース生成プログラム、テストケース生成方法、及びテストケース生成装置 | |
US11086679B2 (en) | Determine whether to accelerate a process of a program based on characteristic values associated with strongly connected graphs | |
US20180173687A1 (en) | Automatic datacenter state summarization | |
JP7333496B2 (ja) | ラベリングプログラム、ラベリング装置及びラベリング方法 | |
JP2017045080A (ja) | 業務フロー仕様再生方法 | |
JP2016031629A (ja) | 特徴選択装置、特徴選択システム、特徴選択方法、および、特徴選択プログラム | |
EP3851953A1 (en) | Optimization apparatus, temperature setting method, and temperature setting program | |
JP6730587B2 (ja) | キャッシュミス推定プログラム、キャッシュミス推定方法及び情報処理装置 | |
US20230222140A1 (en) | Systems and methods for automatically deriving data transformation criteria | |
JP6405851B2 (ja) | 予兆検知支援プログラム、方法、装置、及び予兆検知プログラム、 | |
US9262720B2 (en) | Computer-readable recording medium, extracting device, and extracting method | |
JP7132119B2 (ja) | スキルマップ処理装置、スキルマップ処理方法、及びスキルマップ処理プログラム | |
KR102046249B1 (ko) | 머신러닝 기반 악성코드 탐지를 위한 특성선정 방법 및 이를 수행하기 위한 기록매체 및 장치 | |
CN110457064B (zh) | 网络割接脚本的生成方法及装置 | |
CN112817525A (zh) | 闪存芯片可靠性等级预测方法、装置及存储介质 | |
JP6407205B2 (ja) | ラベル列生成装置、ラベル列生成方法、及びプログラム | |
JP6538762B2 (ja) | 類似度計算装置及び類似度計算方法 | |
JP5773838B2 (ja) | 時系列データの解析装置および解析用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7333496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |