JP7202757B1 - 情報処理システム、情報処理方法およびプログラム - Google Patents
情報処理システム、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7202757B1 JP7202757B1 JP2022541632A JP2022541632A JP7202757B1 JP 7202757 B1 JP7202757 B1 JP 7202757B1 JP 2022541632 A JP2022541632 A JP 2022541632A JP 2022541632 A JP2022541632 A JP 2022541632A JP 7202757 B1 JP7202757 B1 JP 7202757B1
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- annotation
- result
- unit
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 29
- 238000003672 processing method Methods 0.000 title description 3
- 238000012545 processing Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 description 44
- 238000000605 extraction Methods 0.000 description 39
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 206010002383 Angina Pectoris Diseases 0.000 description 4
- 206010002388 Angina unstable Diseases 0.000 description 4
- 208000007814 Unstable Angina Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 201000004332 intermediate coronary syndrome Diseases 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
前記入力取得部により前記アノテーション結果が取得されると、前記アノテーション結果に基づいて学習及び予測をする予測部とを備え、
前記入力取得部は、第1のアノテーション対象に対する第1のアノテーション結果を取得するとともに、前記予測部による前記第1のアノテーション結果に対する学習結果に基づいて、前記第1のアノテーション対象とは少なくとも一部が異なる第2のアノテーション対象に対する第2のアノテーション結果を取得する、情報処理システムが提供される。
図1は、一実施例の情報処理システムの構成を示す図である。
図7は、他の実施例の情報処理システムにおける処理を例示するフローチャートである。この処理では、実質的に、第1の実施例での処理(図3~図6)の一部のみを実行している。この例では、検索条件(集合)を階層化せず、一の検索条件を満たす文章の集合に対して、因子抽出を行っている。
なお、上記の実施形態に関して、更に以下を開示する。
[付記1]
アノテーション対象に対するアノテーション結果を取得する入力取得部と、
前記入力取得部により前記アノテーション結果が取得されると、前記アノテーション結果に基づいて学習及び予測をする予測部とを備え、
前記入力取得部は、第1のアノテーション対象に対する第1のアノテーション結果を取得するとともに、前記予測部による前記第1のアノテーション結果に対する学習結果に基づいて、前記第1のアノテーション対象とは少なくとも一部が異なる第2のアノテーション対象に対する第2のアノテーション結果を取得する、情報処理システム。
この場合、アノテーション結果に基づいて学習を行うだけの構成に比べて、アノテーションと学習を交互に行うことができる点で有利な構成を実現できる。すなわち、予測部は、第1のアノテーション対象に対する第1のアノテーション結果に基づく学習及び予測に後続して、第2のアノテーション対象に対する第2のアノテーション結果に基づく学習及び予測を実行できるので、予測の精度を効果的に高めることができる。なお、第2のアノテーション対象は、第1のアノテーション対象の一部又は全部を含んでよいが、第1のアノテーション対象と全く同じでなければよい。また、第1のアノテーション結果と第2のアノテーション結果とは、同じユーザによるアノテーション結果であってもよいし、異なるユーザによるアノテーション結果であってもよい。例えば、第1のアノテーション結果は、アノテーターによるものあってよく、第2のアノテーション結果は、検収者によるものであってよい。
[付記2]
前記入力取得部は、前記第1のアノテーション結果に対する前記予測部の学習で得られる予測値に基づいて、前記第2のアノテーション結果を取得する、付記1に記載の情報処理システム。
この場合、予測部は、例えば予測値が所望の範囲内でない場合等に、予測の精度を高めるべく、第2のアノテーション結果に基づいて、再度、学習を実行してもよい。
[付記3]
前記入力取得部は、アノテーション対象候補のデータに対して、
アノテーションが必要なサンプル数と、母集団における正例の件数や学習の予測精度との関係を統計的に算出する算出部を更に備える、付記1に記載の情報処理システム。
この場合、母集団の件数に照らした必要なアノテーション数を所定数として設定することで、適切な数のアノテーション結果に基づいて学習を行うことができる。この際、例えば信頼率や区間幅等を入力として必要なアノテーション数を所定数として統計的に推定してもよい。また、アノテーション数は固定し、そのサンプル数で算出した正例の割合を入力として母集団に存在する正例の割合について統計的な検定を行っても良い。
[付記4]
前記予測部による予測の精度の算出のため、
アノテーションが必要なサンプル数と、母集団における正例の件数や前記予測部による予測精度との関係を統計的に算出し、
算出された前記サンプル数に応じた数のサンプルをランダムサンプリングし、アノテーションが行われたランダムサンプリング結果に基づいて母集団における正例の件数や前記予測部による予測の精度を算出する処理部を更に備える、付記1に記載の情報処理システム。
この場合、新たなアノテーション対象(未フラグレコード)の予測値に対して何件の修正が必要かを算出することで、修正の作業効率を高めることができる。
[付記5]
前記予測部における学習の手法または学習に関連するパラメータとして、複数の手法またはパラメータが選択可能であり、
前記予測部における予測結果に応じて前記手法または前記パラメータを選択する選択部を更に備える、付記1に記載の情報処理システム。
この場合、例えば、学習の手法やパラメータを都度自動で変更し、予測の精度が良好であった組み合わせをその後の学習で利用する等によって、予測の精度を効率的に高めることができる。
[付記6]
前記処理部は、前記アノテーション結果に含まれる正例の件数に基づいて前記サンプル数を算出する、付記4に記載の情報処理システム。
[付記7]
前記予測部による学習は、予測の正誤の違いの特徴の学習を含む、付記1に記載の情報処理システム。
[付記8]
前記処理部は、前記処理部による予測の精度の評価結果に基づいて、新たなアノテーション対象に対する前記予測部による予測結果に対して行うべき修正の件数を表す情報を生成する、付記4に記載の情報処理システム。
11 第1の記憶部
12 予測部
13 第2の記憶部
14 第3の記憶部
21 受付部
Claims (3)
- 一の予測対象の母集団の一部であるアノテーション対象に対するアノテーション結果を取得する入力取得部と、
前記入力取得部により前記アノテーション結果が取得されると、前記アノテーション結果に基づく学習により、予測モデルを構築する予測部と、
前記母集団に対して、アノテーションが必要なサンプル数と、正例の件数又は前記予測モデルによる予測精度との関係を統計的に算出する算出部と、
前記算出部により算出された前記サンプル数に応じた数のサンプルをランダムサンプリングし、アノテーションが行われたランダムサンプリング結果と、前記関係とに基づいて、前記母集団における前記正例の件数又は前記予測精度を算出する処理部と、を備え、
前記処理部は、前記処理部による前記正例の件数又は前記予測精度の算出結果に基づいて、前記母集団における新たなアノテーション対象に対する前記予測モデルによる予測結果に対して行うべき修正の件数を表す情報を生成する、情報処理システム。 - 前記予測部における学習の手法または学習に関連するパラメータとして、複数の手法またはパラメータが選択可能であり、
前記予測部における予測結果に応じて前記手法または前記パラメータを選択する選択部を更に備える、請求項1に記載の情報処理システム。 - 一の予測対象の母集団の一部であるアノテーション対象に対するアノテーション結果を取得する入力取得処理と、
前記入力取得処理により前記アノテーション結果が取得されると、前記アノテーション結果に基づく学習により、予測モデルを構築する予測処理と、
前記母集団に対して、アノテーションが必要なサンプル数と、正例の件数又は前記予測モデルによる予測精度との関係を統計的に算出し、算出された前記サンプル数に応じた数のサンプルをランダムサンプリングし、アノテーションが行われたランダムサンプリング結果と、前記関係とに基づいて、前記正例の件数又は前記予測精度を算出する算出処理と、
前記算出処理による前記正例の件数又は前記予測精度の算出結果に基づいて、前記母集団における新たなアノテーション対象に対する前記予測モデルによる予測結果に対して行うべき修正の件数を表す情報を生成する処理と、
をコンピュータに実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022178708A JP2024006879A (ja) | 2022-06-29 | 2022-11-08 | 情報処理システム、情報処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/025951 WO2024004076A1 (ja) | 2022-06-29 | 2022-06-29 | 情報処理システム、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7202757B1 true JP7202757B1 (ja) | 2023-01-12 |
JPWO2024004076A1 JPWO2024004076A1 (ja) | 2024-01-04 |
Family
ID=84887149
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022541632A Active JP7202757B1 (ja) | 2022-06-29 | 2022-06-29 | 情報処理システム、情報処理方法およびプログラム |
JP2022178708A Pending JP2024006879A (ja) | 2022-06-29 | 2022-11-08 | 情報処理システム、情報処理方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022178708A Pending JP2024006879A (ja) | 2022-06-29 | 2022-11-08 | 情報処理システム、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7202757B1 (ja) |
WO (1) | WO2024004076A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116228398A (zh) * | 2023-02-28 | 2023-06-06 | 王宇轩 | 基于可解释提升机ebm的还款违约率预测算法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017183548A1 (ja) * | 2016-04-22 | 2017-10-26 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び、記録媒体 |
US20200380258A1 (en) * | 2019-05-31 | 2020-12-03 | Robert Bosch Gmbh | System and method for integrating machine learning and crowd-sourced data annotation |
JP2021089491A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社日立ソリューションズ・クリエイト | アノテーション装置および方法 |
-
2022
- 2022-06-29 JP JP2022541632A patent/JP7202757B1/ja active Active
- 2022-06-29 WO PCT/JP2022/025951 patent/WO2024004076A1/ja unknown
- 2022-11-08 JP JP2022178708A patent/JP2024006879A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017183548A1 (ja) * | 2016-04-22 | 2017-10-26 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び、記録媒体 |
US20200380258A1 (en) * | 2019-05-31 | 2020-12-03 | Robert Bosch Gmbh | System and method for integrating machine learning and crowd-sourced data annotation |
JP2021089491A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社日立ソリューションズ・クリエイト | アノテーション装置および方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116228398A (zh) * | 2023-02-28 | 2023-06-06 | 王宇轩 | 基于可解释提升机ebm的还款违约率预测算法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024006879A (ja) | 2024-01-17 |
JPWO2024004076A1 (ja) | 2024-01-04 |
WO2024004076A1 (ja) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108509463B (zh) | 一种问题的应答方法及装置 | |
US11551010B2 (en) | Generating replacement sentences for a particular sentiment | |
US20220092416A1 (en) | Neural architecture search through a graph search space | |
WO2020078818A1 (en) | Adapting prediction models | |
CN112016295A (zh) | 症状数据处理方法、装置、计算机设备及存储介质 | |
CN111078847A (zh) | 电力用户意图识别方法、装置、计算机设备和存储介质 | |
CN111538906B (zh) | 基于隐私保护的信息推送方法及装置 | |
CN112328891A (zh) | 训练搜索模型的方法、搜索目标对象的方法及其装置 | |
CN111506719A (zh) | 一种关联问句推荐方法、装置、设备及可读存储介质 | |
CN110377739A (zh) | 文本情感分类方法、可读存储介质和电子设备 | |
JP7202757B1 (ja) | 情報処理システム、情報処理方法およびプログラム | |
CN109063171B (zh) | 基于语义的资源匹配方法 | |
KR20190075277A (ko) | 콘텐트 검색을 위한 방법 및 그 전자 장치 | |
CN113642652A (zh) | 生成融合模型的方法、装置和设备 | |
CN116719520A (zh) | 代码生成方法及装置 | |
JP2008158748A (ja) | 変数選択装置、方法およびプログラム | |
CN113779214B (zh) | 跳转条件的自动生成方法、装置、计算机设备及存储介质 | |
CN111161880A (zh) | 基于分类模型的医疗信息分类方法、装置和计算机设备 | |
CN116541536B (zh) | 知识增强的内容生成系统、数据生成方法、设备和介质 | |
CN113537693A (zh) | 人员风险等级获取方法、终端、存储装置 | |
US11307867B2 (en) | Optimizing the startup speed of a modular system using machine learning | |
CN112508178A (zh) | 神经网络结构搜索方法、装置、电子设备及存储介质 | |
US7998750B2 (en) | Mass spectrometry precursor ion selection | |
CN116069876A (zh) | 基于知识图谱的问答方法、装置、设备及存储介质 | |
West et al. | RFQAmodel: Random Forest Quality Assessment to identify a predicted protein structure in the correct fold |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220707 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220707 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7202757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |