JP7352369B2 - 予測モデル評価システム、予測モデル評価方法 - Google Patents
予測モデル評価システム、予測モデル評価方法 Download PDFInfo
- Publication number
- JP7352369B2 JP7352369B2 JP2019067430A JP2019067430A JP7352369B2 JP 7352369 B2 JP7352369 B2 JP 7352369B2 JP 2019067430 A JP2019067430 A JP 2019067430A JP 2019067430 A JP2019067430 A JP 2019067430A JP 7352369 B2 JP7352369 B2 JP 7352369B2
- Authority
- JP
- Japan
- Prior art keywords
- variable
- model
- prediction
- value
- predictive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
=(1,000+600+700+1,200)÷(1,000+60+80+600+700+50+70+1,200)
=2,500÷3,760≒0.665=66.5%
=(1,000+700)÷(1,000+80+700+70)
=1,700÷1,850≒0.919=91.1%
=(1,000+700)÷(1,000+60+700+50)
=1,700÷1,810≒0.939=93.9%
∴ F値=2÷{(1÷適合率)+(1÷検出率)}
=2÷{(1÷0.919)+(1÷0.939)}=0.929=92.9%
=(600+700)÷(80+600+700+50)=1,300÷1,430≒0.91=91%
NIR=1-IR=1-0.91=0.09=9%
=(60+70)÷(1,000+60+70+1,200)
=130÷2,330≒0.056=5.6%
100 サーバ
200 端末
N ネットワーク
101 送受信部
102 変数設定部
103 学習部
104 モデル評価部
105 表示データ生成部
106 記憶部
200 端末
201 入出力部
202 制御部
203 通信部
Claims (6)
- 評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定する変数設定部と、
前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、
前記検証データを前記予測モデルに入力して予測結果を出力する学習部と、
前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価するモデル評価部と、を備え、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が異なるもののうち、前記予測値と前記目的変数の値が同じ値である割合を意味する改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価システム。 - 評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定する変数設定部と、
前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、
前記検証データを前記予測モデルに入力して予測結果を出力する学習部と、
前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価するモデル評価部と、を備え、
前記モデル評価部は、前記所定の指標として、前記学習データの項目のうち、設定された前記従来予測変数以外の項目がどの程度効果を発揮しなかったかを示す非改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価システム。 - 評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定する変数設定部と、
前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、
前記検証データを前記予測モデルに入力して予測結果を出力する学習部と、
前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価するモデル評価部と、を備え、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が同じもののうち、前記予測値と前記目的変数の値が異なる値である割合を意味する失格率を用いて、前記評価を行う、
ことを特徴とするモデル評価システム。 - 変数設定部が、評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定し、
学習部が、前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを、所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、前記検証データを前記予測モデルに入力して予測結果を出力し、
モデル評価部が、前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価する場合において、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が異なるもののうち、前記予測値と前記目的変数の値が同じ値である割合を意味する改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価方法。 - 変数設定部が、評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定し、
学習部が、前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを、所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、前記検証データを前記予測モデルに入力して予測結果を出力し、
モデル評価部が、前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価する場合において、
前記モデル評価部は、前記所定の指標として、前記学習データの項目のうち、設定された前記従来予測変数以外の項目がどの程度効果を発揮しなかったかを示す非改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価方法。 - 変数設定部が、評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定し、
学習部が、前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを、所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、前記検証データを前記予測モデルに入力して予測結果を出力し、
モデル評価部が、前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価する場合において、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が同じもののうち、前記予測値と前記目的変数の値が異なる値である割合を意味する失格率を用いて、前記評価を行う、
ことを特徴とするモデル評価方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019067430A JP7352369B2 (ja) | 2019-03-29 | 2019-03-29 | 予測モデル評価システム、予測モデル評価方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019067430A JP7352369B2 (ja) | 2019-03-29 | 2019-03-29 | 予測モデル評価システム、予測モデル評価方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020166645A JP2020166645A (ja) | 2020-10-08 |
JP7352369B2 true JP7352369B2 (ja) | 2023-09-28 |
Family
ID=72717540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019067430A Active JP7352369B2 (ja) | 2019-03-29 | 2019-03-29 | 予測モデル評価システム、予測モデル評価方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7352369B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023074183A1 (ja) * | 2021-10-28 | 2023-05-04 | パナソニックIpマネジメント株式会社 | 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005328924A (ja) | 2004-05-18 | 2005-12-02 | Toyama Univ | 血糖値予測装置、血糖値予測モデル作成装置、およびプログラム |
WO2017168458A1 (ja) | 2016-03-28 | 2017-10-05 | 日本電気株式会社 | 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム |
JP2019012555A (ja) | 2017-04-10 | 2019-01-24 | 株式会社クロスコンパス | 人工知能モジュール開発システム及び人工知能モジュール開発統合システム |
JP2020533709A (ja) | 2017-09-15 | 2020-11-19 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | ビデオ分類の方法、情報処理の方法及びサーバー |
-
2019
- 2019-03-29 JP JP2019067430A patent/JP7352369B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005328924A (ja) | 2004-05-18 | 2005-12-02 | Toyama Univ | 血糖値予測装置、血糖値予測モデル作成装置、およびプログラム |
WO2017168458A1 (ja) | 2016-03-28 | 2017-10-05 | 日本電気株式会社 | 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム |
JP2019012555A (ja) | 2017-04-10 | 2019-01-24 | 株式会社クロスコンパス | 人工知能モジュール開発システム及び人工知能モジュール開発統合システム |
JP2020533709A (ja) | 2017-09-15 | 2020-11-19 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | ビデオ分類の方法、情報処理の方法及びサーバー |
Also Published As
Publication number | Publication date |
---|---|
JP2020166645A (ja) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11574011B2 (en) | Merging feature subsets using graphical representation | |
WO2017140222A1 (zh) | 机器学习模型的建模方法及装置 | |
US11651247B2 (en) | Method for verifying lack of bias of deep learning AI systems | |
JP6201792B2 (ja) | 情報処理装置及び情報処理プログラム | |
CN112101572A (zh) | 模型优化方法、装置、设备和介质 | |
JP7352369B2 (ja) | 予測モデル評価システム、予測モデル評価方法 | |
JP2020095398A (ja) | モデルの予測根拠提示システム及びモデルの予測根拠提示方法 | |
JP7207540B2 (ja) | 学習支援装置、学習支援方法、及びプログラム | |
Collaris et al. | Strategyatlas: Strategy analysis for machine learning interpretability | |
JP2021096775A (ja) | 学習方法、学習プログラムおよび情報処理装置 | |
Rosli et al. | The design of a software fault prone application using evolutionary algorithm | |
Riazy et al. | Systematic literature review of fairness in learning analytics and application of insights in a case study | |
CN112184059A (zh) | 评分分析方法、装置、电子设备及存储介质 | |
US11475467B2 (en) | System and method for unsupervised abstraction of sensitive data for realistic modeling | |
Jannach et al. | Adaptive recommendation-based modeling support for data analysis workflows | |
JP2022068690A (ja) | 意思決定支援装置 | |
JP6860602B2 (ja) | 汎用人工知能装置及び汎用人工知能プログラム | |
US11842357B2 (en) | Intelligent agent to simulate customer data | |
JP2020204993A (ja) | データ評価システム、データ評価方法 | |
JP2021174330A (ja) | 異種機械学習のアンサンブル学習による予測装置 | |
JP2020009502A (ja) | 情報処理装置及び情報処理方法 | |
WO2022149372A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113362179B (zh) | 交易数据的预测方法、装置、设备、存储介质及程序产品 | |
Locke | Basics of knowledge engineering | |
WO2024013939A1 (ja) | 機械学習プログラム、機械学習方法、および情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7352369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |