WO2023042874A1 - Information processing method, information processing device, and program - Google Patents

Information processing method, information processing device, and program Download PDF

Info

Publication number
WO2023042874A1
WO2023042874A1 PCT/JP2022/034515 JP2022034515W WO2023042874A1 WO 2023042874 A1 WO2023042874 A1 WO 2023042874A1 JP 2022034515 W JP2022034515 W JP 2022034515W WO 2023042874 A1 WO2023042874 A1 WO 2023042874A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
clusters
model
cluster
Prior art date
Application number
PCT/JP2022/034515
Other languages
French (fr)
Japanese (ja)
Inventor
泰一 坂本
克彦 清水
弘之 石原
俊祐 吉澤
トマ エン
クレモン ジャケ
ステフェン チェン
亮介 佐賀
Original Assignee
テルモ株式会社
株式会社ロッケン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社, 株式会社ロッケン filed Critical テルモ株式会社
Publication of WO2023042874A1 publication Critical patent/WO2023042874A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Provided are an information processing method and the like with which additional learning can be performed appropriately.　This information processing method causes a computer to execute a process for: acquiring a learning data set (69) comprising a plurality of sets of learning data (59) each having input data (511) and correct answer data (512) associated with each other, for use in training a learning model (41); performing clustering of at least a part of the learning data set (69) into a plurality of clusters (55); classifying the learning data (59) included in each of the clusters (55) into a set of training data (56), a set of validation data (57), and a set of test data (58); and training the learning model (41) by using, each as a batch, the set of training data (56), the set of validation data (57), and the set of test data (58) in the plurality of clusters (55).

Description

情報処理方法、情報処理装置およびプログラムInformation processing method, information processing device and program
　本発明は、情報処理方法、情報処理装置およびプログラムに関する。 The present invention relates to an information processing method, an information processing device, and a program.
　教師あり機械学習により生成された学習モデルを使用して、画像診断を支援する画像処理装置が提案されている（特許文献１）。生成済の学習モデルに対して、追加学習用データを用いて追加学習を行なう情報処理方法が提案されている（特許文献２）。 An image processing device that supports image diagnosis using a learning model generated by supervised machine learning has been proposed (Patent Document 1). An information processing method has been proposed in which additional learning is performed on a generated learning model using data for additional learning (Patent Document 2).
特開２０１８－１７５３４３号公報JP 2018-175343 A 特開２０１９－１３３６２６号公報JP 2019-133626 A
　追加学習を行なう際には、追加学習用データを訓練データ、バリデーションデータ、および、テストデータに分け、訓練データとバリデーションデータを用いて学習モデルのパラメータを調整する。その後、テストデータを用いて調整後の学習モデルをテストする。しかしながら、追加学習用データの分け方に偏りがある場合には、追加学習を適切に行なえない。 When performing additional learning, separate the data for additional learning into training data, validation data, and test data, and use the training data and validation data to adjust the parameters of the learning model. After that, test data is used to test the adjusted learning model. However, if there is an imbalance in how the data for additional learning is divided, additional learning cannot be performed appropriately.
　また、最初の学習を行う際にも同様に、学習用データを訓練データ、バリデーションデータ、および、テストデータに分け、訓練データとバリデーションデータを用いて学習モデルのパラメータを調整する。その後、テストデータを用いて調整後の学習モデルをテストする。しかしながら、学習用データの分け方に偏りがある場合には、過学習などにより学習モデルの精度が目標に到達しない恐れがある。 Similarly, when performing the first learning, the learning data is divided into training data, validation data, and test data, and the training data and validation data are used to adjust the parameters of the learning model. After that, test data is used to test the adjusted learning model. However, if there is a bias in how the learning data is divided, there is a risk that the accuracy of the learning model will not reach the target due to over-learning or the like.
　一つの側面では、適切に学習を行なえる情報処理方法等を提供することを目的とする。 In one aspect, the purpose is to provide an information processing method that enables appropriate learning.
　情報処理方法は、学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データからなる学習用データセットを取得し、前記学習用データの少なくとも一部を複数のクラスタにクラスタリングし、それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分け、前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する処理をコンピュータが実行する。 The information processing method acquires a learning data set composed of multiple sets of learning data in which input data and correct data are associated to be used for learning a learning model, and divides at least a part of the learning data into a plurality of clusters. Clustering, dividing the learning data included in each cluster into training data, validation data, and test data, and collecting the training data, validation data, and test data of the plurality of clusters, respectively A computer performs the processing used to train the learning model.
　一つの側面では、適切に学習を行なえる情報処理方法等を提供できる。 In one aspect, it is possible to provide an information processing method that enables appropriate learning.
追加学習方法の概要を説明する説明図である。It is an explanatory view explaining an outline of an additional learning method. 検討モデル生成方法の概要を説明する説明図である。It is an explanatory view explaining an outline of a study model generation method. 情報処理装置の構成を説明する説明図である。It is an explanatory view explaining the composition of an information processor. 追加学習用データセットの構成を説明する説明図である。FIG. 4 is an explanatory diagram for explaining the structure of an additional learning data set; 追加学習用データセットの構成を説明する説明図である。FIG. 4 is an explanatory diagram for explaining the structure of an additional learning data set; 独立性評価指標の算出方法を説明する説明図である。It is an explanatory view explaining a calculation method of an independence evaluation index. プログラムの処理の流れを説明するフローチャートである。4 is a flowchart for explaining the flow of processing of a program; 問題データ抽出のサブルーチンの処理の流れを説明するフローチャートである。FIG. 10 is a flowchart for explaining the flow of processing of a subroutine for problem data extraction; FIG. 評価指標算出のサブルーチンの処理の流れを説明するフローチャートである。FIG. 11 is a flowchart for explaining the flow of processing of a subroutine for evaluation index calculation; FIG. 指標算出のサブルーチンの処理の流れを説明するフローチャートである。FIG. 11 is a flowchart for explaining the flow of processing of a subroutine for index calculation; FIG. 学習モデルを生成する方法の概要を説明する説明図である。FIG. 4 is an explanatory diagram for explaining an outline of a method of generating a learning model; 実施の形態２のプログラムの処理の流れを説明するフローチャートである。10 is a flowchart for explaining the flow of processing of a program according to Embodiment 2; 実施の形態３の情報処理装置の構成を説明する説明図である。FIG. 11 is an explanatory diagram for explaining the configuration of an information processing device according to a third embodiment; 実施の形態４の情報処理装置の機能ブロック図である。FIG. 11 is a functional block diagram of an information processing device according to a fourth embodiment;
［実施の形態１］
　図１は、追加学習方法の概要を説明する説明図である。入力データ５１１と正解データ５１２とを関連づけた多数組の追加学習用データ５１からなる追加学習用データセット６４が用意されている。１組の追加学習用データ５１に含まれる入力データ５１１が学習モデル４１に入力された場合、学習モデル４１から出力データ５３が出力される。なお、追加学習用データ５１は学習用データの例示であり、追加学習用データセット６４は学習用データセットの例示である。 [Embodiment 1]
FIG. 1 is an explanatory diagram for explaining the outline of the additional learning method. An additional learning data set 64 consisting of multiple sets of additional learning data 51 in which input data 511 and correct data 512 are associated is prepared. When the input data 511 included in the set of additional learning data 51 is input to the learning model 41 , the learning model 41 outputs output data 53 . The additional learning data 51 is an example of the learning data, and the additional learning data set 64 is an example of the learning data set.
　学習モデル４１は、たとえば画像データが入力された場合に、画像データに写っている被写体に関するラベルを出力する分類モデルである。学習モデル４１は、画像データが入力された場合に、画像データを構成するそれぞれの画素の被写体に対応するラベルを出力する、セグメンテーションモデルであってもよい。学習モデル４１は、画像データが入力された場合に、画像データに写っている被写体の位置とラベルとを出力する物体検出モデルであってもよい。 The learning model 41 is, for example, a classification model that, when image data is input, outputs labels related to subjects appearing in the image data. The learning model 41 may be a segmentation model that, when image data is input, outputs a label corresponding to the subject of each pixel that constitutes the image data. The learning model 41 may be an object detection model that outputs the position and label of an object appearing in the image data when the image data is input.
　学習モデル４１の入力は、画像データに限定しない。たとえば学習モデル４１は、テキストの入力を受け付けて音声、画像またはラベルを出力するモデルであってもよい。学習モデル４１は、音声を受け付けてテキスト、画像またはラベルを出力するモデルであってもよい。 The input of the learning model 41 is not limited to image data. For example, learning model 41 may be a model that accepts text input and outputs audio, images, or labels. The learning model 41 may be a model that accepts speech and outputs text, images, or labels.
　入力データ５１１に関連づけられた正解データ５１２と、出力データ５３との対比に基づいて、追加学習用データ５１の処理精度を示す評価値が算定される。以下の説明においては、出力データ５３が正解データ５１２に近い場合に高い値になるように、評価値を定義した場合を例にして説明する。なお、評価値の詳細については後述する。 Based on the comparison between the correct data 512 associated with the input data 511 and the output data 53, an evaluation value indicating the processing accuracy of the additional learning data 51 is calculated. In the following description, an example will be described in which the evaluation value is defined such that it becomes a high value when the output data 53 is close to the correct data 512 . Details of the evaluation value will be described later.
　複数組の追加学習用データ５１から、出力データ５３の精度が所定の閾値よりも低い問題データが抽出される。抽出された問題データは、たとえばｋ－ｍｅａｎｓ法またはウォード法等の公知のクラスタリング手法により、複数のクラスタ５５に分けられる。抽出された問題データは、あらかじめ定められた所定のルールに基づいて、自動的に複数のクラスタ５５に分けられてもよい。 Problem data whose accuracy of the output data 53 is lower than a predetermined threshold is extracted from the multiple sets of additional learning data 51 . The extracted problem data is divided into a plurality of clusters 55 by a known clustering technique such as the k-means method or Ward's method. The extracted problem data may be automatically divided into a plurality of clusters 55 based on predetermined rules.
　図１においては、第１クラスタ５５１、第２クラスタ５５２および第３クラスタ５５３の３個のクラスタ５５を模式的に示す。それぞれのクラスタ５５の内部の点は、それぞれ問題データであると判定された追加学習用データ５１を示す。 In FIG. 1, three clusters 55 of a first cluster 551, a second cluster 552 and a third cluster 553 are schematically shown. A point inside each cluster 55 indicates additional learning data 51 determined to be problem data.
　図２は、検討モデル４３生成方法の概要を説明する説明図である。図２においては、ｉ番目のクラスタ５５である第ｉクラスタ５５ｉに対する処理を模式的に示す。第ｉクラスタ５５ｉに含まれる追加学習用データ５１は、第ｉトレーニングデータ５６ｉ、第ｉバリデーションデータ５７ｉおよび第ｉテストデータ５８ｉに分けられる。 FIG. 2 is an explanatory diagram explaining an overview of the method of generating the study model 43. FIG. FIG. 2 schematically shows the processing for the i-th cluster 55i, which is the i-th cluster 55. As shown in FIG. The additional learning data 51 included in the i-th cluster 55i is divided into i-th training data 56i, i-th validation data 57i and i-th test data 58i.
　第ｉトレーニングデータ５６ｉおよび第ｉバリデーションデータ５７ｉを使用して、機械学習により第ｉ検討モデル４３ｉが新たに生成される。以上の処理が、すべてのクラスタ５５に対して実行され、クラスタ５５と同数の検討モデル４３が生成される。 Using the i-th training data 56i and the i-th validation data 57i, the i-th examination model 43i is newly generated by machine learning. The above processing is executed for all the clusters 55, and the same number of study models 43 as the clusters 55 are generated.
　図１に戻って説明を続ける。図１においては、第１クラスタ５５１を使用して第１検討モデル４３１が、第２クラスタ５５２を使用して第２検討モデル４３２が、第３クラスタ５５３を使用して第３検討モデル４３３がそれぞれ生成された例を模式的に示す。 Return to Figure 1 and continue the explanation. In FIG. 1, the first considered model 431 uses the first cluster 551, the second considered model 432 uses the second cluster 552, and the third considered model 433 uses the third cluster 553. A generated example is shown schematically.
　それぞれのクラスタ５５について、検討モデル４３の学習を適切に行なえたか否かを示す学習可能性評価指標と、クラスタ５５同士の独立性を示す独立性評価指標との評価が行われる。学習可能性評価指標および独立性評価指標の詳細については、後述する。 For each cluster 55, a learning possibility evaluation index indicating whether or not the study model 43 was properly learned and an independence evaluation index indicating independence between the clusters 55 are evaluated. Details of the learnability evaluation index and the independence evaluation index will be described later.
　学習可能性評価指標と独立性評価指標との一方または両方が良好な値を示さない場合、クラスタリングの工程に戻って、再度処理が行われる。たとえば生成するクラスタ５５の数、クラスタ５５を作成する際に用いる初期値等の計算条件、クラスタリングに用いる手法、または、クラスタリングに用いるデータ間の類似度の尺度等の条件を変更することにより、同一の問題データ群であっても異なるクラスタ５５を形成できる。 If one or both of the learnability evaluation index and the independence evaluation index do not show good values, the process returns to the clustering step and the process is performed again. For example, the same Different clusters 55 can be formed even with the problem data group of .
　すべての学習可能性評価指標および独立性評価指標が良好な値を示す場合、追加学習用データセット６４に含まれる追加学習用データ５１は、トレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に分配される。 When all the learnability evaluation indices and the independence evaluation indices show good values, the additional learning data 51 included in the additional learning data set 64 are the training data set 61, the validation data set 62 and the test data set 63. distributed to
　トレーニングデータセット６１は、それぞれのクラスタ５５のトレーニングデータ５６と、問題データではないと判定された追加学習用データ５１の一部とを含む。バリデーションデータセット６２は、それぞれのクラスタ５５のバリデーションデータ５７と、問題データではないと判定された追加学習用データ５１の一部とを含む。テストデータセット６３は、それぞれのクラスタ５５のテストデータ５８と、問題データではないと判定された追加学習用データ５１の一部とを含む。 The training data set 61 includes the training data 56 of each cluster 55 and a portion of the additional learning data 51 determined not to be problem data. The validation data set 62 includes the validation data 57 of each cluster 55 and a portion of the additional learning data 51 determined not to be problem data. The test data set 63 includes the test data 58 of each cluster 55 and a portion of the additional learning data 51 determined not to be problem data.
　トレーニングデータセット６１およびバリデーションデータセット６２を使用して、学習モデル４１のパラメータの再調整が行なわれる。テストデータセット６３を使用して、再調整後の学習モデル４１に対するテストが行われる。 The training data set 61 and the validation data set 62 are used to readjust the parameters of the learning model 41. A test data set 63 is used to test the retrained learning model 41 .
　以上に説明した処理により、追加学習用データセット６４に含まれる複数組の追加学習用データ５１をトレーニングデータ、バリデーションデータおよびテストデータに分ける際の偏りを防止して、学習モデル４１の追加学習を適切に行なえる。 By the processing described above, bias is prevented when the multiple sets of additional learning data 51 included in the additional learning data set 64 are divided into training data, validation data, and test data, and additional learning of the learning model 41 is performed. can be done properly.
　図３は、情報処理装置２０の構成を説明する説明図である。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスを備える。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。 FIG. 3 is an explanatory diagram for explaining the configuration of the information processing device 20. As shown in FIG. The information processing device 20 includes a control section 21, a main storage device 22, an auxiliary storage device 23, a communication section 24, a display section 25, an input section 26 and a bus. The control unit 21 is an arithmetic control device that executes the program of this embodiment. One or a plurality of CPUs (Central Processing Units), GPUs (Graphics Processing Units), TPUs (Tensor Processing Units), multi-core CPUs, or the like is used for the control unit 21 . The control unit 21 is connected to each hardware unit forming the information processing apparatus 20 via a bus.
　主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。 The main storage device 22 is a storage device such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, or the like. The main storage device 22 temporarily stores information necessary during the process performed by the control unit 21 and the program being executed by the control unit 21 .
　補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、学習モデル４１、前述の追加学習用データセット６４を記録した追加学習用データＤＢ４５、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。学習モデル４１および追加学習用データＤＢ４５は、情報処理装置２０に接続された外部の大容量記憶装置に保存されていてもよい。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェースである。 The auxiliary storage device 23 is a storage device such as SRAM, flash memory, hard disk, or magnetic tape. The auxiliary storage device 23 stores the learning model 41, the additional learning data DB 45 recording the additional learning data set 64, the program to be executed by the control unit 21, and various data necessary for executing the program. The learning model 41 and the additional learning data DB 45 may be stored in an external large-capacity storage device connected to the information processing device 20 . The communication unit 24 is an interface that performs communication between the information processing device 20 and a network.
　表示部２５は、たとえば液晶表示パネルまたは有機ＥＬ（electro-luminescence）パネル等である。入力部２６は、たとえばキーボードまたはマウス等である。表示部２５と入力部２６とは、積層されてタッチパネルを構成していてもよい。 The display unit 25 is, for example, a liquid crystal display panel or an organic EL (electro-luminescence) panel. Input unit 26 is, for example, a keyboard or a mouse. The display unit 25 and the input unit 26 may be stacked to form a touch panel.
　情報処理装置２０は、汎用のパソコン、タブレット、大型計算機、大型計算機上で動作する仮想マシン、または、量子コンピュータである。情報処理装置２０は、分散処理を行なう複数のパソコン、または大型計算機等のハードウェアにより構成されても良い。情報処理装置２０は、クラウドコンピューティングシステムまたは量子コンピュータにより構成されても良い。 The information processing device 20 is a general-purpose personal computer, a tablet, a large computer, a virtual machine running on a large computer, or a quantum computer. The information processing apparatus 20 may be configured by hardware such as a plurality of personal computers or large computers that perform distributed processing. The information processing device 20 may be configured by a cloud computing system or a quantum computer.
　図４および図５は、追加学習用データセット６４の構成を説明する説明図である。追加学習用データセット６４は、前述の通り複数組の追加学習用データ５１からならデータセットである。図４および図５においては、追加学習用データセット６４の構成を１つの行に１組の追加学習用データ５１を記載した表形式で説明する。左側の列に入力データ５１１を示し、右側の列に正解データ５１２を示す。 4 and 5 are explanatory diagrams explaining the configuration of the additional learning data set 64. FIG. The additional learning data set 64 is a data set made up of multiple sets of additional learning data 51 as described above. 4 and 5, the configuration of the additional learning data set 64 will be described in tabular form in which one set of additional learning data 51 is described in one row. Input data 511 are shown in the left column, and correct data 512 are shown in the right column.
　図４は、画像データの入力を受け付けて、画像データに写っている被写体に関するラベルを出力する学習モデル４１の追加学習に用いられる追加学習用データセット６４の例を示す。たとえば、図４の一番上の行に示す追加学習用データ５１は、入力に用いる画像データである入力データ５１１と、当該入力データ５１１の被写体に対応するラベルが「犬」であることを示す正解データ５１２とを含む。 FIG. 4 shows an example of an additional learning data set 64 used for additional learning of the learning model 41 that receives input of image data and outputs labels related to subjects appearing in the image data. For example, additional learning data 51 shown in the top row of FIG. 4 indicates that input data 511, which is image data used for input, and the label corresponding to the subject of the input data 511 is "dog". Correct answer data 512 are included.
　制御部２１は、入力データ５１１を学習モデル４１または検討モデル４３に入力し、出力データ５３を取得する。出力データ５３が「犬」である場合、正解データ５１２と出力データ５３とが一致しているため、制御部２１は評価値が「１」であると算定する。一方、出力データ５３が「猫」である場合、正解データ５１２と出力データ５３とが一致していないため、制御部２１は評価値が「０」であると算定する。 The control unit 21 inputs the input data 511 to the learning model 41 or the examination model 43 and acquires the output data 53. When the output data 53 is "dog", the correct answer data 512 and the output data 53 match, so the control unit 21 calculates that the evaluation value is "1". On the other hand, when the output data 53 is "cat", the correct answer data 512 and the output data 53 do not match, so the control unit 21 calculates that the evaluation value is "0".
　なお評価値は、「０」と「１」の二値に限定しない。たとえば、「犬」の正解データ５１２に対して、「猫」「馬」または「牛」等の「犬」以外の四つ足の動物を示すラベルが出力された場合には「０．５」、それ以外のラベルが出力された場合には「０」のように、三値以上に定められても良い。問題データを抽出する処理においては、制御部２１は評価値が閾値未満である追加学習用データ５１を抽出する。 Note that the evaluation value is not limited to the binary values of "0" and "1". For example, if a label indicating a four-legged animal other than "dog" such as "cat", "horse" or "cow" is output for the correct answer data 512 of "dog", "0.5" is output. , or "0" if any other label is output. In the process of extracting problem data, the control unit 21 extracts the additional learning data 51 whose evaluation value is less than the threshold.
　図５は、画像データの入力を受け付けて、画像データを構成するそれぞれの画素の被写体に対応するラベルを出力する、いわゆるセグメンテーションモデルである学習モデル４１用の追加学習に用いられる追加学習用データセット６４の例を示す。 FIG. 5 shows an additional learning data set used for additional learning for a learning model 41, which is a so-called segmentation model that receives input of image data and outputs a label corresponding to the subject of each pixel that constitutes the image data. 64 examples are shown.
　たとえば、図５の一番上の行に示す追加学習用データ５１は、入力に用いる画像データである入力データ５１１と、当該入力データ５１１を構成するそれぞれの画素に対応するラベルを示す正解データ５１２とを含む。 For example, the additional learning data 51 shown in the top row of FIG. including.
　制御部２１は、入力データ５１１を学習モデル４１または検討モデル４３に入力し、出力データ５３を取得する。制御部２１は、画素ごとに正解データ５１２と出力データ５３とを対比して、評価値を算定する。評価値には、たとえばPixel Accuracy、ｍＩｏＵ（Mean Intersection over Union）またはＦ値等の、セグメンテーションモデルの精度評価に使用可能な任意の評価値を使用できる。 The control unit 21 inputs the input data 511 to the learning model 41 or the examination model 43 and acquires the output data 53. The control unit 21 compares the correct data 512 and the output data 53 for each pixel to calculate an evaluation value. The evaluation value can be any evaluation value that can be used to evaluate the accuracy of the segmentation model, such as Pixel Accuracy, mIoU (Mean Intersection over Union), or F value.
　制御部２１は、追加学習用データ５１のうち、評価値が閾値よりも低い問題データを抽出する。閾値はたとえばあらかじめ定められた定数である。閾値は、算定した評価値に基づいて定められてもよい。たとえば制御部２１は、評価値が下から１０パーセントである追加学習用データ５１を抽出するように、閾値を定めてもよい。 The control unit 21 extracts problem data whose evaluation value is lower than the threshold from the additional learning data 51 . The threshold is, for example, a predetermined constant. The threshold may be determined based on the calculated evaluation value. For example, the control unit 21 may define a threshold so as to extract the additional learning data 51 with the lowest 10% evaluation value.
　なお、複数組の追加学習用データ５１から問題データを抽出する際に使用する評価値と、学習可能性評価指標および独立性評価指標を算定する際に使用する評価値とは、同一の評価値であっても、異なる評価値であってもよい。 Note that the evaluation value used when extracting question data from multiple sets of additional learning data 51 and the evaluation value used when calculating the learnability evaluation index and the independence evaluation index are the same evaluation value. or different evaluation values.
　学習可能性評価指標の算出方法について説明する。学習可能性評価指標は（１）式により定義される。 Explain how to calculate the learning possibility evaluation index. The learnability evaluation index is defined by equation (1).
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000002
　第ｉクラスタ５５ｉに関する学習可能性評価指標Ｌ（Ｆi）の算出手順の概要を説明する。図２を使用して説明したように、制御部２１は、第ｉクラスタ５５ｉに含まれる追加学習用データ５１を、第ｉトレーニングデータ５６ｉ、第ｉバリデーションデータ５７ｉおよび第ｉテストデータ５８ｉに分ける。制御部２１は、第ｉトレーニングデータ５６ｉおよび第ｉバリデーションデータ５７ｉを用いて第ｉ検討モデル４３ｉを生成する。 An outline of the procedure for calculating the learning possibility evaluation index L(Fi) for the i-th cluster 55i will be explained. As described using FIG. 2, the control unit 21 divides the additional learning data 51 included in the i-th cluster 55i into the i-th training data 56i, the i-th validation data 57i and the i-th test data 58i. The control unit 21 generates the i-th examination model 43i using the i-th training data 56i and the i-th validation data 57i.
　制御部２１は、第ｉ検討モデル４３ｉに、第ｉテストデータ５８ｉに含まれるそれぞれの入力データ５１１を入力して、出力データ５３を取得する。制御部２１は、入力データ５１１に関連づけられた正解データ５１２と、出力データ５３との対比に基づいて、それぞれの追加学習用データ５１に関する評価値を算定する。 The control unit 21 inputs each input data 511 included in the i-th test data 58i to the i-th study model 43i and acquires the output data 53. The control unit 21 calculates an evaluation value for each additional learning data 51 based on a comparison between the correct data 512 associated with the input data 511 and the output data 53 .
　制御部２１は、それぞれの追加学習用データ５１について評価した評価値の代表値を算出する。代表値は、たとえばそれぞれの追加学習用データ５１について評価した精度の相加平均値、相乗平均値、調和平均値、中央値または最頻値等である。制御部２１が算出した代表値が、第ｉクラスタ５５ｉの学習可能性評価指標Ｌ（Ｆi）である。制御部２１は、それぞれのクラスタ５５について、学習可能性評価指標を算出する。 The control unit 21 calculates a representative value of evaluation values evaluated for each additional learning data 51 . The representative value is, for example, an arithmetic mean value, a geometric mean value, a harmonic mean value, a median value, or a mode value of the accuracy evaluated for each additional learning data 51 . The representative value calculated by the control unit 21 is the learning possibility evaluation index L(Fi) of the i-th cluster 55i. The control unit 21 calculates a learning possibility evaluation index for each cluster 55 .
　学習可能性評価指標は、生成した検討モデル４３の精度に関する指標である。学習可能性評価指標が閾値以下である場合、生成された検討モデル４３は適切なモデルではない。学習可能性評価指標が閾値を超える場合、良好な精度の検討モデル４３が生成されている。閾値は、たとえば０．６が適切である。 The learning possibility evaluation index is an index related to the accuracy of the generated study model 43. If the learnability evaluation index is less than or equal to the threshold, the generated study model 43 is not a suitable model. If the learnability metric exceeds the threshold, then a study model 43 of good accuracy has been generated. A suitable threshold value is, for example, 0.6.
　独立性評価指標の算出方法について説明する。独立性評価指標は（２）式により定義される。なお、（１）式と共通する記号については説明を省略する。 Explain how to calculate the independence evaluation index. The independence evaluation index is defined by equation (2). Note that the description of the symbols common to the formula (1) will be omitted.
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000003
　（１）式に示した学習可能性評価指標の定義に基づいて、（２）式は（３）式のように変形できる。 　Formula (2) can be transformed into formula (3) based on the definition of the learning possibility evaluation index shown in formula (1).
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000004
　第ｉクラスタ５５ｉの独立性評価指標Ｉ（Ｆi）の算出手順の概要を説明する。まず、前述の手順で学習可能性評価指標Ｌ（Ｆi）を算出する。制御部２１は、第ｉ検討モデル４３ｉに、第ｊテストデータ５８ｊに含まれるそれぞれの入力データ５１１を入力して、出力データ５３を取得する。制御部２１は、入力データ５１１に関連づけられた正解データ５１２と、出力データ５３との対比に基づいて、それぞれの追加学習用データ５１に関する評価値を算定する。 An outline of the procedure for calculating the independence evaluation index I(Fi) of the i-th cluster 55i will be explained. First, the learning possibility evaluation index L(Fi) is calculated according to the procedure described above. The control unit 21 inputs each input data 511 included in the j-th test data 58j to the i-th examination model 43i to acquire the output data 53. FIG. The control unit 21 calculates an evaluation value for each additional learning data 51 based on a comparison between the correct data 512 associated with the input data 511 and the output data 53 .
　制御部２１は、それぞれの追加学習用データ５１について評価した評価値の代表値を算出する。制御部２１が算出した代表値が、第ｉ検討モデル４３ｉと第ｊテストデータ５８ｊとを組み合わせた場合の評価指標ｍ（ｉ，ｊ）である。なお、学習可能性評価指標を算出する際の代表値と、独立性評価指標を算出する際の代表値とは、同一であることが望ましい。 The control unit 21 calculates a representative value of evaluation values evaluated for each additional learning data 51 . The representative value calculated by the control unit 21 is the evaluation index m(i, j) when the i-th study model 43i and the j-th test data 58j are combined. The representative value for calculating the learnability evaluation index and the representative value for calculating the independence evaluation index are preferably the same.
　図６は、独立性評価指標の算出方法を説明する説明図である。縦方向は（２）式および（３）式の上式のｉを示し、横方向は上式のｊを示す。右端を除くそれぞれのマス目は、評価指標ｍ（ｉ，ｊ）を示す。太枠で囲む対角線上のマス目は、検討モデル４３と、検討モデル４３の生成に用いたクラスタ５５のテストデータ５８とを組み合わせて評価した学習可能性評価指標である。 FIG. 6 is an explanatory diagram explaining the method of calculating the independence evaluation index. The vertical direction indicates i in the above equations (2) and (3), and the horizontal direction indicates j in the above equations. Each square except for the right end indicates an evaluation index m(i, j). The squares on the diagonal surrounded by thick frames are learnability evaluation indexes evaluated by combining the study model 43 and the test data 58 of the cluster 55 used to generate the study model 43 .
　（３）式に戻って説明を続ける。制御部２１は、ｉに等しくないｊのそれぞれについて、学習可能性評価指標Ｌ（Ｆi）と、評価指標ｍ（ｉ，ｊ）との差を算出する。制御部２１は、算出した差の相加平均値を算出する。制御部２１が算出した相加平均値が、図６の右端に示す第ｉクラスタ５５iの独立性評価指標Ｉ（Ｆi）である。 Returning to formula (3), the explanation continues. The control unit 21 calculates the difference between the learning possibility evaluation index L(Fi) and the evaluation index m(i, j) for each j that is not equal to i. The control unit 21 calculates an arithmetic mean value of the calculated differences. The arithmetic mean value calculated by the control unit 21 is the independence evaluation index I(Fi) of the i-th cluster 55i shown on the right end of FIG.
　独立性評価指標は、クラスタ５５間の独立性に関する指標である。独立性評価指標が閾値以下である場合、クラスタリングが適切に行なわれていない。独立性評価指標が閾値を超える場合、クラスタリングが適切に行なわれている。閾値は、たとえば０．６が適切である。なお、学習可能性評価指標に対する閾値と、独立性評価指標に対する閾値とは異なる値であってもよい。 The independence evaluation index is an index regarding the independence between the clusters 55. If the independence evaluation index is less than or equal to the threshold, clustering is not performed properly. If the independence metric exceeds the threshold, the clustering is done properly. A suitable threshold value is, for example, 0.6. Note that the threshold for the learnability evaluation index and the threshold for the independence evaluation index may be different values.
　図７は、プログラムの処理の流れを説明するフローチャートである。図７のプログラムの実行に先立ち、学習モデル４１に対応する構造を有する未学習のモデルが準備されている。制御部２１は、追加学習用データＤＢ４５に十分な数の追加学習用データ５１を含む追加学習用データセット６４が記録されている場合に、図７を使用して説明するプログラムを実行する。 FIG. 7 is a flowchart explaining the flow of program processing. Prior to executing the program of FIG. 7, an untrained model having a structure corresponding to the learned model 41 is prepared. The control unit 21 executes the program described using FIG. 7 when the additional learning data set 64 including a sufficient number of the additional learning data 51 is recorded in the additional learning data DB 45 .
　制御部２１は、問題データ抽出のサブルーチンを起動する（ステップＳ５０１）。問題データ抽出のサブルーチンは、追加学習用データセット６４に含まれる追加学習用データ５１から、問題データを抽出するサブルーチンである。問題データ抽出のサブルーチンの処理の流れは後述する。 The control unit 21 starts a subroutine for question data extraction (step S501). The problem data extraction subroutine is a subroutine for extracting problem data from the additional learning data 51 included in the additional learning data set 64 . The processing flow of the problem data extraction subroutine will be described later.
　制御部２１は、抽出した問題データをクラスタリングする（ステップＳ５０２）。制御部２１は一つのクラスタ５５を選択する（ステップＳ５０３）。制御部２１は、選択したクラスタ５５に含まれる追加学習用データ５１を、トレーニングデータ５６、バリデーションデータ５７およびテストデータ５８に分配する（ステップＳ５０４）。 The control unit 21 clusters the extracted question data (step S502). The control unit 21 selects one cluster 55 (step S503). The control unit 21 distributes the additional learning data 51 included in the selected cluster 55 to the training data 56, the validation data 57 and the test data 58 (step S504).
　制御部２１は、トレーニングデータ５６およびバリデーションデータ５７を使用して機械学習を行ない、検討モデル４３を生成する（ステップＳ５０５）。教師あり機械学習によるモデルの生成処理は従来から行なわれているため、詳細については説明を省略する。制御部２１は、ステップＳ５０３で選択したクラスタ５５と関連づけて、生成した検討モデル４３を主記憶装置２２または補助記憶装置２３に記録する。 The control unit 21 performs machine learning using the training data 56 and the validation data 57 to generate the examination model 43 (step S505). Since model generation processing by supervised machine learning has been conventionally performed, detailed description is omitted. The control unit 21 records the generated study model 43 in the main storage device 22 or the auxiliary storage device 23 in association with the cluster 55 selected in step S503.
　制御部２１は、すべてのクラスタ５５の処理を終了したか否かを判定する（ステップＳ５０６）。終了していないと判定した場合（ステップＳ５０６でＮＯ）、制御部２１はステップＳ５０３に戻る。終了したと判定した場合（ステップＳ５０６でＹＥＳ）、制御部２１は評価指標算出のサブルーチンを起動する（ステップＳ５０７）。評価指標算出のサブルーチンは、各クラスタ５５について生成した検討モデル４３の学習可能性評価指標および独立性評価指標を算出するサブルーチンである。評価指標算出のサブルーチンの処理の流れは後述する。 The control unit 21 determines whether or not the processing of all clusters 55 has been completed (step S506). If it is determined that the processing has not ended (NO in step S506), the control unit 21 returns to step S503. If it is determined that the processing has ended (YES in step S506), the control unit 21 starts a subroutine for evaluation index calculation (step S507). The evaluation index calculation subroutine is a subroutine for calculating the learnability evaluation index and the independence evaluation index of the study model 43 generated for each cluster 55 . The processing flow of the evaluation index calculation subroutine will be described later.
　制御部２１は、検討モデル４３の学習可能性評価指標および独立性評価指標が条件を満たしているか否かを判定する（ステップＳ５０８）。具体的には、それぞれの検討モデル４３についてそれぞれ算出した学習可能性評価指標および独立性評価指標がすべて所定の閾値を超える場合、制御部２１は条件を満たしていると判定する。 The control unit 21 determines whether or not the learning possibility evaluation index and the independence evaluation index of the study model 43 satisfy the conditions (step S508). Specifically, when all of the learnability evaluation index and independence evaluation index calculated for each study model 43 exceed a predetermined threshold value, the control unit 21 determines that the conditions are satisfied.
　満たしていると判定した場合（ステップＳ５０８でＹＥＳ）、制御部２１は追加学習用データセット６４に含まれる追加学習用データ５１を、トレーニングデータセット６１、バリデーションデータセット６２、テストデータセット６３に分配する（ステップＳ５０９）。 If it is determined that the conditions are satisfied (YES in step S508), the control unit 21 distributes the additional learning data 51 included in the additional learning data set 64 to the training data set 61, the validation data set 62, and the test data set 63. (step S509).
　ここでトレーニングデータセット６１は、それぞれのクラスタ５５についてステップＳ５０４で分配したトレーニングデータ５６と、問題データではないと判定された追加学習用データ５１の一部とを含む。バリデーションデータセット６２は、それぞれのクラスタ５５についてステップＳ５０４で分配したバリデーションデータ５７と、問題データではないと判定された追加学習用データ５１の一部とを含む。テストデータセット６３は、それぞれのクラスタ５５についてステップＳ５０４で分配したテストデータ５８と、問題データではないと判定された追加学習用データ５１の一部とを含む。 Here, the training data set 61 includes the training data 56 distributed in step S504 for each cluster 55, and part of the additional learning data 51 determined not to be problem data. The validation data set 62 includes the validation data 57 distributed in step S504 for each cluster 55 and a portion of the additional learning data 51 determined not to be problem data. The test data set 63 includes the test data 58 distributed in step S504 for each cluster 55 and a portion of the additional learning data 51 determined not to be problem data.
　制御部２１は、トレーニングデータセット６１およびバリデーションデータセット６２を使用して、学習モデル４１の追加学習を行ない、テストデータセット６３を使用して追加学習後のテストを行なう（ステップＳ５１０）。教師あり機械学習による生成したモデルの追加学習処理は従来から行なわれているため、詳細については説明を省略する。制御部２１は、追加学習により学習モデル４１の精度が向上したか否かを判定する（ステップＳ５１１）。 The control unit 21 uses the training data set 61 and the validation data set 62 to perform additional learning of the learning model 41, and uses the test data set 63 to test after the additional learning (step S510). Additional learning processing for a model generated by supervised machine learning has been conventionally performed, and therefore detailed description is omitted. The control unit 21 determines whether or not the accuracy of the learning model 41 has been improved by the additional learning (step S511).
　向上したと判定した場合（ステップＳ５１１でＹＥＳ）、制御部２１は追加学習用データＤＢ４５および学習モデル４１を更新する（ステップＳ５１２）。具体的には、制御部２１は追加学習用データＤＢ４５に記録されている追加学習用データセット６４から、追加学習に使用した追加学習用データ５１を削除する。制御部２１は、追加学習用データセット６４に、使用済の追加学習用データ５１を示すフラグを記録してもよい。 If it is determined that there has been an improvement (YES in step S511), the control unit 21 updates the additional learning data DB 45 and the learning model 41 (step S512). Specifically, the control unit 21 deletes the additional learning data 51 used for the additional learning from the additional learning data set 64 recorded in the additional learning data DB 45 . The control unit 21 may record a flag indicating the used additional learning data 51 in the additional learning data set 64 .
　制御部２１は、補助記憶装置２３に記録されている学習モデル４１のパラメータを更新する。なお、制御部２１は追加学習前の学習モデル４１と追加学習後の学習モデル４１の両方を補助記憶装置２３に記録してもよい。その後、制御部２１は処理を終了する。 The control unit 21 updates the parameters of the learning model 41 recorded in the auxiliary storage device 23. Note that the control unit 21 may record both the learning model 41 before additional learning and the learning model 41 after additional learning in the auxiliary storage device 23 . After that, the control unit 21 terminates the process.
　検討モデル４３の学習可能性および独立性が条件を満たしていないと判定した場合（ステップＳ５０８でＮＯ）、または、追加学習により学習モデル４１の精度が向上していないと判定した場合（ステップＳ５１１でＮＯ）、制御部２１は処理を終了するか否かを判定する（ステップＳ５２１）。たとえば、ステップＳ５２１を所定の回数繰り返した場合に、制御部２１は処理を終了すると判定する。 If it is determined that the learnability and independence of the study model 43 do not satisfy the conditions (NO in step S508), or if it is determined that the accuracy of the learning model 41 is not improved by additional learning (step S511 NO), the control unit 21 determines whether or not to end the process (step S521). For example, when step S521 is repeated a predetermined number of times, the control unit 21 determines to end the process.
　処理を終了しないと判定した場合（ステップＳ５２１でＮＯ）、制御部２１はステップＳ５０２に戻る。処理を終了すると判定した場合（ステップＳ５２１でＹＥＳ）、制御部２１は処理を終了する。追加学習用データセット６４から追加学習用データ５１は消去されない。さらに十分な数の追加学習用データ５１が追加学習用データセット６４に加えられた後に、図７を使用して説明したプログラムが再度実行される。 If it is determined not to end the process (NO in step S521), the control unit 21 returns to step S502. When determining to end the process (YES in step S521), the control unit 21 ends the process. The additional learning data 51 is not deleted from the additional learning data set 64 . After a sufficient number of additional learning data 51 is added to the additional learning data set 64, the program described using FIG. 7 is executed again.
　図８は、問題データ抽出のサブルーチンの処理の流れを説明するフローチャートである。問題データ抽出のサブルーチンは、追加学習用データセット６４に記録されている追加学習用データ５１から、問題データを抽出するサブルーチンである。 FIG. 8 is a flowchart explaining the process flow of the problem data extraction subroutine. The problem data extraction subroutine is a subroutine for extracting problem data from the additional learning data 51 recorded in the additional learning data set 64 .
　制御部２１は、追加学習用データセット６４から１組の追加学習用データ５１を取得する（ステップＳ５３１）。制御部２１は、取得した追加学習用データ５１に含まれる入力データ５１１を学習モデル４１に入力して、出力データ５３を取得する（ステップＳ５３２）。 The control unit 21 acquires a set of additional learning data 51 from the additional learning data set 64 (step S531). The control unit 21 inputs the input data 511 included in the acquired additional learning data 51 to the learning model 41 and acquires the output data 53 (step S532).
　制御部２１は、ステップＳ５３１で取得した追加学習用データ５１に含まれる正解データ５１２と、ステップＳ５３２で取得した出力データ５３とに基づいて評価値を算定する（ステップＳ５３３）。制御部２１は、ステップＳ５３１で取得した追加学習用データ５１と算定した評価値とを関連づけて、補助記憶装置２３または主記憶装置２２に記録する（ステップＳ５３４）。 The control unit 21 calculates an evaluation value based on the correct data 512 included in the additional learning data 51 acquired in step S531 and the output data 53 acquired in step S532 (step S533). The control unit 21 associates the additional learning data 51 acquired in step S531 with the calculated evaluation value, and records them in the auxiliary storage device 23 or the main storage device 22 (step S534).
　制御部２１は、追加学習用データセット６４に記録された追加学習用データ５１の処理を終了したか否かを判定する（ステップＳ５３５）。終了していないと判定した場合（ステップＳ５３５でＮＯ）、制御部２１はステップＳ５３１に戻る。 The control unit 21 determines whether or not the processing of the additional learning data 51 recorded in the additional learning data set 64 has ended (step S535). If it is determined that the processing has not ended (NO in step S535), the control unit 21 returns to step S531.
　終了したと判定した場合（ステップＳ５３５でＹＥＳ）、制御部２１はステップＳ５３４で記録した評価値に基づいて、問題データである追加学習用データ５１を抽出する（ステップＳ５３６）。たとえば制御部２１は、評価値が所定の閾値よりも低い追加学習用データ５１を抽出する。なお、制御部２１は記録した評価値に基づいて閾値を算出してもよい。その後、制御部２１は、算出した閾値に基づいて問題データを抽出し、処理を終了する。 If it is determined that the process has ended (YES in step S535), the control unit 21 extracts additional learning data 51, which is problem data, based on the evaluation value recorded in step S534 (step S536). For example, the control unit 21 extracts additional learning data 51 whose evaluation value is lower than a predetermined threshold. Note that the control unit 21 may calculate the threshold value based on the recorded evaluation value. After that, the control unit 21 extracts problem data based on the calculated threshold, and ends the process.
　図９は、評価指標算出のサブルーチンの処理の流れを説明するフローチャートである。評価指標算出のサブルーチンは、各クラスタ５５について生成した検討モデル４３の学習可能性評価指標および独立性評価指標を算出するサブルーチンである。 FIG. 9 is a flow chart explaining the flow of processing of the evaluation index calculation subroutine. The evaluation index calculation subroutine is a subroutine for calculating the learnability evaluation index and the independence evaluation index of the study model 43 generated for each cluster 55 .
　制御部２１は、評価指標を算出する対象であるクラスタ５５を選択する（ステップＳ５４１）。ステップＳ５４１で選択されたクラスタ５５は、（１）式から（３）式におけるｉ番目のクラスタＦiに相当する。ステップＳ５４１で選択されたクラスタ５５は、処理中の検討モデル４３の生成に使用された使用クラスタの例示である。 The control unit 21 selects the cluster 55 for which the evaluation index is to be calculated (step S541). The cluster 55 selected in step S541 corresponds to the i-th cluster Fi in equations (1) to (3). The clusters 55 selected in step S541 are illustrative of the used clusters used to generate the study model 43 being processed.
　制御部２１は、ステップＳ５４１で選択したクラスタ５５に基づいて生成された検討モデル４３を取得する（ステップＳ５４２）。ステップＳ５４２で選択された検討モデル４３は、（１）式から（３）式におけるｉ番目の検討モデルＭiに相当する。 The control unit 21 acquires the study model 43 generated based on the cluster 55 selected in step S541 (step S542). The study model 43 selected in step S542 corresponds to the i-th study model Mi in the equations (1) to (3).
　制御部２１は、ステップＳ５４１で選択したクラスタ５５に含まれるテストデータ５８を取得する（ステップＳ５４３）。ステップＳ５４３で取得されたテストデータ５８は、（１）式から（３）式におけるｉ番目のクラスタ５５から分離したテストデータＦiteに相当する。 The control unit 21 acquires the test data 58 included in the cluster 55 selected in step S541 (step S543). The test data 58 acquired in step S543 corresponds to the test data Fite separated from the i-th cluster 55 in the formulas (1) to (3).
　制御部２１は、ステップＳ５４２で取得した検討モデル４３と、ステップＳ５４３で取得したテストデータ５８とを引数に用いて、指標算出のサブルーチンを起動する（ステップＳ５４４）。指標算出のサブルーチンは、第ｂテストデータ５８ｂを使用して第ａ検討モデル４３ａを評価した評価指標ｍ（ａ，ｂ）を算出するサブルーチンである。ステップＳ５４４においては、ａ＝ｂ＝ｉであり、算出される評価指標ｍ（ｉ，ｉ）は、（１）式を使用して説明したｉ番目のクラスタ５５に関する学習可能性評価指標Ｌ（Ｆi）である。指標算出のサブルーチンの処理の流れは後述する。 The control unit 21 uses the investigation model 43 acquired in step S542 and the test data 58 acquired in step S543 as arguments to start the index calculation subroutine (step S544). The index calculation subroutine is a subroutine for calculating an evaluation index m(a, b) for evaluating the a-th study model 43a using the b-th test data 58b. In step S544, a=b=i, and the calculated evaluation index m(i, i) is the learning possibility evaluation index L(Fi ). The processing flow of the index calculation subroutine will be described later.
　制御部２１は、テストデータ５８のクラスタ５５を選択する（ステップＳ５４５）。ステップＳ５４５で選択されたクラスタ５５は、（２）式から（３）式におけるｊ番目のクラスタＦjに相当する。ステップＳ５４５で選択されたクラスタ５５は、処理中の検討モデル４３の生成に使用されていない未使用クラスタの例示である。 The control unit 21 selects the cluster 55 of the test data 58 (step S545). The cluster 55 selected in step S545 corresponds to the j-th cluster Fj in equations (2) to (3). The clusters 55 selected in step S545 are illustrative of unused clusters that have not been used to generate the study model 43 being processed.
　制御部２１は、ステップＳ５４５で選択したクラスタ５５に含まれるテストデータ５８を取得する（ステップＳ５４６）。ステップＳ５４６で取得されたテストデータ５８は、（２）式から（３）式におけるｊ番目のクラスタ５５から分離したテストデータＦjteに相当する。 The control unit 21 acquires the test data 58 included in the cluster 55 selected in step S545 (step S546). The test data 58 obtained in step S546 corresponds to the test data Fjte separated from the j-th cluster 55 in formulas (2) to (3).
　制御部２１は、ステップＳ５４２で取得した検討モデル４３と、ステップＳ５４６で取得したテストデータ５８とを引数に用いて、指標算出のサブルーチンを起動する（ステップＳ５４７）。指標算出のサブルーチンは、ステップＳ５４４で起動したサブルーチンと同一のサブルーチンである。ステップＳ５４４においては、ａ＝ｉ、ｂ＝ｊであり、（２）式から（３）式における評価指標ｍ（ｉ，ｊ）が算出される。 The control unit 21 uses the study model 43 acquired in step S542 and the test data 58 acquired in step S546 as arguments to start the index calculation subroutine (step S547). The index calculation subroutine is the same subroutine as the subroutine activated in step S544. In step S544, a=i and b=j, and the evaluation index m(i, j) in equations (2) to (3) is calculated.
　制御部２１は、ステップＳ５４１で選択したクラスタ５５を除くすべてのクラスタ５５の処理を終了したか否かを判定する（ステップＳ５４８）。処理を終了していないと判定した場合（ステップＳ５４８でＮＯ）、制御部２１はステップＳ５４５に戻る。 The control unit 21 determines whether or not all clusters 55 other than the cluster 55 selected in step S541 have been processed (step S548). If it is determined that the process has not ended (NO in step S548), the control unit 21 returns to step S545.
　処理を終了したと判定した場合（ステップＳ５４８でＹＥＳ）、制御部２１は、（２）式または（３）式に基づいてｉ番目のクラスタ５５に関する独立性評価指標Ｉ（Ｆｉ）を算出する（ステップＳ５４９）。 If it is determined that the process has ended (YES in step S548), the control unit 21 calculates the independence evaluation index I (Fi) for the i-th cluster 55 based on the formula (2) or (3) ( step S549).
　制御部２１は、すべてのクラスタ５５に関する学習可能性評価指標および独立性評価指標の算出を終了したか否かを判定する（ステップＳ５５０）。終了していないと判定した場合（ステップＳ５５０でＮＯ）、制御部２１はステップＳ５４１に戻る。終了したと判定した場合（ステップＳ５５０でＹＥＳ）、制御部２１は処理を終了する。 The control unit 21 determines whether or not the calculation of the learnability evaluation index and the independence evaluation index for all clusters 55 has been completed (step S550). If it is determined that the process has not ended (NO in step S550), the control unit 21 returns to step S541. If it is determined that the process has ended (YES in step S550), the control unit 21 ends the process.
　図１０は、指標算出のサブルーチンの処理の流れを説明するフローチャートである。指標算出のサブルーチンは、第ｂテストデータ５８ｂを使用して第ａ検討モデル４３ａを評価した評価指標ｍ（ａ，ｂ）を算出するサブルーチンである。 FIG. 10 is a flowchart for explaining the flow of the subroutine for index calculation. The index calculation subroutine is a subroutine for calculating an evaluation index m(a, b) for evaluating the a-th study model 43a using the b-th test data 58b.
　制御部２１は、引数に指定された第ｂテストデータ５８ｂから１組の追加学習用データ５１を取得する（ステップＳ５５１）。制御部２１は、取得した追加学習用データ５１に含まれる入力データ５１１を引数で指定された第ａ検討モデル４３ａに入力して、出力データ５３を取得する（ステップＳ５５２）。 The control unit 21 acquires a set of additional learning data 51 from the b-th test data 58b designated as an argument (step S551). The control unit 21 inputs the input data 511 included in the acquired additional learning data 51 to the a-th study model 43a designated by the argument, and acquires the output data 53 (step S552).
　制御部２１は、ステップＳ５５１で取得した追加学習用データ５１に含まれる正解データ５１２と、ステップＳ５５２で取得した出力データ５３とに基づいて評価値を算定する（ステップＳ５５３）。制御部２１は、ステップＳ５５１で取得した追加学習用データ５１と算定した評価値とを関連づけて、補助記憶装置２３または主記憶装置２２に記録する（ステップＳ５５４）。 The control unit 21 calculates an evaluation value based on the correct data 512 included in the additional learning data 51 acquired in step S551 and the output data 53 acquired in step S552 (step S553). The control unit 21 associates the additional learning data 51 acquired in step S551 with the calculated evaluation value, and records them in the auxiliary storage device 23 or the main storage device 22 (step S554).
　制御部２１は、第ｂテストデータ５８ｂに含まれる追加学習用データ５１の処理を終了したか否かを判定する（ステップＳ５５５）。終了していないと判定した場合（ステップＳ５５５でＮＯ）、制御部２１はステップＳ５５１に戻る。 The control unit 21 determines whether or not the processing of the additional learning data 51 included in the b-th test data 58b has ended (step S555). If it is determined that the process has not ended (NO in step S555), the control unit 21 returns to step S551.
　終了したと判定した場合（ステップＳ５５５でＹＥＳ）、制御部２１はステップＳ５５４で記録した評価値の代表値を算出する（ステップＳ５５６）。ステップＳ５５６で算出した評価値が、評価指標ｍ（ａ，ｂ）である。その後、制御部２１は処理を終了する。 If it is determined that the process has ended (YES in step S555), the control unit 21 calculates a representative value of the evaluation values recorded in step S554 (step S556). The evaluation value calculated in step S556 is the evaluation index m(a,b). After that, the control unit 21 terminates the process.
　本実施の形態によると、追加学習用データセット６４に含まれる追加学習用データ５１をトレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に偏りなく分配できる。したがって、学習モデル４１の追加学習を適切に行なえる。 According to the present embodiment, the additional learning data 51 included in the additional learning data set 64 can be distributed to the training data set 61, validation data set 62 and test data set 63 without bias. Therefore, additional learning of the learning model 41 can be appropriately performed.
　本実施の形態によると、学習可能性評価指標および独立性評価指標の二つの観点から追加学習用データ５１を適切に分配できる。 According to the present embodiment, the additional learning data 51 can be distributed appropriately from the two viewpoints of the learning possibility evaluation index and the independence evaluation index.
　本実施の形態によると、追加学習用データセット６４に含まれる追加学習用データ５１では、適切な追加学習を行なう条件を満たさない場合には追加学習を行なわず、追加学習用データセット６４にさらに追加学習用データ５１が蓄積されるのを待つ。したがって、不適切な追加学習により学習モデル４１の精度が却って低下することを防止できる。 According to the present embodiment, if the additional learning data 51 included in the additional learning data set 64 does not satisfy the conditions for appropriate additional learning, additional learning is not performed. Wait for the additional learning data 51 to be accumulated. Therefore, it is possible to prevent the accuracy of the learning model 41 from deteriorating due to inappropriate additional learning.
［実施の形態２］
　本実施の形態は、新たな学習モデル４１の生成に関する。実施の形態１と共通する部分については、説明を省略する。なお、以下の説明においては実施の形態１と同様に情報処理装置２０を使用して学習モデル４１を生成する場合を例にして説明する。学習モデル４１の生成と、実施の形態１で説明した学習モデル４１の追加学習とは、異なるハードウェアで実行されてもよい。 [Embodiment 2]
This embodiment relates to generation of a new learning model 41 . Descriptions of parts common to the first embodiment are omitted. In the following description, as in the first embodiment, the information processing apparatus 20 is used to generate the learning model 41 as an example. The generation of the learning model 41 and the additional learning of the learning model 41 described in Embodiment 1 may be performed by different hardware.
　図１１は、学習モデル４１を生成する方法の概要を説明する説明図である。入力データ５１１と正解データ５１２とを関連づけた多数組の学習用データ５９からなる学習用データセット６９が用意されている。学習用データセット６９は、補助記憶装置２３または情報処理装置２０に接続された外部の大容量記憶装置に保存されたデータベースに記録されている。 FIG. 11 is an explanatory diagram explaining an overview of the method for generating the learning model 41. FIG. A learning data set 69 is prepared which consists of a large number of sets of learning data 59 in which input data 511 and correct data 512 are associated. The learning data set 69 is recorded in a database stored in the auxiliary storage device 23 or an external large-capacity storage device connected to the information processing device 20 .
　学習用データ５９および学習用データセット６９の構成は、図４および図５を使用して説明した追加学習用データ５１および追加学習用データセット６４と同様であるため、詳細については説明を省略する。 Since the configurations of the learning data 59 and the learning data set 69 are the same as the additional learning data 51 and the additional learning data set 64 described with reference to FIGS. 4 and 5, detailed description thereof will be omitted. .
　学習用データ５９は、たとえばｋ－ｍｅａｎｓ法またはウォード法等の公知のクラスタリング手法により、複数のクラスタ５５に分けられる。図１１においては、第１クラスタ５５１、第２クラスタ５５２および第３クラスタ５５３の３個のクラスタ５５を模式的に示す。それぞれのクラスタ５５の内部の点は学習用データ５９を示す。 The learning data 59 is divided into a plurality of clusters 55 by a known clustering method such as the k-means method or Ward's method. In FIG. 11, three clusters 55 of a first cluster 551, a second cluster 552 and a third cluster 553 are schematically shown. A point inside each cluster 55 indicates learning data 59 .
　それぞれのクラスタ５５に含まれる学習用データ５９が、トレーニングデータ５６、バリデーションデータ５７およびテストデータ５８に分けられた後に、機械学習により検討モデル４３が生成される。以上の処理が、すべてのクラスタ５５に対して実行され、クラスタ５５と同数の検討モデル４３が生成される。 After the learning data 59 included in each cluster 55 is divided into training data 56, validation data 57, and test data 58, a study model 43 is generated by machine learning. The above processing is executed for all the clusters 55, and the same number of study models 43 as the clusters 55 are generated.
　それぞれのクラスタ５５について、検討モデル４３の学習を適切に行なえたか否かを示す学習可能性評価指標と、クラスタ５５同士の独立性を示す独立性評価指標との評価が行われる。学習可能性評価指標の算出方法は、実施の形態１において（１）式を用いて説明した算出方法と同様である。独立性評価指標の算出方法は、実施の形態２において（２）式および（３）式を用いて説明した算出方法と同様である。 For each cluster 55, a learning possibility evaluation index indicating whether or not the study model 43 was properly learned and an independence evaluation index indicating independence between the clusters 55 are evaluated. The calculation method of the learning possibility evaluation index is the same as the calculation method described using the formula (1) in the first embodiment. The calculation method of the independence evaluation index is the same as the calculation method described using the formulas (2) and (3) in the second embodiment.
　学習可能性評価指標と独立性評価指標との一方または両方が良好な値を示さない場合、クラスタリングの工程に戻って、再度処理が行われる。すべての学習可能性評価指標および独立性評価指標が良好な値を示す場合、学習用データセット６９に含まれる学習用データ５９は、トレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に分配される。 If one or both of the learnability evaluation index and the independence evaluation index do not show good values, the process returns to the clustering step and the process is performed again. When all the learnability evaluation indexes and independence evaluation indexes show good values, the learning data 59 included in the learning data set 69 are distributed to the training data set 61, the validation data set 62 and the test data set 63. be done.
　トレーニングデータセット６１は、それぞれのクラスタ５５のトレーニングデータ５６を含む。バリデーションデータセット６２は、それぞれのクラスタ５５のバリデーションデータ５７を含む。テストデータセット６３は、それぞれのクラスタ５５のテストデータ５８を含む。 A training data set 61 includes training data 56 for each cluster 55 . Validation data set 62 includes validation data 57 for each cluster 55 . Test data set 63 includes test data 58 for each cluster 55 .
　トレーニングデータセット６１およびバリデーションデータセット６２を使用して、機械学習により学習モデル４１が生成される。テストデータセット６３を使用して、生成された学習モデル４１に対するテストが行われる。 Using the training data set 61 and the validation data set 62, the learning model 41 is generated by machine learning. A test data set 63 is used to test the generated learning model 41 .
　以上に説明した処理により、学習用データセット６９に含まれる複数組の学習用データ５９をトレーニングデータ、バリデーションデータおよびテストデータ５８に分ける際の偏りを防止して、学習モデル４１の生成を適切に行なえる。 By the processing described above, bias is prevented when the plurality of sets of learning data 59 included in the learning data set 69 are divided into training data, validation data, and test data 58, and the learning model 41 is appropriately generated. can do
　図１２は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。図１２のプログラムの実行に先立ち、学習モデル４１に対応する構造を有する未学習のモデルが準備されている。 FIG. 12 is a flowchart for explaining the processing flow of the program according to the second embodiment. Prior to executing the program of FIG. 12, an unlearned model having a structure corresponding to the learning model 41 is prepared.
　制御部２１は、学習用データセット６９に記録されている学習用データ５９をクラスタリングする（ステップＳ５６１）。制御部２１は一つのクラスタ５５を選択する（ステップＳ５６２）。制御部２１は、選択したクラスタ５５に含まれる学習用データ５９を、トレーニングデータ５６、バリデーションデータ５７およびテストデータ５８に分配する（ステップＳ５６３）。 The control unit 21 clusters the learning data 59 recorded in the learning data set 69 (step S561). The control unit 21 selects one cluster 55 (step S562). The control unit 21 distributes the learning data 59 included in the selected cluster 55 to the training data 56, validation data 57 and test data 58 (step S563).
　制御部２１は、トレーニングデータ５６およびバリデーションデータ５７を使用して機械学習を行ない、検討モデル４３を生成する（ステップＳ５６４）。教師あり機械学習によるモデルの生成処理は従来から行なわれているため、詳細については説明を省略する。制御部２１は、ステップＳ５６２で選択したクラスタ５５と関連づけて、生成した検討モデル４３を主記憶装置２２または補助記憶装置２３に記録する。 The control unit 21 performs machine learning using the training data 56 and the validation data 57 to generate the examination model 43 (step S564). Since model generation processing by supervised machine learning has been conventionally performed, detailed description is omitted. The control unit 21 records the generated study model 43 in the main storage device 22 or the auxiliary storage device 23 in association with the cluster 55 selected in step S562.
　制御部２１は、すべてのクラスタ５５の処理を終了したか否かを判定する（ステップＳ５６５）。終了していないと判定した場合（ステップＳ５６５でＮＯ）、制御部２１はステップＳ５６２に戻る。終了したと判定した場合（ステップＳ５６５でＹＥＳ）、制御部２１は評価指標算出のサブルーチンを起動する（ステップＳ５６６）。評価指標算出のサブルーチンは、図９を使用して説明したサブルーチンと同様のサブルーチンである。 The control unit 21 determines whether or not the processing of all clusters 55 has been completed (step S565). If it is determined that the process has not ended (NO in step S565), the control unit 21 returns to step S562. If it is determined that the processing has ended (YES in step S565), the control unit 21 starts the evaluation index calculation subroutine (step S566). The evaluation index calculation subroutine is a subroutine similar to the subroutine described using FIG.
　制御部２１は、検討モデル４３の学習可能性評価指標および独立性評価指標が条件を満たしているか否かを判定する（ステップＳ５６７）。具体的には、それぞれの検討モデル４３についてそれぞれ算出した学習可能性評価指標および独立性評価指標がすべて所定の閾値を超える場合、制御部２１は条件を満たしていると判定する。 The control unit 21 determines whether the learning possibility evaluation index and the independence evaluation index of the study model 43 satisfy the conditions (step S567). Specifically, when all of the learnability evaluation index and independence evaluation index calculated for each study model 43 exceed a predetermined threshold value, the control unit 21 determines that the conditions are satisfied.
　満たしていると判定した場合（ステップＳ５６７でＹＥＳ）、制御部２１は学習用データセット６９に含まれる学習用データ５９を、トレーニングデータセット６１、バリデーションデータセット６２、テストデータセット６３に分配する（ステップＳ５６８）。 If it is determined that the conditions are satisfied (YES in step S567), the control unit 21 distributes the learning data 59 included in the learning data set 69 to the training data set 61, the validation data set 62, and the test data set 63 ( step S568).
　ここでトレーニングデータセット６１は、それぞれのクラスタ５５についてステップＳ５６３で分配したトレーニングデータ５６により構成される。バリデーションデータセット６２は、それぞれのクラスタ５５についてステップＳ５６３で分配したバリデーションデータ５７により構成される。テストデータセット６３は、それぞれのクラスタ５５についてステップＳ５６３で分配したテストデータ５８により構成される。 Here, the training data set 61 is composed of the training data 56 distributed for each cluster 55 in step S563. The validation data set 62 is composed of the validation data 57 distributed for each cluster 55 in step S563. The test data set 63 is composed of the test data 58 distributed in step S563 for each cluster 55. FIG.
　制御部２１は、トレーニングデータセット６１およびバリデーションデータセット６２を使用して、機械学習を行ない、学習モデル４１を生成する（ステップＳ５６９）。制御部２１は、テストデータセット６３を使用して生成した学習モデル４１のテストを行なう。制御部２１は、テスト結果に基づいて所定の精度を有する学習モデル４１が生成されたか否かを判定する（ステップＳ５７０）。 The control unit 21 uses the training data set 61 and the validation data set 62 to perform machine learning and generate the learning model 41 (step S569). The control unit 21 tests the learning model 41 generated using the test data set 63 . The control unit 21 determines whether or not the learning model 41 having a predetermined accuracy is generated based on the test result (step S570).
　生成されたと判定した場合（ステップＳ５７０でＹＥＳ）、制御部２１は生成した学習モデル４１のパラメータを補助記憶装置２３に記録する（ステップＳ５７１）。その後、制御部２１は処理を終了する。 If it is determined that it has been generated (YES in step S570), the control unit 21 records the parameters of the generated learning model 41 in the auxiliary storage device 23 (step S571). After that, the control unit 21 terminates the process.
　検討モデル４３の学習可能性および独立性が条件を満たしていないと判定した場合（ステップＳ５６７でＮＯ）、または、所定の精度を有する学習モデル４１が生成されていないと判定した場合（ステップＳ５７０でＮＯ）、制御部２１は処理を終了するか否かを判定する（ステップＳ５７２）。たとえば、ステップＳ５７２を所定の回数繰り返した場合に、制御部２１は処理を終了すると判定する。 If it is determined that the learnability and independence of the study model 43 do not satisfy the conditions (NO in step S567), or if it is determined that the learning model 41 having a predetermined accuracy is not generated (step S570 NO), the control unit 21 determines whether or not to end the process (step S572). For example, when step S572 is repeated a predetermined number of times, the control unit 21 determines to end the process.
　処理を終了しないと判定した場合（ステップＳ５７２でＮＯ）、制御部２１はステップＳ５６１に戻る。処理を終了すると判定した場合（ステップＳ５７２でＹＥＳ）、制御部２１は処理を終了する。なお、制御部２１は処理を終了する前に適切な学習モデル４１を生成できなかった旨をユーザに通知してもよい。 If it is determined not to end the process (NO in step S572), the control unit 21 returns to step S561. When determining to end the process (YES in step S572), the control unit 21 ends the process. Note that the control unit 21 may notify the user that the appropriate learning model 41 could not be generated before terminating the process.
　本実施の形態によると、学習用データセット６９に記録された学習用データ５９をトレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に分配する際の偏りを防止できるため、少ない試行回数で適切な学習モデル４１を生成できる。 According to the present embodiment, it is possible to prevent bias when distributing the learning data 59 recorded in the learning data set 69 to the training data set 61, the validation data set 62, and the test data set 63, so that the number of trials can be reduced. A suitable learning model 41 can be generated.
［実施の形態３］
　図１３は、実施の形態３の情報処理装置２０の構成を説明する説明図である。本実施の形態は、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態の情報処理装置２０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。 [Embodiment 3]
FIG. 13 is an explanatory diagram illustrating the configuration of the information processing device 20 according to the third embodiment. The present embodiment relates to a mode of realizing the information processing apparatus 20 of the present embodiment by operating a general-purpose computer 90 and a program 97 in combination. Descriptions of parts common to the first embodiment are omitted.
　コンピュータ９０は、前述の制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスに加えて読取部２９を備える。 The computer 90 includes a reading section 29 in addition to the aforementioned control section 21, main storage device 22, auxiliary storage device 23, communication section 24, display section 25, input section 26 and bus.
　プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。 The program 97 is recorded on a portable recording medium 96. The control unit 21 reads the program 97 via the reading unit 29 and stores it in the auxiliary storage device 23 . Control unit 21 may also read program 97 stored in semiconductor memory 98 such as a flash memory installed in computer 90 . Furthermore, the control unit 21 may download the program 97 from another server computer (not shown) connected via the communication unit 24 and a network (not shown) and store it in the auxiliary storage device 23 .
　プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。以上により、実施の形態１で説明した情報処理装置２０が実現される。 The program 97 is installed as a control program of the computer 90, loaded into the main storage device 22 and executed. As described above, the information processing apparatus 20 described in the first embodiment is realized.
［実施の形態４］
　図１４は、実施の形態４の情報処理装置２０の機能ブロック図である。情報処理装置２０は、取得部８１、クラスタリング部８２、分配部８３および学習部８４を備える。 [Embodiment 4]
FIG. 14 is a functional block diagram of the information processing device 20 according to the fourth embodiment. The information processing device 20 includes an acquisition unit 81 , a clustering unit 82 , a distribution unit 83 and a learning unit 84 .
　取得部８１は、学習モデル４１の学習に用いる、入力データ５１１と正解データ５１２とを関連づけた複数組の学習用データ５９を取得する。クラスタリング部８２は、学習用データ５９を複数のクラスタ５５にクラスタリングする。 The acquisition unit 81 acquires a plurality of sets of learning data 59 associated with the input data 511 and the correct data 512 used for learning the learning model 41 . A clustering unit 82 clusters the learning data 59 into a plurality of clusters 55 .
　分配部８３は、それぞれのクラスタ５５に含まれる学習用データ５９を、トレーニングデータ５６と、バリデーションデータ５７と、テストデータ５８とに分ける。学習部８４は、複数のクラスタ５５のトレーニングデータ５６、バリデーションデータ５７、および、テストデータ５８をそれぞれまとめて学習モデル４１の学習に使用する。 The distribution unit 83 divides the learning data 59 included in each cluster 55 into training data 56 , validation data 57 and test data 58 . The learning unit 84 collectively uses the training data 56 , validation data 57 , and test data 58 of the plurality of clusters 55 for learning of the learning model 41 .
　各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The technical features (constituent elements) described in each embodiment can be combined with each other, and new technical features can be formed by combining them.
The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is not defined by the above-described meaning, but is indicated by the scope of claims, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
　２０　　情報処理装置
　２１　　制御部
　２２　　主記憶装置
　２３　　補助記憶装置
　２４　　通信部
　２５　　表示部
　２６　　入力部
　２９　　読取部
　４１　　学習モデル
　４３　　検討モデル
　４３１　第１検討モデル
　４３２　第２検討モデル
　４３３　第３検討モデル
　４３ａ　第ａ検討モデル
　４３ｉ　第ｉ検討モデル
　４５　　追加学習用データＤＢ
　５１　　追加学習用データ
　５１１　入力データ
　５１２　正解データ
　５３　　出力データ
　５５　　クラスタ
　５５１　第１クラスタ
　５５２　第２クラスタ
　５５３　第３クラスタ
　５５ｉ　第ｉクラスタ
　５６　　トレーニングデータ
　５６ｉ　第ｉトレーニングデータ
　５７　　バリデーションデータ
　５７ｉ　第ｉバリデーションデータ
　５８　　テストデータ
　５８ｂ　第ｂテストデータ
　５８ｉ　第ｉテストデータ
　５８ｊ　第ｊテストデータ
　５９　　学習用データ
　６１　　トレーニングデータセット
　６２　　バリデーションデータセット
　６３　　テストデータセット
　６４　　追加学習用データセット
　６９　　学習用データセット
　８１　　取得部
　８２　　クラスタリング部
　８３　　分配部
　８４　　学習部
　９０　　コンピュータ
　９６　　可搬型記録媒体
　９７　　プログラム
　９８　　半導体メモリ 20 information processing device 21 control unit 22 main storage device 23 auxiliary storage device 24 communication unit 25 display unit 26 input unit 29 reading unit 41 learning model 43 study model 431 first study model 432 second study model 433 third study model 43a a study model 43i i-th study model 45 additional learning data DB
51 additional learning data 511 input data 512 correct data 53 output data 55 cluster 551 first cluster 552 second cluster 553 third cluster 55i i-th cluster 56 training data 56i i-th training data 57 validation data 57i i-th validation data 58 test data 58b b-th test data 58i i-th test data 58j j-th test data 59 learning data 61 training data set 62 validation data set 63 test data set 64 additional learning data set 69 learning data set 81 acquisition unit 82 clustering unit 83 Distribution unit 84 Learning unit 90 Computer 96 Portable recording medium 97 Program 98 Semiconductor memory

Claims (9)

  1. 　学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データからなる学習用データセットを取得し、
    　前記学習用データセットの少なくとも一部を複数のクラスタにクラスタリングし、
    　それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分け、
    　前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する
    　処理をコンピュータが実行する情報処理方法。     Acquiring a learning data set consisting of multiple sets of learning data associated with input data and correct data used for learning a learning model,
    clustering at least a portion of the training data set into a plurality of clusters;
    The learning data included in each cluster is divided into training data, validation data, and test data,
    An information processing method in which a computer executes a process of collectively using the training data, validation data, and test data of the plurality of clusters for learning of the learning model.
  2. 　前記複数のクラスタそれぞれを用いた機械学習により、複数の検討モデルを生成し、
    　生成した前記複数の検討モデルのそれぞれに対して、
    　　前記複数のクラスタのうちで各検討モデルの生成に使用した使用クラスタから分離した前記テストデータを用いて、前記使用クラスタの学習可能性に関する学習可能性評価指標を算出し、
    　　前記複数のクラスタのうちで各検討モデルの生成に使用していない未使用クラスタから分離した前記テストデータを用いて、前記使用クラスタの前記未使用クラスタに対する独立性に関する独立性評価指標を算出し、
    　前記学習可能性評価指標および前記独立性評価指標が所定の条件を満たさない場合、前記クラスタリングをやりなおす
    　請求項１に記載の情報処理方法。     Generate a plurality of study models by machine learning using each of the plurality of clusters,
    For each of the generated multiple consideration models,
    Using the test data separated from the use cluster used to generate each study model among the plurality of clusters, calculating a learnability evaluation index regarding the learnability of the use cluster;
    Using the test data separated from the unused clusters not used to generate each study model among the plurality of clusters, calculating an independence evaluation index regarding the independence of the used clusters from the unused clusters,
    The information processing method according to claim 1, wherein the clustering is repeated when the learnability evaluation index and the independence evaluation index do not satisfy a predetermined condition.
  3. 　前記学習可能性評価指標は（１）式により定義され、前記独立性評価指標は（２）式により定義される
    　請求項２に記載の情報処理方法。
    Figure JPOXMLDOC01-appb-M000001
         The information processing method according to claim 2, wherein the learnability evaluation index is defined by formula (1), and the independence evaluation index is defined by formula (2).
    Figure JPOXMLDOC01-appb-M000001
  4. 　すべての前記学習可能性評価指標および前記独立性評価指標が０．６を超えない場合、前記クラスタリングをやりなおす
    　請求項３に記載の情報処理方法。     4. The information processing method according to claim 3, wherein the clustering is redone if all the learnability evaluation indexes and the independence evaluation indexes do not exceed 0.6.
  5. 　前記学習用データセットは、前記学習モデルの追加学習に用いる追加学習用データセットであり、
    　前記学習モデルに前記入力データを入力して前記学習モデルから出力される出力データと、前記入力データに関連づけられた正解データとに基づいて、前記出力データの精度を評価し、
    　前記クラスタリングは、前記追加学習用データセットのうち、前記出力データの精度が所定の閾値以下である前記複数組の学習用データに対して実施する
    　請求項１から請求項４のいずれか一つに記載の情報処理方法。     The learning data set is an additional learning data set used for additional learning of the learning model,
    inputting the input data to the learning model and evaluating the accuracy of the output data based on output data output from the learning model and correct data associated with the input data;
    5. The clustering according to any one of claims 1 to 4, wherein the clustering is performed on the plurality of sets of learning data in which the accuracy of the output data is equal to or less than a predetermined threshold among the additional learning data sets. Information processing method described.
  6. 　前記出力データの精度が所定の閾値を超える前記複数組の学習用データを一つの前記クラスタに構成する
    　請求項５に記載の情報処理方法。     6. The information processing method according to claim 5, wherein the plurality of sets of learning data whose accuracy of the output data exceeds a predetermined threshold are configured into one cluster.
  7. 　学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データからなる学習用データセットを取得し、
    　前記複数組の学習用データセットを複数のクラスタにクラスタリングし、
    　それぞれの前記クラスタに含まれる前記学習用データセットを、トレーニングデータと、バリデーションデータと、テストデータとに分け、
    　前記複数のクラスタそれぞれの前記トレーニングデータを含むトレーニングデータセットと、前記複数のクラスタそれぞれの前記バリデーションデータを含むバリデーションデータセットと、前記複数のクラスタそれぞれの前記テストデータを含むトレーニングデータセットとを作成する
    　処理をコンピュータが実行する情報処理方法。     Acquiring a learning data set consisting of multiple sets of learning data associated with input data and correct data used for learning a learning model,
    clustering the plurality of sets of training data sets into a plurality of clusters;
    Divide the learning data set included in each cluster into training data, validation data, and test data,
    creating a training data set including the training data for each of the plurality of clusters, a validation data set including the validation data for each of the plurality of clusters, and a training data set including the test data for each of the plurality of clusters An information processing method in which a computer executes processing.
  8. 　学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データを取得する取得部と、
    　前記学習用データを複数のクラスタにクラスタリングするクラスタリング部と、
    　それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分ける分配部と、
    　前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する学習部と
    　を備える情報処理装置。     an acquisition unit that acquires a plurality of sets of learning data in which input data and correct data are associated to be used for learning a learning model;
    a clustering unit that clusters the learning data into a plurality of clusters;
    a distribution unit that divides the learning data included in each cluster into training data, validation data, and test data;
    and a learning unit that collects the training data, validation data, and test data of the plurality of clusters and uses them for learning of the learning model.
  9. 　学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データを取得し、
    　前記学習用データを複数のクラスタにクラスタリングし、
    　それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分け、
    　前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する
    　処理をコンピュータに実行させるプログラム。
          Acquiring a plurality of sets of learning data associated with input data and correct data used for learning a learning model,
    clustering the learning data into a plurality of clusters;
    The learning data included in each cluster is divided into training data, validation data, and test data,
    A program for causing a computer to execute a process of collectively using training data, validation data, and test data of the plurality of clusters for learning of the learning model.
PCT/JP2022/034515 2021-09-17 2022-09-15 Information processing method, information processing device, and program WO2023042874A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021152480 2021-09-17
JP2021-152480 2021-09-17

Publications (1)

Publication Number Publication Date
WO2023042874A1 true WO2023042874A1 (en) 2023-03-23

Family

ID=85602965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034515 WO2023042874A1 (en) 2021-09-17 2022-09-15 Information processing method, information processing device, and program

Country Status (1)

Country Link
WO (1) WO2023042874A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166499A (en) * 2019-03-29 2020-10-08 ファナック株式会社 Inspection device, inspection system and user interface
JP2020205026A (en) * 2019-06-11 2020-12-24 富士電機株式会社 Information processor, information processing system, model learning method
US20210390453A1 (en) * 2020-06-15 2021-12-16 Jaxon, Inc. Reducing covariate drift in machine learning environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166499A (en) * 2019-03-29 2020-10-08 ファナック株式会社 Inspection device, inspection system and user interface
JP2020205026A (en) * 2019-06-11 2020-12-24 富士電機株式会社 Information processor, information processing system, model learning method
US20210390453A1 (en) * 2020-06-15 2021-12-16 Jaxon, Inc. Reducing covariate drift in machine learning environments

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HARMAN GREG: "Covariate Drift & SmartSplit Technology", 27 November 2020 (2020-11-27), XP093047802, Retrieved from the Internet <URL:https://jaxon.ai/covariate-drift-smartsplit-technology/> [retrieved on 20230517] *
SASE, MIKIYA ET AL.: "Query-Based Neural Network Learning using Genetic Algorithm", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, DENSHI JOUHOU TSUUSHIN GAKKAI, JOUHOU SHISUTEMU SOSAIETI, JP, vol. 79-D-II, no. 5, 25 May 1996 (1996-05-25), JP , pages 960 - 968, XP009544518, ISSN: 1880-4535 *

Similar Documents

Publication Publication Date Title
WO2020134478A1 (en) Face recognition method, feature extraction model training method and device thereof
Górriz et al. GMM based SPECT image classification for the diagnosis of Alzheimer’s disease
CN108665462A (en) Highly integrated annotation and segmenting system for medical imaging
CN109993230B (en) TSK fuzzy system modeling method for brain function magnetic resonance image classification
CN109409416A (en) Feature vector dimension reduction method and medical image recognition method, apparatus and storage medium
Segovia et al. Classification of functional brain images using a GMM-based multi-variate approach
US20220156530A1 (en) Systems and methods for interpolative centroid contrastive learning
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
CN110910325B (en) Medical image processing method and device based on artificial butterfly optimization algorithm
US20220383502A1 (en) Systems and methods for eyelid localization
CN114722892A (en) Continuous learning method and device based on machine learning
WO2023042874A1 (en) Information processing method, information processing device, and program
JP7259935B2 (en) Information processing system, information processing method and program
CN113918743A (en) Model training method for image classification under long-tail distribution scene
JP4928193B2 (en) Face image recognition apparatus and face image recognition program
CN111985606A (en) Information processing apparatus, computer-readable storage medium, and information processing method
Alam Kernel Choice for Unsupervised Kernel Methods
Wei et al. Pain expression recognition based on SLPP and MKSVM
CN110517783B (en) Model training method, model training device, heart disease diagnosis apparatus, heart disease diagnosis medium, and heart disease diagnosis program
Çelik et al. Detection and estimation of down syndrome genes by machine learning techniques
Mueller et al. Perturbing batchnorm and only batchnorm benefits sharpness-aware minimization
TW201535320A (en) Aging analyzing method and aging analyzing device
WO2022157872A1 (en) Information processing apparatus, feature quantity selection method, teacher data generation method, estimation model generation method, stress level estimation method, and program
CN117911752A (en) Fetal ultrasonic craniocerebral standard section recognition parallel processing method and system
Yang et al. Recognizing the rooting action of prepartum sow in free-farrowing pen using computer vision

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22870021

Country of ref document: EP

Kind code of ref document: A1