JP6954219B2

JP6954219B2 - Machine learning device

Info

Publication number: JP6954219B2
Application number: JP2018075014A
Authority: JP
Inventors: 将幸山崎
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-04-09
Filing date: 2018-04-09
Publication date: 2021-10-27
Anticipated expiration: 2038-04-09
Also published as: JP2019185359A

Description

本発明は、複数の学習データを用いて機械学習を実行する機械学習装置の技術分野に関する。 The present invention relates to a technical field of a machine learning device that executes machine learning using a plurality of learning data.

この種の装置として、過学習の発生を検出するものが知られている。例えば特許文献１では、学習用入力サンプル及び評価用入力サンプルを夫々入力した際の出力と、対応する出力サンプルの誤差とを比較することにより、多層パーセプトロンにおける過学習の発生を検出するという技術が開示されている。 As a device of this type, a device that detects the occurrence of overfitting is known. For example, in Patent Document 1, there is a technique of detecting the occurrence of overfitting in a multi-layer perceptron by comparing the output when the input sample for learning and the input sample for evaluation are input with the error of the corresponding output sample. It is disclosed.

特開平０６−０７５９３５号公報Japanese Unexamined Patent Publication No. 06-075935

上述した特許文献１に記載された技術では、学習後の出力に基づいているため、過学習の検出精度が低くなってしまうという技術的問題点がある。また、検出できるのは過学習のみであり、学習不全については検出できないという技術的問題点もある。 Since the technique described in Patent Document 1 described above is based on the output after learning, there is a technical problem that the detection accuracy of overfitting is lowered. In addition, there is a technical problem that only overfitting can be detected and learning failure cannot be detected.

本発明は、例えば上記問題点に鑑みてなされたものであり、学習不全や過学習を好適に検出することが可能な機械学習装置を提供することを課題とする。 The present invention has been made in view of the above problems, for example, and an object of the present invention is to provide a machine learning device capable of suitably detecting learning failure and overfitting.

本発明に係る機械学習装置の一態様では、学習データを複数のグループに分割する分割手段と、前記複数のグループ毎に、複数の層を用いた機械学習を実行する学習手段と、前記複数の層の各々における学習ループ回数及び残差を夫々記憶する記憶手段と、前記記憶手段に記憶された前記学習ループ回数及び前記残差を用いて、前記複数の層の各々における前記残差同士の相関係数を算出する算出手段と、前記相関係数に基づいて、前記学習手段における学習度を判定する判定手段とを備える。 In one aspect of the machine learning device according to the present invention, a dividing means for dividing learning data into a plurality of groups, a learning means for executing machine learning using a plurality of layers for each of the plurality of groups, and the plurality of learning means. Using the storage means for storing the number of learning loops and the residuals in each of the layers, and the number of learning loops and the residuals stored in the storage means, the phases of the residuals in each of the plurality of layers. A calculation means for calculating the number of relationships and a determination means for determining the learning degree in the learning means based on the correlation coefficient are provided.

本実施形態に係る機械学習装置の構成を示すブロック図である。It is a block diagram which shows the structure of the machine learning apparatus which concerns on this embodiment. 本実施形態に係る機械学習装置の動作の流れを示すフローチャートである。It is a flowchart which shows the operation flow of the machine learning apparatus which concerns on this embodiment. 中間層における学習パラメータの変動を示すグラフである。It is a graph which shows the fluctuation of the learning parameter in the intermediate layer. 記憶部に記憶される残差の一例を示す表である。It is a table which shows an example of the residual which is stored in the storage part. 学習ループ回数及び残差に基づいて算出される相関係数の一例を示す表である。It is a table which shows an example of the correlation coefficient calculated based on the number of learning loops and a residual. 本実施形態に係る機械学習装置による学習度の判定方法を示す表である。It is a table which shows the determination method of the learning degree by the machine learning apparatus which concerns on this embodiment.

以下、図面を参照して機械学習装置の実施形態について説明する。 Hereinafter, embodiments of the machine learning device will be described with reference to the drawings.

＜装置構成＞
まず、本実施形態に係る機械学習装置の全体構成について、図１を参照して説明する。図１は、本実施形態に係る機械学習装置の構成を示すブロック図である。 <Device configuration>
First, the overall configuration of the machine learning device according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of a machine learning device according to the present embodiment.

図１に示すように、本実施形態に係る機械学習装置１０は、入力される複数の学習データを用いて機械学習を行い、その学習結果を出力する構成となっている。機械学習装置１０は、その機能を実現するための処理ブロック又は物理的な処理回路として、データ分割部１１０、学習部１２０、記憶部１３０、相関係数算出部１４０、及び学習度判定部１５０を備えて構成されている。 As shown in FIG. 1, the machine learning device 10 according to the present embodiment is configured to perform machine learning using a plurality of input learning data and output the learning result. The machine learning device 10 includes a data division unit 110, a learning unit 120, a storage unit 130, a correlation coefficient calculation unit 140, and a learning degree determination unit 150 as processing blocks or physical processing circuits for realizing the function. It is configured to prepare.

データ分割部１１０は、機械学習装置１０に入力される複数の学習データを、複数のグループに分割することが可能に構成されている。なお、複数の学習データを具体的にどのように分割するのかについては特に限定されないが、複数のグループに概ね同じ数の学習データが属するように分割するのが好ましい。データ分割部１１０において分割された複数グループの学習データは、学習部１２０に出力される構成となっている。データ分割部１１０は、後述する付記における「分割手段」の一具体例である。 The data division unit 110 is configured to be able to divide a plurality of learning data input to the machine learning device 10 into a plurality of groups. The specific method of dividing the plurality of learning data is not particularly limited, but it is preferable to divide the plurality of training data so that substantially the same number of training data belong to the plurality of groups. The learning data of the plurality of groups divided by the data dividing unit 110 is output to the learning unit 120. The data division unit 110 is a specific example of the “division means” in the appendix described later.

学習部１２０は、多層構造のニューラルネットワークを利用したディープラーニングによって機械学習を実行することが可能に構成されている。学習部１２０は、データ分割部１１０で分割された複数グループの学習データを用いて、グループごとに機械学習を実行する。学習部１２０からの出力は、機械学習装置１０の学習結果として装置外部に出力される構成となっている。また、学習部１２０における学習時の学習パラメータ（具体的には、各層における学習ループ回数及び残差）は、記憶部１３０に出力される構成となっている。学習部１２０は、後述する付記における「学習手段」の一具体例である。 The learning unit 120 is configured to be able to execute machine learning by deep learning using a neural network having a multi-layer structure. The learning unit 120 executes machine learning for each group using the learning data of a plurality of groups divided by the data dividing unit 110. The output from the learning unit 120 is configured to be output to the outside of the device as a learning result of the machine learning device 10. Further, the learning parameters (specifically, the number of learning loops and the residuals in each layer) at the time of learning in the learning unit 120 are output to the storage unit 130. The learning unit 120 is a specific example of the "learning means" in the appendix described later.

記憶部１３０は、学習部１２０において実行される機械学習の各層における学習ループ回数及び残差を夫々記憶することが可能に構成されている。より具体的には、記憶部１３０は、複数グループの各々に対応する各層について、学習ループ回数及び残差を別々に記憶することが可能とされている。記憶部１３０に記憶された学習ループ回数及び残差については、相関係数算出部１４０によって適宜読み出し可能となっている。記憶部１３０は、後述する付記における「記憶手段」の一具体例である。 The storage unit 130 is configured to be able to store the number of learning loops and the residuals in each layer of machine learning executed by the learning unit 120, respectively. More specifically, the storage unit 130 can store the number of learning loops and the residuals separately for each layer corresponding to each of the plurality of groups. The number of learning loops and the residuals stored in the storage unit 130 can be appropriately read out by the correlation coefficient calculation unit 140. The storage unit 130 is a specific example of the “storage means” in the appendix described later.

相関係数算出部１４０は、記憶部１３０から読み出した学習ループ回数及び残差を用いて、機械学習における各層の残差同士の相関を示す値である相関係数を算出することが可能に構成されている。相関係数算出部１４０による相関係数の具体的な算出方法については、後に詳述する。相関係数算出部１４０で算出された相関関数は、学習度判定部１５０に出力される構成となっている。相関係数算出部１４０は、後述する付記における「算出手段」の一具体例である。 The correlation coefficient calculation unit 140 is configured to be able to calculate a correlation coefficient, which is a value indicating the correlation between the residuals of each layer in machine learning, using the number of learning loops read from the storage unit 130 and the residuals. Has been done. The specific method of calculating the correlation coefficient by the correlation coefficient calculation unit 140 will be described in detail later. The correlation function calculated by the correlation coefficient calculation unit 140 is output to the learning degree determination unit 150. The correlation coefficient calculation unit 140 is a specific example of the “calculation means” in the appendix described later.

学習度判定部１５０は、相関係数算出部１４０で算出された相関関数に基づいて、学習部１２０における学習の進行度合いを示す値である学習度（具体的には、過学習や学習不全を判定するためのパラメータ）を判定することが可能に構成されている。学習度判定部１５０は更に、判定した学習度に応じて、学習部１２０に対する各種措置（例えば、層追加や層削除）を実行可能に構成されている。学習度判定部１５０は、後述する付記における「判定手段」の一具体例である。 The learning degree determination unit 150 determines the learning degree (specifically, overfitting or learning failure) which is a value indicating the degree of learning progress in the learning unit 120 based on the correlation function calculated by the correlation coefficient calculation unit 140. It is configured so that it is possible to judge (parameters for judgment). The learning degree determination unit 150 is further configured to be able to execute various measures (for example, layer addition and layer deletion) for the learning unit 120 according to the determined learning degree. The learning degree determination unit 150 is a specific example of the “determination means” in the appendix described later.

＜動作説明＞
次に、本実施形態に係る機械学習装置１０の動作の流れについて、図２を参照して説明する。図２は、本実施形態に係る機械学習装置の動作の流れを示すフローチャートである。 <Operation explanation>
Next, the operation flow of the machine learning device 10 according to the present embodiment will be described with reference to FIG. FIG. 2 is a flowchart showing an operation flow of the machine learning device according to the present embodiment.

図２に示すように、本実施形態に係る機械学習装置１０の動作時には、まずデータ分割部１１０が、学習データを複数のグループに分割する（ステップＳ１０１）。続いて、学習部１２０が、分割された複数グループの学習データを用いて、グループ毎に機械学習を実行する（ステップＳ１０２）。なお、学習部１２０による学習時には、各層における学習パラメータ（即ち、学習ループ回数及び残差）を記憶部１３０が記憶する。 As shown in FIG. 2, when the machine learning device 10 according to the present embodiment is operating, the data dividing unit 110 first divides the learning data into a plurality of groups (step S101). Subsequently, the learning unit 120 executes machine learning for each group using the divided learning data of the plurality of groups (step S102). At the time of learning by the learning unit 120, the storage unit 130 stores the learning parameters (that is, the number of learning loops and the residuals) in each layer.

ここで、ステップＳ１０２における学習パラメータの記憶について、図３及び図４を参照して具体的に説明する。図３は、中間層における学習パラメータの変動を示すグラフである。図４は、記憶部に記憶される残差の一例を示す表である。 Here, the storage of the learning parameters in step S102 will be specifically described with reference to FIGS. 3 and 4. FIG. 3 is a graph showing fluctuations in learning parameters in the intermediate layer. FIG. 4 is a table showing an example of the residuals stored in the storage unit.

図３に示すように、学習データがグループＡ、グループＢ、及びグループＣの３つに分割されているとする。この時、ある層における学習ループ回数と残差との関係は図のように変動する。記憶部１３０は、このようなグループ毎の学習パラメータの変動の違いを逐次記憶していく。 As shown in FIG. 3, it is assumed that the learning data is divided into three groups, Group A, Group B, and Group C. At this time, the relationship between the number of learning loops and the residual in a certain layer fluctuates as shown in the figure. The storage unit 130 sequentially stores the difference in the fluctuation of the learning parameters for each group.

図４に示すように、学習データのグループをＭｘ（Ｍ１〜Ｍｍａｘ）、学習における各層（レイヤ）をＬｘ（Ｌ１〜Ｌｍａｘ）、学習ループ回数をＩｘ（Ｉ１〜Ｉｍａｘ）とすると、記憶部１３０には、グループＭｘ、レイヤＬｘ、及び学習ループ回数Ｉｘ別に、複数の残差Ｌｏｓｓ（Ｍｘ[Ｌｘ[Ｉｘ]]）が記憶される。例えば、図に示すケースでは、グループＭ１、レイヤＬ１、学習ループ回数Ｉ１の時の残差Ｌｏｓｓの値として“１”が記憶されており、グループＭ１、レイヤＬ２、学習ループ回数Ｉ２の時の残差Ｌｏｓｓの値として“０．４４”が記憶されている。 As shown in FIG. 4, assuming that the group of learning data is Mx (M1 to Mmax), each layer in learning is Lx (L1 to Lmax), and the number of learning loops is Ix (I1 to Imax), the storage unit 130 is stored. Stores a plurality of residual errors (Mx [Lx [Ix]]) for each group Mx, layer Lx, and learning loop number Ix. For example, in the case shown in the figure, "1" is stored as the value of the residual Loss when the group M1, the layer L1, and the number of learning loops I1 are, and the residual when the group M1, the layer L2, and the number of learning loops I2 are. "0.44" is stored as the value of the difference Loss.

図２に戻り、続いて、相関係数算出部１４０が、記憶部１３０に記憶された学習ループ回数Ｉｘ及び残差Ｌｏｓｓを用いて、相関係数Ｒを算出する（ステップＳ１０３）。相関係数Ｒは、例えば対象となる２つの値の共分散を、２つの値の標準偏差の積で除した値として算出することができる。より具体的には、グループＭａとＭｂとの相関関数Ｒ［Ｌｘ］[ａ，ｂ]は、学習ループ回数Ｉｘの任意区間における残差の平均値をＬｏｓｓ（Ｍｘ[Ｌｘ＿ａｖｅｒａｇｅ＿Ｉ]）とすると、下記式（１）を用いて算出できる。

なお、ａ：１〜Ｍｍａｘ、ｂ：２〜Ｍｍａｘ、ａ＜ｂ、Ｌｘ：１〜Ｌｍａｘ、Ｉｘ：Ｉｍｉｎ〜Ｉｍａｘである。 Returning to FIG. 2, the correlation coefficient calculation unit 140 subsequently calculates the correlation coefficient R using the number of learning loops Ix and the residual error stored in the storage unit 130 (step S103). The correlation coefficient R can be calculated, for example, as a value obtained by dividing the covariance of two target values by the product of the standard deviations of the two values. More specifically, the correlation function R [Lx] [a, b] between the groups Ma and Mb is as follows, assuming that the average value of the residuals in an arbitrary interval of the number of learning loops Ix is Loss (Mx [Lx_avage_I]). It can be calculated using the formula (1).

In addition, a: 1 to Mmax, b: 2 to Mmax, a <b, Lx: 1 to Lmax, Ix: Imin to Imax.

ここで、ステップＳ１０３において算出される相関関数Ｒについて、図５を参照して具体的に説明する。図５は、学習ループ回数及び残差に基づいて算出される相関係数の一例を示す表である。 Here, the correlation function R calculated in step S103 will be specifically described with reference to FIG. FIG. 5 is a table showing an example of the correlation coefficient calculated based on the number of learning loops and the residuals.

図５に示すように、相関関数Ｒは、グループＭａとＭｂとの組み合わせに応じて複数算出される。例えば、図に示すケースでは、Ｍ１及びＭ２（即ち、ａ＝１、ｂ＝２）の相関関数Ｒは“０．６”、Ｍ２及びＭ３（即ち、ａ＝２、ｂ＝３）の相関関数Ｒは“０．２”と算出されている。 As shown in FIG. 5, a plurality of correlation functions R are calculated according to the combination of the groups Ma and Mb. For example, in the case shown in the figure, the correlation function R of M1 and M2 (that is, a = 1, b = 2) is "0.6", and the correlation function of M2 and M3 (that is, a = 2, b = 3). R is calculated as "0.2".

再び図２に戻り、続いて、学習度判定部１５０が、相関関数Ｒの標準偏差Ｓｃｏｒｅ＿ｄｉｖ［Ｌｘ］を求めて、その値を閾値Ａ及び閾値Ｂと比較することで学習度を判定する（ステップＳ１０４）。なお、閾値Ａは学習不全（アンダーフィッティング）を判定するための閾値であり、標準偏差Ｓｃｏｒｅ＿ｄｉｖ［Ｌｘ］が閾値Ａより大きい場合、学習度判定部１５０は学習不全が生じていると判定する。一方、閾値Ｂは過学習（オーバーフィッティング）を判定するための閾値であり、標準偏差Ｓｃｏｒｅ＿ｄｉｖ［Ｌｘ］が閾値Ｂより小さい場合、学習度判定部１５０は過学習が生じていると判定する。閾値Ａ及びＢは、例えば事前のシミュレーション等によって最適な値を決定すればよい。 Returning to FIG. 2 again, the learning degree determination unit 150 subsequently obtains the standard deviation Score_div [Lx] of the correlation function R and determines the learning degree by comparing the values with the threshold values A and B (step). S104). The threshold value A is a threshold value for determining learning failure (underfitting), and when the standard deviation Score_div [Lx] is larger than the threshold value A, the learning degree determination unit 150 determines that learning failure has occurred. On the other hand, the threshold value B is a threshold value for determining overfitting, and when the standard deviation Score_div [Lx] is smaller than the threshold value B, the learning degree determination unit 150 determines that overfitting has occurred. Optimal values of the threshold values A and B may be determined, for example, by a preliminary simulation or the like.

ここで、ステップＳ１０４における学習度の判定方法について、図６を参照して具体的に説明する。図６は、本実施形態に係る機械学習装置による学習度の判定方法を示す表である。 Here, the method of determining the learning degree in step S104 will be specifically described with reference to FIG. FIG. 6 is a table showing a method of determining the learning degree by the machine learning device according to the present embodiment.

図６に示すように、閾値Ａが“０．３”、閾値Ｂが“０．２”として設定されているとする。この時、レイヤＬ１の学習度については、Ｓｃｏｒｅ＿ｄｉｖ［Ｌ１］が“０．２１”として算出されているため、ちょうどよい学習度である（即ち、学習不全も過学習も発生していない状態である）と判定される。レイヤＬ２の学習度については、Ｓｃｏｒｅ＿ｄｉｖ［Ｌ１］が“０．２”として算出されているため、同じくちょうどよい学習度であると判定される。レイヤＬ３の学習度については、Ｓｃｏｒｅ＿ｄｉｖ［Ｌ３］が“０．４”として算出されているため、学習不全が発生していると判定される。レイヤＬｍａｘの学習度については、Ｓｃｏｒｅ＿ｄｉｖ［Ｌｍａｘ］が“０．１”として算出されているため、過学習が発生していると判定される。 As shown in FIG. 6, it is assumed that the threshold value A is set as “0.3” and the threshold value B is set as “0.2”. At this time, the learning degree of the layer L1 is calculated as “0.21” for Score_div [L1], so that the learning degree is just right (that is, neither learning failure nor overfitting has occurred). ) Is determined. As for the learning degree of the layer L2, since Score_div [L1] is calculated as “0.2”, it is also determined that the learning degree is just right. Regarding the learning degree of layer L3, since Score_div [L3] is calculated as “0.4”, it is determined that learning failure has occurred. Regarding the learning degree of the layer Lmax, since Score_div [Lmax] is calculated as “0.1”, it is determined that overfitting has occurred.

再び図２に戻り、学習度判定部１５０は、学習不全及び過学習を解消するために、判定した学習度に応じた処理を実行する（ステップＳ１０５）。具体的には、学習不全が生じている（即ち、標準偏差Ｓｃｏｒｅ＿ｄｉｖ［Ｌｘ］が閾値Ａより大きい）と判定した場合、学習度判定部１５０は、該当するレイヤＬｘを削除する処理を実行する。これにより、以降の学習では、学習不全が解消される方向に進む。一方で、過学習が生じている（即ち、標準偏差Ｓｃｏｒｅ＿ｄｉｖ［Ｌｘ］が閾値Ｂより小さい）と判定した場合、学習度判定部１５０は、該当するレイヤＬｘの前後に新規レイヤを追加する処理を実行する。これにより、以降の学習では、過学習が解消される方向に進む。なお、学習度がちょうどよいと判定された場合には、ステップＳ１０５の処理は省略されてよい。 Returning to FIG. 2 again, the learning degree determination unit 150 executes a process according to the determined learning degree in order to eliminate the learning failure and overfitting (step S105). Specifically, when it is determined that learning failure has occurred (that is, the standard deviation Score_div [Lx] is larger than the threshold value A), the learning degree determination unit 150 executes a process of deleting the corresponding layer Lx. As a result, in the subsequent learning, the learning deficiency is resolved. On the other hand, when it is determined that overfitting has occurred (that is, the standard deviation Score_div [Lx] is smaller than the threshold value B), the learning degree determination unit 150 performs a process of adding a new layer before and after the corresponding layer Lx. Run. As a result, in the subsequent learning, overfitting is eliminated. If it is determined that the learning level is just right, the process of step S105 may be omitted.

＜技術的効果＞
次に、本実施形態に係る機械学習装置１０によって得られる技術的効果について説明する。 <Technical effect>
Next, the technical effect obtained by the machine learning device 10 according to the present embodiment will be described.

図１から図６を参照して説明したように、本実施形態に係る機械学習装置１０によれば、機械学習の各層における学習ループ回数Ｉｘ及び残差Ｌｏｓｓを用いて算出される相関係数Ｒに基づいて、学習度が適切なものであるのか、それとも学習不全又は過学習が生じているのかを好適に判定することができる。このように、機械学習装置１０は、複数のグループ間で学習パラメータの類似度を解析することで、学習不全及び過学習の発生を容易かつ的確に検出している。よって、学習度の判定結果に応じた処理を実行すれば、学習不全及び過学習を解消することができ、その結果として、より適切な学習結果を得ることが可能となる。既存の学習作業では、学習度を適切に判定することが難しい故に、属人性（作業熟練度）が必要とされてきたが、本実施形態に係る機械学習装置１０を用いれば、属人性の必要性をなくし、好適に学習作業を進めることができる。 As described with reference to FIGS. 1 to 6, according to the machine learning device 10 according to the present embodiment, the correlation coefficient R calculated using the number of learning loops Ix and the residual Loss in each layer of machine learning. Based on the above, it can be suitably determined whether the degree of learning is appropriate, or whether learning failure or overfitting has occurred. As described above, the machine learning device 10 easily and accurately detects the occurrence of learning failure and overfitting by analyzing the similarity of learning parameters among a plurality of groups. Therefore, if the process according to the determination result of the learning degree is executed, the learning failure and the overfitting can be resolved, and as a result, a more appropriate learning result can be obtained. In the existing learning work, since it is difficult to appropriately determine the learning degree, personality (work skill level) has been required, but if the machine learning device 10 according to the present embodiment is used, the personality is required. It is possible to eliminate the sex and proceed with the learning work favorably.

＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。 <Additional notes>
Various aspects of the invention derived from the embodiments described above will be described below.

（付記１）
付記１に記載の機械学習装置は、学習データを複数のグループに分割する分割手段と、前記複数のグループ毎に、複数の層を用いた機械学習を実行する学習手段と、前記複数の層の各々における学習ループ回数及び残差を夫々記憶する記憶手段と、前記記憶手段に記憶された前記学習ループ回数及び前記残差を用いて、前記複数の層の各々における前記残差同士の相関係数を算出する算出手段と、前記相関係数に基づいて、前記学習手段における学習度を判定する判定手段とを備える。 (Appendix 1)
The machine learning device according to Appendix 1 includes a dividing means for dividing learning data into a plurality of groups, a learning means for executing machine learning using a plurality of layers for each of the plurality of groups, and the plurality of layers. Correlation coefficient between the residuals in each of the plurality of layers using the storage means for storing the number of learning loops and the residual in each, and the number of learning loops and the residual stored in the storage means. A calculation means for calculating the above, and a determination means for determining the learning degree in the learning means based on the correlation coefficient are provided.

付記１に記載の機械学習装置によれば、学習ループ回数及び残差を用いて算出される相関係数（具体的には、学習における複数の層の各々の残差同士の相関係数）に基づいて、学習度（言い換えれば、学習が適切に進んでいるかを示す度合い）が判定される。本願発明者の研究するところによれば、上記のようにして算出された相関係数を利用すれば、例えば学習結果を利用する場合と比較して、より高い精度で学習度を判定できることが判明している。よって、学習不全や過学習を精度よく検出することが可能である。 According to the machine learning device described in Appendix 1, the correlation coefficient calculated by using the number of learning loops and the residual (specifically, the correlation coefficient between the residuals of each of the plurality of layers in learning) Based on this, the degree of learning (in other words, the degree indicating whether learning is proceeding properly) is determined. According to the research of the inventor of the present application, it has been found that the learning degree can be determined with higher accuracy by using the correlation coefficient calculated as described above, as compared with the case of using the learning result, for example. doing. Therefore, it is possible to accurately detect learning failure and overfitting.

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う機械学習装置もまた本発明の技術的範囲に含まれるものである。 The present invention is not limited to the above-described embodiment, and can be appropriately modified within the scope of claims and within a range not contrary to the gist or idea of the invention that can be read from the entire specification. It is also included in the technical scope of the present invention.

１０機械学習装置
１１０データ分割部
１２０学習部
１３０記憶部
１４０相関係数算出部
１５０学習度判定部 10 Machine learning device 110 Data division unit 120 Learning unit 130 Storage unit 140 Correlation coefficient calculation unit 150 Learning degree determination unit

Claims

A division means for dividing the training data into multiple groups,
A learning means for executing machine learning using a plurality of layers for each of the plurality of groups,
A storage means for storing the number of learning loops and the residuals in each of the plurality of layers, respectively.
Using the number of learning loops and the residuals stored in the storage means, a calculation means for calculating the correlation coefficient between the residuals in each of the plurality of layers, and a calculation means.
A machine learning device including a determination means for determining a learning degree in the learning means based on the correlation coefficient.