WO2023243415A1 - 機械学習システム及び機械学習方法 - Google Patents

機械学習システム及び機械学習方法 Download PDF

Info

Publication number
WO2023243415A1
WO2023243415A1 PCT/JP2023/020456 JP2023020456W WO2023243415A1 WO 2023243415 A1 WO2023243415 A1 WO 2023243415A1 JP 2023020456 W JP2023020456 W JP 2023020456W WO 2023243415 A1 WO2023243415 A1 WO 2023243415A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
model
unit
data
characteristic group
Prior art date
Application number
PCT/JP2023/020456
Other languages
English (en)
French (fr)
Inventor
豪一 小野
鳴 劉
浩朗 伊藤
雅士 高田
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2023243415A1 publication Critical patent/WO2023243415A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention was made in view of this situation, and aims to provide a machine learning system and a machine learning method that can acquire new knowledge while suppressing the forgetting of old knowledge.
  • the machine learning system of the present invention for solving the above problems includes a learning data dividing unit that distributes learning data into a first characteristic group and a second characteristic group, and a learning data division unit that divides learning data into a first characteristic group and a second characteristic group, and a first characteristic group using learning data of the first characteristic group.
  • a first learning process section that learns with a model of and a learning process combining unit that performs learning by combining learning of the learning process unit.
  • the machine learning method of the present invention for solving the above problems distributes learning data into a first characteristic group and a second characteristic group, and then uses the learning data of the first characteristic group to In addition to learning with a model, learning is performed with a second model using learning data of a second characteristic group, and then learning is performed by combining learning with the first model and learning with the second model. .
  • a model that can recognize the environment around the vehicle during the daytime is introduced from the outside as a pre-additional learning model (teacher model), by performing additional learning, the environment around the vehicle can be recognized both during the day and at night.
  • a model with higher accuracy than possible is created as a model after additional learning (student model).
  • additional learning is performed by dividing learning data and learning means into those for old knowledge and those for new knowledge.
  • learning data and learning means there is possible to acquire new knowledge while suppressing the forgetting of old knowledge, so it is possible to improve the accuracy of the model after additional learning (student model).
  • lead model when creating a model after additional learning (student model), there is no need to create a model from scratch, and the knowledge acquired by the old model (old knowledge) can be effectively used, reducing model development costs. be able to.
  • Example 1 is a basic configuration example of a machine learning system according to this embodiment.
  • FIG. 1 is a functional block diagram showing a configuration example of a machine learning system according to a first embodiment of the present invention.
  • the learning data dividing unit 11 divides the learning data, which is image data including daytime images and nighttime images, into a first characteristic group with daytime images and a second characteristic group with nighttime images. Regarding this grouping, for example, the learning data division unit 11 performs inference using an additional pre-learning model (teacher model) given from the outside, and performs the grouping based on the size of the confidence value obtained as the inference result. Can be done.
  • the learning data division unit 11 performs inference using an additional pre-learning model (teacher model) given from the outside, and performs the grouping based on the size of the confidence value obtained as the inference result. Can be done.
  • the learning data storage section 12 has a first storage section 121 and a second storage section 122.
  • the first storage unit 121 stores the image data of daytime images grouped as the first characteristic group by the learning data division unit 11 as learning data without correct answer values.
  • the second storage unit 122 stores the image data of the night images grouped as the second characteristic group by the learning data division unit 11 as learning data with correct answer values.
  • the learning section 13 includes a first learning process section 131, a second learning process section 132, and a learning process coupling section 133.
  • the first learning process section 131 uses the learning data of the first characteristic group, that is, the image data of the daytime image, which is divided into groups by the learning data dividing section 11 and stored in the first storage section 121. Learning is performed using the old model (teacher model) as the first model. As the learning of the first learning process section 131, distillation learning can be exemplified.
  • distillation learning is learning the learning results of the teacher model, that is, the learning data does not have a correct value
  • the learning data is a combination of two models, the teacher model (old model) and the image data of the daytime image. This is learning that eliminates differences.
  • the second learning process unit 132 uses the learning data of the second characteristic group, that is, the image data of the night image, which is divided into groups by the learning data dividing unit 11 and stored in the second storage unit 122. Learn with a new model (student model) as the second model. As the learning of the second learning process unit 132, normal learning can be exemplified.
  • the learning process combining unit 133 performs learning by combining the learning of the first learning process unit 131 (distilled learning) and the learning of the second learning process unit 132 (normal learning or distilled learning). Then, an additional learning model (student model) is created as a learning result of the learning process coupling unit 133.
  • the learning data and learning means are divided into two types: one for old knowledge (for example, daytime images and distilled learning) and one for new knowledge (for example, nighttime images and normal learning). Additional learning will be conducted separately. As a result, it is possible to acquire new knowledge (for example, knowledge of night images) while suppressing the forgetting of old knowledge (for example, knowledge of daytime images), so the new model (student model) that is the model after additional learning It is possible to improve the accuracy of
  • the machine learning system 10 includes a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard It can be configured by a computer equipped with a storage unit such as a drive.
  • a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard It can be configured by a computer equipped with a storage unit such as a drive.
  • a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard It can be configured by a computer equipped with a storage unit such as a drive.
  • Each function of the machine learning system 10 is realized by the processor executing a program stored in the ROM in advance. Regarding these points, the same applies to each embodiment described later.
  • FIG. 3 schematically shows the flow of machine learning processing in the machine learning system 10 according to the first embodiment.
  • a processor of the computer (hereinafter simply referred to as a "processor") first executes the function of the learning data dividing section 11. Specifically, the processor performs inference on the training data prepared in advance using an additional pre-learning model (teacher model) given from the outside, and calculates the confidence value X of the training data using the additional pre-learning model. Calculate (step S11).
  • the processor sorts the learning data into two characteristic groups with relatively large and small confidence values X based on the calculated confidence value X (step S12). Specifically, the processor compares the confidence value X with a predetermined first threshold TH1 and a second threshold TH2 smaller than the first threshold TH1 (TH1>TH2). The learning data is grouped into a first characteristic group and a second characteristic group.
  • the daytime image learning data is sorted as distilled learning data (first characteristic group).
  • the distilled learning data are old model characteristics without correct values.
  • the confidence value X is less than or equal to the first threshold TH1 and greater than the second threshold TH2 (TH1 ⁇ characteristics group). Normal learning data are new model characteristics with correct values.
  • the processor executes the function of the learning section 13. Specifically, the processor performs inference using the learning data of the old model (daytime image) and the learning data of the new model (nighttime image) (step S13), and then uses the old model characteristic (with no correct answer value) to perform inference (step S13). Distillation learning is performed using the old model (teacher model) and the new model (student model) using the learning data of the daytime image (step S14).
  • the processor performs normal learning (correct value learning) on the new model (student model) using the learning data of the new model characteristics with correct values (step S15), and then the new model achieves the desired accuracy. It is determined whether or not it has been reached (step S16).
  • the processor determines that the new model has reached the desired accuracy (YES in S16), it ends the series of machine learning processes described above. If the processor determines that the new model has not reached the desired accuracy (NO in S16), the process returns to step S13 and repeats the subsequent processes until the new model reaches the desired accuracy.
  • new knowledge for example, night images
  • old knowledge for example, daytime images
  • Embodiment 2 is a modification of Embodiment 1, and is an example in which learning is not necessary for information included in learning data that is unnecessary for creating a new model.
  • FIG. 4 is a functional block diagram showing a configuration example of a machine learning system according to Example 2 of the present invention.
  • the machine learning system 10 As shown in FIG. 4, the machine learning system 10 according to the second embodiment has a system configuration including a learning data division section 11A, a learning data storage section 12A, and a learning section 13 as functional sections.
  • the learning data dividing unit 11A divides the learning data prepared in advance into a plurality of characteristic groups, for example, three characteristic groups: a first characteristic group, a second characteristic group, and a third characteristic group. Sort into characteristic groups.
  • FIG. 6 schematically shows the flow of machine learning processing in the machine learning system 10 according to the second embodiment.
  • the processor first executes the function of the learning data dividing section 11. Specifically, the processor performs inference on the training data prepared in advance using an additional pre-learning model (teacher model) given from the outside, and calculates the confidence value X of the training data using the additional pre-learning model. Calculate (step S21).
  • the confidence value Since information that does not belong to either daytime image learning data or nighttime image learning data is information that is unnecessary for creating a new model, the information that has been assigned to the third characteristic group is stored in the learning unit 13. learning is treated as unnecessary information.
  • the processor determines that the new model has reached the desired accuracy (YES in S26), it ends the series of machine learning processes described above. If the processor determines that the new model has not reached the desired accuracy (NO in S26), the process returns to step S23 and repeats the subsequent processes until the new model reaches the desired accuracy.
  • Embodiment 3 is a modification of Embodiment 1, and is an example in which forgetting of the old model (teacher model) is detected and control is performed to suppress the forgetting.
  • FIG. 7 is a functional block diagram showing a configuration example of a machine learning system according to Example 3 of the present invention.
  • the machine learning system 10 As shown in FIG. 7, the machine learning system 10 according to the third embodiment has a system configuration including a learning data division section 11, a learning data storage section 12, and a learning section 13A as functional sections.
  • the configurations of the learning data division unit 11 and the learning data storage unit 12 are the same, and the configuration of the learning unit 13A is different.
  • the learning section 13A includes a first learning process section 131, a second learning process section 132, a learning process combining section 133, and a learning process ratio control section 134.
  • a control is performed to add a new model (night image) while suppressing forgetting of the old model (day image).
  • This makes it possible to maintain a balance between the old model (daytime images) and the new model (nighttime images), thereby further improving the accuracy of the new model (student model) that is the model after additional training. .
  • the processor first executes the function of the learning data dividing section 11. Specifically, the processor performs inference on the training data prepared in advance using an additional pre-learning model (teacher model) given from the outside, and calculates the confidence value X of the training data using the additional pre-learning model. Calculate (step S31).
  • the processor sorts the learning data into two characteristic groups with relatively large and small confidence values X based on the calculated confidence value X (step S32). Specifically, the processor compares the confidence value X with a predetermined first threshold TH1 and a second threshold TH2 smaller than the first threshold TH1 (TH1>TH2). The learning data is grouped into a first characteristic group and a second characteristic group.
  • the daytime image learning data is sorted as distilled learning data (first characteristic group).
  • the distilled learning data are old model characteristics without correct values.
  • the confidence value X is less than or equal to the first threshold TH1 and greater than the second threshold TH2 (TH1 ⁇ characteristics group). Normal learning data are new model characteristics with correct values.
  • the processor detects the difference between the inference result of the old model and the inference result of the new model regarding the old model (daytime image) as information indicating the degree of forgetting of the old model (daytime image), and performs both inferences.
  • the learning rate of distilled learning is determined by comparing the resulting difference with a predetermined threshold (step S34).
  • the processor performs distillation between the old model (teacher model) and the new model (student model) using the learning data of the old model characteristics (daytime image) without correct answer values and the learning rate determined in step S34. Learning is performed (step S35).
  • the processor performs normal learning (correct value learning) on the new model (student model) using the learning data of the new model characteristics with correct values (step S36), and then the new model achieves the desired accuracy. It is determined whether the limit has been reached (step S37).
  • the series of machine learning processes in the machine learning system 10 according to the third embodiment makes it possible to maintain the balance between the old model (daytime image) and the new model (nighttime image). It is possible to further improve the accuracy of the new model (student model) that is the subsequent model.
  • a sensor 101 such as a camera supplies image data obtained by imaging the surroundings of the vehicle 100 to the learning data division section 11 as learning data, and also to the model recognition section 103.
  • the learning data dividing unit 11 takes in the image data supplied from the sensor 101 as learning data, and divides the learning data into a first characteristic group (for example, daytime image learning data) and a second characteristic group (for example, daytime image learning data). For example, the learning data of night images) are divided into two characteristic groups.
  • a first characteristic group for example, daytime image learning data
  • a second characteristic group for example, daytime image learning data
  • the communication unit 102 transmits the learning data of the first characteristic group stored in the first storage unit 121 and the learning data of the second characteristic group stored in the second storage unit 122 to a network such as the Internet. 300 to the communication unit 201 of the cloud 200.
  • the communication unit 201 receives the learning data of the first characteristic group and the learning data of the second characteristic group transmitted from the communication unit 102 of the automobile 100 side, and supplies them to the learning unit 13. .
  • the learning unit 13 performs distillation learning with the old model (teacher model) using the learning data of the first characteristic group, and performs normal learning with the new model (student model) using the learning data of the second characteristic group. Learning (or distilled learning). Then, the learning unit 13 performs learning by combining the learning of the first learning process unit 131 (distilled learning) and the learning of the second learning process unit 132 (normal learning or distilled learning), and the learning result is , create an additional learning model (student model).
  • the communication unit 201 transmits the additional learning model (student model) created by the learning unit 13 to the communication unit 102 on the vehicle 100 side through a network 300 such as the Internet.
  • a network 300 such as the Internet.
  • the communication unit 102 receives the additional learning model (student model) transmitted from the communication unit 201 on the cloud 200 side, and supplies it to the model recognition unit 103.
  • the model recognition unit 103 performs inference on the additionally learned model (student model) supplied from the communication unit 102 using the image data supplied from the sensor 101.
  • the inference result of the model recognition unit 103 is supplied to the judgment/vehicle body control unit 104.
  • the judgment/vehicle body control unit 104 performs, for example, a process of determining the presence or absence of an obstacle in front of the vehicle 100 based on the inference result of the model recognition unit 103, and performs vehicle body control, that is, automatic driving, based on the determination result. Take control.
  • the machine learning system according to the fourth embodiment for example, the machine learning system according to the first embodiment, which can improve the accuracy of a new model (student model), can be applied to an automatic driving system of a car or an advanced driving system. Applied to support systems. This makes it possible to provide new, more accurate models for automobile autonomous driving systems and advanced driving support systems.
  • the machine learning system according to the fourth embodiment has been described using an example in which the machine learning system according to the first embodiment is applied to an automatic driving system or an advanced driving support system of a car. It is also possible to apply the machine learning system according to or the machine learning system according to the third embodiment.
  • the learning data dividing unit 11 that divides the learning data according to the model characteristics is installed in the automobile 100.
  • the learning data dividing unit 11 is configured using an automatic driving ECU.
  • the learning data divided by the learning data dividing section 11 is stored (maintained) in the learning data storage section 12 which is installed in the automobile 100 like the learning data dividing section 11.
  • distilled learning in the learning unit 13 located on the cloud 200 side multiple teacher models distributed by the learning data dividing unit 11 on the car 100 side, for example, old model A (teacher model) and old model B (teacher model), are used. , and a new model (teacher model) is used. What is meant here is that the number of teacher models distributed by the learning data division unit 11 is not limited to one, but may be multiple. A new model (teacher model) is created in advance.
  • distilled learning is performed using multiple teacher models, and the quality of the new model (student model) that is the model after additional learning is checked.
  • the quality of this new model (student model) for example, a confidence value obtained as a result of inference performed using the old model (teacher model) in the learning data dividing unit 11 can be used.
  • the learning data is an old model (for example, a daytime image) and a new model (for example, a nighttime image).
  • the confidence value of the old model is relatively high and the confidence value of the new model (nighttime image) is relatively low with respect to the teacher model.
  • the confidence value for the teacher model for convenience, the confidence value for the old model is assumed to be XH, and the confidence value for the new model is assumed to be XL.
  • the confidence value of the student model (new model) should match the confidence value of the teacher model (old model), but in reality they do not. Therefore, when checking the quality, a predetermined setting value a is set for the old model (daytime image), and a predetermined setting value b is set for the new model (nighttime image).
  • the machine learning system according to Example 5 performs distilled learning using multiple teacher models to improve accuracy when applied to automatic driving systems and advanced driving support systems for automobiles, and also performs distilled learning using multiple teacher models. (Student models) are checked for quality. This makes it possible to provide new models with higher precision and higher quality for automobile autonomous driving systems and advanced driving support systems.
  • Grouping parameters are not limited to confidence values.
  • the same effects and effects as when using the confidence value can be obtained.
  • the combination of daytime landscape images (daytime images) and nighttime landscape images (nighttime images) is used as the first characteristic group and the second characteristic group that are grouped in the learning data division unit 11. are illustrated, but the combination is not limited to these.
  • the first characteristic group and the second characteristic group may be a combination of expressway landscape pixels and city area landscape pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

旧知識の忘却を抑制しつつ新たな知識を獲得することができる機械学習システムを提供する。学習データを第１の特性グループ及び第２の特性グループに振り分ける学習データ分割部と、第１の特性グループの学習データを用いて第１のモデルで学習する第１の学習プロセス部と、第２の特性グループの学習データを用いて第２のモデルで学習する第２の学習プロセス部と、第１の学習プロセス部の学習と第２の学習プロセス部の学習とを組み合わせて学習を行う学習プロセス結合部と、を備えた機械学習システムを構成する。

Description

機械学習システム及び機械学習方法
　本発明は、機械学習システム及び機械学習方法に関する。
　ＡＩ（人工知能）の一つの要素技術として、コンピュータが大量のデータを学習する機械学習がある。従来、機械学習を行うことにより、学習データをクラス分け（グループ分け）する技術が知られている（例えば、特許文献１参照）。特許文献１には、「機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する学習済みモデルを生成する」と記載されている。
特開２０２０－５２９３６号公報
　ところで、ＡＩ（人工知能）には、新たに覚えなければならない事柄をネットワークに追加的に学習させる場合、新しい事柄（知識）については覚えられるものの、それ以前に学習して獲得したはずの旧知識については忘却してしまう（所謂、破滅的忘却）という課題がある。
　従って、新たな知識を獲得するに当たっては、旧知識の忘却を抑制する必要がある。しかし、特許文献１に記載の従来技術では、旧知識の忘却を抑制することについては何ら考慮されていない。
　本発明は、このような状況に鑑みてなされたものであり、旧知識の忘却を抑制しつつ新たな知識を獲得することができる機械学習システム及び機械学習方法を提供することを目的とする。
　上記課題を解決するための本発明の機械学習システムは、学習データを第１の特性グループ及び第２の特性グループに振り分ける学習データ分割部と、第１の特性グループの学習データを用いて第１のモデルで学習する第１の学習プロセス部と、第２の特性グループの学習データを用いて第２のモデルで学習する第２の学習プロセス部と、第１の学習プロセス部の学習と第２の学習プロセス部の学習とを組み合わせて学習を行う学習プロセス結合部と、を備える。
　また、上記課題を解決するための本発明の機械学習方法は、学習データを第１の特性グループ及び第２の特性グループに振り分け、次いで、第１の特性グループの学習データを用いて第１のモデルで学習するとともに、第２の特性グループの学習データを用いて第２のモデルで学習し、しかる後、第１のモデルでの学習と第２のモデルでの学習とを組み合わせて学習を行う。
　本発明によれば、旧知識の忘却を抑制しつつ新たな知識を獲得することができる。
　上記した以外の課題、構成、及び、効果は、以下の実施の形態の説明により明らかにされる。
本発明の実施例１に係る機械学習システムの構成例を示す機能ブロック図である。 本発明の実施例１に係る機械学習システムにおける機械学習の処理手順の一例を示すフローチャートである。 本発明の実施例１に係る機械学習システムにおける機械学習の処理の流れを模式的に示す図である。 本発明の実施例２に係る機械学習システムの構成例を示す機能ブロック図である。 本発明の実施例２に係る機械学習システムにおける機械学習の処理手順の一例を示すフローチャートである。 本発明の実施例２に係る機械学習システムにおける機械学習の処理の流れを模式的に示す図である。 本発明の実施例３に係る機械学習システムの構成例を示す機能ブロック図である。 本発明の実施例３に係る機械学習システムにおける機械学習の処理手順の一例を示すフローチャートである。 本発明の実施例３に係る機械学習システムにおける機械学習の処理の流れを模式的に示す図である。 本発明の実施例４に係る機械学習システムの構成例を示す機能ブロック図である。 本発明の実施例５に係る機械学習システムにおける機械学習の処理の流れを模式的に示す図である。 本発明の実施例５に係る機械学習システムにおいて、コンフィデンス値を使った品質判定基準の表を示す図である。
　以下、本発明を実施するための形態（以下、「実施形態」と記述する）について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
＜本発明の一実施形態＞
　本発明の一実施形態に係る機械学習システム及び機械学習方法は、一例として、自動車の自動運転のための外界認識技術（システム）に用いて好適な技術である。以下では、本実施形態に係る機械学習システム及び機械学習方法を、自動運転のための外界認識技術に適用する場合を例に挙げて説明するが、自動運転のための外界認識技術への適用例に限られるものではない。
　本実施形態に係る機械学習システム及び機械学習方法は、一例として、ある程度認識できるモデルを外部から導入したとき、当該モデルを教師モデルとして、追加学習を行うことによって精度の高い生徒モデルを作成することを目的として用いられる技術である。本実施形態においては、追加学習前モデルが教師モデルとなり、追加学習後モデルが生徒モデルとなる。
　ここで、一例として、追加学習前モデル（教師モデル）として、昼間の車両周囲の環境を認識できるモデルを外部から導入したとき、追加学習を行うことにより、昼間でも夜間でも車両周囲の環境を認識できるより精度の高いモデルを追加学習後モデル（生徒モデル）として作成する場合を例に挙げて説明することとする。
　車両周囲の昼間の風景画像（以下、単に「昼画像」と記述する場合がある）を教師モデルとしたとき、より精度の高い風景画像を生徒モデルとして作成するためには、例えば、車両周囲の夜間の風景画像（以下、単に「夜画像」と記述する場合がある）の学習データを用いて追加学習を行うことが好ましい。
　この追加学習の際に、昼画像の教師モデルに対して、夜画像の学習データだけを用いて追加学習を行うと、新知識である夜画像の知識を、旧知識である昼画像の知識に上書きしてしまう状態になる。その結果、旧モデルが獲得した知識である昼画像の旧知識を忘れてしまい、夜画像の新知識だけを覚えることになるため、精度の高い生徒モデルを作成できないことになる。
　そこで、本実施形態に係る機械学習システム及び機械学習方法では、学習データ及び学習手段を、旧知識向けと新知識向けとに分けて追加学習を行うようにする。これにより、旧知識の忘却を抑制しつつ新たな知識を獲得することができるため、追加学習後モデル（生徒モデル）の精度の向上を図ることができる。また、追加学習後モデル（生徒モデル）の作成時に、１からモデルを作る必要がなく、旧モデルが獲得した知識（旧知識）を有効活用することができるために、モデル開発コストの低減を図ることができる。
　以下に、旧知識の忘却を抑制しつつ新たな知識を獲得するために、学習データ及び学習手段を、旧知識向けと新知識向けとに分けて追加学習を行う本実施形態の具体的な実施例について説明する。
［実施例１］
　実施例１は、本実施形態に係る機械学習システムの基本的な構成例である。図１は、本発明の実施例１に係る機械学習システムの構成例を示す機能ブロック図である。
（システム構成例）
　図１に示すように、実施例１に係る機械学習システム１０は、学習データ分割部１１、学習データ格納部１２、及び、学習部１３を機能部として有するシステム構成となっている。この機械学習システム１０には、外部から、昼間の車両周囲の環境を認識できるモデルが、追加学習前モデル（教師モデル）として導入される。
　機械学習システム１０に導入された追加学習前モデル（教師モデル）は、学習データ分割部１１及び学習部１３（特に、後述する第１の学習プロセス部１３１）に与えられる。
機械学習システム１０に追加学習前モデルが導入される点、及び、導入された追加学習前モデルが学習データ分割部１１及び学習部１３に与えられる点については、後述する各実施例においても同様である。
　学習データ分割部１１は、あらかじめ用意されている学習データを、複数の特性グループ、例えば、第１の特性グループ及び第２の特性グループの２つの特性グループに振り分ける（所謂、グループ分け）。ここでは、例えば、昼画像（車両周囲の昼間の風景画像）及び夜画像（車両周囲の夜間の風景画像）を含む学習画像の画像データがあらかじめ用意され、当該画像データが学習データとして学習データ分割部１１に与えられることとする。学習データ分割部１１に与えられる学習データの内容については、後述する各実施例においても同様である。
　学習データ分割部１１は、昼画像及び夜画像を含む画像データである学習データを、昼画像を第１の特性グループとして、夜画像を第２の特性グループとして振り分ける。このグループ分けについては、例えば、学習データ分割部１１において、外部から与えられる追加学習前モデル（教師モデル）を使って推論を行い、その推論結果として得られるコンフィデンス値の大きさに基づいて行うことができる。
　学習データ格納部１２は、第１の格納部１２１及び第２の格納部１２２を有している。
　第１の格納部１２１は、学習データ分割部１１で第１の特性グループとしてグループ分けされた昼画像の画像データを正解値なし学習データとして格納する。第２の格納部１２２は、学習データ分割部１１で第２の特性グループとしてグループ分けされた夜画像の画像データを正解値あり学習データとして格納する。
　学習部１３は、第１の学習プロセス部１３１、第２の学習プロセス部１３２、及び、学習プロセス結合部１３３を有している。
　第１の学習プロセス部１３１は、学習データ分割部１１でグループ分けされ、第１の格納部１２１に格納されている第１の特性グループの学習データ、即ち、昼画像の画像データを用いて、第１のモデルとしての旧モデル（教師モデル）で学習する。第１の学習プロセス部１３１の学習としては、蒸留学習を例示することができる。
　ここで、蒸留学習とは、教師モデルの学習結果を学習する、即ち、学習データが正解値を持っておらず、２つのモデル、即ち、教師モデル（旧モデル）と昼画像の画像データとの差がなくなるように行う学習である。
　第２の学習プロセス部１３２は、学習データ分割部１１でグループ分けされ、第２の格納部１２２に格納されている第２の特性グループの学習データ、即ち、夜画像の画像データを用いて、第２のモデルとしての新モデル（生徒モデル）で学習する。第２の学習プロセス部１３２の学習としては、通常学習を例示することができる。
　ここで、通常学習とは、学習データが正解値を持っていて当該正解値に対する教師モデルのずれ分を補うようにその教師モデルのパラメータを更新する学習を行う。従って、通常学習については、正解値を学習する正解値学習ということもできる。ただし、第２の学習プロセス部１３２の学習としては、通常学習に限られるものではなく、蒸留学習を用いることもできる。
　学習プロセス結合部１３３は、第１の学習プロセス部１３１の学習（蒸留学習）と、第２の学習プロセス部１３２の学習（通常学習又は蒸留学習）とを組み合わせて学習する。
そして、学習プロセス結合部１３３の学習結果として追加学習後モデル（生徒モデル）が作成される。
　上述したように、実施例１に係る機械学習システム１０では、学習データ及び学習手段を、旧知識向け（例えば、昼画像及び蒸留学習）と、新知識向け（例えば、夜画像及び通常学習）とに分けて追加学習が行われる。これにより、旧知識（例えば、昼画像の知識）の忘却を抑制しつつ新たな知識（例えば、夜画像の知識）を獲得することができるため、追加学習後モデルである新モデル（生徒モデル）の精度の向上を図ることができる。
　図１に機能ブロック図として図示した実施例１に係る機械学習システム１０は、ＣＰＵ（Central Processing Unit）等のプロセッサ、及び、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶部を備えるコンピュータによって構成することができる。そして、機械学習システム１０の各機能は、あらかじめＲＯＭに記憶されたプログラムをプロセッサが実行することによって実現される。
これらの点については、後述する各実施例においても同様である。
（処理手順の一例）
　次に、実施例１に係る機械学習システム１０において、コンピュータのプロセッサによる制御の下に実行される機械学習の処理手順（機械学習方法）の一例について、図２のフローチャートを用いて説明する。図３に、実施例１に係る機械学習システム１０における機械学習の処理の流れを模式的に示す。
　コンピュータのプロセッサ（以下、単に「プロセッサ」と記述する）は、先ず、学習データ分割部１１の機能を実行する。具体的には、プロセッサは、あらかじめ用意されている学習データについて、外部から与えられる追加学習前モデル（教師モデル）を使って推論を行い、追加学習前モデルを用いた学習データのコンフィデンス値Ｘを算出する（ステップＳ１１）。
　次に、プロセッサは、算出したコンフィデンス値Ｘを基に学習データを、コンフィデンス値Ｘが相対的に大、小の２つの特性グループに振り分ける（ステップＳ１２）。具体的には、プロセッサは、所定の第１のしきい値ＴＨ１及び当該第１のしきい値ＴＨ１よりも小さい第２のしきい値ＴＨ２（ＴＨ１＞ＴＨ２）とコンフィデンス値Ｘとを比較することによって学習データを第１の特性グループと第２の特性グループとにグループ分けする。
　このグループ分けにおいて、コンフィデンス値Ｘが第１のしきい値ＴＨ１よりも大きい（Ｘ＞ＴＨ１）場合は、昼画像の学習データを蒸留学習用データ（第１の特性グループ）として振り分ける。蒸留学習用データは、正解値なしの旧モデル特性である。また、コンフィデンス値Ｘが第１のしきい値ＴＨ１以下で、第２のしきい値ＴＨ２よりも大きい（ＴＨ１≧Ｘ＞ＴＨ２）場合は、夜画像の学習データを通常学習用データ（第２の特性グループ）として振り分ける。通常学習用データは、正解値ありの新モデル特性である。
　次に、プロセッサは、学習部１３の機能を実行する。具体的には、プロセッサは、旧モデル（昼画像）の学習データと、新モデル（夜画像）の学習データとを用いて推論を行い（ステップＳ１３）、次いで、正解値なしの旧モデル特性（昼画像）の学習データを使って、旧モデル（教師モデル）と新モデル（生徒モデル）とで蒸留学習を行う（ステップＳ１４）。
　次に、プロセッサは、正解値ありの新モデル特性の学習データを使って、新モデル（生徒モデル）で通常学習（正解値学習）を行い（ステップＳ１５）、次いで、新モデルが所望の精度に達したか否かを判断する（ステップＳ１６）。
　そして、プロセッサは、新モデルが所望の精度に達していると判断した場合（Ｓ１６のＹＥＳ）、上述した機械学習の一連の処理を終了する。また、プロセッサは、新モデルが所望の精度に達していないと判断した場合（Ｓ１６のＮＯ）、ステップＳ１３に戻ってそれ以降の処理を新モデルが所望の精度に達するまで繰り返して実行する。
　上述したように、実施例１に係る機械学習システム１０における機械学習の一連の処理により、旧知識（例えば、昼画像）の忘却を抑制しつつ新たな知識（例えば、夜画像）を獲得することができ、また、機械学習によって、所望の精度に達した新モデルを作成することができる。
［実施例２］
　実施例２は、実施例１の変形例であり、学習データ中に含まれている、新モデル作成に不要な情報について学習不要とする例である。図４は、本発明の実施例２に係る機械学習システムの構成例を示す機能ブロック図である。
（システム構成例）
　図４に示すように、実施例２に係る機械学習システム１０は、学習データ分割部１１Ａ、学習データ格納部１２Ａ、及び、学習部１３を機能部として有するシステム構成となっている。
　実施例２に係る機械学習システム１０を実施例１に係る機械学習システム１０と対比すると、学習データ分割部１１Ａ及び学習データ格納部１２Ａの構成については異なり、学習部１３の構成については同じである。
　具体的には、学習データ分割部１１Ａは、あらかじめ用意されている学習データを、複数の特性グループ、例えば、第１の特性グループ、第２の特性グループ、及び、第３の特性グループの３つの特性グループに振り分ける。
　ここで、例えば、昼画像及び夜画像を含む学習画像の画像データが、新モデルの作成に必要な学習データとしてあらかじめ用意されているとき、当該学習データには、新モデル作成に不要な情報が含まれている場合がある。この新モデル作成に不要な情報は、新モデルの精度を下げる一因となる場合がある。
　そこで、学習データ分割部１１Ａは、新モデル作成に必要な昼画像及び夜画像を含む学習データを、昼画像を第１の特性グループとして、夜画像を第２の特性グループとして振り分け、更に、学習データに含まれている新モデル作成に不要な情報については、学習不要な第３の特性グループとして振り分ける（グループ分け）。このグループ分けについては、例えば、学習データ分割部１１Ａにおいて、外部から与えられる追加学習前モデル（教師モデル）を使って推論を行い、その推論結果として得られるコンフィデンス値の大きさに基づいて行うことができる。
　学習データ格納部１２Ａは、第１の格納部１２１、第２の格納部１２２、及び、第３の格納部１２３を有している。
　第１の格納部１２１は、学習データ分割部１１Ａで第１の特性グループとしてグループ分けされた昼画像の学習データを正解値なし学習データとして格納する。第２の格納部１２２は、学習データ分割部１１Ａで第２の特性グループとしてグループ分けされた夜画像の学習データを正解値あり学習データとして格納する。第３の格納部１２３は、学習データ分割部１１Ａで第３の特性グループとしてグループ分けされた、新モデル作成に不要な情報を学習不要な情報として格納する。
　第１の格納部１２１に格納された昼画像の学習データ、及び、第２の格納部１２２に格納された夜画像の学習データについては、実施例１の場合と同様に、追加学習に用いられる。これに対して、第３の格納部１２３に格納された情報、即ち、昼画像の学習データでも、夜画像の学習データでもない情報については、新モデル作成に不要な情報であることから学習不要として処理される。
　上述した実施例２に係る機械学習システム１０では、新モデル作成に不要な情報を第３の特性グループとしてグループ分けし、当該第３の特性グループについては、新モデル作成に不要な情報であるとして学習不要としている。これにより、新モデル作成に不要な情報を含まない、昼画像の学習データ及び夜画像の学習データを用いて追加学習を行って新モデルを作成することができるために、追加学習後モデルである新モデル（生徒モデル）の精度の更なる向上を図ることができる。
（処理手順の一例）
　次に、実施例２に係る機械学習システム１０において、コンピュータのプロセッサによる制御の下に実行される機械学習の処理手順の一例について、図５のフローチャートを用いて説明する。図６に、実施例２に係る機械学習システム１０における機械学習の処理の流れを模式的に示す。
　プロセッサは、先ず、学習データ分割部１１の機能を実行する。具体的には、プロセッサは、あらかじめ用意されている学習データについて、外部から与えられる追加学習前モデル（教師モデル）を使って推論を行い、追加学習前モデルを用いた学習データのコンフィデンス値Ｘを算出する（ステップＳ２１）。
　次に、プロセッサは、算出したコンフィデンス値Ｘを基に学習データを、コンフィデンス値Ｘが相対的に大、中、小の３つの特性グループに振り分ける（ステップＳ２２）。具体的には、プロセッサは、所定の第１のしきい値ＴＨ１及び当該第１のしきい値ＴＨ１よりも小さい第２のしきい値ＴＨ２（ＴＨ１＞ＴＨ２）とコンフィデンス値Ｘとを比較することによって学習データを第１の特性グループ、第２の特性グループ、及び、第３の特性グループにグループ分けする。
　このグループ分けにおいて、コンフィデンス値Ｘが第１のしきい値ＴＨ１よりも大きい（Ｘ＞ＴＨ１）場合は、昼画像の学習データを蒸留学習用データ（第１の特性グループ）として振り分ける。蒸留学習用データは、正解値なしの旧モデル特性である。また、コンフィデンス値Ｘが第１のしきい値ＴＨ１以下で、第２のしきい値ＴＨ２よりも大きい（ＴＨ１≧Ｘ＞ＴＨ２）場合は、夜画像の学習データを通常学習用データ（第２の特性グループ）として振り分ける。通常学習用データは、正解値ありの新モデル特性である。
　更に、コンフィデンス値Ｘが第２のしきい値ＴＨ２以下の場合（ＴＨ２≧Ｘ）は、昼画像の学習データ及び夜画像の学習データのいずれにも属さない情報（第３の特性グループ）として振り分ける。昼画像の学習データ及び夜画像の学習データのいずれにも属さない情報ということは、新モデル作成に不要な情報であることから、第３の特性グループとして振り分けられた情報については、学習部１３での学習が不要な情報として処理される。
　次に、プロセッサは、学習部１３の機能を実行する。具体的には、プロセッサは、旧モデル（昼画像）の学習データと、新モデル（夜画像）の学習データとを用いて推論を行い（ステップＳ２３）、次いで、正解値なしの旧モデル特性の学習データを使って、旧モデル（教師モデル）と新モデル（生徒モデル）とで蒸留学習を行う（ステップＳ２４）。
　次に、プロセッサは、正解値ありの新モデル特性の学習データを使って、新モデル（生徒モデル）で通常学習（正解値学習）を行い（ステップＳ２５）、次いで、新モデルが所望の精度に達したか否かを判断する（ステップＳ２６）。
　そして、プロセッサは、新モデルが所望の精度に達していると判断した場合（Ｓ２６のＹＥＳ）、上述した機械学習の一連の処理を終了する。また、プロセッサは、新モデルが所望の精度に達していないと判断した場合（Ｓ２６のＮＯ）、ステップＳ２３に戻ってそれ以降の処理を新モデルが所望の精度に達するまで繰り返して実行する。
　上述したように、実施例２に係る機械学習システム１０における機械学習の一連の処理により、新モデル作成に不要な情報を第３の特性グループとしてグループ分けし、当該第３の特性グループについては学習不要とすることで、追加学習後モデルである新モデル（生徒モデル）の精度のより向上を図ることができる。
［実施例３］
　実施例３は、実施例１の変形例であり、旧モデル（教師モデル）の忘却を検出し、その忘却を抑制する制御を行う例である。図７は、本発明の実施例３に係る機械学習システムの構成例を示す機能ブロック図である。
（システム構成例）
　図７に示すように、実施例３に係る機械学習システム１０は、学習データ分割部１１、学習データ格納部１２、及び、学習部１３Ａを機能部として有するシステム構成となっている。
　実施例３に係る機械学習システム１０を実施例１に係る機械学習システム１０と対比すると、学習データ分割部１１及び学習データ格納部１２の構成については同じであり、学習部１３Ａの構成については異なっている。具体的には、学習部１３Ａは、第１の学習プロセス部１３１、第２の学習プロセス部１３２、及び、学習プロセス結合部１３３の他に、学習プロセス割合制御部１３４を有している。
　学習プロセス割合制御部１３４は、旧モデル（本例では、昼画像）と新モデル（本例では、夜画像）とのバランスを自動的に維持する機能を有しており、第１の学習プロセス部１３１での旧モデル（教師モデル）の推論結果、及び、第２の学習プロセス部１３２での旧モデル（教師モデル）の推論結果に基づいて蒸留学習の学習率（重み更新率）を制御する。具体的には、学習プロセス割合制御部１３４は、旧モデル（昼画像）についての、第１の学習プロセス部１３１での旧モデルの推論結果と、第２の学習プロセス部１３２での旧モデルの推論結果との差分から、旧モデルについての忘却の程度を検出し、両推論結果の差分が所定のしきい値よりも高い場合に、蒸留学習の学習率を上げる制御を行う。
　上述したように、実施例３に係る機械学習システム１０では、学習プロセス割合制御部１３４による制御の下に、旧モデル（昼画像）の忘却を抑制しつつ新モデル（夜画像）を追加する制御が行われる。これにより、旧モデル（昼画像）と新モデル（夜画像）とのバランスを維持することができるために、追加学習後モデルである新モデル（生徒モデル）の精度のより向上を図ることができる。
（処理手順の一例）
　次に、実施例３に係る機械学習システム１０において、コンピュータのプロセッサによる制御の下に実行される機械学習の処理手順の一例について、図８のフローチャートを用いて説明する。図９に、実施例３に係る機械学習システム１０における機械学習の処理の流れを模式的に示す。
　プロセッサは、先ず、学習データ分割部１１の機能を実行する。具体的には、プロセッサは、あらかじめ用意されている学習データについて、外部から与えられる追加学習前モデル（教師モデル）を使って推論を行い、追加学習前モデルを用いた学習データのコンフィデンス値Ｘを算出する（ステップＳ３１）。
　次に、プロセッサは、算出したコンフィデンス値Ｘを基に学習データを、コンフィデンス値Ｘが相対的に大、小の２つの特性グループに振り分ける（ステップＳ３２）。具体的には、プロセッサは、所定の第１のしきい値ＴＨ１及び当該第１のしきい値ＴＨ１よりも小さい第２のしきい値ＴＨ２（ＴＨ１＞ＴＨ２）とコンフィデンス値Ｘとを比較することによって学習データを第１の特性グループと第２の特性グループとにグループ分けする。
　このグループ分けにおいて、コンフィデンス値Ｘが第１のしきい値ＴＨ１よりも大きい（Ｘ＞ＴＨ１）場合は、昼画像の学習データを蒸留学習用データ（第１の特性グループ）として振り分ける。蒸留学習用データは、正解値なしの旧モデル特性である。また、コンフィデンス値Ｘが第１のしきい値ＴＨ１以下で、第２のしきい値ＴＨ２よりも大きい（ＴＨ１≧Ｘ＞ＴＨ２）場合は、夜画像の学習データを通常学習用データ（第２の特性グループ）として振り分ける。通常学習用データは、正解値ありの新モデル特性である。
　次に、プロセッサは、学習部１３の機能を実行する。具体的には、プロセッサは、旧モデル（昼画像）について、旧モデルの学習データと、新モデルの学習データとを用いて推論を行う（ステップＳ３３）。
　次に、プロセッサは、旧モデル（昼画像）についての、旧モデルの推論結果と新モデルの推論結果との差分を、旧モデル（昼画像）の忘却の程度を示す情報として検出し、両推論結果の差分を所定のしきい値と比較することによって蒸留学習の学習率を決定する（ステップＳ３４）。
　旧モデルの推論結果と新モデルの推論結果との差分が０である、即ち、両推論結果が一致することが好ましいが、本例では、プロセッサは、両推論結果の差分を所定のしきい値と比較し、当該しきい値よりも両推論結果の差分が高い場合に、蒸留学習の学習率（重み更新率）を上げる制御を行う。
　次に、プロセッサは、正解値なしの旧モデル特性（昼画像）の学習データ、及び、ステップＳ３４で決定した学習率を使って、旧モデル（教師モデル）と新モデル（生徒モデル）とで蒸留学習を行う（ステップＳ３５）。
　次に、プロセッサは、正解値ありの新モデル特性の学習データを使って、新モデル（生徒モデル）で通常学習（正解値学習）を行い（ステップＳ３６）、次いで、新モデルが所望の精度に達したか否かを判断する（ステップＳ３７）。
　そして、プロセッサは、新モデルが所望の精度に達していると判断した場合（Ｓ３７のＹＥＳ）、上述した機械学習の一連の処理を終了する。また、プロセッサは、新モデルが所望の精度に達していないと判断した場合（Ｓ３７のＮＯ）、ステップＳ３３に戻ってそれ以降の処理を新モデルが所望の精度に達するまで繰り返して実行する。
　上述したように、実施例３に係る機械学習システム１０における機械学習の一連の処理により、旧モデル（昼画像）と新モデル（夜画像）とのバランスを維持することができるために、追加学習後モデルである新モデル（生徒モデル）の精度のより向上を図ることができる。
［実施例４］
　実施例４は、自動車の自動運転（ＡＤ）システムや先進運転支援システム（ＡＤＡＳ）に適用する例である。図１０は、本発明の実施例４に係る機械学習システムの構成例を示す機能ブロック図である。
　実施例４に係る機械学習システムは、自動車１００の自動運転システムや先進運転支援システムに適用され、学習データ分割部１１及び学習データ格納部１２が自動車１００に搭載され、自動車１００とインターネット等のネットワーク３００を通してデータのやり取りが可能なクラウド２００側に学習部１３が配置されたシステム構成となっている。学習データ分割部１１については、例えば、自動運転ＥＣＵ(Electronic Control Unit)を用いて構成することができる。
　自動車１００には、学習データ分割部１１及び学習データ格納部１２の他に、自動車１００の周囲の情報を取得するカメラ等のセンサ１０１、通信部１０２、モデル認識部１０３、及び、判断・車体制御部１０４が配置されている。クラウド２００には、学習部１３の他に、通信部２０１が配置されている。
　自動車１００側において、カメラ等のセンサ１０１は、自動車１００の周辺を撮像して得た画像データを学習データ分割部１１に学習データとして供給するとともに、モデル認識部１０３に供給する。
　学習データ分割部１１及び学習データ格納部１２の作用については、実施例１の場合と同じである。すなわち、学習データ分割部１１は、センサ１０１から供給される画像データを学習データとして取り込み、当該学習データを、第１の特性グループ（例えば、昼画像の学習データ）と、第２の特性グループ（例えば、夜画像の学習データ）の２つの特性グループに振り分ける。
　学習データ格納部１２において、第１の格納部１２１は、学習データ分割部１１で第１の特性グループとしてグループ分けされた昼画像の画像データを正解値なし学習データとして格納する。第２の格納部１２２は、学習データ分割部１１で第２の特性グループとしてグループ分けされた夜画像の画像データを正解値あり学習データとして格納する。
　通信部１０２は、第１の格納部１２１に格納された第１の特性グループの学習データ、及び、第２の格納部１２２に格納された第２の特性グループの学習データを、インターネット等のネットワーク３００を通して、クラウド２００の通信部２０１に送信する。
　クラウド２００側において、通信部２０１は、自動車１００側の通信部１０２から送信された第１の特性グループの学習データ、及び、第２の特性グループの学習データを受信し、学習部１３に供給する。
　学習部１３は、第１の特性グループの学習データを用いて、旧モデル（教師モデル）で蒸留学習を行うとともに、第２の特性グループの学習データを用いて、新モデル（生徒モデル）で通常学習（又は、蒸留学習）を行う。そして、学習部１３は、第１の学習プロセス部１３１の学習（蒸留学習）と、第２の学習プロセス部１３２の学習（通常学習又は蒸留学習）とを組み合わせて学習を行い、その学習結果として、追加学習後モデル（生徒モデル）を作成する。
　通信部２０１は、学習部１３で作成された追加学習後モデル（生徒モデル）を、インターネット等のネットワーク３００を通して、自動車１００側の通信部１０２に送信する。
　自動車１００側において、通信部１０２は、クラウド２００側の通信部２０１から送信された追加学習後モデル（生徒モデル）を受信し、モデル認識部１０３に供給する。モデル認識部１０３は、通信部１０２から供給される追加学習後モデル（生徒モデル）について、センサ１０１から供給される画像データを用いて推論を行う。
　モデル認識部１０３の推論結果は、判断・車体制御部１０４に供給される。判断・車体制御部１０４は、モデル認識部１０３の推論結果を基に、例えば、自動車１００の前方における障害物の有無の判断処理などを行い、その判断結果を基に車体制御、即ち、自動運転制御を行う。
　上述したように、実施例４に係る機械学習システムでは、例えば、新モデル（生徒モデル）の精度の向上を図ることができる実施例１に係る機械学習システムを、自動車の自動運転システムや先進運転支援システムに適用している。これにより、自動車の自動運転システムや先進運転支援システムに対して、より精度の高い新モデルを提供することができる。
　尚、実施例４に係る機械学習システムでは、自動車の自動運転システムや先進運転支援システムに対して、実施例１に係る機械学習システムを適用した場合を例に挙げて説明したが、実施例２に係る機械学習システム、あるいは、実施例３に係る機械学習システムを適用することも可能である。
［実施例５］
　実施例５は、実施例４の変形例であり、教師モデルを複数有する例である。図１１は、本発明の実施例５に係る機械学習システムにおける機械学習の処理の流れを模式的に示す図である。
　実施例４に係る機械学習システムの場合と同様に、モデル特性に応じて学習データを分割する学習データ分割部１１は、自動車１００に搭載されている。学習データ分割部１１については、自動運転ＥＣＵを用いて構成される。学習データ分割部１１で分割された学習データは、学習データ分割部１１と同じく自動車１００に搭載されている学習データ格納部１２に格納（保持）される。
　クラウド２００側に配置された学習部１３における蒸留学習では、自動車１００側の学習データ分割部１１で振り分けられた複数の教師モデル、例えば、旧モデルＡ（教師モデル）、旧モデルＢ（教師モデル）、及び、新モデル（教師モデル）が用いられる。ここで意味するところは、学習データ分割部１１で振り分けられる教師モデルは一つに限られるものではなく、複数であってもよいということである。新モデル（教師モデル）については事前に作成される。
　実施例５に係る機械学習システムでは、精度を上げるために複数の教師モデルを用いて蒸留学習を行うとともに、追加学習後モデルである新モデル（生徒モデル）の品質チェックを行うようにしている。この新モデル（生徒モデル）の品質チェックには、例えば、学習データ分割部１１において、旧モデル（教師モデル）を使って行う推論の結果として得られるコンフィデンス値を用いることができる。
　コンフィデンス値を使った品質判定基準の表を図１２に示す。ここでは、学習データを旧モデル（例えば、昼画像）及び新モデル（例えば、夜画像）とする。通常、教師モデルに対して旧モデル（昼画像）のコンフィデンス値は相対的に高く、新モデル（夜画像）のコンフィデンス値は相対的に低い。ここでは、教師モデルに対するコンフィデンス値について、便宜上、旧モデルの場合のコンフィデンス値をＸＨとし、新モデルの場合のコンフィデンス値をＸＬとする。
　生徒モデル（新モデル）のコンフィデンス値については、教師モデル（旧モデル）のコンフィデンス値と一致することが理想的であるが、現実には一致しない。そこで、品質チェックに当たって、旧モデル（昼画像）に対して所定の設定値ａを設定し、新モデル（夜画像）に対して所定の設定値ｂを設定する。
　そして、旧モデル（昼画像）の場合、生徒モデル（新モデル）に対するコンフィデンス値Ｘが、（教師モデルに対するコンフィデンス値ＸＨ－設定値ａ）よりも大きい（Ｘ＞ＸＨ－設定値ａ）とき、新モデル（生徒モデル）の品質がよいと判定する。また、新モデル（夜画像）の場合、生徒モデル（新モデル）に対するコンフィデンス値Ｘが、（教師モデルに対するコンフィデンス値ＸＬ＋設定値ｂ）よりも大きい（Ｘ＞ＸＬ＋設定値ｂ）とき、新モデル（生徒モデル）の品質がよいと判定する。
　上述したように、実施例５に係る機械学習システムでは、自動車の自動運転システムや先進運転支援システムに適用するに当たって、精度を上げるために複数の教師モデルを用いて蒸留学習を行うとともに、新モデル（生徒モデル）の品質チェックを行うようにしている。これにより、自動車の自動運転システムや先進運転支援システムに対して、より精度の高い高品質の新モデルを提供することができる。
　尚、自動車１００への搭載を前提とした実施例５に係る機械学習システムにおいて、精度を上げるために複数の教師モデルを用いて蒸留学習を行うとしたが、精度を上げるために複数の教師モデルを用いる点については、自動車１００への搭載を前提とした機械学習システムに限られるものではない。
＜変形例＞
　尚、本発明は上述した実施形態の各実施例に限られるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるのではない。また、本実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
　また、上述した実施形態では、学習データ分割部１１における学習データのグループ分けのパラメータとして、学習データ分割部１１での推論結果として得られるコンフィデンス値を用いてグループ分けを行う場合を例示したが、グループ分けのパラメータについてはコンフィデンス値に限定されるのではない。例えば、第１のモデルである教師モデルと第２のモデル生徒モデルとの中間データをパラメータとして用いて学習データのグループ分けを行うようにすることも可能である。この場合も、コンフィデンス値を用いる場合と同様の作用、効果を得ることができる。更に、最終結果の差分(差分大：新モデル、差分小：旧モデル)、特徴量の違い(旧モデル特性と学習データ)、あるいは、学習データのクラス種などをパラメータとして用いることも可能である。この場合も、コンフィデンス値を用いる場合と同様の作用、効果を得ることができる。
　また、上述した実施形態では、学習データ分割部１１においてグループ分けされる第１の特性グループ及び第２の特性グループとして、昼間の風景画像（昼画像）及び夜間の風景画像（夜画像）の組み合わせを例示したが、これらの組み合わせに限定されるものではない。例えば、第１の特性グループ及び第２の特性グループとして、高速道路の風景画素及び市街地の風景画素の組み合わせとすることもできる。
１０…機械学習システム、１１，１１Ａ…学習データ分割部、１２，１２Ａ…学習データ格納部、１３，１３Ａ…学習部、１００…自動車、１２１…第１の格納部、１２２…第２の格納部、１２３…第３の格納部、１３１…第１の学習プロセス部、１３２…第２の学習プロセス部、１３３…学習プロセス結合部、１３４…学習プロセス割合制御部、２００…クラウド、３００…ネットワーク

Claims (9)

  1. 　学習データを第１の特性グループ及び第２の特性グループに振り分ける学習データ分割部と、
    　前記第１の特性グループの学習データを用いて第１のモデルで学習する第１の学習プロセス部と、
    　前記第２の特性グループの学習データを用いて第２のモデルで学習する第２の学習プロセス部と、
    　前記第１の学習プロセス部の学習と前記第２の学習プロセス部の学習とを組み合わせて学習を行う学習プロセス結合部と、
    　を備えることを特徴とする機械学習システム。
  2. 　前記第１の学習プロセス部で用いる学習は、蒸留学習であり、
    　前記第２の学習プロセス部で用いる学習は、通常学習（正解値学習）又は蒸留学習である
    　ことを特徴とする請求項１に記載の機械学習システム。
  3. 　前記学習データ分割部は、
    　前記第１のモデルを使って行う推論の結果として得られるコンフィデンス値を用いて前記学習データの振り分けを行い、
    　前記コンフィデンス値が、所定の第１のしきい値よりも大きい場合は、前記第１の特性グループに振り分け、
    　前記コンフィデンス値が、前記第１のしきい値以下で、前記第１のしきい値よりも小さい第２のしきい値よりも大きい場合は、前記第２の特性グループに振り分ける
    　ことを特徴とする請求項１に記載の機械学習システム。
  4. 　前記学習データ分割部は、
    　前記コンフィデンス値が、前記第２のしきい値以下の場合は、学習不要な第３の特性グループとして振り分ける
    　ことを特徴とする請求項３に記載の機械学習システム。
  5. 　前記学習データ分割部は、前記第１のモデルを教師モデルとし、前記第２のモデルを生徒モデルとするとき、前記教師モデルと前記生徒モデルとの中間データを用いて前記学習データの振り分けを行う
    　ことを特徴とする請求項１に記載の機械学習システム。
  6. 　前記学習プロセス結合部の学習率を制御する学習プロセス割合制御部を有し、
    　前記学習プロセス割合制御部は、前記第１のモデルを教師モデルとするとき、前記第１の学習プロセス部での前記教師モデルの推論結果、及び、前記第２の学習プロセス部での前記教師モデルの推論結果に基づいて、前記学習プロセス結合部の学習率を制御する
    　ことを特徴とする請求項１に記載の機械学習システム。
  7. 　前記学習データ分割部は、自動車に搭載され、
    　前記第１の学習プロセス部、前記第２の学習プロセス部、及び、前記学習プロセス結合部は、前記自動車とデータのやり取りが可能なクラウド側に設けられている
    　ことを特徴とする請求項１に記載の機械学習システム。
  8. 　前記学習データ分割部は、前記第１の特性グループについて、複数の特性グループに振り分ける
    　ことを特徴とする請求項７に記載の機械学習システム。
  9. 　学習データを第１の特性グループ及び第２の特性グループに振り分け、
    　次いで、前記第１の特性グループの学習データを用いて第１のモデルで学習するとともに、前記第２の特性グループの学習データを用いて第２のモデルで学習し、
    　しかる後、前記第１のモデルでの学習と前記第２のモデルでの学習とを組み合わせて学習を行う
    　ことを特徴とする機械学習方法。
PCT/JP2023/020456 2022-06-13 2023-06-01 機械学習システム及び機械学習方法 WO2023243415A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-094894 2022-06-13
JP2022094894A JP2023181643A (ja) 2022-06-13 2022-06-13 機械学習システム及び機械学習方法

Publications (1)

Publication Number Publication Date
WO2023243415A1 true WO2023243415A1 (ja) 2023-12-21

Family

ID=89190972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020456 WO2023243415A1 (ja) 2022-06-13 2023-06-01 機械学習システム及び機械学習方法

Country Status (2)

Country Link
JP (1) JP2023181643A (ja)
WO (1) WO2023243415A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060899A1 (ko) * 2019-09-26 2021-04-01 주식회사 루닛 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
JP2022057202A (ja) * 2020-09-30 2022-04-11 富士通株式会社 プログラム，情報処理装置及び情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060899A1 (ko) * 2019-09-26 2021-04-01 주식회사 루닛 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
JP2022057202A (ja) * 2020-09-30 2022-04-11 富士通株式会社 プログラム，情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JP2023181643A (ja) 2023-12-25

Similar Documents

Publication Publication Date Title
EP3365741B1 (de) Verfahren zur vollautomatischen führung eines fahrzeugsystems und kraftfahrzeug
CN114312200B (zh) 一种车辆主动悬架的控制方法及装置
US20210023905A1 (en) Damper control system, vehicle, information processing apparatus and control method thereof, and storage medium
JP2008018872A (ja) 運転支援装置、自動車及び運転支援方法
CN111353505A (zh) 可联合实现语义分割和景深估计的网络模型及训练方法
CN113076338A (zh) 一种基于规则的智能船舶避碰自动测试场景生成方法及系统
CN113015982A (zh) 具有竞争性奖励调节脉冲时间依赖的可塑性的人工神经网络及其训练方法
WO2023243415A1 (ja) 機械学習システム及び機械学習方法
CN113859246B (zh) 一种车辆控制方法和装置
DE102021111597A1 (de) Autonomes fahrerrückmeldungssystem und -verfahren
CN112906296B (zh) 混合动力汽车全服役期能量优化方法、系统和存储介质
US20220274603A1 (en) Method of Modeling Human Driving Behavior to Train Neural Network Based Motion Controllers
DE102022123257A1 (de) Selektives Ausscheiden der Merkmale für entgegenwirkende Robustheit neuronaler Netze
CN109885969B (zh) 一种基于驾驶员场景认知的车辆群组运动仿真方法
CN107842433B (zh) 发动机油门需求扭矩的在线自学习方法
CN110378460B (zh) 决策方法
DE102020200176A1 (de) Verwertung eines ortsüblichen Verhaltens für automatisierte Fahrfunktionen
US20230174100A1 (en) Autonomous driving system and correction learning method for autonomous driving
US20230050283A1 (en) Configuring a neural network for equivariant or invariant behavior
CN112734292B (zh) 一种基于发育型聚类的无人车智能迁移方法及系统
WO2019201586A1 (de) Verfahren, computersystem und computerprogramm zum steuern eines aktors
DE102021103919A1 (de) Rccc-rgb-domain-übersetzung mit tiefen neuronalen netzen
CN116749953A (zh) 自动泊车的学习方法、装置、云服务器及存储介质
Loosveld Quantifying Take-Over Quality: A Novel Approach Utilizing a Scenario-Specific Optimized Reference Trajectory
DE102021132542A1 (de) Verfahren zum bereitstellen eines bit-flip-fehlerrobusten; perturbationsrobusten und komprimierten neuronalen netzes; computerprogramm; fahrerassistenzsystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823708

Country of ref document: EP

Kind code of ref document: A1