JP6418211B2 - 識別情報付与システム、識別情報付与装置、識別情報付与方法及びプログラム - Google Patents

Description

本発明は識別情報付与システム、識別情報付与装置、識別情報付与方法及びプログラムに関する。特に、機械学習により対象を分類する分類能力を獲得した複数の学習結果やその学習結果から出力される分類結果を整合させる技術に関する。

近年、ディープラーニング（Deep Learning）をはじめとするAI技術が進歩しており、カメラ画像やセンサ情報などの入力データをもとに対象を分類する技術が普及し始めている。そして、ディープラーニングのようなAI技術を用いることによって、機械が自ら学習を行って、対象を分類する能力を獲得できるようになった。そして、上記の技術より、対象を分類する分類装置を構成することができる。

分類装置で自動分類を行うときは、事前に分類する対象に関するデータを大量に収集し、そのデータを元に学習を行う。学習が完了すると、装置は対象を分類できるようになる。

機械学習の方法は、大別すると教師あり学習と教師なし学習との２種類がある。

教師あり学習の場合、それぞれの学習データがどの分類に属するのかが、事前に判定されてラベル付けされている。このため、分類装置はそれぞれの学習データが入力されたときに、ラベル付けされた分類に属すると判定するように、ニューラルネットワークの学習を行う。

教師なし学習の場合、それぞれの学習データがどの分類に属するかという情報は事前に準備されない。分類装置は入力を類似する物が同じ分類になるように複数の分類にグループ化することを学習する。例えば、教師なし学習の機械学習の例としては、非特許文献１の技術がある。非特許文献１の技術は、動画投稿サイト内の動画から約1,000万枚の画像を任意に抽出し、その画像をディープラーニングと呼ばれる学習方法を用いて学習させ、画像の中から人間やネコの顔の特徴を学習し、人間やネコを分類できるようになった技術である。ディープラーニングとは、一般的には深層学習とも言われる。

Le et al., Building High-level Features Using Large Scale Unsupervised Learning , ICML2012

多数の学習が行われたときに、特定の学習結果が他の学習結果とどのような関係にあるのを把握するために必要な学習に関する情報の全てを、１人の利用者あるいは学習プログラムや学習結果を利用するプログラムのプログラマが取得することができないケースがある。その場合、複数の学習結果は、完全に一致しないことが多いので、それらの複数の学習結果を同等とみなして扱ってよいかを、判定する機能が望まれる。そうでないと、本来は同じ学習結果とみなしてよい学習結果同士を異なるものとして扱ってしまうことが起きるという課題が生じる。

本発明は、機械学習により分類能力を獲得した少なくとも二以上の学習結果に関する情報を記憶する学習情報記憶部と、前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる分類結果同等性判定条件を記憶する判定条件記憶部と、前記少なくとも二以上の学習結果から出力される分類結果が入力される分類結果入力部と、前記学習結果に関する情報と前記分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する判定部と、前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する識別情報付与部とを有する識別情報付与システムである。

本発明によれば、複数の学習結果(分類装置)から出力される分類結果の同等性を判定し、同等と判定できる学習結果又は分類結果に同一の識別情報を付与することにより、複数の学習結果(分類装置)又は複数の学習結果(分類装置)から出力される分類結果を整合することができ、利用者の利便性を図ることが出来る。

更に、本発明の識別情報付与システムは、前記識別情報付与部が、前記同等であると判定された分類結果を出力した学習結果同士に同一の識別情報を付与し、前記分類結果同士が同等であるかの判定に基づいて、前記学習結果の同等性を判定するようにしても良い。

学習結果から出力される分類結果同士が同等であると判定できる場合、その学習結果同士も同等であると判定することができる場合があるからである。

更に、前記分類結果同等性判定条件は、前記学習結果の分類対象の一致度、前記学習結果から出力される分類結果の一致度の少なくともいずれかを含むことが好ましい。

前記学習結果の分類対象の一致度と、前記学習結果から出力される分類結果の一致度とは、学習結果又は学習結果から出力される分類結果の同等性を判断する上で、特に重要な要素であるからである。

更に、本発明の識別情報付与システムは、前記識別情報を付与する範囲を設定する設定部を有し、前記識別情報付与部は、設定された識別情報を付与する範囲で、前記学習結果又は前記分類結果の少なくともいずれかに識別情報を付与することもできる。

このように構成することにより、学習結果を用いた分類装置の利用者が求める識別情報の付与の仕方を選択できる。

更に、本発明の識別情報付与システムは、学習結果が分類する分類対象の同等性を判定する分類対象判定部を有しても良い。

このように構成することにより、学習結果又は学習結果から出力される分類結果の同等性を判断する上で重要な要素である分類する対象の同等性を確認することができる。

更に、本発明の識別情報付与システムは、前記判定部により、分類結果が同等であると判定できなかった場合、学習データを変更して学習結果の再学習を依頼する再学習依頼部を有しても良い。

このように構成することにより、学習結果から出力される分類結果が同等であると判定できないケースの場合、学習結果に再度学習を依頼し、分類結果が同等になるような学習結果を生成させることができる。

更に、前記判定部は、分類結果が同等あると判定できなかった場合、使用する判定条件を変更するようにしても良い。

このような構成にすることにより、分類結果の同等性を見直す機会を与え、学習結果を利用する利用者にとって許容できる範囲での学習結果又は学習結果から出力される分類結果の同等性を得られることが出来る。

更に、本発明の識別情報付与システムは、前記判定部により、分類結果が同等あると判定できなかった場合、分類結果の同等性の判定に利用される、前記学習結果に入力される入力データを変更する入力データ変更部を有しても良い。

このような構成にすることにより、入力データの数や種類の不足や、入力データの過多等に起因する分類結果の同等性の不一致を防ぐことができる。

更に、本発明の識別情報付与システムは、前記学習結果から出力される分類結果同士を合成し、新たな分類結果を生成する分類結果合成部を有し、前記判定部は、前記分類結果合成部により生成した分類結果が同等であるかを判定するようにしても良い。

このような構成により、学習結果から出力される分類結果を合成した新たな分類結果により、学習結果を利用する利用者にとって許容できる範囲での学習結果又は学習結果から出力される分類結果の同等性を得られることが出来る。

本発明は、機械学習により分類能力を獲得した少なくとも二以上の学習結果から出力される分類結果が入力される分類結果入力部と、入力される分類結果の学習結果に関する情報と、前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる分類結果同等性判定条件とを取得する取得部と、前記学習結果に関する情報と前記分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する判定部と、前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する識別情報付与部とを有する識別情報付与装置である。

本発明は、上述した識別情報付与システムにおける学習情報記憶部と判定条件記憶部とが装置外にある場合であっても、外部の記憶部から学習結果に関する情報と分類結果同等性判定条件とを取得する取得部を有すれば、本発明の識別情報付与システムと同様な効果を奏することができる。

本発明は、機械学習により分類能力を獲得した少なくとも二以上の学習結果から出力される分類結果を受け、機械学習により分類能力を獲得した少なくとも二以上の学習結果に関する情報と、前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定するための分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定し、前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する識別情報付与方法である。

また、本発明は、機械学習により分類能力を獲得した少なくとも二以上の学習結果から出力される分類結果を入力する処理と、記憶部に記憶されている、前記少なくとも二以上の学習結果に関する情報及び前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定するための分類結果同等性判定条件を用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する処理と、前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する処理とをコンピュータに実行させるプログラムである。

本発明によれば、複数の学習結果(分類装置)から出力される分類結果の同等性を判定し、同等と判定できる学習結果又はその学習結果から出力される分類結果に同一の識別情報を付与することにより、複数の学習結果(分類装置)又は複数の学習結果(分類装置)から出力される分類結果を整合させることができ、利用者の利便性を図ることが出来る。

図１は本発明の第１の実施の形態のブロック図である。 図２は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図３は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図４は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図５は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図６は本発明の第１の実施の形態の他の例のブロック図である。 図７は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図８は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図９は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図１０は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図１１は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図１２は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図１３は学習結果又は分類結果に識別情報を付与する例を説明するための図である。 図１４は本発明の第２の実施の形態のブロック図である。 図１５は本発明の第３の実施の形態のブロック図である。 図１６は本発明の第４の実施の形態のブロック図である。 図１７は本発明の第６の実施の形態のブロック図である。 図１８は本実施の形態のシステム構成図である。 図１９は本実施の形態のシステム、又は各装置の他の構成のブロック図である。 図２０は学習データ準備装置１１のブロック図である。 図２１は学習依頼装置１２のブロック図である。 図２２は学習データベース装置２２の構成の一例を示す図である。 図２３は同等性判定装置２４のブロック図である。 図２４は同等性判定装置２４の動作のフローチャートである。 図２５は適用例１を説明するための図である。 図２６は本実施の形態の他のシステム構成図である。 図２７は適用例８のフローチャートである。 図２８は再判定の準備処理のフローチャートである。

本発明の実施の形態を、図面を参照して説明する。

まず、本発明の第１の実施の形態を説明する。

図１は、本発明の第１の実施の形態のブロック図である。

第１の実施の形態の識別情報付与システムは、学習情報記憶部１と、判定条件記憶部２と、分類結果入力部３と、判定部４と、識別情報付与部５とを備える。尚、以下の説明では、識別情報付与システムについて述べるが、分類能力を獲得した少なくとも二以上の学習結果を生成する学習システムと一体となって構成されても良い。

また、学習情報記憶部１と判定条件記憶部２とは、分類結果入力部３と判定部４と識別情報付与部５とを備える識別付与装置の外部にあっても良い。その場合は、学習情報記憶部１と判定条件記憶部２から必要な情報を読み出して取得できる取得部があれば良いし、又は、判定部４がその機能を備えていても良い。

学習情報記憶部１は、機械学習により分類能力を獲得した少なくとも二以上の学習結果に関する情報を記憶する記憶部である。

ここで、学習結果とは、例えば、機械学習により分類能力を獲得したニューラルネットワーク等である。ニューラルネットワークの種類は問わないが、例えば、RBFネットワーク（Radial Basis Function Network）、一般回帰ニューラルネットワーク（General Regression Neural Network:正規化したRBFネットワーク）、再帰型ニューラルネットワーク（Recurrent Neural Network）等がある。

機械学習はディープラーニング等があり、学習方法としては教師あり学習と教師なし学習の２種類がある。教師あり学習の場合、それぞれの学習データがどの分類に属するのかが、事前に判定されてラベル付けされている。このため、分類の学習はそれぞれの学習データが入力されたときに、ラベル付けされた分類に属すると判定するように、ニューラルネットワークの学習を行う。その場合であっても、学習データが同じものではない場合は、学習結果として獲得した分類能力は同じではない場合がある。教師なし学習の場合、それぞれの学習データがどの分類に属するかという情報は事前に準備されない。分類学習は入力を類似する物が同じ分類になるように複数の分類にグループ化することを学習する。

解決しようとする課題の欄で、本発明の課題を説明したが、より具体的には以下のような内容となる。

しかしながら、分類能力は、学習ごとに学習データに応じて獲得されるため、いずれの学習方式の場合にも、例えば次のようなことが起こり得る。

入力された学習データや学習の方法が多少相違する場合、新たな分類対象に対する分類結果が相違する可能性があり、特に、入力された学習データや学習の方法が多少相違する複数の分類装置を使用する場合、同じ分類に属するべき入力データに対して、装置ごとに分類結果が異なるケースが発生することは望ましくない。また、入力データを取得した対象が、複数の分類のもつ特徴の双方を持つような場合には、そのことを出力すべきケースもある。

更に、ディープラーニングの場合、学習の過程で乱数が用いられることが多く、同一の学習方法かつ同一の学習データであっても、学習結果として得られた能力に差が生ずることがある。このような場合、分類結果が微妙に相違するニューラルネットワークごとに、異なる分類識別情報を付与する方法が考えられる。

しかし、学習回数と分類装置の数に応じて、分類結果の種類が急激に増加するため、問題がある。

一方、対象が同一である場合に、異なる学習データや学習方法であっても、分類結果を強制的に一致させる方法が考えられる。しかし、装置ごとに分類結果が大きくばらつく可能性があり、この方法も問題がある。

更に、機械によって学習を行うシステムは様々なものが考えられる。

現状は、特定の学習目的に対して、AIの研究者が学習プログラムを作成して、学習を行わせることが多い。学習の結果として獲得された分類能力は、研究者が想定したニューラルネットワークによって獲得される。

ディープラーニングを用いた特定の学習を一人の研究者が研究するときは、学習の内容や学習プログラムの相違による学習結果として獲得される能力の違いは、当該研究者自身がプログラミングの課程や学習後の試験によって把握することができる。

しかし、ディープラーニングを用いた学習結果が幅広く利用されるようになると、関係する人や装置が複数になるため、学習が扱う内容や結果を一人の人や１つの装置のみで管理することができなくなる。

以上のように、多数の学習が行われるときに学習の結果として分類能力を備えたニューラルネットワークの個々の分類出力が、他の学習結果の分類出力とどのような関係にあるのかを把握することが容易ではなくなる。

そこで、本発明は、多くの学習が行われたときに、学習によって得られる学習結果として、獲得された能力による分類について同等性を把握できるようにする。

学習結果は、ディープラーニング等によって、入力データや入力信号にもとづいて、対象を分類する分類能力を獲得することができる。分類には、良品と不良品の判定、等級の判定、対象のグループ分け、いずれの状態にあるかの判定、同じ特徴を持つ対象の検出、階層的な分類等がある。しかし、分類は、必ずしも一意に行われる必要はない。同じ特定の対象が複数の分類に含まれていてもよい。また、分類は、全て相互に独立している必要はない。特定の分類が、他の分類に含まれるようになっていてもよい。

学習結果に関する情報は、学習結果に入力されるデータの種類、入力されるデータの取得方法及び出力されるデータ、学習データに関連する詳細な情報、データの所属、学習プログラムの所属等の所属関連情報、学習の時期、獲得する分類能力の対象(対象分野、画像を対象とする、文章を対象とする、音声を対象とする等)、能力の種類(分類する能力を獲得する(教師有り,教師なし)、予測する能力を獲得する、内部で所定の分類が行われる(制御する能力を獲得する))、学習度合いの評価、到達レベル、学習装置の相違、学習の方法、能力のテストの内容、個々の学習結果の差異等があるが、これらに限定されない。これらの情報は学習データベースで管理することができる。

判定条件記憶部２は、少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる判定条件を記憶する。

同等性を判定する条件は、いかなる条件であれば、学習結果から出力される分類結果が同等であると判定できるかを規定する条件である。

例えば、判定条件の一例として、学習結果の入力データ（分類対象）が一致しており、双方の分類結果が一致していることがある。また、一致の程度（一致度）も条件として設定することができる。例えば、同じ入力データに対する全ての分類のうち、99.9％以上が一致したときに同等と判定する。あるいは、同じサンプルに対する分類結果が、90％以上一致したときに同等と判定する等である。

また、学習結果が分類する対象についても、同等である場合や異なる場合がそれぞれあり得るので、分類結果の同等性を判定する場合は、それらを考慮するようにしてもよい。

また、学習結果から出力される分類結果が外部装置、例えばデータベースに記録されている既存の分類結果と一致することを条件としても良い。

その他、分類結果を利用する観点で、分類結果が同等であると見なせる任意の条件を設定し、記憶させておくこともできる。

例えば、「画像」を用いて猫であることを判定する学習結果と、「鳴き声」を用いて猫であることを判定する学習結果がある場合、その分類の同等性を判定する場合を想定する。この場合、画像を用いて猫であることを判定する学習結果を用いた猫画像判定装置が必要な利用者にとって、「画像」を用いて猫であることを判定する学習結果から出力される分類結果と、「鳴き声」を用いて猫であることを判定する学習結果から出力される分類結果とは同等ではない。一方、猫接近警報装置が必要な利用者にとっては、分類されるものが猫であれば良いので、「画像」を用いて猫であることを判定する学習結果から出力される分類結果と、「鳴き声」を用いて猫であることを判定する学習結果から出力される分類結果とは同等である。

他の例として、「猫」であることを判定する学習結果と、「犬」であることを判定する学習結果がある場合、その分類の同等性を判定する場合を想定する。この場合、「猫」と「犬」とを分類したい分類装置が必要な利用者にとって、「猫」の分類結果と「犬」の分類結果とは同等ではない。一方、動物であることを判定したい利用者にとって、「猫」も「犬」も「動物」であるので、「猫」の分類結果と「犬」の分類結果とは同等である。

このように、同等性を判定する判定条件は、学習の対象や、利用者の利用形態など、学習結果の利用方法の都合に応じて設定されるものである。

更に、学習の種類ごと、あるいは学習対象ごとにそれぞれ異なる判定条件を記憶するようにできる。例えば、入力データの種類が同一である時、分類結果が同等であると判断する、又は、入力データの種類が所定の条件を満たすときに分類結果が同等であると判断する等の条件である。

また、利用者が同等性の判定方法の条件を指定することもできる。例えば、予め数種類の判定条件を判定条件記憶部２に記憶しておき、その判定条件の選択肢を、利用者に提示して選択を求めるなどである。

また、利用者が判定条件のプログラムを提供し、そのプログラムを判定条件記憶部２に記憶するようにしても良い。

すなわち、分類結果の同等性を判定する判定条件は、学習の対象や利用形態など、学習結果の利用における都合に応じて、適切な条件を設定する。

分類結果入力部３は、少なくとも二以上の学習結果から出力される分類結果が入力される入力部である。分類結果を出力する学習結果は同一のシステム内に存在しても良いし、システムの外部に存在しても良い。分類結果入力部３には、それらの学習結果から出力される分類結果が入力される。尚、分類結果入力部３は、学習結果から出力される分類結果以外のデータ、例えば、学習結果そのものを入力するようにしても良い。

判定部４は、学習情報記憶部１に記憶されている学習結果に関する情報と、判定条件記憶部２に記憶されている判定条件とを用いて、分類結果入力部３に入力された少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する。

例えば、学習結果１,２の入力データの同等性と、学習結果１,２の分類結果が一致していることが判定条件であるとする。ここで、学習情報記憶部１に記憶されている学習結果１,２に関する情報から、各学習結果１,２の入力データが７０枚の猫の画像と３０枚の犬の画像とであることが判定されると、判定部４は、学習結果１,２の入力データに同等性があると判定する。更に、７０枚の猫の画像の入力データと３０枚の犬の画像の入力データとを、各学習結果１,２が７０枚の猫の画像と３０枚の犬の画像とに分類したとすると、判定部４は、学習結果１の猫の画像の分類結果と学習結果２の猫の画像の分類結果とが同等であり、学習結果１の犬の画像の分類結果と学習結果２の犬の画像の分類結果とが同等であると判定する。

更に、学習結果同士の分類結果が同等であると判定できる場合、その学習結果同士も同等であると判定することができる場合があるという点に留意すべきである。例えば、上述の例では、学習結果１の分類結果と学習結果２の分類結果とが同等であり、分類する対象も画像という点で同等である。この場合、学習結果１と学習結果２とは同等であるともいえる。

識別情報付与部５は、同等であると判定された分類結果同士に、もしくは、同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する。

識別情報は、獲得した分類能力が分類できるそれぞれの分類結果ごとに付与することができる。

また、複数の学習結果の複数の分類結果のいずれか１つの分類結果が相互に同等と判定された場合、同一の識別情報を付与できる。

また、分類能力が１つの分類結果のみを出力する場合、その分類結果に対して付与される識別情報と、分類結果を出力する学習結果に対して付与される識別情報とは同様なものでも良い。更に、学習結果を利用する都合に応じて、全ての分類結果がそれぞれ同等と判定された場合にのみ、学習結果に対して同じ識別情報を付与するようにしてもよい。

また、学習結果とそれぞれの分類結果の双方に識別情報を付与するようにしてもよい。あるいは一方にのみ識別情報を付与するようにしてもよい。

以下、図面を参照して、同一の識別情報を付与する例を説明する。

（１）分類結果にのみ同一の識別情報を付与する場合
（１−１）各学習結果から出力される分類結果がひとつの場合
図２に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果（猫の画像）と学習結果２の分類結果（猫の画像）であり、分類結果が同等であると判定できる場合、学習結果１の分類結果と学習結果２の分類結果とに同一の識別情報Ａを付与する。

（１−２）各学習結果から出力される分類結果が複数の場合であって、全てに分類結果に識別情報を付与する場合
学習結果が複数の分類結果を出力し、それぞれの分類結果同士が同等である場合、同等である分類結果同士に同一の識別情報を付与しても良い。例えば、図３に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」と「犬の画像」であり、学習結果１の分類結果「猫の画像」と学習結果２の分類結果「猫の画像」とが同等であると判定できる場合には、その分類結果「猫の画像」に同一の識別情報Ａを付与する。また、学習結果１の分類結果「犬の画像」と学習結果２の分類結果「犬の画像」とが同等である判定できる場合には、その分類結果「犬の画像」に同一の識別情報Ｂを付与する。

（１−３）各学習結果から出力される分類結果が複数の場合であって、その一部の分類結果に同一の識別情報を付与する場合
学習結果から出力される分類結果が複数あり、その一部の分類結果同士が同等とみなせる場合、その同等とみなせる分類結果同士のみに、同一の識別情報を付与しても良い。例えば、図４に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとしてみかんに関するデータが入力される。そして、学習結果１は、「上級」、「中級」、「規格外」の３つの分類を行う。学習結果２は、「１級」、「２級」、「３級」、「４級」、「規格外」の５つの分類を行う。この学習結果１、２の分類結果のうち、学習結果１の「規格外」と、学習結果２の「規格外」とが同等であると判定できる場合、学習結果１の「規格外」と学習結果２の「規格外」とに同一の識別情報Ａを付与する。

（１−４）各学習結果から出力される分類結果が複数の場合であって、各分類結果が上位概念で同等と判定できる場合であって、上位概念で同等と判定できる分類結果に同一の識別情報を付与する場合
学習結果が複数の分類結果を出力し、それぞれの分類結果が上位概念で同等と判定できる場合には、上位概念で同等と判定できる分類結果に同一の識別情報を付与しても良い。

例えば、図５に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」と「犬の画像」であり、判定部４が分類結果を動物という上位概念で判断する場合、学習結果１の分類結果である「猫の画像」及び「犬の画像」と学習結果２の分類結果である「猫の画像」及び「犬の画像」とは、動物という上位概念では同等である。従って、学習結果１の分類結果である「猫の画像」及び「犬の画像」と学習結果２の分類結果である「猫の画像」及び「犬の画像」とに、同一の識別情報Ａを付与する。

本例において、「猫の画像」及び「犬の画像」に同一の識別情報Ａを付与したが、これは「猫」及び「犬」の上位概念でグループ化したとも言えるし、「猫」と「犬」とを合成し、「猫」と「犬」との「動物」や「ペット」等といった上位概念の新たな分類結果を生成したものともいえる。このような新たな分類結果を生成する場合、図６のように、学習結果から出力される分類結果同士を合成し、新たな分類結果を生成する分類結果合成部１０を、判定部４が有すればよい。そして、生成した新たな分類結果について、同一の識別情報を付与するようにしても良い。後述する二以上の分類結果のグループ化や合成も同様である。

尚、必ずしも分類結果は同様な対象でなくても良く、例えば、分類結果が「猫の画像」と「猫の鳴き声」とである場合、二つの分類結果は「猫」という上位概念では同等である。この場合も「猫の画像」と「猫の鳴き声」とに同一の識別情報を付与しても良い。

（１−５）各学習結果から出力される分類結果が複数の場合であって、分類結果に少なくとも二つの識別情報を付与する場合
それぞれの分類結果同士が同等である場合、同等である分類結果同士に同一の識別情報を付与すると共に、それぞれの分類結果が上位概念で同等と判定できる場合には、上位概念で同等と判定できる分類結果に、下位概念の各分類結果に付与した識別情報とは異なる識別情報を分類結果に付与しても良い。

例えば、図７に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」と「犬の画像」であり、学習結果１の分類結果「猫の画像」と学習結果２の分類結果「猫の画像」とが同等であると判定できる場合には、その分類結果「猫の画像」に同一の識別情報Ａを付与する。また、学習結果１の分類結果「犬の画像」と学習結果２の分類結果「犬の画像」とが同等である判定できる場合には、その分類結果「犬の画像」に同一の識別情報Ｂを付与する。

更に、判定部４が分類結果を動物という上位概念でも判断する場合、学習結果１の分類結果である「猫の画像」及び「犬の画像」と学習結果２の分類結果である「猫の画像」及び「犬の画像」とは、動物という上位概念では同等である。従って、学習結果１の分類結果である「猫の画像」及び「犬の画像」と学習結果２の分類結果である「猫の画像」及び「犬の画像」とに、同一の識別情報Ｃを付与する。

（２）学習結果にのみ同一の識別情報を付与する。
（２−１）各学習結果から出力される分類結果がひとつであり、その分類結果が同等であると判定できる場合であって、学習結果に同一の識別情報を付与する場合
図８に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」のみ出力し、分類結果が同等であると判定できる場合、学習結果１と学習結果２とが同等であると判定し、学習結果１と学習結果２とに同一の識別情報Ｃを付与する。

（２−２）各学習結果から出力される分類結果が複数あり、その全ての分類結果が同等であると判定できる場合であって、学習結果に同一の識別情報を付与する場合
学習結果１の分類結果と学習結果２の分類結果とが複数あり、各分類結果が同等である場合も、学習結果１と学習結果２とが同等であると判定し、学習結果にのみ同一の識別情報を付与しても良い。例えば、図９に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」と「犬の画像」であり、学習結果１の分類結果「猫の画像」と学習結果２の分類結果「猫の画像」とが同等であると判定でき、学習結果１の分類結果「犬の画像」と学習結果２の分類結果「犬の画像」とが同等である判定できる場合には、学習結果にのみ同一の識別情報Ｃを付与しても良い。

（２−３）各学習結果から出力される分類結果が複数の場合であって、各分類結果が上位概念で同等と判定できる場合であって、学習結果に同一の識別情報を付与する場合
学習結果が複数の分類結果を出力し、それぞれの分類結果が上位概念で同等と判定できる場合には、学習結果が同等であると判定し、学習結果に同一の識別情報を付与しても良い。

例えば、図１０に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」と「犬の画像」であり、判定部４が分類結果を動物という上位概念で判断する場合、学習結果１の分類結果である「猫の画像」及び「犬の画像」と学習結果２の分類結果である「猫の画像」及び「犬の画像」とは、動物という上位概念では同等である。従って、学習結果１と学習結果２とに、同一の識別情報Ｃを付与する。

尚、必ずしも分類結果は同様な対象でなくても良く、例えば、分類結果が「猫の画像」と「猫の鳴き声」とである場合、二つの分類結果は「猫」という上位概念では同等である。この場合も学習結果１と学習結果２とに、同一の識別情報Ｃをしても良い。

（３）各分類結果に同一の識別情報を付与し、各学習結果に、分類結果に付与した識別情報とは異なる同一の識別情報を付与する場合
（３−１）各学習結果から出力される分類結果がひとつであり、その分類結果が同等であると判定できる場合
図１１に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果（猫の画像）と学習結果２の分類結果（猫の画像）であり、分類結果が同等であると判定できる場合、学習結果１の分類結果と学習結果２の分類結果とに同一の識別情報Ａを付与する。また、学習結果１と学習結果２とが同等である判定し、学習結果１の分類結果と学習結果２の分類結果とに同一の識別情報Ｃを付与する。

尚、上述の例では、学習結果と分類結果とに異なる識別情報を付与したが、本例の場合には、学習結果と分類結果とに同一の識別情報（例えば、識別情報Ａ）を付与することも可能である。

（３−２）分類結果が複数あり分類結果毎に同一の識別情報を付与し、各学習結果に分類結果に付与した識別情報とは異なる同一の識別情報を付与する場合
図１２に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」と「犬の画像」であり、学習結果１の分類結果「猫の画像」と学習結果２の分類結果「猫の画像」とが同等であると判定できる場合には、その分類結果「猫の画像」に同一の識別情報Ａを付与する。また、学習結果１の分類結果「犬の画像」と学習結果２の分類結果「犬の画像」とが同等である判定できる場合には、その分類結果「犬の画像」に同一の識別情報Ｂを付与する。更に、学習結果１と学習結果２とが同等である判定し、学習結果１の分類結果と学習結果２には同一の識別情報Ｃを付与する。

（３−３）各学習結果から出力される分類結果が複数の場合であって、各分類結果が上位概念で同等と判定できる場合であって、分類結果に同一の識別情報を付与し、各学習結果に分類結果に付与した識別情報とは異なる同一の識別情報を付与する場合
学習結果が複数の分類結果を出力し、それぞれの分類結果が上位概念で同等と判定できる場合には、上位概念で同等と判定できる分類結果に同一の識別情報を付与し、学習結果にも同一の識別情報を付与しても良い。

例えば、図１３に示す如く、学習結果１、２があり、それぞれの学習結果には入力データとして画像が入力される。そして、学習結果１の分類結果と学習結果２の分類結果とが「猫の画像」と「犬の画像」であり、判定部４が分類結果を動物という上位概念で判断する場合、学習結果１の分類結果である「猫の画像」及び「犬の画像」と学習結果２の分類結果である「猫の画像」及び「犬の画像」とは、動物という上位概念では同等である。従って、学習結果１の分類結果である「猫の画像」及び「犬の画像」と学習結果２の分類結果である「猫の画像」及び「犬の画像」とに、同一の識別情報Ａを付与する。

更に、学習結果１と学習結果２とが同等である判定し、学習結果１と学習結果２とに、同一の識別情報Ｃを付与する。

尚、必ずしも分類結果は同様な対象でなくても良く、例えば、分類対象が「猫の画像」と「猫の鳴き声」とである場合に、猫である場合と猫でない場合の教師データを用いて学習を行うと、二つの分類結果は「猫」という上位概念では同等である。この場合も「猫の画像」と「猫の鳴き声」とに同一の識別情報を付与し、学習結果１と学習結果２とに同一の識別情報を付与しても良い。

以上、識別情報の付与の代表的な例を説明したが、これに限られない。例えば、（１−５）と（２−３）とを組み合すことも可能である。

以上の如く構成された識別情報付与システムは以下のように動作する。

まず、分類結果入力部３に、各学習結果から出力される分類結果が入力される。

判定部４では、分類結果を出力した学習結果に関する情報を学習情報記憶部１から読み出す。また、分類結果の同等性を判定する判定条件を判定条件記憶部２から読み出す。そして、判定部４は、学習結果に関する情報と判定条件とを用いて、各学習結果から出力される分類結果が同等であるかを判定する。

識別情報付与部５は、判定部４により分類結果が同等であると判定された場合には、分類結果同士に、もしくは、同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する。

本発明は、複数の学習結果(分類装置)から出力される分類結果の同等性を判定し、同等と判定できる学習結果又は分類結果に同一の識別情報を付与することにより、複数の学習結果(分類装置)又は複数の学習結果(分類装置)から出力される分類結果を整合することができ、同じ識別情報を付与された分類結果もの同士を同じ分類として扱うことができ、分類装置の利用者の利便性を図ることが出来る。

本発明の第２の実施の形態を説明する。

上述した識別情報付与システムにおいて、上述した識別情報の付与の例を確定的に選択して用いることが可能であるが、学習結果を用いた分類装置の利用者の観点からすると、学習結果毎に識別情報を付与する範囲が変更できることが好ましい。ここで、識別情報を付与する範囲とは、例えば、学習結果のみ識別情報を付与する、分類結果のみ識別情報を付与する、双方に識別情報を付与する、または、分類結果毎に識別情報を付与する、一部の分類結果のみ識別情報を付与する等である。

そこで、識別情報付与システムは、図１４のように、それぞれの学習結果毎に、識別情報を付与する範囲を設定する設定部６を有することが好ましい。

そして、識別情報付与部５は、設定部６に設定された識別情報を付与する範囲で、学習結果、分類結果、又はその双方に識別情報を付与する。

このように構成することにより、学習結果を用いた分類装置の利用者が求める識別情報の付与の仕方が選択できる。

本発明の第３の実施の形態を説明する。

分類結果の同等性を判断するにあたって、分類する対象の同等性を確認することは重要である。何故なら、同等性の判定条件にもよるが、分類する対象が異なる場合、分類結果が同等になることはない。例えば、二つの「犬」を識別する学習結果から出力される分類結果の同等性を判定する場合、一方の学習結果には「犬」と他の動物の画像が入力されるのに対し、他方の一方の学習結果には「魚」の画像ばかり入力されるのでは、二つの学習結果から出力される分類結果が同等になることはない。

従って、分類結果の同等性の判定の前に、学習結果が分類する分類対象が同等であるかを把握できることが望ましい。

更に、学習結果の同等性を学習結果から出力される分類結果の同等性から判断する場合も、学習結果の分類対象を知ることは重要なことである。

しかし、学習結果が獲得した分類能力の対象が同等であるかは、学習結果からはわからない。このため、分類対象が同等であるかわかることが必要となる。

そこで、他の実施の形態では、図１５に示す如く、識別情報付与システムに、学習結果が分類する対象が同等であるかを判定する分類対象同等性判定部７を設ける。

分類対象同等性判定部７は、分類対象の同等性はさまざまな条件を用いて判定することができる。あらかじめ、判定対象の学習結果同士が同等の分類対象に用いることが担保されていれば、分類対象は同等である。例えば、判定対象の学習結果同士が特定製品の検査装置であれば、分類対象は同等である。

また、判定対象の学習結果同士の分類対象が同じであることが、学習記録部１に記憶されていれば、その記憶をもとに分類対象が同等と判定できる。例えば、判定対象の学習結果同士の分類対象の名称が学習記録部１に記憶され、その分類対象の名称が同じであれば、判定対象の学習結果同士の分類対象は同等である。

また、分類対象が同じもの、あるいは同じ属性を持つものである場合、分類対象は同等であると判定することもできる。例えば、判定対象の学習結果同士が、特定の交差点に設置されたセンサの情報を用いて学習を行った場合、分類対象は特定の交差点に設置されたセンサの情報であることに関して同等である。また、判定対象の学習結果同士が、車室内の人の状態を検出するためのセンサの情報を用いて学習を行った場合、異なる車両であっても、判定対象の学習結果同士の分類対象が車室内のセンサの情報であることは同等である。

また、同じ装置、あるいは同種の装置から得られる情報を用いて学習を行う場合、利用目的が同一であれば、分類対象は同等と判定することができる。

また、分類対象が同等であることを、管理者が決定した情報として入力するようにもできる。

また、学習結果に入力される入力データに付与された識別情報が同一であれば、分類対象が同等と判定することもできる。

更に、分類対象を識別して、所定の対象であることを識別した上で、分類対象の同等性を判定することもできる。例えば、画像を用いて人の状態を分類する学習結果から出力される分類結果の同等性を判定する場合、双方の学習結果に入力される画像に人の顔や身体の一部が検出されれば、分類対象が人であると判定することができ、分類対象が同等である判定することもできる。

このように構成することにより、分類する対象の同等性を判定する際の重要な要素である分類する対象の同等性を確認することができる。

本発明の第４の実施の形態を説明する。

上述した識別情報付与システムにおいて、学習結果から出力される分類結果が同等であると判定できないケースがあり得る。その場合、学習または学習に用いるデータが不足している可能性がある。

そこで、上述した識別情報付与システムが、図１６に示す如く、機械学習を行うシステム又は装置に対して、学習結果の再学習を依頼する再学習依頼部８を備える。

再学習を依頼された機械学習を行うシステム又は装置は、判定対象の学習結果の再学習を行う。再学習は、入力データを増加させる場合だけなく、過学習の弊害を除去するために入力データを減少させても良い。

再学習が終了すると、再度、識別情報付与システムは分類結果の同等性を判定する作業を行う。

このように構成することにより、学習結果から出力される分類結果が同等であると判定できないケースの場合、学習結果に再度学習を依頼し、分類結果が同等になるような学習結果を生成させることができる。

本発明の第５の実施の形態を説明する。

上述した識別情報付与システムにおいて、学習結果から出力される分類結果が同等であると判定できないケースがあり得る。その場合、判定条件を再設定し、再度、同等性の判定を行うことによって、分類結果の同等性を得られるようにすることも可能である。

例えば、ディープラーニングを用いる必要があるほど複雑で微妙な判定基準で分類を行う場合、分類の境界付近ではわずかな差で、同等とは判定できない場合がありうる。この場合、条件を見直すことで、分類結果が同等であると判定できる場合がある。また、別の機種のセンサを用いて分類するような場合にも、分類の同等性を判断する条件を見直すことで、分類結果が同等であると判定できる場合がある。

そこで、第５の実施の形態では、判定部４は、分類結果が同等あると判定できなかった場合、使用する判定条件を変更する。変更する判定条件は、判定条件記憶部２に記憶されている他の判定条件に変更しても良いし、新たな判定条件を設定するようにしても良い。

このような構成にすることにより、分類結果の同等性を見直す機会を与え、学習結果を利用する利用者にとって許容できる範囲での分類結果の同等性を得られることが出来る。

本発明の第６の実施の形態を説明する。

上述した識別情報付与システムにおいて、学習結果から出力される分類結果が同等であると判定できないケースがあり得る。その場合、分類結果の同等性の判定に利用される、学習結果に入力される入力データを変更することにより、分類結果の同等性を得られるようにすることも可能である。

そこで、上述した識別情報付与システムが、図１７に示す如く、判定部４により、分類結果が同等あると判定できなかった場合、分類結果の同等性の判定に利用される、学習結果に入力される入力データを変更する入力データ変更部９を備える。

入力データの変更は、入力データ数の増減のみならず、入力データの種類の変更等も含む。

このような構成にすることにより、入力データの数や種類の不足や、入力データの過多等に起因する分類結果の同等性の不一致を防ぐことができる。

以上の如く構成された識別情報付与システムは以下のように動作する。

まず、分類結果入力部３に、各学習結果から出力される分類結果が入力される。

判定部４では、分類結果に対応する学習結果に関する情報を学習情報記憶部１から読み出す。また、分類結果の同等性を判定する判定条件を判定条件記憶部２から読み出す。そして、判定部４は、学習結果に関する情報と判定条件とを用いて、各学習結果から出力される分類結果が同等であるかを判定する。

識別情報付与部５は、判定部４により分類結果が同等であると判定された場合には、分類結果同士に、もしくは、同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する。

上述した実施の形態によれば、複数の学習結果(分類装置)から出力される分類結果の同等性を判定し、同等と判定できる学習結果又は分類結果に同一の識別情報を付与することにより、複数の学習結果(分類装置)又は複数の学習結果(分類装置)から出力される分類結果を整合することができる。そして、同じ識別情報を付与された学習結果又は分類結果もの同士を同じ分類として扱うことができ、分類装置の利用者の利便性を図ることが出来る。

続いて、上述した実施の形態の識別情報付与システムを具体的なサービスに適用した具体的な実施の形態を説明する。

本実施の形態のサービスでは、以下のようなシステム内容を想定する。

システムは分類について学習する。学習結果として、分類する能力を備えたニューラルネットワークが構成される。分類する能力を備えたニューラルネットワークを構成するための情報を用いることで、複製や別の場所での利用が可能となる。学習の目的や学習データの内訳、学習プログラムなど学習する条件を変更することで、学習結果としてさまざまな能力が獲得できる。

システムは分類について学習した複数の学習結果として得られた複数の能力の利用について、それぞれ管理することができる。分類について学習を行うことによって、分類する能力が獲得できる。したがって、学習結果を管理することで、対応する分類能力を識別して管理できるようになる。

学習結果が利用されると、それぞれの利用環境に応じて分類能力が発揮される。学習結果を識別することで、それぞれの学習結果の利用について管理することができる。

複数の異なる依頼者から学習依頼を受けて、それぞれ複数の学習データを用いて、複数の学習方法で分類の学習を行う場合に、特に学習結果の管理が重要となる。以下のようなケースで複数の学習結果を識別して管理する。

・異なる対象
・異なる学習依頼
・異なる学習データ
・異なる学習の目標
・異なる利用装置
・その他、相違する学習結果の利用
また、以下に説明する具体的な実施の形態は一例であり、他の構成とすることが可能である。例えば、システム全体を１つの装置として実施してもよい。また、各装置を複数として、機能分担を任意に変更することもできる。

図１８に本実施の形態のシステム構成図を示す。

図１８中、１０は学習依頼者のシステムであり、２０は学習サービス提供者のシステムである。

尚、学習依頼者のシステム１０、学習サービス提供者のシステム２０や、以下に述べる各装置は、図１９に示すように、例えば、プロセッサ１０１、メモリ（ＲＯＭやＲＡＭ）１０２、記憶装置（ハードディスク、半導体ディスクなど）１０３、入力装置（キーボード、マウス、タッチパネルなど）１０４、表示装置１０５、通信部１０６などのハードウェア資源を有する汎用のコンピュータにより構成することができる。学習依頼者のシステム１０、学習サービス提供者のシステム２０や、各装置の機能は、記憶装置１０３に格納されたプログラムがメモリ１０２にロードされ、プロセッサ１０１により実行されることにより、実現されるものである。なお、学習依頼者のシステム１０、学習サービス提供者のシステム２０や、各装置は、一台のコンピュータにより構成してもよいし、複数台のコンピュータによる分散コンピューティングにより構成してもよい。また、処理の高速化のため、学習依頼者のシステム１０、学習サービス提供者のシステム２０や、各装置の機能の一部または全部を専用のハードウェア（例えばＧＰＵやＦＰＧＡ、ＡＳＩＣなど）を用いて実現することも可能である。

学習依頼者のシステム１０は、学習データ準備装置１１と、学習依頼装置１２と、学習結果利用装置１３とを備える。

学習データ準備装置１１は、機械学習のためのデータを準備する装置である。学習データ準備装置１１のブロック図を図２０に示す。

学習データ準備装置１１は、操作部１１１と、学習データ取得部１１２と、学習データ記録部１１３と、データ取得制御部１１４と、学習依頼内容記録部１１５と、通信部１１６とを備える。

操作部１１１は、学習データ準備装置１１を操作するための部であり、例えば、キーボードやマウスである。

学習データ取得部１１２は、機械学習（ニューラルネットワークにおけるディープラーニング）のための学習データとなる、対象に関する情報を取得するものである。例えば、カメラやセンサ、ネットワーク端末、自走型ロボットのセンサなど任意の入力装置を用いることができる。

学習データ記録部１１３は、学習データ取得部１１２が取得した機械学習のための学習データが記憶される記憶部である。

データ取得制御部１１４は、学習データ取得部１１２を制御して学習データを取得させ、取得した学習データを、学習データ記録部１１３に格納する。

学習依頼内容記録部１１５は、どのような機械学習を行って、どのような分類能力を獲得させるかの学習依頼内容が格納されている。学習依頼内容は、例えば、(1)640*480〜1280*1024ドット、24bit/ピクセルの画像データを用いて、画像のなかに猫が含まれていることを分類する能力を獲得する、(2)等級ごとのセンサデータを学習データとして、ミカンの等級を分類する能力を獲得する、等である。

通信部１１６は、ネットワークを介して、学習依頼装置１２とデータの送受信する機能を有する。

学習依頼装置１２は、学習サービス提供者のシステム２０に、学習依頼の情報を送信する。学習依頼装置１２のブロック図を図２１に示す。

学習依頼装置１２は、学習依頼部１２１と、通信部１２２とを備える。

学習依頼部１２１は、学習データ準備装置１１の学習データ記録部１１３に記憶されている学習データと、学習データ準備装置１１の学習依頼内容記録部１１５に記憶されている学習依頼内容とを、通信部１２２を介して学習サービス提供者のシステム２０に送信する。

通信部１２２は、ネットワークを介して、学習サービス提供者のシステム２０とデータの送受信する機能を有する。

学習結果利用装置１３は、サービス提供者から提供される学習結果（例えば、分類する能力を獲得したニューラルネットワーク）を用いて、実際に対象を分類したり識別したりする装置である。例えば、検査装置、監視装置である。尚、学習結果利用装置１３は一つだけでなく、複数あっても良い。

学習結果利用装置１３は、通信部１３１と、学習結果入力部１３２と、制御部１３３と、ニューラルネットワーク設定部１３４と、ニューラルネットワーク１３５と、データ取得部１３６と、入力部１３７と、出力部１３８とを備える。

通信部１３１は、ネットワークを介してニューラルネットワーク設定部１３４、学習サービス提供者のシステム２０とデータの送受信する機能を有する。

学習結果入力部１３２は、学習サービス提供者のシステム２０から提供される学習結果（例えば、分類する能力を獲得したニューラルネットワーク）に関する情報を入力する。

制御部１３３は、各部を制御するとともに、学習結果（例えば、分類する能力を獲得したニューラルネットワーク）に関する情報をニューラルネットワーク設定部１３４に送る。

ニューラルネットワーク設定部１３４は、サービス提供者から提供される学習結果（例えば、分類する能力を獲得したニューラルネットワーク）に関する情報に基づいて、ニューラルネットワーク１３５を設定する。これにより、対象を分類する能力を備えるニューラルネットワーク１３５が生成される。

データ取得部１３６は、分類する対象となるデータを取得部であって、例えば、カメラ、マイクや各種センサ等である。

入力部１３７は、データ取得部１３６から所定の仕様でデータを受け取り、必要なデータ処理を施し、ニューラルネットワーク１３５に適合するようにデータ形式を変換し、ニューラルネットワーク１３５に出力する。

ニューラルネットワーク１３５は、入力部１３７からデータを受け取り、そのデータを分類し、分類結果を出力する。

出力部１３８は、ディスプレイやプリンタ等であり、ニューラルネットワーク１３５が分類した分類結果を出力する。

尚、学習データ準備装置と学習結果利用装置はほぼ同じ構成となるので、共通化してもよい。例えば、PCに学習データ入力装置を接続することで実現できる。あるいは、組込型装置として学習データ入力装置を含めて一体化した構成にできる。

次に、学習サービス提供者のシステム２０について説明する。

学習サービス提供者のシステム２０は、学習依頼受付装置２１と、学習データベース装置２２と、学習装置２３と、同等性判定装置２４とを備える。

学習依頼受付装置２１は、学習依頼装置１２からの学習依頼を受け付ける。受け付けた学習依頼内容を学習データベース装置２２に登録する。

学習データベース装置２２は、学習依頼内容や、機械学習に利用される情報、分類結果の同等性の判定及び識別情報の付与に利用される情報等の総合的な学習に関する情報が格納されるデータベースである。この学習データベース装置２２は、上述した実施の形態における学習情報記憶部１及び判定条件記憶部２を含む。

学習データベース装置２２の一例を、図２２に示す。

図２２に示す学習データベース装置２２は、学習プログラムDB２２１と、学習データDB２２２と、学習依頼DB２２３と、学習結果利用履歴DB２２４と、分類結果DB２２５とから構成される。尚、本例では１つの装置として実施する例について説明するが、複数の装置で実施する構成としてもよい。

各データベースはそれぞれ以下のようなデータを記録する。

（１）学習プログラムDB２２１
学習プログラムDB２２１は、学習を行うための学習プログラムを格納する。学習プログラムは、それぞれの学習プログラムの学習の内容を外部プログラムから取得できる。尚、学習の対象や、学習データの内容、目的など学習の要件に関連づけて、学習プログラムを格納することもできる。学習プログラムDBには多数の学習プログラムを登録できる。学習の要件を指定することで、学習プログラムを特定して、実行可能にすることができる。

（２）学習データDB２２２
学習データDBは、学習に用いる学習データを格納する。学習データの対象や、学習データの内訳、学習データの範囲、学習の目的など学習の要件に関連づけて、学習データを格納できる。

（３）学習依頼DB２２３
学習依頼DB２２３は、依頼されて実施する学習の内容を格納する。学習依頼者に関する情報、学習データの対象や、学習データの内訳、学習データの範囲、学習の目的など学習の依頼要件に関連づけて、学習依頼に関連する情報を格納できる。

（４）学習結果利用履歴DB２２４
学習結果利用履歴DB２２４は、学習結果の利用履歴を格納する。学習結果として獲得された分類能力を利用した結果に関する情報が格納できる。学習結果の利用者に関する情報、学習データの対象や、学習データの内訳、学習データの範囲、学習の目的など学習の利用に関連づけて、学習結果の利用に関連する情報を格納できる。

（５）分類結果DB２２５
分類結果DB２２５は、学習結果を用いて分類する能力とそれぞれの分類結果に関連する情報を格納する。学習結果ごとに情報を格納することができる。また、分類結果の同等性の判定条件も分類結果DB２２５に格納される。また、後述する各適用例の処理において得られる情報を格納することができる。

更に、学習プログラムDB２２１と、学習データDB２２２と、学習依頼DB２２３と、学習結果利用履歴DB２２４と、分類結果DB２２５とには、以下に説明する多様な学習に関する情報が分散して記憶される。

学習に関する情報は以下のように多様な情報を含み、これらの情報が、学習データDB２２２と、学習依頼DB２２３と、学習結果利用履歴DB２２４と、分類結果DB２２５とに記憶させ、学習データベース装置２２全体で管理することができる。

（１）外部インタフェースに関する情報
・例えば、入力されるデータの種類、入力されるデータの取得方法、出力されるデータ（例えば、ニューラルネットワークの出力）等である。

（２） 学習データに関する情報
（２−１） 学習データの識別情報に関する情報
学習データに識別情報を付与して、下記のような学習データの詳細を隠蔽して管理するようにできる。

（２−２） 学習データに関連する詳細な情報
例えば、学習データの内訳、教師データ情報（教師あり学習の場合は必要だが、教師なし学習の場合は不要である）、学習データの取得方法（例えば、学習データの取得手段の相違等）、学習データの前処理方法、学習データの対象範囲（取得対象（母集団や対象の範囲）、部分集合、取得時期、学習時のデータ取得方法、学習データとテストデータの内訳）等である。

（３） 所属関連情報
例えば、データの所属、学習プログラムの所属、関連ツールの所属、分類対象の所属、権利関係情報（上記のそれぞれに権利関係があればその情報をDBに記録する）等である。

（４） 学習の時期に関する情報
例えば、いつ学習が行われたかの情報等である。

（５） 学習の目標
学習ごとに、それぞれ多様な目標が設定され、下記のような情報がある。

（５−１） 機械学習が獲得する能力の対象の情報に関する情報
対象の情報は、画像を対象とする、文章を対象とする、音声を対象とする等のどのような分野を対象とするかの情報である。

また、獲得する能力は、例えば、能力の種類に関する情報である。能力の種類に関する情報の例としては、分類する能力を獲得する（分類能力の学習が教師有りで行われたものか、教師なしで行われたものかの情報を含んでも良い）、予測する能力を獲得する（内部で所定の分類が行われる）、制御する能力を獲得する（内部で所定の分類が行われる）等である。

（５−２） 学習度合いの評価に関する情報
学習度合いの評価の情報としては、例えば、評価関数の内容等がある。

（５−３） 到達レベルに関する情報
到達レベルの情報としては、学習が目標とする到達レベル等の情報である。

（５−４） 再学習に関する情報
再学習の情報は、例えば、以前の学習を特定するID、目標の変更内容に関する情報等である。

（６）学習装置の違いに関する情報
学習装置によって、獲得される能力は相違する可能性がある。以下にその学習装置に関する情報の例を示す。

（６−１）学習装置のメーカに関する情報
・機種
派生機種等の情報である。
・クラウドサービスとして学習サービスが提供される等の情報である。

（６−２）学習装置の仕様に関する情報
演算能力や、並列度等の情報等である。

（６−３）学習装置の設定に関する情報
繰返し回数や、打ち切り時間、利用可能な消費電力の設定に関する情報等である。

（７）学習の方法に関する情報
（７−１）学習用ツールのプログラムに関する情報
種類やバージョンに関する情報である。

（７−２）使用するプログラミング言語に関する情報
使用するプログラミング言語名等の使用するプログラミング言語を識別する情報である。使用したプログラミング言語は、後の改変などのために、把握できる必要があるからである。

（７−３）使用するフレームワークに関する情報
使用するフレームワークを特定する情報である。各社からディープラーニングによる学習を行うための多様なフレームワークが公開されているので、使用するフレームワークを特定するためである。

（７−４）適用するニューラルネットワークの構成に関する情報
・学習手法に関する情報
学習手法によって、それぞれ能力が獲得される。従って、学習手法に関する情報を記憶しておくことが重要である。学習手法に関する情報としては、SVM、回帰モデルなどディープラーニング以前からある手法、ディープビリーフネットワーク、ディープボルツマンマシン、積層自己符号化器、オートエンコーダ、制限ボルツマンマシン（RBM）、ドロップアウト、スパースコーティング、正則化、雑音除去自己符号化器、活性化関数の種類（シグモイド関数、ソフトサイン、ソフトプラス、Reluなど）、乱数系列の種類に関する情報等がある。

・ニューラルネットワークの構成に関する情報
・ハイパーパラメータに関する情報
例えば、入力層の構成、層の数、隠れ層のユニット数、各層の内容に関する情報である。各層の内容に関する情報には、例えば、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)（Elman network、Jordan network、ESN (Echo state network)、LSTM (Long short term memory network)、BRNN(Bi-directional RNN)等）の具体的な名称を記載しても良い。

・層間フィードバックの有無に関する情報
例えば、フィードバック回路の構成、出力層の構成に関する情報等である。

・演算精度
例えば、演算精度を数値化した情報等である。

・学習時の演算精度
例えば、学習時の演算精度を数値化した情報等である。

・学習を終了する条件
例えば、サンプルを全て正確に分類できた場合に学習を終了する等の条件に関する情報である。

（７−５）フレームワークによる構成の設定に関する情報
上述したニューラルネットワークの構成は、各フレームワークが提供する設定方法にもとづいて行うことができる。各フレームワークが提供する設定に関する情報を記憶しておき、上記の学習に関する情報として、各フレームワークが提供する方法を用いることができる。

（８）能力のテストに関する情報
能力のテストに関する情報である。能力のテスト方法が行われることによって、学習結果はテスト要件を満たすように影響を受ける。

（９）個々の学習結果の違い
例えば、ディープラーニングの学習には、乱数が用いられることが多いため、学習を実施するごとに、獲得した能力には毎回少しずつ差異がありえる。そこで、個々の学習結果の相違に関する情報を記録する。

上述した学習に関する情報は、一例であり、上記に限定されない。学習の対象と目的や環境に応じて、さまざまな影響要因が発生するので、他に影響要因等があれば、その情報を識別できるように識別情報を付加して、学習データベース装置２２に追加すればよい。

以上のように、学習データベース装置２２を上記のような構成とすることで、異なる学習結果の分類能力を対比することが可能となる。それによって、同等性を判定することができる。尚、各データベースはそれぞれローカルネットワークなどのネットワークを介して、学習依頼受付装置２１、学習装置２３、同等性判定装置２４から利用することができる。

学習装置２３は、学習依頼受け付け装置２１の学習依頼受付情報にもとづいて、学習依頼DB２３に記録した学習に関連する情報をもとに、学習を行う。依頼された内容に対応可能な学習プログラムが検索によって選択され学習装置で実行される。そして、学習装置２３は、依頼に基づいて学習を行う。学習結果として分類能力が獲得される。尚、学習装置２３は、一つだけでも良いが、学習依頼の内容や、数に応じて複数あっても良い。

学習装置２３が学習する手法は問わないが、一例としてニューラルネットワークについて述べる。分類に関する学習を行うことで、分類する能力を獲得したニューラルネットワークが生成される。学習プログラムは学習を開始する前に、ハイパーパラメータを用いて、ニューラルネットワークの構成を決める。ハイパーパラメータは、入力層の構成、中間層の構成、出力層の構成に関する情報を含む。ハイパーパラメータは、学習の対象ごとに最適なものが異なることが多く、学習の目的に応じて、学習プログラムが設定する。ハイパーパラメータのチューニングを人の研究者が行うようにしてもよい。

ニューラルネットワークを、例えば、ディープラーニングにより、入力データや入力信号を学習することにより、対象を分類する能力を獲得することができる。

分類能力は、例えば、良品と不良品の判定、等級の判定、対象のグループ分け、いずれの状態にあるかの判定、同じ特徴を持つ対象の検出、階層的な分類に活用できる。

尚、分類は、必ずしも一意に行われる必要はない。同じ特定の対象が複数の分類に含まれていてもよい。

また、分類は、全て相互に独立している必要はない。特定の分類が、他の分類に含まれるようになっていてもよい。

また、分類能力は、分類することを目的としない装置が内部で利用することができる。

例えば、故障予測装置で活用できる。この場合、対象の装置の現在の状態が、故障が起きる可能性が高い状態であるか低い状態であるかを分類する。

また、ビルの空調を管理する制御装置が、ビル内の各部屋の今後の利用状況の予測結果を分類することで、空調の制御を適切に行うことができる。例えば、赤外線を用いて熱の放出を検出するセンサの情報について学習を行う。部屋で検出される人やPC等の機械から熱エネルギーの発生パターンに関する特徴をもとに、部屋の温度が上昇する可能性があるかないかを分類できるようになる。部屋ごとに影響の程度が変わるが、同じ構造の部屋であれば、影響度は類似する。同じ構造の別の部屋で利用するときに、それぞれデータをとって、学習を行う必要がない。そのような場合に、別の部屋のデータを用いて学習した学習結果を用いて制御したときに、同様に部屋の温度を制御できることが確認できれば、その学習結果がその部屋に適用可能であることが判定できる。このような方法は、Deep Q Learningと呼ばれる、システムを制御する能力を学習によって獲得するAI技術に応用できる。

分類能力の活用は上記には限定されない。

ニューラルネットワークへの入力データを用いて学習した結果が1つ以上の出力を行うことを学習した結果を幅広く活用できる。

例えば、複数の分類装置がある場合や、複数回学習を行う場合など、複数の学習結果として、複数の能力が獲得できる。

尚、学習結果を用いた分類装置を応用するときに、分類能力が同じであるか異なるかを把握することは、重要である。

何故なら、同じものを分類した結果が装置ごとに異なると、適切に利用することができない。複数の装置が同じ分類として分類した結果に、異なる分類とすべきものがあると、適切に利用することができない。獲得された能力は、機械の自己学習によって得られたものであるため、人や外部装置にはどのような能力となっているかを予見することができない。

したがって、後述するように、同等性判定装置２４のような獲得された分類能力が同じであるか異なるかを把握できるようにする手段が必要となる。

同等性判定装置２４は、複数の学習によって分類能力を獲得した学習結果から出力される分類結果のそれぞれの分類出力について、同等の分類であると見なしてよいかを判定する装置である。同等性判定装置２４は、上述した実施の形態の分類結果入力部３、判定部４、識別情報付与部５、設定部６、分類対象同等性判定部７、再学習依頼部８、入力データ変更部９の機能を備える。

また、同等性判定装置２４の他の態様として、図２３に示すように、通信部２４１と、学習結果比較部２４２と、比較対象選択部２４３と、同等性判定制御部２４４と、識別情報生成部２４５とから構成することもできる。

通信部２４１は、ローカルネットワークを介して、学習依頼受付装置２１と、学習データベース装置２２と、学習装置２３とデータの送受信する機能を有する。

学習結果比較部２４２は、分類結果の同等性を判定する少なくとも二つの学習結果を、学習装置２３の学習結果DBから読み出す。更に、その学習結果の学習に関する情報を、学習データベース装置から読み出す。そして、読み出した学習結果及びその学習結果の学習に関する情報を、同等性判定制御部２４４に送信する。

比較対象選択部２４３は、分類対象同等性判定部７と同様な機能を有する。比較対象選択部２４３は、同等性判定制御部２４４を介して受信した学習結果の学習に関する情報に基づいて、学習結果に入力される分類対象の同等性を判定し、対象を選択する機能を有する。また、対象の同等性を同等性判定制御部２４４に送信する機能を有する。

対象の同等性の判定は、上述したように、分類する対象が異なる場合、分類結果が同等となることはない。しかし、機械が獲得した分類能力の対象が同等であるかは、学習結果からはわからない。このため、分類又は識別する対象が同等であるかわかることが必要となる。自動的に判定できるようにするためには分類又は識別する対象を比較し、同等性を判定する手段が必要となる。そこで、比較対象選択部２４２は、各学習結果の分類又は識別する対象の同等性を判定した後に、分類結果の同等性判定のための試験データを選択する。

尚、分類又は識別する対象の同等性はさまざまな条件を用いて判定することができる。

あらかじめ、学習結果が同等の対象に用いることが担保されていれば、対象は同等である。例えば、特定製品の検査装置であれば、対象は同等である。

また、対象が同じであることが記録されていれば、記録をもとに対象が同等と判定できる。例えば、学習結果利用履歴ＤＢ２２４に記録されている対象の名称が同じであれば、対象は同等である。

また、対象が同じもの、あるいは同じ属性を持つものである場合、対象は同等と判定できる。例えば、特定の交差点に設置されたセンサの情報を用いて学習を行う場合、対象は同等である。他の例として、車室内の人の状態を検出するためのセンサの情報を用いて学習を行う場合、異なる車両であっても対象が車室内であることは同等である。

また、同じ装置、あるいは同種の装置から得られる情報を用いて学習を行う場合、利用目的が同一であれば、対象は同等と判定できる。

また、対象が同等であることを、管理者が決定した結果を、情報として入力するようにできる。この場合、比較対象選択部２４３は、その情報により対象が同等であるとみなすことができる。

また、学習結果を用いた分類装置が用いられる範囲が同等であれば、対象は同等と判定できる。例えば、車室内に設置されたセンサを用いる分類装置であれば、対象は車室内であることがわかる。

また、学習のための学習データに付与された識別情報が同一であれば、対象は同等と判定できる。例えば、種別が交差点監視カメラであれば、対象は交差点であることがわかる。

更に、比較対象選択部２４３は、対象を識別して、所定の対象であることを判定するようにできるようにしても良い。例えば、画像を用いて人の状態を分類する分類装置の場合、画像に人の顔や身体の一部が検出されたときに、対象が人であると判定できる。

更に、画像を用いて、対象を特定してから分類するようにできる。例えば猫の品種分類装置で、先に猫であることを識別して、猫の画像に限定した後に、品種を分類するようにできる。

比較対象選択部２４３は、対象が同等である場合、学習結果又は分類装置の対象を識別するための情報として、同じ対象識別IDを付与することもできる。

同等性判定制御部２４４は、比較対象選択部２４３により学習結果の分類対象の同等性があると判定された場合、分類結果の同等性の判定条件を分類結果DB２２５から読み出す。そして、同等性判定制御部２４４は、読み出した分類結果の同等性の判定条件の下で、分類結果の同等性を判定するための試験データにおける各学習結果から出力される分類結果同士を比較する。そして、その比較結果、すなわち、分類結果が同等性の判定条件に合致するかを判定する。

ここで、分類結果の同等性を判定するための条件の一例を以下に記載する。

例えば、学習結果に入力される試験データが同じであり、その試験データに対して、双方の学習結果から出力される分類結果が完全に一致している場合は、分類結果が同等であると判定できる。

一致の程度を条件として設定することで、同等とみなすことができるかどうか判定できる。例えば、同じ試験データに対する全ての分類結果のうち、99.9%以上が一致したときに同等と判定する。あるいは、同じサンプルに対する分類結果が、90%以上一致したときに同等と判定する。

また、双方の学習結果から出力される分類結果が外部装置、例えばデータベースに記録されている既存の分類結果と一致する程度を用いて同等性を判定するようにもできる。このようにすれば、人のエキスパートの分類結果をもとに、判定するようにシステムを構築できる。

その他、学習結果から出力される分類結果を利用する観点で、同等であると見なせる任意の条件を設定して、同等性を判定するようにもできる。

識別情報生成部２４５は、上述した識別情報付与部５と同様な機能を有する。識別情報生成部２４５は、同等性判定制御部２４４が分類結果の同等性の判定条件を満たすと判定した場合、学習結果又は分類結果に付与する識別情報を生成し、その識別情報を学習結果又は分類結果に付与する。

識別情報の生成は、利用者や各システム、各装置など分類の学習結果を利用するときに、学習結果又は分類結果が同等であるかどうかを識別できる必要がある。このため、識別情報を生成する必要がある。

識別情報は、以下のように利用できる。データベースに登録するときのキーとして利用する、利用者が学習結果を特定するために利用する、システム間や装置間で、学習結果を特定するために利用する、その他同等性を確認する必要がある場面で、学習結果を特定するために利用する等である。

また、識別情報に以下の情報を含めるようにできる。例えば、学習方法、学習データの内訳、学習の目標等の学習の内容に関する情報や、利用する装置に関する情報、利用する環境に関する情報、利用者に関する情報等の学習の利用に関する情報である。

このような情報を含めることにより、学習データベースから条件を指定して検索し取得することができる。それによって、利用時に当該学習結果について詳細を把握することが可能となる。

また、識別情報は必ずしも人に理解できる情報でなくてもよい。機械が学習結果を相互に識別できるようになっていればよい。

例えば、任意のテキストデータ、任意のバイナリデータ、識別するための物を用いる等である。

識別するための物を用いる例としては、IDタグなど電子的な識別手段、物理的な形状を３Dプリンタで作成する（例えば人型ロボットの顔）、物理的な鍵を作成する（物理的な手段で識別する）、任意の物体を組み合わせる（組み合わせによって識別情報を構成する）、遺伝子情報のような生化学的な手段、バーコードのような物理的手段等がある。

識別情報が人により識別できる必要がある場合は、以下のようにできる。

例えば、自然言語の文字列を生成する、２次元画像や３次元画像のアイコンを生成する、物理的なラベルを添付する（学習結果を物理的な記憶媒体に記録したときに、この方法が利用できる）等である。

また、生成した識別情報は記憶することができる。

識別情報を記憶するようにすれば、例えば、複製を作成したときに、付帯情報として付与することができる、学習結果として得られた分類能力を記録する分類結果DBで管理することができる、検索可能な条件を指定することで、条件を満たす識別情報を検索することができる。条件を満たす識別情報を検索することができることで、例えば、対象を特定する情報をもとに、識別情報の集合を出力することができたり、入力データを特定して、それが属する識別情報の集合を出力することができたりする。また、識別情報をキーとして、その識別情報をもつ学習結果を検索してリストアップすることができる。

次に、同等性判定装置２４の動作を、フローチャートを用いて説明する。図２４は同等性判定装置２４の動作のフローチャートである。尚、以下の説明では、対象Ａを分類する学習結果Ｍ１及び対象Ｂを分類する学習結果Ｍ２の同等性又は分類結果の同等性を判定する場合について説明する。

まず、学習結果比較部２４２は、同等性を判定する二つの学習結果Ｍ１，Ｍ２を選択する（Ｓｔｅｐ １０００）。そして、学習結果比較部２４２は、分類結果の同等性を判定する少なくとも二つの学習結果Ｍ１，Ｍ２を、学習装置２３の学習結果DBから読み出す（Ｓｔｅｐ １００１）。

比較対象選択部２４３は、二つの学習結果Ｍ１，Ｍ２の対象Ａと対象Ｂとが同等であるかを判定する（Ｓｔｅｐ １００２）。学習結果Ｍ１，Ｍ２の対象Ａと対象Ｂとが同等性がないと判定された場合、後述するＳｔｅｐ １０１２に進む。

同等性判定制御部２４４は、比較対象選択部２４３により、学習結果Ｍ１，Ｍ２の対象Ａと対象Ｂとが同等性があると判定された場合、分類結果の同等性の判定条件を分類結果DB２２５から読み出す（Ｓｔｅｐ １００３）。そして、同等性判定制御部２４４は、分類結果の同等性を判定するための試験データで対象Ａの判定結果リストを作成する（Ｓｔｅｐ １００４）。同様に、同等性判定制御部２４４は、分類結果の同等性を判定するための試験データで対象Ｂの判定結果リストを作成する（Ｓｔｅｐ １００５）。

次に、同等性判定制御部２４４は、対象Ａの判定結果リストと対象Ｂの判定結果リストとを比較し（Ｓｔｅｐ １００６）、同等性の判定条件を満足するかを判定する（Ｓｔｅｐ １００７）。同等性の判定条件を満足する場合は、学習結果Ｍ１，Ｍ２の分類結果が同等である判定する（Ｓｔｅｐ １０１０）。

識別情報生成部２４５は、学習結果Ｍ１，Ｍ２の分類結果が同等である判定された場合、利用者の依頼に応じて、学習結果Ｍ１，Ｍ２、学習結果Ｍ１，Ｍ２の分類結果、又はその双方に付与する識別情報を生成し、学習結果Ｍ１，Ｍ２、学習結果Ｍ１，Ｍ２の分類結果、又はその双方に付与する（Ｓｔｅｐ １０１１）。

一方、同等性判定制御部２４４により、分類結果の同等性が判定条件を満足しない場合は、同等性の判定条件を変更して同等性の再判定の準備処理を行う（Ｓｔｅｐ １００８）。同等性の再判定は、上述した第４、５及び６の実施の形態で説明したように、同等性の判定条件の再設定や試験データの変更等である。そして、再判定の準備処理後、同等性判定制御部２４４は、対象Ａの判定結果リストと対象Ｂの判定結果リストとを比較し、同等性の判定条件を満足するかを判定する（Ｓｔｅｐ １００９）。同等性の判定条件を満足する場合は、学習結果Ｍ１，Ｍ２の分類結果が同等である判定する（Ｓｔｅｐ １０１０）。

更に、同等性判定制御部２４４により、分類結果の同等性が判定条件を満足しない場合は、他の同等性の判定条件が残っていないかを確認し（Ｓｔｅｐ １０１２）、ない場合は分類結果が同等ではないと判定する（Ｓｔｅｐ １０１３）。

このようにして、同等性判定装置２４により、学習結果から出力される分類結果の同等性、又は、その学習結果の同等性を判定する。

次に、上述した実施の形態を用いた具体的な適用例について説明する。

（適用例１）
適用例１は、学習結果に入力される入力データの同等性と、分類結果の同等性とをもとに、分類結果の同等性を判定する方法である。

複数回行われる学習の分類結果が同じになることを想定して学習が行われた場合、それぞれの学習結果による分類が同等であると判断できればよい。

例えば、入力データが重さと大きさの計測結果を用いて分類する方法であれば、重さと大きさの計測方法が多少異なっていても、ほぼ同じようなデータが学習結果に入力されることになる。

ほぼ同じようなデータが入力された複数の学習結果を用いた分類装置があるとき、それぞれの装置が同じ分類対象物のサンプル群に対して同じ分類を行うことが確認できれば、その分類は同じ分類であると見なすことができる。

分類結果の同等性を判定するために所定の条件を設定しておいて、所定の条件を満たした場合に、同等一の分類結果であると見なすことができる。

入力データが同じものであると判断した場合は、下記の方法で分類の同等性を担保できる。

尚、入力データが同じであるかは、以下のような条件で判定できる。
・入力データを生成する装置は同じもの、あるいは同等なものが使用されている。
・入力データが同じ規格にもとづいて取得されている。
・入力データがあらかじめ同じであると、外部装置や組織で判定されている。

適用例１では、例えば、工場の3つの生産ラインに、それぞれ良品と不良品とを分類する判定装置（学習結果を用いた分類装置）を設置した場合について、具体的な例を示す。以下の適用例は、菓子の良品と不良品を分類する場合について説明する。

製品は、図２５のように俵状の形状（Sand Bag shape）をエビのように曲げた形状をしている。トウモロコシを原料として、水を加えて高温にした後、特殊な形状のノズルから射出してカットすることで、発泡して膨らんで上記の形状となる。

食感と形状が製品の特徴であるため、良品と不良品とを分類して、不良品を除く必要がある。例えば、全てが球状となっている場合、食品としての品質には問題が無いが、製品の特徴が損なわれる。また、食感にも影響がある。不良品は、例えば、著しく形状が異なるもの、膨らんでいないもの、一部が欠けて鋭利な断面をもつもの、曲がっていないもの、所定の重量に満たないもの、所定の大きさに満たないもの、所定以上に大きいもの、一部が変色して色が濃くなっているものや、製品の標準色と異なる色のもの、異物や他の製品など、当該製品と重さや形状が異なるもの、その他、生産者や購買者に不都合があるものを不良品とすることができる。

一方、当該製品の製造方法では、個々の製品が完全に同じ形状となることはなく、少しずつ異なる形状となる。このため、カメラ画像などで3次元形状を精密に計測することで、良品と不商品を分類することは困難である。

従って、不定形状であるため、不良品の判定基準は多少あいまいなものとなり、若干の形状の異常は許容されるが、ラインごとに判定基準が異なるのは望ましくない。ただし、異物や他の製品の混入は完全に除去される必要がある。形状については、購入者が違和感を持たない程度に類似していればよい。

しかし、従来は人と同じような感覚的な分類が困難であった。

そこで、AI技術であるディープラーニングを用いることによって、人の感性に近い分類を行うことができる。この場合、購入者が当該製品の形状と著しく異なり、不良ではないかと思うような形状を分類できればよい。ディープラーニングは任意の個数に分類を行うことができるが、適用例１では良品と不良品の2種類に分類する。尚、良品と不良品の２種類ではなく、良品の程度、不良の種類、異物などをそれぞれ異なる分類としてもよい。

以下の説明では、説明を簡単にするため良品と不良品とに分類する例を説明する。

従来、このようなラインの良品と不良品との判定は、製品ごとに人の検査装置製作者が特徴を見いだして、検査装置のプログラムとして作成していた。このため製品の形状が変わるごとに、検査装置のプログラムを再度開発しなおす必要があった。従って、このような不定形状の製品の良品／不良品判定を行うのは容易ではなかった。しかし、ディープラーニングの技術を用いることで、画像やセンサデータを元に対象を分類することをニューラルネットワークで学習させることが可能になった。

適用例１では、各ラインには、良品と不良品とを判定するために、センサを用いて製品の外観や形状、状態を示すデータが取得される。

センサは動画像を用いる。例えば、風圧に対する動きで重さを推定する計量センシングデータ、および、色彩センサと形状センサが用いられる。形状センサは2方向から撮影した画像で投影面積、立体形状の丸さの程度と曲がりの程度を推定する。色彩センサは画像中の製品部分を識別して、焼き色の平均を求める。カメラやセンサなどの入力データを生成する装置は同等のものが選択されている。それぞれのカメラやセンサはラインごとの状態の差、解像度やレンズの差、や撮像素子の特性、センサの個体差および機種の差があり、同じ個体に対してそれぞれ少しずつ異なる値を出力する。そして、製品は重さデータ、形状データ、色データから構成される多次元ベクトルを用いて良品と不良品とが判別される。

このような場合において、検査装置（分類装置）が1台であれば、本発明の課題が発生しないが、それぞれのラインで検査を行うことができない。検査装置（分類装置）が複数台あり、それぞれ少しずつ差がある場合に、本発明の課題が発生する。

ラインごとの製品のばらつきを防ぐためには、各ラインで良品と不良品との判定がほぼ同じとなっている必要がある。

本適用例では、学習装置２３の学習はラインごとに行う。

良品サンプル10000個と不良品サンプルを1000個準備して、各ラインの検査用センサでデータを取得する。良品サンプルと不良品サンプルは各ラインとも同じものを用いる。

学習装置２３は、良品から得られたデータを良品と判定し、不良品サンプルから得られたデータを不良品と判定するように学習を行う。例えばサンプルの７０％を学習データとして用い、残りの30％を、同等性判定装置２４のテストデータとして用いる。

同等性判定装置２４は、30％のテストデータで99.9%以上（ただし異物は100％）を正しく分類（識別）できるかを判定する。各ラインで、それぞれ異物を100％不良品として、全体の誤判定率が所定の条件である0.1%以下であれば、各ラインで検査装置として用いられている良品と不良品との分類結果は同等であるとみなすことができる。

従って、同等性判定装置２４は、この検査装置（分類装置）の出力信号（対象製品の良品又は不良品判定信号）に、対象製品の良品又は不良品判定信号であることを示す識別情報（ID）を付与することができる。

他の分類装置のケースでも、特定の分類について全ての分類装置が、所定の条件で設定される範囲内にある場合は、全ての分類装置の当該出力に所定の識別情報（ID）を付与して、他の分類と識別可能となるようにできる。

尚、複数の分類装置の全ての分類が、所定の条件（例えば99.9%以上の正解率）であった場合には、当該装置の出力全体に対してグループ化した識別情報として、対象製品の良品程度判定信号のような意味を持つIDを付与することができる。例えば、先に示した良品の程度、不良の種類、異物などをそれぞれ異なる分類とした場合に適用できる。

本適用例では、分類対象のサンプル群を特定して、同じサンプル群に対して、それぞれの分類装置のデータ入力部で取得した入力データを用いて学習を行っている。分類装置に入力される入力データはほぼ同じである。そして、分類結果の同等性を判断するための所定の条件を満たしていれば、同じ分類と見なすことができる。所定の条件は、良品と不良品との分類の正解率が99.9%以上であることとして規定されている。

尚、所定の条件は、上記の適用例には限定されない。分類結果の同等性を判断可能となるような、任意の条件を用いることができる。

例えば、良品と不良品サンプルを100％正しく分類するように条件を設定できる。また、同じテスト用サンプルを用いるのではなく、それぞれ分類装置が分類した結果を、あらかじめ分類の適正を評価済みの指標となる分類装置の分類結果との一致性を用いて同等性を判断するようにできる。あるいは、分類された結果のそれぞれについて、バラツキが所定の範囲に収まっていれば同じ分類結果であると見なすようにできる。

また、本発明の応用は上記の適用例には限定されない。

上記の説明では、良品と不良品の2つのグループに分類する例を示したが、３つ以上の場合にも同じように対応することができる。その場合、いずれかの分類について同等性を確認できればよい。必ずしも複数の分類装置の間で、全ての分類が同等と見なせなくてもよい。同等性が必要となる範囲の分類について、確認できればよい。このような例は、上述した識別情報の付与の方法においても説明している。

更に、分類装置の分類結果が同じであるとみなせるケースは他にもある。以下に他のケースについて説明する。
例えば、以下のように、異なる学習結果やそれを使用する装置が応用面からみて同じと見なせる場合に、分類結果に同一の識別情報を付与することができる。

車に搭載される装置に、運転者監視装置がある。カメラ画像や心拍センサ、体温センサなどを用いて運転者の状態を監視することができる。カメラ画像から、運転者の顔を検出できる。運転者の顔から眉、目、鼻、口などの器官を検出して、各器官の状態をそれぞれ判定することができる。例えば顔の向き、視線方向、まぶたの開閉、口の開閉などの動的な状態を検出できる。

顔の各器官の状態や、心拍センサ、体温センサなどの情報をもとに、ディープラーニングの学習を行うことで運転をしている人の状態を詳細に分類することが可能となる。運転者の状態を複数の種類に分類する能力を獲得できる。例えば、状態A：適正な運転状態、状態B：注意力が低下した状態、状態C：安全ではない状態に分類する能力を獲得できる。

しかし、学習に用いるデータが異なる場合、分類する能力が同じになるとは限らない。

例えば、日本、北米、欧州などのように異なる地域で収集した学習データや、2000年から2014年と2010年から2016年など異なる期間に収集した学習データを用いて、同じ学習プログラムによる学習を行った場合、分類能力に差がある可能性がある。

しかし、上記のように異なる学習データをもとに学習を行った学習結果から、所定の分類が同じであると判定した場合には、同一の識別情報を付与できる場合がある。

そこで、複数の学習によって獲得された分類能力の学習結果から出力される分類結果のそれぞれの分類出力のうち、分類結果が共通するものを抽出し、抽出された分類結果について、他方の分類と所定の分類が同じであると判定した場合には、他方の分類と同じ識別情報を付与する共通分類装置２５を、図２６に示すように、学習サービス提供者のシステム２０に設けることができる。

例えば、主に日本で収集したデータで学習した装置に欧州で取得したデータを入力したときに、状態A,状態B、状態Cの分類結果が、日本のデータを分類した結果と所定の範囲で一致した場合、共通分類抽出装置２５は共通の分類として抽出する。各地域のデータを用いた学習結果が全て相互に同じと見なせる場合、それらの学習結果に同じ分類IDを付与できる。

同一の分類IDが付与された場合、日本市場向けにチューニングされた運転者監視装置を、他の市場で使用しても、ほぼ同じ分類能力を持つことに相当する。尚、派生IDとして、学習データの範囲を示すID情報や、期間などデータの範囲を示すID情報を付与するようにできる。

上述の例では、人の状態を検出するセンサの出力を用いて、車内にいる運転者の状態を分類する能力について説明した。同様の方法が、ヘルスケアや行動監視装置など人の状態を分類する装置に応用できる。
また、対象は人に限定されず、任意の装置、建物、システムなどの状態を分類する装置に応用できる。

更に、共通分類抽出装置２５は、少なくとも二つの学習結果を比較し、その学習結果から出力される分類結果の同等性を判定する観点では、同等性判定装置２４と同様なものといえる。すなわち、同等性判定装置２４の同等性の判定条件に分類結果が共通するという概念を導入すれば、同等性判定装置２４でも実施可能である。

従って、共通分類抽出装置２５は、同等性判定装置２４に含まれても、又は、同様な構成のものを同等性判定装置２４とは別に設けても良い。

（適用例２）
適用例１では所定のセンサ情報を用いて良品と不良品との分類を行った。

適用例１の方法では、全ての装置の分類結果を同等の分類とみなすことができないケースがあり得る。その場合、学習データのサンプル数が不足している可能性がある。

そこで、適用例２では学習データの内訳を変更して対応する。

同等性判定装置２４は、適用例１の場合で分類結果が同等ではない場合、学習装置２３にその旨を通知する。学習装置２３は、通知を受けると、学習依頼者のシステム１０に学習データの追加依頼を通知する。

学習依頼者のシステム１０では、学習データの追加依頼を受けると、学習データの追加を行う。学習データの追加は、人が学習データを追加しも良いが、同様の通知を、学習データを準備するロボットに対して行うようにしてもよい。追加依頼を通知された、ライン制御装置またはロボットや人が追加データを準備する。

追加データが入力されると、学習装置２３は再度学習を行う。同等性判定装置２４は、再学習を行った学習結果から出力される分類結果を、適用例１と同様の方法で、分類結果が所定の条件による範囲内となるかを判定する。

尚、入力データを減らして学習を行うようにする方法もある。入力データの種類を減らして学習を行ったときに、それぞれの分類装置の分類結果の同等性が所定の条件の範囲内になる場合には、入力データの種類を減らすようにしてもよい。

また、用いる入力データを所定の条件で選別するようにしてもよい。例えば、生産ラインの不具合が通知された後のデータを除外するようにできる。
また、上記の例でサンプル数を増減するときに、所定の条件で増やしたり減らしたりする対象を選択するようにできる。例えば、通常と異なる特徴を持つ異常なデータを増やす又は減らす。あるいは、異常が確認されて記録されている期間のデータを増やす又は減らす等である。

（適用例３）
適用例３は、適用例１または適用例２で、複数あるニューラルネットワークのうち同等と判定されなかった場合に、分類結果の同等性判定条件を再設定することによって、分類結果を整合させる。

ディープラーニングを用いる必要があるほど複雑で微妙な判定基準で分類を行う場合、分類の境界付近ではわずかな差で異なる判定となることがあり得る。この場合、条件を見直すことで、整合可能とすることができることがある。あるいは、別の機種のセンサを用いて分類するような場合にも、分類の同等性を判断する条件を見直すことで、整合可能となるケースがある。

以下に、具体的な例を示す。

いずれかの装置で、他の装置では良品と判定すべきものが、不良品と判定されるケースか、不良品と判定されているものが、良品と判定されているケースが想定される。これらのケースのいずれかまたは両方が発生している。

例えば、不良品を選別するときに、製品の計測データおよび目視で、製品全体を20ランクに分けて、下位の7ランクを不良と判定していたとする。この基準は、例えば、人のエキスパートの分類と近いものを基準の分類とする。あるいは、不良率が所定の値になるなど、判定可能な条件を適宜設定して、基準の分類を選択するようにしてもよい。

このような場合、不良品とするランクの範囲を広くするか狭くするように変更して、分類結果の判定が基準となる分類と一致するかを再度判定する。

全ての分類装置が所定の条件で範囲内となれば、全ての判定装置の判定結果が同等であるとみなすことができる。

適用例３では、不良品と分類する範囲の条件を変更することで、例えば、分類結果を同等と判定することができる。

上記の例では、不良品と分類するランクの範囲を変更していたが、他の任意の条件を変更するようにできる。例えば、形状と重量、色の3つの評価指標で製品を分類して、一部を不良品としているときに、一部の条件（例えば形状の条件）のみを変更するようにしてもよい。

（適用例４）
適用例４は、入力データの種類を増減することで、複数の装置で分類結果が同等になるようにする。以下に適用例１に対して、入力データを追加する適用例を示す。

適用例１では、重さ、投影面積、立体形状の丸さの程度と曲がりの程度と焼き色の平均を入力データとして、分類を行っていた。これらの入力データを用いたときに全ての分類装置の分類結果が同等にならないときは、入力データの種類が不足していることが考えられる。

そこで、適用例４では、焼き色のむらを加える。焼き色のむらとして、例えば画像の製品部分の最も明るい部分と最も暗い部分の明度の差を用いることができる。

順次入力データの種類を減らしてみて、分類が一致するようになる組み合わせが見つかった場合、その組み合わせによる複数の分類結果に対して、同じ分類IDを付与することができる。効果として、入力データの種類を減らすことで、学習の演算量が少なくなる。

尚、減らす方法で、分類結果が同等とならない場合、入力データの種類を追加するようにできる。特徴を含む種類の入力データが不足していた場合には、追加することで分類結果を同等のものに近づけることができる。例えば、以下の入力データを追加するようにできる。
・形状計測方向の追加
・エッジの鋭さの程度
・彩度データ
・別の製品（当該製品のデータを学習データとして用いて、別の製品の特徴を学習する）
・製品以外の物体らしさ
・螺子、虫、ひも、紙片のような異物を検出する（それぞれのデータを用いて、それぞれの特徴を学習する。）
・金属センサの出力（異物除去精度のため）
各分類装置のデータで分類を学習するときに、順次入力データを増やすようにして、各分類装置（各学習結果）で分類が同等になるまで入力データを追加するようにできる。

以上の方法は、ビッグデータの分析においても、用いることができる。

例えば、所定の種類のデータを組み合わせて用いたときに、複数の分類結果が同等になら場合、入力データの種類を増減させて、同等になった場合に分類結果に同一の分類IDを付与することができる。以下に、小売店における消費者の行動予測を行う分類装置の例について説明する。

特定の商品、例えば適用例１で説明した菓子を購入する可能性が高いかどうかを分類する。分類は購買する可能性が高い、購買する可能がある、購買する可能性が低い、購買する可能性がほとんどない、の４つに分類する。

所定の期間（例えば3ヶ月）ごとに収集した学習データをもとに、分類を学習したとき、購買する可能性が高いと分類されるものにバラツキが大きかったときに以下のように対応できる。尚、そのときの入力データには、消費者の年齢、性別、職種が用いられていたとする。
例えば、上記の学習結果として獲得した分類能力が、店舗の地域ごとにバラツキが大きかった場合、下記のように入力データを追加した結果、バラツキが所定の範囲になったときに、同じ分類IDを付与することができる。
・入力データに所定の商品、例えば同一メーカの別の特定の製品に関する購買履歴情報を追加する。
・直前にアルコール飲料など特定のグループに属する商品を購入した履歴情報を追加する。
・追加する入力データは任意のものでよい。例えば、記録されている情報のなかからランダムに選択して、分類結果が所定の条件で一致するかを判定するようにできる。

更に、IoTの分野でも、同様の方法を用いることができる。例えば、領域に多数設置されたセンサを用いて、特定事象の間の因果関係の有無を分類する学習の例について説明する。

社会インフラにはさまざまなセンサが組み込まれている。ネットワークを利用して、それらの出力するデータを収集することで、因果関係の有無を学習することができる。

例えば、駅の近くにあるコンサートホールや競技場周辺に設置された人の通行量検出センサを用いて、近くにある駐車場からの出庫車の増加との因果関係について学習させる。駅に向かう通路に設置されたセンサのデータを用いて、異なる期間の学習データについて学習した結果の因果関係の程度が大きく異なったとする。次に、ランダムに選択したセンサが駐車場に向かう通路に設置された通路を追加したときには、因果関係の有無を安定して分類できることが期待できる。

（適用例５）
適用例1から適用例４では、あらかじめ人が分類したサンプルを用意していた。このため、教師有り学習を行うことができた。

一方、ディープラーニングは、教師なし学習で対象を分類する能力を獲得することができる。

したがって、あらかじめ分類されたサンプルがない場合に対応する方法が求められる。

複数の分類装置が対象を分類する場合、それぞれの分類結果が同等であると見なせるかを所定の条件で判断できればよい。分類結果の同等性を判定できる装置があれば、同等性を判定できる。例えば、人のエキスパートから分類の同等性を判断できる情報を入力する手段があれば、それにもとづいて同等性が判断できる。あるいは、基準となる分類装置を用いて、それとの同等性を所定の条件で判断するようにできる。

適用例５は、教師なしデータで学習した学習結果から出力される分類結果の同等性を同等性判定装置２４が判定する場合を説明する。

同等性判定装置２４は、異なる分類装置の出力でそれぞれのニューロンから出力される分類結果について、他の装置のいずれかの出力の分類結果とほぼ一致するかどうかを判定する。

利用者の観点で、同じ分類結果であるとみなすことができれば、同じIDを付与できる。必ずしも全ての分類結果が同じ分類能力を備えていなくても、特定のニューロンが同じ分類を行うときは、当該ニューロンに同じIDを付与することができる。

以下は、画像の分類の適用例を示す。尚、適用例１の菓子の良品の程度についても以下と同様であるが、特定の菓子の良品の程度では、一般にわかりにくいので、より一般的な例を用いて説明する。

例えば、多数の画像を教師なし学習データとして入力して、それらを分類するようにディープラーニングの学習を行う。この適用例では、教師なし学習が行われる。

学習の結果、ニューラルネットワークは、類似する画像に対して類似するものごとに分類して、それぞれの分類結果に対応するニューロンが出力するようになる。分類装置が複数ある場合、それぞれの分類装置が分類する能力を獲得する。

複数の分類装置が分類したそれぞれ特定の分類結果が、所定の条件で同等であると見なすことができる場合には、その分類結果に同じIDを付与することができる。

適用例５において、複数の分類装置の、それぞれ特定の1つの出力が同じ画像グループの大半に対して分類結果として出力する場合、同じ分類を行っているとみなすことができる。

尚、分類結果に付与すべき識別情報の名称を人にしてもらうようにできる。

例えば、入力画像に動物の画像が含まれていた場合、学習によって得られた分類結果は猫、犬、馬、象、キリン、魚などをそれぞれ分類するようになっている可能性がある。異なる学習データを用いた場合や、学習プログラムのバージョンが異なっている場合、分類能力が一致するとは限らない。

人が同等性を判断できる場合、以下のようにシステムを構成することで対応できる。

分類された画像を列挙して人に表示することで、その分類がどのようなものであるあるか、画面上で確認してもらうことができる。

また、分類された画像の一覧を出力して人に見せるようにして、その画像グループにふさわしいグループ名を入力するようにシステムを構成することができる。

また、所定の条件で（例えば８０％以上の人）同じグループ名が入力された場合、それを当該分類結果の識別情報（ID）とすることができる。

この場合、あらかじめ類義語のデータベースを構築しておいて、類義語を変換するようにすることが望ましい。例えば、魚、魚類、さかな、フィッシュなどを、魚で代表させる。

あるいは、異なる言語で入力された場合には、所定の言語に翻訳するようにできる。例えば、英語でFishと入力されたら、日本語の魚に翻訳する。

例えば分類結果として人が魚と認識する画像が表示されている場合、人はその分類結果に魚というグループ名を入力する。多くの人が同じグループ名を入力した場合、そのグループ名を分類IDとして使用することができる。

入力されたIDを所定の関数で別の名前空間に変換するようにしてもよい。（例えば日本語にするなど）。

分類のレベルを揃えたい場合、以下のようにすることで対応できる。

・所定の条件でレベルが揃うようにグループ名を変換する。例えば、代表名とそれに属する個別名称のテーブルをあらかじめ作成しておく。動物の例では、猫、犬、馬、象、キリンなど動物に属する個別名称が入力された場合に、動物で代表させる。魚の例では、鯉、金魚、サメなど魚類に相当する個別名称が入力されたら、魚で代表させる。

外部に上記の方法で分類に名称をつけた装置が存在する場合、それを基準とすることもできる。

例えば、基準となる分類装置がネットワークに接続されている場合、入力データを送信して、分類結果を比較することができる。分類結果が所定の条件で一致した場合、基準となる分類装置がその分類につけている名前を、分類IDとして付与することができる。この場合、人が介在することなく同等性を判定できる。

同等性判定装置２４は、画像以外の分類に対しても適用することができる。以下では、楽曲を分類する例について説明する。

楽曲を人が聞いたときに感じることについて分類できる。例えば以下の分類が可能である。
・明るいイメージの曲、悲しいイメージの曲
・朝を思い起こさせる曲、昼を思い起こさせる曲、夜を思い起こさせる曲
いずれかの分類装置を基準として、基準との類似度用いて、分類結果の同等性を判定できる。

分類結果の同等性の判断の条件として用いるのは、必ずしも上記の方法である必要はない。

更に、適用例５の応用例として、以下のものが考えられる。

同等性判定装置２４は、所定の条件で、基準となる学習結果を選択する。これが、基準となる分類装置に相当する。

例えば、学習結果として分類結果の安定性が高いものを選択する。具体的には、同じサンプル群を繰り返し分類させて、特定の個体に対して以前と異なる分類を行った比率を求める。この比率が最も低いものが安定しているので、それを基準となる学習結果とする。あるいは、他の学習結果と分類結果の類似度が最も高いものを選択するようにしてもよい。

基準となる学習結果を決定したら、それに整合するように適用例２から適用例５の方法で分類結果を整合させることができる。

整合させた分類結果のそれぞれに対して、同一の任意の分類ID（識別情報）を付与すればよい。

人の感性と一致する必要が無い場合には、この方法を用いることで、人が全く関与しなくても、分類結果を整合させることができる。

（適用例６）
適用例６は、同等性判定装置２４が同等性の確認がされた分類結果のグループに、同一の識別情報(ID)を付与する例である。

動物の画像に対して、猫や犬ではなく上位概念の動物と分類させたいことがある。このような場合、猫、犬、馬、象、キリンの分類結果に対して、同じ動物というIDを付与させる。

グループ化の方法であるが、適用例５と類似する方法でレベルを揃えることができる。

例えば、あらかじめ、グループ化したい分類ごとに、そのグループに含めたい分類を列挙したり、テーブルを作成して、親となるグループごとに、それに属する分類をリスト化したデータを関連づける等である。

更に、グループを階層構造にしてもよい。例えば、以下に例を示す。
・花のグループに、下位の階層の桜、梅、チューリップを含める
・草のグループに、下位の階層のヨモギ、ススキを含める。
・木のグループに、下位の階層の松、杉、檜などを含める。
・植物のグループに、下位の階層の花、草、木を含める。

尚、分類IDを付与するときは、最上位のグループまでたどり、グループ化した下位概念が同等と判定されていれば、上位概念のグループも同等であるとみなすことができる。

（適用例７）
上述の適用例で、多数の教師データつきの風景画像やスナップ写真が入力された場合、個々の対象に対して異なる学習装置の学習結果で異なる分類能力が獲得されることがある。このとき、同じ対象に対して、異なる分類が行われたことになる。
一方、人が分類する場合に、同じ対象を異なる観点で分類することがある。このとき、それぞれの観点による分類は矛盾する訳ではない。

適用例７では、同じ対象に対して複数の分類IDを付与することができる。

複数の学習結果において、分類結果の同等性が確認されていれば、複数の分類IDを付与した場合にも同等であるとみなすことができる。このような複数分類の付与は、画像のみでなく、音楽データや、コンテンツの分類に応用することができる。

例えば、音楽データの場合、アップテンポやスローテンポのような分類と、明るい曲と陰影のある曲、激しい曲と静かな曲のような分類と、朝聞く音楽、昼に聞く音楽、夜に聞く音楽のような分類を同じ曲に対して行うようにできる。同じ曲に対して、複数の分類結果の識別情報が付与される。

例えば、教養コンテンツの場合、購入者によるレビューをもとに分類することができる。例えば、世代別の学習データを用いて学習した、特定の世代が好むコンテンツ、特定の事象に関心がある人のデータを用いて学習した、特定事象との関連が高いコンテンツ、特定の性格を持つ人が高評価したコンテンツ等の複数の分類を、同じ1つのコンテンツに付与することができる。

また、IoT分野でも複数の分類IDを付与することがある。

例えば、複数のセンサを組み合わせて、店舗の状態を分類することができる。

例えば、人の多さに影響される学習データをもとに、混雑している又はすいているに分類、空調に関連する学習データをもとに、寒すぎる又は快適又は暑すぎるに分類する。そして、それらの複数の分類を、ひとつの店舗に対して付与することができる。

（適用例８）
適用例８は、分類結果を合成することで、所定の条件で複数の学習結果が同じになるようにする例である。

複数の学習結果のうち、特定のものを、分類の基準として用いることにする。例えば、人のエキスパートの分類と最も近いものを分類の基準として用いることができる。あるいは、適用例６の方法でグループ化した上位概念のグループを用いてもよい。

基準とした学習結果による分類結果と、所定の条件で一致するものは、適用例１の方法で同等の分類結果と見なすことができる。

したがって、基準とした学習結果と同じ分類識別情報を付与することができる。

特に、教師なし学習で分類を行った場合、基準となる分類が、複数の分類に分かれて分類されていることがある。例えば、写真の分類で猫科の動物を分類した学習結果を基準とする。このとき、別の学習データをもとに学習した学習装置が、猫とライオンと虎など、猫科の動物をそれぞれ異なる分類としていることがある。この場合、猫とライオンと虎を合成して1つの分類結果（猫科）とすることで、基準とした分類と同じ分類を行うことができる。

以上の方法の一般化すると、図２７のフローチャートとなる。

まず、複数の学習結果の分類から、分類の基準を選択する（Ｓ２０００）。

基準となる分類と、他方の分類を所定の条件で比較する（Ｓ２００１）。そして、学習結果の対象が一致するかを比較する（Ｓ２００１）。対象が一致する場合は、合成する必要がないので、処理を終了する。

対象が一致しない場合、こまでとは異なる分類の組み合わせを選択し（Ｓ２００３）、組み合わせた結果を和集合として合成する（Ｓ２００４）。尚、合成は積集合でも良い。

基準となる分類結果と、合成された分類の分類結果とを、所定の条件で比較する（Ｓ２００５）。更に、そして、学習結果の対象が一致するかを比較する（Ｓ２００６）。対象が一致する場合は、合成する必要がないので、処理を終了する。

比較の結果、終了条件を満たす場合（Ｓ２００７）、最も近い合成結果を選択する（Ｓ２００８）。

以上、具体的な適用例を説明した。これらの適用例を、図２４のフローチャートの同等性の再判定の準備処理（Ｓｔｅｐ １００８）に適用した場合のフローチャートを図２８に示す。各再判定の準備処理は以下の通りである。
・適用例２：学習データの範囲を変更する（Ｓｔｅｐ ３０００）
・適用例３：分類結果が同等になるように条件を再設定する（Ｓｔｅｐ ３００１）
・適用例４：分類結果が同等になるように入力データの種類を変更する（Ｓｔｅｐ ３００２）
・適用例５：同等性が判定できる外部装置を用いて判定する（Ｓｔｅｐ ３００３）
・適用例６：同等性が確認された分類結果のグループに、同一の識別情報を付与する（Ｓｔｅｐ ３００４）
・適用例７：同等性が確認された複数の識別情報を付与する（分類結果を複数のグループでラベルづけする）（Ｓｔｅｐ ３００５）
・適用例８：分類結果が同等となるように分類を合成する（Ｓｔｅｐ ３００６）
以上の再判定の準備処理は一例であり、これらに限定されるものでない。

最後に、本発明が適用できる分野について述べる。

本発明は、ディープラーニング技術の活用によって、人に匹敵する分類能力や人の識別能力を超える分類を実現するようなケースに対応できる。

例えば、不定形状の菓子の不良品判定に応用できる。不定形状であるため、計測を精密に行うことで、良品と不良品を分類することはできない。しかし、製品の購入者は明らかな不良品を容易に識別できる。例えば、紙片など異物が混入していれば、容易にわかる。

人の分類能力に匹敵するレベルの分類能力が求められる例は他にもある。

例えば、自動車の操作部品や周囲のパネルを塗装する生産ラインで、塗装の微妙な塗りむらの不良を検出する場合に同様の分類能力が求められる。製品の塗りむらの許容範囲は車両の購入者の判断によるため、人の感性に近い分類を行う必要がある。特に塗装面に細かい凹凸がある場合や、塗料が単色ではなく部分的なグラデーションを持つばあいには、単純な方法では分類が困難である。従って良品や製品の等級を判定する場合に、人に近いあるいは人を超える分類能力が必要となる。

このような、高度な分類能力が求められる分野は多い。

分類能力の獲得に用いる機械学習技術はディープラーニングに限定されない。任意の機械学習技術に応用できる。
適用例の応用分野はそれぞれ例を示している。

分類はさまざまな場面で必要となるので、幅広い分野に応用することができる。例えば、以下の通りである。

不定形状の製品の良品と不良品の分類に応用できる。例えば、食品、機械部品、化学製品、薬品などのさまざまな工業分野にも応用することができる。漁業分野や農業分野、林業分野などで、出荷検査や等級分類に応用することができる。サービス業に応用することができる。医療や健康分野に応用することができる。組込分野の製品にAI技術を適用するときに応用することができる。社会システムに応用することができる。IT技術を活用したシステムに応用することができる。ビッグデータの分析に応用することができる。幅広い制御装置における分類機能で応用することができる。その他、分類を必要とする任意の分野に応用することができる。

分類結果の同等性の判定は、分類対象又は学習結果に応じて異なることがあるが、上記適用例のそれぞれにおいて、学習情報記憶部、判定条件記憶部それぞれに記憶された情報を用いて、異なる同等性の判定をしてもよい。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
機械学習により分類能力を獲得した少なくとも二以上の学習結果に関する情報を記憶する学習情報記憶部と、
前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる分類結果同等性判定条件を記憶する判定条件記憶部と、
プロセッサと
を有し、
前記プロセッサは、
前記少なくとも二以上の学習結果から出力される分類結果が入力され、
前記学習情報記憶部及び判定条件記憶部から前記学習結果に関する情報と前記分類結果同等性判定条件とを読み出し、前記学習結果に関する情報と前記分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定し、
前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する
識別情報付与システム。

（付記２）
少なくとも一以上のメモリと、前記メモリと接続されたプロセッサとを有し、
前記プロセッサは、
機械学習により分類能力を獲得した少なくとも二以上の学習結果から出力される分類結果が入力され、
入力される分類結果の学習結果に関する情報と、前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる分類結果同等性判定条件とを取得し、
前記学習結果に関する情報と前記分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定し、
前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する
識別情報付与装置。

以上好ましい実施の形態及び適用例をあげて本発明を説明したが、全ての実施の形態又は適用例の構成を備える必要はなく、適時組合せて実施することができばかりでなく、本発明は必ずしも上記実施の形態及び適用例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 学習情報記憶部
２ 判定条件記憶部
３ 分類結果入力部
４ 判定部
５ 識別情報付与部
６ 設定部
７ 分類対象同等性判定部
８ 再学習依頼部
９ 入力データ変更部
１０ 分類結果合成部

Claims (12)

1. 機械学習により分類能力を獲得した少なくとも二以上の学習結果に関する情報を記憶する学習情報記憶部と、
   前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる分類結果同等性判定条件を記憶する判定条件記憶部と、
   前記少なくとも二以上の学習結果から出力される分類結果が入力される分類結果入力部と、
   前記学習結果に関する情報と前記分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する判定部と、
   前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する識別情報付与部と
   を有する識別情報付与システム。
2. 前記識別情報付与部は、前記同等であると判定された分類結果を出力した学習結果同士に同一の識別情報を付与し、
   前記判定部は、前記分類結果同士が同等であるかの判定に基づいて、前記学習結果の同等性を判定する
   請求項１に記載の識別情報付与システム。
3. 前記分類結果同等性判定条件は、前記学習結果の分類対象の一致度、前記学習結果から出力される分類結果の一致度の少なくともいずれかを含む
   請求項１又は請求項２のいずれかに記載の識別情報付与システム。
4. 前記識別情報を付与する範囲を設定する設定部を有し、
   前記識別情報付与部は、設定された識別情報を付与する範囲で、前記学習結果又は前記分類結果の少なくともいずれかに識別情報を付与する
   請求項１から請求項３のいずれかに記載の識別情報付与システム。
5. 前記学習結果が分類する分類対象の同等性を判定する分類対象判定部を
   有する請求項１から請求項４のいずれかに記載の識別情報付与システム。
6. 前記判定部により、分類結果が同等であると判定できなかった場合、学習データを変更して学習結果の再学習を依頼する再学習依頼部を
   有する請求項１から請求項５のいずれかに記載の識別情報付与システム。
7. 前記判定部は、分類結果が同等あると判定できなかった場合、使用する分類結果の同等性の判定条件を変更する
   請求項１から請求項６のいずれかに記載の識別情報付与システム。
8. 前記判定部により、分類結果が同等あると判定できなかった場合、分類結果の同等性の判定に利用される、前記学習結果に入力される入力データを変更する入力データ変更部を
   を有する請求項１から請求項７のいずれかに記載の識別情報付与システム。
9. 前記学習結果から出力される分類結果同士を合成し、新たな分類結果を生成する分類結果合成部を有し、
   前記判定部は、前記分類結果合成部により生成した分類結果が同等であるかを判定する
   請求項１から請求項８のいずれかに記載の識別情報付与システム。
10. 機械学習により分類能力を獲得した少なくとも二以上の学習結果から出力される分類結果が入力される分類結果入力部と、
    入力される分類結果の学習結果に関する情報と、前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる分類結果同等性判定条件とを取得する取得部と、
    前記学習結果に関する情報と前記分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力された分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する判定部と、
    前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する識別情報付与部と
    を有する識別情報付与装置。
11. 機械学習により分類能力を獲得した少なくとも二以上の学習結果から出力される分類結果を受け、
    機械学習により分類能力を獲得した少なくとも二以上の学習結果に関する情報と、前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定するための分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定し、
    前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する
    識別情報付与方法。
12. 機械学習により分類能力を獲得した少なくとも二以上の学習結果から出力される分類結果を入力する処理と、
    記憶部に記憶されている、前記少なくとも二以上の学習結果に関する情報及び前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定するための分類結果同等性判定条件を用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する処理と、
    前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する処理と
    をコンピュータに実行させるプログラム。

Images