JP7468155B2 - 方法、装置、および、コンピュータープログラム - Google Patents

方法、装置、および、コンピュータープログラム Download PDF

Info

Publication number
JP7468155B2
JP7468155B2 JP2020094205A JP2020094205A JP7468155B2 JP 7468155 B2 JP7468155 B2 JP 7468155B2 JP 2020094205 A JP2020094205 A JP 2020094205A JP 2020094205 A JP2020094205 A JP 2020094205A JP 7468155 B2 JP7468155 B2 JP 7468155B2
Authority
JP
Japan
Prior art keywords
intermediate data
data
similarity
neuron
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020094205A
Other languages
English (en)
Other versions
JP2021189730A (ja
Inventor
光 倉沢
佳奈 金澤
亮基 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020094205A priority Critical patent/JP7468155B2/ja
Priority to CN202110583658.XA priority patent/CN113743575B/zh
Priority to CN202110586033.9A priority patent/CN113743576B/zh
Priority to US17/333,718 priority patent/US20210374504A1/en
Priority to US17/333,271 priority patent/US20210374535A1/en
Priority to US17/333,222 priority patent/US20210374534A1/en
Publication of JP2021189730A publication Critical patent/JP2021189730A/ja
Application granted granted Critical
Publication of JP7468155B2 publication Critical patent/JP7468155B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本開示は、ベクトルニューラルネットワークを用いた技術に関する。
従来、機械学習において、入出力の要素としてベクトルを含むアルゴリズムモデルが知られている（特許文献１，２、非特許文献１，２）。
米国特許第５２１０７９８号公報 国際公開２０１９／０８３５５３号公報
Geoffrey Hinton, Sara Sabour, Nicholas Frosst, "MATRIX CAPSULES WITH EM ROUTING", published as a conference paper at ICLR 2018 Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton, "Dynamic Routing Between Capsules", 31st Conference on Neural Information Processing Systems (NIPS 2017)
特許文献１の技術では、カプセルネットワーク型のアルゴリズムモデルが開示されている。カプセルネットワークは、カプセルと呼ばれるユニットをネットワークのノードに有するアルゴリズムモデルである。カプセルネットワークにおける典型的なカプセルは、ポーズ(pose)とアクティベーション(activation)とを入出力する。ポーズは、それを出力したカプセルの状態を表し、ベクトルまたは行列の形態をとる。また、アクティベーションは、それを出力したカプセルの活性度を表すスカラー量である。ポーズとアクティベーションは、動的合議制ルーティング(dynamic routing by agreement)と呼ばれる手法を用いて、前層の複数のカプセルからの出力、例えばポーズとアクティベーションとによって決定される。
より広義には、カプセルネットワーク型アルゴリズムモデルは、ベクトルや行列を入出力とするベクトルニューロンをユニットの単位とするベクトルニューラルネットワーク（VNN : vector neural network）型のアルゴリズムモデルと考えることができる。またベクトルニューラルネットワーク型のアルゴリズムモデルでも、ベクトルニューロンの活性度として取り扱うことができるアクティベーション（activation）を定義することができる。ベクトルニューラルネットワークでは、情報の伝搬測は動的合議制ルーティングに限定されず、任意の手法を用いることができる。
例えば、伝搬測としては、概略として、各ベクトルニューロンからの投票の総和ｕに、そのノルムのソフトマックスの値で重み付けして決定する方法が挙げられる。ベクトルニューラルネットワークは、各層に複数のベクトルニューロンを有し、カーネルサイズ（kernel size）とストライド（stride）で設定される前層のベクトルニューロン群から次層のベクトルニューロンを計算する。最終層で、目的のクラス判別と同数のベクトルニューロンを有し、アクティベーションが最大となるベクトルニューロンに対応するクラスが出力される。クラス判別は、ラベル判別とも呼ぶ。また、ベクトルニューロンは単にニューロンとも呼ぶ。
一般に、ＶＮＮを用いてクラス判別が行われた場合、クラス判別の結果は出力されるものの、出力されたクラスの判別根拠が不明であり、判別根拠を知ることは困難である。
（１）本開示の第１の形態によれば、１または複数のプロセッサーに実行させるための方法が提供される。この方法は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習することであって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、ことと、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得することと、を備える。
（２）本開示の第２の形態によれば、予め学習されたモデルを用いて、１または複数のプロセッサーに実行させるための方法が提供される。前記モデルは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する。この方法は、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得することと、前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得することと、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算することと、を含む。
（３）本開示の第３の形態によれば、装置が提供される。この装置は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習する学習部であって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、学習部と、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する第１取得部と、を備える。
（４）本開示の第４の形態によれば装置が提供される。この装置は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されたモデルを記憶する記憶装置であって、前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、記憶装置と、前記学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する第１取得部と、前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する第２取得部と、前記第１中間データと前記第２中間データとの類似度を計算する計算部と、を備える。
（５）本開示の第５の形態によれば、コンピュータープログラムが提供される。このコンピュータープログラムは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習する機能であって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、機能と、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する機能と、を１または複数のプロセッサーに実行させる。
（６）本開示の第６の形態によれば予め学習されたモデルを用いて実行されるコンピュータープログラムが提供される。前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する。前記コンピュータープログラムは、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する機能と、前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する機能と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する機能と、を１または複数のプロセッサーに実行させる。
学習段階の判別システムを説明するための図。 第１データセットと事前ラベルを説明するための図。 予想の投票によるベクトルニューロンの決定を概念的に示す第１の図。 予想の投票によるベクトルニューロンの決定を概念的に示す第２の図。 ベクトルニューラルネットワーク型のモデルの設定方法を説明するための図。 モデルの学習段階で実行される学習処理を示すフローチャート。 判別段階の判別システムを説明するための図。 第２データセットを説明するための図。 第２データセットのクラス判別処理のフローチャート。 第１説明処理のフローチャート。 特徴スペクトルを説明するための図。 第２説明処理のフローチャート。 第２データ要素を説明するための図。 第１ニューロン層におけるコサイン類似度を示す図。 第２ニューロン層におけるコサイン類似度を示す図。
Ａ．実施形態
図１は、学習段階の判別システム１００を説明するための図である。図２は、第１データセット１２と事前ラベル１４を説明するための図である。図１に示す判別システム１００は、ベクトルニューラルネットワークを用いたモデル３０の学習を行う段階を表している。判別システム１００は、判別装置２０と、外部装置との間でデータのやり取りをするデータインターフェースと、を備える。データインターフェースは、限定されないが好適にはＵＳＢアダプター、有線または無線ＬＡＮアダプターなどである。
本実施形態では、データインターフェースを介して、外部装置から判別装置２０の記憶装置に第１データセット１２が格納されている。第１データセット１２は、モデル３０の学習に用いられる。第１データセット１２は、第１データ要素１２Ａ，１２Ｂ，１２Ｃと、第１データ要素１２Ａ，１２Ｂ，１２Ｃに対応する事前ラベル１４とを有する。事前ラベル１４のうち、第１データ要素１２Ａに対応するラベルを事前ラベル１４Ａとも呼び、第１データ要素１２Ｂに対応するラベルを事前ラベル１４Ｂとも呼び、第１データ要素１２Ｃに対応するラベルを事前ラベル１４Ｃとも呼ぶ。第１データセット１２は、センサーによって取得された複数の第１データ要素１２Ａ，１２Ｂ，１２Ｃを含む。センサーは、ＲＧＢカメラ、赤外カメラ、デプスセンサー、マイクロフォン、加速度センサー、ジャイロセンサーなどの各種センサーであり、本実施形態ではカメラである。
図２に示すように、各第１データ要素１２Ａ～１２Ｃは、カメラで撮像した種類が異なる対象物としてのサイコロである。第１データ要素１２Ａは、全面が一の目のサイコロをカメラで撮像したデータ要素である。第１データ要素１２Ｂは、全面が二の目のサイコロをカメラで撮像したデータ要素である。第１データ要素１２Ｃは、全面が三の目のサイコロをカメラで撮像したデータ要素である。画像データである第１データ要素１２Ａ～１２Ｃはそれぞれ、１０００枚ずつ準備されている。第１データ要素１２Ａ～１２Ｃはそれぞれ画像サイズが３２×３２ピクセルである。また１０００枚ずつの第１データ要素１２Ａ～１２Ｃは、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。モデル３０での学習に用いられる第１データ要素１２Ａ～１２Ｃや、モデル３０によってラベル判別される後述する第２データ要素は、特徴に階層性を有する。特徴に階層性を有するとは、注目するデータ領域を微小な領域から、段階的に大きくしていくと、領域ごとに異なる特徴が現れることを意味する。例えば、特徴として、領域のテクスチャー、領域に現れる形状、領域に現れる各要素の配置、領域に現れる全体構成などが各層に該当する。特徴の階層性は、多くのデータに一般的にみられる特徴構造であり、第１モデル３０を用いた本開示の内容は汎用性が高い。
事前ラベル１４は、第１データ要素１２Ａ～１２Ｃのそれぞれに対応付けて第１入力データセット１０に記憶されている。事前ラベルは、第１事前ラベルとしての良品ラベルと、第２事前ラベルとしての不良品ラベルとを有する。事前ラベル１４は、単にラベル１４とも呼ぶことがある。第１データ要素１２Ａには、事前ラベルとして不良品ラベルが対応付けられている。第１データ要素１２Ｂには、事前ラベルとして不良品ラベルが対応付けられている。第１データ要素１２Ｃには、事前ラベルとして良品ラベルが対応付けられている。つまり、本実施形態におけるモデル３０は、立方体の各表面に３の目を印刷または刻印した製品を製造する場合に使用され、製品の良品と不良品を判別する。
図１に示す判別装置２０は、パーソナルコンピューターなどの電子計算機である。判別装置２０は、記憶装置２２と、プロセッサー２４と、出力部２６とを備える。記憶装置２２は、フラッシュメモリーやＥＥＰＲＯＭなどの一時的でない記憶媒体としての不揮発性記憶媒体２３と、メインメモリーとしてのＤＲＡＭと、を含む。記憶装置２２には、モデル３０と、入力された第１入力データセット１０を用いて生成される収集データ要素３２とが記憶されている。また、記憶装置２２には、判別装置２０の動作を制御するための各種プログラムが記憶されている。
プロセッサー２４は、記憶装置２２に記憶された各種プログラムを実行することで各種機能を実現する。プロセッサー２４は、例えば、学習部と第１取得部と第２取得部と計算部として機能する。なお、他の実施形態では、各種機能の少なくとも一部がハードウェア回路によって実現されてもよい。ここで、本明細書において、「プロセッサー」は、ＣＰＵ、ＧＰＵ、およびハードウェア回路を包含する用語である。
出力部２６は、各種情報を出力するために用いられる。出力部２６は、例えば、液晶モニターである。各種情報としては、例えば、学習されたモデル３０を用いて判別したデータ要素のラベルに関する情報を表示する。出力部２６は、液晶モニターなどの表示装置に代えて、音声を出力するスピーカーであってもよい。
モデル３０は、ベクトルニューラルネットワーク型のアルゴリズムモデルであり、複数層を有する階層型である。モデル３０は、上記の特許文献２や非特許文献１，２に記載されたカプセルネットワークにおいて実行される動的ルーティング（Dynamic routing）を省略可能にしたネットワークである。モデル３０は、動的ルーティングで必要となる反復処理が必要でない。以下にカプセルネットワークのアルゴリズムとベクトルニューラルネットワークのアルゴリズムの違いについて説明する。
カプセルネットワークの動的ルーティングのアルゴリズムの概略は、以下の式（１）～式（５）によって表される。
Figure 0007468155000001
Figure 0007468155000002
Figure 0007468155000003
Figure 0007468155000004
Figure 0007468155000005
上記式（１）～（５）において、Ｘｉは層Ｌでのカプセルの出力、Ｘｊは次の層Ｌ＋１でのカプセルの出力である。また、ＷｉｊはＸｉからＸｊの予測値を求めるための変換行列であり、カプセルネットワークの学習過程において最適化される。また、ａｉは層Ｌでのカプセルのアクティベーション値である。Ｒｉｊはルーティングファクターと呼ばれ、アルゴリズム開始時に定数で初期化される。またＲｉｊは前層のどのカプセルから、次の層のどのカプセルへ出力を行うか決定する要素である。動的ルーティングとは、Ｒｉｊをデータ要素ごとに動的に変化させることを意味し、確率的統計の手法を用いて最適な値を決定する。式（３）および式（４）に記載の「Ｆ」や「Ｇ」は、確率的統計処理を抽象化して表した式である。式（３）および式（４）を、例えば、ＥＭアルゴリズム（Expectation-Maximization algorithm）で考えた場合、「Ｆ」がＭステップを、「Ｇ」がＥステップを表すと対応付けることができる。また、式（４）から式（２）へとＲｉｊが収束するまで繰り返し計算が実行される。カプセルネットワークでは、２～３回程度の繰り返し計算が推奨されている。
一方で、本実施形態のモデル３０に用いられるベクトルニューラルネットワークの出力決定アルゴリズムを以下に説明する。
Figure 0007468155000006
Figure 0007468155000007
Figure 0007468155000008
Figure 0007468155000009
ここで、上記式（６）の「Ｍ」に「ｉ」と「Ｌ」を付した要素Ｅｍａは、層Ｌにおけるｉ番目のベクトルニューロンの出力を表す。式（５）の「Ｗ」に「ｉｊ」と「Ｌ」を付した要素Ｅｍｂは、要素Ｅｍａから、層Ｌ＋１のｊ番目のベクトルニューロンの出力である上記式（９）の左辺の要素の方向に関する予測値ｖｉｊを算出するための変換行列であり、確率的勾配降下法による学習対象である。ｕｊは層Ｌにあるすべてのベクトルニューロンからの要素Ｅｍａの予測値ｖｉｊの総和である。ｉは、１～Ｎをとり、Ｎは整数である。ｕｊのノルムは、予測値が大きく、まとまっているほど大きくなる。式（８）のソフトマックス関数により、層Ｌ＋１の全てのベクトルニューロンについてのｕｊのノルムは、規格化した値である確度ａに変換される。ここでβは、上述の式（８）に記載のごとく、ノルムの大きさの確度に与える影響を調節するパラメーターであり、今回はβ＝１で実行している。また、式（８）において、「ｋ」は１～Ｎをとる。確度ａは、カプセルネットワークにおけるアクティベーションに相当する要素である。よって、確度ａをアクティベーションａとも呼ぶ。ｊは、１～Ｍの値をとる。ここで、「Ｍ」は整数である。確度ａの情報を式（９）により要素Ｅｍｂに統合するため、ベクトルニューロンから次のベクトルニューロンへと明示的に出力されることはない。式（９）により、ｕｊの方向に関する情報だけを取り出して、層Ｌ＋１内での相対的な確度ａで重み付けされて、要素Ｅｍａが決定する。
要素Ｅｍｂは、学習の過程で極端に大きな値をとらないように、２ノルムがロス関数に組み込まれる。ここで、要素Ｅｍｂのノルムは、適当なベクトルとの積を用いて定義され、ベクトルとして要素Ｅｍａを用いると、以下の式（１０）で表される。
Figure 0007468155000010
ベクトルニューロンのベクトルである出力Ｍの大きさは、各層の相対的な確度ａで重み付けされているため、確度ａの高い情報からの投票は、大きな影響力をもつことになる。
図３は、予想の投票によるベクトルニューロンの決定を概念的に示す第１の図である。図４は、予想の投票によるベクトルニューロンの決定を概念的に示す第２の図である。図３および図４では、理解の容易のために、ベクトルニューロンの次元数を次元ｍ１と次元ｍ２の２としている。図３に示すように、方向のそろった予想の投票が確度の高い出力Ｍにつながる。一方で、図４に示すように、方向がそろっていない予想の投票は確度の低い出力Ｍとなる。
図５は、ベクトルニューラルネットワーク型のモデル３０の設定方法を説明するための図である。モデル３０は、入力される第１データセット１２側から順に、畳み込み層３３と、プライマリーニューロン層３５と、第１ニューロン層３７と、第２ニューロン層３８と、最終層である分類ニューロン層３９とを備える。なお、モデル３０の階層数は、入力されるデータ要素の種類に応じて、適宜変更される。本実施形態では、ニューロン層は４つの層３５，３７，３８，３９によって構成された階層構造である。下位側から順に、プライマリーニューロン層３５、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９が配列される。上位側のニューロン層における各ニューロンのベクトルＭとアクティベーションａは、カーネルとストライドで設定される１以上のニューロンによって構成された下位側の層である前層のニューロン群を用いて決定される。各ニューロンが有するベクトルＭは、本実施形態では１６次元である。
第１データセット１２の各データ要素１２Ａ～１２Ｃに対して、５×５のカーネルをストライド「２」で適用することで、データ要素の範囲のうちで畳み込み層３３の一つのノードに出力を与える部分範囲が決まる。各データ要素１２Ａ～１２Ｃに対して適用するカーネルの数は３２である。これにより、畳み込み層３３は、第１軸である縦軸と第１軸と直交する第２軸である横軸がそれぞれ１４つに区切られた領域を有するように構成される。また、畳み込み層３３の深さ方向の数を示すチャンネル数はカーネルの数と同数の３２で構成される。「部分範囲」とは、データ要素上でこの縦軸の位置と横軸の位置で特定される１つの領域である。ただし、以下の説明から明らかなように、データ要素上の「部分範囲」の大きさは、「部分範囲」に対応するニューロン、または部分領域Ｒｘがニューロン層３５，３７，３８，３９のどれに属するかに応じて異なる。また、「部分領域」とは、ニューロン層において縦軸の位置と横軸の位置とで特定される領域である。ニューロン層における各「部分領域」は、上記縦軸、横軸、およびチャンネルに対応する「Ｈｅｉｇｈｔ」×「Ｗｉｄｔｈ」×「Ｄｅｐｔｈ」の次元を有する。本実施形態では、１つの「部分領域」に含まれるカプセルの数は「１×１×デプス数」である。本明細書において、部分領域Ｒｘの「ｘ」にはニューロン層３５，３７，３８，３９に応じて、「３５」、「３７」、「３８」、「３９」の数値を代入する。例えば、部分領域Ｒ３５は、ニューロン層３５における領域を示す。
畳み込み層３３は、１×１×３２のカーネルをストライド「１」で適用することで、畳み込み層３３の部分領域Ｒ３３のうちから、プライマリーニューロン層３５の一つのニューロンに出力する部分領域Ｒ３３が、決まる。ここでは、同じサイズ、同じストライドで、１６種類のカーネルが用いられることから、プライマリーニューロン層３５において、畳み込み層３３の一つの部分領域Ｒ３３に対応するニューロンの数は１６である。畳み込み層３３のノードからプライマリーニューロン層３５のニューロンへの出力の生成には、変換行列が用いられており、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられていない。なお、ニューロン層に畳み込むためのカーネルの次元は、チャネル数およびニューロンの要素数も考慮にいれる場合には、「Ｈｅｉｇｈｔ」×「Ｗｉｄｔｈ」×「Ｄｅｐｔｈ」×「ベクトルＭの要素数」と表現されることもある。この表現にしたがうと、畳み込み層３３からプライマリーニューロン層３５への畳み込みに用いられるカーネルの次元は、１×１×３２×１６である。
プライマリーニューロン層３５では、３×３×１６のカーネルをストライド「１」で適用することで、プライマリーニューロン層３５の部分領域Ｒ３５のうちから、第１ニューロン層３７の一つの部分領域Ｒ３７に含まれるニューロンに出力を与える部分領域Ｒ３５が、決まる。ここでは、同じサイズ、同じ次元、同じストライドで、１２種類のカーネルが用いられることから、第１ニューロン層３７の部分領域Ｒ３７に含まれるニューロンの数は１２である。プライマリーニューロン層３５のニューロンから第１ニューロン層３７のニューロンへの出力の生成には、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられる。ここで、下層３５に適用されるカーネルは、上層３７の１つのニューロンを合議制ルーティングにしたがって決めるために用いる下層３５の３×３×１６個のニューロンを指定する、とも表現される。これは、以下の説明でもあてはまる。なお、１つの部分領域Ｒｘについて、１以上、本実施形態では複数のニューロンによって構成される集合をニューロン群とも呼ぶ。つまり、ニューロン群は、深さ方向に並んだ１以上のニューロンを有する。
第１ニューロン層３７には、７×７×１２のカーネルをストライド「２」で適用することで、第１ニューロン層３７の部分領域Ｒ３７のうちから、第２ニューロン層３８の一つの部分領域Ｒ３８に出力を与える部分領域Ｒ３７、が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、６種類のカーネルが用いられることから、第２ニューロン層３８の部分領域Ｒ３８に含まれるニューロンの数は６である。第１ニューロン層３７のニューロンから第２ニューロン層３８のニューロンを生成する際には、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられる。
第２ニューロン層３８には、３×３×６のカーネルをストライド「１」で適用することで、第２ニューロン層３８の部分領域Ｒ３８のうちから、分類ニューロン層３９の一つの部分領域Ｒ３９に出力を与える部分領域Ｒ３８が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、２種類のカーネルが用いられることから、分類ニューロン層３９の部分領域Ｒ３９に含まれるニューロンの数は２である。第２ニューロン層３８のニューロンから分類ニューロン層３９のニューロンを生成する際には、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられる。
最終層である分類ニューロン層３９は１つの部分領域Ｒ３９で構成される。分類ニューロン層３９は、モデル３０に入力されたデータ要素について、予め定められたラベルに分類する。本実施形態では、予め定めたラベルは、良品ラベルと、不良品ラベルとである分類ニューロン層３９では、２つのニューロンのうち、アクティベーションａが最大となるニューロンに対応するラベルが出力となる。分類ニューロン層３９から出力されるラベルは、プロセッサー２４によって制御されることで出力部２６によって出力される。
上記図５において、プライマリーニューロン層３５の１つの部分領域Ｒ３５は、データ要素１２Ａ～１２Ｃの５×５ピクセルの部分範囲に対応する。また、第１ニューロン層３７の１つの部分領域Ｒ３７は、データ要素１２Ａ～１２Ｃの９×９ピクセルの部分範囲に対応する。また、第２ニューロン層３８の部分領域Ｒ３８は、データ要素１２Ａ～１２Ｃの２１×２１ピクセルの部分範囲に対応する。また、分類ニューロン層３９の部分領域Ｒ３９は、データ要素１２Ａ～１２Ｃの２９×２９ピクセルの部分範囲に対応する。
図６は、モデル３０の学習段階で実行される学習処理を示すフローチャートである。まず、ステップＳ１０において、モデル３０のパラメーターの設定が行われる。ステップＳ１０では、図５を用いて説明したように、階層の数や、層の間で適用されるカーネルのサイズおよび／またはストライドが設定される。
次に、ステップＳ１２において、モデル３０に学習させる第１データセット１２が準備される。なお、ステップＳ１０とステップＳ１２の順番は上記に限定されるものではなく、ステップＳ１２がステップＳ１０よりも先に実行されてもよい。
次に、ステップＳ１４において、第１データセット１２の各第１データ要素１２Ａ～１２Ｃをモデル３０に順次入力し、第１データセット１２の各データ要素１２Ａ～１２Ｃと、各データ要素１２Ａ～１２Ｃに対応する事前ラベルとの対応を再現するように、モデル３０が学習される。プロセッサー２４は、例えばミニバッチ勾配降下法のアルゴリズムを用いてモデル３０を学習する。本実施形態では、プロセッサー２４は、データ要素のサブセットであるミニバッチのサイズを「３２」、エポックを「２００００」に設定したミニバッチ勾配降下法のアルゴリズムを用いてモデル３０を学習する。学習の結果、モデル３０の正解率は１００％となった。
ステップＳ１６では、プロセッサー２４は、ステップＳ１４において学習されたモデル３０に第１データセット１２を再び入力し、ニューロン層である第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれについて、以下を実行する。すなわち、プロセッサー２４は、各層３７，３８，３９の各ニューロンが有する第１アクティベーションａ１と第１ベクトルＭ１との少なくとも一方に基づく第１中間データを、第１データ要素１２Ａ～１２Ｃ上の部分範囲であって各ニューロンが対応する部分範囲に関連付けて取得し、互いに関連付けられた第１中間データと関連付けられた部分範囲の相対位置とを記憶装置２２に記憶する。なお、関連付けられた部分範囲そのものを記憶装置２２に記憶してもよい。第１データ要素１２Ａ～１２Ｃ上の部分範囲であって各ニューロンが対応する部分範囲を、第１部分データ要素とも呼ぶ。また、以下では、記憶された第１中間データおよび第１部分データ要素を収集データ３２とも表記する。なお、他の実施形態では、プライマリーニューロン層３５においても各層３７，３８，３９と同様に、第１中間データを第１部分データ要素と関連付けて取得してもよい。また、後述する類似度に関する情報として、第１部分データ要素の領域を示す部分範囲情報を含まない場合には、第１中間データを第１部分データ要素と関連付けなくてもよい。なお、必ずしも全てのニューロン層から第１中間データが取得される必要はない。例えば、第２ニューロン層３８だけから第１中間データが取得されてもよいし、いくつかの層の組み合わせから取得されてもよい。これは、以下で説明する第２中間データにも当てはまる。さらに、他の実施形態では、ステップＳ１４でモデル３０の学習に用いられる第１データセット１２を２つに分割することで、ステップＳ１４でモデル３０の学習に用いられる第１データ要素１２Ａ，１２Ｂ，１２Ｃのグループと、学習に用いられない第１データ要素１２Ａ，１２Ｂ，１２Ｃのグループとに分割し、ステップＳ１４では一方のグループだけでモデル３０を学習し、ステップＳ１６では２つのグループを用いて第１中間データを生成してもよい。要するに、モデル３０の学習に用いられる第１データ要素１２Ａ，１２Ｂ，１２Ｃの事前ラベル１４Ａ，１４Ｂ，１４Ｃと同じ事前ラベル１４Ａ，１４Ｂ，１４Ｃが付与されている限り、ステップＳ１６で中間データを生成するためのデータは、モデル３０の学習に用いられた第１データ要素１２Ａ，１２Ｂ，１２Ｃだけに限定されない。
上記のように、プロセッサー２４が実行する方法によれば、ステップＳ１６によって、ニューロンが有する第１アクティベーションａ１と第１ベクトルＭ１との少なくとも一方に基づく第１中間データを取得できる。これにより、モデル３０に判別対象のデータ要素が入力された場合において、ニューロンが有する第２アクティベーションａ２と第２ベクトルＭ２との少なくとも一方に基づく第２中間データを取得し、第１中間データから生成される特徴スペクトルと第２中間データから生成される特徴スペクトルとの類似度を計算できる。第２中間データは、第２ベクトルＭ２自体や第２アクティベーションａ２自体であってもよいし、第２ベクトルＭ２や第２アクティベーションａ２に対して重み付けなどのデータ処理したデータであってもよい。本実施形態では、第２中間データは、第２ベクトルＭ２と第２アクティベーションａ２とによって構成される。なお、他の実施形態では、第１中間データと第２中間データとはそれぞれ特徴スペクトルであってもよい。特徴スペクトルの詳細については後述する。類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できる。よって、モデル３０を用いた入力したデータ要素の判別根拠が出力可能となる。この判別根拠の出力の態様についての詳細は後述する。
図７は、判別段階の判別システム１００を説明するための図である。図８は、第２データセット６２を説明するための図である。図７の判別システム１００と図１の判別システム１００との異なる点は、モデル３０に入力するデータ要素として、第２入力データセット６０が用いられる点である。
図７に示すように、第２入力データセット６０は、第２データセット６２を有する。図６に示すように、第２データセット６２は、製造された複数のサイコロそれぞれにおいて、１つの面がカメラで撮像されることで取得された画像を表す第２データ要素６２Ａ～６２Ｃである。第２データ要素６２Ａ～６２Ｃのサイズは、例えば、モデル３０の学習時と同じ３２×３２ピクセルである。また第２データ要素６２Ａ～６２Ｃはそれぞれ１１００枚ずつ準備され、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。
学習されたモデル３０に、第２データ要素６２Ａ～６２Ｃが１つずつ入力されることで、クラス判別、すなわちラベルが判別される。例えば、モデル３０に、一の目を表す第２データ要素６２Ａや二の目を表す第２データ要素６２Ｂが入力された場合は不良品であると判別され、三の目を表す第２データ要素６２Ｃが入力された場合は良品であると判別される。また、本実施形態では、プロセッサー２４は、ラベルを判別した判別根拠を生成し、出力部２６に判別したラベルと共に判別根拠を表示させる。判別根拠の生成方法は後述する。
図９は、第２データセット６２のクラス判別処理のフローチャートである。まず、ステップＳ２０において、プロセッサー２４は、第１データセット１２を用いて学習されたモデル３０に各第２データ要素６２Ａ～６２Ｃを１つずつ入力し、クラス判別を実行する。次に、プロセッサー２４が、ステップＳ２２において、入力された第２データ要素６２Ａ～６２Ｃの１つずつに、モデル３０の状態、つまり、分類ニューロン層３９の２つのニューロンのアクティベーションａとしての第２アクティベーションａ２を計算、すなわち導出する。また、ステップＳ２２では、プロセッサー２４は、モデル３０に入力された第２データ要素６２Ａ～６２Ｃのそれぞれについて、モデル３０から第２中間データを取得する。第２中間データの取得の詳細は、図１０におけるステップＳ３０を参照しながら後述する。
次に、ステップＳ２４において、プロセッサー２４は、ステップＳ２２の計算結果をもとに、分類ニューロン層３９の第２アクティベーションａ２が最大となるニューロンに対応するラベルを判別結果として出力部２６に出力する。なお、ラベルの判別結果は、画像情報に限られずユーザーに報知できる情報であればよい。例えば、ラベルの判別結果は、音声情報として出力されてもよい。この場合、出力部２６はスピーカーを備える。以下の説明では、ラベルの判別の結果は、収集データ３２の一部として、記憶装置２２に記憶される。
このように、モデル３０に第２データ要素６２Ａ～６２Ｃを入力することでラベルを容易に判別できる。また、出力部２６によって、ラベルの判別結果が出力されるので、ユーザーは容易にラベルの判別結果を把握できる。
図１０は、第１説明処理のフローチャートである。図１０の第１説明処理は、図９のクラス判別処理の後に行われてもよいし、図９のクラス判別処理と並列して行われてもよい。第１説明処理は、プロセッサー２４によって実行される。第１説明処理は、収集データ要素３２に記憶された良品ラベルが対応付けられた第１データ要素１２Ｃと、入力された第２データ要素６２Ａ～６２Ｃとを比較し、なぜ良品と判別したか、なぜ良品と判別しなかったか、の判別根拠を説明するための処理である。この第１説明処理によって生成される情報は、図９のステップＳ２４の判別結果と共に出力されてもよい。図１１は、特徴スペクトルを説明するための図である。
図１０に示すように、まずステップＳ３０において、プロセッサー２４は、学習されたモデル３０に第２データ要素６２Ａ～６２Ｃを１つずつ入力し、第１モデル３０にクラス判定を実行させる。当該クラス判定が終了したときに複数のニューロンがそれぞれ出力した第２中間データを取得し、記憶装置２２に記憶する。本実施形態では、第２中間データは、第２ベクトルＭ２と第２アクティベーションａ２とを含む。ステップＳ３０では、少なくとも第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれについてステップＳ３０が実行される。また、ステップＳ３０において、プロセッサー２４は、第２データ要素６２Ａ～６２Ｃ上の部分範囲であって第２中間データに対応した部分範囲を、第２中間データに関連付けて記憶装置２２に記憶する。本実施形態では、ステップＳ３０は、図９に示すクラス判別処理のステップＳ２２において実行される。次にステップＳ３２において、プロセッサー２４は、記憶装置２２から、事前ラベルとして良品ラベルが付された第１データ要素１２Ｃの全てに対してクラス判別を実施したときに得られた第１中間データを読み出す。本実施形態では、第１中間データは、第１ベクトルＭ１と第１アクティベーションａ１とに基づいている。
次にステップＳ３４において、プロセッサー２４は、第２データ要素６２Ａ～６２Ｃの特徴スペクトルＳｐと、良品ラベルの第１データ要素１２Ｃの特徴スペクトルＳｐを計算する。具体的には、プロセッサー２４は、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれの部分領域Ｒ３７，Ｒ３８，Ｒ３９ごとに、第１中間データおよび第２中間データからそれぞれの特徴スペクトルＳｐを計算する。本明細書では、特徴スペクトルＳｐは、ニューロン層における部分領域Ｒｘごとに、１つ以上のベクトルＭを平均０、分散１で正規化したり、Softmax関数を用いて規格化したりして配列することで表してもよい。また、特徴スペクトルＳｐは、部分領域ＲｘごとにベクトルＭの各次元または各要素を、対応するアクティベーションａで重み付けして配列することで表してもよい。重み付けとしては、例えば、ベクトルＭと、ベクトルＭに対応するアクティベーションａの値の積をとることで実現できる。また、特徴スペクトルＳｐは、ニューロン層３７，３８，３９の部分領域Ｒ３７，３８，３９ごとに、アクティベーションａの値を、配列することで表してもよい。また、配列したアクティベーションａを平均０、分散１となるように正規化してもよい。また、特徴スペクトルＳｐは、ニューロン層３７，３８，３９の部分領域Ｒ３７，３８，３９ごとに、ベクトルＭおよび／またはアクティベーションａを配列することで表してもよい。なお、特徴スペクトルＳｐは正規化することなく、複数次元、本実施形態では１６次元のベクトルＭを一次元に変換して配列してもよい。
図１１に示すグラフは第１ニューロン層３７に対応する。第１ニューロン層３７では、１つの部分領域Ｒ３７が、深さ方向に並んだ１２個のニューロンを有する。図１１には、一例として、ある一つの部分領域Ｒ３７に属する１２個のニューロンが出力したそれぞれのアクティベーションａを平均０、分散１に正規化して並べたものを示している。図１１における特徴スペクトルＳｐは、正規化されたこれら複数のアクティベーションａを要素に持つ。図１１に示す特徴スペクトルＳｐの一例において、横軸は各ニューロンに対応するアクティベーションａを識別するための要素番号「０」～「１１」であり、縦軸は各アクティベーションａの値である。
図１０に示すように、次にステップＳ３６において、プロセッサー２４は、第１中間データと第２中間データとに基づく類似度を計算する。詳細には、プロセッサー２４は、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９の層ごとにおいて、第２データ要素６２Ａ～６２Ｃの第２中間データから生成した特徴スペクトルＳｐと、良品ラベルの第１データ要素１２Ｃの第１中間データから生成した特徴スペクトルＳｐとの類似度を計算する。本実施形態において、類似度の計算対象は、同じ階層に属する部分領域Ｒｘ同士である。具体的には、ニューロン層３７，３８，３９ごとに、第２データ要素６２Ａ～６２Ｃが与えられたときの一つの部分領域Ｒｘに対して、第１データ要素１２Ａ～１２Ｃが与えられたときの全ての部分領域Ｒｘである。ここで、第１データ要素１２Ａ～１２Ｃが与えられたときのニューロン層３７，３８，３９における或る一つの部分領域Ｒｘと、第２データ要素６２Ａ，６２Ｂ，６２Ｃが与えられたときのニューロン層３７，３８，３９における部分領域Ｒｘとは、それぞれ、第１データ要素１２Ａ～１２Ｃである第１画像上の部分範囲と、第２データ要素６２Ａ～６２Ｃである第２画像上の部分範囲と、に対応していることから、上記類似度は、第１画像の部分範囲と、第２画像の部分範囲と、の間の類似度であるとも解釈できる。言い換えると、本実施形態では、第１データ要素１２Ａ～１２Ｃと第２データ要素６２Ａ～６２Ｃとの間で互いに類似度の形態で中間データが比較されるのは、第２データ要素６２Ａ～６２Ｃ上の或る階層に属する部分範囲に対して第１データ要素１２Ａ～１２Ｃ上で同じ階層に属する全ての部分範囲である。しかしながら、後述するように、同じ階層の同じ部分範囲同士の間で類似度が求められてもよい。ここで、階層は部分範囲の大きさに関連付けられている。上述の通り、ニューロン層３７，３８，３９が異なると、第１データ要素１２Ａ～１２Ｃ、すなわち第１画像上で定義される部分範囲、および、第２データ要素６２Ａ～６２Ｃ、すなわち第２画像上で定義される部分範囲の大きさも異なる。類似度としては、２つのベクトルを比較する任意の指標を用いることができ、例えばコサイン類似度や平均二乗誤差（ＭＳＥ）やピークＳ／Ｎ比（ＰＳＮＲ）が用いられる。ステップＳ３６では、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれの部分領域Ｒｘごとに、全ての第１データ要素１２Ｃに対応する第１中間データの特徴スペクトルＳｐの類似度のうちで最も類似度が高い値を、第２データ要素６２の部分領域Ｒｘの類似度とする。第２データ要素６２の部分領域Ｒｘの類似度は、部分領域Ｒｘのセンサーデータ要素である画像データ要素、および、部分領域Ｒｘのアクティベーションａと対応付けて記憶装置２２に記憶される。他の実施形態では、ステップＳ３６における類似度の計算対象は、同じ層における同じ相対位置にある部分領域Ｒｘ同士ごとであってもよい。
次にステップＳ４０において、プロセッサー２４は、計算、すなわち導出した類似度に関する情報を、出力部２６を用いて出力する。類似度に関する情報は、位置を表す階層部分範囲情報と、階層を表す層ラベル情報と、類似度情報と、比較情報との少なくとも一つを含む。階層部分範囲情報は、階層ごとの部分範囲情報である。限定されないが本実施形態では、階層部分範囲情報は、階層ごとにおいて類似度の計算が行われた部分領域Ｒｘに対応する第１データ要素１２Ａ，１２Ｂ，１２Ｃ上の部分範囲および第２データ要素６２Ａ，６２Ｂ，６２Ｃ上の部分範囲を示す情報である。上記において、部分領域Ｒｘに対応する第１データ要素１２Ａ，１２Ｂ，１２Ｃ上の部分範囲を第１部分データ要素とも呼ぶ。また上記において、部分領域Ｒｘに対応する第２データ要素６２Ａ，６２Ｂ，６２Ｃ上の部分範囲を第２部分データ要素とも呼ぶ。層ラベル情報は、複数のニューロン層である第１ニューロン層３７、第２ニューロン層３８、および分類ニューロン層３９の階層を識別するための情報である。類似度情報は、同じ階層、すなわち同じニューロン層３７，３８，３９に属する部分領域Ｒｘ間の類似度を示す情報である。比較情報は、類似度と予め定められた閾値との大小関係を示す情報である。比較情報は、ステップＳ４０において、プロセッサー２４が、類似度と予め定めた閾値とを比較した場合に生成される情報である。第２データセット６２のデータ要素において、類似度が予め定めた閾値より小さい場合には、その階層で既知の画像の特徴との類似度が低いと解釈され、予め定めた閾値以上の場合には、その階層で既知の画像の特徴との類似度が高いと解釈し得る。良品であると判別される。予め定めた閾値は、例えば、類似度が高いことや低いことを示す基準となる値である。このように、類似度は良品・不良品などのクラス判定に対する判断根拠として使用され得る。ステップＳ４０では、類似度を含む類似度に関する情報を生成して出力部２６に出力させる。ここで、判別根拠として複数のニューロン層３７，３８，３９の一つのみを用いる場合には、階層部分範囲情報に代えて部分範囲情報が用いられてもよい。部分範囲情報は、類似度の計算が行われたデータ要素上の部分範囲を示す情報である。
なお、図１０のステップＳ３６において、第１部分データ要素上のある相対位置にある部分範囲の特徴スペクトルＳｐと、第２部分データ要素上の当該相対位置とは異なる相対位置の特徴スペクトルＳｐとの類似度が計算された場合には、類似度に関する情報は、それぞれ部分範囲の相対位置を示す情報を含む。
上記のように、類似度に関する情報は、出力部２６の一例である液晶モニターを用いて出力されたが、音声情報として出力されてもよい。この場合、出力部２６はスピーカーを備える。
上記のように、第１中間データと第２中間データとに基づく類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデル３０を用いた第２データ要素６２Ａ～６２Ｃの判別根拠を出力可能となる。また、図１０のステップＳ３６の処理において、第１部分データ要素の第１中間データと第１部分データ要素に対応した領域の第２部分データ要素の第２中間データとの類似度を計算することで、第１部分データ要素および第２部分データ要素の類似度を計算できる。これにより、類似度に関する情報が出力部２６を用いて出力されることで、例えば第２データ要素におけるどの領域を根拠にしてラベルの判別が行われたかを容易に把握できる。よって、ユーザーは、ラベルの判別について、どのニューロン層３７，３８，３９を根拠にしたのかなどの類似度に関する情報について容易に把握できる。つまり、ユーザーは、この類似度に関する情報から、入力データである第２データ要素６２Ａ～６２Ｃについて、良品と類似している部分、類似していない部分、それぞれの位置と大きさを把握することができる。なお、ステップＳ３６の処理において、類似度の計算の対象は、ニューロン層３７，３８，３９における同じ相対位置の部分領域Ｒｘからの第１中間データと第２中間データでなくともよい。このようにしても、計算の対象である第２データ要素の階層を識別するための層ラベル情報や部分領域Ｒｘを示す部分領域情報などの類似度に関する情報を出力することで、ユーザーは、ラベルの判別について、どのニューロン層３７，３８，３９を根拠にしたのか、および、どの部分領域Ｒｘを根拠にしたのかなどの類似度に関する情報について容易に把握できる。
図１２は、第２説明処理のフローチャートである。第２説明処理は、プロセッサー２４によって実行される。第２説明処理は、第２データ要素６２Ａ～６２Ｅが、モデル３０の学習に用いられた既知の第１データ要素１２Ａ～１２Ｃと同じ種類であるか否かの判別とその根拠を説明するための処理である。図１３は、第２データセット６２ａを説明するための図である。第２説明処理は、端的に言うと、知らないデータを無理やり判別したのか、知っているデータとして判別したのか、どちらなのかを説明する処理ともいえる。
図１３に示すように、第２データセット６２ａは、５種類の第２データ要素６２Ａ～６２Ｅを有する。第２データ要素６２Ａ，６２Ｂ，６２Ｃはそれぞれ、図６に示す第２データ要素６２Ａ，６２Ｂ，６２Ｃと同じであり、モデル３０の学習の際に用いられた第１データ要素１２Ａ～１２Ｃと同じ種類の対象物であるサイコロを撮像した画像データ要素である。第２データ要素６２Ｄ，６２Ｅは、モデル３０の学習の際に用いられた第１データ要素１２Ａ～１２Ｃとは種類が異なる対象物であるサイコロを撮像した画像データ要素である。具体的には、第２データ要素６２Ｄは、各面において三の目の中央の目がバツ印のサイコロを撮像した画像データ要素である。また第２データ要素６２Ｅは、各面が四の目のサイコロを撮像した画像データ要素である。以上のように、第２データ要素６２Ｄ，６２Ｅは、モデル３０の学習の際に用いられなかった未知の種類のデータ要素である。第２データ要素６２Ａ～６２Ｅのサイズは、例えば、モデル３０の学習時と同じ３２×３２ピクセルである。また、また第２データ要素６２Ａ～６２Ｅはそれぞれ１１００枚ずつ準備され、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。準備された第２データ要素６２Ａ～６２Ｅは、１つずつモデル３０に入力されることで、クラス判別、すなわちラベルが判別される。
図１２に示すようにステップＳ３０において、プロセッサー２４は、学習されたモデル３０に第２データ要素６２Ａ～６２Ｅを１つずつ入力し、第２データ要素６２Ａ～６２Ｅのそれぞれについてクラス判別を実行する。そして、クラス判別が終了したときの、第２データ要素６２Ａ～６２Ｅのそれぞれに対する第２中間データをモデル３０から取得する。図１２に示すステップＳ３０は、図１０に示すステップＳ３０と同じ処理である。次にステップＳ３２ａにおいて、プロセッサー２４は、記憶装置２２に記憶されているモデル３０の学習に用いられた第１データ要素１２Ａ～１２Ｃのそれぞれの第１中間データを全て抽出する。
次にステップＳ３４ａにおいて、プロセッサー２４は、モデル３０に入力された第２データ要素６２Ａ～６２Ｅの特徴スペクトルと、抽出した学習済みの第１データ要素１２Ａ～１２Ｃの特徴スペクトルＳｐを計算する。計算方法については、図１０のステップＳ３４において記載の方法と同様であるため、ここでは説明を省略する。
次にステップＳ３６ａにおいて、プロセッサー２４は、第２データ要素６２Ａ～６２Ｃの特徴スペクトルＳｐと、第１データ要素１２Ａ～１２Ｃの特徴スペクトルＳｐとの類似度を計算する。類似度としては、例えばコサイン類似度が用いられる。ステップＳ３６では、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれの部分領域Ｒｘごとに、全ての第１データ要素１２Ａ～１２Ｃに対して最も類似度が高い値を、部分領域Ｒｘの類似度とする。部分領域Ｒｘの類似度は、部分領域Ｒｘが対応する画像データ要素の部分範囲、および、部分領域Ｒｘのアクティベーションａと対応付けて記憶装置２２に記憶される。
次にステップＳ４０ａにおいて、プロセッサー２４は、計算した類似度に関する情報を、出力部２６を用いて出力する。類似度に関する情報は、位置を表す階層部分範囲情報や部分範囲情報と、階層を表す層ラベル情報と、類似度情報と、比較情報との少なくとも一つを含む。図１０に示すステップＳ４０とステップＳ４０ａとで異なる点は、ステップＳ４０ａでは、類似度の閾値の値が異なる点である。例えば、ステップＳ４０ａにおいて予め定めた閾値は、モデル３０の学習に用いられたデータ要素と同じ種類である第２データ要素６２Ａ，６２Ｂ，６２Ｃを既知のデータ要素として判別でき、そして、モデル３０の学習に用いられたデータ要素と異なる種類である第２データ要素６２Ｄ，６２Ｅを未知のデータ要素として示唆できる値に設定される。
上記のように、第２説明処理において第１説明処理と同様の構成や処理を行う点において同様の効果を奏する。例えば、第１中間データと第２中間データとに基づく類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデル３０を用いた第２データ要素の判別根拠を出力可能となる。
図１４は、第１ニューロン層３７におけるコサイン類似度を示す図である。図１５は、第２ニューロン層３８におけるコサイン類似度を示す図である。以下では、図１４および図１５を参照しながら、第1説明処理と第2説明処理の効果について説明する。
特徴スペクトルＳｐは、部分領域Ｒｘが有するベクトルＭを、アクティベーションａの値で重み付けすることで生成する。重み付けは、ベクトルＭの各次元に、ベクトルＭに対応するアクティベーションａの値を掛けることで実行される。この方法で生成した特徴スペクトルＳｐのグラフは、例えば、横軸に各ベクトルＭの各次元を識別するための要素番号、縦軸に重み付け後の値をとることによって表される。本実施形態では、１つのベクトルＭは１６次元の要素を有する。よって、部分領域ＲｘにおいてベクトルＭの数が１２個である第１ニューロン層３７では、アクティベーションａは１２個存在する。よって、横軸の要素数は、第１ニューロン層３７では１６×１２個である。これは、ベクトルＭの次元数と、第１ニューロン層３７の１つの部分領域Ｒ３７に含まれるニューロンの数と、の積である。
図１４および図１５の棒グラフにおいて、Ｎｏ．１～Ｎｏ．４のそれぞれの下に記載した符号である「Ａ ― Ｂ」は以下を意味する。つまり、符号中の左側の符号「Ａ」は、モデル３０の学習に用いられていない第２データ要素６２Ａ～６２Ｅであり、符号中の右側の符号「Ｂ」は、モデル３０の学習に用いられた第１データ要素１２Ａ～１２Ｃである。Ｎｏ．１の棒グラフは、三の目のサイコロの画像データ要素である、第２データ要素６２Ｃと第１データ要素１２Ｃとのコサイン類似度を示す。Ｎｏ．２のグラフは、二の目のサイコロの画像データ要素である第２データ要素６２Ｂと、三の目のサイコロの画像データ要素である第１データ要素１２Ｃとのコサイン類似度を示す。Ｎｏ．３の棒グラフは、四の目のサイコロの画像データ要素である第２データ要素６２Ｅと、既知の第１データ要素１２Ａ～１２Ｃとのコサイン類似度を示す。Ｎｏ．４の棒フラフは、三の目の中央の目がバツ印のサイコロの画像データ要素である第２データ要素６２Ｄと、既知の第１データ要素１２Ａ～１２Ｃとのコサイン類似度を示す。
Ｎｏ．１～Ｎｏ．４のそれぞれの棒グラフが示すコサイン類似度は、以下の方法で算出される。以下では、学習に用いた既知の第１データ要素１２A～１２Cの一部分を使っているが、学習に用いたすべてを使ってもよい。すなわち、既知の第１データ要素１２Ａ～１２Ｃからランダムに２００個を選択し、この２００個の第１データ要素１２Ａ～１２Ｃと、準備した比較対象サンプルである第２データ要素６２Ｂ～６２Ｅとの、各層である第１ニューロン層３７および第２ニューロン層３８においてストラウド、すなわち部分領域Ｒ３７，Ｒ３８ごとの類似度の計算を行い、類似度が最大のコサイン類似度の値のみを保存する。この操作を第２データ要素６２Ｂ～６２Ｅのランダムに選んだ１００個について行い、その統計量を表すことで棒グラフが生成される。また、標準偏差をエラーバーで示している。本実施形態において、コサイン類似度は、最小値が「－１」、最大値が「１」である。
図１４において、局所形状の比較に対応した第１ニューロン層３７では、バツの目が付された第２データ要素６２Ｄとの比較であるＮｏ．４のコサイン類似度が、Ｎｏ．１～Ｎｏ．３のコサイン類似度よりも低い結果を得た。こうすることで、モデル３０を用いて、第２データ要素６２Ｄと既知データ要素である第１データ要素１２Ａ，１２Ｂ，１２Ｃとの間で異なる部分は、全体の中で局所的な部分であることが説明できる。他方、第２データ要素６２Ｅについては、局所的な部分に既知データ、すなわち第１データ要素１２Ａ，１２Ｂ，１２Ｃとの差異はないことが説明できる。図１８に示すように、上記方法を用いて生成した特徴スペクトルＳｐのコサイン類似度において、Ｎｏ．１～Ｎｏ．３と、Ｎｏ．４との境界である閾値ＴＶを設定できる。本実施形態では、既知データと種々のデータとの比較において、第１ニューロン層３７に関して得られた特徴スペクトルＳｐのコサイン類似度の大小を表現するのに都合のよい閾値ＴＶが存在することを確認した。よって、閾値ＴＶを適切に設定すれば、第２データ要素６２Ｄは第１ニューロン層３７での類似度が小さいと言えて、既知データ、すなわち第１データ要素１２Ａ，１２Ｂ，１２Ｃと異なる特徴を局所的に持つことの説明になり得る。
図１５において、中間形状の比較、または局所形状の相対位置の比較、に対応した第２ニューロン層３８では、Ｎｏ．１のコサイン類似度が、Ｎｏ．２～Ｎｏ．４のコサイン類似度よりも高い結果を得た。こうすることで、モデル３０を用いた「未知」と「既知」のラベル付けの根拠説明の精度を向上できる。さらに、第２データ要素６２Ｂと既知データ要素である第１データ要素１２Ｃとの間で異なる部分は、全体の中で局所形状の相対位置であることが説明できる。また、第２データ要素６２Ｅと既知データ要素である第１データ要素１２Ａ，１２Ｂ，１２Ｃとの間で異なる部分は、全体の中で局所形状の相対位置であることが説明できる。図１５に示すように、上記方法を用いて生成した特徴スペクトルＳｐのコサイン類似度において、Ｎｏ．１と、Ｎｏ．２～Ｎｏ．４との境界である閾値ＴＶを設定できる。本実施形態では、既知データと種々のデータとの比較において、第２ニューロン層３８に関して得られた特徴スペクトルＳｐのコサイン類似度の大小を表現するのに都合がよい閾値ＴＶが存在することを確認した。つまり、第２データ要素６２Ｂ，６２Ｅはサイコロの目の配置が異なることを、第２ニューロン層３８に関して導出された類似度が低いことで説明できる。言い換えると、第２データ要素６２Ｂは、良品である第１データ要素１２Ｃとサイコロの目の配置が異なることを説明できる。第２データ要素６２Eは、既知の第１データ要素１２Ａ，１２Ｂ，１２Ｃのどれともサイコロの目の配置が異なることを説明できる。第２データ要素６２Ｄも低いが、これは、ネットワークの情報が下位層から上位層の方向で伝達するので、下位層で異なる特徴を持つとされると、上位層で正常な類似度を求めることは難しくなるためと考えられる。
類似度を計算するための特徴スペクトルＳｐは、上記に限定されるものではない。例えば、部分領域Ｒｘが有するベクトルＭをアクティベーションａの値にソフトマックス関数を適用した補正値で重み付けすることで特徴スペクトルＳｐを生成してもよいし、部分領域Ｒｘが有するベクトルＭを一次元に並び替えた要素に対して、要素ごとのベクトルＭの値を並べることで特徴スペクトルＳｐを生成してもよい。つまり、類似度の計算方法は、第１ベクトルＭ１の特徴スペクトルＳｐと第２ベクトルＭ２の特徴スペクトルＳｐとの類似度を計算することであってもよい。
また、類似度の計算方法は上記方法に限定されるものではない。類似度の計算方法は、例えば、第１アクティベーションａ１と第２アクティベーションａ２の類似度を計算することであってもよい。詳細には、類似度の計算方法は、複数の第１アクティベーションａ１を要素として有する特徴スペクトルＳｐと複数の第２アクティベーションａ２を要素として有する特徴スペクトルＳｐとの類似度を計算することであってもよい。この場合、例えば、部分領域Ｒｘが有するアクティベーションａの各要素を横軸に、要素ごとのアクティベーションａの値を縦軸にとることで特徴スペクトルＳｐが生成される。
上記実施形態によれば、第１中間データと第２中間データとの類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデル３０を用いた第２データ要素６２Ａ～６２Ｅの判別根拠を出力可能となる。ラベルの判別根拠が出力されることで、ラベル判別根拠を分析することで、例えば、不良品の発生の低減を行うための製造工程などの改善を行うことができる。
また上記実施形態によれば、入力されるデータ要素（本実施形態では画像）の部分範囲であって、階層型のベクトルニューラルネットワークモデルの各層に含まれる深さ方向のニューロンのまとまり（ニューロン群とも呼ぶ）が対応する部分範囲の大きさは、下位側の層から上位側の層に向かうに従い定性的に小から大へとなる傾向にあり、この傾向のもとで当該大きさをある程度調整可能である。そこで、データ要素に含まれる特徴が階層性を有する場合に、モデル３０に含まれる層のそれぞれが、それぞれの階層の特徴に対応するよう、つまり、それぞれの大きさの特徴に対応するように、モデル３０のネットワーク構造が調整され得る。さらに、階層型のベクトルニューラルネットワークモデルでは、各層においてニューロン群が対応するデータ要素上（例えば、画像上）の部分範囲の相関関係は、下位側の層から上位側の層に至るまで保持される。このことから、第１中間データと第２中間データとを、ニューロン層３７，３８，３９ごとに比較することで、第２入力データセット６０の各データ要素の判別結果を、特徴の階層ごとに説明し得る。第１中間データは、学習されたモデル３０に、学習に用いた複数のデータ要素から構成される第１データセット１２を入力として与えてニューロン層３７，３８，３９から得られるデータである。また第２中間データは、モデル３０に学習に用いられていないデータ要素、本実施形態では第２データセット６２の各データ要素を入力として与えてニューロン層３７，３８，３９から得られるデータである。
Ｂ．他の実施形態：
Ｂ－１．他の実施形態１：
上記実施形態では、第１中間データの特徴スペクトルＳｐと第２中間データの特徴スペクトルＳｐとの類似度は、コサイン類似度であったがこれに限定されるものではなく、類似度を比較する要素に応じて各種の類似度を用いてもよい。例えば、類似度は、二乗誤差であってもよいし、画像類似度（Structual Simirarity）を用いてもよい。また例えば、類似度は、２つのベクトルの内積または外積に基づく類似度、２つのベクトルに表される２つの点の間の距離、ノルムに基づく類似度であってもよい。
Ｂ－２．他の実施形態２：
上記実施形態において、第１説明処理と、第２説明処理は、プロセッサー２４によって自動的に切り替え可能に構成されていてもよい。例えば、プロセッサー２４は、第１説明処理を実行している場合において、入力データ要素の全体数に対して不良品であると判別された割合が、予め定めた値以上になった場合に、第１説明処理から第２説明処理へと切り替えてもよい。
Ｂ－３．他の実施形態３：
上記実施形態では、不揮発性記憶媒体２３の記憶されたプログラムは、１つのプロセッサー２４によって実行されたが、２つ以上のプロセッサー２４によって実行されてもよい。
Ｂ－４．他の実施形態４：
第１中間データや第２中間データの生成方法は上記実施形態に限定されるものではなく、例えば、Ｋｍｅａｎｓ法を用いて第１中間データや第２中間データを生成してもよい。また、ＰＣＡやＩＣＡ、Ｆｉｓｈｅｒなどの変換を用いて第１中間データや第２中間データを生成してもよい。また、第１中間データと第２中間データとの変換方法は異なっていてもよい。
Ｃ．他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
（１）本開示の第１の形態によれば、１または複数のプロセッサーに実行させるための方法が提供される。この方法は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習することであって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、ことと、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得することと、を備える。この形態によれば、ニューロンが有する第１アクティベーションと第１ベクトルとの少なくとも一方に基づく第１中間データを取得できる。これにより、モデルに判別対象の第２データ要素が入力された場合におけるニューロンが有する第２アクティベーションと第２ベクトルとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデルを用いた第２データ要素の判別根拠を出力可能となる。
（２）本開示の第２の形態によれば、予め学習されたモデルを用いて、１または複数のプロセッサーに実行させるための方法が提供される。前記モデルは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する。前記方法は、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得することと、前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得することと、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算することと、を含む。この形態によれば、ニューロンが有する第１アクティベーションと第１ベクトルとの少なくとも一方に基づく第１中間データを取得できる。これにより、モデルに判別対象の第２データ要素が入力された場合におけるニューロンが有する第２アクティベーションと第２ベクトルとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデルを用いた第２データ要素の判別根拠を出力可能となる。
（３）上記形態において、さらに、計算した前記類似度に関する情報を出力することを含んでもよい。この形態によれば、ユーザーは類似度に関する情報を容易に把握できる。
（４）上記形態において、さらに、前記モデルに前記第２データ要素を入力して、前記第２データ要素のラベルを判別することを含んでもよい。この形態によれば、モデルを用いた第２データ要素のラベルを判別できる。
（５）上記形態において、さらに、前記ラベルの判別結果を出力することを含んでもよい。この形態によれば、ユーザーはラベルの判別結果を容易に把握できる。
（６）上記形態において、前記ニューロン層は、複数の前記ニューロンを有し、前記第１中間データを取得することは、前記複数の前記ニューロンがそれぞれ有する前記第１中間データを取得することと、取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、前記第２中間データを取得することは、前記複数の前記ニューロンがそれぞれ有する前記第２中間データを取得することと、取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、前記類似度を計算することは、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含んでもよい。この形態によれば、第１部分範囲の第１中間データと第１部分範囲に対応した第２部分範囲の第２中間データとの類似度を計算することで、第１部分データ要素および第２部分データ要素の類似度を計算できる。これにより、第２データ要素におけるどの範囲を根拠にしてラベルの判別が行われたかを容易に把握できる。
（７）上記形態であって、前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含んでもよい。この形態によれば、ユーザーはラベルの判別がどの部分領域を根拠にして行われたかを容易に把握できる。
（８）上記形態において、前記ニューロン層は、複数層によって構成された階層構造であり、前記類似度を計算することは、前記ニューロン層ごとにおいて、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含んでもよい。この形態によれば、複数層のニューロン層の層ごとに第１中間データと第２中間データとの類似度を計算できる。
（９）上記形態において、前記ニューロン層は、複数の前記ニューロンを有し、前記第１中間データを取得することは、前記複数の前記ニューロンがそれぞれ有する前記第１中間データを取得することと、取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、前記第２中間データを取得することは、前記複数の前記ニューロンがそれぞれ有する前記第２中間データを取得することと、取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、前記類似度を計算することは、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含んでいてもよい。この形態によれば、第１部分範囲の第１中間データと第２部分範囲の第２中間データとの類似度を計算することで、第１部分範囲および第２部分範囲の類似度を計算できる。これにより、第２データ要素におけるどの領域を根拠してラベルの判別が行われたかを容易に把握できる。
（１０）上記形態において、前記類似度に関する情報は、前記類似度の計算が行われた前記第２部分範囲を示す部分範囲情報を含んでいてもよい。この形態によれば、ユーザーはラベルの判別がどの部分範囲を根拠にして行われたかを容易に把握できる。
（１１）上記形態において、前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含んでいてもよい。この形態によれば、ユーザーはラベルの判別がどの部分範囲を根拠にして行われたかを容易に把握できる。
（１２）上記形態において、前記ニューロン層は、複数層によって構成された階層構造であり、前記類似度を計算することは、前記ニューロン層ごとにおいて、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含んでいてもよい。この形態によれば、複数層のニューロン層の層ごとに第１中間データと第２中間データとの類似度を計算できる。
（１３）上記形態において、前記類似度に関する情報は、さらに、複数の前記ニューロン層の階層を識別するための層ラベル情報と、前記階層ごとの前記類似度を示す類似度情報と、前記階層ごとにおいて前記類似度の計算が行われた前記第２部分範囲である階層部分範囲を示す階層部分範囲情報と、前記類似度と予め定められた閾値との大小関係を示す比較情報と、の少なくとも一つを含んでもよい。この形態によれば、ユーザーは類似度に関する情報をさらに詳細に把握できる。
（１４）上記形態において、前記第１中間データは、少なくとも前記第１ベクトルを含み、前記第２中間データは、少なくとも前記第２ベクトルを含み、前記類似度を計算することは、前記第１ベクトルと前記第２ベクトルとの前記類似度を計算することを含んでもよい。この形態によれば、第１ベクトルと第２ベクトルとを用いて類似度を計算できる。
（１５）上記形態において、前記第１中間データは、少なくとも前記第１アクティベーションを含み、前記第２中間データは、少なくとも前記第２アクティベーションを含み、前記類似度を計算することは、前記第１アクティベーションと前記第２アクティベーションとの前記類似度を計算することを含んでもよい。この形態によれば、第１アクティベーションと第２アクティベーションとを用いて類似度を計算できる。
（１６）上記形態において、前記第１中間データは、前記第１ベクトルと前記第１アクティベーションとを含み、前記第２中間データは、前記第２ベクトルと前記第２アクティベーションとを含み、前記類似度を計算することは、前記第１ベクトルを前記第１アクティベーションで重み付けし、前記第２ベクトルを前記第２アクティベーションで重み付けし、重み付け後の前記第１ベクトルと、重み付け後の前記第２ベクトルとの前記類似度を計算することを含んでもよい。この形態によれば、重み付け後の第１ベクトルと重み付け後の第２ベクトルとを用いて類似度を計算できる。
（１７）本開示の第３の形態によれば装置が提供される。この装置は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習する学習部であって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、学習部と、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する第１取得部と、を備える。この形態によれば、ニューロンが有する第１アクティベーションと第１ベクトルとの少なくとも一方に基づく第１中間データを取得できる。これにより、モデルに判別対象の第２データ要素が入力された場合におけるニューロンが有する第２アクティベーションと第２ベクトルとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデルを用いた第２データ要素の判別根拠を出力可能となる。
（１８）本開示の第４の形態によれば装置が提供される。この装置は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されたモデルを記憶する記憶装置であって、前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、記憶装置と、前記学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する第１取得部と、前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する第２取得部と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する計算部と、を備える。この形態によれば、ニューロンが有する第１アクティベーションと第１ベクトルとの少なくとも一方に基づく第１中間データを取得できる。これにより、モデルに判別対象の第２データ要素が入力された場合におけるニューロンが有する第２アクティベーションと第２ベクトルとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデルを用いた第２データ要素の判別根拠を出力可能となる。
（１９）本開示の第５の形態によればコンピュータープログラムが提供される。このコンピュータープログラムは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習する機能であって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、機能と、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する機能と、を１または複数のプロセッサーに実行させる。この形態によれば、ニューロンが有する第１アクティベーションと第１ベクトルとの少なくとも一方に基づく第１中間データを取得できる。これにより、モデルに判別対象の第２データ要素が入力された場合におけるニューロンが有する第２アクティベーションと第２ベクトルとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデルを用いた第２データ要素の判別根拠を出力可能となる。
（２０）本開示の第６の形態によれば、予め学習されたモデルを用いて実行されるコンピュータープログラムが提供される。前記モデルは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する。このコンピュータープログラムは、学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する機能と、前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する機能と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する機能と、を１または複数のプロセッサーに実行させる。この形態によれば、ニューロンが有する第１アクティベーションと第１ベクトルとの少なくとも一方に基づく第１中間データを取得できる。これにより、モデルに判別対象の第２データ要素が入力された場合におけるニューロンが有する第２アクティベーションと第２ベクトルとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のニューロンを特定できるので、モデルを用いた第２データ要素の判別根拠を出力可能となる。
本開示は、上記形態の他に、コンピュータープログラムを記録したや装置を備えるシステムなどの形態で実現することができる。
Ｍ…ベクトル、Ｍ１…第１ベクトル、Ｒｘ…部分領域、Ｓｐ…特徴スペクトル、ＴＶ…閾値、ａ…アクティベーション、ａ１…第１アクティベーション、ａ２…第２アクティベーション、ｍ１…次元、ｍ２…次元、Ｒｘ…部分領域、１０…第１入力データセット、１２…第１データセット、１２Ａ，１２Ｂ，１２Ｃ…第１データ要素、１４，１４Ａ～１４Ｃ…事前ラベル、２０…判別装置、２２…記憶装置、２３…不揮発性記憶媒体、２４…プロセッサー、２６…出力部、３０…モデル、３２…収集データ要素、３３…畳み込み層、３５…プライマリーニューロン層、３７…第１ニューロン層、３８…第２ニューロン層、３９…分類ニューロン層、６０，６０ａ…第２入力データセット、６２，６２ａ…第２データセット、６２Ａ～６２Ｅ…第２データ要素、１００…判別システム

Claims (20)

  1. １または複数のプロセッサーに実行させるための方法であって、
    第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習することであって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、ことと、
    学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得することと、を備える、方法。
  2. 予め学習されたモデルを用いて、１または複数のプロセッサーに実行させるための方法であって、
    前記モデルは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、
    前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力し、
    前記方法は、
    学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得することと、
    前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得することと、
    前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算することと、を備える、方法。
  3. 請求項２に記載の方法であって、
    さらに、計算した前記類似度に関する情報を出力することを含む、方法。
  4. 請求項２または請求項３に記載の方法であって、
    さらに、前記モデルに前記第２データ要素を入力して、前記第２データ要素のラベルを判別することを含む、方法。
  5. 請求項４に記載の方法であって、
    さらに、前記ラベルの判別結果を出力することを含む、方法。
  6. 請求項２から請求項５までのいずれか一項に記載の方法であって
    前記ニューロン層は、複数の前記ニューロンを有し、
    前記第１中間データを取得することは、
    前記複数の前記ニューロンがそれぞれ有する前記第１中間データを取得することと、
    取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、
    前記第２中間データを取得することは、
    前記複数の前記ニューロンがそれぞれ有する前記第２中間データを取得することと、
    取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、
    前記類似度を計算することは、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含む、方法。
  7. 請求項６に記載の方法であって、
    前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含む、方法。
  8. 請求項６または請求項７に記載の方法であって、
    前記ニューロン層は、複数層によって構成された階層構造であり、
    前記類似度を計算することは、
    前記ニューロン層ごとにおいて、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含む、方法。
  9. 請求項２から請求項５までのいずれか一項に記載の方法であって、
    前記ニューロン層は、複数の前記ニューロンを有し、
    前記第１中間データを取得することは、
    前記複数の前記ニューロンがそれぞれ有する前記第１中間データを取得することと、
    取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、
    前記第２中間データを取得することは、
    前記複数の前記ニューロンがそれぞれ有する前記第２中間データを取得することと、
    取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、
    前記類似度を計算することは、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含む、方法。
  10. 請求項９に記載の方法であって、
    前記類似度に関する情報は、前記類似度の計算が行われた前記第２部分範囲を示す部分範囲情報を含む、方法。
  11. 請求項９に記載の方法であって、
    前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含む、方法。
  12. 請求項９から請求項１１までのいずれか一項に記載の方法であって、
    前記ニューロン層は、複数層によって構成された階層構造であり、
    前記類似度を計算することは、
    前記ニューロン層ごとにおいて、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含む、方法。
  13. 請求項８または請求項１２に記載の方法であって、
    前記類似度に関する情報は、さらに、複数の前記ニューロン層の階層を識別するための層ラベル情報と、前記階層ごとの前記類似度を示す類似度情報と、前記階層ごとにおいて前記類似度の計算が行われた前記第２部分範囲である階層部分範囲を示す階層部分範囲情報と、前記類似度と予め定められた閾値との大小関係を示す比較情報と、の少なくとも一つを含む、方法。
  14. 請求項２から請求項１３までのいずれか一項に記載の方法であって、
    前記第１中間データは、少なくとも前記第１ベクトルを含み、
    前記第２中間データは、少なくとも前記第２ベクトルを含み、
    前記類似度を計算することは、前記第１ベクトルと前記第２ベクトルとの前記類似度を計算することを含む、方法。
  15. 請求項２から請求項１３までのいずれか一項に記載の方法であって、
    前記第１中間データは、少なくとも前記第１アクティベーションを含み、
    前記第２中間データは、少なくとも前記第２アクティベーションを含み、
    前記類似度を計算することは、前記第１アクティベーションと前記第２アクティベーションとの前記類似度を計算することを含む、方法。
  16. 請求項２から請求項１３までのいずれか一項に記載の方法であって、
    前記第１中間データは、前記第１ベクトルと前記第１アクティベーションとを含み、
    前記第２中間データは、前記第２ベクトルと前記第２アクティベーションとを含み、
    前記類似度を計算することは、前記第１ベクトルを前記第１アクティベーションで重み付けし、前記第２ベクトルを前記第２アクティベーションで重み付けし、重み付け後の前記第１ベクトルと、重み付け後の前記第２ベクトルとの前記類似度を計算することを含む、方法。
  17. 装置であって、
    第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習する学習部であって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、学習部と、
    学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する第１取得部と、を備える、装置。
  18. 装置であって、
    第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されたモデルを記憶する記憶装置であって、前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、記憶装置と、
    前記学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する第１取得部と、
    前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する第２取得部と、
    前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する計算部と、を備える、装置。
  19. コンピュータープログラムであって、
    第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように、ベクトルニューラルネットワーク型のアルゴリズムであるモデルを学習する機能であって、前記モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力する、機能と、
    学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する機能と、を１または複数のプロセッサーに実行させるためのコンピュータープログラム。
  20. 予め学習されたモデルを用いて実行されるコンピュータープログラムであって、
    前記モデルは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、
    前記モデルは、ベクトルニューラルネットワーク型のアルゴリズムを用いており、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、前記１以上のニューロンはそれぞれ、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを出力し、
    前記コンピュータープログラムは、
    学習された前記モデルに前記第１データセットを入力し、前記１以上の前記ニューロンが出力する前記第１中間データを、前記ニューロンと関連付けて取得する機能と、
    前記モデルに第２データ要素を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する機能と、
    前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する機能と、を１または複数のプロセッサーに実行させるためのコンピュータープログラム。
JP2020094205A 2020-05-29 2020-05-29 方法、装置、および、コンピュータープログラム Active JP7468155B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020094205A JP7468155B2 (ja) 2020-05-29 2020-05-29 方法、装置、および、コンピュータープログラム
CN202110583658.XA CN113743575B (zh) 2020-05-29 2021-05-27 数据获取方法和装置、相似度计算方法和装置及存储介质
CN202110586033.9A CN113743576B (zh) 2020-05-29 2021-05-27 数据获取方法和装置、相似度计算方法和装置及存储介质
US17/333,718 US20210374504A1 (en) 2020-05-29 2021-05-28 Method, apparatus, and non-temporary computer-readable medium
US17/333,271 US20210374535A1 (en) 2020-05-29 2021-05-28 Method, apparatus, and non-temporary computer-readable medium
US17/333,222 US20210374534A1 (en) 2020-05-29 2021-05-28 Information processing apparatus, arithmetic method, and non-temporary computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020094205A JP7468155B2 (ja) 2020-05-29 2020-05-29 方法、装置、および、コンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2021189730A JP2021189730A (ja) 2021-12-13
JP7468155B2 true JP7468155B2 (ja) 2024-04-16

Family

ID=78850438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020094205A Active JP7468155B2 (ja) 2020-05-29 2020-05-29 方法、装置、および、コンピュータープログラム

Country Status (1)

Country Link
JP (1) JP7468155B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5225163B2 (ja) 2009-03-06 2013-07-03 三菱電機株式会社 データ更新装置、データ更新装置のデータ更新方法およびデータ更新プログラム
CN109446985A (zh) 2018-10-28 2019-03-08 贵州师范学院 基于矢量神经网络的多角度植物识别方法
JP2022502730A (ja) 2018-08-27 2022-01-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. トレーニングされたモデルについてのメタデータの生成

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5225163B2 (ja) 2009-03-06 2013-07-03 三菱電機株式会社 データ更新装置、データ更新装置のデータ更新方法およびデータ更新プログラム
JP2022502730A (ja) 2018-08-27 2022-01-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. トレーニングされたモデルについてのメタデータの生成
CN109446985A (zh) 2018-10-28 2019-03-08 贵州师范学院 基于矢量神经网络的多角度植物识别方法

Also Published As

Publication number Publication date
JP2021189730A (ja) 2021-12-13

Similar Documents

Publication Publication Date Title
CN111310731B (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
CN113657425B (zh) 基于多尺度与跨模态注意力机制的多标签图像分类方法
CA3066029A1 (en) Image feature acquisition
CN107506740A (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN106203487A (zh) 一种基于多核学习分类器融合的图像分类方法及装置
US9530042B1 (en) Method for fingerprint classification
Oliva et al. Multilevel thresholding by fuzzy type II sets using evolutionary algorithms
JP7225731B2 (ja) 多変数データシーケンスの画像化
CN109886281A (zh) 一种基于四元数超限学习机彩色图像识别方法
CN111191528A (zh) 基于深度学习的校园暴力行为检测系统和方法
CN114503131A (zh) 检索装置、检索方法、检索程序和学习模型检索系统
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
CN113743575B (zh) 数据获取方法和装置、相似度计算方法和装置及存储介质
CN111860601B (zh) 预测大型真菌种类的方法及装置
Faghih et al. Multi-objective optimization based color constancy
Abdallah et al. Facial-expression recognition based on a low-dimensional temporal feature space
JP7468155B2 (ja) 方法、装置、および、コンピュータープログラム
CN112766419A (zh) 一种基于多任务学习的图像质量评估方法及装置
CN114943290B (zh) 一种基于多源数据融合分析的生物入侵识别方法
JP7516871B2 (ja) 方法、装置、および、コンピュータープログラム
JP7537242B2 (ja) 方法、装置、および、コンピュータープログラム
Hudec et al. Texture similarity evaluation via siamese convolutional neural network
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
JP7567371B2 (ja) 機械学習モデルを用いてクラス分類処理を実行する方法、情報処理装置、及び、コンピュータープログラム
JP2023006279A (ja) 機械学習モデルを用いて検査データの良否を判定する方法、情報処理装置、及び、コンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150