JP6209879B2

JP6209879B2 - 畳み込みニューラルネットワーク分類器システム、その訓練方法、分類方法および用途

Info

Publication number: JP6209879B2
Application number: JP2013139882A
Authority: JP
Inventors: ウ・チュヌポン; ファヌ・ウエイ; 源何; 俊孫; 直井　聡; 聡直井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-08-31
Filing date: 2013-07-03
Publication date: 2017-10-11
Anticipated expiration: 2033-07-03
Also published as: CN103679185B; JP2014049118A; CN103679185A

Description

本発明は、分類器に関し、具体的には、畳み込みニューラルネットワーク（Convolutional Neural network、以下、CNNと略称する）分類器システム、その用途、畳み込みニューラルネットワーク分類器システムの訓練方法、及び畳み込みニューラルネットワーク分類器システムを利用して対象物を分類する方法およびその用途に関する。

これまでのところ、オフライン手書き文字の認識は難しい課題である。近年、畳み込みニューラルネットワークに基づく識別方法は、現在の技術の発展を実現した。しかし、今の識別方法の認識率には限りがある。

この技術課題を解決するには、認識率が高く、効率のよい識別方法または分類方法が必要とされている。

本発明の主な目的の１つは、畳み込みニューラルネットワーク分類器システムとその用途、畳み込みニューラルネットワーク分類器システムの訓練方法、および畳み込みニューラルネットワーク分類器システムを利用して対象物を分類する方法とその用途を提供することにある。

以下に、本発明を簡単に説明して本発明の基本的な理解を提供する。この簡単な説明は、本発明に対する網羅的なものではない。また、本発明の肝心部分又は重要部分を決定する意図がなく、本発明の範囲を限定する意図もなく、簡単な形式で幾つかの概念を提供して後述のより詳しい説明の先行説明とすることに過ぎないことは、理解されるところである。

本発明の一観点によれば、畳み込みニューラルネットワーク分類器システムが提供される。当該システムは、互いに異種であるM種類の畳み込みニューラルネットワーク分類器を有し、Mは１より大きい整数である；このうち、各種類の畳み込みニューラルネットワーク分類器は、複数の互いに同種の畳み込みニューラルネットワーク分類器を含む。

本発明の他の一観点によれば、前記畳み込みニューラルネットワーク分類器システムを訓練する方法が提供される。当該方法は、訓練サンプルを利用してカスケード構造中の全てのレベルの畳み込みニューラルネットワーク分類器を訓練し、また、各レベルの畳み込みニューラルネットワーク分類器の中の複数の畳み込みニューラルネットワーク分類器に対して、それぞれのオリジナル訓練サンプルをランダムに変形させることと；第一レベルの畳み込みニューラルネットワーク分類器を利用してオリジナル訓練サンプルを分類することと；第一レベルの畳み込みニューラルネットワーク分類器で分類しにくい訓練サンプルを、第二レベルの畳み込みニューラルネットワーク分類器全体の訓練サンプルとして、第二レベルの畳み込みニューラルネットワーク分類器を訓練することと；第二レベルの畳み込みニューラルネットワーク分類器から第Mレベルの畳み込みニューラルネットワーク分類器までの任意の隣接する２つのレベルについて順次に前記のステップを繰り返すことと、を含む。

本発明の他の一観点によれば、前記畳み込みニューラルネットワーク分類器システムを利用して対象物を分類する方法が提供される。この方法は、第一レベルの畳み込みニューラルネットワーク分類器を利用して対象物を分類することと；第二レベルの畳み込みニューラルネットワーク分類器を利用して第一レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい対象物を分類することと；第二レベルの畳み込みニューラルネットワーク分類器から第Mレベルの畳み込みニューラルネットワーク分類器までの全ての隣接する２つのレベルについて順次に前記のステップを繰り返すことと、を含む。

また、本発明の他の一観点によれば、前記畳み込みニューラルネットワーク分類器システムを識別数字に用いる用途が提供される。

本発明の他の一観点によれば、前記分類方法を識別数字に用いる用途が提供される。

また、本発明の他の一観点によれば、前記方法を実現する的コンピュータプログラムが提供される。

本発明の他の一観点によれば、少なくともコンピュータ読み取り可能な媒体形式のコンピュータプログラム製品が提供され、その中に前記方法を実現させるコンピュータプログラムコードが格納されている。

図面による本発明に対する以下の説明を参照すると、本発明の上記及び他利点がより明らかになるであろう。

図面による本発明に対する以下の説明を参照すると、本発明の上記及び他の目的、特徴、利点がより明らかになるであろう。図面における構成要素は単に本発明の原理を示すものである。図面において、同一又は対応する技術的特徴又は構成要素について同一又は対応する符号で示す。
本発明の一実施例の畳み込みニューラルネットワーク分類器システム１００を示すブロック図である。本発明のもう１つの実施例の畳み込みニューラルネットワーク分類器システム２００を示すブロック図である。空間線形サンプリング型畳み込みニューラルネットワーク分類器を示す概略図；線形サンプリングの操作方法を示す図である。ランダムに一部の層の間の連結を省略した空間線形サンプリング型畳み込みニューラルネットワーク分類器を示す概略図である。空間非線形サンプリング型畳み込みニューラルネットワーク分類器を示す概略図である。空間非線形サンプリングの操作過程を示す概略図である。ランダムに一部の層の間の連結を省略した空間線形サンプリング型畳み込みニューラルネットワーク分類器を示す概略図である。空間サンプリング層のない畳み込みニューラルネットワーク分類器を示す概略図である。ランダムに一部の層の間の連結を省略し、空間サンプリング層のない畳み込みニューラルネットワーク分類器を示す概略図である。畳み込みニューラルネットワーク分類器システムの訓練方法１１００を示す的フローチャートである。畳み込みニューラルネットワーク分類器システムを利用して対象物を分類する方法１２００を示すフローチャートである。本発明の実施に用いることのできる計算設備の例のブロック構成図である。

以下、図面を参照しながら、本発明の実施例について説明を行う。本発明のある図面またはある実施形態に記載の要素と技術的特徴は、１つまたは複数の他の図面または実施形態における要素と技術的特徴と組み合せることができる。また、注意すべきなのは、明瞭に説明するために、図面および明細書には本発明に関係のない、当業者が既知の要素と処理の表示と記載が省略されている。

図１は、本発明の実施例の畳み込みニューラルネットワーク分類器システム１００を示すブロック図である。

図１に示されたように、畳み込みニューラルネットワーク分類器システム１００は、互いに異種であるM種類の畳み込みニューラルネットワーク分類器、即ち、第一種類の畳み込みニューラルネットワーク分類器T１から第M種類の畳み込みニューラルネットワーク分類器TMを有する。ここで、Mは１より大きい整数である。

各種類の畳み込みニューラルネットワーク分類器は、複数の互いに同種類の畳み込みニューラルネットワーク分類器を有する。図１に示されたように、第一種類の畳み込みニューラルネットワーク分類器T１は、３つの畳み込みニューラルネットワーク分類器CNN-１を、第二種類の畳み込みニューラルネットワーク分類器T２は、３つの畳み込みニューラルネットワーク分類器CNN-２を，第M種類の畳み込みニューラルネットワーク分類器TMは、３つの畳み込みニューラルネットワーク分類器CNN-Mをそれぞれ有する。

ここでは、例示的に各種類の畳み込みニューラルネットワーク分類器が３つの互いに同種類の畳み込みニューラルネットワーク分類器を有することを示しているが、実際に各種類の畳み込みニューラルネットワーク分類器が有する畳み込みニューラルネットワーク分類器の数は３つに限らず、任意の数であってもよい、且つそれぞれ異なる数を有することができる。

図２は、本発明の実施例の畳み込みニューラルネットワーク分類器システム２００を示すブロック図である。

図２に示されたように、畳み込みニューラルネットワーク分類器システム２００は、三種類の畳み込みニューラルネットワーク分類器を有し、それぞれ第一種類の畳み込みニューラルネットワーク分類器T１、第二種類の畳み込みニューラルネットワーク分類器T２および第三種類の畳み込みニューラルネットワーク分類器T３である。この３種類の畳み込みニューラルネットワーク分類器は、互いに異種であり、且つ３つのレベルのカスケード構造を有する。

図２に示されたように、第一レベルの畳み込みニューラルネットワーク分類器T１は、分類対象の対象物を分類することができる。第二レベルの畳み込みニューラルネットワーク分類器T２は、第一レベルの畳み込みニューラルネットワーク分類器T１にとって分類しにくい対象物を分類することができる。第三レベルの畳み込みニューラルネットワーク分類器T３は、第二レベルの畳み込みニューラルネットワーク分類器T２にとって分類しにくい対象物を分類することができる。全てのレベルの畳み込みニューラルネットワーク分類器を利用して、全てのレベルの畳み込みニューラルネットワーク分類器にとって分類しにくい対象物（ここでは、第三レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい対象物）に投票を行い、対象物の類別を決定する。例えば、本明細書でいう「分類しにくい」とは、分類対象の対象物に対する誤分類又は誤識別を表し、或いは、分類対象の対象物に対する分類又は識別は正しいが、信頼度が低いことを表すことができる。

各レベルの畳み込みニューラルネットワーク分類器は、複数の互いに同種類の畳み込みニューラルネットワーク分類器を有することができる。例えば、各レベルの畳み込みニューラルネットワーク分類器内の複数の互いに同種類の畳み込みニューラルネットワーク分類器が投票を通じて、対象物を分類することができる。

また、図２には３つのレベルのカスケード構造を示しているが、これは単に例示的なものである。実際に、畳み込みニューラルネットワーク分類器システム２００は、２つのレベル以上の任意のカスケード構造であってもよい。仮に、畳み込みニューラルネットワーク分類器システム２００がMレベルのカスケード構造であれば、対象物を分類するときに、第一レベルの畳み込みニューラルネットワーク分類器から第Mレベルの畳み込みニューラルネットワーク分類器までの全ての隣接する２つのレベルに対して、順次に前記操作を行い、即ち、現在のレベルの畳み込みニューラルネットワーク分類器は、分類対象の対象物を分類し、次のレベルの畳み込みニューラルネットワーク分類器は、現在のレベルで分類しにくい対象物をさらに分類する。

また、互いに異種である第一種類の畳み込みニューラルネットワーク分類器T１、第二種類の畳み込みニューラルネットワーク分類器T２および第三種類の畳み込みニューラルネットワーク分類器T３を十分に活用して対象物を効率よく正確に分類するために、種類の異なる畳み込みニューラルネットワーク分類器の属性に基づいてカスケード構造を構築することができる。例えば、以下の方式でカスケード構造の各レベルの畳み込みニューラルネットワーク分類器を構築することができる：各種類のサンプルに対する効果にばらつきのない畳み込みニューラルネットワーク分類器をカスケード構造中の前レベルに配置し、特定の種類のサンプルに突出した効果を有する畳み込みニューラルネットワーク分類器をカスケード構造中の中間レベルに配置する。また、スパース連続型の広義の畳み込みニューラルネットワーク分類器をカスケード構造中の後ろのレベルに配置することができる。

本発明のカスケード構造中の各レベルの畳み込みニューラルネットワーク分類器は、以下分類器から選ぶことができ、且つこれらの分類器には限定されない：a) 空間線形サンプリング型畳み込みニューラルネットワーク分類器；b) ランダムに一部の層の間の連結を省略した空間線形サンプリング型畳み込みニューラルネットワーク分類器；c) 空間非線形サンプリング型畳み込みニューラルネットワーク分類器；d) ランダムに一部の層の間の連結を省略した非空間線形サンプリング型畳み込みニューラルネットワーク分類器；e) 空間サンプリング層のない畳み込みニューラルネットワーク分類器；およびf）ランダムに一部の層の間の連結を省略した、空間サンプリング層のない畳み込みニューラルネットワーク分類器。

以下、図３から図１０を参照しながら、前記６種類の互いに異種である畳み込みニューラルネットワーク分類器について説明する。

図３は、空間線形サンプリング型畳み込みニューラルネットワーク分類器を示す概略図である。図４は、線形サンプリングの操作方法を示す図である。

図３に示されたように、空間線形サンプリング型畳み込みニューラルネットワーク分類器の典型的な構造（“FM”は特徴図である）は、入力層、交互に配置される畳み込み層と線形サンプリング層、最後に出力層を含む。ここで、畳み込み層と線形サンプリング層が交互に配置する回数は無制限である。

線形サンプリングの操作方法とは、図４に示されたように、１つの２x２のブロックの各成分と、それと同じ大きさの１つの線形窓関数の各成分との積和を求める（実際に大きさは２x２に限らない）。図３には、連結線両端にある特徴図については、連結線の右側の特徴図は、連結線の左側の特徴図を畳み込み又は線形サンプリングして得られたものである。

以下、畳み込み操作を説明する。例えば、図３において入力画像と特徴図FM１１との間に連結線があり、且つこの連結線が畳み込み操作を表す場合、この連結線自身は１つのテンプレートとなり、FM１１の計算式は、
FM１１ = 入力画像 * 連結線上のテンプレートである。

ここで、「*」は畳み込み操作を表す。

また、例えば、図３において、FM３１はFM２１とFM２２との間にそれぞれ連結線があり、且つ、この２本連結線が畳み込み操作を表す場合、この２本の連結線自身はそれぞれ１つのテンプレートに対応し、FM３２の計算式は、
FM３１ = FM２１ * 連結線上のテンプレート + FM２２ * 連結線上のテンプレートとなる。

ここで、「*」は畳み込み操作を表す。

以下、線形サンプリング操作について説明する。線形サンプリングの操作方法は、図４に示されたように、図４にあるFM３１、FM４１は、図３にあるFM３１、FM４１に対応する。特徴図FM３１にある１つの２x２の画素ブロックの各成分と、同じ大きさの１つの線形窓関数の各成分との積和を求め、その結果を特徴図FM４１の対応する画素に与える。計算式は、
S_i＝P_i・W_i ( i＝１,２,３,４)となる。

実際に使用するときに、画素ブロックの大きさと線形窓関数は２x２に限らず、線形窓関数は、任意に設定することができる。

図５は、ランダムに一部の層の間の連結を省略した空間線形サンプリング型畳み込みニューラルネットワーク分類器を示す概略図である。

図３に示された空間線形サンプリング型畳み込みニューラルネットワーク分類器と比べると、図５に示された畳み込みニューラルネットワーク分類器の構造には一部の特徴図の間の連結（例えばFM２１とFM３１の間の連結）がランダムに取り除かれた。即ち、空間線形サンプリング型畳み込みニューラルネットワーク分類器 + スパースランダム連結。

図６は、空間非線形サンプリング型畳み込みニューラルネットワーク分類器を示す概略図である。

図３に示された空間線形サンプリング型畳み込みニューラルネットワーク分類器と比べ、図６に示された空間非線形サンプリング型畳み込みニューラルネットワーク分類器は、非線形サンプリングの操作方法を採用した。図７は、非線形サンプリングの操作過程を示す概略図である。

空間非線形サンプリングの操作方法は、図７に示されたように、図７のFM３１、FM４１は図６のFM３１、FM４１に対応する。特徴図FM３１における１つの２x２の画素ブロックを１つの非線形窓関数に入れ、その結果を特徴図FM４１の対応する画素に与える。実際に使用するときに、画素ブロックの大きさと線形窓関数は２x２に限らず、非線形窓関数の設定も任意である。比較的に良くみられる非線形窓関数として、最大値を取る、最小値を取る、或いは中間値を取るなどのものを含む。

図８は、一部の層の間の連結をランダムに省略した空間非線形サンプリング型畳み込みニューラルネットワーク分類器（即ち、空間非線形サンプリング型畳み込みニューラルネットワーク分類器 + スパースランダム連結）を示す概略図である。

図５の空間非線形サンプリング型畳み込みニューラルネットワーク分類器と比べ、図８に示された、一部の層の間の連結をランダムに省略した空間非線形サンプリング型畳み込みニューラルネットワーク分類器の一部の特徴図の間の連結、例えばFM２１とFM３１との間の連結がランダムに取り除かれた。

図９は、空間サンプリング層のない畳み込みニューラルネットワーク分類器を示す概略図である。

前の４種類の畳み込みニューラルネットワーク分類器と比べ、図９に示された空間サンプリング層のない畳み込みニューラルネットワーク分類器は、空間線形サンプリング層と非空間線形サンプリング層を有しない。

図１０は、一部の層の間の連結をランダムに省略した、空間サンプリング層のない畳み込みニューラルネットワーク分類器（即ち，空間サンプリング層のない畳み込みニューラルネットワーク分類器 + スパースランダム連結）を示す概略図である。

図９に示された空間サンプリング層のない畳み込みニューラルネットワーク分類器と比べると、図１０に示された空間サンプリング層のない畳み込みニューラルネットワーク分類器 + スパースランダム連結の典型的な構造は、一部の特徴図の間の連結、例えばFM３１とFM５１との間の連結がランダムに取り除かれた。

本発明の一実施例においては、畳み込みニューラルネットワーク分類器システム１００または２００は、当該畳み込みニューラルネットワーク分類器が対象物を分類するときに信頼度を計算する信頼度計算分類器（図１と図２には図示せず）をさらに有することができる。

実際に畳み込みニューラルネットワーク分類器を使用するときに、識別対象サンプルが与えられ、畳み込みニューラルネットワーク分類器は、予測した数字と対応する信頼度を出力する必要がある。カスケード構造中の各レベルの各畳み込みニューラルネットワーク分類器について、当該畳み込みニューラルネットワーク分類器を使ってその訓練サンプルを分類し、各訓練サンプルについて当該畳み込みニューラルネットワーク分類器から各層の少なくとも一部のノードの応答値を抽出し、応答値に基づいて信頼度計算分類器を訓練する。このようにして、特定のある層の情報だけではなく、畳み込みニューラルネットワーク分類器の各層の情報を十分に活用することができる。

具体的に言うと、畳み込みニューラルネットワーク分類器について、信頼度計算分類器を訓練する過程は以下の通りである：訓練サンプルを与え、それを畳み込みニューラルネットワーク分類器に送り込み前方伝播を行い、各層の少なくとも一部のニューロンノードの応答値を抽出し、応答値を利用して信頼度計算分類器を訓練する。実際に識別する過程では、現在の識別対象物を畳み込みニューラルネットワーク分類器に送り込み、且つ前方伝播を行い、当該畳み込みニューラルネットワーク分類器の分類結果を獲得する。同時に、前記少なくとも一部のニューロンノードの応答値を抽出し、当該応答値に基づいて訓練済みの信頼度計算分類器を利用して信頼度を計算する。

以下、信頼度計算分類器をサポートベクターマシンとする例について説明する。

訓練サンプルを与え、それを畳み込みニューラルネットワーク分類器に送り込み、前方伝播を行い、各層の少なくとも一部のニューロンノードの応答値を抽出し固有ベクトル（且つサンプル類別を記録する）を構成する。即ち、各訓練サンプルが１つの固有ベクトルを構成する。全ての固有ベクトルをサポートベクターマシン（Support Vector Machine, SVM）に送り込んで訓練し、各類別のサポートベクターを獲得する。これらのサポートベクターを信頼度の計算に用いる。具体的には、実際の識別の過程において、現在の識別対象のサンプルを畳み込みニューラルネットワーク分類器に送り込んで前方伝播を行った後、当該畳み込みニューラルネットワーク分類器の分類結果を獲得する。同時に、選択したニューロンノード応答値を抽出し固有ベクトルを構成し、この固有ベクトルの予測した数字の類別サポートベクターへの距離を計算し、この距離の逆数を信頼度とする。

以上、当該信頼度計算分類器がサポートベクターマシンであるケースを説明してきたが、ここでの信頼度計算分類器は、適当な任意の種類の分類器であってもよく、サポートベクターマシンに限らないことは、理解されるところである。

図１１は、畳み込みニューラルネットワーク分類器システムの訓練方法１１００のフローチャートである。

図１１に示されたように、ステップS１１０２において、訓練サンプルを利用してカスケード構造中の全てのレベルの畳み込みニューラルネットワーク分類器を訓練する。ここで、各レベルの畳み込みニューラルネットワーク分類器の中の複数の畳み込みニューラルネットワーク分類器に対し、それぞれオリジナル訓練サンプルについてランダムに変形させる。ランダムに変形させることにより訓練サンプルを豊かにすることができる。このようにして、変形後のオリジナル訓練サンプルを利用して全ての畳み込みニューラルネットワーク分類器を訓練することにより、これらの畳み込みニューラルネットワーク分類器に一定の分類性能を持たせ、その後のレベル別の訓練に有利である。

ステップS１１０４において、ループ制御変数Nの初期値を１とすることができる。

ステップS１１０６において、第Nレベルの畳み込みニューラルネットワーク分類器を利用してオリジナル訓練サンプルを分類することができる。

ステップS１１０８において、第Nレベルの畳み込みニューラルネットワーク分類器が分類しにくい訓練サンプルを、第N+１レベルの畳み込みニューラルネットワーク分類器を訓練する全ての訓練サンプルとし、第N+１レベルの畳み込みニューラルネットワーク分類器を訓練する。ここで、信頼度および/または各訓練サンプル自身の既知のマークに基づいて各畳み込みニューラルネットワーク分類器が訓練サンプルを分類しにくいか否かを判断する。

ステップS１１１０において、ループ制御変数Nの値を１増加させる。

ステップS１１１２において、ループ制御変数NがM以上であるか否かを判断する。Mはカスケード構造のレベルであり、M ≧ ２である。

ステップS１１１２での判断結果、NがMより小さい場合には、ステップS１１１６に戻り、NがM以上である場合には、プロセスを終了する。

また、カスケード構造を構築する前に、幾つかの畳み込みニューラルネットワーク分類器を訓練することができる。また、各畳み込みニューラルネットワーク分類器は前記６種類の異種構造の１つである。訓練方法は、直接典型的な確率的勾配降下法を採用する。各畳み込みニューラルネットワーク分類器について複数回の訓練を行い、各回に複数のサンプルを使用する。訓練過程において、各サンプルが畳み込みニューラルネットワーク分類器に送り込まれる過程は以下の通りである：１つのサンプルを与え、当該サンプルにランダムに変形させた（ランダムに回転又は移動させる）後に、変形後のサンプルを畳み込みニューラルネットワーク分類器に送り込み、前方伝播を行い、それから確率的勾配降下法により後方伝播を行い、後方伝播の中で畳み込みニューラルネットワーク分類器の各層のパラメーターを修正する。

続いて、一定のルールに基づいて訓練済みの一部の畳み込みニューラルネットワーク分類器を選択してカスケード分類器を形成する。

また、各訓練済みの畳み込みニューラルネットワーク分類器について、全ての訓練サンプルを用いて、現在の畳み込みニューラルネットワーク分類器の各種類のサンプルにおける誤り率と、現在の畳み込みニューラルネットワーク分類器の全てのサンプルにおける平均誤り率を算出し、それから算出された数値に基づいて全ての訓練済みの畳み込みニューラルネットワーク分類器を以下の三種類に分類する：（１）、スパース連続型畳み込みニューラルネットワーク分類器；（２）、前記（１）を除き、平均誤り率の低い畳み込みニューラルネットワーク分類器；および（３）、ある種類のサンプルにおいて低い誤り率を有する畳み込みニューラルネットワーク分類器。それから、前記各種類の畳み込みニューラルネットワーク分類器からそれぞれ一部の畳み込みニューラルネットワーク分類器を選出して、カスケード構造に用いる。好ましくは、以下の方式でカスケード構造を構築する。即ち、第（２）類の畳み込みニューラルネットワーク分類器をカスケード構造の前寄りのレベルに配置し、第（３）類の畳み込みニューラルネットワーク分類器をカスケード構造の中間レベルに配置し、第（１）類をカスケード構造の後寄りのレベルに配置する。

また、信頼度計算分類器を利用して信頼度を算出することができる。まず、信頼度計算分類器を訓練する。具体的に言うと、カスケード構造中の各レベルの各畳み込みニューラルネットワーク分類器について、当該畳み込みニューラルネットワーク分類器を用いてサンプル分類の訓練を行い、各訓練サンプルについて当該畳み込みニューラルネットワーク分類器から各層の少なくとも一部のノードの応答値を抽出し、且つ応答値を利用して信頼度計算分類器を訓練する。それから、当該畳み込みニューラルネットワーク分類器が対象物を分類するときに、信頼度を利用して分類器計算信頼度を算出する。好ましくは、前記各層の少なくとも一部のノードは、後ろから第二層の少なくとも一部のノードを含む。

図１２は、畳み込みニューラルネットワーク分類器システムを利用して対象物を分類する方法１２００のフローチャートである。

図１２に示されたように、ステップS１２０２では、ループ制御変数Nの初期値を１とする。

ステップS１２０４では、第Nレベルの畳み込みニューラルネットワーク分類器を利用して対象物を分類する。

ステップS１２０６では、第N+１レベルの畳み込みニューラルネットワーク分類器を利用して第Nレベルの畳み込みニューラルネットワーク分類器が分類しにくい対象物を分類する。

ステップS１２０８では、ループ制御変数Nの値を１増加させる。

ステップS１２１０では、NがM以上であるか否かを判断する。ここで、Mはカスケード構造のレベル数であり、且つM ≧ ２である。

ステップS１２１０での判断結果、NがMより小さい場合には、ステップS１２０４に戻り、NがM以上である場合には、プロセスを終了する。

また、信頼度計算分類器を利用して信頼度を算出することができる。各分類対象物についてカスケード構造中の各レベルの各畳み込みニューラルネットワーク分類器が各訓練サンプルを分類するときの相応ノードの応答値を抽出する；応答値に基づいて、信頼度計算分類器を利用して信頼度を計算する。前記所定のノードは後ろから第二層の少なくとも一部のノードを含む。

信頼度に基づいて各レベルの中の各畳み込みニューラルネットワーク分類器が対象物を分類しにくいか否かを判断する。

本発明の畳み込みニューラルネットワーク分類器システムは数字の識別に用いられることができる。畳み込みニューラルネットワーク分類器システムを利用する分類方法も数字の識別に用いられることができる。

以下、３つのレベルのカスケード構造の畳み込みニューラルネットワーク分類器システムを用いて手書き文字の識別を行う過程を説明する。ここでは信頼度も使用される。

まず、１つの識別対象物を与え、それを第一レベルの畳み込みニューラルネットワーク分類器に送り込む。当該レベルの畳み込みニューラルネットワーク分類器は、予測した数字と対応する信頼度という２つの値を出力する。信頼度が所定の閾値より大きい場合には、識別の結果が信頼でき、識別の結果を直接出力し、その後のステップを行わない。そうでなければ、当該識別対象物を第二レベルの畳み込みニューラルネットワーク分類器に送り込み、第一レベルの畳み込みニューラルネットワーク分類器のときのプロセスを繰り返す。信頼度が所定の閾値より小さい場合には、当該識別対象物を第三レベルの畳み込みニューラルネットワーク分類器に送り込み、第一レベルの畳み込みニューラルネットワーク分類器のときのプロセスを繰り返す。もし第三レベルの畳み込みニューラルネットワーク分類器を経た後にも信頼度がまだ所定の閾値より小さい場合には、全てのレベルの畳み込みニューラルネットワーク分類器の投票により当該識別対象物の識別結果を獲得する。

ここで注意すべきなのは、ここの各レベルの畳み込みニューラルネットワーク分類器は複数の互いに同種類の畳み込みニューラルネットワーク分類器を含むことができる。このとき、各レベルの出力は、当該レベル内の全ての畳み込みニューラルネットワーク分類器の投票によって決定され、信頼度は、当該レベル内の全ての畳み込みニューラルネットワーク分類器の信頼度によるものである。例えば、当該レベル内の全ての畳み込みニューラルネットワーク分類器が出力する信頼度の平均値を取ることができる。

本発明の技術による、国際標準手書き数字データベースMNISTに対する識別正確度は、一部の国際的に有名な方法、特に単一種類の畳み込みニューラルネットワーク分類器による方法より高い。以下、本発明の技術がよい技術効果をもたらす理由について説明する。

まず、本発明の技術は、多種類の異種畳み込みニューラルネットワーク分類器間の非関連性を利用したため、識別の正確度をあげるときの投票の役割を高めた。複数の分類器による投票は、より高い識別率を実現することができる。但し、より高い識別率を実現する前提条件として、これらの分類器が非関連的であり、例えば、異種である必要がある。大量の同一種類の分類器による投票は、必ずしも識別率を大幅に上げることができない。本発明の技術は、多種類の異種畳み込みニューラルネットワーク分類器によって投票を行うため、この前提要件を満たしている。

次に、本発明の技術は、一部従来の方法より畳み込みニューラルネットワーク分類器が提供するパターン情報を十分に利用することができる。本発明の技術では、畳み込みニューラルネットワーク分類器の各層から抽出した一部の特徴図を利用して固有ベクトルを形成し、これにより畳み込みニューラルネットワーク分類器の識別結果の信頼度をはかるため、畳み込みニューラルネットワーク分類器の最後の一層の情報だけに頼ることなく、畳み込みニューラルネットワーク分類器の各層が提供する情報を充分に活用することができる。パターン認識理論から見ると、畳み込みニューラルネットワーク分類器の中の各層のニューロンノードが一定のパターン情報を提供しているので、もし最後の一層の情報だけを利用すると、中間各層が提供するパターン情報が失われてしまうことになる。

また、畳み込みニューラルネットワーク分類器によらない既存の手書き数字識別方法と比較すると、本発明の技術に採用される畳み込みニューラルネットワーク分類器の構造は、大量の有用且つ事前に知られていない特徴を、入力されたサンプルから自動的に学習することができることに対し、既存の方法は、抽出すべき特徴を事前に手動で設定する必要がある。従って、既存の方法で抽出できる特徴の数が限られており、且つ特徴設定の段階では人手を要する。

以上、具体的な実施例を用いて本発明の基本原理について説明したが、強調すべきなのは、本発明の方法と装置の全て又はいずれのステップ又は構成要素が、任意の計算装置（プロセッサや記憶媒体等を含む）または計算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアまたはそれらの組合せにより実現できることは、当業者にとって理解されるところである。また、これは当業者が本発明の明細書を読んだ上で彼らの基本的なプログラミングスキルを利用して実現できるものである。

従って、本発明の目的は、任意の計算装置において１つ又は１組のプログラムを実行することにより実現することができる。前記計算装置は従来の汎用装置であってもよい。また、本発明の目的は、前記方法又は装置を実現するプログラムコードを含むプログラム製品を提供するだけで実現される。即ち、このようなプログラム製品も本発明を構成するものであり、且つこのようなプログラム製品を格納した記憶媒体も本発明を構成するものである。もとろん、前記記憶媒体は、任意の従来の記憶媒体又は将来開発される任意の記憶媒体であってもよい。

ソフトウェアおよび/またはファームウェアを通じて本発明の実施例を実現する場合、記憶媒体またはネットワークを通じて専用ハードウェア構造を有するコンピュータ、例えば、図１３に示されたような汎用コンピュータ１３００に当該ソフトウェアを構成するプログラムをインストールし、当該コンピュータは、各種類のプログラムがインストールされたときに、各種の機能等を実行することができる。

図１３では、セントラル・プロセッシング・ユニット(CPU)１３０１は、読み取り専用メモリ(ROM)１３０２に格納されたプログラムまたは記憶部１３０８からランダム・アクセス・メモリ(RAM)１３０３にアップロードされたプログラムにより各種の処理を実行する。RAM１３０３には、必要に応じてCPU１３０１が各種の処理を実行するときに必要なデータを記憶する。CPU１３０１、ROM１３０２とRAM１３０３はバス１３０４を介して互いに連結する。入力/出力インターフェース１３０５もバス１３０４に接続される。

以下の要素も入力/出力インターフェース１３０５に接続される：キーボードやマウス等を含む入力部１３０６；例えばブラウン管（CRT）や液晶ディスプレイ（LCD）等のモニタやスピーカー等を含む出力部１３０７；ハードディスク等を含む記録部１３０８；例えばLANカード等のネットワークインタフェースカードやモデム等を含む通信部１３０９。また、通信部１３０９はネットワーク、例えばインターネットを介して通信処理を行う。必要に応じて、ドライブ１３１０も入力/出力インターフェース１３０５に接続される。取り外し可能な媒体１３１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等を、必要に応じてドライブ１３１０に挿入し、その中から読み出されたコンピュータプログラムは必要に応じて記録部１３０８にインストールされる。

ソフトウェアを通じて前記一連の処理を実現する場合、ネットワーク、例えばインターネット、または記憶媒体、例えば取り外し可能な媒体１３１１からソフトウェアを構成するプログラムをインストールする。

当業者が理解されるように、ここでの記録媒体は、図１３に示されたような、中にプログラムが記録され、設備と分離して配布しユーザにプログラムを提供する取り外し可能な媒体１３１１には限らない。取り外し可能な媒体７１１の例として、磁気ディスク(フロッピーディスク(登録商標)を含む)、光ディスク(コンパクトディスク（CD）による読み出し専用メモリー(CD-ROM)とデジタル多用途ディスク(DVD)を含む)、光磁気ディスク（ミニディスク(MD)(登録商標)を含む)と半導体記憶装置などを含む。また、記録媒体は、ROM１３０２や記録部１３０８に含まれるハードディスクであっても良い。その中にプログラムが記録され、且つそれを記録する設備と一緒にユーザに配布される。

本発明は、機械読み取り可能な命令コードを格納したプログラム製品を提供する。命令コードが機械に読み取りされ且つ実行されるときに、前記本発明の実施例の方法を実行することができる。

また、前記機械読み取り可能な命令コードを格納したプログラム製品の記憶媒体も本発明の開示に含まれる。記憶媒体はフロッピーディスク、磁気ディスク、光ディスク、メモリカード、メモリスティック等を含む。

ここでの実施例は例示的なものであり、本発明はこれらの実施例に限定されないことは、当業者に理解されるところである。

本明細書にある「第一」、「第二」及び「第N」等の記載は、関連特徴を文字上区別し、本発明をより明瞭に記載するためである。従って、限定的な意味合いは有しない。

例として、前記方法の各ステップおよび前記設備の各構成モジュールおよび/またはユニットは、ソフトウェア、ファームウェア、ハードウェアまたはその組合せによって実現でき、且つその設備の中の一部となる。前記設備の各構成モジュールやユニットがソフトウェア、ファームウェア、ハードウェアまたはその組合せにより結合されるときに使用可能な手段または方式は、当業者に熟知されているため、ここでは、その説明を省略した。

例として、ソフトウェアまたはファームウェアを通じて本発明を実現する場合、記憶媒体またはネットワークから専用ハードウェア構造を有するコンピュータ（例えば、図１３に示された汎用コンピュータ１３００）に当該ソフトウェアを構成するプログラムをインストールすることができる。当該コンピュータは、各種のプログラムがインストールされたときに、各種の機能を実現できる。

１つの実施形態について記載および/または図示した特徴は同一または類似の方法で１つまたは複数の他の実施形態で使用することができ、また、その他の実施形態の中の特徴と組合せ、または他の実施形態の特徴を代替することもできる。

強調すべきなのは、用語「含む/備える」は、本明細書において特徴、要素、ステップまたはモジュールの存在を表し、１つまたは複数の他の特徴、要素、ステップまたはモジュールの存在または付加を排除しない。

また、本発明の方法は、明細書に説明された時間順で行なわれることに限らず、他の時間順で、又は並行して、又は単独で実行することもできる。従って、本発明の技術的範囲は、明細書に記載の方法の実行順番に限定されない。

本発明は、添付の請求の範囲の要旨と範囲内に本発明に対する様々な変更、改善又は均等物を設計することができるものと認めるべきである。且つ、本発明の範囲は明細書に記載の過程、設備、手段、方法とステップの具体的な実施例に限定されない。当業者は、本発明に開示された内容から本発明の実施例に基本的に同じ機能を有し、基本的に同じ効果を奏する既存の、または将来開発される過程、設備、手段、方法またはステップを使用又は実行することができる。従って、添付の請求の範囲の要旨は、このような過程、設備、手段、方法またはステップを含む。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
畳み込みニューラルネットワーク分類器システムであって、
互いに異種であるM種類の畳み込みニューラルネットワーク分類器を備え、前記Mは１より大きい整数であり、
各種類の前記畳み込みニューラルネットワーク分類器は、複数の互いに同種類の畳み込みニューラルネットワーク分類器を備える、
ことを特徴とする畳み込みニューラルネットワーク分類器システム。
（付記２）
前記互いに異種であるM種類の畳み込みニューラルネットワーク分類器をMレベルのカスケード構造に配置する付記１に記載の畳み込みニューラルネットワーク分類器システム。
（付記３）
第一レベルの畳み込みニューラルネットワーク分類器は、対象物の分類に用いられ、
第二レベルの畳み込みニューラルネットワーク分類器は、前記第一レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい対象物の分類に用いられ、
前記第二レベルの畳み込みニューラルネットワーク分類器から第Mレベルの畳み込みニューラルネットワーク分類器までの全ての隣接する２つのレベルについて順次に前記操作を繰り返す、
付記２に記載の畳み込みニューラルネットワーク分類器システム。
（付記４）
各レベルの前記畳み込みニューラルネットワーク分類器内の前記複数の互いに同種類の畳み込みニューラルネットワーク分類器は、投票を通じて前記対象物を分類する、
付記２に記載の畳み込みニューラルネットワーク分類器システム。
（付記５）
各種類のサンプルに対する効果にばらつきのない畳み込みニューラルネットワーク分類器は、前記カスケード構造中の前寄りのレベルに配置され、
特定の種類のサンプルに突出した効果がある畳み込みニューラルネットワーク分類器布置は、前記カスケード構造中の中間レベルに配置されるように、
前記カスケード構造中の各レベルの畳み込みニューラルネットワーク分類器を配置する、
付記２乃至４の何れかに記載の畳み込みニューラルネットワーク分類器システム。
（付記６）
スパース連続型の広義の畳み込みニューラルネットワーク分類器を前記カスケード構造中の後ろ寄りのレベルに配置する、
付記５に記載の畳み込みニューラルネットワーク分類器システム。
（付記７）
前記カスケード構造中の各レベルの畳み込みニューラルネットワーク分類器は、
a)空間線形サンプリング型畳み込みニューラルネットワーク分類器と、
b)一部の層の間の連結がランダムに省略された空間線形サンプリング型畳み込みニューラルネットワーク分類器と、
c)空間非線形サンプリング型畳み込みニューラルネットワーク分類器と、
d)一部の層の間の連結がランダムに省略された空間非線形サンプリング型畳み込みニューラルネットワーク分類器と、
e)空間サンプリング層のない畳み込みニューラルネットワーク分類器と、
f）一部の層の間の連結がランダムに省略され空間サンプリング層のない畳み込みニューラルネットワーク分類器、
から選ばれる付記１乃至６の何れかに記載の畳み込みニューラルネットワーク分類器システム。
（付記８）
前記畳み込みニューラルネットワーク分類器が前記対象物を分類するときに、信頼度を算出する信頼度計算分類器をさらに備え、
前記カスケード構造中の各レベルの中の各畳み込みニューラルネットワーク分類器について、当該畳み込みニューラルネットワーク分類器を用いてそのサンプル分類の訓練を行い、各訓練サンプルに対して前記畳み込みニューラルネットワーク分類器の各層から少なくとも一部のノードの応答値を抽出し、
前記応答値に基づいて前記信頼度計算分類器を訓練する
付記１乃至７の何れかに記載の畳み込みニューラルネットワーク分類器システム。
（付記９）
全てのレベルの畳み込みニューラルネットワーク分類器を用いて全てのレベルの畳み込みニューラルネットワーク分類器が分類しにくい対象物に対して投票を行うことにより、前記対象物の類別を決定する
付記３乃至８の何れかに記載の畳み込みニューラルネットワーク分類器システム。
（付記１０）
付記２乃至９の何れかに記載の畳み込みニューラルネットワーク分類器システムを用いて訓練を行う方法であって、
訓練サンプルを利用して前記カスケード構造中の全てのレベルの畳み込みニューラルネットワーク分類器を訓練し、各レベルの畳み込みニューラルネットワーク分類器の中の複数の畳み込みニューラルネットワーク分類器に対してそれぞれオリジナル訓練サンプルをランダムに変形させ、
前記第一レベルの畳み込みニューラルネットワーク分類器を利用して前記オリジナル訓練サンプルを分類し、
前記第一レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい訓練サンプルを、第二レベルの畳み込みニューラルネットワーク分類器を訓練するための全ての訓練サンプルとし、前記第二レベルの畳み込みニューラルネットワーク分類器を訓練し、
前記第二レベルの畳み込みニューラルネットワーク分類器から前記第Mレベルの畳み込みニューラルネットワーク分類器までの任意の隣接する２つのレベルについて順次に前記のステップを繰り返す、
ことを含む方法。
（付記１１）
前記カスケード構造中の各レベルの中の各畳み込みニューラルネットワーク分類器について、当該畳み込みニューラルネットワーク分類器を用いてそのサンプル分類の訓練を行い、各訓練サンプルについて当該畳み込みニューラルネットワーク分類器から各層の少なくとも一部のノードの応答値を抽出し、
前記応答値を利用して信頼度計算分類器を訓練し、前記信頼度計算分類器は、当該畳み込みニューラルネットワーク分類器が前記対象物を分類するときの信頼度を計算する
付記１０に記載の方法。
（付記１２）
各層の少なくとも一部のノードは、後ろから第二層の少なくとも一部のノードを含む
付記１１に前記の方法。
（付記１３）
信頼度および/または各訓練サンプル自身の既知のマークに基づいて各畳み込みニューラルネットワーク分類器が前記訓練サンプルを分類しにくいか否か判断する
付記１０乃至１２の何れかに記載の方法。
（付記１４）
付記１乃至９の何れかに記載の畳み込みニューラルネットワーク分類器システムを利用して対象物を分類する方法であって、
前記第一レベルの畳み込みニューラルネットワーク分類器を利用して前記対象物を分類し、
第二レベルの畳み込みニューラルネットワーク分類器を利用して前記第一レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい前記対象物を分類し、
前記第二レベルの畳み込みニューラルネットワーク分類器から第Mレベルの畳み込みニューラルネットワーク分類器までの全ての隣接する２つのレベルについて順次に前記のステップを繰り返す
ことを含む方法。
（付記１５）
全てのレベルの畳み込みニューラルネットワーク分類器を利用して全てのレベルの畳み込みニューラルネットワーク分類器が分類しにくい対象物について投票を行うことにより前記対象物の類別を決定する、
付記１４に記載の方法。
（付記１６）
各分類対象物について、前記カスケード構造中の各レベルの各畳み込みニューラルネットワーク分類器が各訓練サンプルを分類するときの相応ノードの応答値を抽出し、
前記応答値に基づいて、前記信頼度計算分類器を利用して信頼度を計算する、
付記１４に記載の方法。
（付記１７）
前記所定のノードは、後ろから第二層の少なくとも一部のノードを含む
付記１６に記載の方法。
（付記１８）
信頼度に基づいて各レベルの中の各畳み込みニューラルネットワーク分類器が前記対象物を分類しにくいか否かを判断する
付記１０乃至１７の何れかに記載の方法。
（付記１９）
付記１乃至９の何れかに記載の畳み込みニューラルネットワーク分類器システムを利用して数字を識別する用途。
（付記２０）
付記１４乃至１８の何れかに記載の方法を利用して数字を識別する用途。

Claims

畳み込みニューラルネットワーク分類器システムであって、
互いに異種であるM種類の畳み込みニューラルネットワーク分類器を備え、前記Mは１より大きい整数であり、
各種類の前記畳み込みニューラルネットワーク分類器は、複数の互いに同種類の畳み込みニューラルネットワーク分類器を備え、
前記互いに異種であるM種類の畳み込みニューラルネットワーク分類器をMレベルのカスケード構造に配置し、
各種類のサンプルに対する効果にばらつきのない畳み込みニューラルネットワーク分類器は、前記カスケード構造中の前寄りのレベルに配置され、
特定の種類のサンプルに突出した効果がある畳み込みニューラルネットワーク分類器は、前記カスケード構造中の中間レベルに配置されるように、前記カスケード構造中の各レベルの畳み込みニューラルネットワーク分類器を配置する、畳み込みニューラルネットワーク分類器システム。
第一レベルの畳み込みニューラルネットワーク分類器は、対象物の分類のための第一分類操作に用いられ、
第二レベルの畳み込みニューラルネットワーク分類器は、前記第一レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい対象物の分類のための第二分類操作に用いられ、
前記第二レベルの畳み込みニューラルネットワーク分類器から第Mレベルの畳み込みニューラルネットワーク分類器までの全ての隣接する２つのレベルについて順次に前記第一分類操作及び前記第二分類操作を繰り返す、請求項１に記載の畳み込みニューラルネットワーク分類器システム。
前記畳み込みニューラルネットワーク分類器が前記対象物を分類するときに、信頼度を算出する信頼度計算分類器をさらに備え、
前記カスケード構造中の各レベルの中の各畳み込みニューラルネットワーク分類器について、当該畳み込みニューラルネットワーク分類器を用いてその訓練サンプルの分類を行い、各訓練サンプルについて前記畳み込みニューラルネットワーク分類器の各層から少なくとも一部のノードの応答値を抽出し、
前記応答値に基づいて前記信頼度計算分類器を訓練する、請求項２に記載の畳み込みニューラルネットワーク分類器システム。
請求項２又は３に記載の畳み込みニューラルネットワーク分類器システムを用いて訓練を行う方法であって、
訓練サンプルを利用して前記カスケード構造中の全てのレベルの畳み込みニューラルネットワーク分類器を訓練し、そのうち、各レベルの畳み込みニューラルネットワーク分類器の中の複数の畳み込みニューラルネットワーク分類器についてそれぞれオリジナル訓練サンプルをランダムに変形させ、
前記第一レベルの畳み込みニューラルネットワーク分類器を利用して前記オリジナル訓練サンプルを分類し、
前記第一レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい訓練サンプルを、前記第二レベルの畳み込みニューラルネットワーク分類器を訓練するための全ての訓練サンプルとし、前記第二レベルの畳み込みニューラルネットワーク分類器を訓練し、
前記第二レベルの畳み込みニューラルネットワーク分類器から前記第Mレベルの畳み込みニューラルネットワーク分類器までの任意の隣接する２つのレベルについて順次に前記のステップを繰り返す、ことを含む方法。
前記カスケード構造中の各レベルの中の各畳み込みニューラルネットワーク分類器について、当該畳み込みニューラルネットワーク分類器を用いてその訓練サンプルの分類を行い、各訓練サンプルについて当該畳み込みニューラルネットワーク分類器から各層の少なくとも一部のノードの応答値を抽出し、
前記応答値を利用して信頼度計算分類器を訓練し、前記信頼度計算分類器は、当該畳み込みニューラルネットワーク分類器が前記対象物を分類するときの信頼度を計算する、請求項４に記載の方法。
請求項２又は３に記載の畳み込みニューラルネットワーク分類器システムを利用して対象物を分類する方法であって、
前記第一レベルの畳み込みニューラルネットワーク分類器を利用して前記対象物を分類し、
前記第二レベルの畳み込みニューラルネットワーク分類器を利用して前記第一レベルの畳み込みニューラルネットワーク分類器にとって分類しにくい前記対象物を分類し、
前記第二レベルの畳み込みニューラルネットワーク分類器から前記第Mレベルの畳み込みニューラルネットワーク分類器までの全ての隣接する２つのレベルについて順次に前記のステップを繰り返す、ことを含む方法。
数字を識別する、請求項１乃至３の何れかに記載の畳み込みニューラルネットワーク分類器システム。