JP7045410B2 - 画像分類プログラムの組換方法 - Google Patents

Description

本発明は、画像を分類する画像分類プログラムの製造方法、及び画像分類プログラムに関する。

従来、画像を分類する方法として、分類対象とする分類画像に対して畳込処理と、プーリング処理とを交互に複数回繰り返すことで特徴量を抽出した特徴抽出画像を作成し、該特徴抽出画像を複数の結合層に対して順番に入力し、結合層の出力結果を特徴抽出画像（分類画像）の分類結果として得る方法が知られている（例えば、非特許文献１参照）。

Ｙａｎｎ ＬｅＣｕｎ、Ｌｅｏｎ Ｂｏｔｔｏｕ、Ｙｏｓｈｕａ Ｂｅｎｇｉｏ、Ｐａｔｒｉｃｋ Ｈａｆｆｎｅｒ著、ＰＲＯＣ．ＯＦ ＴＨＥ ＩＥＥＥ、ＮＯＶＥＭＢＥＲ １９９８、 Ｇｒａｄｉｅｎｔ－Ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ａｐｐｌｉｅｄ ｔｏ Ｄｏｃｕｍｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ．

ところで、上記従来のような画像の分類方法では、画像データに対して畳込処理を繰り返し実行する度に、結合層に入力される特徴抽出画像の特徴量に偏りが生じ易くなる傾向があるため、分類画像の分類結果の精度が低下してしまうことがあった。

そこで、本発明は、かかる実情に鑑み、分類対象の画像を高い精度で分類できる画像分類プログラムを製造できる画像分類プログラムの製造方法、及び分類対象の画像を高い精度で分類できる画像分類プログラムの提供を課題とする。

本発明の画像分類プログラムの製造方法は、
分類対象となる分類画像が入力される入力手段と、前記入力手段に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段に入力された分類画像に対して畳込処理を実行する複数の畳込層を有する特徴抽出手段と、前記特徴抽出手段から出力された特徴抽出画像に基づいて分類画像を分類する分類器としての第一分類手段であって、複数の結合層を有する第一分類手段と、を備える既存の調整済みの画像分類プログラムに対して、
入力された画像に対して畳込処理を実行する畳込層を前記特徴抽出手段の最も下流側に最下流畳込層として追加し、前記分類器としての第二分類手段であって、入力された画像にプーリング処理を実行した画像を分類結果として出力するプーリング層を有する第二分類手段を前記特徴抽出手段の前記特徴抽出画像の出力先とする第一出力設定工程と、
前記特徴抽出手段を調整する調整工程と、
前記分類器としてのサポートベクターマシンを、前記特徴抽出手段の前記複数の畳込層のうち前記最下流畳込層に対して上流側で最も近いものから出力される画像の出力先に設定する第二出力設定工程と、を行う。

第一分類手段のような結合層を有する分類器では、隣り合う結合層のノード同士が網羅的に関連付けられるため、第一分類手段の出力結果から出力結果が導き出された過程を解析することが困難である。一方、第二分類手段のようなプーリング処理の実行結果を分類結果として出力する第二分類手段では、最下流畳込層からの出力とプーリング層からの出力とが一対一の関係で関連付けられるため、出力結果が導き出された過程を簡単且つ正確に解析することができる。

上記構成の画像分類プログラムの製造方法では、調整工程の前に行われる第一出力設定工程において、使用される分類器が第一分類手段から第二分類手段に変わるため、第二分類手段の出力結果が導き出された過程を正しく解析することで特徴抽出手段を適切に調整できるようになる。

また、上記構成の画像分類プログラムの製造方法では、調整工程の後の第二出力設定工程において、使用する分類器が第二分類手段からサポートベクターマシンに変わり、このサポートベクターマシンには、特徴抽出手段の複数の畳込層のうち、最も下流側に位置する最下流畳込層に対して上流側で最も近い畳込層から出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めて精度の高い分類を行えるようになる。

本発明の画像分類プログラムの製造方法において、
前記最下流畳込層は２つのフィルタを有し、
前記第二分類手段の前記プーリング層は、前記最下流畳込層が２つのフィルタのうちの一方により畳込処理を実行することで出力した画像と、前記最下流畳込層が２つのフィルタのうちの他方により畳込処理を実行することで出力した画像とについてプーリング処理を行うように構成されていてもよい。

上記構成の画像分類プログラムの製造方法では、第二分類手段のプーリング層が、最下流畳込層から出力される２枚の画像のそれぞれに対応付けて１枚ずつ画像を出力するため、第二分類手段のプーリング層から出力された画像が導き出された経緯を分析し易くなる。

本発明の画像分類プログラムは、
分類対象となる分類画像が入力される入力手段と、
前記入力手段に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段に入力された分類画像に対して畳込処理を実行する複数の畳込層を有する特徴抽出手段と、
前記特徴抽出手段から出力された特徴抽出画像に基づいて分類画像を分類する分類器としてのサポートベクターマシンと、を備え、
前記特徴抽出手段の前記複数の畳込層のうち、最も下流側に位置する最下流畳込層に対して上流側で最も近いものから出力される畳込画像の出力先がサポートベクターマシンに設定されている。

上記構成の画像分類プログラムでは、分類器としてサポートベクターマシンが採用されており、この分類器には、特徴抽出手段の複数の畳込層のうち最下流畳込層に対して上流側で最も近いものから出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めることができる。

以上のように、本発明の画像分類プログラムの製造方法によれば分類の精度が高い画像分類プログラムを製造することができ、本発明の画像分類プログラムによれば、分類対象の画像を高い精度で分類できるという優れた効果を奏し得る。

図１は、本発明の一実施形態に係る画像分類プログラムの製造方法の説明図であって、画像分類プログラムが初期状態の説明図である。 図２は、同実施形態に係る画像分類プログラムの製造方法の説明図であって、分類器が第一分類手段から第二分類手段に変わった状態の説明図である。 図３は、同実施形態に係る画像分類プログラムの製造方法の説明図であって、分類器が第二分類手段からサポートベクターマシンに変わった状態の説明図である。

以下、本発明の一実施形態に係る画像分類プログラムの製造方法、及び画像分類プログラムについて添付図面を参照しつつ説明を行う。

本実施形態の画像分類プログラムの製造方法では、図１に示すような、分類器として複数の結合層４０，４１，４２を有する第一分類手段４を備える画像分類プログラム１を基にして、分類器を第二分類手段５、サポートベクターマシン６に順番に変えながら新たな画像分類プログラムを製造している。

ここで、画像分類プログラムの製造方法の詳細説明に先立ち、画像分類プログラム１の構成について説明する。

図１に示すように、画像分類プログラム１は、初期状態において、分類対象となる分類画像が入力される入力手段２と、前記入力手段２に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段２に入力された分類画像に対して畳込処理を実行する複数（本実施形態では３つ）の畳込層３０，３１，３２を有する特徴抽出手段３と、前記特徴抽出手段３から出力された特徴抽出画像に基づいて分類画像を分類する分類手段であって、複数の結合層４０，４１，４２を有する第一分類手段４と、を備えており、第一分類手段４が調整済みの既存のプログラムである。

入力手段２には、物品等を撮像した画像が分類画像として入力されてもよいし、人工的に作成された画像が分類画像として入力されてもよい。

特徴抽出手段３は、３つの畳込層３０，３１，３２に加えて、入力された画像に対してプーリング処理を実行するプーリング層３３を有する。

各畳込層３０，３１，３２のそれぞれは、畳込処理において使用する複数のフィルタを有するように構成されており、畳込処理を実行することでフィルタの数に応じた数の画像を出力するように構成されている。

本実施形態では、１つ目の畳込層３０には１０個のフィルタが設定され、２つ目と３つ目の畳込層３１，３２には１５個のフィルタが設定されている。

画像分類プログラムは、図２に示すように、入力された画像に対して畳込処理を実行する畳込層が最下流畳込層３４として特徴抽出手段３の最も下流側に追加され、さらに、分類器が第一分類手段４から第二分類手段５に変わる。

最下流畳込層３４は、入力された画像に対する畳込処理の結果として２枚の画像を出力するように構成されている。なお、最下流畳込層３４には、例えば、畳込処理で使用するフィルタが２つ設定されていればよい。

第二分類手段５は、入力された画像にプーリング処理を実行するプーリング層５０を有する。なお、第二分類手段５のプーリング層５０は、入力された画像に対してアベレージプーリングを実行するように構成されている。

プーリング層５０は、最下流畳込層３４が２つのフィルタのうちの一方により畳込処理を実行することで出力した画像と、最下流畳込層３４が２つのフィルタのうちの他方により畳込処理を実行することで出力した画像とについてプーリング処理を行うように構成されている。なお、プーリング層５０は、入力された画像に対してマックスプーリングを実行するように構成されていてもよい。

特徴抽出手段３の調整が行われた後は、図３に示すように、分類器が第二分類手段５からサポートベクターマシン６に置き換えられる。

サポートベクターマシン６は、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち最下流畳込層３４に対して上流側で最も近い畳込層３２が出力した画像が入力され、該画像を分類するように構成されている。

本実施形態に係る画像分類プログラムの構成は以上の通りである。続いて、本実施形態に係る画像分類プログラムの製造方法を説明する。

本実施形態の画像分類プログラムの製造方法は、前記初期状態の画像分類プログラムに対して、特徴抽出手段３の最も下流側に最下流畳込層３４を追加し、分類器としての第二分類手段５を、特徴抽出手段３の特徴抽出画像の出力先とする第一出力設定工程と、特徴抽出手段３を調整する調整工程と、分類器としてのサポートベクターマシン６を、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される画像の出力先に設定する第二出力設定工程と、を行う。

第一出力設定工程において特徴抽出手段３の特徴抽出画像の出力先を第一分類手段４から第二分類手段５に変える場合、第一分類手段４と第二分類手段５を置換する、すなわち、第一分類手段４を削除して第二分類手段５を構築してもよいし、第一分類手段４を残した状態で、特徴抽出手段３の特徴抽出画像の出力先を第一分類手段４から第二分類手段５に変更するようにしてもよい。

調整工程では、いわゆる、誤差逆伝播法が用いられ、推論値と実測値との差が最小となるように畳込層３０，３１，３２，３４の重みを調整する。

第二出力設定工程において、特徴抽出手段３の畳込層３０，３１，３２，３４のうち、最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される畳込画像の出力先をサポートベクターマシン６に設定する場合、第二分類手段５を削除してサポートベクターマシン６を構築してもよいし、第二分類手段５を残した状態で、最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される畳込画像の出力先をサポートベクターマシン６に設定し、且つ特徴抽出手段３から第二分類手段５への特徴画像の出力を停止するようにしてもよい。

第二出力設定工程の後は、サポートベクターマシン６を学習させ、学習後のサポートベクターマシン６により分類画像の分類を行う。

以上のように、本実施形態に係る画像分類プログラムの製造方法によれば、第一分類手段４のような結合層４０，４１，４２を有する分類器では、隣り合う結合層４０，４１，４２のノード同士が網羅的に関連付けられるため、第一分類手段４の出力結果から出力結果が導き出された過程を解析することが困難である。一方、第二分類手段５のようなプーリング処理の実行結果を分類結果として出力する第二分類手段５では、プーリング層５０からの出力が最下流畳込層３４からの出力と一対一の関係で関連付けられるため、出力結果が導き出された過程を簡単且つ正確に解析することができる。

また、調整工程の前に行われる第一出力設定工程において、使用される分類器が第一分類手段４から第二分類手段５に変わるため、第二分類手段５の出力結果が導き出された過程を正しく解析することで特徴抽出手段３を適切に調整できるようになる。

さらに、調整工程の後の第二出力工程において、使用する分類器が第二分類手段５からサポートベクターマシン６に変わり、このサポートベクターマシン６には、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち、最も下流側に位置する最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めて精度の高い分類を行えるようになる。

従って、本実施形態の画像分類プログラムの製造方法によれば、分類の精度が高い画像分類プログラムを製造することができるという優れた効果を奏し得る。

また、上記実施形態の画像分類プログラムの製造方法では、第二分類手段５のプーリング層５０が、最下流畳込層３４から出力される２枚の画像のそれぞれに対応付けて１枚ずつ画像を出力するため、第二分類手段５のプーリング層５０から出力された画像が導き出された経緯を分析し易くなっている。

また、本実施形態に係る画像分類プログラムによれば、分類器としてサポートベクターマシン６が採用されており、この分類器には、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち最下流畳込層３４に対して上流側で最も近いものから出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めることができる。従って、本実施形態に係る画像分類プログラムは、分類対象の画像を高い精度で分類できるという優れた効果を奏し得る。

なお、本発明の画像分類プログラムの製造方法、及び画像分類プログラムは、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得ることは勿論である。

上記実施形態において、初期状態の画像分類プログラムの特徴抽出手段３は、３つの畳込層３０，３１，３２を有するように構成されていたが、この構成に限定されない。例えば、初期状態の画像分類プログラムの特徴抽出手段３は、３つ以上の畳込層を有するように構成されていてもよい。

上記実施形態において、第一分類手段４は、３つの結合層４０，４１，４２を有するように構成されていたが、この構成に限定されない。例えば、第一分類手段４は、３つ以上の結合層を有するように構成されていてもよい。

１…画像分類プログラム、２…入力手段、３…特徴抽出手段、４…第一分類手段、５…第二分類手段、６…サポートベクターマシン、３０…畳込層、３０，３１，３２，３４…畳込層、３３…プーリング層、４０，４１，４２…結合層、５０…プーリング層

Claims (2)

1. 分類対象となる分類画像が入力される入力手段と、前記入力手段に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段に入力された分類画像に対して畳込処理を実行する複数の畳込層を有する特徴抽出手段と、前記特徴抽出手段から出力された特徴抽出画像に基づいて分類画像を分類する分類器としての第一分類手段であって、複数の結合層を有する第一分類手段と、を備える既存の調整済みの画像分類プログラムに対して、
   入力された画像に対して畳込処理を実行する畳込層を前記特徴抽出手段の最も下流側に最下流畳込層として追加し、前記分類器としての第二分類手段であって、入力された画像にプーリング処理を実行した画像を分類結果として出力するプーリング層を有する第二分類手段を前記特徴抽出手段の前記特徴抽出画像の出力先とする第一出力設定工程と、
   前記第二分類手段の出力結果に基づいて前記特徴抽出手段を調整する調整工程と、
   前記分類器としてのサポートベクターマシンを、前記特徴抽出手段の前記複数の畳込層のうち前記最下流畳込層に対して上流側で最も近いものから出力される画像の出力先に設定する第二出力設定工程と、を行う、
   画像分類プログラムの組換方法。
2. 前記最下流畳込層は２つのフィルタを有し、
   前記第二分類手段の前記プーリング層は、前記最下流畳込層が２つのフィルタのうちの一方により畳込処理を実行することで出力した画像と、前記最下流畳込層が２つのフィルタのうちの他方により畳込処理を実行することで出力した画像とについてプーリング処理を行う、
   請求項１に記載の画像分類プログラムの組換方法。

Images