JP7024881B2 - パターン認識装置およびパターン認識方法 - Google Patents

パターン認識装置およびパターン認識方法 Download PDF

Info

Publication number
JP7024881B2
JP7024881B2 JP2020547786A JP2020547786A JP7024881B2 JP 7024881 B2 JP7024881 B2 JP 7024881B2 JP 2020547786 A JP2020547786 A JP 2020547786A JP 2020547786 A JP2020547786 A JP 2020547786A JP 7024881 B2 JP7024881 B2 JP 7024881B2
Authority
JP
Japan
Prior art keywords
learning
data
neural network
network type
type classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020547786A
Other languages
English (en)
Other versions
JPWO2020065908A1 (ja
Inventor
勝彦 高橋
博義 宮野
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020065908A1 publication Critical patent/JPWO2020065908A1/ja
Application granted granted Critical
Publication of JP7024881B2 publication Critical patent/JP7024881B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、パターン認識装置およびパターン認識方法に関し、特に統計的パターン認識技術を応用したパターン認識装置およびパターン認識方法に関する。
ディープラーニングを用いた画像認識技術が、様々な映像監視システムに搭載されている。ディープラーニングでは、例えばニューラルネットワークという計算アルゴリズムが扱われる。
特許文献１～特許文献４には、ニューラルネットワークに関する技術が記載されている。例えば、特許文献１には、多層ニューラルネットワークを用いた情報処理装置が記載されている。また、特許文献２には、適切な規模のニューラルネットワークを作成できる機械学習装置が記載されている。
また、特許文献３には、ニューラルネットワークの構造を最適化することが可能なニューラルネットワーク学習装置が記載されている。また、特許文献４には、文字の全体形状のみならず文字の小領域単位の形状の学習も行い、認識を行うようにしたニューロを使った文字認識装置が記載されている。
ディープラーニングの実行手順として、特にファインチューニング(fine-tuning) と呼ばれる手順が使用されることが多い。ファインチューニングでは、予め大量の画像データが用いられて学習されたプレトレインド(pre-trained) の辞書が初期値とされ、映像監視システムが本来認識する対象物を示す画像データが追加で学習される。
辞書は、例えばニューラルネットワーク等のネットワークモデル、およびネットワークモデルの重みパラメータを含む。対象物を示す画像データが追加で学習されることによって、ネットワークモデルの重みパラメータが修正される。
例えば、非特許文献１に、ファインチューニングに関連する技術が記載されている。非特許文献１には、教師なし学習で特徴抽出ネットワークを構築した後、認識対象ラベルが用いられたファインチューニングでネットワーク全体の重みパラメータを調整し直す学習方法が記載されている。
また、非特許文献２には、新しい学習データが得られた場合のネットワークの重みパラメータを修正する方法や、新しいクラスのデータが追加された場合の出力層へのニューロンの追加を伴うネットワークの重みパラメータを修正する方法が記載されている。
学習データや認識対象のクラスが追加された場合、ネットワーク全体の重みパラメータを修正する方法と、ネットワークの出力層に近い２層～３層の中間層の重みパラメータのみを修正する方法がある。
ネットワーク全体の重みパラメータを修正する方法は、ネットワークの出力層に近い中間層の重みパラメータのみを修正する方法に比べて、高い識別率を有するネットワークを構築できる可能性が理論的に高いという特長を有する。
また、ネットワークの出力層に近い中間層の重みパラメータのみを修正する方法は、ネットワーク全体の重みパラメータを修正する方法に比べて、重みパラメータの修正に係る計算量が少ないという特長を有する。
ネットワーク全体の重みパラメータを修正した方が高い識別率を有するネットワークを構築できる可能性が高まる理由は、新たに追加された学習データや認識対象のクラスからの特徴の適切な抽出が、ネットワークの前段部分で実行される可能性が高まるためである。
よって、計算リソースも学習データも十分に利用可能である場合、学習データや認識対象のクラスが追加されたらネットワーク全体の重みパラメータを修正する方が好ましい。また、少なくとも計算リソースと学習データのどちらかが十分に利用可能でない場合、学習データや認識対象のクラスが追加されたらネットワークの出力層に近い層の重みパラメータのみを修正する方が好ましい。
また、学習データは画像データであることが多い。しかし、SVM（Support Vector Machine：サポートベクトルマシン）やLVQ （Learning Vector Quantization：学習ベクトル量子化）識別器の学習において、特徴抽出手段は、識別手段と完全に独立している。よって、特徴抽出手段が出力する単一の特徴量データが、識別手段の学習データとして用いられることも多い。
特徴量データは、画像データに比べて使用されてもプライバシ問題が発生しにくいという優位性を有する。すなわち、画像データは記録不可であるが、個人が特定されない程度に抽象化された特徴量データは記録可能であるという要件が学習装置に課せられることも考えられる。
上記の要件が学習装置に課せられた場合、学習装置に特徴量データのみが存在し、特徴量データに対応する画像データは記録されていないため存在しないという状況が生じることが考えられる。上記の状況では、ニューラルネットワーク型識別器の異なる層で異なる画像データからそれぞれ抽出された各特徴量データが混合された学習データが用いられる場合がある。
特開２０１８－０２６０４０号公報 特開２０１７－１８２３１９号公報 特開２０１７－０３７３９２号公報 特開平０７－１６０８３０号公報
P. Sermanet, K. Kavukcuoglu, S. Chintala, and Y. LeCun, "Pedestrian detection with unsupervised multi-stage feature learning," In Proc. International Conference on Computer Vision and Pattern Recognition (CVPR), 2013. Christoph K¨ading, Erik Rodner, Alexander Freytag, and Joachim Denzler, "Fine-tuning Deep Neural Networks in Continuous Learning Scenarios," In ACCV 2016 Workshop on Interpretation and Visualization of Deep Neural Nets, 2016.
画像データと特徴量データとが混合された学習データ、またはニューラルネットワーク型識別器の異なる層で異なる画像データからそれぞれ抽出された各特徴量データが混合された学習データが用いられる学習方法には、課題が存在する。以下、学習方法に課題が存在する理由を、図面を参照して説明する。
図１１は、ニューラルネットワーク型識別器の一例を示す説明図である。図１１は、ニューラルネットワーク型識別器の構造、および特徴量データが抽出される層の位置を示す。図１１に示すニューラルネットワーク型識別器は、コンボリューション層と全結合層とが層状に結合されたネットワーク型識別器である。
図１１に示すコンボリューション層では、局所領域内でコンボリューションが行われる。また、図１１に示すコンボリューション層における各数字は、画像または特徴量等の２次元で表現されるデータの、縦のサイズと横のサイズが掛け合わせられたサイズを示す。例えば、「224x224 」は、縦のサイズが224 （ピクセルまたは個）、横のサイズが224 （ピクセルまたは個）のデータのサイズである。
また、図１１に示す全結合層のニューロンは、前段の層内の全てのニューロンと結合されている。また、図１１に示す全結合層における各数字は、１次元で表現される特徴量データのサイズを示す。例えば、「4096」は、層から出力される特徴量データのサイズが4096（個）であることを意味する。
図１１に示すネットワークの学習が実行される場合、特にファインチューニングが実行される場合、使用可能な学習データの量は、多い方が好ましいと考えられる。また、ネットワークを新しいデータに可能な限り適合させるという観点から、ファインチューニングでネットワークの重みパラメータを可能な限り修正する方が好ましいと考えられる。
しかし、ネットワークの重みパラメータが修正されると、修正された重みパラメータを有する層よりも上位の層から抽出された特徴量データは、利用不可能になる。よって、特徴量データが含まれている学習データが利用されている場合、重みパラメータが変更された分だけ利用可能な学習データが減少するという課題が存在する。
上記のように、ファインチューニングで重みパラメータが修正される層を増やすことと、再利用可能な特徴量データの量を増やすことは、同時に満たされない。よって、再利用可能な特徴量データの量を考慮しながら重みパラメータが修正される層を最適に決定する方法が求められる。特許文献１～特許文献４、および非特許文献１～非特許文献２には、上記の決定方法が記載されていない。
そこで、本発明は、上述した課題を解決する、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できるパターン認識装置およびパターン認識方法を提供することを目的とする。
本発明によるパターン認識装置は、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測する予測手段と、予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段とを備えることを特徴とする。
本発明によるパターン認識装置は、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、学習用の画像データが入力されたニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いてニューラルネットワーク型識別器を学習する学習手段と、学習された後のニューラルネットワーク型識別器の識別性能を評価する評価手段と、学習されて導出されたニューラルネットワーク型識別器のパラメータを決定された範囲の候補と共に記憶する記憶手段と、評価された識別性能と学習に利用された学習データの数とに基づいて記憶手段からパラメータを選択する選択手段とを備え、学習データは、その学習データに含まれる特徴量データを出力したニューラルネットワーク型識別器を示すネットワーク情報を含むことを特徴とする。
本発明によるパターン認識方法は、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測し、予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定することを特徴とする。
本発明によれば、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
本発明によるパターン認識装置の第１の実施形態の構成例を示すブロック図である。 第１の実施形態のパターン認識装置１００によるファインチューニング実行処理の動作を示すフローチャートである。 本発明によるパターン認識装置の第２の実施形態の構成例を示すブロック図である。 学習データ記憶手段２０２に記憶されている学習データの例を示す説明図である。 ファインチューニングの実行対象の層の範囲と学習データ量との関係の例を示す説明図である。 第２の実施形態のパターン認識装置２００によるファインチューニング実行処理の動作を示すフローチャートである。 学習データ記憶手段２０２に記憶されている学習データの他の例を示す説明図である。 本発明によるパターン認識装置のハードウェア構成例を示す説明図である。 本発明によるパターン認識装置の概要を示すブロック図である。 本発明によるパターン認識装置の他の概要を示すブロック図である。 ニューラルネットワーク型識別器の一例を示す説明図である。
［構成の説明］
実施形態１．
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明によるパターン認識装置の第１の実施形態の構成例を示すブロック図である。
図１に示すように、パターン認識装置１００は、ニューラルネットワーク型識別器１０１と、第１学習データ記憶手段１０２と、第２学習データ記憶手段１０３と、学習手段１０４とを備える。
上述したように、ファインチューニング用の学習データとして、画像データ以外にニューラルネットワーク型識別器の複数の中間層からの各出力がそれぞれ記録された複数の特徴量データが存在する場合、識別性能と特徴量データの再利用可能性との間にトレードオフの関係がある。
ニューラルネットワーク型識別器の識別性能、および特徴量データの再利用可能性は、ファインチューニングの対象の層の範囲と関連する。本実施形態のパターン認識装置１００は、画像データと特徴量データ、または複数種類の特徴量データが学習データとして与えられている場合、ファインチューニング後の識別性能と学習データの再利用可能性の両方を考慮してファインチューニングの対象の層の範囲を決定する。
ニューラルネットワーク型識別器１０１は、ニューラルネットワークを用いてパターン認識処理を行う識別器である。
ニューラルネットワークは、例えば局所領域内でコンボリューションが行われるコンボリューション層、局所領域内で指定された性質の値が抽出されるプーリング層、およびニューロンが前段の層内の全てのニューロンと結合された全結合層等が層状に結合されたネットワークである。
本実施形態のニューラルネットワーク型識別器１０１は、例えば図１１に示すニューラルネットワーク型識別器である。また、ニューラルネットワーク型識別器１０１は、ResNet、GoogleNet 、またはMobileNet 等でもよい。
第１学習データ記憶手段１０２は、第１学習データを記憶する機能を有する。第１学習データには、例えば、学習用の画像データがニューラルネットワーク型識別器１０１に入力された際に１つの層から出力される特徴量データと、入力された学習用の画像データに対応する正解クラスと、特徴量データが出力された層の識別情報とが含まれる。
本実施形態の第１学習データは、ニューラルネットワーク型識別器１０１により事前に生成されている。例えば、図１１に示すニューラルネットワーク型識別器の入力層に学習用の画像データが入力された際、中間層L3の有効な状態（発火）のニューロンの値がサンプリングされて特徴量データが生成される。ニューラルネットワーク型識別器１０１は、生成された特徴量データを基に第１学習データを生成する。
次いで、第１学習データ記憶手段１０２には、生成された特徴量データと、入力された学習用の画像データに対応する正解クラスを示す情報と、中間層L3を示す情報とを含む第１学習データが保存される。予め定められた層が入力層であれば、特徴量データの保存は、入力された学習用の画像データの保存と等価になる。
第２学習データ記憶手段１０３は、第２学習データを記憶する機能を有する。第２学習データには、例えば、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる画像データがニューラルネットワーク型識別器１０１に入力された際に出力される特徴量データが含まれる。含まれる特徴量データは、第１学習データに含まれる特徴量データが出力された１つの層と異なる１つの層から出力されるデータである。
また、第２学習データには、入力された画像データに対応する正解クラスと、特徴量データが出力された層の識別情報とが、特徴量データと共に含まれる。
第２学習データは、第１学習データと同一構造のデータである。上記のように、第２学習データは、第１学習データに含まれる特徴量データがサンプリングされた層と別の層からサンプリングされた特徴量データを含む。
また、第１学習データ記憶手段１０２に記憶されている第１学習データの生成に利用された学習用の画像データは、第２学習データ記憶手段１０３に記憶されている第２学習データの生成に利用された学習用の画像データと異なる。なお、共通の学習用の画像データを基にそれぞれ生成された第１学習データおよび第２学習データが、各記憶手段に記憶されていてもよい。
学習手段１０４は、第１学習データと第２学習データとを両方用いて、ニューラルネットワーク型識別器１０１に対してファインチューニングを実行する機能を有する。以下、学習手段１０４によるファインチューニングの実行方法をいくつか示す。
例えば、図１１に示す中間層L1から特徴量データF1、中間層L2から特徴量データF2がそれぞれ抽出されたとする。特徴量データF1は第１学習データに、特徴量データF2は第２学習データにそれぞれ含まれている。学習手段１０４は、第１学習データと第２学習データとを両方用いて、中間層L1よりも上位の層のみに対してファインチューニングを実行してもよい。
中間層L1よりも上位の層のみに対してファインチューニングを実行する際、学習手段１０４は、特徴量データF1を中間層L1へ、特徴量データF2を中間層L2へそれぞれ入力する。学習手段１０４は、例えば、入力層に画像データが入力された場合と同様に、出力層からの出力と正解ラベルとの二乗和を誤差関数として、バックプロパゲーションで誤差関数の値を減少させるようにネットワークの重みパラメータを修正する。
学習手段１０４は、バックプロパゲーションにおける誤差の逆伝搬を中間層L1で止める。上記の方法によれば、ファインチューニングで重みパラメータが修正される層は、中間層L1よりも上位の層に限られる。しかし、特徴量データF1および特徴量データF2は、ファインチューニングが実行された後のニューラルネットワーク型識別器１０１においても使用可能なデータになる。
また、学習手段１０４は、上記の方法で中間層L1よりも上位の層のみを学習した後、特徴量データF2を用いて中間層L2よりも上位の層を学習するという２段階でファインチューニングを実行してもよい。
２段階でファインチューニングを実行する方法によれば、学習手段１０４は、ニューラルネットワーク型識別器１０１の、より下位の中間層L2まで学習データに適合させることができる。
ただし、一度中間層L2以上の層の重みパラメータが修正されると、中間層L2よりも上位の層からサンプリングされた特徴量データ（本例では特徴量データF1）が、ニューラルネットワーク型識別器１０１で使用不可能になる。学習データの削減を回避する要請がある場合、本方法は、要請にそぐわない。
第１学習データと第２学習データとを利用してニューラルネットワーク型識別器１０１に対してファインチューニングを実行する際、学習手段１０４は、上記のような検討を行った上でファインチューニングの実行対象の層の範囲を決定する。
上記の例であれば、学習手段１０４は、特徴量データF1と特徴量データF2とを用いて中間層L1よりも上位の層のみを学習するか、さらに特徴量データF2のみを用いて中間層L2まで学習するかを、それぞれの識別性能、および学習データの減少量を考慮して決定する。
上記の識別性能は、学習手段１０４がファインチューニングを実行する前に予測可能な値である。ニューラルネットワーク型識別器１０１に対するファインチューニングの実行対象の層の範囲を決定した後、学習手段１０４は、ニューラルネットワーク型識別器１０１の決定された範囲に対してファインチューニングを実行する。
例えば、学習手段１０４は、以下の計算式で算出されるスコアのうち最大のスコアが算出される範囲を、ファインチューニングの実行対象の層の範囲に決定してもよい。
（スコア）＝（識別性能）－α×（学習データの減少量）・・・式（１）
ただし、式（１）における定数αは、識別性能の次元と学習データの減少量の次元とを揃えるための定数である。
また、学習手段１０４は、第１学習データと第２学習データとを利用して学習を行う。例えば、第１学習データは、学習用の画像データがニューラルネットワーク型識別器１０１に入力された際に予め定められた層から出力された特徴量データと、入力された学習用の画像データに対応する正解クラスと、特徴量データが出力された層の識別情報との組を含む。
本実施形態の第１学習データに含まれる特徴量データと第２学習データに含まれる特徴量データは、基本的に同一の画像データを基に生成されたデータではない。よって、本実施形態の学習手段１０４は、同一の画像データに対する複数種類の特徴量データを生成し、生成された特徴量データを結合した上で識別器の学習を行う一般的な学習手段と異なる。
また、本実施形態の学習手段１０４は、異なる２つの層からそれぞれ抽出された特徴量データを用いる。しかし、学習手段１０４は、より多くの層からそれぞれ抽出された特徴量データを併せて学習に用いてもよい。
なお、通常教師情報は、最上位層である出力層からの理想的な出力値として与えられる。学習手段１０４は、ニューラルネットワーク型識別器１０１の出力層からの出力値と、理想的な出力値との誤差を最小化するように、上位層側から層間のネットワークの重みパラメータを更新する。
すなわち、学習手段１０４は、残差が１層ずつ下位の層に伝搬されていく手順でファインチューニングを実行する。よって、本実施形態の学習手段１０４は、中間の層のみに対するファインチューニングを実行しない。
［動作の説明］
以下、本実施形態のパターン認識装置１００のファインチューニングを実行する動作を図２を参照して説明する。図２は、第１の実施形態のパターン認識装置１００によるファインチューニング実行処理の動作を示すフローチャートである。
最初に、学習用の画像データが、ニューラルネットワーク型識別器１０１に入力される。次いで、ニューラルネットワーク型識別器１０１の予め定められた１つの層から、特徴量データが出力される。
次いで、ニューラルネットワーク型識別器１０１は、出力された特徴量データ、入力された学習用の画像データに対応する正解カテゴリを示す情報、および第何層目であるか等の特徴量データが出力された層の位置を示す情報を含む第１学習データを生成する（ステップS101）。ニューラルネットワーク型識別器１０１は、生成された第１学習データを第１学習データ記憶手段１０２に保存する。
次いで、ステップS101で入力された学習用の画像データと異なる学習用の画像データが、ニューラルネットワーク型識別器１０１に入力される。次いで、ニューラルネットワーク型識別器１０１の第１学習データに関して予め定められた層と異なる層から特徴量データが出力される。
次いで、ニューラルネットワーク型識別器１０１は、出力された特徴量データ、入力された学習用の画像データに対応する正解カテゴリを示す情報、および第何層目であるか等の特徴量データが出力された層の位置を示す情報を含む第２学習データを生成する（ステップS102）。ニューラルネットワーク型識別器１０１は、生成された第２学習データを第２学習データ記憶手段１０３に保存する。
次いで、学習手段１０４は、ニューラルネットワーク型識別器１０１に対するファインチューニングの実行対象の層の範囲を決定する（ステップS103）。学習手段１０４は、第１学習データ記憶手段１０２に保存されている第１学習データ、および第２学習データ記憶手段１０３に保存されている第２学習データの両方を利用して決定する。
具体的には、学習手段１０４は、第１学習データと第２学習データとを用いて予め定められた層よりも上位の層のみを学習するか、さらに第２学習データのみを用いてより下位の層まで学習するかを、それぞれの学習後の識別性能、および学習データの減少量を考慮して決定する。
例えば、学習手段１０４は、学習後の識別性能を予測し、予測された識別性能を基に式（１）のスコアを算出する。学習手段１０４は、算出された式（１）のスコアを基に実行対象の層の範囲を決定する。
決定した後、学習手段１０４は、ニューラルネットワーク型識別器１０１の決定された範囲に対してファインチューニングを実行する（ステップS104）。ファインチューニングを実行した後、パターン認識装置１００は、ファインチューニング実行処理を終了する。
［効果の説明］
本実施形態のパターン認識装置１００は、ネットワーク構造で表現されるニューラルネットワーク型識別器１０１を備える。また、パターン認識装置１００は、第１学習データを記憶する第１学習データ記憶手段１０２と、第２学習データを記憶する第２学習データ記憶手段１０３とを備える。
第１学習データは、学習用の画像データがニューラルネットワーク型識別器１０１に入力された際に１つの層から出力される特徴量データと、入力された学習用の画像データに対応する正解クラスと、特徴量データを出力する層の識別情報とを含む。
第２学習データは、第１学習データの生成に使用された学習用の画像データと異なる画像データがニューラルネットワーク型識別器１０１に入力された際に、第１学習データに含まれる特徴量データを出力した１つの層と異なる層から出力される特徴量データを含む。また、第２学習データは、入力された学習用の画像データに対応する正解クラスと、特徴量データを出力する層の識別情報とを含む。
また、パターン認識装置１００は、第１学習データと第２学習データの両方を用いて、ニューラルネットワーク型識別器１０１に対してファインチューニングを実行する学習手段１０４を備える。
本実施形態のパターン認識装置１００は、ファインチューニングで重みパラメータが修正される層の最適な範囲を決定できる。その理由は、学習手段１０４がファインチューニング後の識別性能と学習データの再利用可能性の２つの観点でファインチューニングの結果を表す指標を算出し、算出された指標に基づいて最適な学習範囲を選択するためである。
実施形態２．
［構成の説明］
次に、本発明によるパターン認識装置の第２の実施形態を、図面を参照して説明する。図３は、本発明によるパターン認識装置の第２の実施形態の構成例を示すブロック図である。
図３に示すように、パターン認識装置２００は、ニューラルネットワーク型識別器２０１と、学習データ記憶手段２０２と、学習手段２０３と、学習データ選択手段２０４と、再学習範囲決定手段２０５と、評価手段２０６と、再学習結果記憶手段２０７と、再学習結果選択手段２０８とを備える。
ニューラルネットワーク型識別器２０１は、ニューラルネットワークを用いてパターン認識処理を行う識別器である。ニューラルネットワーク型識別器２０１が有する機能は、第１の実施形態のニューラルネットワーク型識別器１０１が有する機能と同様である。
学習データ記憶手段２０２は、学習用の画像データと、ニューラルネットワーク型識別器２０１の中間層から出力された特徴量データとを含む学習データを記憶する機能を有する。記憶されている学習データには、第１の実施形態の第１学習データと、第２学習データとが含まれる。なお、学習データには、画像データ、または特徴量データのうちのいずれか１つのみが含まれていてもよい。
学習手段２０３は、学習データ記憶手段２０２に記憶されている学習データを用いて、ニューラルネットワーク型識別器２０１に対してファインチューニングを実行する機能を有する。学習手段２０３が有する機能は、第１の実施形態の学習手段１０４が有する機能と同様である。
学習データ選択手段２０４は、学習データ記憶手段２０２に記憶されている学習データの中から、ファインチューニングの実行対象の層よりも下位の層から抽出された特徴量データを含む学習データを選択する機能を有する。
再学習範囲決定手段２０５は、ファインチューニングの実行対象の層の範囲（再学習範囲）の候補を１通り以上決定する機能を有する。再学習範囲決定手段２０５は、ニューラルネットワーク型識別器２０１を構成する層の中からファインチューニングの実行対象の層の範囲の候補を１通り、または複数通り決定する。
例えば、再学習範囲決定手段２０５は、図１１に示すニューラルネットワーク型識別器に対してファインチューニングの実行対象の層の範囲の候補を「第L1層よりも上位の層」、「第L2層よりも上位の層」、「第L3層よりも上位の層」と３通り決定する。再学習範囲決定手段２０５は、決定されたファインチューニングの実行対象の層の範囲の候補を示す情報を出力する。
学習データ選択手段２０４は、再学習範囲決定手段２０５が決定したファインチューニングの実行対象の層の範囲の候補を示す１つの情報に着目する。次いで、学習データ選択手段２０４は、学習データ記憶手段２０２に記憶されている学習データのうち、ファインチューニングの実行対象の層の範囲の候補以外から得られた学習データのみ選択する。
学習データ選択手段２０４が選択した学習データは、継続して利用可能なデータである。一般的に、継続して利用可能なデータは、多い方が好ましいと考えられる。以下、学習データ選択手段２０４の具体的な選択方法を、図４を参照して説明する。図４は、学習データ記憶手段２０２に記憶されている学習データの例を示す説明図である。
図４は、学習データのデータ名と、データの内容とを併せて示す。データの内容は、学習データが画像データ、または特徴量データのいずれかを含むことを示す。学習データが特徴量データを含む場合、データの内容は、特徴量データが抽出されたニューラルネットワーク型識別器２０１の層も示す。
図４は、学習データＡおよび学習データＢが画像データを含むことを示す。また、図４は、学習データＣおよび学習データＤが中間層L3から抽出された特徴量データを含むことを示す。
また、図４は、学習データＥおよび学習データＦが中間層L2から抽出された特徴量データを含むことを示す。また、図４は、学習データＧおよび学習データＨが中間層L1から抽出された特徴量データを含むことを示す。
例えば、入力層が含まれる全ての層を再学習範囲決定手段２０５がファインチューニングの実行対象の範囲の候補に決定した場合、学習データ選択手段２０４は、学習データＡおよび学習データＢをファインチューニングに用いる学習データに選択する。
また、中間層L3以上の層を再学習範囲決定手段２０５がファインチューニングの実行対象の範囲の候補に決定した場合、学習データ選択手段２０４は、学習データＡ、学習データＢ、学習データＣ、および学習データＤをファインチューニングに用いる学習データに選択する。
図５は、ファインチューニングの実行対象の層の範囲と学習データ量との関係の例を示す説明図である。図５に示すように、一般的にファインチューニングの実行対象の層の範囲が狭いほど、学習に用いられる学習データ量、およびファインチューニング後に再利用可能な学習データ量は増える。
なお、図５は、学習に利用される学習データ量、および再利用可能な学習データ量の変化を定性的に示す。ファインチューニングの実行対象の層の範囲と、学習に利用される学習データ量、およびファインチューニング後に再利用可能な学習データ量との関係は、必ずしも図５に示すように線形関数で表されるわけではない。両者の関係は、学習データ量に含まれる画像データの量、および各層からサンプリングされた特徴量データの量の割合に依存する。
評価手段２０６は、ファインチューニングが実行された後のニューラルネットワーク型識別器２０１の識別性能を評価する機能を有する。
評価手段２０６は、学習手段２０３により更新されたニューラルネットワーク型識別器２０１を用いて、例えば評価データに対するニューラルネットワーク型識別器２０１の識別性能を求める。識別性能は、例えば正認識率と誤認識率とで表現されてもよい。
再学習結果記憶手段２０７は、ファインチューニングが実行された後のニューラルネットワーク型識別器２０１の重みパラメータを示す情報を一時的に記憶する機能を有する。
再学習結果記憶手段２０７は、学習手段２０３により更新されたニューラルネットワーク型識別器２０１のネットワークの重みパラメータを示す情報を記憶する。また、再学習結果記憶手段２０７は、評価手段２０６で求められた識別性能、ファインチューニングの実行対象の層の範囲の候補を示す情報、および学習データ選択手段２０４が選択した学習データ数を、重みパラメータを示す情報と共に記憶する。
再学習結果選択手段２０８は、評価手段２０６により評価された識別性能と、ファインチューニングが実行された後も利用可能な学習データ量とに基づいて、再学習結果（ファインチューニングの結果）を選択する機能を有する。再学習結果選択手段２０８は、識別性能と利用可能な学習データ量とが考慮された統一的な指標に基づいて、最適な再学習結果を選択できる。
すなわち、再学習結果選択手段２０８は、最良のニューラルネットワーク型識別器２０１を選出する。具体的には、再学習結果選択手段２０８は、再学習結果記憶手段２０７に記憶されているファインチューニングの実行対象の層の範囲の候補毎の識別性能、および学習データ選択手段２０４が選択した学習データ数に基づいて選出する。
最良のニューラルネットワーク型識別器２０１の選択基準として、例えば以下に示す基準が考えられる。
例えば、識別性能の許容範囲が既知である場合、再学習結果選択手段２０８は、識別性能が許容範囲内である再学習結果の中から、最もファインチューニングの実行対象の層の数が少ない再学習結果を選べばよい。上記の基準で再学習結果を選ぶことによって、再学習結果選択手段２０８は、再利用可能な学習データ量を最大にできる。
また、再学習結果選択手段２０８は、再利用可能な学習データ量の減少による負の影響が与えられた識別性能を表すスコアを、例えば以下のように計算してもよい。
（スコア）＝（識別性能）－α×（学習データの減少量）・・・式（２）
ただし、式（２）における定数αは、識別性能の次元と学習データの減少量の次元とを揃えるための定数である。再学習結果選択手段２０８は、最大のスコアを与える再学習結果に対応するニューラルネットワーク型識別器２０１を選択してもよい。
また、再利用可能な学習データ量を最大にする場合、再学習結果選択手段２０８は、最もファインチューニングの実行対象の層の数が少ないニューラルネットワーク型識別器２０１を選択すればよい。再利用可能な学習データ量を最大にするという基準が当初から明確である場合、再学習範囲決定手段２０５は、基準に対応する層の範囲のみを示す情報を出力すればよい。
本実施形態では、識別問題を題材としてパターン認識処理を行うためのニューラルネットワーク型識別器がニューラルネットワーク型識別器２０１として用いられる例を説明した。しかし、ニューラルネットワーク型識別器２０１は、識別問題以外の問題を解決するためのネットワーク型識別器でもよい。
例えば、オブジェクト検知を行うように学習されたネットワーク型識別器や、数値を予測するために回帰問題が学習されたネットワーク型識別器が、ニューラルネットワーク型識別器２０１でもよい。
ニューラルネットワーク型識別器２０１が識別問題以外の問題を解決するためのネットワーク型識別器である場合、評価手段２０６が有する機能と再学習結果選択手段２０８が有する機能のみ変更される。
ニューラルネットワーク型識別器２０１がオブジェクト検知を行うように学習されたネットワーク型識別器である場合、評価手段２０６は、mAP(mean Average Precision) で検知性能を表してもよいし、誤検知率と検知率とで検知性能を表してもよい。
誤検知率と検知率とで検知性能を表す場合、評価手段２０６は、誤検知率および検知率の２次元の指標を検知性能という１次元の指標に変換するために、例えば検知率と誤検知率にそれぞれ重みを付けた上で検知率と誤検知率を加算してもよい。
評価手段２０６は、例えば誤検知率に付けられる重みを負の値にするか、検知率に付けられる重みの絶対値よりも誤検知率に付けられる重みの絶対値を大きくすれば、誤検知に対するペナルティをより大きく勘案できる。
また、検知性能の許容範囲が既知である場合、再学習結果選択手段２０８は、検知性能が許容範囲内である再学習結果の中から、最もファインチューニングの実行対象の層の数が少ない再学習結果を選べばよい。上記の基準で再学習結果を選ぶことによって、再学習結果選択手段２０８は、再利用可能な学習データ量を最大にできる。
また、再学習結果選択手段２０８は、再利用可能な学習データ量の減少による負の影響が与えられた検知性能を表すスコアを、例えば以下のように計算してもよい。
（スコア）＝（検知性能）－β×（学習データの減少量）・・・式（３）
ただし、式（３）における定数βは、検知性能の次元と学習データの減少量の次元とを揃えるための定数である。再学習結果選択手段２０８は、最大のスコアを与える再学習結果に対応するニューラルネットワーク型識別器２０１を選択してもよい。
また、再利用可能な学習データ量を最大にする場合、再学習結果選択手段２０８は、最もファインチューニングの実行対象の層の数が少ないニューラルネットワーク型識別器２０１を選択すればよい。再利用可能な学習データ量を最大にするという基準が当初から明確である場合、再学習範囲決定手段２０５は、基準に対応する層の範囲のみを示す情報を出力すればよい。
また、ニューラルネットワーク型識別器２０１が回帰問題が学習されたネットワーク型識別器である場合、評価手段２０６は、例えば予測された数値と真値との二乗誤差の逆数等を検知性能の性能値として求めればよい。
なお、上記の説明では、再学習結果選択手段２０８が識別性能の値や検知性能の値からスコアを算出する式の例として、一次式を示した。しかし、統計的な関係性を高精度に表現することが求められる場合、再学習結果選択手段２０８は、スコアを算出する式として一次式の代わりに、より高次の計算式を用いてもよい。また、再学習結果選択手段２０８は、特定のモデル式に基づいてスコアを計算してもよい。
［動作の説明］
以下、本実施形態のパターン認識装置２００のファインチューニングを実行する動作を図６を参照して説明する。図６は、第２の実施形態のパターン認識装置２００によるファインチューニング実行処理の動作を示すフローチャートである。
最初に、再学習範囲決定手段２０５が、ニューラルネットワーク型識別器２０１に対するファインチューニングの実行対象の層の範囲の候補を決定する（ステップS201）。再学習範囲決定手段２０５は、決定されたファインチューニングの実行対象の層の範囲の候補を学習データ選択手段２０４に入力する。
次いで、学習データ選択手段２０４が、ステップS201で入力された各ファインチューニングの実行対象の層の範囲の候補のうち、１つの範囲の候補に着目する。すなわち、再学習ループに入る（ステップS202）。
学習データ選択手段２０４は、着目されたファインチューニングの実行対象の層の範囲の候補に対してファインチューニングを実行するために求められる学習データを、学習データ記憶手段２０２に記憶されている学習データの中から選択する（ステップS203）。学習データ選択手段２０４は、選択された学習データを学習手段２０３に入力する。
次いで、学習手段２０３は、ステップS203で選択された学習データを用いて、ニューラルネットワーク型識別器２０１に対してファインチューニングを実行する（ステップS204）。
次いで、評価手段２０６は、ステップS204で更新されたニューラルネットワーク型識別器２０１を用いて、評価データに対するニューラルネットワーク型識別器２０１の識別性能を評価する（ステップS205）。
次いで、評価手段２０６は、ステップS205で評価された識別性能を再学習結果記憶手段２０７に再学習結果として格納する（ステップS206）。
また、学習手段２０３は、ステップS204で更新されたニューラルネットワーク型識別器２０１の重みパラメータを示す情報、およびファインチューニングの実行対象の層の範囲の候補を示す情報を、再学習結果記憶手段２０７に格納されている再学習結果に含める。また、学習データ選択手段２０４は、選択された学習データ数を、再学習結果記憶手段２０７に格納されている再学習結果に含める。
パターン認識装置２００は、ステップS201で決定された各ファインチューニングの実行対象の層の範囲の候補全てに対してファインチューニングが実行されるまでの間、ステップS203～ステップS206の処理を繰り返し実行する。各ファインチューニングの実行対象の層の範囲の候補全てに対してファインチューニングが実行された時、パターン認識装置２００は、再学習ループを抜ける（ステップS207）。
次いで、再学習結果選択手段２０８は、再学習結果記憶手段２０７に格納されている再学習結果のうち最適な再学習結果を選択する（ステップS208）。最適な再学習結果を選択した後、パターン認識装置２００は、ファインチューニング実行処理を終了する。
以下、本実施形態の他の例を、図７を参照して説明する。上記の例のパターン認識装置２００は、１種類のニューラルネットワーク型識別器２０１のみ備える。
すなわち、中間層から抽出された特徴量データは、１種類のニューラルネットワーク型識別器に関する特徴量データのみである。換言すると、特徴量データが抽出されたニューラルネットワーク型識別器は、予め１種類に特定された。
しかし、本実施形態の学習データ記憶手段２０２には、複数のニューラルネットワーク型識別器からそれぞれ抽出された各特徴量データが、混在して記憶されてもよい。すなわち、パターン認識装置２００は、複数種類のニューラルネットワーク型識別器を備えてもよい。パターン認識装置２００が複数種類のニューラルネットワーク型識別器を備える場合、各ニューラルネットワーク型識別器は、ネットワーク識別情報をそれぞれ有する。
本変形例では、ニューラルネットワーク型識別器が、ネットワーク識別情報をさらに具備する。ネットワーク識別情報は、各ネットワークのモデル、および各ネットワーク係数を区別可能な情報である。
すなわち、例えば同じネットワーク構造のニューラルネットワーク型識別器同士であっても各ネットワーク係数が異なる場合、各ニューラルネットワーク型識別器には、それぞれ異なるネットワーク識別情報が割り当てられる。
ネットワーク識別情報は、単一の数値、または文字列で表現されてもよい。また、ネットワーク識別情報は、層数、各層の種類、フィルタサイズ、フィルタ係数、ストライド幅、活性化関数等が所定の規則に従って１列の数値列として展開された情報でもよい。
各層の種類は、コンボリューション層、プーリング層、フルコネクト層、softmax 層等である。また、フィルタサイズ等の層に関する各情報は、層毎に列挙されてもよい。
また、学習データ記憶手段２０２に記憶されている学習データでは、ニューラルネットワーク型識別器を識別できるネットワーク識別情報と、学習データに含まれる特徴量データが抽出されたニューラルネットワーク型識別器の層の位置を示す情報とが対応付けられている。
具体的には、学習データ記憶手段２０２に記憶されている画像データと特徴量データのうち特徴量データに関して、特徴量データが抽出されたニューラルネットワーク型識別器のネットワーク識別情報と、特徴量データが抽出された層の位置を示す情報との組が記憶される。
また、１つの特徴量データは、複数のニューラルネットワーク型識別器と対応付けられてもよい。例えば全体の構造が異なるが、入力層から第Ｎ層までのネットワーク構造およびネットワークの重みパラメータが共通しているニューラルネットワーク型識別器Ａとニューラルネットワーク型識別器Ｂを、パターン認識装置２００が備えているとする。
ニューラルネットワーク型識別器Ａの第Ｎ層から抽出された特徴量データが学習データ記憶手段２０２に記憶されている場合、記憶されている特徴量データには、ニューラルネットワーク型識別器Ｂの第Ｎ層から抽出された特徴量データであることを示す情報も追記される。情報が追記された特徴量データは、異なるファインチューニングに渡って使用される。
図７は、学習データ記憶手段２０２に記憶されている学習データの他の例を示す説明図である。図７は、学習データのデータ名と、データの内容とを併せて示す。
データの内容は、学習データが画像データ、または特徴量データのいずれかを含むことを示す。学習データが特徴量データを含む場合、データの内容は、特徴量データが抽出されたニューラルネットワーク型識別器のネットワーク識別情報と、特徴量データが抽出された層も示す。
図７は、学習データＡおよび学習データＢが画像データを含むことを示す。また、図７は、学習データＣおよび学習データＤが、ネットワーク識別情報N1で識別されるネットワーク型識別器の中間層L3から抽出された特徴量データを含むことを示す。
同様に、学習データＣおよび学習データＤは、ネットワーク識別情報N2で識別されるネットワーク型識別器の中間層L3から抽出された特徴量データ、およびネットワーク識別情報N3で識別されるネットワーク型識別器の中間層L3から抽出された特徴量データを含む。
すなわち、ネットワーク識別情報N1で識別されるネットワーク型識別器の構造、ネットワーク識別情報N2で識別されるネットワーク型識別器の構造、およびネットワーク識別情報N3で識別されるネットワーク型識別器の構造は、入力層から中間層L3まで共通である。
また、図７は、学習データＥおよび学習データＦが、ネットワーク識別情報N1で識別されるネットワーク型識別器の中間層L2から抽出された特徴量データ、およびネットワーク識別情報N2で識別されるネットワーク型識別器の中間層L2から抽出された特徴量データを含むことを示す。
すなわち、ネットワーク識別情報N1で識別されるネットワーク型識別器の構造とネットワーク識別情報N2で識別されるネットワーク型識別器の構造は、入力層から中間層L2まで共通である。
また、図７は、学習データＧおよび学習データＨが、ネットワーク識別情報N1で識別されるネットワーク型識別器の中間層L1から抽出された特徴量データを含むことを示す。
学習データ選択手段２０４は、再学習範囲決定手段２０５が決定したファインチューニングの実行対象の層の範囲の候補のうち、１つの範囲の候補に着目する。次いで、学習データ選択手段２０４は、学習データ記憶手段２０２に記憶されている学習データのうち、ニューラルネットワーク型識別器のファインチューニングの実行対象の層の範囲の候補以外から得られた学習データのみを選択する。
すなわち、本変形例の学習データ選択手段２０４は、ファインチューニングの実行対象のニューラルネットワーク型識別器を示すネットワーク識別情報と、含まれているネットワーク識別情報が等しい学習データだけを選択する。
従って、本変形例のパターン認識装置２００は、様々な撮影地点向けに様々なニューラルネットワーク型識別器が構築されていた場合であっても、構造が同様な範囲で複数のニューラルネットワーク型識別器に対して同じ特徴量データを利用できる。
以下、各実施形態のパターン認識装置のハードウェア構成の具体例を説明する。図８は、本発明によるパターン認識装置のハードウェア構成例を示す説明図である。
図８に示すパターン認識装置は、ＣＰＵ（Central Processing Unit ）１１と、主記憶部１２と、通信部１３と、補助記憶部１４とを備える。また、ユーザが操作するための入力部１５や、ユーザに処理結果または処理内容の経過を提示するための出力部１６を備えてもよい。
なお、図８に示すパターン認識装置は、ＣＰＵ１１の代わりにＤＳＰ（Digital Signal Processor）を備えてもよい。または、図８に示すパターン認識装置は、ＣＰＵ１１とＤＳＰとを併せて備えてもよい。
主記憶部１２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部１２は、例えばＲＡＭ（Random Access Memory）である。
通信部１３は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。
補助記憶部１４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリが挙げられる。
入力部１５は、データや処理命令を入力する機能を有する。入力部１５は、例えばキーボードやマウス等の入力デバイスである。
出力部１６は、データを出力する機能を有する。出力部１６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。
また、図８に示すように、パターン認識装置において、各構成要素は、システムバス１７に接続されている。
補助記憶部１４は、例えば、学習手段１０４、学習手段２０３、学習データ選択手段２０４、再学習範囲決定手段２０５、評価手段２０６、および再学習結果選択手段２０８を実現するためのプログラムを記憶している。
なお、パターン認識装置は、ハードウェアにより実現されてもよい。例えば、パターン認識装置は、内部に図１に示すような機能を実現するプログラムが組み込まれたＬＳＩ（Large Scale Integration ）等のハードウェア部品が含まれる回路が実装されてもよい。
また、パターン認識装置は、図８に示すＣＰＵ１１が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。
ソフトウェアにより実現される場合、ＣＰＵ１１が補助記憶部１４に格納されているプログラムを、主記憶部１２にロードして実行し、パターン認識装置の動作を制御することによって、各機能がソフトウェアにより実現される。また、ＣＰＵ１１が、補助記憶部１４に格納されている学習データ等を、主記憶部１２にロードしてもよい。
また、各構成要素の一部または全部は、汎用の回路（circuitry ）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
次に、本発明の概要を説明する。図９は、本発明によるパターン認識装置の概要を示すブロック図である。本発明によるパターン認識装置２０は、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測する予測手段２１（例えば、学習手段１０４）と、予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段２２（例えば、学習手段１０４）とを備える。
そのような構成により、パターン認識装置は、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
また、パターン認識装置２０は、決定された範囲の層が出力する特徴量データを用いてニューラルネットワーク型識別器を学習する学習手段（例えば、学習手段１０４）を備えてもよい。
そのような構成により、パターン認識装置は、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
また、第１学習データは、第１学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、第１学習データに含まれる特徴量データを出力した１つの層を示す情報とを含み、第２学習データは、第２学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、第２学習データに含まれる特徴量データを出力した１つの層を示す情報とを含んでもよい。
そのような構成により、パターン認識装置は、ファインチューニングの精度をより高めることができる。
また、学習手段は、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる学習用の画像データと、異なる学習用の画像データに対応する正解クラスとを含む第３学習データと、第１学習データとを用いて学習してもよい。
そのような構成により、パターン認識装置は、より多様なファインチューニングを実行できる。
また、図１０は、本発明によるパターン認識装置の他の概要を示すブロック図である。本発明によるパターン認識装置３０は、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段３１（例えば、再学習範囲決定手段２０５）と、学習用の画像データが入力されたニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いてニューラルネットワーク型識別器を学習する学習手段３２（例えば、学習手段２０３）と、学習された後のニューラルネットワーク型識別器の識別性能を評価する評価手段３３（例えば、評価手段２０６）と、学習されて導出されたニューラルネットワーク型識別器のパラメータを決定された範囲の候補と共に記憶する記憶手段３４（例えば、再学習結果記憶手段２０７）と、評価された識別性能と学習に利用された学習データの数とに基づいて記憶手段３４からパラメータを選択する選択手段３５（例えば、再学習結果選択手段２０８）とを備える。
そのような構成により、パターン認識装置は、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
また、学習データは、学習データに含まれる特徴量データを出力した層を示す情報を含んでもよい。
そのような構成により、パターン認識装置は、所定の層よりも上位の層から抽出された全ての特徴量データを認識できる。
また、学習データは、学習データに含まれる特徴量データの生成元である学習用の画像データと、特徴量データおよび画像データに対応する正解クラスとを含んでもよい。
そのような構成により、パターン認識装置は、ファインチューニングの精度をより高めることができる。
また、学習データは、学習データに含まれる特徴量データを出力したニューラルネットワーク型識別器を示すネットワーク情報を含んでもよい。
そのような構成により、パターン認識装置は、複数種類のニューラルネットワーク型識別器に対応できる。
また、学習手段３２は、学習対象のニューラルネットワーク型識別器を示すネットワーク情報を含む学習データを用いて学習してもよい。
そのような構成により、パターン認識装置は、複数種類のニューラルネットワーク型識別器に対応できる。
また、記憶手段３４は、パラメータと、パラメータを有するニューラルネットワーク型識別器の識別性能と、パラメータが導出された学習に利用された学習データの数とを併せて記憶してもよい。
そのような構成により、パターン認識装置は、複数のファインチューニングの結果をまとめて管理できる。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
（付記１）学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測手段と、予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段とを備えることを特徴とするパターン認識装置。
（付記２）決定された範囲の層が出力する特徴量データを用いてニューラルネットワーク型識別器を学習する学習手段を備える付記１記載のパターン認識装置。
（付記３）第１学習データは、前記第１学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第１学習データに含まれる特徴量データを出力した１つの層を示す情報とを含み、第２学習データは、前記第２学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第２学習データに含まれる特徴量データを出力した１つの層を示す情報とを含む付記２記載のパターン認識装置。
（付記４）学習手段は、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる学習用の画像データと、前記異なる学習用の画像データに対応する正解クラスとを含む第３学習データと、前記第１学習データとを用いて学習する付記３記載のパターン認識装置。
（付記５）複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習手段と、学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価手段と、学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶する記憶手段と、評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択手段とを備えることを特徴とするパターン認識装置。
（付記６）学習データは、前記学習データに含まれる特徴量データを出力した層を示す情報を含む付記５記載のパターン認識装置。
（付記７）学習データは、前記学習データに含まれる特徴量データの生成元である学習用の画像データと、前記特徴量データおよび前記画像データに対応する正解クラスとを含む付記５または付記６記載のパターン認識装置。
（付記８）学習データは、前記学習データに含まれる特徴量データを出力したニューラルネットワーク型識別器を示すネットワーク情報を含む付記５から付記７のうちのいずれかに記載のパターン認識装置。
（付記９）学習手段は、学習対象のニューラルネットワーク型識別器を示すネットワーク情報を含む学習データを用いて学習する付記８記載のパターン認識装置。
（付記１０）記憶手段は、パラメータと、前記パラメータを有するニューラルネットワーク型識別器の識別性能と、前記パラメータが導出された学習に利用された学習データの数とを併せて記憶する付記５から付記９のうちのいずれかに記載のパターン認識装置。
（付記１１）学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測し、予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定することを特徴とするパターン認識方法。
（付記１２）複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定し、学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習し、学習された後の前記ニューラルネットワーク型識別器の識別性能を評価し、学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶手段に記憶させ、評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択することを特徴とするパターン認識方法。
（付記１３）コンピュータに、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測処理、および予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定処理を実行させるためのパターン認識プログラム。
（付記１４）コンピュータに、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定処理、学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習処理、学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価処理、学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶手段に記憶させる記憶処理、および評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択処理を実行させるためのパターン認識プログラム。
１１ ＣＰＵ
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
１５ 入力部
１６ 出力部
１７ システムバス
２０、３０、１００、２００ パターン認識装置
２１ 予測手段
２２、３１ 決定手段
３２、１０４、２０３ 学習手段
３３、２０６ 評価手段
３４ 記憶手段
３５ 選択手段
１０１、２０１ ニューラルネットワーク型識別器
１０２ 第１学習データ記憶手段
１０３ 第２学習データ記憶手段
２０２ 学習データ記憶手段
２０４ 学習データ選択手段
２０５ 再学習範囲決定手段
２０７ 再学習結果記憶手段
２０８ 再学習結果選択手段

Claims (10)

  1. 学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測手段と、
    予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段とを備える
    ことを特徴とするパターン認識装置。
  2. 決定された範囲の層が出力する特徴量データを用いてニューラルネットワーク型識別器を学習する学習手段を備える
    請求項１記載のパターン認識装置。
  3. 第１学習データは、前記第１学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第１学習データに含まれる特徴量データを出力した１つの層を示す情報とを含み、
    第２学習データは、前記第２学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第２学習データに含まれる特徴量データを出力した１つの層を示す情報とを含む
    請求項２記載のパターン認識装置。
  4. 学習手段は、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる学習用の画像データと、前記異なる学習用の画像データに対応する正解クラスとを含む第３学習データと、前記第１学習データとを用いて学習する
    請求項３記載のパターン認識装置。
  5. 複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、
    学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習手段と、
    学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価手段と、
    学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶する記憶手段と、
    評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択手段とを備え、
    学習データは、当該学習データに含まれる特徴量データを出力した前記ニューラルネットワーク型識別器を示すネットワーク情報を含む
    ことを特徴とするパターン認識装置。
  6. 学習データは、前記学習データに含まれる特徴量データを出力した層を示す情報を含む
    請求項５記載のパターン認識装置。
  7. 学習データは、前記学習データに含まれる特徴量データの生成元である学習用の画像データと、前記特徴量データおよび前記画像データに対応する正解クラスとを含む
    請求項５または請求項６記載のパターン認識装置。
  8. 学習手段は、学習対象のニューラルネットワーク型識別器を示すネットワーク情報を含む学習データを用いて学習する
    請求項５記載のパターン認識装置。
  9. 記憶手段は、パラメータと、前記パラメータを有するニューラルネットワーク型識別器の識別性能と、前記パラメータが導出された学習に利用された学習データの数とを併せて記憶する
    請求項５から請求項８のうちのいずれか１項に記載のパターン認識装置。
  10. 学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測し、
    予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する
    ことを特徴とするパターン認識方法。
JP2020547786A 2018-09-28 2018-09-28 パターン認識装置およびパターン認識方法 Active JP7024881B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/036217 WO2020065908A1 (ja) 2018-09-28 2018-09-28 パターン認識装置、パターン認識方法およびパターン認識プログラム

Publications (2)

Publication Number Publication Date
JPWO2020065908A1 JPWO2020065908A1 (ja) 2021-08-30
JP7024881B2 true JP7024881B2 (ja) 2022-02-24

Family

ID=69950472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547786A Active JP7024881B2 (ja) 2018-09-28 2018-09-28 パターン認識装置およびパターン認識方法

Country Status (2)

Country Link
JP (1) JP7024881B2 (ja)
WO (1) WO2020065908A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7505256B2 (ja) * 2020-05-15 2024-06-25 オムロン株式会社 画像検査装置、画像検査方法及び学習済みモデル生成装置
CN112200040A (zh) 2020-09-28 2021-01-08 北京小米松果电子有限公司 遮挡图像检测方法、装置及介质
WO2024095721A1 (ja) * 2022-11-01 2024-05-10 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
WO2024157631A1 (ja) * 2023-01-24 2024-08-02 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018142766A1 (ja) 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 学習済みモデル提供方法および学習済みモデル提供装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018142766A1 (ja) 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 学習済みモデル提供方法および学習済みモデル提供装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岡谷 貴之，画像認識のための深層学習の研究動向 －畳込みニューラルネットワークとその利用法の発展－，人工知能，日本，（一社）人工知能学会，2016年03月01日，第31巻 第2号，pp.169-179

Also Published As

Publication number Publication date
WO2020065908A1 (ja) 2020-04-02
JPWO2020065908A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
JP7024881B2 (ja) パターン認識装置およびパターン認識方法
Wang et al. Deep mixture of experts via shallow embedding
Teerapittayanon et al. Branchynet: Fast inference via early exiting from deep neural networks
JP6574503B2 (ja) 機械学習方法および装置
JP4618098B2 (ja) 画像処理システム
US20160224903A1 (en) Hyper-parameter selection for deep convolutional networks
CN110852447A (zh) 元学习方法和装置、初始化方法、计算设备和存储介质
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
US9208374B2 (en) Information processing apparatus, control method therefor, and electronic device
US9842279B2 (en) Data processing method for learning discriminator, and data processing apparatus therefor
US11068747B2 (en) Computer architecture for object detection using point-wise labels
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN110826609B (zh) 一种基于强化学习的双流特征融合图像识别方法
WO2019102984A1 (ja) 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
CN112446888A (zh) 图像分割模型的处理方法和处理装置
JP2020187417A (ja) 物性予測装置及び物性予測方法
US11003909B2 (en) Neural network trained by homographic augmentation
CN110705622A (zh) 一种决策方法、系统以及电子设备
KR102512151B1 (ko) 객체 검출 방법 및 장치
CN113822411A (zh) 学习方法和信息处理设备
WO2020059136A1 (ja) 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム
CN110705631A (zh) 一种基于svm的散货船舶设备状态检测方法
Al-Falouji et al. A heuristic for an online applicability of anomaly detection techniques
KR102554626B1 (ko) 점진적 학습을 위한 기계 학습 방법 및 이를 수행하기 위한 컴퓨팅 장치
JP7438544B2 (ja) ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R151 Written notification of patent or utility model registration

Ref document number: 7024881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151