JP6148265B2 - 学習装置、学習方法、およびプログラム - Google Patents

Description

本発明は、学習装置、学習方法、およびプログラムに関する。

従来、特徴量に基づいて画像を分類する技術がある。画像を分類するためには複数種の画像の特徴量に基づいて機械学習を行う必要がある。しかしながら、この機械学習においては、新規の学習データのみを使用して学習を行うと、過去の学習が忘却されるという問題がある。この問題を回避するためには、過去の学習データと新規の学習データの双方を用いて再学習を行って分類精度を保つことが必要となるが、新たな画像が日々増大するインターネット上の画像を新規のデータとして学習し分類する場合等に、再学習を繰り返すと学習画像が幾何級数的に増大するため長い処理時間が必要となる。
これに対し、例えば下記の特許文献１には、分類に有効な特徴量のみを選出し、選出された有効特徴量を使用することにより、学習のための処理時間を短くすることが記載されている。

特開２０１２−０７３７６１号公報

しかしながら、特許文献１に記載された技術は、予め決められた複数種の特徴量の中から指標値が高い特徴量を選択するものであるが、予め決められた当該複数種の特徴量に分類結果に与える影響の大きい有効特徴量が含まれていない場合がある。また、特許文献１に記載された技術は、予め決められた特徴量に基づいて画像の分類を実施しない認識アルゴリズムには適用できないという問題がある。

そこで本発明は、上記の課題に鑑みてなされたものであって、効果的に学習処理を行うことができる学習装置、学習方法、およびプログラムを提供することを目的としている。

（１）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成する認識処理部と、前記認識処理部により生成された認識結果を修正した修正結果の入力を受け付け、前記認識対象データに前記修正結果を付加した再学習データを作成する学習制御部と、前記認識処理部が前記学習制御部により作成された再学習データに含まれる認識対象データに対して認識処理を行った場合に当該認識対象データに付加された修正結果を認識結果として出力するように、前記認識処理部の処理パラメータを学習する学習処理部と、を有する学習装置である。

（２）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、認識処理により生成された認識結果を修正した修正結果の入力を受け付け、前記認識対象データに前記修正結果を付加した再学習データを作成するステップと、作成した再学習データに含まれる認識対象データに対して認識処理を行った場合に当該認識対象データに付加された修正結果を認識結果として出力するように、前記認識処理の処理パラメータを学習するステップと、を有する学習方法である。

（３）本発明の一態様は、コンピュータに、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、
認識処理により生成された認識結果を修正した修正結果の入力を受け付け、前記認識対象データに前記修正結果を付加した再学習データを作成するステップと、作成した再学習データに含まれる認識対象データに対して認識処理を行った場合に当該認識対象データに付加された修正結果を認識結果として出力するように、前記認識処理の処理パラメータを学習するステップと、を実行させるためのプログラムである。

（４）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成する認識処理部と、前記認識処理部の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成する学習制御部と、前記学習制御部により作成された再学習データを含む学習対象データ用いて、前記認識処理部の処理パラメータを学習する学習処理部とを有し、前記学習制御部は、第１の学習処理において複数の学習対象データから複数の学習対象データ群を設定して前記学習処理部に出力し、第２の学習処理において前記複数の学習対象データから前記第１の学習処理とは異なる組み合わせで複数の学習対象データ群を設定して前記学習処理部に出力し、前記学習処理部は、前記学習制御部から入力された複数の学習対象データ群のそれぞれに対して１単位の認識処理を行って前記認識処理部の処理パラメータを学習する、学習装置である。

（５）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、を有し、第１の学習処理において、複数の学習対象データから複数の学習対象データ群を設定して、設定した複数の学習対象データ群のそれぞれに対して１単位の認識処理を行い、認識処理の処理パラメータを学習し、第２の学習処理において、前記複数の学習対象データから前記第１の学習処理とは異なる組み合わせで複数の学習対象データ群を設定して、設定した複数の学習対象データ群のそれぞれに対して１単位の認識処理を行い、認識処理の処理パラメータを学習する、学習方法である。

（６）本発明の一態様は、コンピュータに、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、を実行させ、第１の学習処理において、複数の学習対象データから複数の学習対象データ群を設定させ、設定した複数の学習対象データ群のそれぞれに対して１単位の認識処理を行わせて、認識処理の処理パラメータを学習させ、第２の学習処理において前記複数の学習対象データから前記第１の学習処理とは異なる組み合わせで複数の学習対象データ群を設定させ、設定した複数の学習対象データ群のそれぞれに対して１単位の認識処理を行わせて、認識処理の処理パラメータを学習させる、ためのプログラムである。

（７）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成する認識処理部と、前記認識処理部により生成された認識結果を、当該認識結果の正解値に対し、前記認識処理部により生成された認識結果から遠ざかる方向にずれた値に設定した再学習データを作成する学習制御部と、前記学習制御部により作成された再学習データを用いて、前記認識処理部の処理パラメータを学習する学習処理部と、を有する学習装置である。

（８）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、前記認識処理により生成された認識結果を、当該認識結果の正解値に対し、前記認識処理により生成された認識結果から遠ざかる方向にずれた値に設定した再学習データを作成するステップと、前記再学習データを用いて、認識処理の処理パラメータを学習するステップと、を有する学習方法である。

（９）本発明の一態様は、コンピュータに、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、前記認識処理により生成された認識結果を、当該認識結果の正解値に対し、前記認識処理により生成された認識結果から遠ざかる方向にずれた値に設定した再学習データを作成するステップと、前記再学習データを用いて、認識処理の処理パラメータを学習するステップと、を実行させるためのプログラムである。

（１０）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データを複数の属性のうちいずれかに分類する前記認識対象データの認識結果を生成する認識処理部と、前記認識処理部の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成する学習制御部と、前記学習制御部により作成された再学習データを含む学習対象データを用いて、前記認識処理部の処理パラメータを学習する学習処理部と、を有し、前記学習制御部は、前記学習処理部により学習に用いられた認識対象データに含まれる情報のうち、前記学習において前記処理パラメータへの寄与が大きい一部分として、前記認識処理部により前記認識対象データを分類する確信度が高い部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、前記学習処理部は、前記認識処理部が前記学習制御部により作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理部の処理パラメータを学習する、学習装置である。
本発明の一態様は、認識識対象データに対して認識処理を行い、前記認識対象データの評価値としての前記認識対象データの認識結果を生成する認識処理部と、前記認識処理部の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成する学習制御部と、前記学習制御部により作成された再学習データを含む学習対象データを用いて、前記認識処理部の処理パラメータを学習する学習処理部と、を有し、前記学習制御部は、前記学習処理部により学習に用いられた認識対象データに含まれる情報のうち、前記学習において前記処理パラメータへの寄与が大きい一部分として、前記認識対象データのうち他の部分よりも前記認識処理部により出力される評価値を表す部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、前記学習処理部は、前記認識処理部が前記学習制御部により作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理部の処理パラメータを学習する、学習装置である。
本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成する認識処理部と、前記認識処理部の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成する学習制御部と、前記学習制御部により作成された再学習データを含む学習対象データを用いて、前記認識処理部の処理パラメータを学習する学習処理部と、を有し、前記学習制御部は、前記認識対象データを任意サイズの部分に分割し、分割した部分を認識対象データとして前記認識処理部により認識させ、その認識結果を前記認識対象データの同一の位置ごとに統計処理することで、前記学習において前記処理パラメータへの寄与が大きい一部分の位置を判定し、前記学習処理部により学習に用いられた認識対象データに含まれる情報のうち、前記判定した一部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、前記学習処理部は、前記認識処理部が前記学習制御部により作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理部の処理パラメータを学習する、学習装置である。

（１１）本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データを複数の属性のうちいずれかに分類する前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、作成された再学習データを含む学習対象データを用いて、前記認識処理の処理パラメータを学習するステップと、を有し、前記再学習データを作成するステップは、前記認識対象データに含まれる情報のうち、前記学習において前記処理パラメータへの寄与が大きい一部分として、前記認識処理により前記認識対象データを分類する確信度が高い部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習する、学習方法である。
本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの評価値としての前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、を有し、前記再学習データを作成するステップは、前記認識対象データに含まれる情報のうち、前記学習において前記処理パラメータへの寄与が大きい一部分として、前記認識対象データのうち他の部分よりも前記認識処理部により出力される評価値を表す部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習する、学習方法である。
本発明の一態様は、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、を有し、前記再学習データを作成するステップは、前記認識対象データを任意サイズの部分に分割し、分割した部分を認識対象データとして認識処理により認識させ、その認識結果を前記認識対象データの同一の位置ごとに統計処理することで、前記学習において前記処理パラメータへの寄与が大きい一部分の位置を判定し、前記学習するステップにより学習に用いられた認識対象データに含まれる情報のうち、前記判定した一部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習する、学習方法である。

（１２）本発明の一態様は、コンピュータに、認識対象データに対して認識処理を行い、前記認識対象データを複数の属性のうちいずれかに分類する前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、作成された再学習データを含む学習対象データを用いて、前記認識処理の処理パラメータを学習するステップと、を有し、前記再学習データを作成するステップは、前記認識対象データに含まれる情報のうち、前記学習において前記処理パラメータへの寄与が大きい一部分として、前記認識処理により前記認識対象データを分類する確信度が高い部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成させ、前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習させる、ためのプログラムである。
本発明の一態様は、コンピュータに、認識対象データに対して認識処理を行い、前記認識対象データの評価値としての前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、を有し、前記再学習データを作成するステップは、前記認識対象データに含まれる情報のうち、前記学習において前記処理パラメータへの寄与が大きい一部分として、前記認識対象データのうち他の部分よりも前記認識処理部により出力される評価値を表す部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成させ、前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習させる、ためのプログラムである。
本発明の一態様は、コンピュータに、認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、を有し、前記再学習データを作成するステップは、前記認識対象データを任意サイズの部分に分割し、分割した部分を認識対象データとして認識処理により認識させ、その認識結果を前記認識対象データの同一の位置ごとに統計処理することで、前記学習において前記処理パラメータへの寄与が大きい一部分の位置を判定し、前記学習するステップにより学習に用いられた認識対象データに含まれる情報のうち、前記判定した一部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成させ、前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習させる、ためのプログラムである。

本発明の一態様によれば、効果的に学習処理を行うことができる。

図１は、本発明を適用した実施形態の画像認識装置１の機能的な構成を示すブロック図である。 図２は、本発明を適用した画像認識装置１の学習処理および認識処理を示す図である。 図３は、本発明を適用した画像認識装置１において記憶される認識結果データを示す図である。 図４は、本発明を適用した画像認識装置１において、画像の評価値と認識結果としての評価値との関係の例を示す図である。 図５は、本発明を適用した画像認識装置１において、管理端末６０に表示させる表示画面６２ａの一例を示す図である。 図６は、本発明を適用した画像認識装置１における再学習処理の概要を示すブロック図である。 図７は、本発明を適用した画像認識装置１において他の再学習処理の概要を示すブロック図である。 図８は、本発明を適用した画像認識装置１において、再学習を実施する前の認識結果と、再学習を繰り返した後の認識結果とを示すシミュレーション結果を示す。 図９は、本発明を適用した画像認識装置１において再学習のための画像に付加する修正結果を示す図である。 図１０は、本発明を適用した画像認識装置１において画像のうちの一部の領域を抽出して学習する処理の概要を示す図である。

以下、本発明を適用した学習装置、学習方法、およびプログラムを、図面を参照して説明する。

まず、本発明を適用した実施形態の学習装置は、図１に示すような画像認識装置１に備えられる。
図１は、本発明を適用した実施形態の画像認識装置１の機能的な構成を示すブロック図である。画像認識装置１は、認識処理の処理パラメータを学習し、認識処理によって画像を認識するものである。画像認識装置１は、画像の認識を行うことにより、認識結果に基づいて画像を分類させることができる。なお、この実施形態の説明は、画像認識装置１が画像を認識するものについて説明する。

画像認識装置１は、学習画像蓄積部１０と、学習処理部２０と、認識処理部３０と、認識結果管理部４０と、インターフェース部５０と、学習制御部７０とを有する。
画像認識装置１は、ソフトウェアを実行する制御装置および記憶部を有するコンピュータである。画像認識装置１は、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部（不図示）に記憶されているプログラムを実行することによって機能するソフトウェア機能部である。また、画像認識装置１は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってよい。
また、画像認識装置１において情報を記憶する記憶部（１４、３２、４２、７２、７４）は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory），ＲＯＭ（Read Only Memory），またはＲＡＭ（Random Access Memory）等により実現される。また、記憶部には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果、および外部から取得した情報などが記憶される。

学習画像蓄積部１０は、画像変換部１２と、学習画像データベース１４とを有する。
画像変換部１２は、学習処理に使用されるサンプル画像の入力を受け付ける。このサンプル画像は、任意の画像であればよい。画像変換部１２は、例えば、学習素材としての画像を記憶するサーバ装置等（不図示）から複数のサンプル画像が供給される。なお、画像認識装置１は、随時サンプル画像が供給され、サンプル画像が供給されたことに応じて後述する学習処理を行ってもよい。サンプル画像には、当該サンプル画像の属性情報が付加される。属性情報は、サンプル画像の分類を表すクラスＩＤであってもよく、サンプル画像の評価を表す情報であってもよい。
クラスＩＤは、画像の種類を表す。画像の種類は、例えば画像の印象を表す。画像の印象は、例えばミニマル（minimal）調、メランコリー（melancholy）調、ＨＤＲ（High Dynamic Range）調、またはビンテージ（vintage）調といったものである。また、画像の種類は、例えば画像に含まれるオブジェクトであってもよい。このオブジェクトは、例えば、犬、猫、人、自動車、また自転車等である。
実数値は、例えばサンプル画像を見た人間の感性を表す。本実施形態において、人間の感性は、画像を見たときに直感的に判断される評価値を表す。評価値は、例えばＰＧ１２、Ｒ−１５、Ｒ−１８のような、情報の閲覧を制限するために指定された値である。

画像変換部１２は、サンプル画像を学習処理に適した形式に変換する前処理を行う。この前処理は、例えば学習画像の面積変更処理やアスペクト比の調整等である。画像変換部１２は、前処理を施した画像を学習画像として学習画像データベース１４に蓄積する。学習画像データベース１４には、画像変換部１２により変換された画像が学習画像として複数蓄積される。

学習画像データベース１４は、外部から供給された変換前のサンプル画像、および画像変換部１２により変換された学習画像（学習対象データ）を蓄積する。学習画像は、画像に正しい評価値が付加されたデータである。学習画像データベース１４は、画像変換部１２により変換された学習画像が学習処理部２０において学習処理が実行可能なファイルとして記憶される。
学習画像データベース１４に蓄積された学習画像は、学習処理部２０に供給され、学習処理部２０によって認識処理部３０の処理パラメータを学習するために使用される。

学習処理部２０には、学習画像蓄積部１０から出力された学習画像が供給される。学習処理部２０は、学習画像を用いて認識処理を行い、認識結果を得る。学習処理部２０は、学習画像に付加された属性情報が認識結果となるように認識計算部３０の処理パラメータを学習し、学習結果データを生成する。この学習結果データは、認識処理部３０における処理パラメータである。このとき、学習処理部２０は、認識処理を行って認識結果の誤差が最小となるように認識処理の処理パラメータとしての結果を学習結果データとして更新を行う。この学習結果は、認識処理部３０における学習結果データ記憶部３２に記憶される。学習処理部２０は、学習結果を得ることに応じて学習結果データ記憶部３２における学習結果を更新する。これにより、学習処理部２０は、画像変換部１２に入力された学習画像に付加された属性情報を認識結果として出力するように処理を行う。

認識処理部３０は、学習結果データ記憶部３２を有する。学習結果データ記憶部３２における学習結果としての認識処理部３０の処理パラメータは、学習処理部２０によって更新される。
認識処理部３０は、学習処理部２０により得た処理パラメータに基づいて画像の認識処理を行う。認識処理部３０は、認識処理によって画像の属性情報を認識結果として得る。認識処理部３０は、認識処理がされた画像および当該画像の属性情報を認識結果として認識結果管理部４０に出力する。

認識結果管理部４０は、認識結果データ記憶部４２を有する。認識結果データ記憶部４２は、認識処理部３０により出力された認識結果を蓄積する。認識結果管理部４０は、入力画像の属性情報を認識結果としてインターフェース部５０に出力して、インターフェース部５０により認識結果を出力させる。

認識結果管理部４０における認識結果データ記憶部４２には、管理端末６０が接続されていてもよい。管理端末６０は、管理者が操作するユーザインターフェース部６２を有するコンピュータにより実現される。ユーザインターフェース部６２は、ユーザによる操作を受け付ける操作部、およびユーザに各種情報を提示する表示部を有する。管理端末６０は、ユーザインターフェース部６２により受け付けられた操作に基づいて認識結果（属性情報）を修正する。管理端末６０は、修正結果および当該修正結果が付加された画像を学習制御部７０に出力する。管理端末６０から学習制御部７０に出力された修正結果は、再学習データ記憶部７２に蓄積される。
なお、管理端末６０は、画像認識装置１と一体化されたコンピュータにより実現されていてもよく、画像認識装置１とインターネット等の通信回線を介して接続されていてもよい。

認識処理部３０は、任意の画像の認識を実施する場合、外部から認識対象となる画像が供給される。認識計算部３０により未知の画像に対して認識処理を行った結果は、認識結果データ記憶部４２に記憶され、未知の画像と共に管理端末６０に読み込まれる。そして、管理端末６０によって認識結果が修正された場合、未知の画像は、修正結果が付加されて学習制御部７０に供給される。

学習制御部７０は、再学習データ記憶部７２および繰り返し学習データ記憶部７４を有する。学習制御部７０には、認識結果管理部４０から出力された認識結果および管理端末６０から出力された修正結果が供給される。学習制御部７０は、認識処理後の画像に修正結果を付加して、再学習データ記憶部７２に記憶させる。再学習データ記憶部７２は、インターフェース部５０から供給される修正結果が付加された画像である再学習データ（学習対象データ）を蓄積する。すなわち、再学習データは、認識処理部３０の認識結果が付加された画像に対し、当該認識結果としての評価値が正しい評価値に修正されたデータである。

学習制御部７０は、繰り返し学習データを作成する。学習制御部７０は、再学習データ記憶部７２に記憶された再学習データと、学習画像データベース１４に記憶された学習画像とを組み合わせて、繰り返し学習データ（学習対象データ）を作成する。この繰り返し学習データは、繰り返し学習データ記憶部７４に記憶される。

学習制御部７０は、認識処理の処理パラメータを学習させるためのデータとして、再学習データと繰り返し学習データの何れかを学習処理部２０に出力する。また、学習制御部７０は、再学習データを用いて学習処理をさせる回数を制御してもよい。さらに、学習制御部７０は、学習処理毎に、学習処理に使用する画像の組み合わせを変更してもよい。さらに、学習制御部７０は、修正結果を補正してもよい。さらに、学習制御部７０は、画像に含まれる一部の画像を抽出して再学習データを作成してもよい。

インターフェース部５０は、画像認識装置１の外部の装置と通信を行う通信インターフェースにより実現される。インターフェース部５０は、認識結果を認識結果管理部４０から入力して、当該認識結果を管理端末６０に出力する。インターフェース部５０は、管理端末６０から修正結果が供給されたことに応じて、修正結果を学習制御部７０に出力する。

図２は、本発明を適用した画像認識装置１の学習処理および認識処理を示す図である。学習処理部２０には、属性情報が付加された学習画像が複数供給される。認識処理部３０は、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network；CNN)により実現される。畳み込みニューラルネットワークは、中間層としての複数の畳み込み層（フィルタ部）と、出力層とを有する。畳み込み層は、それぞれ、例えば、入力されたデータにフィルタリング（乗算処理）を行い、フィルタリング後の画像（特徴）にバイアス値を加算する。畳み込みニューラルネットワークは、画像データを入力し、中間層によりフィルタ係数に基づくフィルタ処理を行って、出力層により認識結果として属性情報を出力する。フィルタ部は、処理パラメータとしてフィルタ係数が設定される。

なお、学習処理部２０による学習手法は、畳み込みニューラルネットワークの処理パラメータの設定であってもよく、その他の機械学習手法でもよく、学習結果データ記憶部３２には、学習手法に応じた学習結果が記憶される。認識処理部３０は、学習結果データ記憶部３２に記憶された学習結果に基づいて画像の属性情報を得ることとなる。

属性情報としてクラスＩＤの算出に畳み込みニューラルネットワークを用いる場合、畳み込みニューラルネットワークは、画像の入力に対して、予め設定された複数のクラスＩＤののうち、正解となるクラスＩＤの確信度が最も高くなるように算出するように学習される。
属性情報として評価値の算出に畳み込みニューラルネットワークを用いる場合、畳み込みニューラルネットワークは、画像の入力に応じて一次元量である評価値を出力するよう学習される。学習処理部２０は、評価値が「１」が付加された学習画像が供給されたことに対し、評価値が「１」の認識結果が得られるように畳み込み層における処理パラメータを更新する。このとき、学習処理部２０は、学習画像に付加された評価値と畳み込みニューラルネットワークから出力された評価値との誤差を、ユークリッド誤差等を用いて最小となるように、誤差逆伝搬法を用いて回帰を行う。

認識処理部３０には、認識対象データとして画像が供給される。認識処理部３０は、畳み込みニューラルネットワークに画像を入力し、畳み込みニューラルネットワークから出力された属性情報として出力する。認識処理部３０は、画像に属性情報を付加し、属性情報を付加した画像を認識結果データ記憶部４２に記憶する。

図３は、本発明を適用した画像認識装置１において記憶される認識結果データを示す図である。認識結果データ記憶部４２には、属性情報に区分して複数のフォルダが設定される。属性情報が評価値である場合は、属性情報は、評価値の範囲に基づいて複数のフォルダに区分されて格納される。また、属性情報がクラスＩＤである場合、属性情報は、確信度が最も高いフォルダに区分されて格納される。なお、認識結果データは、フォルダに区分している例を説明したが、フォルダに区分しなくてもよい。

また、認識結果管理部４０は、認識結果の正解率を記憶するグラフデータフォルダを認識結果データ記憶部４２に格納してもよい。認識結果管理部４０は、認識結果データ記憶部４２に格納された属性情報と管理端末６０により修正された属性情報とを比較する。認識結果管理部４０は、双方の属性情報が一致する場合には正解であると判定し、双方の属性情報が一致していない場合には誤答であると判定する。認識結果管理部４０は、比較結果を蓄積し、属性情報ごとに正解率のグラフを作成する。認識結果管理部４０は、例えば図４に示すようなグラフデータを作成する。図４は、本発明を適用した画像認識装置１において、画像の評価値と認識結果としての評価値との関係の例を示す図である。

図５は、本発明を適用した画像認識装置１において、管理端末６０に表示させる表示画面６２ａの一例を示す図である。管理端末６０は、インターフェース部５０を介して認識結果データ記憶部４２から認識結果データを読み込み、認識処理がされた処理済み画像１００と認識結果とを表示させる。これにより、管理端末６０は、管理者に処理済み画像に対する認識結果を提示する。さらに、管理端末６０は、管理者により認識結果の修正操作を受け付けるための入力ボタン１０４を表示する。管理端末６０は、修正操作を受け付けた場合、認識結果と修正結果（修正された属性情報）とを比較し、認識結果と修正結果とが一致していない場合には学習制御部７０に修正結果を送信する。図５は、処理済み画像１００の評価値が「３」から「４」に修正された様子を示している。

図６は、本発明を適用した画像認識装置１における再学習処理の概要を示すブロック図である。管理端末６０には、認識結果データ記憶部４２における認識結果データが読み込まれる。管理端末６０は、例えば図５に示したような表示画面６２ａを表示させ、修正結果を入力する操作を促す。学習制御部７０は、管理端末６０に修正結果が入力された場合に、認識結果データから修正された処理済み画像を抽出する。このとき、学習制御部７０は、修正結果を入力する操作を受け付けたことに応じて、処理済み画像を認識結果データ記憶部４２からダウンロードし、ダウンロードした処理済み画像に修正結果を付加する。学習制御部７０は、修正結果のフォルダごとに、修正結果が付加された処理済み画像を、再学習画像（再学習データ（学習対象データ））として格納する。学習制御部７０は、例えば、処理済画像の認識結果画像の評価値が「３」であった画像に対して修正結果としての評価値「１」が付加された画像を、再学習データとして再学習データ記憶部７２における修正結果（１）のフォルダに格納する。

学習制御部７０は、再学習データ記憶部７２に格納された再学習データと繰り返し学習データの何れかの学習対象データを学習処理部２０に供給する。これにより、学習処理部２０は、処理済み画像を入力した場合に修正結果を出力するように認識処理部３０の処理パラメータを学習する。すなわち、学習制御部７０は、属性が誤認識された画像を用いて再学習を行わせる。また、学習制御部７０は、属性が誤認識された画像のみを追加して認識処理部３０の処理パラメータを学習させることにより、未知の画像のすべてを学習することなく、学習に使用する画像を少なくすることでき、学習時間を短くできる。

図７は、本発明を適用した画像認識装置１において他の再学習処理の概要を示すブロック図である。
学習制御部７０は、第１の学習処理において複数の学習対象データから複数の学習対象データ群を設定して学習処理部２０に出力し、第２の学習処理において複数の学習対象データから第１の学習処理とは異なる組み合わせで複数の学習対象データ群を設定して学習処理部２０に出力する。学習処理部２０は、学習制御部７０から入力された複数の学習対象データ群のそれぞれに対して１単位の認識処理を行って、１単位の認識処理により得られた認識結果のそれぞれに基づいて、認識処理部３０の処理パラメータを学習する。

学習対象データ群には、学習画像データベース１４に記憶された学習画像と、再学習データとを組み合わせた画像群が含まれる。学習画像は、画像に正しい評価値が付加されたデータである。再学習データは、認識処理部３０の認識結果が付加された画像に対し、当該認識結果としての評価値が正しい評価値に修正されたデータである。

具体的には、学習制御部７０は、学習画像データベース１４に記憶された複数の学習画像から学習対象データとしての画像を取り出すと共に、再学習データ記憶部７２に記憶された複数の再学習データから学習対象データとしての画像を取り出す。学習制御部７０は、取り出した画像を繰り返し学習データ記憶部７４に記憶させる。この結果、学習制御部７０は、繰り返し学習データ記憶部７４に、繰り返し学習画像群７４１、７４２、７４３を格納する。学習制御部７０は、学習画像および再学習データをランダムに取り出す、または、取り出した学習データおよび再学習データをシャッフルして、それぞれの繰り返し学習画像群７４１、７４２、７４３を作成する。
なお、学習制御部７０は、それぞれの繰り返し学習画像群７４１、７４２、７４３のそれぞれに学習画像および再学習データの全てを格納し、学習対象となるデータの順序が異なるようにしてもよい。

繰り返し学習画像群７４１、７４２、７４３は、それぞれ異なる組み合わせの画像群＃１、＃２、＃３を有している。繰り返し学習画像群７４１、７４、７４３におけるそれぞれの画像群＃１、＃２、＃３は、他の画像群とも異なる組み合わせの画像が含まれている。
学習制御部７０は、繰り返し学習データ記憶部７４から繰り返し学習画像群７４１の画像群＃１、＃２、＃３を読み出し、画像群＃１、＃２、＃３のそれぞれを用いて学習処理部２０によって１単位ごとに学習処理を実施させる。これにより、学習処理部２０は、画像群＃１、＃２、＃３ごとの認識処理が終了する度に、認識処理部３０の処理パラメータを学習する。同様に、学習処理部２０は、繰り返し学習画像群７４２の画像群＃１、＃２、＃３および繰り返し学習画像群７４３の画像群＃１、＃２、＃３のそれぞれを用いて認識処理部３０の処理パラメータを学習させる。

これにより、学習制御部７０は、学習画像の数が少なくても、繰り返し学習画像群に含まれる学習画像および再学習データ（学習対象データ）の組み合わせを変更して繰り返して認識処理部３０の処理パラメータを多数回学習させる。これにより、画像認識装置１は、認識処理部３０の認識結果の精度を高めることができる。図８は、本発明を適用した画像認識装置１において、再学習を実施する前の認識結果と、再学習を繰り返した後の認識結果とを示すシミュレーション結果を示す。図８（ａ）中の点線で示すように、再学習前の認識結果には正解値よりも大幅にずれた出力値が含まれることに対し、図８（ｂ）中の点線で示すように、再学習前の認識結果は、正解値から大幅にずれた値を出力することを抑制することができる。

図９は、本発明を適用した画像認識装置１において再学習のための画像に付加する修正結果を示す図である。管理端末６０は、例えば図９に示すように認識処理部３０により処理された認識結果が正解値よりも大きく乖離していた場合に、修正結果を補正する。学習制御部７０は、修正結果を、正解値に対し、認識処理部３０により処理された認識結果から遠ざかる方向にずれた値に補正する。具体的には、学習制御部７０は、下記の式に従って、修正結果を補正する。
補正後の修正結果＝｛（正解値）−（出力値）｝×定数＋（正解値）
学習制御部７０は、修正値と正解値とを比較して、自動的に修正結果を補正してもよい。また、学習制御部７０は、ユーザインターフェース部６２の操作に基づいて、正解値から遠ざかる方向に修正結果を補正させてもよい。さらに、修正結果の補正は、管理端末６０内部で実施してもよく、学習制御部７０において実施してもよい。

図１０は、本発明を適用した画像認識装置１において画像のうちの一部の領域を抽出して学習する処理の概要を示す図である。以下の説明は、学習画像１１０の一部の領域を抽出する処理を説明するが、再学習データについても適用可能である。
認識処理部３０は、学習画像１１０に付加された認識結果を得るように処理パラメータが学習される。この学習画像１１０には、学習において認識処理部３０の処理パラメータへの寄与が大きい一部分が含まれる。学習において認識処理部３０の処理パラメータへの寄与が大きい一部分とは、認識処理部３０により分類される確信度が高い領域、認識処理部３０により出力される評価値を最もよく表す領域である。学習制御部７０は、学習画像１１０を学習した畳み込みニューラルネットワークを用いて、学習画像１１０のうち処理パラメータへの寄与が大きい一部分である画像部分１１２を判定し、画像部分１１２を再学習画像１１４（学習対象データ）として抽出する。

具体的には、学習画像１１０をさまざまな大きさの画像に分割した上で分割した画像を認識対象画像として認識処理部３０により認識させ、その結果である確信度や評価値を同一の位置ごとに足し合わせ平均をとる等の統計処理を行うことで、画像部分１１２の位置を判定することができる。また、認識処理部３０は、人が見て寄与が大きいと判定できる部分を指定して抽出してもよい。これにより、認識処理部３０は、画像部分１１２と、画像部分１１２以外とを分割し、分割したそれぞれを認識処理する。

学習制御部７０は、認識処理部３０により分割された画像部分１１２を再学習データとしての再学習画像１１４として再学習データ記憶部７２に記憶させる。これにより、学習制御部７０は、認識結果に寄与しないノイズとなる可能性がある画像部分を、再学習データから取り除く。学習制御部７０は、抽出した再学習画像１１４に学習画像１１０の属性情報を付加し、再学習データ（学習対象データ）として再学習データ記憶部７２に格納し、学習処理部２０に供給する。これにより、学習処理部２０は、再学習画像１１４を認識した場合に学習画像１１０の属性情報を認識結果として出力するように認識処理部３０の処理パラメータを学習できる。
この結果、画像認識装置１によれば、既に学習処理に使用した画像から学習に効率的な領域を抽出して、認識処理部３０の処理パラメータの学習精度を高めることができる。すなわち、この画像処理装置１によれば、正しい属性情報が付加された学習済の画像のうち、当該正しい属性情報に合致する属性の画像部分１１２を抽出することにより高い精度で認識処理に寄与の高い画像を抽出することができる。

以上説明した本発明を適用した画像認識装置１は、認識処理部３０の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成し、再学習データを含む学習対象データを用いて認識処理部３０の処理パラメータを学習するので、既に学習されたデータを再利用して学習に要する時間を短縮し、認識精度を向上することができる。

また、画像認識装置１は、学習制御部７０により、第１の学習処理において、複数の学習対象データから複数の学習対象データ群を設定して学習処理部２０に出力し、第２の学習処理において、複数の学習対象データから第１の学習処理とは異なる組み合わせで複数の学習対象データ群を設定して学習処理部２０に出力し、学習処理部２０により、複数の学習対象データ群のそれぞれに対して１単位の認識処理を行って、認識処理部３０の処理パラメータを学習する。これにより、画像認識装置１によれば、異なるなる組み合わせの複数の学習対象データを用いて、複数回、認識処理部３０の処理パラメータを学習するので、学習のためのデータが少なくても、正解値から大幅にずれる認識結果を出力することを抑制することができ、認識処理部３０の認識結果の精度を高くすることができる。

また、画像認識装置１によれば、学習に用いられた学習対象データに含まれる情報のうち、認識処理部３０の処理パラメータへの寄与が大きい一部分を抽出し、抽出した学習対象データに認識結果を付加した再学習データを作成し、再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、認識処理部３０の処理パラメータを学習するので、認識処理部３０の認識結果にとってノイズとなる情報を取り除いて再学習を行うことができ、効率的に認識処理部３０の認識精度を高くすることができる。

さらに、画像認識装置１によれば、認識結果を修正した修正結果の入力を受け付け、認識対象データに修正結果を付加した再学習データを作成し、再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された修正結果を認識結果として出力するように、認識処理部３０の処理パラメータを学習する。この結果、画像認識装置１によれば、誤認識された認識結果に基づいて再学習を行うことでき、効率的に短時間で認識処理部３０の認識精度を高くすることができる。

さらに、画像認識装置１によれば、認識処理部３０により処理された認識結果から遠ざかる方向にずれた値に修正するので、誤った認識結果を出力した場合に認識処理部３０の処理パラメータを大きく変更するよう学習することができる。この結果、画像認識装置１によれば、認識処理部３０により出力する認識結果の精度を効果的に高くすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

また、上述した画像認識装置１の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…画像認識装置、１０…学習画像蓄積部、１２…画像変換部、１４…学習画像データベース、２０…学習処理部、３０…認識処理部、３２…学習結果データ記憶部、４０…認識結果管理部、４２…認識結果データ記憶部、５０…インターフェース部、６０…管理端末、６２…ユーザインターフェース部、７０…学習制御部、７２…再学習データ記憶部

Claims (3)

1. 認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成する認識処理部と、
   前記認識処理部の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成する学習制御部と、
   前記学習制御部により作成された再学習データを含む学習対象データを用いて、前記認識処理部の処理パラメータを学習する学習処理部と、を有し、
   前記学習制御部は、前記認識対象データを任意サイズの部分に分割し、分割した部分を認識対象データとして前記認識処理部により認識させ、その認識結果を前記認識対象データの同一の位置ごとに統計処理することで、前記学習において前記処理パラメータへの寄与が大きい一部分の位置を判定し、前記学習処理部により学習に用いられた認識対象データに含まれる情報のうち、前記判定した一部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、
   前記学習処理部は、前記認識処理部が前記学習制御部により作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理部の処理パラメータを学習する、
   学習装置。
2. 認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、
   認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、
   前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、を有し、
   前記再学習データを作成するステップは、前記認識対象データを任意サイズの部分に分割し、分割した部分を認識対象データとして認識処理により認識させ、その認識結果を前記認識対象データの同一の位置ごとに統計処理することで、前記学習において前記処理パラメータへの寄与が大きい一部分の位置を判定し、前記学習するステップにより学習に用いられた認識対象データに含まれる情報のうち、前記判定した一部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成し、
   前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習する、
   学習方法。
3. コンピュータに、
   認識対象データに対して認識処理を行い、前記認識対象データの認識結果を生成するステップと、
   認識処理の処理対象となった認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成するステップと、
   前記再学習データを含む学習対象データを用いて、認識処理の処理パラメータを学習するステップと、
   を実行させ、
   前記再学習データを作成するステップは、前記認識対象データを任意サイズの部分に分割し、分割した部分を認識対象データとして認識処理により認識させ、その認識結果を前記認識対象データの同一の位置ごとに統計処理することで、前記学習において前記処理パラメータへの寄与が大きい一部分の位置を判定し、前記学習するステップにより学習に用いられた認識対象データに含まれる情報のうち、前記判定した一部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成させ、
   前記学習するステップは、前記作成された再学習データに含まれる学習対象データに対して認識処理を行った場合に当該学習対象データに付加された認識結果を出力するように、前記認識処理の処理パラメータを学習させる、
   ためのプログラム。

Images