JP6919990B2 - オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面 - Google Patents

Description

本発明は、物体や人物等の対象物の認識・学習技術に関する。

対象物の認識・学習技術において、対象物を認識するための学習用サンプルが不十分な場合、擬似的に生成しようとする方式がいくつ検討されている。例えば、特許文献1にあるような、ラベルが付与された学習用入力データから観測できない情報を擬似的に生成するような変換方式がある。また、学習用のデータからデータを構成する部品やパターンを抽出し、擬似データを合成することによりサンプル数を追加する方式や、学習用の実データ（例えば、音声）が存在しない場合、他のドメインの入力データ（例えば、文字）から生成する方式が検討されている。

一方、特許文献２にあるように、学習サンプルは追加しながら、学習モデルをオンラインで更新することで、不十分な学習用サンプルをカバーする方式が検討されている。

特開２０１６−１８６５１５号公報 特開２００８−２０４１０２号公報

学習用サンプルが不十分な場合の認識精度の向上には、上記特許文献1では入力した学習データに対して、擬似的に情報を生成するため、入力データ分の生成情報しか活用できない。また、学習用のデータからデータを構成する部品やパターンを抽出し擬似データを合成することによりサンプル数を追加する方式では、データを構成する部品やパターンを抽出し擬似データを合成するため、より複雑なデータ構成における抽象的なパターンからリアルに近いデータサンプルへの合成が困難である。それに加えて、上記特許文献1には、単純にサンプルや情報が増えるため、生成されたサンプルや情報が学習に貢献があるとは限らない。認識モデルに対して、認識上困難なサンプルあるいは認識上不確定性が高いサンプルへの学習は、モデルの認識性能の向上に対する貢献が大きい。また、生成されたサンプルは、既存学習情報と類似する場合、学習への貢献が小さいか無い可能性もある。そのため、単純な生成過程によるサンプル数の増加には、効率的、かつ効果的な学習ができない課題があった。それと同様に、特許文献２にも、新たに獲得した学習サンプルをオンラインでモデルを更新するときに追加での学習サンプルを一律に学習するため、上記課題が存在した。

本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、オンライン認識装置であって、入力されたデータの特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づき識別結果を予測する識別結果予測部と、予測した識別結果からラベリングの必要性を判定する予測結果評価部と、判定結果からオンラインで入力データに正解を付与する正解付与部と、正解付き入力データに基づき生成器のパラメータを更新する生成器更新部と、更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成する擬似学習データ生成部と、正解付き入力データと擬似学習データに基づき予め用意した識別器のパラメータをオンラインで更新する識別器更新部と、更新された識別器を新たな識別結果予測部として更新する。

本発明によれば、学習サンプルが不十分な場合でも、認識精度を向上させることが可能となるオンライン認識装置、オンライン認識方法、及びそれに用いる設定画面を提供できる。

実施例１におけるオンライン認識装置の機能ブロック構成図である。 実施例１における予測結果評価部の構成例を示す機能ブロック図である。 実施例１における正解付与部の処理方法を示す概念図である。 実施例１におけるオンライン認識装置の処理フロー図である。 実施例１における生成器／識別器の初期化方法の機能ブロック構成図である。 実施例１における生成器構築部の構成例を示す機能ブロック図である。 実施例１における生成器／識別器初期化方法の処理フロー図である。 実施例１におけるオンライン認識装置のハード構成例とその処理内容を示す図である。 実施例２におけるオンライン認識装置の機能ブロック構成図である。 実施例３におけるオンライン認識装置の機能ブロック構成図である。 実施例３におけるオンライン認識装置の擬似学習データ生成用設定ＧＵＩである。

以下、本発明の実施例について図面を用いて説明する。

図１は本実施例におけるオンライン認識装置の機能ブロック構成図を示している。図１において、オンライン認識装置は、識別器用特徴量抽出部１０２、識別結果予測部１０３、予測結果評価部１０４、正解付与部１０５、生成器指示変数生成部１０６、生成器更新部１０７、擬似学習データ生成部１０８、生成サンプル数設定部１０９、生成サンプル記憶部１１０、擬似学習データ選別部１１１、識別器更新部１１２を備える。

入力データ１０１は可視カメラ、ステレオカメラ、ＩＲカメラ、放射線（Ｘ線）照射装置など入力手段から得られた画像データを用いることが考えられる。識別器はサポートベクターマシーン（SVM）やニューラルネットワーク等を用いて構成すればよい。生成器は隠れマルコフモデル（HMM）やニューラルネットワーク等を用いて構成すればよい。擬似学習データは入力データと同じドメインに属するデータとなる。

識別器用特徴量抽出部１０２は受け取った入力データから識別器用特徴量を抽出する。識別器用特徴量は識別器用特徴量抽出部１０２で抽出され、対象データの内容を識別することが可能な情報として抽出される。

識別結果予測部１０３は識別器用特徴量抽出部１０２から受け取った識別器用特徴量をもとに物体の内容を識別する。その識別結果をベクトルとして識別情報を出力する。出力された識別情報は、識別対象の識別ラベル（以下クラス情報）と、所属するクラス情報の所属度合いを示す確率、エントロピー（不確定さの尺度）などである。

予測結果評価部１０４は、識別結果予測部１０３から受け取った識別情報をもとに入力データの識別不確定さを計算し、その結果をもとに入力データは学習サンプルとして追加すべきかどうかを総合的に評価する。学習サンプルとして追加すべき条件を満たす入力データに対して正解付与部１０５によって正解クラスのラベルが付与される。

生成指示変数生成部１０６は正解付与部１０５から受け取ったクラス情報を指示変数へ変換する。変換された変数はone hot vectorなどが挙げられる。生成器更新部１０７は付与された正解とそれに対応する入力データを用いて、生成器のパラメータを更新する。擬似学習データ生成部１０８は生成器更新部１０７から受け取った生成器と生成指示変数生成部１０６から受け取った指示変数をもとに正解付与部１０５から出力したクラス情報を持つ擬似学習データを生成サンプル数設定部１０９から設定された数までサンプルを生成し、および擬似学習データ生成サンプルと実サンプルとの尤度情報を生成サンプル記憶部１１０に格納する。

擬似学習データ選別部１１１は、生成サンプル記憶部１１０に蓄積された生成サンプルの尤度がランキングｋまでのサンプルを選出し、選出サンプルのリストを出力する。ｋはユーザが手動で入力するが、過去のデータから推定する方式を用いてもよい。識別器更新部１１２は擬似学習データ選別部１１１から受け取った擬似学習データおよび正解クラスが付与された入力データを用いて、識別器のパラメータを更新し、識別結果予測部１０３に出力する。

図２は予測結果評価部１０４の構成例を示す機能ブロック図である。図２において、不確定性評価部２０１は識別結果予測部１０３から受け取った識別情報の認識上の不確定性を計算する。この不確定性から評価条件を算出する。例えば、評価条件としては、最も推定される可能性が高いクラスの確率が高くても０．５しかない、また、最も推定される可能性が高いクラスと２番目に推定される可能性が高いクラスとの確率が近い、また、エントロピーが大きいなどの評価条件が挙げられる。評価条件を満たすサンプルがラベリング候補サンプルとなり、アンサンブル評価部２０４で再度評価する。

情報密度計算部２０２は、学習サンプルとの類似性を計算し、その平均を情報密度情報として出力する。平均尤度計算部２０３は、受け取った識別情報から認識器の予測分布との距離を計算し、その距離の値を平均尤度として出力する。

アンサンブル評価部２０４は識別情報が不確定性評価部２０１で設定した条件を満たした場合、情報密度計算部２０２から受け取った情報密度および平均尤度計算部２０３から受け取った平均尤度をもとに再度評価を行い、例えば、用意済みの閾値と比較するなどして、最終的に入力された識別情報を持つ入力データを正解付与すべきかどうかを判定する。

図３は正解付与部１０５の処理方法を示す概念図である。図３においては、正解付与部１０５はクラウドソーシングの方式で行う。Ａはラベラーの集団を示す。ラベラーたちはオンラインで並列的に正解クラスと正解領域の付与作業を行う。ラベラーは自動化ツールや実際の人でも良い。Ｍは識別結果予測部１０３からの推定クラスを有する予測結果の集団を示す。ラベラーｊは予測結果ｉにｌ_ｉｊの正解情報を付与する。正解情報は、正解クラス、正解領域とラベラーjの信頼性と予測結果iの信頼性から構成されるベクトルである。クラス推定部３０１は、ｌ_ｉｊを総合的に評価する評価関数となり、最終的に最適なクラス情報と正解対象の正解領域を出力する。

図４は本実施例におけるオンライン認識装置の処理フロー図である。以下、図１の機能ブロック構成図を参照して説明する。図４において、まず、ステップＳ４０１で、入力データ取得処理を行う。そして、ステップＳ４０２で、識別器用特徴量抽出部１０２によって識別器用特徴量を抽出し、ステップＳ４０３で、識別結果予測部１０３によって識別器用特徴量をもとに物体の内容を識別する。そして、ステップＳ４０４で、予測結果評価部１０４により予測結果の評価処理を行い、ステップＳ４０５で、学習サンプルとして追加すべき評価条件を満たすかどうかの判定を行い、満たすのであれば、ステップＳ４０６で、入力データに対して正解付与部１０５によって正解クラスのラベルを付与する正解付与処理が行われる。評価条件を満たさない場合は、ステップＳ４０１に戻る。

次に、ステップＳ４０７で、生成器更新部１０７により付与された正解とそれに対応する入力データを用いて生成器のパラメータを更新する生成器更新処理を行う。そして、ステップＳ４０８で、データリスト生成処理として、生成器指示変数生成部１０６で指示変数を生成し、擬似学習データ生成部１０８で生成器更新部１０７から受け取った生成器と指示変数をもとに正解付与部１０５から出力したクラス情報を持つ擬似学習データを生成サンプル数設定部１０９から設定された数までサンプルを生成し、擬似学習データ生成サンプルと実サンプルとの尤度情報を生成サンプル記憶部１１０に格納し、リスト化する。

次に、ステップＳ４０９で、擬似学習データ選別部１１１により生成サンプル記憶部１１０に蓄積された生成サンプルの尤度がランキングｋまでのサンプルを選出する擬似学習データ選別処理を行い、ステップＳ４１０で、正解情報と正解クラスが付与された入力データを取得し、ステップＳ４１１で、擬似学習データ選別部１１１から受け取った擬似学習データおよび正解クラスが付与された入力データを用いて、識別器のパラメータを更新する識別器更新処理を行なう。
以上が1つの入力データに対しての処理であり、入力データがある限りこれを繰り返し実行する。

図５は生成器/識別器の初期化方法を示す機能ブロック図である。図５において、まず、正解付きデータ記憶部５０１から学習データ５０２を取得する。識別器用特徴量抽出部５０３は学習データに対する識別器用特徴量を抽出する。識別器初期化部５０４は識別器用特徴量抽出部５０３からの識別器用特徴量を用いて、識別器のパラメータを学習し、初期化する。そして、初期化された識別器を識別器記憶部５０５に格納する。生成器構築部５０６は、学習データと識別器記憶部５０５から受け取った識別器を用いて生成器のパラメータを学習し、生成器を初期化する。そして、初期化された生成器が生成器記憶部５０７に格納される。

生成器指示変数生成部５０８は学習データに付与された正解クラスをもとにベクトル構造となる指示変数を生成する。データ生成部５０９は生成器指示変数生成部５０８と生成器記憶部５０７から受け取った生成器をもとに事前に決められた生成サンプル目標数まで学習データと同様なクラスを有する擬似データを生成し、生成データ記憶部５１０に格納する。

識別器再構築部５１１は格納された生成データ記憶部５１０から正解クラス付きの生成データをもとに識別器のパラメータを更新し、識別器を再構築する。識別器評価部５１２は識別器再構築部５１１から更新された識別器の性能を評価し、識別器記憶部５０５に格納された識別器の性能との差が閾値より大きい場合は、識別器記憶部にある識別器と差し替えることで、性能のよい識別器に更新する。

図６は生成器構築部５０６の構成例を示す機能ブロック図である。生成器が識別に困難や識別不確定性が高いデータを生成するための構成である。図６において、生成器学習部６０１は学習データをもとに生成器のパラメータを初期化する。擬似データ生成部６０２は初期化された生成器を用いて、擬似データを生成する。類似度判定損失計算部６０３は入力された擬似データを識別器でその擬似データと実データを分類し、分類精度を実データとの類似度損失値として出力する。サンプリング評価損失計算部６０４は識別器のもとに計算された識別情報で擬似データに対しての識別不確定性を計算し、その不確定性を評価損失値として出力する。損失評価部６０５は類似度損失値と評価損失値の和を取り、生成器学習部６０１へフィードバックする。生成器は損失評価部６０５から受けった損失情報を最小化するように生成器のパラメータを更新する。最小化するような更新方法は最小二乗法などが挙げられる。

図7は、本実施例における生成器/識別器の初期化方法の処理フロー図である。以下、図５の機能ブロック構成図を参照して説明する。図７において、まず、ステップＳ７０１で、正解付きデータ記憶部５０１から学習データ５０２を取得する学習データ取得処理を実行する。次に、ステップＳ７０２で、識別器用特徴量抽出部５０３は学習データに対する識別器用特徴量を抽出する識別器用特徴量抽出処理を実行する。そして、ステップＳ７０３で、識別器初期化部５０４は識別器用特徴量を用いて、識別器のパラメータを学習し、初期化する識別器初期化処理を実行する。そして、ステップＳ７０４で、初期化された識別器を識別器記憶部５０５に格納する識別器取得処理を実行する。

次に、ステップＳ７０５で、生成器構築部５０６は学習データと識別器記憶部５０５から受け取った識別器を用いて生成器のパラメータを学習し、生成器を初期化する生成器構築処理を実行する。そして、ステップＳ７０６で、初期化された生成器を生成器記憶部５０７に格納する識別器取得処理を実行する。

次に、ステップＳ７０７で、生成器指示変数生成部５０８は学習データに付与された正解クラスをもとにベクトル構造となる指示変数を生成する生成指示変数生成処理を実行する。そして、ステップＳ７０８で、データ生成部５０９は受け取った生成器をもとに事前に決められた生成サンプル目標数まで学習データと同様なクラスを有する擬似データを生成し、生成データ記憶部５１０に格納するデータ生成処理を実行する。

次に、ステップＳ７０９で、識別器再構築部５１１は格納された生成データ記憶部５１０から正解クラス付きの生成データをもとに識別器のパラメータを更新し、識別器を再構築する識別器再構築処理を実行する。そして、ステップＳ７１０で、識別器評価部５１２は識別器再構築部５１１から更新された識別器の性能を評価し、識別器記憶部５０５に格納された識別器の性能との差が閾値より大きい場合は、識別器記憶部にある識別器と差し替える。

図８は本実施例におけるオンライン認識装置のハード構成例とその処理内容を示す図である。図８において、オンライン認識装置は、入力データ収集装置８０１、演算装置８０２、記録装置８０３とユーザインターフェース８０４を備える。また、ユーザインターフェース８０４は表示装置と入力装置で構成される。演算装置８０２では記録装置８０３に保存されているI/O処理命令群から必要な情報の呼び出しと書き込みを実行する。

演算装置８０２の識別器用特徴量抽出処理、識別結果予測処理、予測結果評価処理、生成指示変数生成処理、生成器更新処理、擬似学習データ生成処理、擬似学習データ選別処理、識別器更新処理は、それぞれ、図1の識別器用特徴量抽出部１０２、識別結果予測部１０３、予測結果評価部１０４、生成器指示変数生成部１０６、生成器更新部１０７、擬似学習データ生成部１０８、擬似学習データ選別部１１１、識別器更新部１１２に対応した処理を実行する。

また、ユーザインターフェース８０４の正解付与処理、生成指示変数設定処理と生成サンプル数設定処理は、それぞれ、図1の正解付与部１０５、生成器指示変数生成部１０６、生成サンプル数設定部１０９に対応した処理を実行する。

生成指示変数設定処理は生成器が擬似サンプルを生成するため、手動で生成サンプルの属性を調整する場合の処理である。演算装置８０２にある予測結果評価処理から記録装置８０３に保存する予測結果評価情報を基に正解付きの必要性を判断し、必要な場合、ユーザインターフェース８０４にある正解付与処理を行い、付けられた正解情報を記録装置８０３に正解クラス情報として保存する。また、生成指示変数設定処理と生成サンプル数設定処理で設定した情報を記録装置８０３の生成指示変数として保存し、擬似学習データ生成処理を呼び出し、擬似学習データを生成し、記録装置８０３に格納する。

擬似学習データ選別処理は擬似学習データから実在サンプルとの尤度（データのリアリティ）が高いデータを手動もしくは自動で選別し、選別された擬似学習データを記録装置８０３に格納する。識別器更新処理は選別擬似学習データを呼び出し、識別器のパラメータを学習し、記録装置８０３に識別器パラメータ情報として保存する。

以上のように、本実施例は、学習サンプルを生成する生成器は、認識器に対して、認識上困難や不確定性が高いサンプル、あるいは学習サンプルにないパターンのデータを生成するように構築されたため、学習データが不十分な環境でも効率的かつ効果的な学習を行うことが可能となる。それに加えて、テスト環境から得た識別困難なラベルなしサンプルを選別し、効率的かつ正確なラベルが付与された前記サンプルを生成器と認識器両方オンラインで更新することで、認識器の性能が効果的に向上された一方、更新された生成器からテスト環境に合わせるサンプルを生成することも可能となる。

これにより、学習サンプルが不十分な場合でも、認識精度を向上させることが可能となるオンライン認識装置、及びオンライン認識方法を提供できる。

図９は本実施例におけるオンライン認識装置の機能ブロック構成図である。本実施例は、カメラに映る人物の検出および属性認識の例について説明する。

図９において、図１と同一機能は同じ符号を付し、その説明は省略する。図９において、生成器指示変数生成部赤外線、ステレオ、一般可視光カメラなどの撮影装置９０１から撮影した入力画像を人物検出・識別部９０２に入力する。人物検出・識別部９０２は、図１において、識別器用特徴量抽出部１０２、識別結果予測部１０３として構成される。人物検出・識別部９０２は画像に映る人物の画像内の位置を検出し、関連属性を識別する。人物関連属性は検出した人物の年齢、性別、服装、行動、向き方向など例として挙げられる。検出した人物位置と属性のスコアを予測結果評価部１０４に入力し、正解付与の必要性を判断する。また、予測した結果を参考として予測結果提示部９０３で表示する。ラベラーによる正解付きが必要と判断された場合、入力画像を正解付与部１０５に入力し、図１の正解付与部１０５と同様な処理で、図９に示すように、画像に映る人の位置を太枠で指定し、人物に関する属性をラベラーから手動で入力する。

学習データ生成部９０４は付けられた正解情報と入力画像を用いて、擬似の学習データを生成する。学習データ生成部９０４は、図１において、生成器更新部１０７、生成器指示変数生成部１０６、擬似学習データ生成部１０８として構成される。生成されたデータは図９に示す擬似学習データのように、同じ人物に対して、異なる位置と属性を生成して、学習データとして利用する。例えば、入力データにある年齢はA11,性別はA12、服装はA13、向き方向はA14の人物と太枠からその人物が画像内にいる位置情報を入力データの正解とする。その正解情報の基に、生成された学習データは、入力データに映る人物と画像的な特徴が近い、しかし、年齢はA11,性別はA12、服装はA23と向き方向はA24を有する人物を生成する。また、入力画像と同じカメラ視野範囲で異なる位置にいるように上記人物を生成する。擬似学習データ選別部１１１は生成された擬似学習データのリアリティをベースし、生成したデータから選別処理を行い、選別されたデータを識別器の更新に用いる。

ラベラーによる正解付きが不必要な場合、人物検出・識別部９０２からの結果を正解情報として入力画像に付与し、識別器更新部１１２は上記正解情報と入力画像を用いて、識別器を更新する。更新された識別器は次の入力データへの検出・識別に用いる。

これにより、カメラから撮影されていない人物の属性構成と位置情報、および識別器が上手く識別できない画像を生成された擬似学習データにより補完され、これらのデータを用いて識別器を更新することにより、よりロバストな検出と認識が実現できる。

図１０は本実施例におけるオンライン認識装置の機能ブロック構成図である。本実施例は、撮影装置に映る物体の検出およびカテゴリ認識の例について説明する。

図１０において、図１と同一機能は同じ符号を付し、その説明は省略する。図１０において、物体撮影装置１００１は、可視カメラ、ステレオカメラ、IRカメラ、放射線(X線)照射装置など考えられる。物体検出・識別部１００２は、図１において、識別器用特徴量抽出部１０２、識別結果予測部１０３として構成される。
また、学習データ生成部１００４は、図１において、生成器更新部１０７、生成器指示変数生成部１０６、擬似学習データ生成部１０８として構成される。

図１０において、生成器指示変数生成部物体検出・識別部１００２は画像に映る物体の画像内の位置の検出と物体のカテゴリを識別する。予測結果評価部１０４は入力データにおいて、ラベラーによる正解付与が必要と判断された場合、入力データは正解付与部１０５へ入力し、ラベラーから物体の位置とそのカテゴリ名を正解情報として付与する。

学習データ生成部１００４は正解付与部１０５からの正解情報と入力データを用いて、同じカテゴリの物体において異なる材質、形状と画像内の位置を有する画像を生成する。これは、図１において、事前に同カテゴリの画像から学習済みの生成器更新部から更新した生成器と生成器指示変数生成部からの生成指示変数により上記実データと異なる情報を持つ物体を生成する。擬似学習データ選別部１１１は生成された擬似学習データにおける選別を行い、識別器更新部１１２は選別された学習データを用いて識別器を更新する。

また、ラベラーによる正解付与が不必要な場合、物体検出・識別部１００２からの結果を正解情報として入力画像に付与し、識別器更新部１１２は上記正解情報と入力画像を用いて、識別器を更新する。

図１１は本実施例におけるオンライン認識装置の擬似学習データ生成用設定ＧＵＩ（Graphical User Interface）である。擬似学習データ生成用設定ＧＵＩは実施例１において、生成指示変数と生成サンプル数の設定方法を示す図であり、また、擬似学習データ選別部１１１において、手動で擬似学習データを選別する場合の方法も示す図である。

図１１において、擬似学習データ生成用設定ＧＵＩは１１０１の様な入力ウィンドウで提供される。このＧＵＩは生成指示変数情報、生成サンプル数と選別サンプル数を入力可能な入力ボックス１１０２、１１０４、１１０５を備える。また、生成指示変数を自動生成するか手動で設定するかのチェックボックス１１０３を備える。また、入力された値を反映するための決定ボタン１１０６を備え、これを押すことで、生成指示変数と生成サンプル数が決定され、生成した画像が生成結果表示部１１０８に表示される。図１１の例では、入力データが二つの物体を有する画像の場合、携帯と水筒の擬似学習データ生成用設定ＧＵＩを示す図である。また、現在の入力画像とその正解情報を示した正解付き入力データ表示部１１０７を備える。

生成結果表示部１１０８は、カテゴリ別に生成した結果を実施例１の擬似学習データ生成部１０８によりデータを生成する当時に計算された画像のリアリティを表す尤度の順番で生成結果を表示する。実施例１における識別器更新部１１２に入力する擬似学習データは尤度順でリストされた生成画像を、選別閾値で設定された以上まで選別する。閾値は尤度でもよい、尤度順番の番号でもよい。また、手動で識別器に更新するための擬似学習データを選別する場合、生成結果表示部１１０８に表示した画像のチェックボックスをチェックした画像も学習に用いることにある。この例は一例であり、設定可能な生成指示変数は適宜増減してもよいし、正解付き入力データ表示部１１０７の代わりに現在の状態をテキストで表示してもよいし、無くしてもよい。また決定ボタン１１０６の代わりに、一定タイミング毎に設定内容を自動送信する機能を有してもよい。また、擬似学習データ生成設定は、この例の様に自由に入力できる方式に限らず、幾つかの候補から選択して設定してもよい。

以上のように本実施例において、入力画像に映る物体の擬似学習データを生成し、識別器の学習に用いて、識別器はうまく検出・認識できない入力データをオンラインで更新することで、識別器はより迅速にロバスト化になることが可能である。

１０１：入力データ、１０２：識別器用特徴量抽出部、１０３：識別結果予測部、１０４：予測結果評価部、１０５：正解付与部、１０６：生成器指示変数生成部、１０７：生成器更新部、１０８：擬似学習データ生成部、１０９：生成サンプル数設定部、１１０：生成サンプル記憶部、１１１：擬似学習データ選別部、１１２：識別器更新部、２０１：不確定性評価部、２０２：情報密度計算部、２０３：平均尤度計算部、２０４：アンサンブル評価部、５０１：正解付きデータ記憶部、５０２：学習データ、５０３：識別器用特徴量抽出部、５０４：識別器初期化部、５０５：識別器記憶部、５０６：生成器構築部、５０７：生成器記憶部、５０８：生成器指示変数生成部、５０９：データ生成部、５１０：生成データ記憶部、５１１：識別器再構築部、５１２：識別器評価部、８０１：入力データ収集装置、８０２：演算装置、８０３：記録装置、８０４：ユーザインターフェース、９０１：撮影装置、９０２：人物検出・識別部、９０３：予測結果提示部、９０４：学習データ生成部、９０５：擬似学習データ、１００１：物体撮影装置、１００２：物体検出・識別部、１００３：予測結果提示部、１００４：学習データ生成部、１００５：擬似学習データ、１１０１：入力ウィンドウ、１１０２、１１０４、１１０５：入力ボックス、１１０３：チェックボックス、１１０６：決定ボタン、１１０７：正解付き入力データ表示部、１１０８：生成結果表示部

Claims (6)

1. 入力されたデータの特徴量を抽出する特徴量抽出部と、該抽出した特徴量に基づき識別結果を予測する識別結果予測部と、該予測した識別結果からラベリングの必要性を判定する予測結果評価部と、該判定結果からオンラインで入力データに正解を付与する正解付与部と、正解付き入力データに基づき生成器のパラメータを更新する生成器更新部と、該更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成する擬似学習データ生成部と、前記正解付き入力データと前記擬似学習データに基づき予め用意した識別器のパラメータをオンラインで更新する識別器更新部と、該更新された識別器を新たな識別結果予測部として更新することを特徴とするオンライン認識装置。
2. 請求項１に記載のオンライン認識装置であって、
   前記予測結果評価部は、
   前記識別結果予測部から受け取った識別結果の認識上の不確定性を計算する不確定性評価部と、
   前記識別結果と学習サンプルとの類似性を計算し、その平均を情報密度情報として出力する情報密度計算部と、
   前記識別結果から認識器の予測分布との距離を計算し、その距離の値を平均尤度として出力する平均尤度計算部と、
   前記不確定性評価部で計算した不確定性から評価条件を算出し、該評価条件を満たした場合、前記情報密度情報および前記平均尤度をもとに再度評価を行なうアンサンブル評価部とを有することを特徴とするオンライン認識装置。
3. 請求項１に記載のオンライン認識装置であって、
   前記識別結果予測部で予測した識別結果を提示する識別結果提示部を更に有することを特徴とするオンライン認識装置。
4. 入力されたデータの特徴量を抽出し、
   該抽出した特徴量に基づき識別結果を予測し、
   該予測した識別結果からラベリングの必要性を判定し、
   該判定結果からオンラインで入力データに正解を付与し、
   正解付き入力データに基づき生成器のパラメータを更新し、
   該更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成し、
   前記正解付き入力データと前記擬似学習データに基づき予め用意した識別器のパラメータをオンラインで更新し、
   該更新された識別器で新たに識別結果を予測することを特徴とするオンライン認識方法。
5. 請求項４に記載のオンライン認識方法であって、
   前記予測した識別結果からラベリングの必要性を判定する処理は、
   前記予測した識別結果の不確定性を計算し、
   前記予測した識別結果と学習サンプルとの類似性を計算し、その平均を情報密度情報として計算し、
   前記予測した識別結果から認識器の予測分布との距離を計算し、その距離の値を平均尤度として計算し、
   前記不確定性から評価条件を算出し、評価条件を満たした場合、前記情報密度情報および前記平均尤度をもとに前記ラベリングの必要性を再度判定することを特徴とするオンライン認識方法。
6. 請求項４に記載のオンライン認識方法であって、
   さらに、前記予測した識別結果を提示することを特徴とするオンライン認識方法。

Images