JP7238905B2 - 認識器訓練装置、認識装置、データ処理システム、データ処理方法、およびプログラム - Google Patents

認識器訓練装置、認識装置、データ処理システム、データ処理方法、およびプログラム Download PDF

Info

Publication number
JP7238905B2
JP7238905B2 JP2020567333A JP2020567333A JP7238905B2 JP 7238905 B2 JP7238905 B2 JP 7238905B2 JP 2020567333 A JP2020567333 A JP 2020567333A JP 2020567333 A JP2020567333 A JP 2020567333A JP 7238905 B2 JP7238905 B2 JP 7238905B2
Authority
JP
Japan
Prior art keywords
feature data
data
recognition
training
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020567333A
Other languages
English (en)
Other versions
JPWO2020152848A1 (ja
Inventor
浩雄 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020152848A1 publication Critical patent/JPWO2020152848A1/ja
Application granted granted Critical
Publication of JP7238905B2 publication Critical patent/JP7238905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

本開示は、時系列のデータを用いた認識を行う技術に関する。
時系列のデータを用いて、人物の行動等を認識する（識別するともいう）技術が知られている。
特許文献１に記載される行動判別手法は、センサから得られた時系列データ（元の時系列データ）を、所定の時間幅で、時間軸に沿って移動しながら時系列解析することによって、新たな時系列データを得る。この行動判別手法は、この新たな時系列データをニューラルネットワークに入力することで、行動を判別する。この技術は、時系列データが一定の時間間隔でセンサから得られることを前提としている。
特許文献２に記載される動作識別装置は、時系列である動画像データから時系列の速度ベクトルを取得し、速度ベクトルをフーリエ変換することで時系列のフーリエ変換されたベクトルを得る。さらに、この動作識別装置は、所定の時間範囲内にある、フーリエ変換されたベクトルのすべてを成分とした、パターンベクトルを得る。この動作識別装置は、得られたパターンベクトルをニューラルネットワークに入力することで、動画像データに含まれる人物の動作を識別する。この技術も、ＣＣＤカメラが一定のサンプル時間間隔で動画像データを得ることを前提としている。
特開２００７－２２００５５号公報 特開２０００－２４２７８９号公報
特許文献１および特許文献２に記載の技術は、時系列データが所定の時間間隔で取得されることが前提となっている。そして、認識器（識別器ともいう）として機能するニューラルネットワークの最適化（すなわち学習）に用いられる時系列データの時間間隔と、認識に用いられる時系列データの時間間隔とが異なるようなケースは考慮されていない。したがって、例えば学習に用いられた時系列データの時間間隔よりも長い時間間隔で取得された時系列データに対しては、認識がうまく実行できないことがある。その理由は、認識に用いられる時系列データにおける単位時間あたりのデータの数が、学習に用いられた時系列データにおける単位時間あたりのデータの数よりも少なくなり、ある時間範囲に含まれるデータを取得して認識を行おうとする時に、データの不足により認識が実行できないからである。データの不足が起こる理由は、学習および認識の双方において、ある決まった長さの時間範囲に含まれるすべてのデータが使用されることが前提になっているからである。
また、認識用の時系列データが所定の時間間隔で取得されなかった場合（例えば、通信環境が不安定であったことにより時間間隔がまちまちであるような時系列データが取得された場合）も、認識はうまく実行できないと考えられる。認識の対象となる時間範囲において認識に使用したいデータの数が足りない場合、認識は実行できない。データの数が足りていても、学習時においては時間間隔が一定の時系列データを用いて学習が行われるので、その学習により生成した認識器は、時間間隔が一定でない時系列データに対しては、正確な認識結果を与えない可能性がある。
本発明は、時系列データの取得における時間間隔に依存しない認識器の生成を可能にする訓練装置および訓練方法等を提供することを目的の１つとする。また、本発明は、時系列データの取得における時間間隔に依存しない認識を可能にする認識装置および認識方法等を提供することを目的の１つとする。
本発明の一態様に係る認識器訓練装置は、特徴データの時系列を入力として認識結果を出力する認識器を訓練する認識器訓練装置であって、時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する訓練用特徴データ選択手段と、前記訓練用特徴データ選択手段により選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与するラベル付与手段と、前記時間順が保持された複数の特徴データと、前記ラベル付与手段により付与された前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する訓練手段と、を備える。
本発明の一態様に係る認識装置は、時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、その設定したデータ範囲の中から、指定の個数の前記特徴データを選択する認識用特徴データ選択手段と、前記認識用特徴データ選択手段により選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出する認識手段と、前記認識結果に基づく情報を出力する出力手段と、を備える。
本発明の一態様に係るデータ処理方法は、特徴データの時系列を入力として認識結果を出力する認識器を訓練するデータ処理方法であって、時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択し、前記選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与し、前記時間順が保持された複数の特徴データと、前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する。
本発明の一態様に係るデータ処理方法は、時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択し、前記選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出し、
前記認識結果に基づく情報を出力する。
本発明の一態様に係る記憶媒体は、特徴データの時系列を入力として認識結果を出力する認識器を訓練するためのプログラムであって、時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する特徴データ選択処理と、前記特徴データ選択処理により選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与するラベル付与処理と、前記時間順が保持された複数の特徴データと、前記ラベル付与処理により付与された前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する訓練処理と、をコンピュータに実行させるプログラムを、記憶する。
本発明の一態様に係る記憶媒体は、時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する特徴データ選択処理と、前記特徴データ選択処理により選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出する認識処理と、前記認識結果に基づく情報を出力する出力処理と、をコンピュータに実行させるプログラムを、記憶する。
本発明によれば、時系列データの取得における時間間隔に依存しない認識器の生成が可能になる。また、本発明によれば、時系列データの取得における時間間隔に依存しない認識が可能になる。
本発明の第１の実施形態に係るデータ処理システムの構成を示すブロック図である。 サンプル用データに含まれる情報の例を示す図である。 認識対象データに含まれる情報の例を示す図である。 特徴データの選択における確率の重みづけの例を概念的に示す図である。 第１の実施形態に係る訓練モジュールによる訓練の処理の流れの例を示すフローチャートである。 データ範囲をずらしていく例を概念的に示す図である。 第１の実施形態に係る訓練モジュールによる訓練の処理の流れの別の例を示すフローチャートである。 第１の実施形態に係る認識モジュールによる認識の処理の流れの例を示すフローチャートである。 第１の実施形態の第１の変形例に係るデータ処理システムの構成を示すブロック図である。 第１の変形例に係る認識モジュールによる認識の処理の流れの例を示すフローチャートである。 第１の実施形態の第２の変形例に係るデータ処理システムの構成を示すブロック図である。 第２の変形例に係る認識モジュールによる認識の処理の流れの例を示すフローチャートである。 本発明の一実施形態に係る認識器訓練装置の構成を示すブロック図である。 本発明の一実施形態に係る認識器訓練方法の流れを示すフローチャートである。 本発明の一実施形態に係る認識装置の構成を示すブロック図である。 本発明の一実施形態に係る認識方法の流れを示すフローチャートである。 本発明の各実施形態の各部を構成するハードウェアの例を示すブロック図である。
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
なお、本開示において「ランダムな」「ランダムに」という語は、例えば、結果を予め完全に予測することが困難であるような方法を含むという意味で用いられる。「ランダムに選択する」とは、選択の結果に再現性がないとみなせるような選択方法によって選択することを意味する。乱数のみに依存する選択方法のみでなく、擬似乱数を用いる選択方法や、所定の確率分布に則った選択方法も、ランダムな選択方法に含まれ得る。
＜＜第１の実施形態＞＞
まず、本発明の第１の実施形態について説明する。
＜構成＞
図１は、第１の実施形態に係るデータ処理システム１の構成を示すブロック図である。
データ処理システム１は、訓練モジュール１１と、認識モジュール２１と、記憶モジュール３１と、を有する。なお、本開示において、「モジュール」は機能のまとまりを指す概念である。モジュールは１つの物でもよいし、概念的にひとまとまりとして捉えられる、複数の物の組み合わせ、または１つの物の部分でもよい。
記憶モジュール３１は、訓練モジュール１１および認識モジュール２１が用いる情報を記憶するモジュールである。
認識モジュール２１は、認識を行うモジュールである。認識モジュール２１が行う認識は、具体的には、記憶モジュール３１が記憶する辞書（後述）を基に構築される認識器を用いて、複数の特徴データを入力として一の認識結果を導出することである。認識器は、周知の認識器でよく、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ランダムフォレスト、またはニューラルネットワークを用いた認識器等が採用され得る。認識の目的は、例えば、観測対象（人または物）の挙動の識別、観測対象の状態に関する知見の取得、所定の挙動を行う人または物の検出、所定の状態にある人または物の検出、または、イベントの発生の検出、等である。例として、観測対象（人または物）の挙動の識別を目的とする場合において、認識器は、複数の特徴データに基づき、観測対象が取り得る挙動として用意された複数の挙動のうち１つの挙動を、観測対象の挙動として出力する。具体的には、例えば、認識器は、複数の特徴データを入力とする演算を行い、その演算の結果として複数の挙動のうちの１つの挙動を決定し、決定した挙動を示す情報を出力する。あるいは、認識器は、複数の挙動のそれぞれの尤度を出力するよう構成されていてもよい。
訓練モジュール１１は、辞書の訓練（トレーニング）を行うモジュールである。
本開示における「辞書」は、認識処理を行うための認識器を定義するデータをいう。辞書は、訓練によって値が修正可能なパラメータを含む。辞書の訓練とは、辞書のうちのパラメータの値を、訓練用データを用いて修正することである。辞書の訓練により、辞書に基づく認識器を用いた認識の正確性が向上することが期待される。辞書を訓練することは、認識器を訓練することともいえる。
各モジュール（すなわち、本実施形態では訓練モジュール１１、認識モジュール２１および記憶モジュール３１）は、例えば、別個の装置によって実装されてもよいし、一部または全体が１つのコンピュータにより実装されてもよい。各モジュールは、互いにデータのやりとりが可能であるように構成され得る。各モジュールが別個の装置によって実装される場合、その装置の各々は通信インタフェースを介して互いにデータの通信を行うよう構成されていてもよい。また、一つの実施形態では、記憶モジュール３１が可搬記録媒体であり、訓練モジュール１１を構築する装置と認識モジュール２１を構築する装置とがその可搬記録媒体からデータを読み出すためのインタフェースを備えていてもよい。その場合、可搬記録媒体は同時に双方の装置に接続されてもよいし、人が状況に応じて、可搬記録媒体が接続される装置を切り替えてもよい。
複数の装置の組をモジュールとみなしてもよい。すなわち、各モジュールの実体は、複数の装置でもよい。また、異なるモジュールに含まれる構成要素が１つの装置の中に実装されていてもよい。
訓練モジュール１１および認識モジュール２１に含まれる各構成要素は、データを生成しまたは取得した場合、そのデータを他の構成要素に使用可能な状態にし得る。例えば、各構成要素は、生成しまたは取得したデータを、そのデータを使用する他の構成要素に送出し得る。あるいは、各構成要素は、生成しまたは取得したデータを、その構成要素を含むモジュール内の記憶領域（メモリ等。不図示）または記憶モジュール３１に記録してもよい。各構成要素は、それぞれの処理を実行する際、使用するデータを、そのデータを生成しまたは取得した構成要素から直接受け取ってもよいし、上記記憶領域または記憶モジュール３１から読み出してもよい。
以下、各モジュールの機能の詳細を説明する。
＝＝＝記憶モジュール３１＝＝＝
記憶モジュール３１は、サンプル用データ記憶部３１１と、パラメータ記憶部３１２と、辞書記憶部３１３と、認識対象データ記憶部３１４と、を含む。
サンプル用データ記憶部３１１は、サンプル用データを記憶する。サンプル用データは、訓練モジュール１１による訓練器の訓練に用いるサンプル（いわゆる訓練サンプル）を生成するために用いられるデータである。本実施形態のサンプル用データは、時刻を示す情報とラベルとが付与された特徴データの、集まりである。図２は、サンプル用データに含まれる情報の例を概念的に示す図である。サンプル用データは必ずしも図２に示されるような表形式で記憶されている必要はないが、時刻の順に並べられる等、時系列的な関係がわかりやすい状態で記憶されていると、扱いやすい。
上記特徴データは、認識器が認識する対象の特徴を表すデータである。特徴データは、例えば、カメラその他のセンサ等によって得られたデータ、またはそのデータを加工して生成されるデータである。具体的には、カメラから得られるデータの例としては、カラー画像やグレースケール画像等が挙げられる。特徴データは、カメラにより取得された画像の全体を表すデータでもよいし、一部を表すデータでもよい。データを加工して生成されるデータの例としては、正規化された画像、フレーム間差分画像、画像から抽出される、その画像に写る物体の特徴を表す特徴量、および、画像に変換処理を施すことで得られるパターンベクトル、等が挙げられる。
カメラ以外のセンサから得られる情報の例としては、物体（ある生体の部位でもよい）の加速度、位置、センサとの距離、および温度、等が挙げられるが、これらに限られない。
特徴データに付与された、時刻を示す情報は、特徴データが観測された時刻を示す。例えば、撮影によって画像が取得され、画像から特徴データが抽出される場合、特徴データに付与される、時刻を示す情報は、画像から特徴データが抽出された時刻ではなく、撮影が実行された時刻を示す。なお、本開示では、時刻を示す情報が特徴データに付与されていることを、時刻が特徴データに付与されている、とも表現する。
各特徴データが観測される時刻の間隔は、一定でもよいし、不定でもよい。
本実施形態で想定されるラベルは、例えば、“立つ”、“座る”等といった、観測対象の挙動を示す情報である。ラベルは、人が理解できるようなテキスト情報である必要はなく、ラベルの種類を識別するための情報であればよい。
ラベルによって示されるのは、人の行動に限られない。ラベルは、例えば、“投げられる”、“置かれる”等、物に与えられた作用を示す情報でもよいし、“車の侵入あり”、“行列の発生”等、イベントを示す情報でもよい。
ラベルは、例えば、サンプル用データにおける観測対象の様子を観察した観察者によって付与されればよい。例えば、ある期間において観測対象が所定の挙動を示したと観察者が判断した場合に、観察者はその期間に含まれる特徴データの各々に、その所定の挙動を示すラベルを付与すればよい。観察者がラベルを付与する方法は、記憶モジュールの制御を行うコンピュータに対して、特徴データまたは期間を指定した情報とラベルを表す識別情報とを入力インタフェースを介して入力するという方法でもよい。
観察者の代わりに、行動を認識することが可能なコンピュータが、特徴データの各々にラベルを付与してもよい。
パラメータ記憶部３１２は、訓練および認識において参照されるパラメータ（以下、「指定パラメータ」と表記）の、値を記憶する。指定パラメータが表す内容は、具体的には、指定時間幅と、指定データ数である。
指定時間幅は、時系列データのうち特徴データが抽出されるべき範囲の長さ（時間幅）として指定される長さである。指定時間幅は、例えば、「４（秒）」等と表され得る。
指定データ数は、指定時間幅の中から選択されるべき特徴データの数として指定される数である。指定データ数は、例えば、「６（個）」等と表され得る。
指定時間幅および指定データ数は、例えば、データ処理システム１の実装時に決定されてもよいし、外部からの入力により指定を受け付けることによって特定されてもよい。
辞書記憶部３１３は、辞書を記憶する。辞書は訓練モジュール１１によって訓練され、認識モジュール２１による認識処理に使用される。上述したように、辞書は、認識器を定義するデータであり、認識のプロセスを定義するデータと、演算に用いるパラメータとを含む。例えば、ニューラルネットワークを用いる認識器が採用される実施態様では、辞書は、ニューラルネットワークの構造を定義するデータと、パラメータである重みおよびバイアスと、を含む。辞書の内容およびデータ構造は、認識器の種類に応じて適切に設計されればよい。
認識対象データ記憶部３１４は、認識対象データを記憶する。認識対象データは、認識モジュール２１による認識の対象となるデータの基となるデータである。すなわち、認識対象データの一部から、認識モジュール２１による認識の対象となるデータが作成される。
認識対象データ記憶部３１４は、時刻が付与された特徴データを記憶している。図３は、認識対象データに含まれる情報の例を示す図である。
認識対象データに含まれる特徴データは、例えば、センシングにより特徴データを取得する特徴データ取得装置（不図示）から取得され得る。例えば、特徴データ取得装置は、カメラやその他のセンサ等から得たデータ、またはそのデータを加工することで生成されるデータを、取得された時刻順に、認識対象データ記憶部３１４の中へ格納すればよい。
時刻および特徴データは、既に説明されたサンプル用データの時刻および特徴データと同様である。認識対象データに含まれる各データの時刻の間隔は、一定でもよいし、不定でもよい。
＝＝＝訓練モジュール１１＝＝＝
訓練モジュール１１は、読み出し部１１１と、データ選択部１１２と、ラベル決定部１１３と、訓練部１１４と、を含む。
読み出し部１１１は、訓練モジュール１１による処理に使用するデータを記憶モジュール３１から読み出す。読み出し部１１１が読み出すデータは、例えば、サンプル用データ記憶部３１１が記憶するサンプル用データ、パラメータ記憶部３１２が記憶する指定パラメータ、および辞書記憶部３１３が記憶する辞書である。
データ選択部１１２は、サンプル用データのうち、指定データ数に等しい数の特徴データを、訓練に使用する特徴データとして選択する。このとき、データ選択部１１２は、サンプル用データにおいて指定時間幅に相当する長さのデータ範囲を設定してから、その範囲に含まれる特徴データから、指定データ数に等しい数の特徴データを選択する。
データ範囲の決定方法は、例えば、ある時刻を基準として（例えばその時刻を始点、終点、または中央点として）データ範囲を決定する方法でもよい。この「ある時刻」は、指定された時刻でもよいし、サンプル用データに付与されている時刻としてあり得る時刻の範囲の中からランダムに（例えば、乱数または擬似乱数を用いる方法で）決められた時刻でもよい。または、データ範囲の決定方法は、例えば、サンプル用データに含まれる特徴データを１つ選択し、その特徴データを基準として（例えばその特徴データに付与されている時刻を始点、終点、または中央点として）データ範囲を決定する方法でもよい。この場合に選択される特徴データは、指定された特徴データでもよいし、ランダムに決められた特徴データでもよい。なお、上記例において、指定された時刻または指定された特徴データを用いる場合、そのような指定は、例えば訓練モジュール１１が外部から入力インタフェース（不図示）を介して受け付けるか、そのような指定を記憶モジュール３１が記憶しておき読み出し部１１１が読み出すことによって、取得されればよい。
データ選択部１１２は、データ範囲の設定を行う度にデータ範囲がずれるような設定方法により、データ範囲を設定してもよい（具体例は動作の説明において説明する）。
特徴データを選択する方法の一つの例は、単純にランダムに選択する方法である。例えば、データ選択部１１２は、決定したデータ範囲に含まれる特徴データの個数を特定し、１番から特定した個数に相当する番号までの番号の集合から、重複のないランダムな選択を行う方法で、指定データ数に相当する個数の番号を選択すればよい。なお、重複のないランダムな選択を行う方法としては、例えば、選択済みの番号を除いた番号の集合からランダムに（例えば、集合に含まれるどの番号の選ばれる確率も等しいような方法で）１つ選択する操作を所定回繰り返す選択方法が、該当する。
データ選択部１１２は、決定したデータ範囲のうち最も新しい特徴データを必ず選択するように構成されていてもよい。その場合、データ選択部１１２は、最も新しい特徴データを選択し、最も新しい特徴データ以外の特徴データのうちｎ－１個（ｎは指定データ数、以下同じ）の特徴データを（例えば重複のないランダムな選択を行う方法で）選択すればよい。
特徴データを選択する別の方法の例は、重み付きのランダムな選択方法である。重み付きのランダムな選択方法は、重みに応じた確率のもとでランダムに選択を行う方法である。データ選択部１１２は、例えば、図４に示されるように、決定したデータ範囲に含まれる特徴データのそれぞれに、より新しい時刻が付与された特徴データほど選択される重みが大きくなるように（すなわち、選ばれやすくなるように）、重みを設定してもよい。そして、データ選択部１１２は、重み付きのランダム選択方法によって、ｎ個の特徴データを選択すればよい。
上述した、最も新しい特徴データを必ず選択する方法、および、より新しい時刻が付与された特徴データほど重みが大きくなるような重み付きのランダムな選択方法は、特にリアルタイムでの認識において効果的である。その理由は、リアルタイムでの認識では、より新しい時刻がより重要であり、上記の手法は新しい時刻のデータを重視して選択できるしくみになっているからである。
特徴データを選択するさらに別の方法の例は、選択される各特徴データ間の時間間隔のばらつきがなるべく小さくなるように選択する方法である。具体例を以下に示す。なお、この具体例で説明される特徴データは、すべて決定されたデータ範囲に含まれる特徴データを指す。まず、データ選択部１１２は、基準となる特徴データと、基準インターバルとを決定する。基準となる特徴データとしては、例えば、最も古い（付与されている時刻が最も早い）特徴データが決定される。基準インターバルとしては、例えば、データ範囲の長さ（すなわち指定時間幅）を指定データ数で除したときの商、または、基準となる特徴データに付与されている時刻から最新の特徴データに付与されている時刻までの時間を“指定データ数－１”で除したときの商が、決定される。そして、データ選択部１１２は、基準となる特徴データに付与されている時刻から、“基準インターバル×ｋ”経過後の時刻を特定する。ｋは０からｎ－１までの範囲のすべての整数の値をとる変数である。そして、データ選択部１１２は、ｋ＝０からｋ＝ｎ－１まで、順に、そのｋを用いて特定される時刻について、付与されている時刻がその時刻に最も近い特徴データを選択する。ただし、データ選択部１１２は、異なる時刻について同一の特徴データが選択されないように特徴データを選択する。なお、上記の例に従えば、ｋ＝０のときの時刻について選択される特徴データは、必然的に、基準となる特徴データである。
上記の例の変形例として、データ選択部１１２は、特定した時刻の各々を成分とするベクトルと、選択されるｎ個の特徴データに付与される時刻を成分とするベクトルが最も類似する（すなわちユークリッド距離が最も小さい）ような、ｎ個の特徴データを選択してもよい。
上記の例において、最新の特徴データが、基準となる特徴データとして使用されてもよい。この場合、基準インターバルとしては、例えば、データ範囲の長さを指定データ数で除したときの商、または、付与されている時刻が最も早い特徴データに付与されている時刻から基準となる特徴データに付与されている時刻までの時間を“指定データ数－１”で除したときの商が、決定される。データ選択部１１２は、ｋの各値について、基準となる特徴データに付与されている時刻から、“基準インターバル×ｋ”だけさかのぼった時刻を特定し、特定した時刻について、付与されている時刻がその時刻に最も近い特徴データを選択すればよい。
選択される各特徴データ間の時間間隔のばらつきがなるべく小さくなるように選択する方法の別の例として、データ選択部１１２は、基準となる特徴データから付与されている時刻順（順方向、逆方向のいずれでもよい）に、所定の個数ごとに存在する、特徴データを選択していってもよい。例えば、指定データ数がｎ、上記所定の個数が３である場合、データ選択部１１２は、時系列でならんだ複数の特徴データのうち“１＋３ｋ”番目（ｋは０からｎ－１までの変数）の特徴データを選択すればよい。なお、所定の個数は、予め決められていてもよいし、外部からの入力に基づいて特定されてもよいし、データ範囲に含まれる特徴データの数と指定データ数との関係に基づいて所定の計算式（例えば、所定の個数＝int（データ範囲に含まれる特徴データの数／指定データ数）等。ただしint(x)はxの整数部分を出力とする関数）によって導出されてもよい。
データ選択部１１２は、サンプル用データ記憶部３１１において記録されている特徴データのうちの、選択された特徴データに対して、その特徴データが選択されたことを示すフラグを付与してもよい。あるいは、データ選択部１１２は、選択した特徴データを、サンプル用データ記憶部３１１から読み出し、訓練モジュール１１内の他の構成要素または記憶領域に出力してもよい。この場合、データ選択部１１２は、指定データ数ｎ個の選択した特徴データを、時間的な秩序を保った状態で出力する。例えば、データ選択部１１２は、ｎ個の選択した特徴データを、付与されている時刻が古い順で並べ、並んだ状態の特徴データを訓練モジュール１１内の記憶領域に記録してもよい。選択した特徴データをサンプル用データ記憶部３１１から読み出さない場合であっても、データ選択部１１２は、サンプル用データ記憶部３１１において記録されている特徴データのうちの、選択された特徴データに対して、その特徴データが選択されたことを示すフラグと時間的な序列を示す情報（番号等）とを付与してもよい。
ラベル決定部１１３は、データ選択部１１２によって選択された特徴データに付与されるべきラベルを決定する。選択された特徴データ群につき、１つのラベルが決定される。以下、ラベル決定部１１３が決定するラベルを「教師ラベル」とも表記する。選択された特徴データ群と教師ラベルとの組が、訓練サンプルとなる。
教師ラベルは、認識器の出力側のデータに相当する情報である。
ラベル決定部１１３は、データ選択部１１２によって選択された特徴データのそれぞれに付与されたラベルを抽出し、抽出したラベルに基づいて教師ラベルを決定する。
ラベル決定部１１３は、例えば、抽出したラベルのうちで、選択された特徴データに付与された個数が最も多いラベルを選択し、選択したラベルを教師ラベルとして決定してもよい。また、例えば、ラベル決定部１１３は、抽出したラベルに、抽出元の特徴データに付与されている時刻に応じた重みを設定し、重み付きで個数を数え上げ（別の言葉では、累積加算し）、数え上げた結果としての値（すなわち、トータル値）が最も大きいラベルを教師ラベルとして決定してもよい。重み付きでの個数の数え上げの方法は、重みが大きいほどトータル値への影響が大きくなるような、個数の数え上げ方法である。一例として、抽出されたラベルの中に、あるラベルが３つ存在し、その３つに設定された重みがそれぞれ０．２、０．５、０．７であるとき、トータル値は０．２＋０．５＋０．７＝１．４と算出される。
訓練部１１４は、データ選択部１１２によって選択された、指定データ数の特徴データと、ラベル決定部１１３により決定された教師ラベルと、を用いて、辞書記憶部３１３が記憶する辞書を訓練する。具体的には、訓練部１１４は、選択された指定データ数の特徴データと教師ラベルとの組を１つの訓練サンプルとし、その訓練サンプルを用いて、辞書に含まれるパラメータの値を修正する。なお、本開示では、１つ以上の訓練サンプルを、訓練データとも表記する。訓練の方法には、周知の学習アルゴリズムが採用されればよい。
なお、選択された特徴データは、典型的には、訓練において、時間的な秩序を保った状態（言い換えれば、付与された時刻の序列がわかるように整列された状態）で使用される。具体的には、例えば、認識器の入力として受け付けるデータがベクトル形式ならば、選択されたデータは付与されている時刻順に連結され、１つのベクトルとして扱われ得る。あるいは、例えば、特徴データが２次元の画像であり、認識器がＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等）等の３次元構造のデータを入力とするニューラルネットワークにより構築されるならば、特徴データはチャンネル方向に時刻順に配置され、３次元構造のデータとして扱われ得る。本開示では、時間的な秩序が保たれた状態であることを、「時間順で並んだ」「時間順が保持された」という語でも表現する。
＝＝＝認識モジュール２１＝＝＝
認識モジュール２１は、読み出し部２１１と、データ選択部２１２と、認識結果導出部２１３と、出力部２１４と、を含む。
読み出し部２１１は、認識モジュール２１による処理に使用するデータを記憶モジュール３１から読み出す。読み出し部１１１が読み出すデータは、例えば、認識対象データ記憶部３１４が記憶する認識対象データ、パラメータ記憶部３１２が記憶する指定パラメータ、および辞書記憶部３１３が記憶する辞書である。
データ選択部２１２は、認識対象データのうち、指定データ数に等しい数の特徴データを、認識に使用する特徴データとして選択する。このとき、データ選択部２１２は、認識対象データにおいて指定時間幅に相当する長さのデータ範囲を設定してから、そのデータ範囲に含まれる特徴データから、指定データ数に等しい数の特徴データを選択する。データ選択部２１２は、指定データ数の特徴データを選択したら、選択した特徴データを、時間的な秩序を保った状態で認識モジュール２１内の他の部（例えば、認識結果導出部２１３）に出力し得る。
データ選択部２１２は、認識結果を知りたい範囲を、データ範囲として設定する。認識結果を知りたい範囲の設定は、認識モジュール２１の外部から指定されてもよい。認識モジュール２１が自動的に、認識結果を知りたい範囲を定義してもよい。例えば、リアルタイムでの認識を行いたいケースでは、認識結果を知りたい範囲として、最新の特徴データを含む範囲が採用されてもよい。この場合、データ選択部２１２は、最新の特徴データの時刻から、指定時間幅の長さだけさかのぼった時点までの範囲を、データ範囲として決定すればよい。
決定したデータ範囲からの特徴データの選択方法の具体的な例としては、データ選択部１１２による選択方法の例として挙げられた選択方法が挙げられる。データ選択部２１２は、データ選択部１１２が行った方法と同様の方法で（すなわち、訓練における選択方法と同様の選択方法で）、指定データ数の特徴データを選択し得る。
認識結果導出部２１３は、データ選択部２１２により選択された、指定データ数の特徴データを、辞書記憶部３１３に記憶された辞書に基づく認識器に入力することで、認識結果を導出する。なお、選択された特徴データは、典型的には、認識において、時間的な秩序を保った状態で使用される。特徴データの使用方法の具体的な例としては、訓練部１１４の説明において例示された使用方法と同様の使用方法が挙げられる。認識結果導出部２１３は、訓練部１１４が行った方法と同様の方法で（すなわち、訓練における使用方法と同様の使用方法で）、選択された特徴データを使用し得る。認識結果は、例えば、認識器により出力される、１つの挙動を示すクラスを表す情報である。認識結果を示すデータの態様は、認識器に依る。例えば、認識結果は、用意されたクラスの数を成分の数とするベクトルで表されてもよいし、“１”から“５”の範囲の数値等の定量的な値で表されてもよい。
出力部２１４は、認識結果導出部２１３が導出した認識結果に基づく情報を出力する。出力部２１４による出力は、具体的には、例えば、ディスプレイへの表示、他の情報処理装置への送信、または記憶装置への書き込み、等である。出力部２１４による出力の方法は、認識結果に基づく情報が認識モジュール２１の外部に伝達される方法であれば、どんな方法でもよい。
認識結果に基づく情報は、認識結果を直接的に表す情報でもよいし、認識結果の内容に応じて生成される情報でもよい。例えば、認識結果に基づく情報は、観測対象の挙動を示す情報（「椅子に座った」、「手を挙げた」、「不審行動があった」等）、各クラスの尤度を示す情報、認識結果に応じて生成される警告文、何らかの装置への認識結果に応じた指示、等でもよい。情報の形態は特に限定されず、出力先に応じた適切な形態（画像データ、音声データ、テキストデータ、命令コードまたは電圧等）であればよい。
＜動作＞
以下、データ処理システム１の動作の流れについて、図を参照しながら説明する。データ処理システム１の動作は、訓練モジュール１１により訓練処理を行う動作と、認識モジュール２１により認識処理を行う動作とに分かれる。なお、各動作における各処理は、各処理がプログラムを実行するプロセッサによって実行される場合においては、プログラムの中の命令の順序に従って実行されればよい。各処理が別個のデバイスによって実行される場合においては、処理を完了したデバイスが次の処理を実行するデバイスに通知を行うことで、処理が順番に実行されればよい。なお、処理を行う各部は、めいめいの処理に必要なデータを、例えば、そのデータを生成した部から受け取り、および／またはモジュールが備える記憶領域もしくは記憶モジュール３１から読み出せばよい。
［訓練処理］
訓練モジュール１１による訓練処理の流れを、図５を参照しながら、説明する。なお、訓練処理は、例えば外部から訓練処理の開始指示を受け取ったことを契機として、開始されればよい。
まず、読み出し部１１１が、サンプル用データ記憶部３１１からサンプル用データを、辞書記憶部３１３から辞書を、パラメータ記憶部３１２から指定時間幅および指定データ数を、読み出す（ステップＳ１１）。
次に、データ選択部１１２が、読み出されたサンプル用データに対して、指定時間幅のデータ範囲を設定し（ステップＳ１２）、設定されたデータ範囲から、指定データ数の特徴データを選択する（ステップＳ１３）。データ選択部１１２は、選択した特徴データを、付与されている時間順に並べて訓練モジュール１１内の他の部に出力してもよい。
次に、ラベル決定部１１３が、選択された特徴データに対して教師ラベルを決定する（ステップＳ１４）。選択された特徴データ（時間順が保持されている）と、決定されたラベルと、の組が、訓練サンプルとなる。
そして、訓練部１１４が、訓練サンプルを用いて、すなわち、選択された指定データ数の特徴データであって時間順が保持された特徴データと決定されたラベルとの組である訓練サンプルを用いて、辞書を訓練する（ステップＳ１５）。訓練部１１４は、訓練によって修正されたパラメータの値を、修正の度に辞書記憶部３１３の辞書に反映させてもよいし、辞書記憶部３１３とは別の記憶領域に一時的に記録しておき、訓練処理が終了する際に辞書記憶部３１３に反映させてもよい。
ステップＳ１５の後、訓練モジュール１１は、訓練を終了する条件が満たされたかを判定する（ステップＳ１６）。訓練を終了する条件としては、例えば、ステップＳ１２からステップＳ１５の処理が実行された回数が所定の回数に達したこと、という条件、または、パラメータの値の収束の度合いを示す指標値が所定の条件を満たしたこと、という条件等が採用されてもよい。
訓練を終了する条件が満たされていなければ（ステップＳ１６においてＮＯ）、訓練モジュール１１は訓練を再び行う。すなわち、訓練モジュール１１はステップＳ１２からステップＳ１５までの処理を行う。ただし、データ選択部１１２は、既に使用した特徴データ群とは異なる特徴データ群を選択する。
データ選択部１１２は、データ範囲を設定し直してもよい。そして、データ選択部１１２は、データ範囲を、設定の度にデータ範囲がずれるような方法で設定してもよい。例えば、データ選択部１１２は、データ範囲の設定の度に、データ範囲の始点が所定の時間ずつシフトするように、データ範囲を設定するよう、構成されていてもよい。
データ選択部１１２が、特徴データをランダムに選択するよう構成される場合、同一の特徴データ群が訓練において２度以上使用されないよう、訓練モジュール１１は既に使用した特徴データ群を記録していてもよい。データ選択部１１２は、例えば、特徴データ群を選択した際に、過去の特徴データ群のうちのいずれかが、選択した特徴データ群と一致するかをチェックし、いずれかが一致する場合は特徴データ群を選択し直せばよい。
データ選択部１１２が、基準となる特徴データ（既述）に基づいて特徴データを選択するよう構成される場合、同一の特徴データ群が訓練において２度以上使用されないよう、訓練モジュール１１は既に使用した、基準となる特徴データ、基準インターバル（既述）、または所定の個数（既述）等を記録していてもよい。そして、データ選択部１１２は、ステップＳ１２の処理を行う度に、基準となる特徴データ、基準インターバル、および所定の個数の少なくともいずれかを、既に使用したものと異なるように設定すればよい。例えば、データ選択部１１２は、基準となる特徴データを、図６に示されるように、ステップＳ１２の処理の度にずらしていってもよい。
訓練を終了する条件が満たされていれば（ステップＳ１６においてＹＥＳ）、訓練モジュール１１は訓練処理を終了する。
以上に説明した処理の流れの変形例として、訓練モジュール１１は、複数の訓練サンプルを用意してから辞書の訓練を行ってもよい。すなわち、訓練モジュール１１は、ステップＳ１２からステップＳ１４までの処理を所定回数繰り返してから、ステップＳ１５の処理を行ってもよい。そのような動作の流れのフローチャートが、図７に示されている。図７に示されるフローに基づくと、ステップＳ１４の処理で訓練サンプルが生成された後、訓練モジュール１１が訓練サンプルの数が基準に達したかを判定する（ステップＳ１７）。基準は予め決められていればよい。訓練サンプルの数が基準に達していない場合は（ステップＳ１７においてＮＯ）、訓練モジュール１１は、ステップＳ１２からステップＳ１４までの処理を再び行う。訓練サンプルの数が基準に達した場合は（ステップＳ１７においてＹＥＳ）、訓練部１１４が、ステップＳ１１の処理からステップＳ１７の処理までの間に生成された複数の訓練サンプル（既に訓練に使用された訓練サンプルを除く）を用いて辞書を訓練する（ステップＳ１８）。
［認識処理］
認識モジュール２１による認識処理の流れを、図８を参照しながら説明する。なお、認識処理は、例えば外部から認識処理の開始指示を受け取ったことを契機として、開始されればよい。
まず、認識モジュール２１は、辞書記憶部３１３から辞書を読み出し、読み出した辞書に基づいて認識器を構築する（ステップＳ２１）。
次に、読み出し部２１１が、認識対象データ記憶部３１４から認識対象データを、パラメータ記憶部３１２から指定時間幅および指定データ数を、読み出す（ステップＳ２２）。
次に、データ選択部２１２が、認識対象データにおける、認識結果を知りたい範囲を、指定時間幅のデータ範囲として設定し（ステップＳ２３）、設定されたデータ範囲から、指定データ数の特徴データを選択する（ステップＳ２４）。データ選択部２１２は選択した特徴データを、付与されている時刻順に並べて認識モジュール２１内の他の部（例えば、認識結果導出部２１３）に出力してもよい。
そして、認識結果導出部２１３が、選択された特徴データ（時間順が保持されている）に対し、認識器を用いて認識を行い、認識結果を導出する（ステップＳ２５）。
認識結果が導出されたら、出力部２１４が、認識結果に基づく情報を出力する（ステップＳ２６）。
＜効果＞
第１の実施形態に係るデータ処理システム１によれば、時系列データの取得における時間間隔に依存しない認識器の生成が可能になる。
例えば、サンプル用データと認識対象データとの間で、特徴データに付与される時刻の時間間隔が異なっている場合であっても、訓練時と認識時との間で、使用されるデータの数に相異が起こらない。その理由は、訓練時と認識時とのいずれにおいても、データ選択部１１２およびデータ選択部２１２によって、指定データ数の特徴データが選択されるからである。
また、例えば、認識対象データに含まれる特徴データ間の時間間隔が、サンプル用データと異なっていたり、一定でなかったりする場合であっても、それによる認識の精度への影響は少ない。その理由は、訓練において、データ選択部１１２が、指定時間幅のデータ範囲から指定データ数の特徴データを選択することで、特徴データ間の時間間隔に依存しない認識器が構築されるからである。なお、時間間隔は固定されていないが、時系列的な関係の情報が失われないまま訓練サンプルが使用されるので、多様な認識結果を出力可能な認識器が構築可能である。
すなわち、データ処理システム１は、時系列データの取得における時間間隔に対してロバストな認識が行える。
［第１の変形例］
認識モジュール２１は、複数個の認識結果を導出し、複数個の認識結果に基づいて総合的な認識結果（後述）を出力してもよい。例えば、認識モジュール２１は、所定の結果数の認識結果が導出されるまで、ステップＳ２３からステップＳ２５までの処理を繰り返してもよい。その場合、処理の繰り返しにおいて、データ範囲の設定（認識対象データに対するデータ範囲が設定された時刻）は変更しない。
上記のような変形例を第１の変形例と表記し、以下、その詳細を説明する。
図９は、第１の変形例に係るデータ処理システム２の構成を示すブロック図である。データ処理システム２は、訓練モジュール１１と、認識モジュール２２と、記憶モジュール３１と、を有する。認識モジュール２２は、認識モジュール２１の構成要素に加え、結果統合部２２５を含む。
データ処理システム２においては、認識モジュール２２は、読み出し部２１１が読み出したデータについて、データ選択部２１２の処理と認識結果導出部２１３の処理とを複数回繰り返す。それにより、認識モジュール２２は、複数の認識結果を導出する。処理の繰り返しにおいて、データ範囲の設定（認識対象データに対するデータ範囲が設定された時刻）は変更されない。
結果統合部２２５は、認識結果導出部２１３により導出された複数の認識結果を統合する。結果統合部２２５は、認識結果の統合により、総合的な認識結果（すなわち、複数の認識結果が反映された、１つの認識結果を示す情報）を導出する。
統合の仕方の具体例を以下に示す。結果統合部２２５は、例えば、複数の認識結果のうち最も個数が多い認識結果を、総合的な認識結果として導出してもよい。
認識結果が定量的な値で表される場合は、結果統合部２２５は、複数の認識結果から代表値（平均値、中央値、最大値、最小値等）を算出してもよい。結果統合部２２５は同時に、分散を算出してもよい。また、結果統合部２２５は、複数の認識結果を補正してから、代表値を算出してもよい。ここでいう補正とは、補正量に基づき値を修正することである。補正量としては、例えば、選択された特徴データの時間的な関係に基づいて決められる量などが採用され得る。
認識結果が、クラスの識別情報と尤度とで表される場合は、尤度を重みとした重みつき投票を行ってもよい。重みつき投票は、尤度に応じて大きくなる値の累積的な加算を行い、加算の結果としてのスコア（すなわち合計値）が最も大きいクラスを選出する方法である。なお、値の加算において、尤度が所定の閾値に満たない認識結果については加算すべき値が０（スコアに反映されない値）に設定されてもよい。
認識結果が、クラスごとの尤度で表される場合は、結果統合部２２５は、クラスごとに、各認識結果が示す尤度を合計し、合計した結果である合計値が最も高いクラスを、総合的な認識結果として特定してもよい。
出力部２１４は、結果統合部２２５が導出した総合的な認識結果に基づく情報を、出力する。総合的な認識結果に基づく情報の具体内容については、「認識結果に基づく情報」について説明された内容がそのまま当てはまると理解されてよい。なお、言うまでもなく、総合的な認識結果に基づく情報は、認識結果導出部２１３が導出した認識結果に基づく情報の一つである。
＜動作＞
認識モジュール２２による認識処理の流れを、図１０のフローチャートを参照しながら説明する。
図１０におけるステップＳ２１からステップＳ２５の処理は、それぞれ認識モジュール２１によるステップＳ２１からステップＳ２５の処理と同じである。ステップＳ２５の処理の後、出力部２１４は、認識結果を一時的に記憶モジュール３１の記憶領域に記録する（ステップＳ２７）。そして、認識モジュール２２は、ステップＳ２１の処理の開始以降所定の結果数の認識結果が導出されたかを判定する（ステップＳ２８）。所定の結果数の認識結果が導出されていない場合は（ステップＳ２８においてＮＯ）、認識モジュール２２はステップＳ２４からステップＳ２７までの処理を再び行う。このとき、データ選択部２１２は、データ範囲を決定し直さなくてよい。しかし、データ選択部２１２は、特徴データを選択し直す。決まっているデータ範囲における、異なる特徴データ群が使用されることにより、多様な認識結果を得ることができる。
所定の結果数の認識結果が導出されたら（ステップＳ２８においてＹＥＳ）、結果統合部２２５が、一時的に記録された複数の認識結果を統合する。その結果として、結果統合部２２５は、総合的な認識結果を導出する（ステップＳ２９）。
そして、出力部２１４が、総合的な認識結果に基づく情報を出力する（ステップＳ３０）。
なお、上述の所定の結果数は、予め決められていてもよいし、外部からの入力に基づいて特定されてもよいし、データ範囲に含まれる特徴データの数と指定データ数との関係に基づいて所定の計算式（例えば、所定の結果数＝int（α×データ範囲に含まれる特徴データの数／指定データ数）等。ただしint(x)はxの整数部分を出力とする関数。αは所定の係数）によって導出されてもよい。
＜効果＞
第１の変形例によれば、精度がより高い認識が可能となる。その理由は、認識結果が、１組の特徴データ群だけでなく、同じ指定時間幅に基づく複数の特徴データ群から総合的に導出されるからである。つまり、認識モジュール２２は、データ選択部２１２によって決定されたデータ範囲に含まれる特徴データを、認識においてより有効に利用する。したがって、認識の正確性および信頼性が向上する。
［第２の変形例］
以下、第１の実施形態の第２の変形例について説明する。第２の変形例では、複数の辞書を用いた認識が行われる。
図１１は、第２の変形例に係るデータ処理システム３の構成を示すブロック図である。データ処理システム３は、訓練モジュール１１と、認識モジュール２３と、記憶モジュール３１と、を有する。認識モジュール２３は、認識モジュール２１の構成要素に加え、結果統合部２３５を含む。
データ処理システム３においては、記憶モジュール３１の辞書記憶部３１３は、複数の辞書を記憶する。
データ処理システム３においては、訓練モジュール１１は、辞書のそれぞれに対し、辞書の訓練を行う。各辞書に対する訓練の方法は第１の実施形態において説明した方法と同様でよい。
ただし、訓練に使用される特徴データを選択する際に用いる、指定時間幅が、辞書ごとに異なる。すなわち、訓練モジュール１１は、複数の辞書に対し、それぞれ異なる指定時間幅を用いて訓練を行う。指定データ数は、全ての辞書間で同じでも、辞書ごとに異なっていてもよい。パラメータ記憶部３１２は、相異なる複数の指定時間幅と、それら複数の指定時間幅のそれぞれに対応する指定データ数とを、辞書ごとに記憶しておき、読み出し部１１１が辞書の訓練ごとに、その辞書に対応する記憶された指定時間幅と指定データ数とを読み出せばよい。
認識モジュール２３は、複数の辞書のそれぞれを用いて、それぞれ認識結果を導出する。つまり、ある認識対象データに対し、相異なる辞書（すなわち、異なる指定時間幅に関する辞書）に基づいて導出される複数の認識結果が得られる。認識モジュール２３は、辞書の選択とその辞書を用いた認識処理とを、例えば辞書の数だけ繰り返す。
認識モジュール２３は、各認識処理において、辞書を選択し、選択した辞書の訓練に用いられた指定時間幅と指定データ数とを読み出し、読み出した指定時間幅と指定データ数とを用いて認識処理を行う。そのためには、例えば、辞書と、辞書の訓練に用いられた指定時間幅および指定データ数とを関連づけるデータが、記憶モジュール３１に記憶されていればよい。
結果統合部２３５は、認識結果導出部２１３により導出された複数の認識結果を統合する。結果統合部２３５は、認識結果の統合により、最終的な認識結果（すなわち、認識モジュール２３による認識の結果として出力すべき情報）を導出する。
結果統合部２３５による統合の仕方は、第１の変形例の結果統合部２２５による統合の仕方として説明された方法のいずれかと同じでよい。
出力部２１４は、結果統合部２３５が導出した最終的な認識結果に基づく情報を、出力する。最終的な認識結果に基づく情報の具体内容については、「認識結果に基づく情報」について説明された内容がそのまま当てはまると理解されてよい。なお、言うまでもなく、最終的な認識結果に基づく情報は、認識結果導出部２１３が導出した認識結果に基づく情報の一つである。
＜動作＞
認識モジュール２３による認識処理の流れを、図１２のフローチャートを参照しながら説明する。
まず、認識モジュール２３は、複数の辞書から、１つの辞書を選択する（ステップＳ３１）。そして、認識モジュール２３は、選択した辞書により認識器を構築する（ステップＳ３２）。
次に、読み出し部２１１が、認識対象データ、選択した辞書に関連づけられた指定時間幅、および指定データ数を読み出す（ステップＳ３３）。そして、データ選択部２１２が、認識対象データにおける、認識結果を知りたい範囲を、指定時間幅のデータ範囲として設定し（ステップＳ３４）、設定されたデータ範囲から指定データ数の特徴データを選択する（ステップＳ３５）。データ選択部２１２は、選択したデータを、付与されている時間順に並べて出力する。そして、認識結果導出部２１３が、選択された特徴データ（時間順は保持されている）に対して認識器を用いて認識結果を導出する（ステップＳ３６）。
認識結果が導出されたら、出力部２１４がその認識結果を一時的に（例えば記憶モジュール３１の記憶領域に）記録する（ステップＳ３７）。
次に、認識モジュール２３は、別の辞書を使用するかを判定する（ステップＳ３８）。この判定の基準は、例えば、辞書記憶部３１３が記憶する全ての辞書を使用し終わっているか、得られた認識結果の数が所定の数に達したか、等であり得る。
別の辞書を使用する場合（ステップＳ３８においてＹＥＳ）、認識モジュール２３はステップＳ３１からの処理を再び行う。ただし、ステップＳ３１において選択する辞書は、既に選択された辞書以外の辞書である。
別の辞書を使用しない場合（ステップＳ３８においてＮＯ）、結果統合部２３５が、一時的に記録された複数の認識結果を統合し、それにより最終的な認識結果を導出する（ステップＳ３９）。
そして、出力部２１４が、最終的な認識結果に基づく情報を出力する（ステップＳ４０）。
ステップＳ３２では、認識モジュール２３が、辞書が選択される度に、選択した辞書により認識器を構築しているが、予め全ての辞書による認識器を構築しておいてもよい。その場合、ステップＳ３２は省略され、ステップＳ３６において、認識結果導出部２１３は、予め構築された認識器の中から、選択された辞書にあう認識器を選んで用いる。
＜効果＞
第２の変形例によれば、精度がより高い認識が可能となる。その理由は、複数の指定時間幅を用いてそれぞれ訓練された複数の辞書が認識に用いられ、結果統合部２３５によって複数の認識結果から最終的な認識結果が統合的に導出されるからである。
［変更例］
以下に上記実施形態の説明で記載された事項の変更例をいくつか記載する。
（１）
サンプル用データにおいて、１つの特徴データに複数のラベルが付与されていてもよい。
（２）
サンプル用データにおけるラベルは、必ずしもすべての特徴データに付与されていなくてもよい。
（３）
サンプル用データにおいて、特徴データではなく、時間範囲に、ラベルが付与されていてもよい。このような場合、ラベル決定部１１３は、選択された特徴データに付与されている時刻を含む時間範囲に付与された１つ以上のラベルに基づき、教師ラベルを決定すればよい。あるいは、ラベル決定部１１３は、データ選択部１１２により決定されたデータ範囲と、ラベルが付与されている時間範囲との関係に基づき、教師ラベルを決定してもよい。例えば、あるラベル“Ａ”が付与されている時間範囲がデータ選択部１１２により決定されたデータ範囲に含まれる長さが、他のどのラベルが付与されている時間範囲がデータ選択部１１２により決定されたデータ範囲に含まれる長さよりも、長い場合、ラベル決定部１１３は、ラベル“Ａ”を教師ラベルとして決定してもよい。
（４）
認識モジュール２１～２３による認識は、挙動やイベントの発生以外の認識でもよい。認識は、時系列で並ぶ複数の特徴データを用いた認識であれば、例示した認識以外の認識であってもよい。
（５）
ラベルは、観測対象の状態を示す情報でもよい。状態を示すラベルを以下に例示すると、“存在する”、“存在していない”、“動いている”、“落下している”、“回転している”、“物を持っている”、“左方を見ている”、“速い”、“遅い”、 “正常”、“異常”、等がある。
（６）
ラベル決定部１１３は、各データに付与されたラベルの組み合わせに基づいて教師ラベルを決定してもよい。例えば、抽出したラベルが、時間順に“移動している”、“止まっている”との２種類のラベルを含んでいる場合、ラベル決定部１１３は、“滞留し始めた”というラベルを教師ラベルとして決定し得る。また、例えば、抽出したラベルの中に、“左方を見ている”と“右方を見ている”との２種類のラベルが存在している場合、ラベル決定部１１３は“きょろきょろしている”というラベルを教師ラベルとして決定し得る。
＜＜第２の実施形態＞＞
本発明の一実施形態に係る認識器訓練装置および認識装置について説明する。
本発明の一実施形態に係る認識器訓練装置１０は、特徴データの時系列を入力として認識結果を出力する認識器を訓練する装置である。
図１３は、認識器訓練装置１０の構成を示すブロック図である。認識器訓練装置１０は、訓練用特徴データ選択部１０１と、ラベル付与部１０２と、訓練部１０３と、を備える。
訓練用特徴データ選択部１０１は、時刻とラベルとが付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、その設定したデータ範囲の中から、指定の個数の特徴データを選択する。第１の実施形態におけるデータ選択部１１２は、訓練用特徴データ選択部１０１の一例に相当する。
ラベル付与部１０２は、訓練用特徴データ選択部１０１により選択された複数の（指定の個数の）特徴データであって時間順が保持された複数の（指定の個数の）特徴データに対し、その複数の特徴データに関する情報に基づいて、上記認識器の認識結果に相当する教師ラベルを付与する。複数の特徴データに関する情報の一例は、複数の特徴データの少なくとも１つに付与されたラベルである。第１の実施形態におけるラベル決定部１１３は、ラベル付与部１０２の一例に相当する。
訓練部１０３は、訓練用特徴データ選択部１０１により選択された、時間順が保持された複数の特徴データと、ラベル付与部１０２により付与された教師ラベルとの組を、訓練データとして、上記認識器を訓練する。第１の実施形態における訓練部１１４は、訓練部１０３の一例に相当する。
認識器訓練装置１０による動作の流れを、図１４のフローチャートを参照しながら説明する。まず、訓練用特徴データ選択部１０１が、特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、その設定したデータ範囲の中から、指定の個数の特徴データを選択する（ステップＳ１０１）。次に、ラベル付与部１０２が、訓練用特徴データ選択部１０１により選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、その複数の特徴データに関する情報に基づいて、認識器の認識結果に相当する教師ラベルを付与する（ステップＳ１０２）。そして、訓練部１０３が、訓練用特徴データ選択部１０１により選択された、時間順が保持された複数の特徴データと、ラベル付与部１０２により付与された教師ラベルと、の組を、訓練データとして、認識器を訓練する（ステップＳ１０３）。
認識器訓練装置１０によれば、時系列データの取得における時間間隔に依存しない認識器の生成が可能になる。その理由は、訓練用特徴データ選択部１０１が、時間間隔に依存せずに特徴データを選択可能であり、訓練部１０３が、選択された特徴データを使用して認識器の訓練を行うからである。
本発明の一実施形態に係る認識装置２０は、認識器を用いて、複数の特徴データを入力とした認識を行う。なお、認識装置２０が用いる認識器として、上述の認識器訓練装置１０によって訓練された認識器が採用されると、効果的である。
図１５は、認識装置２０の構成を示すブロック図である。認識装置２０は、認識用特徴データ選択部２０１と、認識部２０２と、出力部２０３と、を備える。
認識用特徴データ選択部２０１は、時刻が付与された特徴データのセットに対して、認識結果を知りたい範囲に、長さが指定の時間幅であるデータ範囲を設定し、その設定したデータ範囲の中から、指定の個数の特徴データを選択する。第１の実施形態におけるデータ選択部２１２は、認識用特徴データ選択部２０１の一例に相当する。
認識部２０２は、認識用特徴データ選択部２０１により選択された複数の（指定の個数の）特徴データであって時間順が保持された複数の（指定の個数の）特徴データを認識器に入力することにより、認識結果を導出する。第１の実施形態における認識結果導出部２１３は、認識部２０２の一例に相当する。
出力部２０３は、認識部２０２により導出された認識結果に基づく情報を出力する。第１の実施形態における出力部２１４は、出力部２０３の一例に相当する。
認識装置２０による動作の流れを、図１６のフローチャートを参照しながら説明する。まず、認識用特徴データ選択部２０１が、時刻が付与された特徴データのセットに対して、認識結果を知りたい範囲に、長さが指定の時間幅であるデータ範囲を設定し、その設定したデータ範囲の中から、指定の個数の特徴データを選択する（ステップＳ２０１）。次に、認識部２０２が、認識用特徴データ選択部２０１により選択された、時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出する（ステップＳ２０２）。そして、出力部２０３が、認識部２０２により導出された認識結果に基づく情報を出力する（ステップＳ２０３）。
認識装置２０によれば、時系列データの取得における時間間隔に依存しない認識が可能になる。その理由は、認識用特徴データ選択部２０１が、時間間隔に依存せずに特徴データを選択可能であり、認識部２０２が、選択された複数の特徴データを使用して認識を行うからである。
＜実施形態の各部を実現するハードウェアの構成＞
以上で説明された本発明の各実施形態において、各装置の各構成要素を示すブロックは、機能単位で示されている。しかし、構成要素を示すブロックは、各構成要素が別個のモジュールにより構成されることを必ずしも意味していない。
各構成要素の処理は、例えば、コンピュータシステムが、コンピュータ読み取り可能な記憶媒体により記憶された、その処理をコンピュータシステムに実行させるプログラムを、読み出し、実行することによって、実現されてもよい。「コンピュータ読み取り可能な記憶媒体」は、例えば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の可搬媒体、ならびに、コンピュータシステムに内蔵されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびハードディスク等の記憶装置である。「コンピュータ読み取り可能な記憶媒体」は、コンピュータシステム内部の揮発性メモリのようにプログラムを一時的に保持可能なもの、および、ネットワークや電話回線等の通信回線のように、プログラムを伝送するものも含む。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記憶されているプログラムとの組み合わせで実現できるものであってもよい。
「コンピュータシステム」とは、一例として、図１７に示されるようなコンピュータ９００を含むシステムである。コンピュータ９００は、以下のような構成を含む。
・１つまたは複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３へロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記憶媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
例えば、各実施形態における各装置の各構成要素は、その構成要素の機能を実現するプログラム９０４をＣＰＵ９０１がＲＡＭ９０３にロードして実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め、記憶装置９０５やＲＯＭ９０２に格納される。そして、必要に応じてＣＰＵ９０１がプログラム９０４を読み出す。記憶装置９０５は、例えば、ハードディスクである。プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記憶媒体９０６に格納されており、ドライブ装置９０７に読み出され、ＣＰＵ９０１に供給されてもよい。なお、記憶媒体９０６は、例えば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の、可搬媒体である。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個のコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部または全部は、その他の汎用または専用の回路、コンピュータ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部または全部が複数のコンピュータや回路等により実現される場合には、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、コンピュータや回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
＜＜付記＞＞
［付記１］
特徴データの時系列を入力として認識結果を出力する認識器を訓練する認識器訓練装置であって、
時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する訓練用特徴データ選択手段と、
前記訓練用特徴データ選択手段により選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与するラベル付与手段と、
前記時間順が保持された複数の特徴データと、前記ラベル付与手段により付与された前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する訓練手段と、
を備える認識器訓練装置。
［付記２］
前記訓練用特徴データ選択手段は、前記データ範囲を、ランダムにデータ範囲を設定する方法、または、設定の度にデータ範囲をずらして設定する方法により、設定する、
付記１に記載の認識器訓練装置。
［付記３］
前記セットに含まれる特徴データの各々にはそれぞれ前記認識結果に相当するラベルが付与されており、
前記ラベル付与手段は、
前記訓練用特徴データ選択手段により選択された前記複数の特徴データのそれぞれから、当該特徴データに関連づけられた前記ラベルを抽出し、
抽出した前記ラベルのうちで個数が最も多いラベルを選択する方法、または、抽出した前記ラベルごとに時刻に基づく重みをつけて個数を数え上げ、数え上げた結果としてのトータル値が最も大きいラベルを選択する方法、のいずれかを用いてラベルを選択し、選択したラベルを前記教師ラベルとして決定する、
付記１または２に記載の認識器訓練装置。
［付記４］
前記訓練用特徴データ選択手段は、前記指定の個数の前記特徴データを重複のないランダムな選択を行う方法で選択する、
付記１から３のいずれか一つに記載の認識器訓練装置。
［付記５］
前記訓練用特徴データ選択手段は、前記データ範囲から前記指定の個数の前記特徴データを選択する際に、当該データ範囲内の特徴データのうち最も新しい時刻が付与された特徴データを含むように、前記指定の個数の前記特徴データを選択する、
付記１から４のいずれか一つに記載の認識器訓練装置。
［付記６］
前記訓練用特徴データ選択手段は、前記データ範囲の中で新しい時刻が付与された特徴データほど大きい重みを設定し、重み付きのランダムな選択方法によって前記指定の個数の前記特徴データを選択する、
付記１から４のいずれか一つに記載の認識器訓練装置。
［付記７］
前記時間順が保持された複数の特徴データのそれぞれはベクトルで表現され、
前記訓練手段は、前記訓練用特徴データ選択手段により選択された複数の前記特徴データを前記時刻順に連結することにより生成する、１つのベクトルを、前記訓練データの入力側のデータとして使用する、
付記１から６のいずれか一つに記載の認識器訓練装置。
［付記８］
前記時間順が保持された複数の特徴データのそれぞれは２次元に配列した値により表現され、前記認識器はニューラルネットワークであり、
前記訓練手段は、前記訓練用特徴データ選択手段により選択された複数の前記特徴データを前記時刻順に配置することにより生成する、３次元のデータを、前記訓練データの入力側のデータとして使用する、
付記１から６のいずれか一つに記載の認識器訓練装置。
［付記９］
時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する認識用特徴データ選択手段と、
前記認識用特徴データ選択手段により選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出する認識手段と、
前記認識結果に基づく情報を出力する出力手段と、
を備える認識装置。
［付記１０］
前記認識用特徴データ選択手段は、前記データ範囲を、前記特徴データのセットのうち最も新しい時刻が付与された特徴データを含むように、設定する、
付記９に記載の認識装置。
［付記１１］
前記認識用特徴データ選択手段は、前記指定の個数の前記特徴データを重複のないランダムな選択を行う方法で選択する、
付記９または１０に記載の認識装置。
［付記１２］
前記認識用特徴データ選択手段は、前記データ範囲から前記指定の個数の前記特徴データを選択する際に、当該データ範囲内の特徴データのうち最も新しい時刻が付与された特徴データを含むように、前記指定の個数の前記特徴データを選択する、
付記９から１１のいずれか一つに記載の認識装置。
［付記１３］
前記認識用特徴データ選択手段は、前記データ範囲の中で新しい時刻が付与された特徴データほど大きい重みを設定し、重み付きのランダムな選択方法によって前記指定の個数の前記特徴データを選択する、
付記９から１１のいずれか一つに記載の認識装置。
［付記１４］
固定された前記データ範囲の設定のもとで、前記認識用特徴データ選択手段の処理と前記認識手段の処理とを所定の回数実行することにより、複数の認識結果を取得し、
前記複数の認識結果を統合することで総合的な認識結果を導出する認識結果統合手段をさらに備える、
付記９から１３のいずれか一つに記載の認識装置。
［付記１５］
複数の相異なる指定の時間幅のそれぞれについて、前記認識用特徴データ選択手段の処理と前記認識手段の処理とを実行することにより、時間幅毎の前記認識結果を取得し、
前記時間幅毎の前記認識結果を統合することで最終的な認識結果を導出する認識結果統合手段をさらに備える、
付記９から１３のいずれか一つに記載の認識装置。
［付記１６］
付記１から８のいずれか１つに記載の認識器訓練装置と、
付記９から１５のいずれか１つに記載の認識装置と、を含む
データ処理システム。
［付記１７］
特徴データの時系列を入力として認識結果を出力する認識器を訓練するデータ処理方法であって、
時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択し、
前記選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与し、
前記時間順が保持された複数の特徴データと、前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する、
データ処理方法。
［付記１８］
時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択し、
前記選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出し、
前記認識結果に基づく情報を出力する、
データ処理方法。
［付記１９］
前記データ範囲を、ランダムにデータ範囲を設定する方法、または、設定の度にデータ範囲をずらして設定する方法により、設定する、
付記１７または１８に記載のデータ処理方法。
［付記２０］
前記セットに含まれる特徴データの各々にはそれぞれ前記認識結果に相当するラベルが付与されており、
前記複数の特徴データのそれぞれから、それぞれに関連づけられた前記ラベルを抽出し、
抽出した前記ラベルのうちで個数が最も多いラベルを選択する方法、または、抽出した前記ラベルごとに時刻に基づく重みをつけて個数を数え上げ、数え上げた結果としてのトータル値が最も大きいラベルを選択する方法、のいずれかを用いてラベルを選択し、選択したラベルを前記教師ラベルとして決定する、
付記１７に記載のデータ処理方法。
［付記２１］
前記指定の個数の前記特徴データを重複のないランダムな選択を行う方法で選択する、
付記１７から２０のいずれか一つに記載のデータ処理方法。
［付記２２］
前記データ範囲から前記指定の個数の前記特徴データを選択する際に、当該データ範囲内の特徴データのうち最も新しい時刻が付与された特徴データを含むように、前記指定の個数の前記特徴データを選択する、
付記１７から２０のいずれか一つに記載のデータ処理方法。
［付記２３］
前記データ範囲の中で新しい時刻が付与された特徴データほど大きい重みを設定し、重み付きのランダムな選択方法によって前記指定の個数の前記特徴データを選択する、
付記１７から２０のいずれか一つに記載のデータ処理方法。
［付記２４］
前記時間順が保持された複数の特徴データのそれぞれはベクトルで表現され、
前記選択された複数の前記特徴データを前記時刻順に連結することにより生成する１つのベクトルを、前記認識器に入力されるデータとして使用する、
付記１７から２３のいずれか一つに記載のデータ処理方法。
［付記２５］
前記時間順が保持された複数の特徴データのそれぞれは２次元に配列した値により表現され、前記認識器はニューラルネットワークであり、
前記選択された複数の前記特徴データを前記時刻順に配置することにより生成する３次元のデータを、前記認識器に入力されるデータとして使用する、
付記１７から２３のいずれか一つに記載のデータ処理方法。
［付記２６］
固定された前記データ範囲の設定のもとで、前記指定の個数の前記特徴データの選択と前記認識結果の導出とを所定の回数実行することにより、複数の認識結果を取得し、
前記複数の認識結果を統合することで総合的な認識結果を導出し、
前記総合的な認識結果に基づく情報を出力する、
付記１８に記載のデータ処理方法。
［付記２７］
複数の相異なる指定の時間幅のそれぞれについて、前記指定の個数の前記特徴データの選択と前記認識結果の導出とを実行することにより、時間幅毎の前記認識結果を取得し、
前記時間幅毎の前記認識結果を統合することで最終的な認識結果を導出し、
前記最終的な認識結果に基づく情報を出力する、
付記１８または２６に記載のデータ処理方法。
［付記２８］
特徴データの時系列を入力として認識結果を出力する認識器を訓練するためのプログラムであって、
時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する特徴データ選択処理と、
前記特徴データ選択処理により選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与するラベル付与処理と、
前記時間順が保持された複数の特徴データと、前記ラベル付与処理により付与された前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する訓練処理と、
をコンピュータに実行させるプログラムを記録した、コンピュータ読み取り可能な記憶媒体。
［付記２９］
時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する特徴データ選択処理と、
前記特徴データ選択処理により選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出する認識処理と、
前記認識結果に基づく情報を出力する出力処理と、
をコンピュータに実行させるプログラムを記録した、コンピュータ読み取り可能な記憶媒体。
［付記３０］
前記特徴データ選択処理は、前記データ範囲を、ランダムにデータ範囲を設定する方法、または、設定の度にデータ範囲をずらして設定する方法により、設定する、
付記２８または２９に記載の記憶媒体。
［付記３１］
前記セットに含まれる特徴データの各々にはそれぞれ前記認識結果に相当するラベルが付与されており、
前記ラベル付与処理は、
前記特徴データ選択処理により選択された前記特徴データのそれぞれから、それぞれに関連づけられた前記ラベルを抽出し、
抽出した前記ラベルのうちで個数が最も多いラベルを選択する方法、または、抽出した前記ラベルごとに時刻に基づく重みをつけて個数を数え上げ、数え上げた結果としてのトータル値が最も大きいラベルを選択する方法、のいずれかを用いてラベルを選択し、選択したラベルを前記教師ラベルとして決定する、
付記２８に記載の記憶媒体。
［付記３２］
前記特徴データ選択処理は、前記指定の個数の前記特徴データを重複のないランダムな選択を行う方法で選択する、
付記２８から３１のいずれか一つに記載の記憶媒体。
［付記３３］
前記特徴データ選択処理は、前記データ範囲から前記指定の個数の前記特徴データを選択する際に、当該データ範囲内の特徴データのうち最も新しい時刻が付与された特徴データを含むように、前記指定の個数の前記特徴データを選択する、
付記２８から３１のいずれか一つに記載の記憶媒体。
［付記３４］
前記特徴データ選択処理は、前記データ範囲の中で新しい時刻が付与された特徴データほど大きい重みを設定し、重み付きのランダムな選択方法によって前記指定の個数の前記特徴データを選択する、
付記２８から３１のいずれか一つに記載の記憶媒体。
［付記３５］
前記時間順が保持された複数の特徴データのそれぞれはベクトルで表現され、
前記プログラムは、前記コンピュータに、前記特徴データ選択処理により選択された複数の前記特徴データを前記時刻順に連結することにより生成する１つのベクトルを、前記認識器に入力されるデータとして使用する、
付記２８から３４のいずれか一つに記載の記憶媒体。
［付記３６］
前記時間順が保持された複数の特徴データのそれぞれは２次元に配列した値により表現され、前記認識器はニューラルネットワークであり、
前記プログラムは、前記コンピュータに、前記特徴データ選択処理により選択された複数の前記特徴データを前記時刻順に配置することにより生成する３次元のデータを、前記認識器に入力されるデータとして使用する、
付記２８から３４のいずれか一つに記載の記憶媒体。
［付記３７］
前記プログラムは、
前記コンピュータに、固定された前記データ範囲の設定のもとで、前記特徴データ選択処理と前記認識処理とを所定の回数実行させることにより、複数の認識結果を取得させ、
前記コンピュータに、前記複数の認識結果を統合することで総合的な認識結果を導出する認識結果統合処理を実行させる、
付記２９に記載の記憶媒体。
［付記３８］
前記プログラムは、
前記コンピュータに、複数の相異なる指定の時間幅のそれぞれについて、前記特徴データ選択処理と前記認識処理とを実行させることにより、時間幅毎の前記認識結果を取得させ、
前記コンピュータに、前記時間幅毎の前記認識結果を統合することで最終的な認識結果を導出する統合処理を実行させる、
付記２９または３７に記載の記憶媒体。
本願発明は以上に説明した実施形態に限定されるものではない。以上に説明した実施形態の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１、２、３ データ処理システム
１０ 認識器訓練装置
１０１ 訓練用特徴データ選択部
１０２ ラベル付与部
１０３ 訓練部
２０ 認識装置
２０１ 認識用特徴データ選択部
２０２ 認識部
２０３ 出力部
１１ 訓練モジュール
１１１ 読み出し部
１１２ データ選択部
１１３ ラベル決定部
１１４ 訓練部
２１、２２、２３ 認識モジュール
２１１ 読み出し部
２１２ データ選択部
２１３ 認識結果導出部
２１４ 出力部
２２５ 結果統合部
２３５ 結果統合部
３１ 記憶モジュール
３１１ サンプル用データ記憶部
３１２ パラメータ記憶部
３１３ 辞書記憶部
３１４ 認識対象データ記憶部
９００ コンピュータ
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ プログラム
９０５ 記憶装置
９０６ 記憶媒体
９０７ ドライブ装置
９０８ 通信インタフェース
９０９ 通信ネットワーク
９１０ 入出力インタフェース
９１１ バス

Claims (20)

  1. 特徴データの時系列を入力として認識結果を出力する認識器を訓練する認識器訓練装置であって、
    時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する訓練用特徴データ選択手段と、
    前記訓練用特徴データ選択手段により選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与するラベル付与手段と、
    前記時間順が保持された複数の特徴データと、前記ラベル付与手段により付与された前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する訓練手段と、
    を備える認識器訓練装置。
  2. 前記訓練用特徴データ選択手段は、前記データ範囲を、ランダムにデータ範囲を設定する方法、または、設定の度にデータ範囲をずらして設定する方法により、設定する、
    請求項１に記載の認識器訓練装置。
  3. 前記セットに含まれる特徴データの各々にはそれぞれ前記認識結果に相当するラベルが付与されており、
    前記ラベル付与手段は、
    前記訓練用特徴データ選択手段により選択された前記複数の特徴データのそれぞれから、当該特徴データに関連づけられた前記ラベルを抽出し、
    抽出した前記ラベルのうちで個数が最も多いラベルを選択する方法、または、抽出した前記ラベルごとに時刻に基づく重みをつけて個数を数え上げ、数え上げた結果としてのトータル値が最も大きいラベルを選択する方法、のいずれかを用いてラベルを選択し、選択したラベルを前記教師ラベルとして決定する、
    請求項１または２に記載の認識器訓練装置。
  4. 前記訓練用特徴データ選択手段は、前記指定の個数の前記特徴データを重複のないランダムな選択を行う方法で選択する、
    請求項１から３のいずれか一項に記載の認識器訓練装置。
  5. 前記訓練用特徴データ選択手段は、前記データ範囲から前記指定の個数の前記特徴データを選択する際に、当該データ範囲内の特徴データのうち最も新しい時刻が付与された特徴データを含むように、前記指定の個数の前記特徴データを選択する、
    請求項１から４のいずれか一項に記載の認識器訓練装置。
  6. 前記訓練用特徴データ選択手段は、前記データ範囲の中で新しい時刻が付与された特徴データほど大きい重みを設定し、重み付きのランダムな選択方法によって前記指定の個数の前記特徴データを選択する、
    請求項１から４のいずれか一項に記載の認識器訓練装置。
  7. 前記時間順が保持された複数の特徴データのそれぞれはベクトルで表現され、
    前記訓練手段は、前記訓練用特徴データ選択手段により選択された複数の前記特徴データを時刻順に連結することにより生成する、１つのベクトルを、前記訓練データの入力側のデータとして使用する、
    請求項１から６のいずれか一項に記載の認識器訓練装置。
  8. 前記時間順が保持された複数の特徴データのそれぞれは２次元に配列した値により表現され、前記認識器はニューラルネットワークであり、
    前記訓練手段は、前記訓練用特徴データ選択手段により選択された複数の前記特徴データを時刻順に配置することにより生成する、３次元のデータを、前記訓練データの入力側のデータとして使用する、
    請求項１から６のいずれか一項に記載の認識器訓練装置。
  9. 時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する認識用特徴データ選択手段と、
    前記認識用特徴データ選択手段により選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出する認識手段と、
    前記認識結果に基づく情報を出力する出力手段と、
    を備える認識装置。
  10. 前記認識用特徴データ選択手段は、前記データ範囲を、前記特徴データのセットのうち最も新しい時刻が付与された特徴データを含むように、設定する、
    請求項９に記載の認識装置。
  11. 前記認識用特徴データ選択手段は、前記指定の個数の前記特徴データを重複のないランダムな選択を行う方法で選択する、
    請求項９または１０に記載の認識装置。
  12. 前記認識用特徴データ選択手段は、前記データ範囲から前記指定の個数の前記特徴データを選択する際に、当該データ範囲内の特徴データのうち最も新しい時刻が付与された特徴データを含むように、前記指定の個数の前記特徴データを選択する、
    請求項９から１１のいずれか一項に記載の認識装置。
  13. 前記認識用特徴データ選択手段は、前記データ範囲の中で新しい時刻が付与された特徴データほど大きい重みを設定し、重み付きのランダムな選択方法によって前記指定の個数の前記特徴データを選択する、
    請求項９から１１のいずれか一項に記載の認識装置。
  14. 固定された前記データ範囲の設定のもとで、前記認識用特徴データ選択手段の処理と前記認識手段の処理とを所定の回数実行することにより、複数の認識結果を取得し、
    前記複数の認識結果を統合することで総合的な認識結果を導出する認識結果統合手段をさらに備える、
    請求項９から１３のいずれか一項に記載の認識装置。
  15. 複数の相異なる指定の時間幅のそれぞれについて、前記認識用特徴データ選択手段の処理と前記認識手段の処理とを実行することにより、時間幅毎の前記認識結果を取得し、
    前記時間幅毎の前記認識結果を統合することで最終的な認識結果を導出する認識結果統合手段をさらに備える、
    請求項９から１３のいずれか一項に記載の認識装置。
  16. 請求項１から８のいずれか１項に記載の認識器訓練装置と、
    請求項９から１５のいずれか１項に記載の認識装置と、を含み、
    前記認識装置は、前記認識器訓練装置によって訓練された認識器を用いて認識結果を導出する
    データ処理システム。
  17. コンピュータが、
    特徴データの時系列を入力として認識結果を出力する認識器を訓練するデータ処理方法であって、
    時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択し、
    前記選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与し、
    前記時間順が保持された複数の特徴データと、前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する、
    データ処理方法。
  18. コンピュータが、
    時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択し、
    前記選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出し、
    前記認識結果に基づく情報を出力する、
    データ処理方法。
  19. 特徴データの時系列を入力として認識結果を出力する認識器を訓練するためのプログラムであって、
    時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する特徴データ選択処理と、
    前記特徴データ選択処理により選択された複数の特徴データであって時間順が保持された複数の特徴データに対し、当該複数の特徴データに関する情報に基づいて、前記認識結果に相当する教師ラベルを付与するラベル付与処理と、
    前記時間順が保持された複数の特徴データと、前記ラベル付与処理により付与された前記教師ラベルとの組を、訓練データとして、前記認識器を訓練する訓練処理と、
    をコンピュータに実行させるプログラム。
  20. 時刻が付与された特徴データのセットに対して、長さが指定の時間幅であるデータ範囲を設定し、当該データ範囲の中から、指定の個数の前記特徴データを選択する特徴データ選択処理と、
    前記特徴データ選択処理により選択された複数の特徴データであって時間順が保持された複数の特徴データを認識器に入力することにより、認識結果を導出する認識処理と、
    前記認識結果に基づく情報を出力する出力処理と、
    をコンピュータに実行させるプログラム。
JP2020567333A 2019-01-25 2019-01-25 認識器訓練装置、認識装置、データ処理システム、データ処理方法、およびプログラム Active JP7238905B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/002475 WO2020152848A1 (ja) 2019-01-25 2019-01-25 認識器訓練装置、認識装置、データ処理システム、データ処理方法、および記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2020152848A1 JPWO2020152848A1 (ja) 2021-11-11
JP7238905B2 true JP7238905B2 (ja) 2023-03-14

Family

ID=71736679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567333A Active JP7238905B2 (ja) 2019-01-25 2019-01-25 認識器訓練装置、認識装置、データ処理システム、データ処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220067480A1 (ja)
JP (1) JP7238905B2 (ja)
WO (1) WO2020152848A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954901B2 (en) * 2019-04-25 2024-04-09 Nec Corporation Training data generation apparatus
KR102592515B1 (ko) * 2021-12-14 2023-10-23 한국전자기술연구원 임베딩 기반 데이터 집합의 처리 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007220055A (ja) 2006-02-14 2007-08-30 Gootech:Kk 時系列パターン解析を伴うニューラルネットワーク
JP2018055294A (ja) 2016-09-27 2018-04-05 Kddi株式会社 時系列のイベント群から異常状態を検知するプログラム、装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007220055A (ja) 2006-02-14 2007-08-30 Gootech:Kk 時系列パターン解析を伴うニューラルネットワーク
JP2018055294A (ja) 2016-09-27 2018-04-05 Kddi株式会社 時系列のイベント群から異常状態を検知するプログラム、装置及び方法

Also Published As

Publication number Publication date
JPWO2020152848A1 (ja) 2021-11-11
WO2020152848A1 (ja) 2020-07-30
US20220067480A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112560886A (zh) 训练类条件生成对抗序列网络
KR20200022739A (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
CN109729395B (zh) 视频质量评估方法、装置、存储介质和计算机设备
JP6325405B2 (ja) 特徴点検出装置、方法及びプログラム
CN111931929A (zh) 一种多任务模型的训练方法、装置及存储介质
JP2018045516A (ja) 分類装置、分類方法およびプログラム
JP7238905B2 (ja) 認識器訓練装置、認識装置、データ処理システム、データ処理方法、およびプログラム
CN109168052B (zh) 服务满意度的确定方法、装置及计算设备
US10635991B2 (en) Learning method, information processing device, and recording medium
CN108985133B (zh) 一种人脸图像的年龄预测方法及装置
CN110929785B (zh) 数据分类方法、装置、终端设备及可读存储介质
US11449715B2 (en) Sequential learning maintaining a learned concept
CN110852427B (zh) 取证环境验证方法和装置、电子设备
US20230419170A1 (en) System and method for efficient machine learning
JP2021111273A (ja) 学習モデルの生成方法、プログラム及び情報処理装置
CN112101156A (zh) 一种目标识别的方法、装置和电子设备
US20200026985A1 (en) System and method for characterizing an arbitrary-length time series using pre-selected signatures
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
JP2015225410A (ja) 認識装置、方法及びプログラム
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
KR20220094967A (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
JP7168485B2 (ja) 学習データの生成方法、学習データ生成装置及びプログラム
KR101991186B1 (ko) 철근 검출 방법 및 그 장치
CN114996109A (zh) 用户行为识别方法、装置、设备及存储介质
CN113850160A (zh) 重复动作的计数方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R151 Written notification of patent or utility model registration

Ref document number: 7238905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151