JP7029363B2 - ラベリング装置、ラベリング方法及びプログラム - Google Patents

Description

本発明は、ラベリング装置、ラベリング方法及びプログラムに関する。

近年、データ収集技術の発展に伴い、時系列性を保持したデータ（以降、「時系列データ」と表す。）の収集が容易になってきている。このため、時系列データを分析することで、過去からのトレンド変化や季節性、周期性等の時間的傾向を把握することが可能となっている。例えば、データセンタに設置された各種センサから収集された時系列のセンサデータを分析して各種機器の異常発生を予測したり、店舗の日々の売上データを分析して顧客離脱の推移を予測したりすること等が行われている。このような時系列データ分析では、機械学習の手法を用いて、異常発生や顧客離脱の推移等の予測が行われる。

ここで、機械学習の手法を用いて何等かの予測を行う場合、教師あり学習の手法によってモデルの学習が行われることが多い。この場合、モデルの学習や評価のために、時系列データに対応した正解ラベルデータが必要となる。例えば、特許文献１では、時系列のセンサデータを用いて、教師あり学習の手法により行動モデルを学習する技術が開示されている。

正解ラベルデータは、例えば、センサ等によって収集される場合もあるが、時系列データを確認しながら人手で作成される場合もある。人手で正解ラベルデータ（以降では、単に「ラベルデータ」とも表す。）を作成することは、ラベリングと称される。このようなラベリングは、例えば、時系列データのラベリングを行うためのツール（ソフトウェア）を用いて行われることが多い。

特許第５５２０８８６号公報

しかしながら、一般に、時系列データはデータ数が膨大であるため、人手でのラベリングには多くの時間を要していた。また、人手でのラベリングでは、或るデータに対するラベリングが漏れたり、適切でないラベリングが行われたりする場合がある。

本発明の実施の形態は、上記の点に鑑みてなされたもので、時系列データに対して効率的なラベリングを行うことを目的とする。

上記目的を達成するため、本発明の実施の形態は、ラベリング対象の時系列データ｛ｘ_ｔ｝を入力する入力手段と、複数の時系列予測アルゴリズムのうち、ユーザにより選択された１以上の時系列予測アルゴリズムを用いて、前記時系列データ｛ｘ_ｔ｝に含まれる１以上のデータｘ_ｔをラベリングするラベリング手段と、前記ラベリングされた時系列データ｛ｘ_ｔ｝を出力する出力手段と、を有することを特徴とする。

時系列データに対して効率的なラベリングを行うことができる。

本発明の実施の形態におけるラベリング装置の機能構成の一例を示す図である。 本発明の実施の形態におけるラベリング処理の流れの一例を示すフローチャートである。 ラベリング画面の一例を示す図（１／２）である。 ラベリング画面の一例を示す図（２／２）である。 本発明の実施の形態におけるラベル付与又はラベル削除の流れの一例を示すフローチャートである。 本発明の実施の形態におけるラベリング装置のハードウェア構成の一例を示す図である。

以下、本発明の実施の形態について説明する。本発明の実施の形態では、時系列データに対して自動又は手動でラベリングを行うと共に、ラベリングに関する情報（例えば、ラベリングの候補となるデータを示す情報や種々の統計量を示す情報等）をユーザに提供することで、効率的なラベリングを可能とするラベリング装置１０について説明する。本発明の実施の形態では、ラベリングとは、時系列データに含まれるデータに対してラベルを付与する場合だけでなく、時系列データに含まれるデータに対して既に付与されているラベルを削除する場合も含まれるものとする。すなわち、本発明の実施の形態では、ラベリングは、時系列データに含まれるデータに対するラベルの付与又は削除を意味するものとする。

なお、或る所定の値のラベルがデータに付与されている場合、当該データを「ラベルが付与されていないデータ」（又は、「ラベル付与済みでないデータ」）と見做しても良い。例えば、ラベル値が「０」又は「１」の２値であり、ラベル値「０」が正常データを表し、ラベル値「１」が異常データを表すような場合、「０」のラベルが付与されているデータを「ラベルが付与されていないデータ」と見做しても良い。

ここで、時系列データとは、時系列性を保持したデータのことである。時系列データは、例えば、日時（又は、時刻等であっても良い。）を表すインデックスをｔとして、ｘ＝｛ｘ_ｔ｝（ｔ＝１，・・・，Ｔ）で表される。このとき、各ｘ_ｔは、スカラーで表されるデータであっても良いし、ベクトルで表されるデータ（すなわち、複数の変数で表されるデータ）であっても良い。例えば、各ｘ_ｔが３つの変数ｖ_１、ｖ_２及びｖ_３で表されるベクトルデータである場合、各ｘ_ｔは、ｘ_ｔ＝（ｖ_１，ｖ_２，ｖ_３）等の形式で表される。なお、Ｔは或る時間幅の日時を考えた場合における最終日時を表すインデックスである。

また、ラベルデータとは、時系列データに含まれるデータに対するラベルを示すデータのことである。ラベルデータは、例えば、ｙ＝｛ｙ_ｔ｝（ｔ＝１，・・・，Ｔ）で表される。なお、ｙ_ｔは、時系列データに含まれるデータｘ_ｔに対応するラベルである。ただし、ラベルデータは、例えば、時系列データに付与されているラベル値の集合をＣとして、ｙ＝｛ｙ_ｔ｜ｙ_ｔ∈Ｃ｝で表されるものであっても良い。

なお、時系列データとラベルデータとが別々のデータで表されている必要はなく、１つのデータ（すなわち、ラベル付き時系列データ）で表されていても良い。ラベル付き時系列データに含まれる各ｘ_ｔには、当該ｘ_ｔに付与されたラベルが含まれる。例えば、各ｘ_ｔが変数ｖで表されるスカラーデータである場合、ラベル付き時系列データに含まれる各ｘ_ｔは、ｘ_ｔ＝（ｖ，ｙ_ｔ）等の形式で表される。又は、例えば、各ｘ_ｔが３つの変数ｖ_１、ｖ_２及びｖ_３で表されるベクトルデータである場合、ラベル付き時系列データに含まれる各ｘ_ｔは、ｘ_ｔ＝（ｖ_１，ｖ_２，ｖ_３，ｙ_ｔ）等の形式で表される。

＜ラベリング装置１０の機能構成＞
まず、本発明の実施の形態におけるラベリング装置１０の機能構成について、図１を参照しながら説明する。図１は、本発明の実施の形態におけるラベリング装置１０の機能構成の一例を示す図である。

図１に示すように、本発明の実施の形態におけるラベリング装置１０は、表示制御部１０１と、操作受付部１０２と、データ入力部１０３と、ラベル処理部１０４と、統計量計算部１０５と、ラベル付与候補抽出部１０６と、データ出力部１０７とを有する。これら各部は、例えば、ラベリング装置１０にインストールされたラベリングプログラム１００がＣＰＵ（Central Processing Unit）に実行させる処理により実現される。また、本発明の実施の形態におけるラベリング装置１０は、記憶部２０１を有する。なお、ラベリングプログラム１００は、１つのプログラムであっても良いし、複数のプログラムモジュールにより構成されていても良い。

記憶部２０１は、ラベリングプログラム１００が利用する記憶領域であり、各種データを記憶する。記憶部２０１に記憶されるデータとしては、例えば、時系列データやラベリングデータ等が挙げられる。

表示制御部１０１は、表示に関する各種制御を行う。例えば、表示制御部１０１は、後述するラベリング画面を表示したり、このラベリング画面内における各種情報を表示したりする。

操作受付部１０２は、ユーザからの各種操作の入力を受け付ける。例えば、操作受付部１０２は、表示制御部１０１により表示されたラベリング画面における各種操作等を受け付ける。

データ入力部１０３は、時系列データ（ラベル付き時系列データも含む。）を入力する。ここで、データ入力部１０３は、例えばユーザ選択等に応じて、任意の形式の時系列データを入力することができる。

例えば、データ入力部１０３は、ラベリング装置１０の補助記憶装置等に記憶されているファイルを読み込むことで、このファイルに格納されている時系列データを入力しても良いし、ラベリング装置１０と通信ネットワークを介して接続される端末装置等からアップロードされたファイルを読み込むことで、このファイルに格納されている時系列データを入力しても良い。又は、例えば、データ入力部１０３は、ユーザにより記述又は選択されたＳＱＬクエリによりデータベースサーバ等から時系列データを入力しても良い。なお、このとき、データ入力部１０３は、例えばＪＯＩＮ操作等により、複数のデータベースサーバ等から時系列データを入力しても良い。

ラベル処理部１０４は、データ入力部１０３により入力された時系列データに対して、自動ラベリング又は手動ラベリングを行う。ここで、手動ラベリングとは、例えば、ユーザの操作により設定されたデータ又はユーザの操作により設定された範囲に属するデータに対してラベリングすることである。また、自動ラベリングとは、例えば、ユーザの操作により選択された時系列予測アルゴリズムとパラメータとを用いて、この時系列予測アルゴリズム及びパラメータから抽出されるデータに対してラベリングすることである。

自動ラベリングを用いることで、ユーザは、複数の時系列予測アルゴリズムの中から所望の時系列予測アルゴリズムを選択すると共に、選択した時系列アルゴリズムのパラメータを設定するだけで、時系列データに対して自動的にラベリングを行うことができるようになる。

統計量計算部１０５は、時系列データやラベルデータ等から所定の統計量を計算する。ここで、所定の統計量としては、例えば、時系列データのうちのラベルが付与されているデータ数とラベルが付与されていないデータ数との割合（百分率等）が挙げられる、また、これ以外にも、所定の統計量としては、例えば、時系列データのうちのラベルが付与されているデータの最小値や中央値、平均値、最大値等が挙げられる。同様に、例えば、時系列データのうちのラベルが付与されていないデータの最小値や中央値、平均値、最大値等が挙げられる。

統計量計算部１０５により計算された統計量を示す情報（以降、「統計量情報」とも表す。）は、表示制御部１０１により、ラベリング画面内に表示される。ラベリング画面内に表示された統計量情報を確認することで、ユーザは、時系列データをラベリングする際の参考とすることができる。

ラベル付与候補抽出部１０６は、ラベルが付与されているデータ（以降、「ラベル付与済みデータ」とも表す。）の選択とパラメータの設定とに応じて、データ入力部１０３により入力された時系列データの中からラベル付与の候補となるデータを抽出する。ラベル付与候補抽出部１０６は、例えば、時系列データの中から部分系列を作成した上で、この部分系列との距離に基づいて、ラベル付与の候補となるデータを抽出する。

ラベル付与候補抽出部１０６により抽出されたデータは、表示制御部１０１により、ラベル付与候補情報としてラベリング画面内に表示される。ラベリング画面内に表示されたラベル付与候補情報を確認することで、ユーザは、ラベル付与の候補となるデータを知ることができる。

データ出力部１０７は、時系列データ（ラベル付き時系列データも含む。）を出力する。ここで、データ出力部１０７は、例えばユーザの選択等に応じて、任意の形式で時系列データを出力することができる。

例えば、データ出力部１０７は、ラベリング装置１０の補助記憶装置等に対して時系列データをファイルとして出力しても良いし、ラベリング装置１０と通信ネットワークを介して接続されるサーバ装置等に時系列データをファイルとして出力しても良い。又は、例えば、データ出力部１０７は、データベースサーバ等に時系列データを出力しても良い。なお、データ出力部１０７は、時系列データ又はラベル付き時系列データではなく、ラベルデータのみを出力しても良い。

＜ラベリング処理＞
以降では、本発明の実施の形態におけるラベリング装置１０が実行するラベリング処理について、図２を参照しながら説明する。図２は、本発明の実施の形態におけるラベリング処理の流れの一例を示すフローチャートである。

ステップＳ１０１：まず、表示制御部１０１は、例えばラベリングプログラム１００の起動等に応じて、時系列データをラベリングするためのラベリング画面Ｇ１００を表示する。ここで、ラベリング画面Ｇ１００について、図３及び図４を参照しながら説明する。図３及び図４は、ラベリング画面Ｇ１００の一例を示す図である。なお、図３に示すラベリング画面Ｇ１００と図４に示すラベリング画面Ｇ１００とは、例えば、スクロールバー等により画面をスクロールさせることで相互に遷移させることができる。ただし、これに限られず、図３に示すラベリング画面Ｇ１００と図４に示すラベリング画面Ｇ１００とは、例えば、ボタンの押下等によって相互に遷移させることができるものであっても良い。

ラベリング画面Ｇ１００には、データ入力欄Ｇ１１０と、表示変数選択欄Ｇ１２０と、時系列データ（グラフ表示）欄Ｇ１３０と、拡大表示欄Ｇ１４０と、手動ラベリング（範囲指定）欄Ｇ１５０と、自動ラベリング欄Ｇ１６０と、ラベル付与又はラベル削除欄Ｇ１７０と、ラベル付与候補抽出欄Ｇ１８０と、データ出力欄Ｇ１９０と、時系列データ（リスト表示）欄Ｇ２００と、統計量情報欄Ｇ２１０と、ラベル付与候補情報欄Ｇ２２０とが含まれる。

データ入力欄Ｇ１１０は、データ入力部１０３により時系列データを入力する際の入力方法の設定と実行とを行うためのエリアである。データ入力欄Ｇ１１０には、データ入力の方法を設定するための入力方法設定欄Ｇ１１１と、時系列データの入力を実行するための入力ボタンＧ１１２とが含まれる。ユーザは、入力方法設定欄Ｇ１１１において、例えば、ファイルを読み込んで時系列データを入力する、データベースから時系列データを入力する等の各種入力方法を設定することができる。

表示変数選択欄Ｇ１２０は、時系列データ（グラフ表示）欄Ｇ１３０にグラフとして表示される変数を選択するためのエリアである。ユーザは、表示変数選択欄Ｇ１２０において、時系列データに含まれる各データの変数のうち、時系列データ（グラフ表示）欄Ｇ１３０にグラフとして表示する変数（以降、「表示対象変数」とも表す。）を選択することができる。

時系列データ（グラフ表示）欄Ｇ１３０は、データ入力部１０３により入力された時系列データの或る変数（上記の表示変数選択欄Ｇ１２０で選択された表示対象変数）に関するグラフ（以降では、「時系列グラフ」とも表す。）が表示されるエリアである。拡大表示欄Ｇ１４０は、時系列データ（グラフ表示）欄Ｇ１３０に表示されている時系列グラフを拡大表示するためのエリアである。

手動ラベリング（範囲指定）欄Ｇ１５０は、ラベル処理部１０４により日時の範囲指定で手動ラベリングを行う際の日時の範囲を設定するためのエリアである。自動ラベリング欄Ｇ１６０は、ラベル処理部１０４により自動ラベリングを行う際の時系列予測アルゴリズムの選択とパラメータの設定とを行うためのエリアである。ラベル付与又はラベル削除欄Ｇ１７０は、ラベル値の設定と、手動ラベリング又は自動ラベリングの実行とを行うためのエリアである。

ラベル付与候補抽出欄Ｇ１８０は、ラベル付与候補抽出部１０６によりラベル付与候補を抽出する際のパラメータの設定と実行とを行うためのエリアである。

データ出力欄Ｇ１９０は、データ出力部１０７によりデータ（時系列データ、ラベル付き時系列データ又はラベルデータ等）を出力する際の出力方法の設定と実行とを行うためのエリアである。

時系列データ（リスト表示）欄Ｇ２００は、データ入力部１０３により入力された時系列データに含まれる各データをリストとして表示されるエリアである。すなわち、時系列データ（リスト表示）欄Ｇ２００は、時系列データに含まれる各データが、いわゆる生データとしてそのまま表示されるエリアである。

統計量情報欄Ｇ２１０は、統計量計算部１０５により計算された統計量が統計量情報として表示されるエリアである。ラベル付与候補情報欄Ｇ２２０は、ラベル付与候補抽出部１０６により抽出されたラベル付与候補がラベル付与候補情報として表示されるエリアである。

以上のように、ラベリング画面Ｇ１００には、複数のエリアが含まれており、これらのエリアにおいて種々の操作や情報の参照等を行うことができる。これらの各エリアの詳細については後述する。なお、ラベリング画面Ｇ１００におけるユーザの各種操作（例えば、入力操作や選択操作、設定操作等）は、操作受付部１０２により受け付けられる。

ステップＳ１０２：次に、データ入力部１０３は、ラベリング画面Ｇ１００のデータ入力欄Ｇ１１０におけるユーザの操作に応じて、時系列データ（ラベル付き時系列データも含む。）を入力する。なお、データ入力部１０３により入力された時系列データは、記憶部２０１に記憶される。

ユーザは、データ入力欄Ｇ１１０の入力方法設定欄Ｇ１１１で所望の入力方法を設定した上で、入力ボタンＧ１１２を押下する操作を行うことで、この入力方法によって時系列データを入力することができる。なお、ユーザは、入力方法設定欄Ｇ１１１において入力方法を設定する際に、この入力方法に応じたパラメータも設定する。例えば、入力方法として「データベースから入力」を設定した場合には、該当のデータベースから時系列データを入力するためのＳＱＬを記述又は選択する。また、例えば、入力方法として「ファイルから入力」を設定した場合には、該当のファイルの格納先アドレス等を指定又は選択する。

上記のステップＳ１０２で時系列データが入力されると、時系列データ（リスト表示）欄Ｇ２００には、表示制御部１０１により時系列データに含まれる各データがリストとして表示される。

ステップＳ１０３：次に、操作受付部１０２は、ラベリング画面Ｇ１００の表示対象変数の選択を受け付ける。ユーザは、表示変数選択欄Ｇ１２０に含まれる選択欄Ｇ１２１に変数を入力することで、表示対象変数を選択することができる。なお、選択欄Ｇ１２１に入力可能な変数は、上記のステップＳ１０２で入力された時系列データに含まれる各データの変数のうちのいずれか１つの変数である。例えば、時系列データに含まれる各データｘ_ｔがｘ_ｔ＝（ｖ_１，ｖ_２，ｖ_３）と表される場合、選択欄Ｇ１２１に入力可能な変数は、ｖ_１、ｖ_２及びｖ_３のうちのいずれか１つの変数である。

また、時系列データがラベル付き時系列データある場合には、ラベル値を除く変数を選択欄Ｇ１２１に入力可能とする。例えば、ラベル付き時系列データに含まれる各データｘ_ｔがｘ_ｔ＝（ｖ_１，ｖ_２，ｖ_３，ｙ_ｔ）で表される場合、選択欄Ｇ１２１に入力可能な変数は、ｖ_１、ｖ_２及びｖ_３のうちのいずれか１つの変数である。

ただし、選択欄Ｇ１２１に対して２つ以上の変数を入力可能としても良い。この場合、時系列データ（グラフ表示）欄Ｇ１３０には、選択欄Ｇ１２１に入力された複数の表示対象変数に関するグラフがそれぞれ表示される。

上記のステップＳ１０３で表示対象変数が選択されると、時系列データ（グラフ表示）欄Ｇ１３０には、表示制御部１０１により時系列データの表示対象変数に関するグラフが表示される。すなわち、時系列データ（グラフ表示）欄Ｇ１３０には、当該時系列データの全時間区間のグラフＧ１３１と、或る時間区間のグラフＧ１３２とが含まれる。なお、グラフＧ１３１及びＧ１３２では、ラベル付与済みのデータに対して、例えば丸印等の目印が表示される。

ここで、グラフＧ１３２は、グラフＧ１３１の或る時間区間（例えば、ユーザにより指定された時間区間）を拡大表示したグラフである。ユーザは、拡大表示欄Ｇ１４０に含まれる開始日時入力欄Ｇ１４１に所望の開始日時を入力すると共に、終了日時入力欄Ｇ１４２に所望の終了日時を入力した上で、表示ボタンＧ１４３を押下することで、入力した開始日時から終了時間までの時間区間の時系列データをグラフＧ１３２として表示させることができる。ただし、開始日時＜終了日時である。例えば、上記のステップＳ１０２で入力された時系列データがｘ＝｛ｘ_ｔ｝（ｔ＝１，・・・，Ｔ）である場合、グラフＧ１３１は、ｘ_１，・・・，ｘ_Ｔの隣接するデータ同士を線分で接続したグラフである。一方で、開始日時をｔｓ（≧１），終了日時をｔｅ（≦Ｔ）とした場合、グラフＧ１３２は、ｘ_ｔｓ，・・・，ｘ_ｔｅの隣接するデータ同士を線分で接続したグラフである。なお、ユーザは、例えば、グラフＧ１３１から所望の時間区間を範囲指定等することにより、当該時間区間の時系列データをグラフＧ１３２として表示させることもできる。

以降のステップＳ１０４～ステップＳ１０７は、表示対象変数が選択された後に、ユーザの操作に応じて実行される。すなわち、手動ラベリングを行うための操作又は自動ラベリングを行うための操作をユーザが行った場合はステップＳ１０４～ステップＳ１０５が実行され、ラベル付与候補を抽出するための操作をユーザが行った場合はステップＳ１０６～ステップＳ１０７が実行される。また、これらのステップＳ１０４～ステップＳ１０７は、ラベリング後の時系列データを出力するための操作が行われるまで任意の回数繰り返し実行することができる。

ステップＳ１０４：手動ラベリングを行うための操作（以降では、「手動ラベリング操作」と表す。）又は自動ラベリングを行うための操作（以降では、「自動ラベリング操作」と表す。）がユーザにより行われた場合、操作受付部１０２は、当該操作を受け付ける。そして、ラベル処理部１０４は、手動ラベリング又は自動ラベリングによりラベル付与又はラベル削除を行う。

ここで、ユーザは、以下の操作により手動ラベリング操作又は自動ラベリング操作を行うことができる。

（手動ラベリング操作）
ユーザは、手動ラベリング（範囲指定）欄Ｇ１５０に含まれる開始日時入力欄Ｇ１５１に所望の開始日時を入力すると共に、終了日時入力欄Ｇ１５２に所望の終了日時を入力する。ただし、開始日時＜終了日時である。そして、ラベル付与を行う場合には、ユーザは、ラベル付与又はラベル削除欄Ｇ１７０に含まれる手動／自動区分選択欄Ｇ１７１で「手動」を選択すると共に、ラベル入力欄Ｇ１７２に所望のラベル値を入力した上で、ラベリングボタンＧ１７３を押下する。一方で、ラベル削除を行う場合には、ユーザは、ラベル付与又はラベル削除欄Ｇ１７０に含まれる手動／自動区分選択欄Ｇ１７１で「手動」を選択した上で、削除ボタンＧ１７４を押下する。

これにより、ユーザは、手動ラベリング操作を行うことができる。手動ラベリング操作が行われることで、時系列データに含まれる各データのうち、開始日時から終了日時までの時間区間に含まれるデータのラベリングが行われる。すなわち、ラベル付与の場合には、当該時間区間に含まれるデータに対して、当該ラベル値のラベルが付与される。一方で、ラベル削除の場合には、当該時間区間に含まれるデータからラベルが削除される。

なお、ユーザは、例えば、時系列データ（グラフ表示）欄Ｇ１３０に表示されているグラフＧ１３２中のデータを、マウス等のポインティングデバイスで選択することで手動ラベリング操作を行うことができても良い。このとき、ラベル付与の場合には、ユーザは、例えば、ラベル入力欄Ｇ１７２に所望のラベル値を入力した上で、グラフＧ１３２中の所望のデータを、ポインティングデバイスで選択すれば良い。一方で、ラベル削除の場合には、ユーザは、例えば、ラベル入力欄Ｇ１７２には何も入力されていない状態（ブランクの状態）で、グラフＧ１３２中の所望のデータを、ポインティングデバイスで選択すれば良い。又は、グラフＧ１３２中の所望のデータを、例えばポインティングデバイスでダブルクリックすること等によってラベル削除が行われても良い。

（自動ラベリング操作）
ユーザは、自動ラベリング欄Ｇ１６０に含まれるアルゴリズム選択欄Ｇ１６１から所望の時系列予測アルゴリズム（又は時系列アルゴリズムの組み合わせ）を選択すると共に、選択した時系列予測アルゴリズム（又は時系列アルゴリズムの組み合わせ）でのデータ抽出に必要なパラメータをパラメータ設定欄Ｇ１６２に設定する。そして、ラベル付与を行う場合には、ユーザは、ラベル付与又はラベル削除欄Ｇ１７０に含まれる手動／自動区分選択欄Ｇ１７１で「自動」を選択すると共に、ラベル入力欄Ｇ１７２に所望のラベル値を入力した上で、ラベリングボタンＧ１７３を押下する。一方で、ラベル削除を行う場合には、ユーザは、ラベル付与又はラベル削除欄Ｇ１７０に含まれる手動／自動区分選択欄Ｇ１７１で「自動」を選択した上で、削除ボタンＧ１７４を押下する。

これにより、ユーザは、自動ラベリング操作を行うことができる。自動ラベリング操作が行われることで、ユーザにより選択された時系列予測アルゴリズム（又は時系列アルゴリズムの組み合わせ）によりデータが抽出された上で、時系列データに含まれる各データうち、抽出されたデータがラベリングされる。なお、アルゴリズム選択欄Ｇ１６１で選択可能な時系列予測アルゴリズムとしては、例えば、Ｐｒｏｐｈｅｔ、ＡＲＩＭＡ、Ｓｉｎｇｕｌａｒ Ｓｐｅｃｔｒｕｍ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ、Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ等が挙げられる。ただし、アルゴリズム選択欄Ｇ１６１で選択可能な時系列予測アルゴリズムは、これらに限られず、時系列データを予測可能なアルゴリズムであれば任意のアルゴリズムがアルゴリズム選択欄Ｇ１６１で選択可能とすることができる。

なお、上記の手動ラベリング操作及び自動ラベリング操作では、手動／自動区分選択欄Ｇ１７１で「手動」又は「自動」のいずれかをユーザが選択したが、この選択操作を不要としても良い。この場合、例えば、ユーザによりラベリングボタンＧ１７３又は削除ボタンＧ１７４が押下された場合に、ラベル処理部１０４が「手動」又は「自動」のいずれであるかを判別すれば良い。このとき、例えば、手動ラベリング（範囲指定）欄Ｇ１５０に含まれる開始日時入力欄Ｇ１５１及び終了日時入力欄Ｇ１５２に開始日時及び終了日時がそれぞれ設定されている場合は「手動」と判別する一方で、アルゴリズム選択欄Ｇ１６１で時系列予測アルゴリズムが選択されていると共にパラメータ設定欄Ｇ１６２にパラメータが設定されている場合は「自動」と判別すれば良い。

ここで、上記のステップＳ１０４のラベル付与又はラベル削除（すなわち、ラベリング）の処理の流れについて、図５を参照しながら説明する。図５は、本発明の実施の形態におけるラベル付与又はラベル削除の流れの一例を示すフローチャートである。この処理は、手動ラベリング操作又は自動ラベリング操作の何れかの操作を操作受付部１０２が受け付けた場合に実行される。

ステップＳ２０１：まず、ラベル処理部１０４は、操作受付部１０２が受け付けた操作が手動ラベリング操作又は自動ラベリング操作のいずれであるかを判定する。この判定結果が手動ラベリング操作である場合、ラベル処理部１０４は、ステップＳ２０２に進む。一方で、この判定結果が自動ラベリング操作である場合、ラベル処理部１０４は、ステップＳ２０３に進む。

ステップＳ２０２：ラベル処理部１０４は、手動ラベリング操作で選択されたデータにしてラベル付与又はラベル削除を行う。すなわち、ラベル付与の場合、ラベル処理部１０４は、開始日時入力欄Ｇ１５１に入力された開始日時から、終了日時入力欄Ｇ１５２に入力された終了日時までの間の時間区間に含まれるデータに対して、ラベル入力欄Ｇ１７２に入力されたラベル値を付与する。これにより、ラベリング対象のデータｘ_ｔ（すなわち、手動ラベリング操作で選択されたデータｘ_ｔ）に対してラベルｙ_ｔが付与される。なお、このラベルｙ_ｔは記憶部２０１に記憶される。

一方で、ラベル削除の場合、ラベル処理部１０４は、開始日時入力欄Ｇ１５１に入力された開始日時から、終了日時入力欄Ｇ１５２に入力された終了日時までの間の時間区間に含まれるデータに付与されているラベルを削除する。これにより、ラベリング対象のデータｘ_ｔ（すなわち、手動ラベリング操作で選択されたデータｘ_ｔ）からラベルｙ_ｔが削除される。

なお、ラベルを削除することは、ラベル値を所定の値に更新又は上書きすることであっても良い。例えば、ラベル値が「０」又は「１」の２値であり、ラベル値「０」が正常データを表し、ラベル値「１」が異常データを表すような場合、ラベルの削除は、ラベル値「１」のラベルが付与されているデータのラベル値を「０」に更新又は上書きすることであっても良い。

ステップＳ２０３：ラベル処理部１０４は、自動ラベリング操作で選択された時系列予測アルゴリズム（又は時系列アルゴリズムの組み合わせ）と、この時系列予測アルゴリズム（又は時系列アルゴリズムの組み合わせ）でのデータ抽出に必要なパラメータとによりラベリング対象のデータを抽出する。

ここで、時系列の予測値と信頼区間とが出力される時系列予測アルゴリズムが選択された場合に、ラベル処理部１０４がラベリング対象のデータを抽出する例について説明する。なお、時系列の予測値と信頼区間とが出力される時系列予測アルゴリズムとしては、例えば、Ｐｒｏｐｈｅｔ等が挙げられる。

この場合、時系列予測アルゴリズムは、時系列データｘ＝｛ｘ_ｔ｝（ｔ＝１，・・・，Ｔ）を入力として、予測値の時系列データ｛＾ｘ_ｔ｝（ｔ＝１，・・・，Ｔ）と、信頼区間｛ｕ_ｔ｝及び｛ｌ_ｔ｝とを出力する。ここで、ｕ_ｔ及びｌ_ｔは、それぞれ予測値＾ｘ_ｔの信頼区間の上限及び下限である。また、予測値であることを示すハット「＾」は、便宜上、文字の頭上ではなく、文字の直前に記載する。

このとき、ラベル処理部１０４は、例えば、ｘ_１，・・・ｘ_Ｔのうち、ｘ_ｔ＞ｕ_ｔ又はｌ_ｔ＞ｘ_ｔのいずれかを満たすｘ_ｔをラベリング対象のデータとして抽出すれば良い。なお、この例の場合、ユーザは、パラメータの設定が不要である。

ただし、これに限られず、例えば、当該時系列予測アルゴリズムのパラメータとして閾値θがユーザにより設定された場合には、この閾値を用いてラベリング対象のデータを抽出しても良い。例えば、ｘ_ｔ－ｕ_ｔ＞θ又はｌ_ｔ－ｘ_ｔ＞θのいずれかを満たすｘ_ｔをラベリング対象のデータとして抽出しても良い。又は、例えば、｜ｘ_ｔ－＾ｘ_ｔ｜＞θを満たすｘ_ｔをラベリング対象のデータとして抽出しても良い。なお、このとき、パラメータとして重みが設定されても良い。例えば、重みａ（０＜ａ≦１）が設定された場合、｜ｘ_ｔ－ａ×＾ｘ_ｔ｜＞θを満たすｘ_ｔをラベリング対象のデータとして抽出するようにすれば良い。

また、時系列予測アルゴリズムの組み合わせがユーザにより選択された場合、複数の時系列予測アルゴリズムからラベリング対象のデータが抽出される。例えば、第１の時系列予測アルゴリズムと第２の時系列予測アルゴリズムとの組み合わせが選択された場合、第１の時系列予測アルゴリズムによる予測値の時系列データ｛＾ｘ´_ｔ｝（ｔ＝１，・・・，Ｔ）と、第２の時系列予測アルゴリズムによる予測値の時系列データ｛＾ｘ´´_ｔ｝（ｔ＝１，・・・，Ｔ）とを用いて、｜ｘ_ｔ－（ａ×＾ｘ´_ｔ＋ｂ×＾ｘ´´_ｔ）｜＞θを満たすｘ_ｔをラベリング対象のデータとして抽出すれば良い。なお、ａ、ｂ、θはユーザにより設定されたパラメータであり、ａ、ｂは第１の時系列予測アルゴリズムと第２の時系列予測アルゴリズムとの重みであり、例えば、ａ＋ｂ＝１、ａ≧０、ｂ≧０を満たすものである。

上記以外にも、例えば、第１の時系列予測アルゴリズムと第２の時系列予測アルゴリズムとが信頼区間を出力する場合には、第１の時系列予測アルゴリズムが出力する信頼区間を｛ｕ´_ｔ｝及び｛ｌ´_ｔ｝、第２の時系列予測アルゴリズムが出力する信頼区間を｛ｕ´´_ｔ｝及び｛ｌ´´_ｔ｝として、ｘ_ｔ＞（ｕ´_ｔ＋ｕ´´_ｔ）／２又は（ｌ´_ｔ＋ｌ´´_ｔ）／２＞ｘ_ｔのいずれかを満たすｘ_ｔをラベリング対象のデータとして抽出しても良い。また、時系列予測アルゴリズムの組み合わせは２つに限られず、３つ以上の時系列予測アルゴリズムの組み合わせであっても良い。

なお、上記では、時系列予測アルゴリズムを用いてラベリング対象のデータを抽出する場合について説明したが、例えば、ユーザにより設定された閾値θと、時系列データｘ＝｛ｘ_ｔ｝（ｔ＝１，・・・，Ｔ）との比較によってラベリング対象のデータを抽出しても良い。例えば、ｘ_ｔ＞θを満たすｘ_ｔをラベリング対象のデータとして抽出する（又は、ｘ_ｔ＜θを満たすｘ_ｔをラベリング対象のデータとして抽出する）等としても良い。

また、ラベル入力欄Ｇ１７２に設定されたラベル値に応じて、ラベリング対象のデータを抽出する条件を変更しても良い。例えば、上記の信頼区間が出力される時系列予測アルゴリズムを用いる場合に、ラベル値が「０」であるときはｘ_ｔ＞ｕ_ｔを満たすか否かを判定し、ラベル値が「１」であるときはｌ_ｔ＞ｘ_ｔを満たすか否かを判定する、等である。又は、例えば、予め決められた閾値と時系列データｘ＝｛ｘ_ｔ｝とを比較する場合に、ラベル値が「０」であるときは、閾値θ_０を用いて、ｘ_ｔ＞θ_０を満たすか否かを判定し、ラベル値が「１」であるときは、閾値θ_１を用いて、ｘ_ｔ＞θ_１を満たすか否かを判定する、等である。 ステップＳ２０４：ラベル処理部１０４は、上記のステップＳ２０３で抽出されたデータに対してラベル付与又はラベル削除を行う。すなわち、ラベル付与の場合、ラベル処理部１０４は、上記のステップＳ２０３で抽出されたデータに対して、ラベル入力欄Ｇ１７２に入力されたラベル値を付与する。これにより、ラベリング対象のデータｘ_ｔ（すなわち、上記のステップＳ２０３で抽出されたデータｘ_ｔ）に対してラベルｙ_ｔが付与される。なお、このラベルｙ_ｔは記憶部２０１に記憶される。

一方で、ラベル削除の場合、ラベル処理部１０４は、上記のステップＳ２０３で抽出されたデータに付与されているラベルを削除する。これにより、ラベリング対象のデータｘ_ｔ（すなわち、上記のステップＳ２０３で抽出されたデータｘ_ｔ）からラベルｙ_ｔが削除される。

なお、上記でラベル付与を行う際に、上記のステップＳ２０３で抽出されたデータに既にラベルが付与されている場合も有り得る。この場合、既に付与されているラベルを更新又は上書きしても良い。すなわち、ラベリングボタンＧ１７３の押下操作は、ラベル付与だけでなく、ラベルの更新又は上書きをするための操作を意味しても良い。また、ラベルの更新又は上書きだけでなく、上記のステップＳ２０３で抽出されたデータに対して追加でラベルを付与しても良い。また、既にラベルが付与されているデータは、上記のステップＳ２０３で抽出されないようにしても良い。この場合に、（１）既に付与されているラベルを更新又は上書きするか、（２）追加でラベルを付与するか、（３）既にラベルが付与されているデータが抽出されないようにするか、の（１）～（３）のいずれとするかは、例えば、ユーザにより選択されても良い。

また、上記でラベル付与を行う際に、上記のステップＳ２０３で抽出されたデータに対して、ラベル入力欄Ｇ１７２に設定されたラベル値を付与したが、これに限られず、例えば、ラベル入力欄Ｇ１７２へのラベル値の入力操作を不要とし、上記のステップＳ２０３で抽出されたデータに応じてラベル値を付与しても良い。この場合、例えば、信頼性区間が出力される時系列予測アルゴリズムでは、ｘ_ｔ－ｕ_ｔの値又はｌ_ｔ－ｘ_ｔの値に応じたラベル値をｘ_ｔに付与することが考えられる。具体的には、例えば、δ_ｔ＝ｘ_ｔ－ｕ_ｔとして、δ_ｔが或る範囲内の場合はラベル値「１」、別の或る範囲内の場合はラベル値「２」等のように、データに付与するラベル値を決定することが考えられる。同様に、例えば、ユーザにより設定された閾値θとｘ_ｔとの比較によってラベル値を決定する場合もθとｘ_ｔとの差に応じたラベル値をｘ_ｔに付与することが考えられる。

また、上述したように、ラベルを削除することは、ラベル値を所定の値に更新又は上書きすることであっても良い。例えば、ラベル値が「０」又は「１」の２値であり、ラベル値「０」が正常データを表し、ラベル値「１」が異常データを表すような場合、ラベルの削除は、ラベル値「１」のラベルが付与されているデータのラベル値を「０」に更新又は上書きすることであっても良い。

図２に戻る。ステップＳ１０５：統計量計算部１０５は、時系列データやラベルデータ等から所定の統計量を計算する。そして、表示制御部１０１は、統計量計算部１０５により計算された統計量で、統計量情報欄Ｇ２１０に表示されている統計量情報を更新する。

ここで、図４に示す統計量情報欄Ｇ２１０には、時系列データのうちのラベル値「０」のラベルが付与されているデータ数と、ラベル値「１」のラベルが付与されているデータ数との割合が円グラフとして表示されているが、これは一例であって、統計量情報欄Ｇ２１０には、統計量計算部１０５により計算された任意の統計量が任意の形式で表示される。例えば、円グラフとして、ラベル値「０」のラベルが付与されているデータ数と、ラベル値「１」のラベルが付与されているデータ数と、ラベルが付与されていないデータ数（この場合のラベルが付与されていないデータとは、ラベル値自体が付与されていないデータのことである。）との割合が表示されても良い。また、円グラフ以外にも、例えば、統計量計算部１０５により計算された統計量が、ラベルが付与されているデータ及びラベルが付与されていないデータそれぞれの最小値、中央値、平均値、最大値等である場合、統計量情報欄Ｇ２１０には、ラベルが付与されているデータに関する箱ひげ図と、ラベルが付与されていないデータに関する箱ひげ図とが表示されていても良い。

ステップＳ１０６：ラベル付与候補を抽出するための操作（以降、「ラベル付与候補抽出操作」とも表す。）がユーザにより行われた場合、操作受付部１０２は、当該操作を受け付ける。そして、ラベル付与候補抽出部１０６は、データ入力部１０３により入力された時系列データの中からラベル付与の候補となるデータを抽出する。

ここで、ユーザは、ラベル付与候補抽出欄Ｇ１８０において、ラベル付与候補の抽出に必要なパラメータを設定すると共に、グラフＧ１３２の中から基準となるデータ（以降、「基準データ」と表す。）を選択した上で、抽出ボタンＧ１８５を押下することで、ラベル付与候補抽出操作を行うことができる。これらのパラメータは、例えば、距離選択欄Ｇ１８１と、ターゲットポイント選択欄Ｇ１８２と、時間長設定欄Ｇ１８３と、出力数設定欄Ｇ１８４とで設定することができる。また、基準データとしては、ラベル付与済みのデータの中から１つのデータが選択される。

距離選択欄Ｇ１８１では、ラベル付与候補の抽出に用いられる距離が選択される。距離選択欄Ｇ１８１で選択可能な距離としては、例えば、ＤＴＷ（Dynamic Time Warping）やユークリッド距離等が挙げられる。これら以外にも、例えば、フーリエ変換距離や自己回帰係数距離等が選択可能であっても良い。

ターゲットポイント選択欄Ｇ１８２では、時間長設定欄Ｇ１８３で設定された時間長の部分系列を作成する際に、部分系列中の基準位置が選択される。ターゲットポイント選択欄Ｇ１８２で設定可能な基準位置としては、「Ｆｉｒｓｔ」、「Ｃｅｎｔｅｒ」、「Ｌａｓｔ」等がある。

時間長設定欄Ｇ１８３には、部分系列の長さを示す時間長が設定される。ここで、本発明の実施の形態では、時間長は時系列データｘ＝｛ｘ_ｔ｝のインデックスの長さで表されるものとする。ただし、時間長は、インデックスの長さに限られず、例えば、時間幅等で表されても良い。

出力数設定欄Ｇ１８４には、ラベル付与候補抽出部１０６により抽出されるデータ数が設定される。

ここで、上記のパラメータと基準データｘ_ｔ´とを用いて、時系列データｘ＝｛ｘ_ｔ｝（ｔ＝１，・・・，Ｔ）の中からラベル付与候補を抽出する場合について説明する。なお、一例として、上記のパラメータのうち、時間長はＬ、出力数はＮであるものとする。

まず、ラベル付与候補抽出部１０６は、基準データｘ_ｔ´を基準位置に含む時間長Ｌの部分系列を作成する。例えば、基準位置が「Ｆｉｒｓｔ」である場合、ラベル付与候補抽出部１０６は、基準データｘ_ｔ´が先頭にある時間長Ｌの部分系列を作成する。また、例えば、基準位置が「Ｃｅｎｔｅｒ」である場合、ラベル付与候補抽出部１０６は、基準データｘ_ｔ´が中心にある時間長Ｌの部分系列（すなわち、例えば、Ｌ／２（Ｌ：偶数）番目又は（Ｌ＋１）／２（Ｌ：奇数）番目に基準データｘ_ｔ´がある時間長Ｌの部分系列）を作成する。また、例えば、基準位置が「Ｌａｓｔ」である場合、ラベル付与候補抽出部１０６は、基準データｘ_ｔ´が末尾にある時間長Ｌの部分系列を作成する。以降では、基準データｘ_ｔ´が含まれる部分系列を「基準部分系列」と表す。

次に、ラベル付与候補抽出部１０６は、時系列データのうちのラベル付与済みでないデータを基準位置に含む時間長Ｌの部分系列（以降、「対象部分系列」と表す。）と、基準部分系列との距離を計算する。例えば、時系列データのうちのラベル付与済みでないデータの日時ｔの集合をＳとすれば、例えば、ラベル付与済みでないデータを基準位置「Ｆｉｒｓｔ」に含む対象部分系列は、ｔ∈Ｓとして、ｘ_ｔ，・・・，ｘ_{ｔ＋Ｌ－１}で表される。同様に、例えば、ラベル付与済みでないデータを基準位置「Ｌａｓｔ」に含む対象部分系列は、ｔ∈Ｓとして、ｘ_{ｔ－Ｌ＋１}，・・・，ｘ_ｔで表される。したがって、ラベル付与候補抽出部１０６は、各ｔ∈Ｓについて、これらの対象部分系列と基準部分系列との距離を計算する。

そして、ラベル付与候補抽出部１０６は、基準部分系列との距離が小さい順に上位Ｎ個の対象部分系列を特定し、特定した対象部分系列の基準位置にあるデータを抽出する。これにより、ラベル付与の候補となるデータが抽出される。これは、基準部分系列と距離が小さい対象部分系列の基準位置にあるデータには、基準データと同様のラベルを付与することができる（又は基準データと同様のラベルが付与される可能性が高い）と考えられるためである。

ステップＳ１０７：表示制御部１０１は、上記のステップＳ１０６で抽出されたデータ（ラベル付与候補）で、ラベル付与候補情報欄Ｇ２２０に表示されているラベル付与候補情報を更新する。

ここで、図４に示すラベル付与候補情報欄Ｇ２２０には、「候補」として、上記のステップＳ１０６で抽出された上位３件のデータが表示されている。なお、「距離」は、当該データが含まれる対象部分系列と基準部分系列との距離である。また、「基準データ日時」及び「基準データラベル」は、それぞれ基準データの日時及びラベル値である。

なお、表示制御部１０１は、更に、上記のステップＳ１０６で抽出されたデータを示す情報を時系列データ（グラフ表示）欄Ｇ１３０に表示しても良い。例えば、グラフＧ１３２において、当該抽出されたデータの日時に縦線を表示したり、目立つ態様のアイコン等を表示したりしても良い。これにより、ユーザは、ラベル付与候補を示すデータがグラフＧ１３２上のどのデータであるのかを視覚的に容易に知ることができるようになる。

ステップＳ１０８：最後に、データ出力部１０７は、ラベリング画面Ｇ１００のデータ出力欄Ｇ１９０におけるユーザの操作に応じて、ラベリング後の時系列データを記憶部２０１から出力する。

ユーザは、データ出力欄Ｇ１９０の出力方法設定欄Ｇ１９１で所望の出力方法を設定した上で、出力ボタンＧ１９２を押下する操作を行うことで、この出力方法によってラベリング後の時系列データを入力することができる。ここで、ラベリング後の時系列データは、ラベル付き時系列データであっても良いし、時系列データとラベルデータとの組であっても良い。また、データ出力部１０７は、ラベルデータのみを出力しても良い。

なお、ユーザは、出力方法設定欄Ｇ１９１において出力方法を設定する際に、この出力方法に応じたパラメータも設定する。例えば、出力方法として「データベースへ出力」を設定した場合には、該当のデータベースを指定又は選択する。また、例えば、出力方法として「ファイルへ出力」を設定した場合には、該当のファイルの格納先アドレス等を指定又は選択する。

＜ラベリング装置１０のハードウェア構成＞
次に、本発明の実施の形態におけるラベリング装置１０のハードウェア構成について、図６を参照しながら説明する。図６は、本発明の実施の形態におけるラベリング装置１０のハードウェア構成の一例を示す図である。

図６に示すように、本発明の実施の形態におけるラベリング装置１０は、入力装置３０１と、表示装置３０２と、外部Ｉ／Ｆ３０３と、ＲＡＭ（Random Access Memory）３０４と、ＲＯＭ（Read Only Memory）３０５と、ＣＰＵ３０６と、通信Ｉ／Ｆ３０７と、補助記憶装置３０８とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。

入力装置３０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置３０２は、例えばディスプレイ等であり、ラベリング装置１０の処理結果を表示する。

外部Ｉ／Ｆ３０３は、外部装置とのインタフェースである。外部装置には、記録媒体３０３ａ等がある。ラベリング装置１０は、外部Ｉ／Ｆ３０３を介して、記録媒体３０３ａ等の読み取りや書き込みを行うことができる。記録媒体３０３ａには、ラベリングプログラム１００等が記録されていても良い。

記録媒体３０３ａとしては、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

ＲＡＭ３０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ３０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ３０５には、例えば、ＯＳ（Operating System）に関する設定情報や通信ネットワークに関する設定情報等が格納されている。

ＣＰＵ３０６は、ＲＯＭ３０５や補助記憶装置３０８等からプログラムやデータをＲＡＭ３０４上に読み出して、各種の処理を実行する演算装置である。

通信Ｉ／Ｆ３０７は、ラベリング装置１０を通信ネットワークに接続するためのインタフェースである。ラベリングプログラム１００は、通信Ｉ／Ｆ３０７を介して、所定のサーバ等から取得（ダウンロード）されても良い。

補助記憶装置３０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置３０８に格納されているプログラムやデータには、例えば、ＯＳ、アプリケーションプログラム、ラベリングプログラム１００等がある。なお、記憶部２０１は、例えば、補助記憶装置３０８等により実現される。

本発明の実施の形態におけるラベリング装置１０は、図６に示すハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図６に示す例では、ラベリング装置１０が１台のコンピュータで実現される場合のハードウェア構成を示したが、これに限られず、ラベリング装置１０は複数台のコンピュータで実現されていても良い。

＜まとめ＞
以上のように、本発明の実施の形態におけるラベリング装置１０は、ラベリング画面Ｇ１００上で、ユーザの操作によって自動又は手動で時系列データのラベリング（ラベル付与又はラベル削除）を行うことができる。特に、本発明の実施の形態におけるラベリング装置１０では、時系列予測アルゴリズムにより時系列データを自動でラベリングすることができる。このため、時系列データに対して効率的なラベリングを行うことができるようになる。すなわち、時系列データに対して、高速に高い精度でラベリングを行うことができるようになる。

また、本発明の実施の形態におけるラベリング装置１０は、ラベリング画面Ｇ１００内に統計量情報やラベル付与候補情報等を表示する。したがって、ユーザは、これらの情報を参考にして、時系列データに対するラベリング結果が妥当か否かを確認したり、ラベルの付与漏れが無いかを確認したりすること等ができるようになる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１０ ラベリング装置
１００ ラベリングプログラム
１０１ 表示制御部
１０２ 操作受付部
１０３ データ入力部
１０４ ラベル処理部
１０５ 統計量計算部
１０６ ラベル付与候補抽出部
１０７ データ出力部
２０１ 記憶部

Claims (8)

1. ラベリング対象の時系列データ｛ｘ_ｔ｝を入力する入力手段と、
   複数の時系列予測アルゴリズムのうち、ユーザにより選択された１以上の時系列予測アルゴリズムを用いて、前記時系列データ｛ｘ_ｔ｝に含まれる１以上のデータｘ_ｔをラベリングするラベリング手段と、
   前記ラベリングされた時系列データ｛ｘ_ｔ｝を出力する出力手段と、
   を有し、
   前記ラベリング手段は、
   前記１以上の時系列予測アルゴリズムによって前記時系列データ｛ｘ _ｔ ｝から予測された１以上の予測系列と、前記時系列データ｛ｘ _ｔ ｝とを用いて、前記時系列データ｛ｘ _ｔ ｝に含まれるデータｘ _ｔ と１以上の前記予測系列に含まれるインデックスｔの予測データの重み付け和との差と、所定の閾値との比較結果により、前記データｘ _ｔ をラベリングする、ことを特徴とするラベリング装置。
2. ラベリング対象の時系列データ｛ｘ _ｔ ｝を入力する入力手段と、
   前記時系列データ｛ｘ _ｔ ｝に含まれるデータｘ _ｔ のうち、ラベルが付与されていないデータｘ _ｔ を、ラベル付与の候補として抽出する抽出手段と、
   複数の時系列予測アルゴリズムのうち、ユーザにより選択された１以上の時系列予測アルゴリズムを用いて、ラベル付与の候補として抽出された１以上のデータｘ _ｔ をラベリングするラベリング手段と、
   前記ラベリングされた時系列データ｛ｘ _ｔ ｝を出力する出力手段と、
   を有することを特徴とするラベリング装置。
3. 前記ラベリング手段は、
   前記時系列予測アルゴリズムによって前記時系列データ｛ｘ_ｔ｝から予測された予測系列｛＾ｘ_ｔ｝の信頼区間の上限値系列｛ｕ_ｔ｝及び下限値系列｛ｌ_ｔ｝と、前記時系列データ｛ｘ_ｔ｝とを用いて、前記時系列データ｛ｘ_ｔ｝に含まれるデータｘ_ｔと、前記上限値系列｛ｕ_ｔ｝に含まれる上限値ｕ_ｔ又は前記下限値系列｛ｌ_ｔ｝に含まれる下限値ｌ_ｔとの比較結果により、前記データｘ_ｔをラベリングする、ことを特徴とする請求項２に記載のラベリング装置。
4. 前記抽出手段は、
   ユーザにより選択されたラベル付与済みのデータが含まれる第１の部分系列と、前記時系列データ｛ｘ_ｔ｝に含まれる第２の部分系列との距離を計算し、該計算した距離が小さい順に、上位所定の件数の第２の部分系列の所定の位置に含まれるデータを、前記ラベル付与の候補として抽出する、ことを特徴とする請求項２又は３に記載のラベリング装置。
5. 前記ラベル付与の候補と、前記ラベリングされた時系列データ｛ｘ_ｔ｝の所定の統計量を示す情報とが少なくとも含まれる画面を表示する表示手段を有する、ことを特徴とする請求項２乃至４の何れか一項に記載のラベリング装置。
6. コンピュータが、
   ラベリング対象の時系列データ｛ｘ_ｔ｝を入力する入力手順と、
   複数の時系列予測アルゴリズムのうち、ユーザにより選択された１以上の時系列予測アルゴリズムを用いて、前記時系列データ｛ｘ_ｔ｝に含まれる１以上のデータｘ_ｔをラベリングするラベリング手順と、
   前記ラベリングされた時系列データ｛ｘ_ｔ｝を出力する出力手順と、
   を実行し、
   前記ラベリング手順は、
   前記１以上の時系列予測アルゴリズムによって前記時系列データ｛ｘ _ｔ ｝から予測された１以上の予測系列と、前記時系列データ｛ｘ _ｔ ｝とを用いて、前記時系列データ｛ｘ _ｔ ｝に含まれるデータｘ _ｔ と１以上の前記予測系列に含まれるインデックスｔの予測データの重み付け和との差と、所定の閾値との比較結果により、前記データｘ _ｔ をラベリングする、ことを特徴とするラベリング方法。
7. コンピュータが、
   ラベリング対象の時系列データ｛ｘ _ｔ ｝を入力する入力手順と、
   前記時系列データ｛ｘ _ｔ ｝に含まれるデータｘ _ｔ のうち、ラベルが付与されていないデータｘ _ｔ を、ラベル付与の候補として抽出する抽出手順と、
   複数の時系列予測アルゴリズムのうち、ユーザにより選択された１以上の時系列予測アルゴリズムを用いて、ラベル付与の候補として抽出された１以上のデータｘ _ｔ をラベリングするラベリング手順と、
   前記ラベリングされた時系列データ｛ｘ _ｔ ｝を出力する出力手順と、
   を実行することを特徴とするラベリング方法。
8. コンピュータを、請求項１乃至５の何れか一項に記載のラベリング装置における各手段として機能させるためのプログラム。

Images