JP7239991B2 - ラベル付与装置、ラベル付与方法、及びプログラム - Google Patents

Description

本発明は、ラベル付与装置、ラベル付与方法、及びプログラムに関する。
本願は、２０１８年１月５日に、日本に出願された特願２０１８－０００８０６号に基づき優先権を主張し、その内容をここに援用する。

人間が身につけたセンサから取得されたデータ、あるいは環境を測定するセンサから取得されたセンサデータから、人間の行動を推定する行動認識の技術が知られている。行動認識の技術では、人間の行動を推定することにより、業務の自動記録や可視化、行動を振り返ることによる業務改善が可能となる。また、センサなどから取得されたデータと、業績等の他のデータとを組み合わせて業務改善に役立たせることが考えられる。
センサを始めとする時系列データを用いる行動認識には、機械学習の一分野である教師あり学習が使われる。教師あり学習では、教師データを用いて学習モデルを生成する。教師データとは、実際の行動を示す情報である教師ラベルと、センサから取得されたデータから抽出される特徴量とを組み合わせたデータである。教師あり学習では、生成された学習モデルに基づいて、センサから取得されたデータから抽出される特徴量から行動を示す教師ラベルを推定する。

このような教師あり学習を用いて人間の行動を推定する技術として、例えば、位置センサやモーションセンサから取得した情報に基づいた行動パターン認識結果と、位置センサやモーションセンサから取得した情報以外の情報とを組み合わせ、情報を提供する情報処理装置が知られている（特許文献１）。特許文献１に記載の情報処理装置では、テキスト情報と、テキスト情報が入力された時刻情報とを取得し、取得したテキストを解析し、ユーザの体験に関する情報をテキスト情報から抽出する。特許文献１に記載の情報処理装置では、ユーザの体験に関する情報を得る場合、テキスト情報から種類特徴量を抽出し、抽出された種類特徴量に基づいて、学習モデルを利用して、入力された種類特徴量から体験の種類を判別する。

特開２０１３－２５０８６１号公報

しかしながら、特許文献１に記載の情報処理装置のような技術においては、機械学習アルゴリズムを用いているため、学習モデルを生成するために教師データを作成する必要がある。教師データを作成するには、センサから取得されたデータから特徴量を抽出し、抽出した特徴量に対応する教師ラベルを付与しなければならない。教師ラベルの付与（アノテーション）は人間が行うため、特徴量に対応する教師ラベルの選択に手間と時間がかかり負担が大きい。このため、教師データの十分な収集ができず、精度の高い行動認識を実施するのが困難であった。

本発明は上記の点に鑑みてなされたものであり、機械学習の学習に用いられる教師データの教師ラベルの付与を簡便に行うことができるラベル付与装置、ラベル付与方法、及びプログラムを提供する。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データ（ＴＤ）のラベル付与装置（１）であって、前記行動が自然言語テキスト形式で記録されたテキストデータ（ＴＸ）に含まれる前記行動を示す行動キーワード（ＫＡ）を教師ラベルの候補である教師ラベル候補（ＬＣ）として抽出するキーワード抽出部（１０）と、前記キーワード抽出部（１０）が抽出した前記教師ラベル候補（ＬＣ）の中から、前記行動が行われた時刻の候補を示す時刻情報（ＴＩ）に対応する前記教師ラベル（ＬＬ）を選択する選択部（１４）と、を備えるラベル付与装置である。

また、本発明の一態様は、上記のラベル付与装置において、前記キーワード抽出部は、前記テキストデータから前記時刻情報を抽出する。

また、本発明の一態様は、上記のラベル付与装置において、前記キーワード抽出部は、抽出した前記教師ラベル候補において、１つの前記行動に対して複数の前記教師ラベル候補があるときは、複数の前記教師ラベル候補よりも少ない個数の前記教師ラベル候補を抽出する。

また、本発明の一態様は、上記のラベル付与装置において、前記キーワード抽出部は、形態素解析、係り受け解析、及び格フレーム解析のいずれかの手法を使って前記教師ラベル候補を抽出する。

また、本発明の一態様は、上記のラベル付与装置において、前記選択部は、前記キーワード抽出部が抽出した前記教師ラベル候補の中から前記教師ラベルを、教師あり学習を用いて選択する。

また、本発明の一態様は、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与方法であって、前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出過程と、前記キーワード抽出過程において抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択過程と、をコンピュータが実行するラベル付与方法である。

また、本発明の一態様は、コンピュータに、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与を行うコンピュータに、前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出ステップと、前記キーワード抽出ステップにおいて抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択ステップと、を実行させるプログラムである。

本発明によれば、機械学習の学習に用いられる教師データの教師ラベルの付与を簡便に行うことができる。

本発明の実施形態に係るラベル付与装置を用いた機械学習による行動認識の概要を示す図である。 本発明の実施形態に係るラベル付与装置の構成の一例を示す図である。 本発明の実施形態に係るラベル付与装置の学習処理の一例を示す図である 本発明の実施形態に係るラベル付与装置の教師データの生成処理の一例を示す図である。 本発明の実施形態に係るテキストデータの一例を示す図である。 本発明の実施形態に係るセグメントの一例を示す図である。 本発明の実施形態に係る選択部の教師ラベル候補の選択処理の概要の一例を示す図である。 本発明の実施形態に係る行動推定装置の推定処理の一例を示す図である。

（実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係るラベル付与装置１を用いた機械学習による行動認識の概要を示す図である。この機械学習による行動認識では、被験者の行動の時系列を推定する。ラベル付与装置１を用いた機械学習による行動認識には、学習フェーズと、推定フェーズとがある。

学習フェーズでは、教師データＴＤが生成され、生成された教師データＴＤを用いた機械学習により学習モデルＬＭが生成される。本実施形態のラベル付与装置１は、この教師データＴＤを生成する。

教師データＴＤは、センサデータＳＤ１から抽出される特徴量ベクトルＦＶと、教師ラベルＬＬとの組である。ここで教師ラベルＬＬとは、被験者の行動を示すキーワードである。教師ラベルＬＬは、例えば、［食べた］、「トイレ」、「薬を飲んだ」、「錠剤を服用した」、「服用」、「散歩」、「走った」などの被験者の行動を示すキーワードである。センサデータＳＤ１とは、被験者の動作や姿勢を測定するセンサが測定した値を、値が測定された時間の順に並べた時系列データである。

センサとは、例えば、被験者の生体情報を取得するセンサや、被験者の体動を検知する加速度計などである。センサが測定した値とは、被験者の心拍数や、センサが取りつけられた身体の部位の加速度である。このセンサは、被験者の身体に設けられてもよいし、被験者の周囲に設置されてもよい。被験者の周囲に設置される場合、センサは、被験者の周囲に設置されたカメラが被験者を撮像した画像を画像解析することにより、被験者の動作や姿勢を測定してもよい。センサは、環境センサであってもよい。センサが環境センサである場合、被験者の周囲の明るさ、室温、気温、及び湿度などの環境データを測定してもよい。また、センサは、人感センサであってもよい。ただし、センサが被験者の周囲に設置される場合、センサは、測定するデータが被験者についてのデータであることを識別できる。例えば、センサは、被験者の動作や姿勢と被験者以外の人物の動作や姿勢とを区別できる。また、センサは、環境データを被験者の住居の環境データと、他の場所の環境データとを区別できる。

教師ラベルＬＬは、自然言語テキスト形式を用いて被験者の行動が記録されたテキストデータＴＸから、自然言語処理により行動キーワードＫＡが、教師ラベル候補ＬＣとして抽出され、抽出された教師ラベル候補ＬＣから生成される。ここで行動キーワードＫＡとは、被験者の行動を示すキーワードである。教師ラベル候補ＬＣとは、教師ラベルＬＬの候補である。つまり、被験者の行動を示すキーワードが、教師ラベルＬＬの候補として抽出される。テキストデータＴＸは、例えば、介護施設において被験者の介護の様子が記録された業務日誌として記述されたデータである。

被験者の行動が記録されたテキストデータＴＸからは、教師ラベル候補ＬＣとともに、被験者の行動が行われた時刻の候補を示す時刻情報ＴＩが抽出される。ここで時刻情報ＴＩには、開始時刻の候補を示す開始時刻情報ＢＴ、及び終了時刻の候補を示す終了時刻情報ＥＴがある。教師ラベル候補ＬＣと、被験者の行動の開始時刻情報ＢＴ及び終了時刻情報ＥＴとからラベルセグメントＬＳが生成される。ここでラベルセグメントＬＳとは、教師ラベル候補ＬＣと、開始時刻情報ＢＴ及び終了時刻情報ＥＴとの組である。以下では、開始時刻情報ＢＴが示す被験者の行動の開始時刻の候補から、終了時刻情報ＥＴが示す被験者の行動の終了時刻の候補までの時間区間を、ラベルセグメントＬＳの時間区間ＩＮと呼ぶ。また、ラベルセグメントＬＳに含まれる開始時刻情報ＢＴが示す行動の開始時刻を、ラベルセグメントＬＳの開始時刻などと呼ぶことがある。ラベルセグメントＬＳに含まれる終了時刻情報ＥＴが示す行動の終了時刻を、ラベルセグメントＬＳの開始時刻などと呼ぶことがある。

特徴量ベクトルＦＶとは、センサデータＳＤ１から抽出される１以上の特徴量を並べたベクトルである。センサデータＳＤ１の特徴量とは、ある時間間隔におけるデータの値の平均、標準偏差、最大値、最小値、増加率、及び１次微分の平均値などである。以下、時間間隔を、時間窓ＴＷと呼ぶ。抽出された１以上の特徴量は、時間窓ＴＷの中央値によって示される時刻における特徴量ベクトルＦＶを構成する。
時間窓ＴＷのサイズは、秒数などに基づいて予め決められてもよいし、特徴量を抽出するのに適したサイズとして決められてもよい。時間窓ＴＷ同士の間隔は、秒数などを用いて予め決められてもよいし、特徴量を抽出するのに適した間隔として決められてもよい。

図１に示す例においては、時間窓ＴＷ１における１以上の特徴量が、時間窓ＴＷ１の中央値によって示される時刻における特徴量ベクトルＦＶ１として抽出されている。時間窓ＴＷ２における１以上の特徴量が、時間窓ＴＷ２の中央値によって示される時刻における特徴量ベクトルＦＶ２として抽出されている。時間窓ＴＷ３における１以上の特徴量が、時間窓ＴＷ３の中央値によって示される時刻における特徴量ベクトルＦＶ３として抽出されている。ただし、図１に示す例においては、時間窓ＴＷ１～時間窓ＴＷ３のみが図示されているが、時間窓ＴＷ１～時間窓ＴＷ３以外の時間窓に対応する特徴量ベクトルも抽出されている。

図１に示す例では、センサデータＳＤ１が示す時間に対応する被験者の行動が記録されたテキストデータＴＸから１以上のラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…が生成されている。ただし、図１に示す例においては、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２のみが図示されているが、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２以外のラベルセグメントＬＳｉ（ｉ＝３、４、…）も生成されている。

抽出された特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…と、生成されたラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…とから、教師あり学習を用いて、サンプルＳＭ１、サンプルＳＭ２、サンプルＳＭ３、…が生成される。ここでサンプルとは、ある時刻における特徴量ベクトルＦＶと、この時刻における教師ラベルＬＬとの組である。例えば、サンプルＳＭ１は、特徴量ベクトルＦＶ１と教師ラベルＬＬ１との組である。

ここで、特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…の数と、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…の数とは一般に異なる。また、特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…の各々に対応する時刻と、ラベルセグメントＬＳ１の時間区間ＩＮ１、ラベルセグメントＬＳ２の時間区間ＩＮ２、…とは対応しているとは限らない。特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…と、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…とから、教師あり学習により、特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…の各々に対応する教師ラベルＬＬ１、教師ラベルＬＬ２、教師ラベルＬＬ３、…が判定される。この教師あり学習の詳細については後述する。

生成されたサンプルＳＭ１、サンプルＳＭ２、サンプルＳＭ３、…は教師データＴＤとなる。教師データＴＤを用いた機械学習により学習モデルＬＭが生成される。学習モデルＬＭは、センサデータＳＤ１から抽出されるある特徴量ベクトルＦＶｊが入力されると、センサデータＳＤ１が示す被験者の行動を示すキーワードを出力する関数である。

推定フェーズでは、学習フェーズにおいて学習された学習モデルＬＭを用いて、センサデータＳＤ２から被験者の行動が推定される。推定フェーズにおいては、学習フェーズと異なり、センサデータＳＤ２が示す時間に対応する被験者の行動が記録されたテキストデータＴＸが用いられずに、学習モデルＬＭに基づいてセンサデータＳＤ２から推定ラベルＥＬが推定される。推定ラベルＥＬとは、センサデータＳＤ２が示す時間に対応する被験者の行動を示すキーワードである。

センサデータＳＤ２から、時間窓ＥＴＷ１に対応する特徴量ベクトルＥＦＶ１が生成される。センサデータＳＤ２から、時間窓ＥＴＷ２に対応する特徴量ベクトルＥＦＶ２が生成される。センサデータＳＤ２から、時間窓ＥＴＷ３に対応する特徴量ベクトルＥＦＶ３が生成される。特徴量ベクトルＥＦＶ１、特徴量ベクトルＥＦＶ２、特徴量ベクトルＥＦＶ３、…から、学習モデルＬＭに基づいて推定ラベルＥＬ１、推定ラベルＥＬ２、推定ラベルＥＬ３、…がそれぞれ推定される。

（ラベル付与装置の構成）
次に図２を参照しラベル付与装置１の構成について説明する。図２は、本実施形態に係るラベル付与装置１の構成の一例を示す図である。
ラベル付与装置１は、センサデータＳＤ１から抽出される特徴量ベクトルＦＶに教師ラベルＬＬを付与する。ラベル付与装置１は、特徴量ベクトルＦＶに教師ラベルＬＬを付与することにより教師データＴＤを生成する。ここでラベル付与装置１は、テキストデータ供給部２が供給するテキストデータＴＸと、第１センサデータ供給部３が供給するセンサデータＳＤ１とから教師データＴＤを生成する。ラベル付与装置１は、生成した教師データＴＤを行動推定装置４に供給する。
ラベル付与装置１は、キーワード抽出部１０と、前処理部１１と、時間窓切り出し部１２と、特徴量計算部１３と、選択部１４と、教師データ生成部１５とを備える。

キーワード抽出部１０は、テキストデータ供給部２が供給するテキストデータＴＸを取得する。キーワード抽出部１０は、取得したテキストデータＴＸから、行動キーワードＫＡを選択する。キーワード抽出部１０は、選択した行動キーワードＫＡを教師ラベル候補ＬＣとして抽出する。つまり、キーワード抽出部１０は、被験者の行動が自然言語テキスト形式で記録されたテキストデータＴＸに含まれる被験者の行動を示すキーワード（行動キーワードＫＡ）を教師ラベルの候補（教師ラベル候補ＬＣ）として抽出する。

キーワード抽出部１０は、抽出した教師ラベル候補ＬＣにおいて、１つの行動に対して複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…があるときは、複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…よりも少ない個数の教師ラベル候補ＬＣを抽出する。

キーワード抽出部１０は、例えば、抽出した教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…において、１つの行動に対して似た意味や関連をもつ教師ラベル候補ＬＣｉ、教師ラベル候補ＬＣｊ、教師ラベル候補ＬＣｋがあるときは、選択した行動キーワードＫＡ１、行動キーワードＫＡ２、…のうち、似た意味や関連をもつ行動キーワードＫＡｉ、行動キーワードＫＡｊ、行動キーワードＫＡｋを１つの集約行動キーワードＫＡＣ１に集約する。キーワード抽出部１０は、集約行動キーワードＫＡＣ１を教師ラベル候補ＬＣ１として抽出する。ここでキーワード抽出部１０は、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を使って選択した行動キーワードＫＡ１、行動キーワードＫＡ２、…を集約する。つまり、キーワード抽出部１０は、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を使って教師ラベル候補ＬＣ１を抽出する。

キーワード抽出部１０は、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ１、…を１つの集約行動キーワードＫＡＣ１に集約する場合には、行動キーワードＫＡ１、行動キーワードＫＡ２、…を、例えば行動クラスと対応づけることにより集約してよい。行動クラスの具体例には、例えば、「睡眠」、「食事」、「トイレ」、「服用」、「運動」などがある。例えば、キーワード抽出部１０は、行動キーワードＫＡ１「薬を飲んだ」、行動キーワードＫＡ２「錠剤を服用した」を、集約行動キーワードＫＡＣ１「服用」に集約する。

なお、本実施形態では、キーワード抽出部１０が、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ２、…を１つの集約行動キーワードＫＡＣ１に集約する場合について説明するが、これに限らない。キーワード抽出部１０は、似た意味や関連をもつ行動キーワードＫＡ１１、行動キーワードＫＡ１２、…を、各々そのまま教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ１、…として抽出してもよい。

また、本実施形態では、キーワード抽出部１０が、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ１、…を行動クラスと対応づけることにより集約する場合について説明するが、これに限らない。キーワード抽出部１０は、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ２、…の中から、例えば所定の順序に基づいて１つの集約行動キーワードＫＡＣ１を選択することにより行動キーワードＫＡ１、行動キーワードＫＡ２、…を集約してもよい。例えば、キーワード抽出部１０は、行動キーワードＫＡ１「薬を飲んだ」、行動キーワードＫＡ２「錠剤を服用した」を、集約行動キーワードＫＡＣ１「薬を飲んだ」に集約する。

キーワード抽出部１０は、テキストデータＴＸから時刻キーワードＴＫを選択する。ここで時刻キーワードＴＫとは、時刻を示すキーワードである。キーワード抽出部１０は、選択した時刻キーワードＴＫから、開始時刻キーワードＢＴＫを選択する。さらにキーワード抽出部１０は、選択した開始時刻キーワードＢＴＫに対応する終了時刻キーワードＥＴＫを選択する。ここで開始時刻キーワードＢＴＫとは、被験者の行動の開始時刻の候補を示すキーワードである。終了時刻キーワードＥＴＫとは、被験者の行動の終了時刻の候補を示すキーワードである。キーワード抽出部１０は、選択した開始時刻キーワードＢＴＫを開始時刻情報ＢＴとして抽出する。キーワード抽出部１０は、選択した終了時刻キーワードＥＴＫを終了時刻情報ＥＴとして抽出する。つまり、キーワード抽出部１０は、取得したテキストデータＴＸから行動が行われた時刻の候補を示す時刻情報ＴＩを抽出する。

キーワード抽出部１０は、抽出した教師ラベル候補ＬＣと、抽出した開始時刻情報ＢＴ、及び終了時刻情報ＥＴとを組にしてラベルセグメントＬＳを生成する。キーワード抽出部１０が生成するラベルセグメントＬＳの時間区間ＩＮは、複数のラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…同士において重なっている場合がある。つまり、キーワード抽出部１０が生成する複数のラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…によれば、ある時刻に対して複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…が対応してしまう場合がある。複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…から１つの教師ラベルＬＬが選択部１４によって選択される。キーワード抽出部１０は、生成したラベルセグメントＬＳを選択部１４に供給する。

前処理部１１は、第１センサデータ供給部３が供給するセンサデータＳＤ１を取得する。前処理部１１は、取得したセンサデータＳＤ１に対して前処理を行い、前処理済みセンサデータＰＳＤ１を生成する。ここでセンサデータＳＤ１に対して行われる前処理とは、特徴量を抽出するための解析ができる形式にセンサデータＳＤ１を整形する処理である。前処理部１１は、生成した前処理済みセンサデータＰＳＤ１を時間窓切り出し部１２に供給する。

時間窓切り出し部１２は、前処理部１１が供給する前処理済みセンサデータＰＳＤ１を取得する。時間窓切り出し部１２は、取得した前処理済みセンサデータＰＳＤ１に時間窓（時間窓ＴＷ１～時間窓ＴＷ３）を割り当て、時間窓付きセンサデータＷＳＤ１を生成する。時間窓切り出し部１２は、生成した時間窓付きセンサデータＷＳＤ１を特徴量計算部１３に供給する。

特徴量計算部１３は、時間窓切り出し部１２が供給する時間窓付きセンサデータＷＳＤ１から、割り当てられた時間窓毎に特徴量ベクトルＦＶ（特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…）を計算する。特徴量計算部１３は、計算した特徴量ベクトルＦＶを、選択部１４及び教師データ生成部１５に供給する。

選択部１４は、複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…から１つの教師ラベル候補ＬＣｉを教師ラベルＬＬとして選択する処理を行う。つまり、選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣの中から、行動が行われた時刻の候補を示す時刻情報ＴＩに対応する教師ラベルＬＬを選択する。ここで選択部１４は、選択用学習ＭＬ１４を用いて１つの教師ラベルＬＬを選択する。なお、選択用学習ＭＬ１４は、教師あり学習であるが、学習モデルＬＭの生成に用いられる機械学習とは異なる。選択用学習ＭＬ１４については後述する。
選択部１４は、選択用教師データ生成部１４０と、複数ラベル学習選択部１４１と、時刻補正部１４２とを備える。

選択用教師データ生成部１４０は、選択用教師データＬＴＤを生成する。ここで選択用教師データＬＴＤとは、選択用学習ＭＬ１４において用いられる教師データである。選択用教師データＬＴＤと、教師データ生成部１５が生成する教師データＴＤとは異なる。選択用教師データ生成部１４０は、キーワード抽出部１０が供給するラベルセグメントＬＳと、特徴量計算部１３が供給する特徴量ベクトルＦＶとに基づいて、選択用教師データＬＴＤを生成する。選択用教師データ生成部１４０は、生成した選択用教師データＬＴＤを複数ラベル学習選択部１４１に供給する。

複数ラベル学習選択部１４１は、複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）から１つの教師ラベル候補ＬＣｊを未補正教師ラベルＵＬＬとして選択する。ここで未補正教師ラベルＵＬＬ１は、後述する時刻のずれを補正する処理を行う前の教師ラベルＬＬである。ここで複数ラベル学習選択部１４１は、選択用教師データ生成部１４０が供給する選択用教師データＬＴＤと、選択用学習ＭＬ１４とを用いて１つの教師ラベル候補ＬＣｊを選択する。つまり、選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の中から未補正教師ラベルＵＬＬを、教師あり学習を用いて選択する。

複数ラベル学習選択部１４１は、選択した未補正教師ラベルＵＬＬと、この未補正教師ラベルＵＬＬが示す行動についての開始時刻及び終了時刻とを組にして未補正セグメントＤＳを生成する。複数ラベル学習選択部１４１は、生成した未補正セグメントＤＳを時刻補正部１４２に供給する。

時刻補正部１４２は、複数ラベル学習選択部１４１が供給する未補正セグメントＤＳの開始時刻及び終了時刻を補正する。ここで未補正セグメントＤＳ同士は、時間について断片化または重なっている場合があり、時間についての断片化または重なりを解消するために開始時刻及び終了時刻を補正する必要がある。時刻補正部１４２は、複数ラベル学習選択部１４１が供給する未補正セグメントＤＳと、キーワード抽出部１０が供給するラベルセグメントＬＳとに基づいて未補正セグメントＤＳの開始時刻及び終了時刻を補正する。時刻補正部１４２は、時間のずれを補正した未補正セグメントＤＳに含まれる未補正教師ラベルＵＬＬを、この未補正セグメントＤＳの時間区間に含まれる各時刻における教師ラベルＬＬとして選択する。時刻補正部１４２は、選択した教師ラベルＬＬと、時間のずれを補正した未補正セグメントＤＳに含まれる行動の開始時刻及び終了時刻とを組にして補正セグメントＣＳを生成する。時刻補正部１４２は、生成した補正セグメントＣＳを教師データ生成部１５に供給する。

教師データ生成部１５は、選択部１４が供給する補正セグメントＣＳに基づいて、特徴量計算部１３が供給する特徴量ベクトルＦＶと、教師ラベルＬＬとを組にしてサンプルＳＭを生成する。ここで教師データ生成部１５は、補正セグメントＣＳの時間区間ＩＮが、特徴量ベクトルＦＶに対応する時刻を含む補正セグメントＣＳを選択する。教師データ生成部１５は、選択した補正セグメントＣＳに含まれる教師ラベルＬＬを、特徴量ベクトルＦＶと組にする。

テキストデータ供給部２は、自然言語テキスト形式を用いて行動が記録されたテキストデータＴＸをラベル付与装置１に供給する。テキストデータ供給部２は、例えば、テキストデータＴＸが記憶される記憶装置である。
第１センサデータ供給部３は、センサデータＳＤ１をラベル付与装置１に供給する。第１センサデータ供給部３は、例えば、被験者の身体に取り付けられるセンサである。第１センサデータ供給部３は、センサデータＳＤ１を記憶する記憶装置であってもよい。また、第１センサデータ供給部３が記憶装置である場合、第１センサデータ供給部３は、テキストデータ供給部２と一体となって構成されてもよい。第１センサデータ供給部３は、センサが測定したデータを加工する演算装置であってもよい。

行動推定装置４は、学習部４０と、推定部４１とを備える。
学習部４０は、ラベル付与装置１が供給する教師データＴＤを用いて機械学習を行う。学習部４０は、機械学習により学習モデルＬＭを生成する。
推定部４１は、学習部４０が生成した学習モデルＬＭに基づいて、第２センサデータ供給部５が供給するセンサデータＳＤ２から推定ラベルＥＬを推定する。
なお、図２に示す例においては、行動推定装置４と、ラベル付与装置１とは独立して構成されているが、行動推定装置４とラベル付与装置１とは一体となって構成されてもよい。
第２センサデータ供給部５は、行動推定装置４にセンサデータＳＤ２を供給する。

（学習フェーズ）
ラベル付与装置１の処理について説明する。図３は、本実施形態に係るラベル付与装置１の学習処理の一例を示す図である。
前処理部１１は、第１センサデータ供給部３が供給するセンサデータＳＤ１を取得する（ステップＳ１０）。前処理部１１は、取得したセンサデータＳＤ１に対して前処理を行う（ステップＳ２０）。前処理部１１は、センサデータＳＤ１に対して前処理を行った結果、前処理済みセンサデータＰＳＤ１を生成する。前処理部１１は生成した前処理済みセンサデータＰＳＤ１を時間窓切り出し部１２に供給する。

時間窓切り出し部１２は、前処理部１１が供給する前処理済みセンサデータＰＳＤ１を取得する。時間窓切り出し部１２は、前処理部１１が供給する前処理済みセンサデータＰＳＤ１に対して時間窓ＴＷ（時間窓ＴＷ１～時間窓ＴＷ３）を割り当て、時間窓付きセンサデータＷＳＤ１を生成する。（ステップＳ３０）。時間窓切り出し部１２は、生成した時間窓付きセンサデータＷＳＤ１を特徴量計算部１３に供給する。

特徴量計算部１３は、時間窓切り出し部１２が供給する時間窓付きセンサデータＷＳＤ１を取得する。特徴量計算部１３は、取得した時間窓付きセンサデータＷＳＤ１から時間窓ＴＷ毎に１以上の特徴量を抽出する（ステップＳ４０）。特徴量計算部１３は、時間窓付きセンサデータＷＳＤ１から抽出した１以上の特徴量から特徴量ベクトルＦＶを生成する。
特徴量計算部１３は、生成した特徴量ベクトルＦＶに対して次元削減の処理を行う（ステップＳ５０）。ここで次元削減の処理とは、例えば、主成分分析により特徴量ベクトルＦＶの次元を減らす処理である。特徴量計算部１３は、次元削減の処理をした特徴量ベクトルＦＶを、選択用教師データ生成部１４０及び教師データ生成部１５に供給する。

教師データ生成部１５は、特徴量ベクトルＦＶと、補正セグメントＣＳとに基づいて教師データＴＤを生成する（ステップＳ６０）。ラベル付与装置１が教師データＴＤを生成する処理の詳細については図４を参照し後述する。教師データ生成部１５は、生成した教師データＴＤを行動推定装置４に供給する。
行動推定装置４の学習部４０は、教師データ生成部１５が供給する教師データＴＤに基づいて学習モデルＬＭを生成する（ステップＳ７０）。

図４は、本実施形態に係るラベル付与装置１の教師データＴＤの生成処理の一例を示す図である。
キーワード抽出部１０は、テキストデータ供給部２が供給するテキストデータＴＸを取得する（ステップＳ６００）。
キーワード抽出部１０は、取得したテキストデータＴＸから行動キーワードＫＡを選択する（ステップＳ６０１）。キーワード抽出部１０は、公知の自然言語処理の手法を使って行動キーワードＫＡを選択する。公知の自然言語処理とは、形態素解析、係り受け解析、及び格フレーム解析などである。キーワード抽出部１０は、選択した行動キーワードＫＡのうち、似た意味や関連をもつ行動キーワードＫＡを１つの集約行動キーワードＫＡＣに集約する。キーワード抽出部１０は、集約した集約行動キーワードＫＡＣを教師ラベル候補ＬＣとして抽出する。

なお、キーワード抽出部１０は、形態素解析、係り受け解析、及び格フレーム解析に加えて、文脈解析を用いてもよい。キーワード抽出部１０は、文脈解析として、例えば、照応解析を用いて、代名詞や指示詞などの指示対象を推定したり、省略された名詞句を補完したりしてもよい。

ここで、図５及び図６を参照し、キーワード抽出部１０がテキストデータＴＸから行動キーワードＫＡを選択する具体例について説明する。
図５は、本実施形態に係るテキストデータＴＸの一例を示す図である。図６は、本実施形態に係るラベル候補の一例を示す図である。テキストデータＴＸは、一例として、被験者である被介護者の、ある日の夕方から夜にかけての介護について記録した業務日誌の文章の抜粋である。

キーワード抽出部１０は、形態素解析を用いて、テキストデータＴＸを形態素に分解する。キーワード抽出部１０は、分解した形態素から時刻キーワードＴＫを選択する。
例えば、キーワード抽出部１０は、形態素解析を用いて、テキストデータＴＸ「担当者：○○太郎、被介護者：△△次郎、介護した日付：２０ＸＸ年１０月ＸＸ日 １７時半、夕食をとる。普段より食欲あり。１８時に錠剤Ａを服用した。１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった。スリッパの使用の可否について被介護者と相談した。２０時すぎ就寝。」から、「１７時半」、「１８時」、「１９時」、及び「２０時」を時刻キーワードＴＫとして選択する。

キーワード抽出部１０は、選択した時刻キーワードＴＫから、開始時刻キーワードＢＴＫを選択する例えば、キーワード抽出部１０は、時刻キーワードＴＫ「１７時半」、「１８時」、「１９時」、及び「２０時」から、開始時刻キーワードＢＴＫとして「１７時半」、「１８時」、「１９時」、及び「２０時」を選択する。

キーワード抽出部１０は、選択した時刻キーワードＴＫから、選択した開始時刻キーワードＢＴＫに対応する終了時刻キーワードＥＴＫを選択する。ここでキーワード抽出部１０は、選択した開始時刻キーワードＢＴＫに対応する終了時刻キーワードＥＴＫとして、選択した時刻キーワードＴＫのうち、この開始時刻キーワードＢＴＫが示す時刻の次に新しい時刻を示す時刻キーワードＴＫを選択する。
図５に示す例では、キーワード抽出部１０は、時刻キーワードＴＫ「１７時半」、「１８時」、「１９時」、及び「２０時」から、選択した開始時刻キーワードＢＴＫ「１７時半」、「１８時」、及び「１９時」のそれぞれに対応する終了時刻キーワードＥＴＫとして「１８時」、「１９時」、及び「２０時」を選択する。ただし、図５に示すテキストデータＴＸからは開始時刻キーワードＢＴＫ「２０時」に対応する終了時刻キーワードＥＴＫは選択されないため、キーワード抽出部１０は、開始時刻キーワードＢＴＫ「２０時」に対応する終了時刻キーワードＥＴＫとして「２４時」を選択する。なお、開始時刻キーワードＢＴＫ「２０時」に対応する終了時刻キーワードＥＴＫは、「２４時」の代わりに、翌日以降のテキストデータＴＸから形態素解析を用いて抽出されてよい。

キーワード抽出部１０は、選択した開始時刻キーワードＢＴＫを開始時刻情報ＢＴとして抽出する。キーワード抽出部１０は、選択した終了時刻キーワードＥＴＫを終了時刻情報ＥＴとして抽出する。例えば、キーワード抽出部１０は、開始時刻情報ＢＴ及び終了時刻情報ＥＴとして、「開始時刻：１７時半」及び「終了時刻：１８時」と、「開始時刻：１８時」及び「終了時刻：１９時」と、「開始時刻：１９時」及び「終了時刻：２０時」と、「開始時刻：２０時」及び「終了時刻：２４時」とを抽出する。

図５に示す例では、図６に示すように、キーワード抽出部１０は、例えば、開始時刻情報ＢＴとして「開始時刻：１７時半」、終了時刻情報ＥＴとして「終了時刻：１８時」をもつラベルセグメントＡを生成する。キーワード抽出部１０は、ラベルセグメントＢ、ラベルセグメントＣ、及びラベルセグメントＤについても同様に生成する。

開始時刻情報ＢＴ、及び終了時刻情報ＥＴは、テキストデータＴＸから選択された開始時刻キーワードＢＴＫ、及び終了時刻キーワードＥＴＫに基づいて生成されているため、教師データＴＤを生成するのに十分な精度をもたない場合がある。開始時刻情報ＢＴ、及び終了時刻情報ＥＴが示す時刻の精度は、選択部１４による選択用学習ＭＬ１４により高められる。

本実施形態では、キーワード抽出部１０は、終了時刻キーワードＥＴＫとして、開始時刻キーワードＢＴＫが示す時刻の次に新しい時刻を示す時刻キーワードＴＫを選択するため、時間について隣り合うラベルセグメントＬＳ同士には時間の隙間がない。キーワード抽出部１０は、開始時刻キーワードＢＴＫが示す開始時刻から所定の時間が経過した時刻を、終了時刻情報ＥＴとして抽出してもよい。開始時刻キーワードＢＴＫが示す開始時刻から所定の時間が経過した時刻を終了時刻情報ＥＴとして抽出される場合、時間軸上においてラベルセグメントＬＳ同士が重なり合う部分があってもよい。
キーワード抽出部１０は、教師ラベル候補ＬＣが示す行動の典型的な所要時間を予め決めておき、この教師ラベル候補ＬＣを含むラベルセグメントＬＳについて、開始時刻情報ＢＴまたは終了時刻情報ＥＴを補正してもよい。

次にキーワード抽出部１０は、テキストデータＴＸから教師ラベル候補ＬＣを抽出する。
キーワード抽出部１０は、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキストの中から、行動キーワードＫＡを選択する。ここでキーワード抽出部１０は、形態素解析、係り受け解析、及び格フレーム解析を用いて、行動キーワードＫＡを選択する。

図５に示す例では、キーワード抽出部１０は、ラベルセグメントＡについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「１７時半、夕食をとる。普段より食欲あり」の中から行動キーワードＫＡとして、「夕食」、及び「食欲」を選択する。
キーワード抽出部１０は、ラベルセグメントＢについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「１８時に錠剤Ａを服用した」の中から行動キーワードＫＡとして、「錠剤Ａ」、及び「服用」を選択する。
キーワード抽出部１０は、ラベルセグメントＣについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった。スリッパの使用の可否について被介護者と相談した」の中から行動キーワードＫＡとして、「トイレ」、「行こう」、「スリッパ」、「履けず」を選択する。
キーワード抽出部１０は、ラベルセグメントＤについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「２０時すぎ就寝」の中から行動キーワードＫＡとして、「就寝」を選択する。

行動キーワードＫＡを選択する処理において、キーワード抽出部１０は、選択したテキストの中から、被験者の行動に関係する文や部分を選択する。例えば、キーワード抽出部１０は、テキスト「１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった。スリッパの使用の可否について被介護者と相談した」の中から、被験者の行動に関する部分として「１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった」を選択する。

キーワード抽出部１０は、選択したテキストの中から被験者の行動に関係する文や部分を選択する際、不図示の辞書データベースを用いてよい。キーワード抽出部１０は、選択したテキストの中から被験者の行動に関係する文や部分を選択する際、辞書データベースに予め登録されたキーワードと一致する行動キーワードＫＡまたは行動クラスに関連する行動キーワードＫＡを含む文や部分のみを選択の対象としてよい。また、キーワード抽出部１０は、選択したテキストの中から被験者の行動に関係する文や部分を選択する際、辞書データベースに予め登録されたキーワードに関連する行動キーワードＫＡとして過去に選択したことのある行動キーワードＫＡを含む文や部分のみを選択の対象としてもよい。

キーワード抽出部１０は、ラベルセグメントＬＳ毎に、選択した行動キーワードＫＡのうち似た意味や関連をもつ行動キーワードＫＡを集約行動キーワードＫＡＣに集約する。ここでキーワード抽出部１０は、行動クラスに対応させ行動キーワードＫＡを集約する。行動クラスは、予め辞書データベースに登録されてよい。
図５に示す例では、キーワード抽出部１０は、「夕食」、及び「食欲」を「食事」として集約する。キーワード抽出部１０は、「錠剤Ａ」、及び「服用」を「服用」として集約する。キーワード抽出部１０は、「トイレ」、「行こう」、「スリッパ」、「履けず」、「ふらついて」、及び「転び」を「トイレ」として集約する。

なお、キーワード抽出部１０は、選択した行動キーワードＫＡに対応する行動クラスが存在しない場合、行動クラスを新たに生成し、選択した行動キーワードＫＡを生成した行動クラスに対応させることにより、行動キーワードＫＡを集約行動キーワードＫＡＣに集約してよい。
キーワード抽出部１０は、上述の処理により選択した行動キーワードＫＡを教師ラベル候補ＬＣとして抽出する。

上述したように、キーワード抽出部１０は、教師ラベル候補ＬＣが示す各行動の典型的な所要時間を予め決めておき、各教師ラベル候補ＬＣと組にする時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）を補正してもよい。キーワード抽出部１０が時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）を補正する場合、キーワード抽出部１０は、例えば、「服用」の所要時間を３分とした場合、キーワード抽出部１０は、ラベルセグメントＢの終了時刻情報ＥＴが示す終了時刻を「１９：００：００」から「１８：０３：００」と補正してよい。また、キーワード抽出部１０は、「トイレ」の所要時間を５分とした場合、キーワード抽出部１０は、ラベルセグメントＣの終了時刻情報ＥＴが示す終了時刻を「２０：００：００」から「１９：０５：００」と補正してよい。

本実施形態では、介護の業務日誌を例にとり、テキストデータＴＸには、時刻キーワードＴＫと、行動キーワードＫＡとが示されている場合について説明したが、テキストデータＴＸには、一日の業務の内容がまとめて記載されていてもよい。キーワード抽出部１０は、時刻キーワードＴＫの代わりに、時刻を推定することができる名詞を抽出し、時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）を生成してもよい。例えば、キーワード抽出部１０は、「夕方」という名詞から開始時刻情報ＢＴ「開始時刻：１７：００」を生成してもよい。

図４に戻って、ラベル付与装置１の教師データＴＤ生成処理の説明を続ける。
キーワード抽出部１０は、生成したラベルセグメントＬＳを選択用教師データ生成部１４０及び時刻補正部１４２に供給する。選択用教師データ生成部１４０は、キーワード抽出部１０が供給するラベルセグメントＬＳを取得する。選択用教師データ生成部１４０は、特徴量計算部１３が供給する特徴量ベクトルＦＶを取得する。

選択用教師データ生成部１４０は、選択用教師データＬＴＤを、特徴量ベクトルＦＶと、ラベルセグメントＬＳとから生成する。選択用教師データ生成部１４０は、ある時刻における複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）を生成する（ステップＳ６０２）。選択用教師データ生成部１４０は、生成したある時刻における複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の各々と、この時刻に対応する特徴量ベクトルＦＶとを組にすることにより選択用教師データＬＴＤを生成する。つまり、選択用教師データＬＴＤにおいては、ある時刻における複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の各々に、この時刻に対応する１つの特徴量ベクトルＦＶが対応している。

ここで複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）が示す行動は、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…にそれぞれ含まれる教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…が示す行動のいずれかである。選択用教師データ生成部１４０は、生成する複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の割合を、教師ラベル候補確率分布ＰＡに基づいて決定する。つまり、選択用教師データ生成部１４０が生成する複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）は、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…にそれぞれ含まれる教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…を教師ラベル候補確率分布ＰＡに基づく割合において複製して得られる。ここで図７を参照し教師ラベル候補確率分布ＰＡについて説明する。

図７は、本実施形態に係る選択部１４の教師ラベル候補ＬＣの選択処理の概要の一例を示す図である。教師ラベル候補確率分布ＰＡとは、教師ラベル候補ＬＣが示す行動毎の教師ラベル候補ＬＣの確率分布を、共通の行動について足しあげて得られる確率分布である。教師ラベル候補ＬＣが示す行動毎の確率分布とは、例えば、ガウス分布である。このガウス分布の標準偏差は、ラベルセグメントＬＳの時間区間ＩＮの長さに比例する。このガウス分布の平均は、時間区間ＩＮの中央の時刻である。

つまり、選択用教師データＬＴＤに含まれる教師ラベル候補ＬＣの割合は、キーワード抽出部１０が抽出した時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）から生成される確率分布である教師ラベル候補確率分布ＰＡに基づいて決定される。ある時刻ｔにおいて、教師ラベル候補ＬＣが示す行動毎の確率分布の割合が大きいほど、選択用教師データ生成部１４０が生成する複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）において、この教師ラベル候補ＬＣの割合は大きくなる。
なお、教師ラベル候補確率分布ＰＡは正規化される。

図４に戻って、ラベル付与装置１の教師データＴＤ生成処理の説明を続ける。
選択用教師データ生成部１４０は、生成した選択用教師データＬＴＤを複数ラベル学習選択部１４１に供給する。

複数ラベル学習選択部１４１は、選択用教師データ生成部１４０が供給する選択用教師データＬＴＤ（特徴量ベクトルＦＶ、複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）から、教師ラベル候補ＬＣを未補正教師ラベルＵＬＬとして選択する（ステップ０）。複数ラベル学習選択部１４１は、選択用教師データＬＴＤから、未補正教師ラベルＵＬＬとともに、この未補正教師ラベルＵＬＬが示す行動についての開始時刻及び終了時刻とを、選択用学習ＭＬ１４を用いて選択する。

ここで選択用学習ＭＬ１４とは、選択用教師データ生成部１４０が生成した選択用教師データＬＴＤを用いた機械学習である。つまり、選択用学習ＭＬ１４とは、被験者の行動に応じて変化する所定の量を検出するセンサが検出したデータから抽出される特徴量と、複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）とが、時刻毎に対応づけられたデータを教師データとして用いる学習である。

複数ラベル学習選択部１４１は、選択用教師データＬＴＤから、機械学習により第１確率分布を算出する。ここで第１確率分布とは、特徴量ベクトルＦＶが与えられたときに、この特徴量ベクトルＦＶに対応する時刻における教師ラベル候補ＬＣｊが示す行動がある行動である確率を示す確率分布である。
複数ラベル学習選択部１４１は、算出した第１確率分布に基づいて第２確率分布を算出する。ここで第２確率分布とは、選択用教師データＬＴＤに含まれる特徴量ベクトルＦＶが与えられたときの、この特徴量ベクトルＦＶに対応する時刻における教師ラベル候補ＬＣｊが示す行動の確率分布である。
複数ラベル学習選択部１４１は、ある時刻における複数の教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）を生成する。ここで、複数ラベル学習選択部１４１は、生成した複数の教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）が示す行動の割合を、算出した第２確率分布に基づいて決定する。
複数ラベル学習選択部１４１は、生成したある時刻における複数の教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）の各々と、この時刻に対応する特徴量ベクトルＦＶとを組にすることにより第２選択用教師データＬＴＤ２を生成する。複数ラベル学習選択部１４１は、生成した第２選択用教師データＬＴＤ２を、選択用教師データＬＴＤの代わりに用いて、第１確率分布を算出する。複数ラベル学習選択部１４１は、第２確率分布が収束するまで上記の処理を繰り返す。

複数ラベル学習選択部１４１は、収束した第２確率分布に基づいて、特徴量ベクトルＦＶの各々に対して、教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）の中から、第２確率分布が最大となる教師ラベル候補ＬＣ２ｊを未補正教師ラベルＵＬＬとして時刻毎に選択する。ここで複数ラベル学習選択部１４１は、時刻毎に未補正教師ラベルＵＬＬを１つ選択する。
ここで、複数ラベル学習選択部１４１は、複数ラベル学習選択部１４１が選択した未補正教師ラベルＵＬＬは時刻毎に与えられている。複数ラベル学習選択部１４１は、未補正教師ラベルＵＬＬを時刻毎に並べたときに、互いに異なる行動を示す未補正教師ラベルＵＬＬが隣り合っている箇所を判定することにより、未補正教師ラベルＵＬＬが示す行動の開始時刻及び終了時刻を判定する。複数ラベル学習選択部１４１は、判定結果に基づいて行動の開始時刻及び終了時刻を選択する。

複数ラベル学習選択部１４１は、選択した未補正教師ラベルＵＬＬと、判定した行動の開始時刻及び終了時刻とを組にして未補正セグメントＤＳを生成する。複数ラベル学習選択部１４１は、生成した未補正セグメントＤＳを時刻補正部１４２に供給する。

時刻補正部１４２は、複数ラベル学習選択部１４１が供給する未補正セグメントＤＳを取得する。時刻補正部１４２は、キーワード抽出部１０が供給するラベルセグメントＬＳを取得する。

未補正セグメントＤＳ同士は、１つの行動が持続していた時間について断片化し、実際の行動の開始時刻及び終了時刻からずれている場合がある。時刻補正部１４２は、未補正セグメントＤＳの時刻のずれを補正する（ステップＳ６０４）。ここで未補正セグメントＤＳの時刻のずれを補正するとは、未補正セグメントＤＳに含まれる開始時刻及び終了時刻を補正することである。

ここで再び図７を参照し、時刻補正部１４２が、未補正セグメントＤＳ１と、この未補正セグメントＤＳ１と隣り合う未補正セグメントＤＳ２との時刻のずれを補正する場合について説明する。
時刻補正部１４２は、ある時間間隔に対応する行動量を生成する。ここで、ある時間間隔に対応する行動量とは、ある時間間隔の各時刻における未補正教師ラベルＵＬＬを未補正教師ラベルＵＬＬが示す行動毎に数えた量である。時刻補正部１４２は、生成した行動量を尤度として用いる。ここで尤度とは、ある時間間隔が未補正セグメントＤＳの時間区間ＩＮの間に含まれる尤度である。

時刻補正部１４２は、ラベルセグメントＬＳ１の時間区間ＩＮ１の中点に対応する時刻Ｃ１から、ある時刻Ｔまでの時間間隔に対応する行動量を算出する。
時刻補正部１４２は、時刻Ｔを、時刻Ｃ１と、ラベルセグメントＬＳ２の時間区間ＩＮ２の中点に対応する時刻Ｃ２との間の区間において変化させたときに、行動量が最大となる時刻Ｔを判定する。

時刻補正部１４２は、時刻Ｃ１と時刻Ｃ２との時間軸上の順序によって、判定した時刻Ｔを未補正セグメントＤＳ１の開始時刻とするか終了時刻とするかを判定する。時刻Ｃ２が時刻Ｃ１よりも時間軸上において後である場合、時刻補正部１４２は、判定した時刻Ｔを未補正セグメントＤＳ１の終了時刻とする。一方、時刻Ｃ２が時刻Ｃ１よりも時間軸上において前である場合、時刻補正部１４２は、判定した時刻Ｔを未補正セグメントＤＳ１の開始時刻とする。

ここで未補正セグメントＤＳ１の開始時刻は、未補正セグメントＤＳ２の終了時刻よりも時間軸上において前であるとする。時刻補正部１４２は、時間軸上において未補正セグメントＤＳ１と未補正セグメントＤＳ２とが重なっている場合、重なっている時間区間の中点を、未補正セグメントＤＳ１の終了時刻及び未補正セグメントＤＳ２の開始時刻とする。時刻補正部１４２は、時間軸上において未補正セグメントＤＳ１と未補正セグメントＤＳ２との間に隙間がある場合、隙間の中点を、未補正セグメントＤＳ１の終了時刻及び未補正セグメントＤＳ２の開始時刻とする。

図４に戻って、ラベル付与装置１の教師データＴＤ生成処理の説明を続ける。
時刻補正部１４２は、時間のずれを補正した未補正セグメントＤＳに含まれる未補正教師ラベルＵＬＬを、この未補正セグメントＤＳの時間区間に含まれる各時刻における教師ラベルＬＬとして選択する。時刻補正部１４２は、選択した教師ラベルＬＬと、時間のずれを補正した未補正セグメントＤＳに含まれる行動の開始時刻及び終了時刻とを組にして補正セグメントＣＳを生成する。時刻補正部１４２は、生成した補正セグメントＣＳを教師データ生成部１５に供給する。

教師データ生成部１５は、教師データを生成する（ステップＳ６０５）。教師データ生成部１５は、時刻補正部１４２が供給する補正セグメントＣＳを取得する。教師データ生成部１５は、特徴量計算部１３が供給する特徴量ベクトルＦＶを取得する。教師データ生成部１５は、取得した補正セグメントＣＳに基づいて、取得した特徴量ベクトルＦＶと、教師ラベルＬＬとを組にしてサンプルＳＭを生成する。ここで教師データ生成部１５は、補正セグメントＣＳの時間区間ＩＮが、特徴量ベクトルＦＶに対応する時刻を含む補正セグメントＣＳを選択する。教師データ生成部１５は、選択した補正セグメントＣＳに含まれる教師ラベルＬＬを、特徴量ベクトルＦＶと組にする。
教師データ生成部１５は、時刻毎のサンプルＳＭ１、サンプルＳＭ２、…から教師データＴＤを生成する。教師データ生成部１５は、生成した教師データＴＤを行動推定装置４に供給する。

なお、本実施形態においては、時刻補正部１４２が未補正セグメントＤＳの時刻のずれを補正し教師ラベルＬＬを選択する場合について説明しているが、これに限らない。未補正セグメントＤＳの時刻のずれを補正する処理を省略し、複数ラベル学習選択部１４１が、生成した未補正セグメントＤＳに含まれる未補正教師ラベルＵＬＬを教師ラベルＬＬとして選択してもよい。複数ラベル学習選択部１４１が教師ラベルＬＬを選択する場合、複数ラベル学習選択部１４１は、未補正セグメントＤＳを補正セグメントＣＳとして教師データ生成部１５に供給する。

（推定フェーズ）
図７は、本実施形態に係る行動推定装置４の推定処理の一例を示す図である。図７に示す処理は、図３に示す処理により学習モデルＬＭが生成された後に実行される。
なお、ステップＳ１１０、ステップＳ１２０、ステップＳ１３０、ステップＳ１４０、及びステップＳ１５０の各処理は、図３におけるステップＳ１０、ステップＳ２０、ステップＳ３０、ステップＳ４０、及びステップＳ５０の各処理と同様であるため、説明を省略する。

推定部４１は、学習部４０が生成した学習モデルＬＭに基づいて、第２センサデータ供給部５が供給するセンサデータＳＤ２から推定ラベルＥＬを推定する（ステップＳ１６０）。推定部４１は、推定した推定ラベルＥＬを表示装置（不図示）に表示させたり、記憶装置（不図示）に記憶させたりする。

（まとめ）
以上に説明したように、本実施形態に係るラベル付与装置１は、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与装置であって、キーワード抽出部１０と、選択部１４とを備える。
キーワード抽出部１０は、行動が自然言語テキスト形式で記録されたテキストデータＴＸに含まれる行動を示す行動キーワードＫＡを教師ラベルの候補である教師ラベル候補ＬＣとして抽出する。
選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣの中から、行動が行われた時刻の候補を示す時刻情報ＴＩに対応する教師ラベルＬＬを選択する。

この構成により、本実施形態に係るラベル付与装置１は、テキストデータＴＸから抽出された教師ラベル候補ＬＣの中から教師ラベルＬＬを選択することができるため、機械学習の学習に用いられる教師データＴＤの教師ラベルＬＬの付与を簡便に行うことができる。

また、キーワード抽出部１０は、テキストデータＴＸから時刻情報ＴＩを抽出する。
この構成により、本実施形態に係るラベル付与装置１は、教師ラベルＬＬが示す行動についての開始時刻または終了時刻の精度を高めることができるため、ラベル付与装置１が生成する教師データＴＤを用いて学習される学習モデルＬＭの予測精度を高めることができる。

また、キーワード抽出部１０は、抽出した教師ラベル候補ＬＣにおいて、１つの行動に対して複数の教師ラベル候補（教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…）があるときは、複数の教師ラベル候補（教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…）よりも少ない個数の教師ラベル候補ＬＣを抽出する。
この構成により、本実施形態に係るラベル付与装置１は、同義語を集約して教師ラベル候補ＬＣを抽出することができるため、テキストデータＴＸから教師ラベル候補ＬＣ）を抽出する際の効率を、同義語を集約しない場合に比べて高めることができる。

また、キーワード抽出部１０は、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を使って教師ラベル候補ＬＣを抽出する。
この構成により、本実施形態に係るラベル付与装置１は、テキストデータＴＸから教師ラベル候補ＬＣを抽出する際に、形態素解析、係り受け解析、格フレーム解析を用いることができるため、ラベル付与装置１が生成する教師データＴＤを用いて学習される学習モデルＬＭの予測精度を、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を用いない場合に比べて高めることができる。

また、選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣの中から教師ラベルＬＬを、教師あり学習（選択用学習ＭＬ１４）を用いて選択する。
この構成により、本実施形態に係るラベル付与装置１は、テキストデータＴＸから抽出される教師ラベル候補ＬＣから教師ラベルＬＬを選択する精度を高めることができるため、ラベル付与装置１が生成する教師データＴＤを用いて学習される学習モデルＬＭの予測精度を高めることができる。

本実施形態に係るラベル付与装置１は、病院における看護師または患者の行動認識に応用することができる。行動認識の結果は、看護の効率化や最適化、患者の容態予測などに役立てることができる。また、本実施形態に係るラベル付与装置１は、介護施設における介護士または被介護者の行動認識に応用されてもよい。行動認識の結果は、介護の効率化や最適化、被介護者の状態把握や容態予測などに役立てることができる。

なお、上述した実施形態においては、キーワード抽出部１０がテキストデータＴＸから被験者の行動の開始時刻の候補または終了時刻の候補を抽出する場合について説明したが、被験者の行動の開始時刻の候補または終了時刻の候補が抽出される方法はテキストデータＴＸ以外から抽出されてもよい。例えば、被験者の行動の開始時刻の候補または終了時刻の候補は、テキストデータＴＸが作成された時刻の情報に基づいて抽出されてもよい。

なお、上述した実施形態においては、前処理済みセンサデータＰＳＤ１からある時間間隔における特徴量ベクトルＦＶを計算する方法として、時間窓切り出し部１２が前処理済みセンサデータＰＳＤ１に時間窓（時間窓ＴＷ１～時間窓ＴＷ３）を割り当て、時間窓付きセンサデータＷＳＤ１を生成する場合について説明したが、前処理済みセンサデータＰＳＤ１からある時間間隔における特徴量ベクトルＦＶを計算する方法はこれに限らない。前処理済みセンサデータＰＳＤ１からある時間間隔における特徴量ベクトルＦＶを計算する方法には、例えば、公知の変化点検出アルゴリズムや公知の隠れマルコフモデルが用いられてもよい。

なお、上述した実施形態においては、選択部１４が、キーワード抽出部１０が抽出した教師ラベルの候補（教師ラベル候補ＬＣ）の中から教師あり学習（選択用学習ＭＬ１４）を用いて、教師ラベルＬＬを選択する場合について説明したが、選択部１４は、複数の教師ラベルの候補（教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…）の中から教師ラベルの候補（教師ラベル候補ＬＣ）を選択する処理において、行動が行われた時刻の候補を示す時刻情報ＴＩに加えて、被験者の位置情報や個人ＩＤを用いて教師ラベルを選択してもよい。
また、選択部１４は、選択部１４が教師ラベルの候補（教師ラベル候補ＬＣ）を選択する方法は実施形態において説明した教師あり学習（選択用学習ＭＬ１４）以外の方法を用いてもよい。
例えば、選択部１４は、キーワード抽出部１０がテキストデータＴＸから抽出した教師ラベル候補ＬＣ１を、過去に教師ラベル候補ＬＣ１が抽出された頻度を示す履歴情報に基づいて選択してもよい。選択部１４は、例えば、キーワード抽出部１０が過去に抽出した教師ラベル候補ＬＣ１をデータベースに履歴情報として記憶させて、この履歴情報に基づいて教師ラベル候補ＬＣ１が抽出された頻度を算出する。ここでキーワード抽出部１０が過去に抽出した教師ラベル候補ＬＣ１とは、キーワード抽出部１０が教師ラベル候補ＬＣ１を抽出する処理を行うタイミングより以前に抽出された教師ラベル候補ＬＣ１である。また、選択部１４は、データベースに記憶された履歴情報に基づく代わりに、テキストデータＴＸから抽出した教師ラベル候補ＬＣ１の中から、教師ラベル候補ＬＣ１が抽出された頻度を算出してもよい。

なお、上述した実施形態におけるラベル付与装置１及び行動推定装置４の一部、例えば、キーワード抽出部１０、前処理部１１、時間窓切り出し部１２、特徴量計算部１３、選択部１４、教師データ生成部１５、学習部４０、及び推定部４１をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ラベル付与装置１及び行動推定装置４に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態におけるラベル付与装置１及び行動推定装置４の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。ラベル付与装置１及び行動推定装置４の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…ラベル付与装置、２…テキストデータ供給部、３…第１センサデータ供給部、４…行動推定装置、４０…学習部、４１…推定部、５…第２センサデータ供給部、１０…キーワード抽出部、１１…前処理部、１２…時間窓切り出し部、１３…特徴量計算部、１４…選択部、１４０…選択用教師データ生成部、１４１…複数ラベル学習選択部、１４２…時刻補正部、１５…教師データ生成部、ＴＸ…テキストデータ、ＳＤ１、ＳＤ２…センサデータ、ＴＤ…教師データ、ＬＳ…ラベルセグメント、ＰＳＤ１…前処理済みセンサデータ、ＷＳＤ１…時間窓付きセンサデータ、ＦＶ…特徴量ベクトル、ＬＴＤ…選択用教師データ、ＤＳ…未補正セグメント、ＣＳ…補正セグメント

Claims (7)

1. センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与装置であって、
   前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出部と、
   前記キーワード抽出部が抽出した前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択部と、
   を備えるラベル付与装置。
2. 前記キーワード抽出部は、前記テキストデータから前記時刻情報を抽出する
   請求項１に記載のラベル付与装置。
3. 前記キーワード抽出部は、抽出した前記教師ラベル候補において、１つの前記行動に対して複数の前記教師ラベル候補があるときは、複数の前記教師ラベル候補よりも少ない個数の前記教師ラベル候補を抽出する
   請求項１または請求項２に記載のラベル付与装置。
4. 前記キーワード抽出部は、形態素解析、係り受け解析、及び格フレーム解析のいずれかの手法を使って前記教師ラベル候補を抽出する
   請求項３に記載のラベル付与装置。
5. 前記選択部は、前記キーワード抽出部が抽出した前記教師ラベル候補の中から前記教師ラベルを、教師あり学習を用いて選択する
   請求項１から請求項４のいずれか一項に記載のラベル付与装置。
6. センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与方法であって、
   前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出過程と、
   前記キーワード抽出過程において抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択過程と、
   をコンピュータが実行するラベル付与方法。
7. センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与を行うコンピュータに、
   前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出ステップと、
   前記キーワード抽出ステップにおいて抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択ステップと、
   を実行させるプログラム。

Images