JP6710644B2 - 動作解析装置、動作解析方法およびプログラム - Google Patents

Description

本発明の実施形態は、動作解析装置、動作解析方法およびプログラムに関する。

各種業務の改善・生産効率の向上を図るために、作業者の動作履歴を把握してその問題点を解析することが行われている。近年、各種のセンサデバイスの小型化・無線化が進み、簡易な構成で人の動きを計測できるようになっている。そこで、現場で作業を行う作業者にセンサを装着し、センサの計測値をもとに現場での動作を特定して、その履歴を集計する試みがある。

センサを用いて作業者の動作を特定する方法は、センサ出力に基づく時系列データと、この時系列データから推定される動作との関係を定めた動作辞書を用い、センサ出力に基づく時系列データを動作辞書と照合することで、作業者の動作を特定する方法が一般的である。このような方法は、動作辞書を構築するために必要な時系列データに対するラベル付けに多くの手間がかかり、改善が求められる。また、このような作業者の動作履歴を集計する用途に限らず、センサを用いて動きを解析する様々な用途において、センサ出力に基づく時系列データのラベル付けを自動で行えるようにしたいというニーズがある。

特許第５１５９２６３号公報

本発明が解決しようとする課題は、センサ出力に基づく時系列データのラベル付けを自動で行うことができる動作解析装置、動作解析方法およびプログラムを提供することである。

実施形態の動作解析装置は、対応区間検出部と、対応付け部と、を備える。対応区間検出部は、第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データと、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データとを用いて、前記第１時系列データと前記第２時系列データとが類似または共起している区間である対応区間を検出する。対応付け部は、検出された前記対応区間を特定する情報に対し、前記第１オブジェクトを特定する情報と前記第２オブジェクトを特定する情報の少なくとも一方を対応付ける。

第１実施形態の動作解析装置の概要を説明する図。 第１実施形態の動作解析装置による処理の概要を説明する図。 第１実施形態の動作解析装置のハードウェア構成例を示すブロック図。 第１実施形態の動作解析装置の機能的な構成例を示すブロック図。 信号同期部の処理を説明する図。 人の動きと物体の動きの相関を説明する図。 波形の類似度を説明する図。 オブジェクト対応情報の一例を示す図。 学習データを生成する方法の一例を説明する図。 出力部がディスプレイに表示させる情報の一例を示す図。 変形例１の動作解析装置の機能的な構成例を示すブロック図。 動作区間抽出部による処理を説明する図。 動作区間抽出部の処理手順の一例を示すフローチャート。 変形例２の動作解析装置の機能的な構成例を示すブロック図。 第２実施形態の動作解析装置の概要を説明する図。 第２実施形態の動作解析装置の機能的な構成例を示すブロック図。 オブジェクト対応情報の一例を示す図。 第３実施形態の動作解析装置の概要を説明する図。 第３実施形態の動作解析装置の機能的な構成例を示すブロック図。 オブジェクト対応情報の一例を示す図。

以下、添付図面を参照して、実施形態の動作解析装置、動作解析方法およびプログラムを詳細に説明する。なお、以下の説明において、同様の機能を持つ構成要素については同一の符号を付して、重複した説明を適宜省略する。

＜第１実施形態＞
本実施形態では、現場で作業を行う作業者と、作業者が使用する工具、部品、現場の稼動設備などの物体にそれぞれ小型のセンサを取り付けて、作業者と物体の双方の動きを計測する。そして、作業者側のセンサ出力に基づく時系列データと、物体側のセンサ出力に基づく時系列データとを照合することにより、作業者が物体を使用して作業を行った区間を検出し、その区間の作業者の動きを表す時系列データに対して物体を特定するラベル付けを行う。ラベル付けされた時系列データは、作業者による動作を推定するための推定器を機械学習により構築するための学習データの生成に用いることができる。学習データを用いて推定器を構築した後は、この推定器を用いて、作業者側のセンサ出力に基づく時系列データのみから、作業者による物体の使用を推定することが可能となる。

図１は、本実施形態の動作解析装置１００の概要を説明する図である。図１に示すように、本実施形態の動作解析装置１００は、現場で作業を行う作業者（第１オブジェクトの一例）の手などに装着された第１センサユニット１０と、作業者が使用する工具（第２オブジェクトの一例）に装着された第２センサユニット２０のそれぞれから、作業者の動きや工具の動きに対応する時系列データを受信する。第１センサユニット１０や第２センサユニット２０は、例えば、粘着部材などを用いて作業者の手や工具に直接、あるいは、手袋や工具カバーを介して装着される。ベルトやクリップなどの装具を用いて、第１センサユニット１０や第２センサユニット２０を作業者の手や工具に装着してもよい。

第１センサユニット１０と第２センサユニット２０は、それぞれ、動きを計測するセンサと、このセンサの時刻ごとの計測値を時系列データとして送信する送信機とを備え、作業者や工具の動きに対応する時系列データをリアルタイムで、あるいは、内部のメモリに一旦保存した後に、動作解析装置１００に対して送信する。本実施形態では、動きを計測するセンサとして、例えば、サンプリング周波数３０Ｈｚの３軸加速度センサを用いる例を想定するが、ジャイロセンサや地磁気センサなどを用いてもよい。

第１センサユニット１０や第２センサユニット２０から動作解析装置１００に対して時系列データを送信する方法は特に限定されるものではなく、例えば、有線通信、長距離無線通信、あるいは近距離無線通信などを用いることができる。また、第１センサユニット１０や第２センサユニット２０から送信された時系列データを、動作解析装置１００とは異なるクラウドサーバや外部の別の記録装置に保存し、動作解析装置１００がそこから時系列データを取得する構成であってもよい。なお、図１では第１センサユニット１０と第２センサユニット２０をそれぞれ１つずつ図示しているが、実際には推定器の機械学習に必要となる多くの学習データを生成するために、多数の作業者に第１センサユニット１０がそれぞれ装着され、多数の工具、部品、現場の稼動設備などの物体に第２センサユニット２０がそれぞれ装着される。

図２は、本実施形態の動作解析装置１００による処理の概要を説明する図である。本実施形態の動作解析装置１００による処理は、主に、図２（ａ）に示す処理Ａと、図２（ｂ）に示す処理Ｂと、図２（ｃ）に示す処理Ｃとの３つの動作に大別される。

処理Ａは、図２（ａ）に示すように、第１センサユニット１０が計測した作業者の動きに対応する時系列データと、第２センサユニット２０が計測した工具の動きに対応する時系列データとを用いて、作業者が工具を使用して作業を行った区間を検出する処理である。処理Ｂは、図２（ｂ）に示すように、作業者の動きに対応する時系列データのうちで処理Ａにより検出された区間に対して工具のラベルが付与されたものを学習データとして用い、作業者の動作を推定するための推定器を機械学習により構築する処理である。処理Ｃは、図２（ｃ）に示すように、処理Ｂにより構築された推定器を用いて、第１センサユニット１０が計測した作業者の動きに対応する時系列データから、作業者の動作（工具の使用）を推定する処理である。処理Ａおよび処理Ｂは、動作解析装置１００を現場に導入したときに実施される処理を想定し、処理Ｃは実際の動作解析やその履歴の記録などを行うときに実施される処理を想定している。

図３は、本実施形態の動作解析装置１００のハードウェア構成例を示すブロック図である。本実施形態の動作解析装置１００は、例えば図３に示すように、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ１０１と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリ１０２と、ＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）などのストレージデバイス１０３と、ディスプレイ１０６などの周辺機器を接続するための入出力Ｉ／Ｆ１０４と、第１センサユニット１０や第２センサユニット２０などの装置外部の機器と通信を行う通信Ｉ／Ｆ１０５と、を備えた通常のコンピュータのハードウェア構成を有する。本実施形態の動作解析装置１００は、例えば、プロセッサ１０１が内部メモリ１０２を利用しながら、ストレージデバイス１０３や内部メモリ１０２などに格納されたプログラムを実行することで、後述の各機能的な構成要素を実現することができる。

図４は、本実施形態の動作解析装置１００の機能的な構成例を示すブロック図である。本実施形態の動作解析装置１００は、例えば、図３に示したハードウェアとソフトウェア（プログラム）との協働により実現される機能的な構成要素として、図４に示すように、取得部１１０と、第１処理部１２０と、第２処理部１３０と、第３処理部１４０と、出力部１５０とを備える。

取得部１１０は、第１センサユニット１０により計測された作業者の動きに対応する時系列データ（以下、これを「第１時系列データ」と呼ぶ）や、第２センサユニット２０により計測された作業者の動きに対応する時系列データ（以下、これを「第２時系列データ」と呼ぶ）を取得する。取得部１１０は、第１センサユニット１０から送信された第１時系列データや第２センサユニット２０から送信された第２時系列データを直接取得してもよいし、上述のようにクラウドサーバや外部の記録装置に保存された第１時系列データや第２時系列データを、これらクラウドサーバや外部の記憶装置にアクセスして取得してもよい。

上述の処理Ａにおいて、取得部１１０は第１時系列データと第２時系列データの双方を取得し、これらの第１時系列データおよび第２時系列データを第１処理部１２０に供給するとともに、ストレージデバイス１０３などに格納する（図４の時系列データ１７０）。また、上述の処理Ｃにおいて、取得部１１０は、第１時系列データのみを取得して、第３処理部１４０に供給する。

第１処理部１２０は、上述の処理Ａにあたる各処理を実行する処理部であり、信号同期部１２１と、対応区間検出部１２２と、対応付け部１２３とを備える。

信号同期部１２１は、第１時系列データと第２時系列データとの時刻を同期させる機能を有する。第１時系列データや第２時系列データは、例えば３軸加速度センサにより計測された加速度信号の時系列データであり、各加速度値に対応する計測時刻が付加されている。計測時刻は各加速度値に紐付けられた時刻でもよいし、計測開始時刻とサンプリング周期の組み合わせで表現されていてもよい。第１センサユニット１０が内部に保持しているシステム時計情報と第２センサユニット２０が内部に保持しているシステム時計情報とが計測開始時に予め同期されている場合は、信号同期部１２１は、それぞれの時系列データの計測時刻を用いて同期をとればよい。

一方、第１センサユニット１０と第２センサユニット２０の双方のシステム時計情報が計測開始時に同期していない設定の場合は、計測開始時から所定の時間Ｔ１（例えば１ｓｅｃ）内で第１センサユニット１０と第２センサユニット２０の双方に特徴的な振動を与え、信号同期部１２１では、この特徴的な振動に伴う駆動波形を手がかりに、第１時系列データと第２時系列データの時刻を同期させる。

このような特徴的な振動として、例えば時間Ｔ１内のいずれかのタイミングで作業者が工具を把持したまま周期的に左右に振る運動など低周波な振動を選択した場合、信号同期部１２１では、図５に示すように、時間Ｔ１内で第１センサユニット１０により計測された少なくとも１軸の加速度信号（図５（ａ）参照）と、時間Ｔ１内で第２センサユニット２０により計測された少なくとも１軸の加速度信号（図５（ｂ）参照）との相互相関関数を算出する（図５（ｃ）参照）。そして、相互相関関数の最大値を取るピーク３１の時刻３２を、第１センサユニット１０と第２センサユニット２０との時間ずれとして算出し、第１時系列データと第２時系列データの一方を時刻３２に相当する時間分だけシフトさせて、両波形データの時刻を同期させる。

また、特徴的な振動として、例えば作業者が把持した工具を他の物体に衝突させる運動など高周波な振動を選択した場合、信号同期部１２１では、時間Ｔ１内で第１センサユニット１０により計測された３軸の加速度信号の二乗平均和平方根と、時間Ｔ１内で第２センサユニット２０により計測された３軸の加速度信号の二乗平均和平方根とを算出し、それらの最大ピーク値の時刻差を第１センサユニット１０と第２センサユニット２０との時間ずれとして算出することで、第１時系列データと第２時系列データの時刻を同期させてもよい。

対応区間検出部１２２は、信号同期部１２１により同期が図られた第１時系列データと第２時系列データとが類似または共起している区間である対応区間を検出する。例えば、対応区間検出部１２２は、第１時系列データを表す波形（以下、これを「第１波形」と呼ぶ）と第２時系列データを表す波形（以下、これを「第２波形」と呼ぶ）との類似度が基準値以上となる区間を対応区間として検出する。

ここで、第１波形と第２波形との類似度としては、例えば、少なくとも１軸の加速度信号の波形の相関値を用いることができる。図６は、人の動きと物体の動きの相関を説明する図であり、図６（ａ）は、人がキッチンでドアや引き出しを開閉する動作やカップを把持する動作を繰り返したときの右上腕のｘ軸方向の加速度信号の波形Ｘ１を表し、図６（ｂ）は、その人が把持するカップ（物体）のｘ軸方向の加速度信号の波形Ｘ２を表している。また、図６（ｃ）は、各時刻において所定の時間Ｔ２（例えば１０００ｍｓｅｃ）区間分の波形Ｘ１と波形Ｘ２との相関係数ρ（ｔ）を算出した結果を表している。

図６（ｂ）に示すように、人がカップを把持したイベント時に対応する区間３３において、波形Ｘ２に大きな変動が発生している。そして、図６（ｃ）を見ると、区間３３と同期して負の相関係数が大きくなっていることが分かる。したがって、この区間３３は、人の動きを表す波形Ｘ１とカップ（物体）の動きを表す波形Ｘ２の類似度が高いと解釈される。

以上のように、人の動きを表す波形データと物体の動きを表す波形データの類似度は、例えば、両波形の相関係数ρ（ｔ）を用いて表すことができる。そこで、対応区間検出部１２２は、第１センサユニット１０が計測した作業者の動きを表す第１波形と、第２センサユニット２０が計測した工具の動きを表す第２波形との相関係数ρ（ｔ）を算出し、相関係数ρ（ｔ）の絶対値が閾値Ｔｈ１以上となる区間を、第１波形と第２波形とが類似している対応区間として検出することができる。

また、波形の類似度は、波形の振幅変化量や周波数が類似しているほど類似度が高いと解釈してもよい。図７は波形の振幅変化量と周波数により類似度を判定する例を示しており、図７（ａ）は基準となる波形、図７（ｂ）は図７（ａ）の波形に対し周波数が類似するが振幅変化量が異なる波形、図７（ｃ）は図７（ａ）の波形に対し振幅変化量は類似するが周波数が異なる波形、図７（ｄ）は図７（ａ）の波形に対して振幅変化量と周波数の双方が類似する波形を示している。この図７に示す例では、図７（ａ）に示す波形と図７（ｄ）に示す波形との類似度が最も高い値に算出される。具体的な指標としては、上述の相関係数の他に、例えば、波形を時間周波数解析してスペクトログラムを算出し、各周波数の波のパワー分布の差を指標としてもよい。また、所定の時間Ｔ２区間分の波形をフーリエ変換などにより周波数領域に変換し、その波形の相関係数を指標としてもよい。

対応付け部１２３は、例えば、対応区間検出部１２２により検出された第１時系列データにおける対応区間を特定する情報に対し、第１時系列データに対応する作業者（第１オブジェクトの一例）を特定する情報と、第２時系列データに対応する工具（第２オブジェクトの一例）を特定する情報とを対応付ける。対応付け部１２３による対応付けの結果は、オブジェクト対応情報１８０としてストレージデバイス１０３などに格納される。

図８は、ストレージデバイス１０３などに格納されるオブジェクト対応情報１８０の一例を示す図である。図８では、対応区間検出部１２２により検出された対応区間を特定する開始時刻および終了時刻に、作業者を特定する作業者ＩＤと、工具を特定する工具ＩＤとを対応付けたオブジェクト対応情報１８０の例を示している。作業者ＩＤは、第１センサユニット１０を装着した作業者に対して一意に割り当てられたＩＤであり、第１センサユニット１０の機器ＩＤと対応関係を記憶しておくことで、例えば、第１センサユニット１０から波形データとともに送られる機器ＩＤを手がかりに、その第１センサユニット１０を装着した作業者の作業者ＩＤを認識できる。また、工具ＩＤは、第２センサユニット２０を装着した工具に対して一意に割り当てられたＩＤであり、第２センサユニット２０の機器ＩＤと対応関係を記憶しておくことで、例えば、第２センサユニット２０から波形データとともに送られる機器ＩＤを手がかりに、その第２センサユニット２０を装着した工具の工具ＩＤを認識できる。

なお、オブジェクト対応情報１８０は、対応区間を特定する情報に対して第１オブジェクトを特定する情報と第２オブジェクトを特定する情報とを対応付けた情報であればよく、図８に示す構成に限らない。例えば、対応区間を特定する情報として、開始時刻と終了時刻のいずれかに代えて対応区間の長さ（時間）を用いてもよい。また、作業者ＩＤの代わりに第１センサユニット１０の機器ＩＤ、工具ＩＤの代わりに第２センサユニット２０の機器ＩＤを用いてもよい。また、上述のように、対応区間検出部１２２が第１波形と第２波形との類似度に基づいて対応区間を検出する構成の場合は、対応区間における第１波形と第２波形との類似度をオブジェクト対応情報１８０に含めてもよい。なお、本実施形態では、後述のように、任意の作業者の動作を推定する推定器を構築するための学習データを生成する用途でオブジェクト対応情報１８０を使用することを想定する。したがって、オブジェクト対応情報１８０は、作業者ＩＤなどの第１オブジェクトを特定する情報を含まない構成であってもよい。

第２処理部１３０は、上述の処理Ｂにあたる各処理を実行する処理部であり、学習データ生成部１３１と、推定器構築部１３２とを備える。

学習データ生成部１３１は、オブジェクト対応情報１８０に基づいて、作業者の動作を推定する推定器を構築するための学習データを生成する。学習データ生成部１３１には、取得部１１０によりストレージデバイス１０３などに格納された時系列データ１７０のうちの第１時系列データと、ストレージデバイス１０３などに格納されたオブジェクト対応情報１８０のうちの開始時刻、終了時刻、および工具ＩＤとが入力される。学習データ生成部１３１は、これら入力された情報を用いて、第１時系列データに対して工具ＩＤをラベル付けした学習データを生成する。

図９は、学習データを生成する方法の一例を説明する図である。学習データ生成部１３１は、例えば図９に示すように、まず、第１センサユニット１０により計測された３軸加速度を表す第１時系列データの時刻ごとに、工具ＩＤをラベルとして付与したデータを生成する。このとき、対応区間検出部１２２により検出された対応区間に含まれる時刻に対しては、その対応区間に対応する工具ＩＤがラベルとして付与され、対応区間に該当しない時刻に対しては、工具が使用されていなことを表す意味で「ＮＵＬＬ」というラベルが付与される。

次に、学習データ生成部１３１は、以上のように時刻ごとにラベル付けされた第１時系列データから、所定長さＴ１１の解析区間分のデータを、所定時間Ｔ１２ずらしながら抽出し、推定器入力用のデータとする。図９では、解析区間の長さＴ１１を２００ｍｓｅｃ、所定時間Ｔ１２を１００ｍｓｅｃに設定して推定器入力用のデータを抽出する例を示しているが、これらＴ１１およびＴ１２の長さは、解析対象とする動作の種類に応じて設計者が最適な値を定めればよい。

次に、学習データ生成部１３１は、以上のように抽出した推定器入力用のデータに対応する推定器出力用の代表ラベルを決定する。代表ラベルは、上述の解析区間内の各時刻で同じラベルが付与されている場合は、そのラベルを代表ラベルとすればよい。例えば図９の解析区間４２のデータに対応する代表ラベルは「電動ドライバー」となる。一方、解析区間内で複数のラベルが付与されている場合は、例えば、解析区間の長さＴ１１に対し、複数のラベルのうちのいずれかのラベルが付与されている時間の割合が閾値Ｔｈ２以上である場合に、そのラベルを代表ラベルとする。いずれのラベルもこの条件を満たさない場合は、様々な動作が混在しており解析困難な区間であるとみなして、代表ラベルは「ＮＵＬＬ」となる。閾値Ｔｈ２は、例えば６０％に設定される。この場合、図９の解析区間４１のデータに対応する代表ラベルは「ＮＵＬＬ」となる。

学習データ生成部１３１は、以上のように、時刻ごとにラベル付けされた第１時系列データから抽出した推定器入力用のデータと推定器出力用の代表ラベルとの組み合わせを、機械学習により推定器を構築するための学習データとして生成する。

推定器構築部１３２は、学習データ生成部１３１により生成された学習データを用いた機械学習により推定器を構築する。推定器構築部１３２は、推定器を構築するにあたり、上述の解析区間分の第１時系列データを深層学習のネットワークに入力し、この第１時系列データに対応する代表ラベルを教師ラベルとして用いて、ネットワークの層数や重みのパラメータなどを学習させる。

推定器構築部１３２により構築された推定器のプログラムおよびパラメータ（図４の推定器１９０）は、ストレージデバイス１０３などに格納される。また、上述の解析区間のパラメータである所定長さＴ１１や所定時間Ｔ１２などの情報も、ストレージデバイス１０３などに併せて格納される。

第３処理部１４０は、上述の処理Ｃにあたる処理を実行する処理部であり、動作推定部１４１を備える。

動作推定部１４１は、第１センサユニット１０により計測された作業者の動きに対応する第１時系列データを入力とし、推定器構築部１３２により構築され、ストレージデバイス１０３などに格納された推定器のプログラムおよびパラメータ（図４の推定器１９０）に基づいて、作業者の動作を推定する。

動作推定部１４１には、取得部１１０により取得された第１時系列データが入力される。動作推定部１４１は、ストレージデバイス１０３などに格納されている上述の所定長さＴ１１や所定時間Ｔ１２を参照し、入力された第１時系列データから、推定器構築部１３２により構築された推定器のデータ形式に合せた区間長のデータを逐次抽出する。そして、動作推定器１４１は、抽出したデータを推定器の入力とし、ストレージデバイス１０３などに格納されている推定器のプログラムおよびパラメータ（図４の推定器１９０）に基づいて出力されるラベルから、作業者の動作を推定する。

出力部１５０は、本実施形態の動作解析装置１００による処理結果を表す情報を出力する。出力部１５０は、例えば、動作解析装置１００による処理結果をディスプレイ１０６に表示させてもよいし、動作解析装置１００による処理結果を通信Ｉ／Ｆ１０５を介して外部の装置に送信し、外部の装置に表示させてもよい。上述の処理Ｃにおいて、出力部１５０は、動作推定部１４１により推定された作業者の動作を表す情報を、ディスプレイ１０６などに表示させることができる。また、上述の処理Ａにおいて、出力部１５０は、例えば図１０に示すように、上述の第１波形と第２波形とを、両者の類似度が高い対応区間を強調したかたちでディスプレイ１０６に表示させてもよいし、両者の類似度を併せてディスプレイ１０６に表示させてもよい。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態によれば、作業者（第１オブジェクトの一例）の動きに対応する第１時系列データと工具（第２オブジェクトの一例）の動きに対応する第２時系列データとの類似性に着目することにより、これらの時系列データにおいて作業者が工具を用いて作業を行っている区間の区切りと、時系列データに対するラベル付けを自動で行うことが可能となる。また、本実施形態によれば、このようにラベル付けされた時系列データを用いて、作業者の動作を推定する推定器を機械学習により構築するための学習データを自動で生成できるので、学習データを生成するための作業負担を大幅に軽減させることができ、業務改善のための動作解析装置１００の現場導入を迅速に行えるようになる。

（変形例１）
本実施形態の動作解析装置１００は、図１１に示すように、第１処理部１２０に動作区間抽出部１２４を設け、対応区間検出部１２２が、動作区間検出部１２４により抽出された動作区間を用いて対応区間を検出する構成であってもよい。

動作区間抽出部１２４は、第１時系列データと第２時系列データの少なくとも一方から、動きがあったと推定される区間である動作区間を抽出する。図１２は、動作区間抽出部１２４による処理を説明する図である。動作区間抽出部１２４は、図１２に示すように、第１時系列データを表す第１波形と第２時系列データを表す第２波形の少なくとも一方（ここでは、図１２（ａ）に示す加速度波形とする）に対して微分処理を施し、図１２（ｂ）に示すような高周波帯波形を得る。微分処理の代用として、例えばカットオフ周波数が１０Ｈｚのハイパスフィルタを用いて、図１２（ｂ）に示すような高周波帯波形を得てもよい。そして、動作区間抽出部１２４は、この高周波帯波形の各時刻において、過去所定区間Ｔ２１の解析窓を用いて分散値（統計量の一例）を求め、分散値が閾値Ｔｈ１１以上となる区間を動作区間候補Ａとする（図１２（ｃ））。

また、動作区間抽出部１２４は、第１時系列データを表す第１波形と第２時系列データを表す第２波形の少なくとも一方（図１２（ａ）に示す加速度波形）に対し、例えばカットオフ周波数が５Ｈｚのローパスフィルタを用いて、図１２（ｄ）に示すような低周波帯波形を得る。そして、動作区間抽出部１２４は、この低周波帯波形の各時刻において、過去所定区間Ｔ２２の解析窓を用いた分散を表す変化量を求め、変化量が閾値Ｔｈ１２以上である区間と、変化量が閾値Ｔｈ１２を下回ってから次に閾値Ｔｈ１２以上となる区間であって区間長が閾値Ｔｈ１３以下である区間を、動作区間候補Ｂとする（図１２（ｅ））。なお、閾値Ｔｈ１３は、想定する動作の種類に応じて設定される閾値であるが、本例では例えば１５ｓｅｃに設定する。

そして、動作区間抽出部１２４は、上述の動作区間候補Ａと動作区間候補Ｂの少なくともいずれかに該当する区間を最終的な動作区間とし（図１２（ｆ））、第１時系列データまたは第２時系列データからこの動作区間を抽出する。

図１３は、第１時系列データまたは第２時系列データの時刻ごとに繰り返し行われる動作区間抽出部１２４の処理手順の一例を示すフローチャートである。動作区間抽出部１２４は、図１２（ｂ）に示すような高周波帯波形と、図１２（ｄ）に示すような低周波帯波形とを用いて、第１時系列データまたは第２時系列データの時刻ごとに図１３のフローチャートで示す処理を繰り返し実行することで、図１２（ｆ）に示すような動作区間を抽出する。以下では、便宜上、図１３のフローチャートで示す処理の対象となる時刻を「対象時刻」と呼ぶ。

図１３のフローチャートで示す処理が開始されると、動作区間抽出部１２４は、まず図１２（ｂ）に示す高周波帯波形に対して、対象時刻から過去所定区間Ｔ２１の解析窓での分散値を算出する（ステップＳ１０１）。そして、算出した分散値が閾値Ｔｈ１１以上であれば（ステップＳ１０２：Ｙｅｓ）、対象時刻について動作区間候補Ａ＝Ｔｒｕｅを保持する（ステップＳ１０３）。一方、算出した分散値が閾値Ｔｈ１１未満であれば（ステップＳ１０２：Ｎｏ）、対象時刻について動作区間候補Ａ＝Ｆａｌｓｅを保持する（ステップＳ１０４）。

また、動作区間抽出部１２４は、図１２（ｄ）に示す低周波帯波形に対して、対象時刻から過去所定区間Ｔ２２の解析窓を用いて変化量を算出する（ステップＳ１０５）。そして、算出した変化量が閾値Ｔｈ１２以上であれば（ステップＳ１０６：Ｙｅｓ）、対象時刻について動作区間候補Ｂ＝Ｔｒｕｅを保持する（ステップＳ１０７）。一方、変化量が閾値Ｔｈ１２未満であれば（ステップＳ１０６：Ｎｏ）、対象時刻よりも過去の時刻で変化量が閾値Ｔｈ１２以上であった直近の時刻（これを「参照時刻」と呼ぶ）を特定し、参照時刻から対象時刻までの時間差を閾値Ｔｈ１３と比較する。そして、参照時刻と対象時刻との時間差が閾値Ｔｈ１３以下であれば（ステップＳ１０８：Ｎｏ）、対象時刻について動作区間候補Ｂ＝Ｔｒｕｅを保持する（ステップＳ１０７）。一方、参照時刻と対象時刻との時間差が閾値Ｔｈ１３よりも大きければ（ステップＳ１０８：Ｙｅｓ）、対象時刻について動作区間候補Ｂ＝Ｆａｌｓｅを保持し（ステップＳ１０９）、参照時刻から対象時刻までに動作区間と判定された区間があれば、その区間を非動作区間に変更する（ステップＳ１１０）。

その後、動作区間抽出部１２４は、対象時刻における動作区間候補Ａの値と動作区間候補Ｂの値を参照し、少なくとも一方がＴｒｕｅであれば（ステップＳ１１１：Ｙｅｓ）、対象時刻を動作区間と判定して（ステップＳ１１２）、処理を終了する。一方、対象時刻における動作区間候補Ａの値と動作区間候補Ｂの値の双方がＦａｌｓｅであれば（ステップＳ１１１：Ｎｏ）、対象時刻を非動作区間と判定して（ステップＳ１１３）、処理を終了する。

本変形例における対応区間検出部１２２は、動作区間抽出部１２４によって第１時系列データと第２時系列データの少なくとも一方から抽出された動作区間を用いて、対応区間を検出する。第１時系列データのみから動作区間が抽出された場合、対応区間検出部１２２は、第１時系列データから抽出された動作区間を第２時系列データと照合し、第２時系列データにおいて、第１時系列データから抽出された動作区間との類似度が基準値以上となる区間を対応区間として検出する。また、第２時系列データのみから動作区間が抽出された場合、対応区間検出部１２２は、第２時系列データから抽出された動作区間を第１時系列データと照合し、第１時系列データにおいて、第２時系列データから抽出された動作区間との類似度が基準値以上となる区間を対応区間として検出する。

また、第１時系列データと第２時系列データとの双方から動作区間が抽出された場合、対応区間検出部１２２は、第１時系列データから抽出された動作区間と第２時系列データから抽出された動作区間との類似度が基準値を超える場合に、それらの動作区間を対応区間として検出する。

また、第１時系列データから抽出された動作区間の開始時刻と第２時系列データから抽出された動作区間の開始時刻との時間差と、第１時系列データから抽出された動作区間の終了時刻と第２時系列データから抽出された動作区間の終了時刻との時間差がともに所定の閾値Ｔｈ２１（例えば５００ｍｓｅｃ）未満であり、両動作区間が同期していると見做すことができる場合、それらの動作区間は第１時系列データを表す第１波形と第２時系列データを表す第２波形が共起している区間であるため、それらの動作区間を対応区間として検出するようにしてもよい。この場合、両動作区間の開始時刻の時間差と終了時刻の時間差との合計値を、上述の第１波形と第２波形との類似度と同様に扱って、オブジェクト対応情報１８０に含めるようにしてもよい。

以上説明したように、本変形例では、第１時系列データと第２時系列データの少なくとも一方から動きがあったと推定される動作区間を抽出し、抽出した動作区間を用いて対応区間を検出するようにしているので、対応区間の検出をより正確に、かつ低コストで実施することができる。

（変形例２）
本実施形態の動作解析装置１００は、図１４に示すように、第２処理部１３０と第３処理部１４０とにそれぞれ特徴量算出部１３４，１４２を設け、第１時系列データから算出された特徴量を用いて学習データの生成や動作の推定を行う構成であってもよい。第１時系列データから算出する特徴量としては、解析区間における波形の振幅平均値・分散値・標準偏差値、高周波数帯および低周波数帯での波形の振幅平均値や、分散値、また周波数解析後に最大パワー値を持つ周波数値の少なくとも１つを用いることができる。

本変形例における学習データ生成部１３１は、図９に示したように時刻ごとにラベル付けされた第１時系列データから抽出した解析区間分のデータを特徴量算出部１３４に渡し、特徴量算出部１３４により算出された特徴量を受け取る。そして、特徴量算出部１３４により算出された特徴量と代表ラベルとの組み合わせを学習データとして生成する。この場合、推定器構築部１３２は、学習データ生成部１３１により生成された学習データを用いて、サポートベクターマシンや誤差逆伝搬法に代表される一般的な識別手法に基づく推定器を構築することができる。

本変形例における動作推定部１４１には、取得部１１０により取得された第１時系列データから特徴量算出部１４２により算出された特徴量が入力される。特徴量算出部１４２が算出する特徴量は、特徴量算出部１３４が算出する特徴量と同一のものである。特徴量算出部１４２は、ストレージデバイス１０３などに格納されている上述の所定長さＴ１１や所定時間Ｔ１２を参照し、取得部１１０により取得された第１時系列データから、推定器構築部１３２により構築された推定器のデータ形式に合せた区間長のデータの特徴量を算出して、動作推定部１４１に渡す。動作推定部１４１は、この特徴量を推定器の入力とし、ストレージデバイス１０３などに格納されている推定器のプログラムおよびパラメータ（図１４の推定器１９０）に基づいて出力されるラベルから、作業者の動作を推定する。

以上説明したように、本変形例では、第１時系列データから算出された特徴量を用いて学習データの生成や動作の推定を行うようにしているので、一般的な識別手法に基づく推定器を構築して作業者の動作をより簡便に推定することができる。

＜第２実施形態＞
本実施形態では、複数の作業者が同一の工具を使用することが想定される場合に、複数の作業者の各々に装着された第１センサユニット１０からの複数の第１時系列データと、工具に装着された第２センサユニット２０からの第２時系列データとを用いて、工具がいつ、どの作業者により使用されたかを特定する。上述の第１実施形態では、推定器の構築に用いる学習データを生成する目的で、第１時系列データと第２時系列データとの対応区間を検出して第１時系列データにラベル付けしたが、本実施形態では、主に複数の作業者が使用する工具の使用履歴を記録する目的で、複数の第１時系列データのいずれかと第２時系列データとの対応区間を検出して第２時系列データにラベル付けする。

図１５は、本実施形態の動作解析装置２００の概要を説明する図である。図１５に示すように、本実施形態の動作解析装置２００は、複数の作業者（第１オブジェクトの一例）に各々装着された複数の第１センサユニット１０（１０Ａ，１０Ｂ）と、これら複数の作業者が使用する同一の工具（第２オブジェクトの一例）に装着された第２センサユニット２０のそれぞれから、作業者の動きや工具の動きに対応する時系列データを受信する。そして、本実施形態の動作解析装置２００は、工具の動きに対応する第２時系列データにおいて、複数の作業者に各々対応する複数の第１時系列データのいずれかと波形が類似または共起する対応区間を検出し、その第２時系列データにおける対応区間を特定する情報に対して、複数の作業者のいずれかを特定する情報を対応付けたオブジェクト対応情報１８０を、ストレージデバイス１０３などに格納する。なお、図１５においては２つの第１センサユニット１０Ａ，１０Ｂを図示しているが、同一の工具を使用する作業者の数に応じて、より多くの第１センサユニット１０を用いてもよい。

図１６は、本実施形態の動作解析装置２００の機能的な構成例を示すブロック図である。本実施形態の動作解析装置２００は、例えば、図３に示したハードウェアとソフトウェア（プログラム）との協働により実現される機能的な構成要素として、図１６に示すように、取得部１１０と、信号同期部１２１と、対応区間検出部１２２と、対応付け部１２３とを備える。なお、上述の第１実施形態の変形例１と同様に、動作区間抽出部１２４をさらに備える構成であってもよい。

取得部１１０は、第１実施形態と同様に、第１時系列データと第２時系列データとを取得する。また、信号同期部１２１は、第１実施形態と同様に、第１時系列データと第２時系列データとの時刻を同期させる。ただし、本実施形態では、取得部１１０が、複数の第１センサユニット１０Ａ，１０Ｂから送信された、複数の作業者に対応する複数の第１時系列データを取得し、信号同期部１２１が、これら複数の第１時系列データと第２時系列データの時刻を同期させる。

対応区間検出部１２２は、信号同期部１２１により複数の第１時系列データとの同期が図られた第２時系列データから、複数の第１時系列データのいずれかと類似または共起している対応区間を検出する。本実施形態の対応区間検出部１２２が第２時系列データから対応区間を検出する具体的な方法は、上述した第１実施形態と同様の方法を用いることができる。

対応付け部１２３は、対応区間検出部１２２により検出された第２時系列データにおける対応区間を特定する情報に対し、第２時系列データに対応する工具を特定する情報と、その対応区間において波形が類似または共起している第１時系列データに対応する作業者を特定する情報とを対応付ける。対応付け部１２３による対応付けの結果は、オブジェクト対応情報１８０としてストレージデバイス１０３などに格納される。

図１７は、ストレージデバイス１０３などに格納されるオブジェクト対応情報１８０の一例を示す図である。図１７では、対応区間検出部１２２により検出された対応区間を特定する開始時刻および終了時刻に、工具を特定する工具ＩＤと、作業者を特定する作業者ＩＤとを対応付けたオブジェクト対応情報１８０の例を示している。対応区間を特定する情報として、開始時刻と終了時刻のいずれかに代えて対応区間の長さ（時間）を用いてもよい。また、作業者ＩＤの代わりに第１センサユニット１０の機器ＩＤ、工具ＩＤの代わりに第２センサユニット２０の機器ＩＤを用いてもよい。

以上のように、本実施形態によれば、複数の作業者が使用する工具の動きを表す第２時系列データに対し、いずれかの作業者が使用した区間の区切りと、どの作業者が使用したかを示すラベル付けを自動で行うことができ、効率のよい動作解析を実現することができる。

なお、以上説明した例では、複数の作業者にそれぞれ第１センサユニット１０を装着するものとして説明したが、同一の作業者の異なる身体部位にそれぞれ第１センサユニット１０を装着し、作業者がどのように工具を使用したかを解析するのに役立ててもよい。また、現場の稼働設備などの工具以外の物体に第２センサユニット２０を装着し、その物体の使用履歴を把握できるようにしてもよい。

＜第３実施形態＞
本実施形態では、検出された対応区間における第１波形と第２波形との類似度と、この対応区間の時系列データから算出される特徴量の少なくともいずれかを、指定された数のクラスタに分類して、その分類結果を含むオブジェクト対応情報１８０を、ストレージデバイス１０３などに記憶させる。

図１８は、本実施形態の動作解析装置３００の概要を説明する図である。図１８に示すように、作業者の疲労状態や熟練度、作業者が工具を正しく使用しているか否かに伴う把持方法の変化に応じて、作業者と工具の姿勢は変化する。このため、例えば、センサに３軸加速度センサを用いる場合、対応区間における類似度に相当する相関値が高い加速度の軸の組み合わせが変化すると考えられる。また、例えば、作業者の動きが同一で加速度波形が類似していても、把持方法が異なれば工具の加速度波形は異なると考えられる。同様に、工具の動きが同一で加速度波形が類似していても、把持方法が異なれば、作業者の加速度波形が変化する。さらに、同一の工具を異なる使用目的で使用した場合には、作業者と工具の双方の加速度波形、類似度の高い加速度の軸の傾向なども大きく異なってくると考えられる。

そこで、本実施形態では、第１時系列データと第２時系列データとの波形の類似性を分析することで得られる情報、つまり、上述の対応区間における類似度とこの対応区間の時系列データから算出される特徴量の少なくともいずれかを、指定された数のクラスタに分類することで、上述のような作業者の疲労状態や熟練度、工具の使用方法、使用目的などの違いを分析できるようにしている。

図１９は、本実施形態の動作解析装置３００の機能的な構成例を示すブロック図である。本実施形態の動作解析装置３００は、例えば、図３に示したハードウェアとソフトウェア（プログラム）との協働により実現される機能的な構成要素として、図１９に示すように、取得部１１０と、信号同期部１２１と、対応区間検出部１２２と、対応付け部１２３と、特徴量算出部３０１と、分類部３０２とを備える。なお、上述の第１実施形態の変形例１と同様に、動作区間抽出部１２４をさらに備える構成であってもよい。

取得部１１０は、第１実施形態と同様に、第１時系列データと第２時系列データとを取得する。また、信号同期部１２１は、第１実施形態と同様に、第１時系列データと第２時系列データとの時刻を同期させる。また、対応区間検出部１２２は、第１実施形態と同様に、第１時系列データと第２時系列データとで波形が類似または共起する対応区間を検出する。

特徴量算出部３０１は、対応区間検出部１２２により検出された対応区間における第１時系列データと第２時系列データの少なくとも一方から特徴量を算出する。ここで特徴量とは、連続して類似度が高い区間における波形の振幅平均値・分散値・標準偏差値、高周波数帯および低周波数帯での波形の振幅平均値や、分散値、また周波数解析後に最大パワー値を持つ周波数値の少なくとも１つである。

分類部３０２は、対応区間検出部１２２により検出された対応区間における類似度と、特徴量算出部３０１により算出された特徴量の少なくともいずれかを、指定された数のクラスタに分類する。分類に用いるクラスタ数は、例えば、作業者の疲労状態や熟練度、工具の使用方法、使用目的などの違いを分析するユーザが、分析の粒度に応じた数をキー入力などにより指定してもよいし、固定の数が予め指定されていてもよい。分類部３０２によるクラスタリングの手法には、例えばｋ−ｍｅａｎｓ法などの公知の手法を利用することができる。

対応付け部１２３は、対応区間検出部１２２により検出された対応区間を特定する情報に対し、第１時系列データに対応する作業者を特定する情報と、第２時系列データに対応する工具を特定する情報と、分類部３０２による分類結果とを対応付ける。対応付け部１２３による対応付けの結果は、オブジェクト対応情報１８０としてストレージデバイス１０３などに格納される。

図２０は、ストレージデバイス１０３などに格納されるオブジェクト対応情報１８０の一例を示す図である。図２０では、対応区間検出部１２２により検出された対応区間を特定する開始時刻および終了時刻に対応付けて、作業者を特定する作業者ＩＤと、工具を特定する工具ＩＤと、分類部３０２による分類結果を示すクラスタＩＤとを対応付けたオブジェクト対応情報１８０の例を示している。対応区間を特定する情報として、開始時刻と終了時刻のいずれかに代えて対応区間の長さ（時間）を用いてもよい。また、作業者ＩＤの代わりに第１センサユニット１０の機器ＩＤ、工具ＩＤの代わりに第２センサユニット２０の機器ＩＤを用いてもよい。

また、分類部３０２が特徴量算出部３０１により算出された特徴量を分類する場合、対応付け部１２３は、自己組織化マップや主成分分析などを利用して、多次元の特徴量を低次元化した値をさらに対応付けて、低次元化した特徴量の値を含むオブジェクト対応情報１８０がストレージデバイス１０３などに格納されるようにしてもよい。この場合、オブジェクト対応情報１８０に含まれる低次元化した特徴量の値を二次元空間上で表現してユーザに提示することにより、ユーザは、それぞれのデータの近さを直感的に理解することができる。

以上のように、本実施形態によれば、第１時系列データと第２時系列データとの波形の類似性を分析することで得られる情報を指定された数のクラスタに分類し、その分類結果を記憶させるようにしているので、作業者の疲労状態や熟練度、工具の使用方法、使用目的などの違いを分析することができ、より詳細な動作解析を実現することができる。

＜補足説明＞
上述した各実施形態では、現場における作業者の動作を解析する用途を想定して、動きの計測対象となるオブジェクトについて、第１オブジェクトは作業者（人）であり、第２オブジェクトは作業者が使用する工具、部品、現場の稼動設備など（物体）であるものとして説明した。しかし、上述した各実施形態は、現場における作業者の動作を解析する用途に限らず様々な用途での応用が可能であり、その用途における動きの計測対象が第１オブジェクトおよび第２オブジェクトとなる。例えば、第１オブジェクトをロボットとし、第２オブジェクトをそのロボットが使用する道具とすれば、ロボットの動作を解析する用途での応用が可能となる。

上述した各実施形態の動作解析装置１００，２００，３００は、例えば、通常のコンピュータを用いて所定のプログラムを実行することにより実現できる。すなわち、動作解析装置１００，２００，３００の機能的な構成要素として示した各部は、コンピュータにより実行されるプログラムに含まれ、コンピュータが備える１以上のプロセッサ（図３のプロセッサ１０１）がこのプログラムを実行することにより、上述した各部がＲＡＭなどの主記憶（図３の内部メモリ１０２）上に生成される。

コンピュータにより実行される上記プログラムは、例えば、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、またはこれに類する記録媒体に記録されて提供される。なお、プログラムを記録する記録媒体は、コンピュータが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。また、上記プログラムを、コンピュータに予めインストールするように構成してもよいし、ネットワークを介して配布される上記のプログラムをコンピュータに適宜インストールするように構成してもよい。

なお、上述した各実施形態の動作解析装置１００，２００，３００を構成する各部は、プログラム（ソフトウェア）により実現するだけでなく、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアにより実現することもできる。

また、上述した各実施形態の動作解析装置１００，２００，３００は、複数台のコンピュータを通信可能に接続したネットワークシステムとして構成し、上述した各部を複数台のコンピュータに分散して実現する構成であってもよい。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０（１０Ａ，１０Ｂ） 第１センサユニット
２０ 第２センサユニット
１００ 動作解析装置
１２２ 対応区間検出部
１２３ 対応付け部
１２４ 動作区間抽出部
１３１ 学習データ生成部
１３２ 推定器構築部
１３４ 特徴量算出部
１４１ 動作推定部
１４２ 特徴量算出部
１８０ オブジェクト対応情報
２００ 動作解析装置
３００ 動作解析装置
３０１ 特徴量算出部
３０２ 分類部

Claims (16)

1. 第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データを表す第１波形、または、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データを表す第２波形の高周波帯の波形に対して所定の時間長さの解析窓を用いて求めた統計量が第１閾値以上である区間と、前記第１波形または前記第２波形の低周波帯の波形に対して所定の時間長さの解析窓を用いて求めた変化量が第２閾値以上である区間と、該変化量が前記第２閾値を下回ってから次に前記第２閾値以上となるまでの区間であって区間長が第３閾値以下である区間とを、動きがあったと推定される動作区間として抽出する動作区間抽出部と、
   抽出された前記動作区間を用いて、前記第１時系列データと前記第２時系列データとが類似または共起している区間である対応区間を検出する対応区間検出部と、
   検出された前記対応区間を特定する情報に対し、前記第１オブジェクトを特定する情報と前記第２オブジェクトを特定する情報の少なくとも一方を対応付ける対応付け部と、
   を備える動作解析装置。
2. 第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データと、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データとを用いて、前記第１時系列データと前記第２時系列データとが類似または共起している区間である対応区間を検出する対応区間検出部と、
   検出された前記対応区間を特定する情報に対し、前記第１オブジェクトを特定する情報と前記第２オブジェクトを特定する情報の少なくとも一方を対応付ける対応付け部と、
   前記対応付け部による対応付けの結果を用いて、前記第１時系列データにおける前記対応区間に対して前記第２オブジェクトを特定する情報をラベル付けし、ラベル付けした前記第１時系列データを用いて学習データを生成する学習データ生成部と、
   前記学習データを用いた機械学習により推定器を構築する推定器構築部と、
   を備える動作解析装置。
3. 前記対応区間検出部は、前記第１時系列データを表す第１波形と前記第２時系列データを表す第２波形との類似度が基準値以上となる区間を前記対応区間として検出し、
   前記対応付け部は、前記対応区間における前記第１波形と前記第２波形との類似度をさらに対応付ける、
   請求項１または請求項２に記載の動作解析装置。
4. 前記第１センサと前記第２センサは、振動を計測する加速度センサ、回転運動を計測するジャイロセンサ、または、地磁気を検出する地磁気センサのうちの少なくとも１つである、
   請求項１乃至３のいずれか一項に記載の動作解析装置。
5. 前記第１オブジェクトは人であり、前記第２オブジェクトは前記人が使用する物体である、
   請求項１乃至４のいずれか一項に記載の動作解析装置。
6. 前記学習データ生成部は、前記第１時系列データから算出された特徴量を用いて前記学習データを生成する、
   請求項２に記載の動作解析装置。
7. 前記第１時系列データまたは該第１時系列データから算出された特徴量を入力とし、前記推定器のプログラムおよびパラメータに基づいて前記第１オブジェクトの動作を推定する動作推定部をさらに備える、
   請求項２または６に記載の動作解析装置。
8. 前記対応区間検出部は、前記第２時系列データから、複数の第１オブジェクトに対応する複数の前記第１時系列データのうちのいずれか１つに類似または共起している前記対応区間を検出し、
   前記対応付け部は、検出された前記対応区間を特定する情報に対し、前記第２時系列データに類似または共起している前記第１時系列データに対応する前記第１オブジェクトを特定する情報を対応付ける、
   請求項１乃至７のいずれか一項に記載の動作解析装置。
9. 前記対応区間における前記第１時系列データを表す第１波形と前記第２時系列データを表す第２波形との類似度、または、前記対応区間の前記第１時系列データまたは前記第２時系列データから算出された特徴量を、指定された数のクラスタに分類する分類部をさらに備え、
   前記対応付け部は、前記分類部による分類結果をさらに対応付ける、
   請求項１乃至７のいずれか一項に記載の動作解析装置。
10. 第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データであって、前記第１時系列データの区間のうち、前記第１時系列データと、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データとが類似または共起している区間である対応区間に対して前記第２オブジェクトを特定する情報がラベル付けされた前記第１時系列データを用いて生成された学習データを用いた機械学習により構築された推定器に対して、前記第１時系列データまたは該第１時系列データから算出された特徴量を入力とし、前記推定器のプログラムおよびパラメータに基づいて前記第１オブジェクトの動作を推定する動作推定部
    を備える動作解析装置。
11. コンピュータにより実行される動作解析方法であって、
    動作区間抽出部が、第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データを表す第１波形、または、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データを表す第２波形の高周波帯の波形に対して所定の時間長さの解析窓を用いて求めた統計量が第１閾値以上である区間と、前記第１波形または前記第２波形の低周波帯の波形に対して所定の時間長さの解析窓を用いて求めた変化量が第２閾値以上である区間と、該変化量が前記第２閾値を下回ってから次に前記第２閾値以上となるまでの区間であって区間長が第３閾値以下である区間とを、動きがあったと推定される動作区間として抽出するステップと、
    対応区間検出部が、抽出された前記動作区間を用いて、前記第１時系列データと前記第２時系列データとが類似または共起している区間である対応区間を検出するステップと、
    対応付け部が、検出された前記対応区間を特定する情報に対し、前記第１オブジェクトを特定する情報と前記第２オブジェクトを特定する情報の少なくとも一方を対応付けるステップと、
    を含む動作解析方法。
12. コンピュータにより実行される動作解析方法であって、
    対応区間検出部が、第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データと、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データとを用いて、前記第１時系列データと前記第２時系列データとが類似または共起している区間である対応区間を検出するステップと、
    対応付け部が、検出された前記対応区間を特定する情報に対し、前記第１オブジェクトを特定する情報と前記第２オブジェクトを特定する情報の少なくとも一方を対応付けるステップと、
    学習データ生成部が、前記対応付け部による対応付けの結果を用いて、前記第１時系列データにおける前記対応区間に対して前記第２オブジェクトを特定する情報をラベル付けし、ラベル付けした前記第１時系列データを用いて学習データを生成するステップと、
    推定器構築部が、前記学習データを用いた機械学習により推定器を構築するステップと、
    を含む動作解析方法。
13. コンピュータにより実行される動作解析方法であって、
    動作推定部が、第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データであって、前記第１時系列データの区間のうち、前記第１時系列データと、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データとが類似または共起している区間である対応区間に対して前記第２オブジェクトを特定する情報がラベル付けされた前記第１時系列データを用いて生成された学習データを用いた機械学習により構築された推定器に対して、前記第１時系列データまたは該第１時系列データから算出された特徴量を入力とし、前記推定器のプログラムおよびパラメータに基づいて前記第１オブジェクトの動作を推定するステップ
    を含む動作解析方法。
14. コンピュータに、
    第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データを表す第１波形、または、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データを表す第２波形の高周波帯の波形に対して所定の時間長さの解析窓を用いて求めた統計量が第１閾値以上である区間と、前記第１波形または前記第２波形の低周波帯の波形に対して所定の時間長さの解析窓を用いて求めた変化量が第２閾値以上である区間と、該変化量が前記第２閾値を下回ってから次に前記第２閾値以上となるまでの区間であって区間長が第３閾値以下である区間とを、動きがあったと推定される動作区間として抽出する機能と、
    抽出された前記動作区間を用いて、前記第１時系列データと前記第２時系列データとが類似または共起している区間である対応区間を検出する機能と、
    検出された前記対応区間を特定する情報に対し、前記第１オブジェクトを特定する情報と前記第２オブジェクトを特定する情報の少なくとも一方を対応付ける機能と、
    を実現させるためのプログラム。
15. コンピュータに、
    第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データと、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データとを用いて、前記第１時系列データと前記第２時系列データとが類似または共起している区間である対応区間を検出する機能と、
    検出された前記対応区間を特定する情報に対し、前記第１オブジェクトを特定する情報と前記第２オブジェクトを特定する情報の少なくとも一方を対応付ける機能と、
    対応付けの結果を用いて、前記第１時系列データにおける前記対応区間に対して前記第２オブジェクトを特定する情報をラベル付けし、ラベル付けした前記第１時系列データを用いて学習データを生成する機能と、
    前記学習データを用いた機械学習により推定器を構築する機能と、
    を実現させるためのプログラム。
16. コンピュータに、
    第１オブジェクトの動きを計測する第１センサの出力に基づく第１時系列データであって、前記第１時系列データの区間のうち、前記第１時系列データと、第２オブジェクトの動きを計測する第２センサの出力に基づく第２時系列データとが類似または共起している区間である対応区間に対して前記第２オブジェクトを特定する情報がラベル付けされた前記第１時系列データを用いて生成された学習データを用いた機械学習により構築された推定器に対して、前記第１時系列データまたは該第１時系列データから算出された特徴量を入力とし、前記推定器のプログラムおよびパラメータに基づいて前記第１オブジェクトの動作を推定する機能
    を実現させるためのプログラム。

Images