JP7350222B1 - 動作分析装置、動作分析方法、及び動作分析プログラム - Google Patents

Abstract

動作分析装置（１００）は、作業を実施している対象作業者を示す入力映像に含まれている対象フレームに対応する時刻である対象時刻から、対象時刻よりも将来の時刻までの期間である以後期間における対象作業者の対象部位の軌跡であって、入力映像に基づいて導出された軌跡である第３対象軌跡に類似する軌跡を、対象作業者が実施すべき作業を実施している場合における対象部位に対応する部位の軌跡を示す参照軌跡情報（１９０）が示す軌跡から第３類似軌跡として抽出するマッチング部（１３０）を備える。

Description

本開示は、動作分析装置、動作分析方法、及び動作分析プログラムに関する。

産業分野において、作業者のサイクルタイムの計測と、作業内容の分析とが人手で行われていた。
特許文献１は、作業者のサイクルタイムの計測と、作業内容の分析との負荷を減らすために、作業者のサイクルタイムの計測と、作業内容の分析とを自動化する手法を提案している。当該手法では、映像から得た姿勢情報の時系列推移を動作軌跡と定義し、あらかじめ学習した軌跡と比較することにより作業内容を特定する。当該手法において、カメラ及びセンサが取得したデータに基づく姿勢情報を用いることにより、分析対象である作業者に負担がかからない。

特許第６７８６０１５号公報

特許文献１では、工場のライン作業者の作業時間及び作業手順を分析するために、分析対象時刻を含む分析対象時刻の前後における関節の軌跡と、登録した定常作業における関節の軌跡とをマッチングすることにより、作業時間及び作業手順を検出する。しかしながら、実際の作業では、定常作業における動作とは異なる動作（作業抜け又は非定常作業等）が発生することがある。定常作業における動作とは異なる動作が発生した場合、作業者の関節の軌跡が登録した軌跡と異なるため、関節の軌跡を誤ってマッチングする可能性がある。しかしながら、特許文献１は、関節の軌跡を誤ってマッチングする可能性を減らす技術を開示していない。
本開示は、対象作業者の対象部位の軌跡と、定常作業における対象部位の軌跡とをマッチングする技術において、対象部位の軌跡を誤ってマッチングする可能性を減らすことを目的とする。

本開示に係る動作分析装置は、
作業を実施している対象作業者を示す入力映像に含まれている対象フレームに対応する時刻である対象時刻から、前記対象時刻よりも将来の時刻までの期間である以後期間における前記対象作業者の対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第３対象軌跡に類似する軌跡を、前記対象作業者が実施すべき作業を実施している場合における前記対象部位に対応する部位の軌跡を示す参照軌跡情報が示す軌跡から第３類似軌跡として抽出する第３マッチング処理を実施するマッチング部
を備える。

本開示によれば、マッチング部が対象フレームを基準とした以後期間におけるマッチングを実施する。そのため、本開示によれば、対象フレームを基準とした前後期間において定常作業における動作とは異なる動作が発生した場合であっても、当該前後期間の後半において定常作業が実施されていれば適切にマッチングを実施することができる。従って、本開示によれば、対象作業者の対象部位の軌跡と、定常作業における対象部位の軌跡とをマッチングする技術において、対象部位の軌跡を誤ってマッチングする可能性を減らすことができる。

実施の形態１に係る動作分析装置１００の構成例を示す図。 実施の形態１に係る動作分析装置１００の処理を説明する図。 実施の形態１に係るマッチング部１３０の処理を説明する図。 実施の形態１に係る動作分析装置１００のハードウェア構成例を示す図。 実施の形態１に係る動作分析装置１００の動作を示すフローチャート。 実施の形態１に係る動作分析装置１００の効果を説明する図であり、（ａ）は前後期間におけるマッチングを説明する図、（ｂ）は以前期間におけるマッチングを説明する図。 実施の形態１の変形例に係る動作分析装置１００のハードウェア構成例を示す図。 実施の形態２に係る動作分析装置１００の動作を示すフローチャート。 実施の形態３に係る動作分析装置１００の動作を示すフローチャート。

実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。

実施の形態１．
以下、本実施の形態について、図面を参照しながら詳細に説明する。

＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る動作分析装置１００の構成例を示している。動作分析装置１００は、本図に示すように、骨格抽出部１１０と、軌跡抽出部１２０と、マッチング部１３０と、類似度比較部１４０とを備える。また、動作分析装置１００は参照軌跡情報１９０を記憶する。

骨格抽出部１１０は、外部から入力映像を取得し、取得した入力映像に含まれている各フレームにおいて対象作業者の骨格を抽出し、各フレームにおいて抽出した骨格を示す骨格情報を生成する。この際、骨格抽出部１１０は、具体例として、取得した入力映像に含まれている各フレームにおいて対象作業者の関節位置を特定し、骨格情報として、各フレームにおいて特定した関節位置を示す情報を生成する。入力映像は、カメラが出力した映像であって、作業を実施している対象作業者を示す映像である。映像は典型的には動画である。対象作業者は定常作業を実施すべきであるものとする。なお、入力映像は、３Ｄ（３－Ｄｉｍｅｎｓｉｏｎｓ）センサが出力した情報であって、対象作業者の動作を示す情報であってもよい。３Ｄセンサが取得したデータを映像と呼ぶこともある。３Ｄセンサが各時刻において取得した対象作業者の姿勢を示す情報をフレームと呼ぶこともある。

軌跡抽出部１２０は、対象作業者の対象部位について、骨格抽出部１１０が生成した骨格情報から、対象フレームを基準とした３パターンの軌跡を抽出し、抽出した各パターンの軌跡を示す軌跡情報を生成する。対象部位は、具体例として関節又は骨格の一部である。対象フレームは、入力映像に含まれているフレームから選択されたフレームである。
対象部位についての対象フレームを基準とした３パターンの軌跡は、対象フレームを基準とした前後期間における対象部位の軌跡と、対象フレームを基準とした以前期間における対象部位の軌跡と、対象フレームを基準とした以後期間における対象部位の軌跡とから成る。対象フレームを基準とした前後期間は、対象時刻よりも過去の時刻から、対象時刻よりも将来の時刻までの連続期間である。対象フレームを基準とした以前期間は、対象時刻よりも過去の時刻から、対象時刻までの連続期間である。対象フレームを基準とした以後期間は、対象時刻から、対象時刻よりも将来の時刻までの連続期間である。対象フレームは、対象作業者の作業内容を認識する対象であるフレームに当たる。対象時刻は、対象フレームに対応する時刻であり、具体例として、対象フレームがカメラによって撮影された時刻、又はセンサが対象作業者の姿勢を観測した時刻である。前後期間の開始時刻及び終了時刻の各々はどのように定められてもよい。以前期間の開始時刻はどのように定められてもよい。以後期間の終了時刻はどのように定められてもよい。前後期間における対象部位の軌跡の前半部分を以前期間における対象部位の軌跡とし、前後期間における対象部位の軌跡の後半部分を以後期間における対象部位の軌跡としてもよい。以前期間における対象部位の軌跡と、以後期間における対象部位の軌跡とを結合した軌跡を前後期間における対象部位の軌跡としてもよい。
以前期間における対象部位の軌跡を第１対象軌跡とも呼ぶ。前後期間における対象部位の軌跡を第２対象軌跡とも呼ぶ。以後期間における対象部位の軌跡を第３対象軌跡とも呼ぶ。第１対象軌跡は、以前期間における対象部位の軌跡であって、入力映像に基づいて導出された軌跡である。第２対象軌跡は、前後期間における対象部位の軌跡であって、入力映像に基づいて導出された軌跡である。第３対象軌跡は、対象部位の軌跡であって、入力映像に基づいて導出された軌跡である。軌跡抽出部１２０は、骨格抽出部１１０によって生成された骨格情報から、第１対象軌跡と第２対象軌跡と第３対象軌跡との各々を抽出する。
なお、対象部位は複数存在してもよい。対象部位が複数存在する場合において、軌跡抽出部１２０は、各対象部位について、骨格情報から３パターンの軌跡を抽出する。

マッチング部１３０は、第１マッチング処理と第２マッチング処理と第３マッチング処理との各々を実施する。第１マッチング処理は、第１対象軌跡に類似する軌跡を、参照軌跡情報１９０が示す軌跡から第１類似軌跡として抽出する処理である。第２マッチング処理は、第２対象軌跡に類似する軌跡を、参照軌跡情報１９０が示す軌跡から第２類似軌跡として抽出する処理である。第３マッチング処理は、第３対象軌跡に類似する軌跡を、参照軌跡情報１９０が示す軌跡から第３類似軌跡として抽出する処理である。
具体的には、マッチング部１３０は、軌跡抽出部１２０が生成した軌跡情報が示す各パターンの軌跡を参照軌跡情報１９０が示す軌跡にマッチングすることにより、各パターンの軌跡に対応する類似区間を求める。この際、マッチング部１３０は、各パターンの軌跡について、各パターンの軌跡に対応する類似区間に対応する類似度を算出する。マッチング処理は、参照軌跡情報１９０が示す軌跡から、軌跡情報が示す各パターンの軌跡に類似又は対応する部分を抽出する処理である。類似区間は、参照軌跡情報１９０が示す連続区間であり、ある時間範囲に対応する区間である。対象パターンの軌跡に対応する類似区間において、対象パターンの軌跡と、参照軌跡情報１９０が示す軌跡との類似度が相対的に高い。類似度はどのように算出されてもよい。なお、対象期間において作業抜け又は非定常作業等が発生した場合において、対象期間に対応する類似区間は、対象作業者が本来すべき作業内容に対応する区間であることもある。
また、マッチング部１３０は、参照軌跡情報１９０に基づいて、各類似区間において対象フレームに対応するフレーム識別子を特定する。対象フレームに対応するフレーム識別子は、マッチング結果に基づいて特定されるフレーム識別子であって、参照軌跡情報１９０が示す軌跡の各時点に対応するフレームのうち、対象フレームに対応するフレームに対応するフレーム識別子である。フレーム識別子は、参照軌跡情報１９０が示す軌跡の各時点に対応するフレームを識別する識別子であり、具体例としてフレーム番号である。参照軌跡情報１９０が示す軌跡の各時点に対応するフレームは、具体例として、各時点における対象部位の軌跡の生成元であるフレームである。
マッチング部１３０は、対象フレームに対応する時刻よりも過去の時刻に対応するフレームを用いてマッチングした結果と、参照軌跡情報１９０又は対象作業者が実施すべき作業内容を示す情報とに基づいて、対象フレームに対応する時刻において対象作業者が実施すべきである作業内容を推測し、推測した作業内容に基づいて類似区間の位置を推定し、推定した結果を考慮してマッチングを実施してもよい。

類似度比較部１４０は、推定作業軌跡に対応する作業内容に対応する情報を出力する。推定作業軌跡は、第１対象軌跡と第１類似軌跡との類似度と、第２対象軌跡と第２類似軌跡との類似度と、第３対象軌跡と第３類似軌跡との類似度とのうち最も高い類似度に対応する軌跡であって、参照軌跡情報１９０が示す軌跡である。具体例として、類似度比較部１４０は、マッチング部１３０が求めた各パターンの軌跡に対応する類似度を比較し、対応する類似度が最も高いパターンの軌跡に対応する類似区間におけるフレーム識別子であって、マッチング部１３０が特定したフレーム識別子を出力する。

参照軌跡情報１９０は、作業者が定常作業を実施している場合における対象部位に対応する部位の軌跡を示す情報であり、対象部位の軌跡の各時点に対応するフレーム識別子を示す情報である。定常作業は作業者が実施すべき作業に当たる。対象部位に対応する部位は、具体例として、対象部位と同じ部位、又は対象部位と同等である部位である。参照軌跡情報１９０が示す対象部位の軌跡は、対象部位以外の部位又は作業対象に対する対象部位の相対的な位置の変動を示すものであってもよく、各時点における対象部位の位置の範囲を示すものであってもよい。フレーム識別子を示す情報は、参照軌跡情報１９０が示す軌跡の各時点に対応する作業内容に対応する情報に当たる。
参照軌跡情報１９０は、事前に取得した複数サイクル分の骨格情報である時系列データであってもよい。サイクルは、周期的に行う作業の１周期分の作業を示す単位である。また、参照軌跡情報１９０は、複数サイクル分の骨格情報の平均値を求めるなどして複数サイクル分の骨格情報を１サイクルにまとめた時系列データであってもよく、複数サイクル分の骨格情報を用いて対象部位の軌跡を機械学習したモデルであってもよい。

図２は、動作分析装置１００の処理を模式的に説明する図である。図２に示す例において、骨格抽出部１１０により入力映像から対象作業者の対象部位として対象関節が抽出され、その後、軌跡抽出部１２０により対象関節の軌跡が抽出されたものとする。ここで、入力軌跡情報は、軌跡抽出部１２０が生成した軌跡情報であって、対象作業者の対象関節の軌跡を示す情報である。
また、本例において、参照軌跡情報１９０は、参照映像に映っている作業者の対象部位である対象関節の軌跡を示す情報である。当該参照軌跡情報１９０は、参照映像に映っている作業者の対象関節を抽出し、抽出した対象関節の軌跡を抽出することにより生成されたものとする。ここで、参照映像は入力映像と同様である。本例に係る参照軌跡情報１９０において、対象関節の軌跡は対応する作業内容に応じて複数の区間に分割されており、各区間にラベルが付与されている。
本例において、マッチング部１３０は、入力軌跡情報が示す対象関節の軌跡を、参照軌跡情報１９０が示す対象関節の軌跡のうちラベル２に対応する区間の軌跡にマッチングする。また、マッチング部１３０は、対象フレームに対応する関節位置と、参照軌跡情報１９０が示す関節位置とに基づいて、対象フレームに対応するフレーム識別子であって、参照映像に含まれているフレームのフレーム識別子を特定する。また、本例において、対象フレームに対応する作業内容として、ラベル２に対応する作業内容が特定された。

図３は、マッチング部１３０の処理を模式的に説明する図である。本例において、入力軌跡情報と参照軌跡情報１９０との各々はグラフにより表されている。本例に係る入力軌跡情報は、対象フレームを基準とした前後期間における対象部位の軌跡を示す情報である。グラフの横軸は入力映像又は参照映像に含まれている各フレームを各フレームに対応する撮影時刻順に示しており、グラフの縦軸は対象部位の位置の座標を示している。グラフ中の丸印は入力映像又は参照映像に含まれている各フレームにおける対象部位の位置を示している。各グラフ中の実線は、各フレームにおける対象部位の位置を補完して引かれた線である。参照軌跡情報１９０に対応するグラフ中の破線は、入力軌跡情報に対応するグラフの形状を示している。なお、本例では対象部位の位置が１次元で表現されているが、対象部位の位置は２次元又は３次元で表現されてもよい。
本例において、マッチング部１３０は、参照軌跡情報１９０に対応するグラフ中の破線に示すように、グラフの形状と、対象部位の座標の当てはめとに基づいてマッチングを実施する。その後、マッチング部１３０は、マッチング結果に基づいて対象フレームに対応するフレーム識別子を取得する。

図４は、本実施の形態に係る動作分析装置１００のハードウェア構成例を示している。動作分析装置１００はコンピュータから成る。動作分析装置１００は複数のコンピュータから成ってもよい。

動作分析装置１００は、本図に示すように、プロセッサ１１と、記憶装置１２と、通信装置１３と、入出力インタフェース１４等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１９を介して適宜接続されている。

プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
動作分析装置１００は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサはプロセッサ１１の役割を分担する。

記憶装置１２は、具体例として揮発性の記憶装置と不揮発性の記憶装置とから成る。
揮発性の記憶装置は、具体例としてＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
不揮発性の記憶装置は、具体例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はフラッシュメモリである。

通信装置１３は、レシーバ及びトランスミッタである。通信装置１３は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

入出力インタフェース１４は、入力装置及び出力装置が接続されるポートである。入出力インタフェース１４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。

動作分析装置１００の各部は、他の装置等と通信する際に、通信装置１３及び入出力インタフェース１４を適宜用いてもよい。

記憶装置１２は動作分析プログラムを記憶している。動作分析プログラムは、動作分析装置１００が備える各部の機能をコンピュータに実現させるプログラムである。動作分析プログラムは、プロセッサ１１によって実行される。動作分析装置１００が備える各部の機能は、ソフトウェアにより実現される。

動作分析プログラムを実行する際に用いられるデータと、動作分析プログラムを実行することによって得られるデータ等は、記憶装置１２に適宜記憶される。動作分析装置１００の各部は記憶装置１２を適宜利用する。なお、データという用語と情報という用語とは同等の意味を有することもある。記憶装置１２は、コンピュータと独立したものであってもよい。

動作分析プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。動作分析プログラムは、プログラムプロダクトとして提供されてもよい。

＊＊＊動作の説明＊＊＊
動作分析装置１００の動作手順は動作分析方法に相当する。また、動作分析装置１００の動作を実現するプログラムは動作分析プログラムに相当する。

図５は、動作分析装置１００の動作の一例を示すフローチャートである。図５を用いて動作分析装置１００の動作を説明する。

（ステップＳ１０１）
骨格抽出部１１０に対して外部から入力映像が入力される。ここで、入力映像には対象作業者が映っているものとする。

（ステップＳ１０２）
骨格抽出部１１０は、入力映像に含まれている各フレームにおいて対象作業者の骨格を抽出し、各フレームにおいて抽出した骨格を示す骨格情報を生成する。

（ステップＳ１０３）
軌跡抽出部１２０は、対象フレームを選択し、対象部位について、骨格抽出部１１０が生成した骨格情報から、選択した対象フレームを基準とした３パターンの軌跡を抽出する。その後、軌跡抽出部１２０は、抽出した各パターンの軌跡を示す軌跡情報を生成する。

（ステップＳ１０４）
マッチング部１３０は、軌跡抽出部１２０が生成した軌跡情報が示す各パターンの軌跡を参照軌跡情報１９０が示す軌跡にマッチングすることにより、各パターンの軌跡に対応する類似区間を求める。この際、マッチング部１３０は、各パターンの軌跡について、各パターンの軌跡に対応する類似区間に対応する類似度を算出する。また、マッチング部１３０は、参照軌跡情報１９０に基づいて、各類似区間において対象フレームに対応するフレーム識別子を特定する。

（ステップＳ１０５）
類似度比較部１４０は、マッチング部１３０が求めた各パターンの軌跡に対応する類似度を比較し、対応する類似度が最も高いパターンの軌跡に対応するフレーム識別子を出力する。

＊＊＊実施の形態１の効果の説明＊＊＊
従来技術によれば、対象フレームを基準とした前後期間におけるマッチングを実施する。ここで、対象フレームを基準とした前後期間において作業抜け又は非定常作業等が発生したとき、多くの場合に、対象フレームを基準とした前後期間において、入力軌跡情報が示す軌跡に類似する軌跡が、参照軌跡情報１９０が示す軌跡に存在しない。そのため、図６の（ａ）に示すように、入力軌跡情報が示す軌跡と参照軌跡情報１９０が示す軌跡とを適切にマッチングすることができない。従って、従来技術によれば、対象フレームに対応するフレーム識別子を比較的高い精度で特定することができないため、対象フレームに対応する作業を比較的高い精度で特定することができない。

一方、本実施の形態によれば、対象フレームを基準とした３パターンの軌跡を用いて参照軌跡情報１９０が示す軌跡とのマッチングを実施する。ここで、作業抜け又は非定常作業等が発生した場合であっても、作業抜け又は非定常作業等が発生する直前の期間における軌跡と、作業抜け又は非定常作業等の終了直後における軌跡との少なくともいずれかは、参照軌跡情報１９０が示す軌跡の一部と通常は類似するものと考えられる。従って、本実施の形態によれば、作業抜け又は非定常作業等が発生した場合であっても、３パターンの軌跡のうち少なくとも１パターンの軌跡を、参照軌跡情報１９０が示す軌跡の一部に通常は適切にマッチングすることができる。
具体例として、本実施の形態によれば、図６の（ａ）に示すように前後期間におけるマッチングを適切に実施することができない場合であっても、図６の（ｂ）に示すように以前期間において適切にマッチングを実施することができれば、対象フレームに対応するフレーム識別子を比較的高い精度で特定することができる。ここで、当該以前期間は、対象作業者が定常作業を実施していた期間である。即ち、本実施の形態によれば、前後期間の後半において定常作業と異なる動作が発生した場合であっても、以前期間における軌跡を用いてマッチングを実施すれば、前後期間の後半における軌跡を用いないためにマッチング結果における類似度が高くなる。同様に、本実施の形態によれば、前後期間の前半において定常作業と異なる動作が発生した場合において、以後期間における軌跡を用いてマッチングを実施すればマッチング結果における類似度が高くなる。
従って、本実施の形態によれば、作業抜け又は非定常作業等が発生した場合であっても対象フレームに対応する作業を比較的高い精度で特定することができるため、定常作業を実施すべき作業者が実施中である作業内容の精度を比較的高い精度で分析することができる。

＊＊＊他の構成＊＊＊
＜変形例１＞
本変形例に係るマッチング部１３０は、対象フレームに関するマッチングを実施する際に、入力軌跡情報が示す軌跡の座標系として、対象フレームに対応する座標を原点とした座標系を用いる代わりに、絶対座標系又は相対座標系を用いる。特に、マッチング部１３０は、第３対象軌跡の座標系として、相対座標系又は絶対座標系を用いる。
また、マッチング部１３０は、マッチング結果を適宜保存する、特に以後期間におけるマッチング結果を保存する。マッチング部１３０は、対象期間と重複する期間におけるマッチング結果が保存されている場合に、対象期間におけるマッチングを実施する際に保存されているマッチング結果を流用する。対象期間は、典型的には対象フレームを基準とした以前期間又は前後期間である。具体例として、マッチング部１３０は、対象フレームを基準とした以前期間と同じ期間におけるマッチング結果が保存されている場合において、保存されているマッチング結果を当該以前期間におけるマッチング結果として流用する。
なお、本変形例では、対象フレームを原点とした軌跡に変換せずにマッチングを実施するため、以後期間におけるマッチング結果を、以前期間及び前後期間におけるマッチングを実施する際に流用することができる。そのため、ステップＳ１０３において、軌跡抽出部１２０は、３パターンの軌跡を抽出する代わりに以後期間における軌跡のみを抽出してもよい。また、ステップＳ１０４において、マッチング部１３０は、以前期間及び前後期間におけるマッチングを実施する際に、対象フレームに対応する時刻よりも過去の時刻に対応する以後期間におけるマッチング結果を流用してもよい。

本変形例によれば、入力軌跡情報が示す軌跡の座標系が絶対座標系又は相対座標系であるため、対象フレームを基準とした以後期間におけるマッチング結果を、以後期間以外の期間におけるマッチングにおいて流用することができる。そのため、本変形例によれば、対象フレームを基準とした以後期間におけるマッチング結果を、対象フレームに対応する時刻よりも将来の時刻に対応するマッチングに流用することができる。具体的には、第１対象フレームを基準とした第１以後期間におけるマッチング結果を、第２対象フレームを基準とした第２以前期間及び第２前後期間におけるマッチングに流用することができる。ここで、第２対象フレームは、第１対象フレームを取得した時刻よりも将来の時刻に対応するフレームである。第１以後期間と第２以前期間との間には重複する期間があり、また、第１以後期間と第２前後期間との間には重複する期間があるものとする。

＜変形例２＞
図７は、本変形例に係る動作分析装置１００のハードウェア構成例を示している。
動作分析装置１００は、プロセッサ１１、あるいはプロセッサ１１と記憶装置１２に代えて、処理回路１８を備える。
処理回路１８は、動作分析装置１００が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであってもよく、また、記憶装置１２に格納されるプログラムを実行するプロセッサであってもよい。

処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらの組み合わせである。
動作分析装置１００は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。

動作分析装置１００において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。

処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ１１と記憶装置１２と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、動作分析装置１００の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
他の実施の形態に係る動作分析装置１００についても、本変形例と同様の構成であってもよい。

実施の形態２．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
本実施の形態に係る動作分析装置１００の構成は、実施の形態１に係る動作分析装置１００の構成と同様である。
本実施の形態に係るマッチング部１３０は、第１マッチング処理を実施し、第１対象軌跡と第１類似軌跡との類似度が第１閾値よりも低い場合に、第２マッチング処理と第３マッチング処理との各々を実施する。第１閾値はどのように定められてもよい。具体的には、マッチング部１３０は、マッチングを実施する際に、まず以前期間におけるマッチングを実施する。また、マッチング部１３０は、以前期間における類似度が十分に高い場合、前後期間と、以後期間との各々におけるマッチングを実施しない。

＊＊＊動作の説明＊＊＊
図８は、動作分析装置１００の動作の一例を示すフローチャートである。図８を用いて動作分析装置１００の動作を説明する。なお、本フローチャートにおいて、各期間は対象フレームを基準とした期間である。

（ステップＳ２０１）
軌跡抽出部１２０は、以前期間における対象部位の軌跡を骨格情報から抽出する。

（ステップＳ２０２）
マッチング部１３０は、軌跡抽出部１２０が抽出した軌跡と、参照軌跡情報１９０とを用いて、以前期間におけるマッチングを実施する。

（ステップＳ２０３）
ステップＳ２０２におけるマッチング結果に対応する類似度が第１閾値よりも低い場合、動作分析装置１００はステップＳ２０４に進む。それ以外の場合、動作分析装置１００は本フローチャートの処理を終了する。
なお、第１閾値は、誤判定を防止するためにある程度高い値に設定されていることが好ましい。

（ステップＳ２０４）
軌跡抽出部１２０は、前後期間と以後期間との各々における対象部位の軌跡を骨格情報から抽出する。

（ステップＳ２０５）
マッチング部１３０は、ステップＳ２０４において軌跡抽出部１２０が抽出した軌跡と、参照軌跡情報１９０とを用いて、前後期間と以後期間との各々におけるマッチングを実施する。

（ステップＳ２０６）
類似度比較部１４０は、以前期間に対応する類似度と、前後期間に対応する類似度と、以後期間に対応する類似度との中で最も高い類似度に対応するフレーム識別子を出力する。

＊＊＊実施の形態２の効果の説明＊＊＊
以上のように、本実施の形態によれば、以前期間に対応する類似度が十分に高い場合に以前期間におけるマッチングのみを実施するため、マッチングの実施回数の総数を低減することができる。そのため、本実施の形態によればマッチング処理を高速化することができる。

実施の形態３．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
本実施の形態に係る動作分析装置１００の構成は、実施の形態１に係る動作分析装置１００の構成と同様である。
実施の形態２では、まず以前期間におけるマッチングを実施する。ここで、以前期間に対応する類似度が低い場合、以前期間において作業抜け又は非定常作業等が発生しているものと考えられる。そこで、対象フレームが対象期間内に取得されたフレームであると考えられる場合において、対象フレームを基準とした以後期間におけるマッチングのみを実施するようにする。対象期間は、対象作業者の作業において作業抜け又は非定常作業等が発生している期間である。
また、対象フレームに対応する時刻が対象期間を抜けた時点における対象フレームを基準とした以後期間に対応する類似度は、対象期間内に対応する対象フレームを基準とした以後期間に対応する類似度よりも高い。そこで、対象フレームに対応するが対象期間に入った後に以後期間に対応する類似度が十分に高くなった場合に、以前期間におけるマッチングのみを実施するように戻す。なお、対象フレームは順に先のフレームに進められるものとする。

本実施の形態に係るマッチング部１３０は、第１マッチング処理を実施した場合において、第１対象軌跡と第１類似軌跡との類似度が第２閾値よりも低い場合に第３マッチング処理を実施する。また、マッチング部１３０は、第３マッチング処理を実施した場合において、第３対象軌跡と第３類似軌跡との類似度が第３閾値よりも低い場合に第１マッチング処理を実施する。第２閾値及び第３閾値の各々はどのように定められてもよい。

本実施の形態では基本的にはマッチング結果が１つであるため、本実施の形態に係る類似度比較部１４０は、マッチング結果に対応するフレーム識別子を出力する。

＊＊＊動作の説明＊＊＊
図９は、動作分析装置１００の動作の一例を示すフローチャートである。図９を用いて動作分析装置１００の動作を説明する。なお、本フローチャートにおいて、各期間は対象フレームを基準とした期間である。また、対象フレームは順により将来の時刻に対応するフレームに進められ、対象フレームが進められる度に本フローチャートの処理が実行される。

（ステップＳ３０１）
マッチング対象期間が以前期間である場合、動作分析装置１００はステップＳ３０２に進む。それ以外の場合、動作分析装置１００はステップＳ３０６に進む。

（ステップＳ３０２）
本ステップはステップＳ２０１と同様である。

（ステップＳ３０３）
本ステップはステップＳ２０２と同様である。

（ステップＳ３０４）
ステップＳ３０３のマッチング結果における類似度が第２閾値よりも低い場合、動作分析装置１００はステップＳ３０５に進む。それ以外の場合、動作分析装置１００は本フローチャートの処理を終了する。

（ステップＳ３０５）
動作分析装置１００は、マッチング対象期間を以後期間に変更する。
なお、以後期間に対応する類似度が以前期間に対応する類似度よりも低い場合、動作分析装置１００はマッチング対象期間を以後期間に変更しなくてもよい。

（ステップＳ３０６）
軌跡抽出部１２０は、以後期間における対象部位の軌跡を骨格情報から抽出する。

（ステップＳ３０７）
マッチング部１３０は、以後期間においてマッチングを実施する。

（ステップＳ３０８）
ステップＳ３０７のマッチング結果における類似度が第３閾値よりも低い場合、動作分析装置１００はステップＳ３０９に進む。それ以外の場合、動作分析装置１００は本フローチャートの処理を終了する。

（ステップＳ３０９）
動作分析装置１００は、マッチング対象期間を以前期間に変更する。
なお、以前期間に対応する類似度が以後期間に対応する類似度よりも低い場合、動作分析装置１００はマッチング対象期間を以前期間に変更しなくてもよい。

＊＊＊実施の形態３の効果の説明＊＊＊
以上のように、本実施の形態によれば、前後期間におけるマッチングを実施しないため、マッチングの実施回数の総数を低減することができる。そのため、本実施の形態によればマッチング処理を高速化することができる。

＊＊＊他の実施の形態＊＊＊
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態は、実施の形態１から３で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャート等を用いて説明した手順は適宜変更されてもよい。

１１ プロセッサ、１２ 記憶装置、１３ 通信装置、１４ 入出力インタフェース、１８ 処理回路、１９ 信号線、１００ 動作分析装置、１１０ 骨格抽出部、１２０ 軌跡抽出部、１３０ マッチング部、１４０ 類似度比較部、１９０ 参照軌跡情報。

Claims (8)

1. 作業を実施している対象作業者を示す入力映像に含まれている対象フレームに対応する時刻である対象時刻から、前記対象時刻よりも将来の時刻までの期間である以後期間における前記対象作業者の対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第３対象軌跡に類似する軌跡を、前記対象作業者が実施すべき作業を実施している場合における前記対象部位に対応する部位の軌跡を示す参照軌跡情報が示す軌跡から第３類似軌跡として抽出する第３マッチング処理と、
   前記対象時刻よりも過去の時刻から、前記対象時刻よりも将来の時刻までの期間である前後期間における前記対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第２対象軌跡に類似する軌跡を、前記参照軌跡情報が示す軌跡から第２類似軌跡として抽出する第２マッチング処理と
   を実施するマッチング部と、
   前記第２対象軌跡と前記第２類似軌跡との類似度と、前記第３対象軌跡と前記第３類似軌跡との類似度とのうち最も高い類似度に対応する軌跡であって、前記参照軌跡情報が示す軌跡である推定作業軌跡に対応する作業内容に対応する情報を出力する類似度比較部と
   を備える動作分析装置であって、
   前記参照軌跡情報は、前記参照軌跡情報が示す軌跡の各時点に対応する作業内容に対応する情報を含む動作分析装置。
2. 前記マッチング部は、前記対象時刻よりも過去の時刻から前記対象時刻までの期間である以前期間における前記対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第１対象軌跡に類似する軌跡を、前記参照軌跡情報が示す軌跡から第１類似軌跡として抽出する第１マッチング処理を実施し、
   前記推定作業軌跡は、前記第１対象軌跡と前記第１類似軌跡との類似度と、前記第２対象軌跡と前記第２類似軌跡との類似度と、前記第３対象軌跡と前記第３類似軌跡との類似度とのうち最も高い類似度に対応する軌跡である請求項１に記載の動作分析装置。
3. 前記動作分析装置は、さらに、
   前記入力映像に含まれている各フレームにおいて前記対象作業者の骨格を抽出し、各フレームにおいて抽出した骨格を示す骨格情報を生成する骨格抽出部と、
   生成された骨格情報から、前記第１対象軌跡と前記第２対象軌跡と前記第３対象軌跡との各々を抽出する軌跡抽出部と
   を備える請求項２に記載の動作分析装置。
4. 前記マッチング部は、前記第１マッチング処理を実施し、前記第１対象軌跡と前記第１類似軌跡との類似度が第１閾値よりも低い場合に、前記第２マッチング処理と前記第３マッチング処理との各々を実施する請求項２又は３に記載の動作分析装置。
5. 前記マッチング部は、
   前記第１マッチング処理を実施した場合において、前記第１対象軌跡と前記第１類似軌跡との類似度が第２閾値よりも低い場合に前記第３マッチング処理を実施し、
   前記第３マッチング処理を実施した場合において、前記第３対象軌跡と前記第３類似軌跡との類似度が第３閾値よりも低い場合に前記第１マッチング処理を実施する請求項２又は３に記載の動作分析装置。
6. 前記マッチング部は、前記第３対象軌跡の座標系として、相対座標系又は絶対座標系を用いる請求項１から３のいずれか１項に記載の動作分析装置。
7. コンピュータが、作業を実施している対象作業者を示す入力映像に含まれている対象フレームに対応する時刻である対象時刻から、前記対象時刻よりも将来の時刻までの期間である以後期間における前記対象作業者の対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第３対象軌跡に類似する軌跡を、前記対象作業者が実施すべき作業を実施している場合における前記対象部位に対応する部位の軌跡を示す参照軌跡情報が示す軌跡から第３類似軌跡として抽出する第３マッチング処理を実施し、
   前記コンピュータが、前記対象時刻よりも過去の時刻から、前記対象時刻よりも将来の時刻までの期間である前後期間における前記対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第２対象軌跡に類似する軌跡を、前記参照軌跡情報が示す軌跡から第２類似軌跡として抽出する第２マッチング処理を実施し、
   前記コンピュータが、前記第２対象軌跡と前記第２類似軌跡との類似度と、前記第３対象軌跡と前記第３類似軌跡との類似度とのうち最も高い類似度に対応する軌跡であって、前記参照軌跡情報が示す軌跡である推定作業軌跡に対応する作業内容に対応する情報を出力する動作分析方法であって、
   前記参照軌跡情報は、前記参照軌跡情報が示す軌跡の各時点に対応する作業内容に対応する情報を含む動作分析方法。
8. 作業を実施している対象作業者を示す入力映像に含まれている対象フレームに対応する時刻である対象時刻から、前記対象時刻よりも将来の時刻までの期間である以後期間における前記対象作業者の対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第３対象軌跡に類似する軌跡を、前記対象作業者が実施すべき作業を実施している場合における前記対象部位に対応する部位の軌跡を示す参照軌跡情報が示す軌跡から第３類似軌跡として抽出する第３マッチング処理と、
   前記対象時刻よりも過去の時刻から、前記対象時刻よりも将来の時刻までの期間である前後期間における前記対象部位の軌跡であって、前記入力映像に基づいて導出された軌跡である第２対象軌跡に類似する軌跡を、前記参照軌跡情報が示す軌跡から第２類似軌跡として抽出する第２マッチング処理と、
   前記第２対象軌跡と前記第２類似軌跡との類似度と、前記第３対象軌跡と前記第３類似軌跡との類似度とのうち最も高い類似度に対応する軌跡であって、前記参照軌跡情報が示す軌跡である推定作業軌跡に対応する作業内容に対応する情報を出力する類似度比較処理と
   をコンピュータである動作分析装置に実行させる動作分析プログラムであって、
   前記参照軌跡情報は、前記参照軌跡情報が示す軌跡の各時点に対応する作業内容に対応する情報を含む動作分析プログラム。

Images