JP7462857B1 - 動作分析装置、動作分析方法、動作分析プログラムおよび動作分析システム - Google Patents

Abstract

動作分析装置（２００）は、対象者（１０１）を撮影することによって得られる映像を受け付け、各フレームに映った前記対象者の対象骨格情報を抽出し、対象動作ごとに開始タイミングと終了タイミングを検出し、各開始タイミングと各終了タイミングに基づいて対象時刻ごとに前記対象時刻を含み段取り動作の時刻を含まない対象時間帯の２つ以上の前記対象骨格情報を軌跡情報として抽出し、前記対象時刻ごとに参照骨格データから前記軌跡情報の前記２つ以上の前記対象骨格情報と合致する２つ以上の参照骨格情報を見つけ、見つかった前記２つ以上の前記参照骨格情報に対応する時間帯の基準時刻の動作ラベルを取得する。

Description

本開示は、人の動作を分析する技術に関するものである。

産業分野において、作業者のサイクルタイムの計測と作業内容の分析が人手で行われている。しかし、人手での分析は負荷が大きい。

特許文献１は、分析を自動化する手法を提案している。
この手法では、カメラを使って得られた姿勢情報の時系列が動作軌跡として定義され、動作軌跡があらかじめ学習された軌跡と比較され、作業内容が特定される。
姿勢情報がカメラを使って得られることで、作業者に負担がかからない。

特許第６７８６０１５号公報

特許文献１の手法により、工場のラインの作業者について作業時間及び作業手順を分析することができる。分析対象時刻を含む前後の骨格の軌跡が登録された軌跡と比較され、作業時間及び作業手順が検出される。
しかし、実際の作業では、分析対象作業のサイクル間に段取り作業が発生することがある。この場合、段取り作業の発生時の軌跡は登録された軌跡と異なるため、分析対象作業が認識されない可能性がある。または、分析対象作業が誤認識される可能性がある。

本開示は、分析対象作業のサイクル間に段取り作業が発生した場合であっても分析対象作業を正しく認識できるようにすることを目的とする。

本開示の動作分析装置は、
段取り動作を挟んで複数の対象動作を行う対象者を撮影することによって得られ各撮影時刻のフレームを含む映像を受け付ける映像受付部と、
前記撮影時刻ごとに前記フレームに映った前記対象者の骨格情報を対象骨格情報として抽出する骨格抽出部と、
前記対象動作ごとに開始タイミングと終了タイミングの少なくとも一方を検出するタイミング検出部と、
各対象動作の前記開始タイミングと各対象動作の前記終了タイミングの少なくとも一方に基づいて、各対象動作が行われた対象時刻ごとに、前記対象時刻を含み前記段取り動作が行われた時刻を含まない対象時間帯の２つ以上の前記対象骨格情報を軌跡情報として抽出する軌跡抽出部と、
前記対象時刻ごとに、各対象動作の参照骨格情報の時系列と、前記時系列の各時刻の動作ラベルと、を示す参照骨格データから、前記軌跡情報の前記２つ以上の前記対象骨格情報と合致する２つ以上の前記参照骨格情報を見つけ、見つかった前記２つ以上の前記参照骨格情報に対応する時間帯の基準時刻の前記動作ラベルを前記対象動作の前記動作ラベルとして取得するマッチング部と、を備える。

本開示によれば、分析対象作業のサイクル間に段取り作業が発生した場合であっても分析対象作業を正しく認識することが可能となる。

実施の形態１における動作分析システム１００の構成図。 実施の形態１における動作分析装置２００の構成図。 実施の形態１における動作分析装置２００の機能構成図。 実施の形態１における動作分析方法のフローチャート。 実施の形態１におけるステップＳ１４０のフローチャート。 実施の形態１における参照骨格データ２９１の例を示す図。 従来技術における認識精度を示す図。 実施の形態１における認識精度を示す図。 実施の形態２における動作分析方法のフローチャート。 実施の形態２におけるステップＳ２４０のフローチャート。 実施の形態２における認識精度を示す図。 実施の形態３における動作分析システム１００の構成図。 実施の形態３における動作分析装置２００の機能構成図。 実施の形態３における動作分析方法のフローチャート。 実施の形態における動作分析装置２００のハードウェア構成図。

実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。

実施の形態１．
動作分析システム１００について、図１から図８に基づいて説明する。
動作分析システム１００は、対象者１０１の動作を分析するためのシステムである。
対象者１０１は、分析の対象となる人である。

＊＊＊構成の説明＊＊＊
図１に基づいて、動作分析システム１００の構成を説明する。
動作分析システム１００は、撮影デバイス１１１と、操作センサ１１２と、動作分析装置２００と、を備える。
撮影デバイス１１１は、対象者１０１を撮影するデバイスである。撮影デバイス１１１の具体例は、カメラおよび三次元センサである。
操作センサ１１２は、対象者１０１によって行われる操作を検出するセンサである。操作センサ１１２の具体例は、ボタンデバイス、バーコードリーダおよびＰＬＣである。ボタンデバイスは、ボタンの押下を検出する。バーコードリーダは、バーコードの読み取りを検出する。ＰＬＣは、電動式の道具のスイッチの切り替えを検出する。ＰＬＣはプログラマブルロジックコントローラの略称である。

図２に基づいて、動作分析装置２００の構成を説明する。
動作分析装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。

プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１はＣＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。

メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。

補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。

通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。動作分析装置２００の通信は通信装置２０４を用いて行われる。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。

入出力インタフェース２０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース２０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。動作分析装置２００の入出力は入出力インタフェース２０５を用いて行われる。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。

撮影デバイス１１１および操作センサ１１２は、入出力インタフェース２０５に接続される。但し、撮影デバイス１１１および操作センサ１１２は、通信装置２０４に接続されてもよい。

動作分析装置２００は、映像受付部２１１と骨格抽出部２１２とタイミング検出部２１３と軌跡抽出部２１４とマッチング部２１５といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置２０３には、映像受付部２１１と骨格抽出部２１２とタイミング検出部２１３と軌跡抽出部２１４とマッチング部２１５としてコンピュータを機能させるための動作分析プログラムが記憶されている。動作分析プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、動作分析プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。

動作分析プログラムの入出力データは記憶部２９０に記憶される。例えば、記憶部２９０には、参照骨格データ２９１が予め記憶される。参照骨格データ２９１について後述する。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。

動作分析装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。

動作分析プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図３に、動作分析装置２００の要素同士の関係を示す。
動作分析装置２００は、対象者１０１の動作を分析し、動作ラベル２９２を出力する。
動作ラベル２９２は、対象者１０１の動作を識別する。

＊＊＊動作の説明＊＊＊
動作分析システム１００の動作の手順は動作分析方法に相当する。また、動作分析装置２００の動作の手順は動作分析プログラムによる処理の手順に相当する。

動作分析方法の前提を説明する。
対象者１０１は、段取り動作を挟んで複数の対象動作を行う。
対象者１０１の具体例は、作業者である。
対象動作の具体例は、作業者によって行われる作業である。例えば、複数の対象動作は同じ種類の作業であり、同じ種類の作業が複数回行われる。
段取り動作は、対象動作の間に行われる動作である。例えば、段取り動作は、作業のための準備である。

対象者１０１は、対象動作ごとに、対象動作の開始時に開始操作を行い、対象動作の終了時に終了操作を行う。
具体的には、開始操作および終了操作はデバイスの操作である。操作されるデバイスを操作デバイスと称する。操作デバイスは、対象動作が行われる場所に配置される。
例えば、操作デバイスは、ボタンデバイス、バーコードリーダまたは電動道具である。電動道具は、対象動作のために使用される電動式の道具である。例えば、電動道具は電動ドライバである。
例えば、開始操作および終了操作は、ボタンの押下、バーコードの読み取り、または、電動道具のスイッチの切り替えである。

図４に基づいて、動作分析方法を説明する。
ステップＳ１１０において、撮影デバイス１１１は、対象者１０１を撮影し、映像を出力する。出力された映像は、動作分析装置２００に入力される。
映像受付部２１１は、入力された映像を受け付ける。
映像は、撮影によって得られるデータであり、各撮影時刻のフレームを含む。
フレームは、画像に相当するデータである。

ステップＳ１２０において、骨格抽出部２１２は、撮影時刻ごとに、フレームに映った対象者１０１の骨格情報を抽出する。
抽出方法は従来技術であり、フレームに対する画像解析によって骨格情報が得られる。
骨格情報は、対象者１０１の骨格を示す。具体的には、骨格情報は、対象者１０１の各関節の位置を示す。骨格情報によって、対象者１０１の姿勢が特定される。
抽出された骨格情報を、対象骨格情報と称する。

ステップＳ１３０において、タイミング検出部２１３は、対象動作ごとに、開始タイミングと終了タイミングの少なくとも一方を検出する。

開始タイミングおよび終了タイミングは、以下のように検出される。
操作センサ１１２は、開始操作または終了操作が行われるごとに、行われた操作を検出して検出信号を出力する。検出信号は操作の種類によって異なる。出力された検出信号は、動作分析装置２００に入力される。
タイミング検出部２１３は、各検出信号を受け付け、各検出信号が受け付けられたタイミングを開始タイミングまたは終了タイミングとして検出する。
つまり、タイミング検出部２１３は、開始操作が検出されたタイミングを開始タイミングとして検出する。また、タイミング検出部２１３は、終了操作が検出されたタイミングを終了タイミングとして検出する。

ステップＳ１４０において、軌跡抽出部２１４は、各対象動作の開始タイミングと各対象動作の終了タイミングの少なくとも一方に基づいて、対象時刻ごとに軌跡情報を抽出する。
対象時刻は、各対象動作が行われた時間帯（動作時間帯）の各時刻である。各対象動作の動作時間帯は、開始タイミングから終了タイミングまでの時間帯である。各動作時間帯は軌跡抽出部２１４によって算出される。
軌跡情報は、対象時刻を含み段取り時刻を含まない時間帯（対象時間帯）の２つ以上の対象骨格情報である。
対象時間帯は、動作時間帯の一部である。

図５に基づいて、ステップＳ１４０を説明する。
ステップＳ１４１からステップＳ１４６は、対象時刻ごとに実行される。

ステップＳ１４１において、軌跡抽出部２１４は、対象時間帯を算出する。
具体的には、軌跡抽出部２１４は、対象時刻を含み基準時間長を有する時間帯を算出する。算出される時間帯が対象時間帯である。
基準時間長は、予め決められた時間長である。
対象時刻がｔであり、基準時間長が３ｔであると仮定する。例えば、算出される対象時間帯は、時刻（ｔ－１）から時刻（ｔ＋１）までの時間帯である。

ステップＳ１４２からステップＳ１４５により、対象時間帯は調整される。

ステップＳ１４２において、軌跡抽出部２１４は、対象時間帯の先頭時刻が対象時刻の対象動作の開始タイミングよりも早い時刻であるか判定する。
対象時間帯の先頭時刻が対象時刻の対象動作の開始タイミングよりも早い時刻である場合、処理はステップＳ１４３に進む。
対象時間帯の先頭時刻が対象時刻の対象動作の開始タイミングよりも早い時刻でない場合、処理はステップＳ１４４に進む。

ステップＳ１４３において、軌跡抽出部２１４は、対象時間帯の先頭時刻を対象時刻の対象動作の開始タイミングに変更する。これにより、対象時間帯が短縮される。

ステップＳ１４４において、軌跡抽出部２１４は、対象時間帯の最終時刻が対象時刻の対象動作の終了タイミングよりも遅い時刻であるか判定する。
対象時間帯の終了時刻が対象時刻の対象動作の終了タイミングよりも遅い時刻である場合、処理はステップＳ１４５に進む。
対象時間帯の終了時刻が対象時刻の対象動作の終了タイミングよりも遅い時刻でない場合、処理はステップＳ１４６に進む。

ステップＳ１４５において、軌跡抽出部２１４は、対象時間帯の終了時刻を対象時刻の対象動作の終了タイミングに変更する。これにより、対象時間帯が短縮される。

ステップＳ１４１からステップＳ１４５により、対象時間帯が決定される。

ステップＳ１４６において、軌跡抽出部２１４は、ステップＳ１２０で得られた対象骨格情報から、対象時間帯の各時刻の対象骨格情報を抽出する。
これにより、２つ以上の対象骨格情報が抽出される。抽出された２つ以上の対象骨格情報が軌跡情報を構成する。

図４に戻り、ステップＳ１５０を説明する。
ステップＳ１５０において、マッチング部２１５は、対象時刻ごとに、対象動作の動作ラベルを参照骨格データ２９１から取得する。

図６に基づいて、参照骨格データ２９１を説明する。
参照骨格データ２９１は、参照骨格情報の時系列と、時系列の各時刻の動作ラベルと、を示す。
参照骨格情報の時系列は、各対象動作における骨格情報の時系列である。段取り動作における骨格情報の時系列は参照骨格データ２９１に含まれない。なお、対象動作には、開始操作後の動作および終了操作時の動作が含まれる。
例えば、参照骨格情報の時系列は、対象動作を行う動作者を撮影して得られる映像から抽出される。参照骨格情報の抽出方法は対象骨格情報の抽出方法と同様である。動作者が対象動作を２回以上行い、抽出される２回分の時系列の平均が参照骨格データ２９１に設定されてもよい。
参照骨格データ２９１は、複数の映像を学習して得られる学習済みモデルであってもよい。

図４に戻り、ステップＳ１５０を具体的に説明する。
対象時刻ごとに、以下のような処理が行われる。対象時刻の軌跡情報を、対象軌跡情報と称する。
まず、マッチング部２１５は、参照骨格データ２９１を検索する。参照骨格データ２９１の検索は、例えば、特許文献１に開示された方法で実施される。
これにより、マッチング部２１５は、対象軌跡情報に合致する参照軌跡情報を参照骨格データ２９１から見つける。参照軌跡情報は２つ以上の参照骨格情報である。参照軌跡情報に対応する時間帯を、参照時間帯と称する。参照時間帯の時間長は、対象時間帯の時間長と同じである。
そして、マッチング部２１５は、見つかった参照軌跡情報に対応する参照時間帯から基準時刻を選択し、選択された基準時刻の動作ラベルを参照骨格データ２９１から取得する。取得される動作ラベルが、対象動作の動作ラベルとなる。参照時間帯における基準時刻の位置は、対象時間帯における対象時刻の位置と同じである。

図６に基づいて、ステップＳ１５０の具体例を説明する。
対象時間帯が連続する３つの時刻であり、対象軌跡情報が対象時間帯の３つの対象骨格情報であると仮定する。この場合、参照時間帯は連続する３つの時刻であり、参照軌跡情報は参照時間帯の３つの参照骨格情報である。そして、マッチング部２１５は、各時刻を基準時刻とする参照軌跡情報ごとに、対象軌跡情報を参照軌跡情報と比較する。
対象時間帯における対象時刻が２番目の時刻であると仮定する。この場合、参照時間帯の基準時刻は参照時間帯における２番目の時刻である。また、対象軌跡情報と合致した参照軌跡情報が、骨格情報［ｔ－１］、骨格情報［ｔ］および骨格情報［ｔ＋１］であると仮定する。この場合、参照時間帯の基準時刻は時刻ｔである。そして、マッチング部２１５は、時刻ｔの動作ラベル「動作Ａ」を取得する。

図４に戻り、ステップＳ１５０の説明を続ける。
マッチング部２１５は、対象時刻ごとに、対象動作の動作ラベルを出力する。
出力の具体例は、ディスプレイへの表示および記憶媒体への記憶である。

＊＊＊実施の形態１の効果＊＊＊
図７および図８に基づいて、実施の形態１の効果を説明する。
図７は、従来技術における認識精度を示す。
従来技術では、分析対象作業と段取り作業の区切りが不明であるため、軌跡情報（連続する２つ以上の骨格情報）のマッチングを正しく行うことができず、分析対象作業の誤認識が発生する。具体的には、軌跡情報の時間長が固定であるため、段取り作業の時間帯に近い時刻で認識精度が低下する。
図８は、実施の形態１における認識精度を示す。
実施の形態１では、分析対象作業と段取り作業の区切りに応じて軌跡情報の時間長が変更される。つまり、軌跡抽出範囲とマッチング範囲が変更されてマッチングが実施される。具体的には、分析対象作業のサイクルの開始タイミングと分析対象作業のサイクルの終了タイミングに基づいて、軌跡抽出範囲とマッチング範囲が変更される。そのため、段取り作業の時間帯に近い時刻でも認識精度が低下しない。
実施の形態１は、段取り作業時の骨格情報を含まずに軌跡情報のマッチングを行うことができる。これにより、分析対象作業が認識されないケースおよび分析対象作業が誤認識されるケースが発生しなくなる。

実施の形態２．
対象動作中の特定タイミングに応じて対象時間帯を変更する形態について、主に実施の形態１と異なる点を図９から図１１に基づいて説明する。

＊＊＊構成の説明＊＊＊
動作分析システム１００の構成は、実施の形態１における構成と同じである。

＊＊＊動作の説明＊＊＊
動作分析方法の前提を説明する。
対象者１０１は、対象動作中の特定タイミングで特定操作を行う。具体的には、特定操作はデバイスの操作である。例えば、特定操作は、ボタンの押下、バーコードの読み取り、または、動作道具のスイッチの切り替えである。

図９に基づいて、動作分析方法を説明する。
ステップＳ２１０において、映像受付部２１１は映像を受け付ける。
ステップＳ２１０は、実施の形態１のステップＳ１１０と同じである。

ステップＳ２２０において、骨格抽出部２１２は、撮影時刻ごとに象骨格情報を抽出する。
ステップＳ２２０は、実施の形態１のステップＳ１２０と同じである。

ステップＳ２３０において、タイミング検出部２１３は、対象動作ごとに、開始タイミングと終了タイミングの少なくとも一方を検出する。
さらに、タイミング検出部２１３は、対象動作中の特定タイミングを検出する。特定タイミングの検出方法は、開始タイミングおよび終了タイミングの検出方法と同じである。つまり、タイミング検出部２１３は、特定操作が検出されたタイミングを特定タイミングとして検出する。

ステップＳ２４０において、軌跡抽出部２１４は、各対象動作の開始タイミングと各対象動作の終了タイミングの少なくとも一方と特定タイミングに基づいて、対象時刻ごとに軌跡情報を抽出する。

図１０に基づいて、ステップＳ２４０を説明する。
ステップＳ２４１からステップＳ２４６は、対象時刻ごとに実行される。

ステップＳ２４１において、軌跡抽出部２１４は、対象時間帯を算出する。
ステップＳ２４１は、実施の形態１のステップＳ１４１と同じである。

ステップＳ２４２において、軌跡抽出部２１４は、対象時間帯の先頭時刻が対象時刻の対象動作の開始タイミングまたは対象動作の途中の特定タイミングよりも早い時刻であるか判定する。
対象時間帯の先頭時刻が対象時刻の対象動作の開始タイミングまたは対象動作の途中の特定タイミングよりも早い時刻である場合、処理はステップＳ２４３に進む。
対象時間帯の先頭時刻が対象時刻の対象動作の開始タイミングおよび対象動作の途中の特定タイミングよりも早い時刻でない場合、処理はステップＳ２４４に進む。

ステップＳ２４３において、軌跡抽出部２１４は、対象時間帯の先頭時刻を対象時刻の対象動作の開始タイミングまたは対象動作の途中の特定タイミングに変更する。
対象時間帯の先頭時刻が対象時刻の対象動作の開始タイミングよりも早い時刻である場合、対象時間帯の先頭時刻は開始タイミングに変更される。
対象時間帯の先頭時刻が対象動作の途中の特定タイミングよりも早い時刻である場合、対象時間帯の先頭時刻は特定タイミングに変更される。

ステップＳ２４４において、軌跡抽出部２１４は、対象時間帯の最終時刻が対象時刻の対象動作の終了タイミングまたは対象動作の途中の特定タイミングよりも遅い時刻であるか判定する。
対象時間帯の終了時刻が対象時刻の対象動作の終了タイミングまたは対象動作の途中の特定タイミングよりも遅い時刻である場合、処理はステップＳ２４５に進む。
対象時間帯の終了時刻が対象時刻の対象動作の終了タイミングおよび対象動作の途中の特定タイミングよりも遅い時刻でない場合、処理はステップＳ２４６に進む。

ステップＳ２４５において、軌跡抽出部２１４は、対象時間帯の最終時刻を対象時刻の対象動作の終了タイミングまたは対象動作の途中の特定タイミングに変更する。
対象時間帯の最終時刻が対象時刻の対象動作の終了タイミングよりも遅い時刻である場合、対象時間帯の最終時刻は終了タイミングに変更される。
対象時間帯の最終時刻が対象動作の途中の特定タイミングよりも遅い時刻である場合、対象時間帯の最終時刻は特定タイミングに変更される。

ステップＳ２４６において、軌跡抽出部２１４は、対象時間帯の各時刻の対象骨格情報を抽出する。
ステップＳ２４６は、実施の形態１のステップＳ１４６と同じである。

＊＊＊実施の形態２の効果＊＊＊
図１１は、実施の形態２における認識精度を示す。
実施の形態２では、対象動作中の特定タイミングに応じて軌跡抽出範囲およびマッチング範囲が変更される。
これにより、特定タイミングの前後の時刻における認識精度が向上する。

実施の形態３．
操作センサ１１２を用いずに各種タイミングを検出する形態について、主に実施の形態２と異なる点を図１２から図１４に基づいて説明する。

＊＊＊構成の説明＊＊＊
図１２に基づいて、動作分析システム１００の構成を説明する。
動作分析システム１００は、操作センサ１１２を備えなくてよい。

図１３に、動作分析装置２００の要素同士の関係を示す。
タイミング検出部２１３は、映像受付部２１１で受け付けられた映像を使用する。

＊＊＊動作の説明＊＊＊
図１４に基づいて、動作分析方法を説明する。ステップＳ３３０が特徴である。
ステップＳ２１０、ステップＳ２２０、ステップＳ２４０およびステップＳ２５０は、実施の形態２で説明した通りである。

ステップＳ３３０において、タイミング検出部２１３は、映像から開始タイミングと終了タイミングの少なくとも一方で出現する特徴が映ったフレームを探す。
開始タイミングで出現する特徴が映ったフレームが見つかった場合、タイミング検出部２１３は、見つかったフレームの撮影時刻を開始タイミングとして検出する。
終了タイミングで出現する特徴が映ったフレームが見つかった場合、タイミング検出部２１３は、見つかったフレームの撮影時刻を終了タイミングとして検出する。
また、タイミング検出部２１３は、映像から特定タイミングで出現する特徴が映ったフレームを探し、見つかったフレームの撮影時刻を特定タイミングとして検出する。

各タイミングにおいてフレーム内に出現する特徴は予め定義される。
例えば、フレーム内に出現する特徴は、指定エリアに製造物が置かれたときの様子または手が指定エリアを通過したときの様子を表す。

＊＊＊実施の形態３の効果＊＊＊
実施の形態３により、操作センサ１１２を用意しなくても、各種タイミングを検出することができる。

＊＊＊実施の形態の補足＊＊＊
図１５に基づいて、動作分析装置２００のハードウェア構成を説明する。
動作分析装置２００は処理回路２０９を備える。
処理回路２０９は、映像受付部２１１と骨格抽出部２１２とタイミング検出部２１３と軌跡抽出部２１４とマッチング部２１５を実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。

処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。

動作分析装置２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。

処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。

このように、動作分析装置２００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。

各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。

動作分析装置２００の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。

１００ 動作分析システム、１０１ 対象者、１１１ 撮影デバイス、１１２ 操作センサ、２００ 動作分析装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 通信装置、２０５ 入出力インタフェース、２０９ 処理回路、２１１ 映像受付部、２１２ 骨格抽出部、２１３ タイミング検出部、２１４ 軌跡抽出部、２１５ マッチング部、２９０ 記憶部、２９１ 参照骨格データ、２９２ 動作ラベル。

Claims (13)

1. 段取り動作を挟んで複数の対象動作を行う対象者を撮影することによって得られ各撮影時刻のフレームを含む映像を受け付ける映像受付部と、
   前記撮影時刻ごとに前記フレームに映った前記対象者の骨格情報を対象骨格情報として抽出する骨格抽出部と、
   前記対象動作ごとに開始タイミングと終了タイミングの少なくとも一方を検出するタイミング検出部と、
   各対象動作の前記開始タイミングと各対象動作の前記終了タイミングの少なくとも一方に基づいて、各対象動作が行われた対象時刻ごとに、前記対象時刻を含み前記段取り動作が行われた時刻を含まない対象時間帯の２つ以上の前記対象骨格情報を軌跡情報として抽出する軌跡抽出部と、
   前記対象時刻ごとに、各対象動作の参照骨格情報の時系列と、前記時系列の各時刻の動作ラベルと、を示す参照骨格データから、前記軌跡情報の前記２つ以上の前記対象骨格情報と合致する２つ以上の前記参照骨格情報を見つけ、見つかった前記２つ以上の前記参照骨格情報に対応する時間帯の基準時刻の前記動作ラベルを前記対象動作の前記動作ラベルとして取得するマッチング部と、
   を備える動作分析装置。
2. 前記軌跡抽出部は、
   前記対象時刻を含み基準時間長を有する時間帯を前記対象時間帯として算出し、
   前記対象時間帯の先頭時刻が前記対象時刻の前記対象動作の前記開始タイミングよりも早い時刻である場合、前記対象時間帯の前記先頭時刻を前記開始タイミングに変更し、
   前記対象時間帯の最終時刻が前記対象時刻の前記対象動作の前記終了タイミングよりも遅い時刻である場合、前記対象時間帯の前記最終時刻を前記終了タイミングに変更し、
   前記対象時間帯の前記２つ以上の前記対象骨格情報を前記軌跡情報として抽出する
   請求項１に記載の動作分析装置。
3. 前記タイミング検出部は、各対象動作の開始時と各対象動作の終了時の少なくとも一方で前記対象者によって行われる操作を検出する操作センサによって前記操作が検出された各タイミングを前記開始タイミングまたは前記終了タイミングとして検出する
   請求項１に記載の動作分析装置。
4. 前記操作センサは、ボタンの押下を検出するボタンデバイス、バーコードの読み取りを検出するバーコードリーダまたは電動道具のスイッチの切り替えを検出するプログラマブルロジックコントローラである
   請求項３に記載の動作分析装置。
5. 前記タイミング検出部は、前記映像から前記開始タイミングと前記終了タイミングの少なくとも一方で発生する特徴を示すフレームを探し、見つかったフレームの前記撮影時刻を前記開始タイミングまたは前記終了タイミングとして検出する
   請求項１に記載の動作分析装置。
6. 前記タイミング検出部は、前記対象動作の途中の特定タイミングを検出し、
   前記軌跡抽出部は、各対象動作の前記開始タイミングと各対象動作の前記終了タイミングの少なくとも一方と前記特定タイミングに基づいて前記対象時刻ごとに前記軌跡情報を抽出する
   請求項１から請求項５のいずれか１項に記載の動作分析装置。
7. 前記軌跡抽出部は、
   前記対象時刻を含み基準時間長を有する時間帯を前記対象時間帯として算出し、
   前記対象時間帯の先頭時刻が前記対象時刻の前記対象動作の前記開始タイミングまたは前記対象動作の途中の前記特定タイミングよりも早い時刻である場合、前記対象時間帯の前記先頭時刻を前記開始タイミングまたは前記特定タイミングに変更し、
   前記対象時間帯の最終時刻が前記対象時刻の前記対象動作の前記終了タイミングまたは前記対象動作の途中の前記特定タイミングよりも遅い時刻である場合、前記対象時間帯の前記最終時刻を前記終了タイミングまたは前記特定タイミングに変更し、
   前記対象時間帯の前記２つ以上の前記対象骨格情報を前記軌跡情報として抽出する
   請求項６に記載の動作分析装置。
8. 前記タイミング検出部は、前記対象動作の途中で前記対象者によって行われる操作を検出する操作センサによって前記操作が検出された各タイミングを前記特定タイミングとして検出する
   請求項６に記載の動作分析装置。
9. 前記操作センサは、ボタンの押下を検出するボタンデバイス、バーコードの読み取りを検出するバーコードリーダまたは電動道具のスイッチの切り替えを検出するプログラマブルロジックコントローラである
   請求項８に記載の動作分析装置。
10. 前記タイミング検出部は、前記映像から前記特定タイミングで発生する特徴を示すフレームを探し、見つかったフレームの前記撮影時刻を前記特定タイミングとして検出する
    請求項６に記載の動作分析装置。
11. 動作分析装置が、
    段取り動作を挟んで複数の対象動作を行う対象者を撮影することによって得られ各撮影時刻のフレームを含む映像を受け付け、
    前記撮影時刻ごとに前記フレームに映った前記対象者の骨格情報を対象骨格情報として抽出し、
    前記対象動作ごとに開始タイミングと終了タイミングの少なくとも一方を検出し、
    各対象動作の前記開始タイミングと各対象動作の前記終了タイミングの少なくとも一方に基づいて、各対象動作が行われた対象時刻ごとに、前記対象時刻を含み前記段取り動作が行われた時刻を含まない対象時間帯の２つ以上の前記対象骨格情報を軌跡情報として抽出し、
    前記対象時刻ごとに、各対象動作の参照骨格情報の時系列と、前記時系列の各時刻の動作ラベルと、を示す参照骨格データから、前記軌跡情報の前記２つ以上の前記対象骨格情報と合致する２つ以上の前記参照骨格情報を見つけ、見つかった前記２つ以上の前記参照骨格情報に対応する時間帯の基準時刻の前記動作ラベルを前記対象動作の前記動作ラベルとして取得する
    動作分析方法。
12. 段取り動作を挟んで複数の対象動作を行う対象者を撮影することによって得られ各撮影時刻のフレームを含む映像を受け付ける映像受付処理と、
    前記撮影時刻ごとに前記フレームに映った前記対象者の骨格情報を対象骨格情報として抽出する骨格抽出処理と、
    前記対象動作ごとに開始タイミングと終了タイミングの少なくとも一方を検出するタイミング検出処理と、
    各対象動作の前記開始タイミングと各対象動作の前記終了タイミングの少なくとも一方に基づいて、各対象動作が行われた対象時刻ごとに、前記対象時刻を含み前記段取り動作が行われた時刻を含まない対象時間帯の２つ以上の前記対象骨格情報を軌跡情報として抽出する軌跡抽出処理と、
    前記対象時刻ごとに、各対象動作の参照骨格情報の時系列と、前記時系列の各時刻の動作ラベルと、を示す参照骨格データから、前記軌跡情報の前記２つ以上の前記対象骨格情報と合致する２つ以上の前記参照骨格情報を見つけ、見つかった前記２つ以上の前記参照骨格情報に対応する時間帯の基準時刻の前記動作ラベルを前記対象動作の前記動作ラベルとして取得するマッチング処理と、
    をコンピュータに実行させるための動作分析プログラム。
13. 対象者を撮影する撮影デバイスと、
    前記対象者の動作を分析する動作分析装置と、
    を備え、
    前記動作分析装置は、
    前記撮影デバイスから、段取り動作を挟んで複数の対象動作を行う前記対象者を撮影することによって得られ各撮影時刻のフレームを含む映像を受け付ける映像受付部と、
    前記撮影時刻ごとに前記フレームに映った前記対象者の骨格情報を対象骨格情報として抽出する骨格抽出部と、
    前記対象動作ごとに開始タイミングと終了タイミングの少なくとも一方を検出するタイミング検出部と、
    各対象動作の前記開始タイミングと各対象動作の前記終了タイミングの少なくとも一方に基づいて、各対象動作が行われた対象時刻ごとに、前記対象時刻を含み前記段取り動作が行われた時刻を含まない対象時間帯の２つ以上の前記対象骨格情報を軌跡情報として抽出する軌跡抽出部と、
    前記対象時刻ごとに、各対象動作の参照骨格情報の時系列と、前記時系列の各時刻の動作ラベルと、を示す参照骨格データから、前記軌跡情報の前記２つ以上の前記対象骨格情報と合致する２つ以上の前記参照骨格情報を見つけ、見つかった前記２つ以上の前記参照骨格情報に対応する時間帯の基準時刻の前記動作ラベルを前記対象動作の前記動作ラベルとして取得するマッチング部と、
    を備える
    動作分析システム。

Images