JP6786015B1 - 動作分析システムおよび動作分析プログラム - Google Patents
動作分析システムおよび動作分析プログラム Download PDFInfo
- Publication number
- JP6786015B1 JP6786015B1 JP2020528365A JP2020528365A JP6786015B1 JP 6786015 B1 JP6786015 B1 JP 6786015B1 JP 2020528365 A JP2020528365 A JP 2020528365A JP 2020528365 A JP2020528365 A JP 2020528365A JP 6786015 B1 JP6786015 B1 JP 6786015B1
- Authority
- JP
- Japan
- Prior art keywords
- target
- motion
- data
- posture
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Abstract
動作分析装置（２００）は、一連の動作を行う対象者（１１１）を連続して撮影することによって得られる複数の対象画像データを受け付ける。動作分析装置は、各対象画像データの対象画像に映る対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する。動作分析装置は、複数の対象画像データに対応する複数の対象姿勢データから、２つ以上の対象姿勢データを、対象者の姿勢の推移を表す対象軌跡データとして抽出する。動作分析装置は、対象軌跡データに基づいて対象者の動作を識別する動作ラベルを得る。
Description
本発明は、動作分析のための技術に関するものである。
産業分野において、サイクルタイムの計測と作業内容の分析といった処理を人手で行うことが主流となっている。
サイクルタイムは、作業者が製品を組み立てる時間である。
作業内容の分析は、作業の抜け又は非定常作業の検知のために行われる。非定常作業は定常的には行われない作業である。
人手による処理は、多くの人的コストがかかる。また、人手による処理では、限定的な範囲についてしか処理の対象とすることができない。
サイクルタイムは、作業者が製品を組み立てる時間である。
作業内容の分析は、作業の抜け又は非定常作業の検知のために行われる。非定常作業は定常的には行われない作業である。
人手による処理は、多くの人的コストがかかる。また、人手による処理では、限定的な範囲についてしか処理の対象とすることができない。
作業者の動作を分析することが容易になれば、サイクルタイムの計測と作業内容の分析といった処理が容易になるものと考えられる。
特許文献１には、自動的に行われる動作分析が記載されている。動作分析のために、カメラ及び三次元センサが人の頭部に取り付けられ、そのカメラ及び三次元センサが用いられ、人の動作の特徴量が抽出される。
特許文献１では、自動的な動作分析のために、人の頭部にカメラ及び三次元センサが取り付けられる。
作業者の動作を分析するために特許文献１の方法が適用される場合、作業に不要な物が作業者の体に取り付けられる。そして、作業者の体に取り付けられた物が作業の妨げとなる可能性がある。
作業者の動作を分析するために特許文献１の方法が適用される場合、作業に不要な物が作業者の体に取り付けられる。そして、作業者の体に取り付けられた物が作業の妨げとなる可能性がある。
本発明は、作業を妨げずに作業者の動作を分析できるようにすることを目的とする。
本発明の動作分析システムは、
一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付部と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出部と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出部と、
前記対象軌跡データに基づいて前記対象者の動作を識別する動作ラベルを得る動作特定部と、を備える。
一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付部と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出部と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出部と、
前記対象軌跡データに基づいて前記対象者の動作を識別する動作ラベルを得る動作特定部と、を備える。
本発明によれば、カメラおよび三次元センサなど作業に不要な物が作業者（対象者の一例）の体に取り付けられなくても、作業者の動作を特定することが可能となる。つまり、作業を妨げずに作業者の動作を分析することが可能となる。
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態１．
人の動作を自動で分析するための動作分析システム１００について、図１から図１４に基づいて説明する。
人の動作を自動で分析するための動作分析システム１００について、図１から図１４に基づいて説明する。
＊＊＊構成の説明＊＊＊
図１に基づいて、動作分析システム１００の構成を説明する。
動作分析システム１００は、カメラ１０１と動作分析装置２００とを備える。
カメラ１０１は、対象者１１１を撮影する。カメラ１０１は、対象者１１１を正面から撮影してもよいし、対象者１１１を斜めから撮影してもよい。また、カメラ１０１は、対象者１１１の全身を撮影してもよいし、対象者１１１の一部（例えば上半身）を撮影してもよい。
動作分析装置２００は、対象者１１１の動作を分析する。
対象者１１１は、動作分析の対象となる人である。対象者１１１の具体例は、作業を行う人（作業者）である。
図１に基づいて、動作分析システム１００の構成を説明する。
動作分析システム１００は、カメラ１０１と動作分析装置２００とを備える。
カメラ１０１は、対象者１１１を撮影する。カメラ１０１は、対象者１１１を正面から撮影してもよいし、対象者１１１を斜めから撮影してもよい。また、カメラ１０１は、対象者１１１の全身を撮影してもよいし、対象者１１１の一部（例えば上半身）を撮影してもよい。
動作分析装置２００は、対象者１１１の動作を分析する。
対象者１１１は、動作分析の対象となる人である。対象者１１１の具体例は、作業を行う人（作業者）である。
図２に基づいて、動作分析装置２００の構成を説明する。
動作分析装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
動作分析装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
入出力インタフェース２０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース２０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
動作分析装置２００は、特定部２１０と登録部２２０といった要素を備える。特定部２１０は、対象画像受付部２１１と対象姿勢検出部２１２と対象軌跡抽出部２１３と動作特定部２１４と結果出力部２１５といった要素を備える。これらの要素はソフトウェアで実現される。
補助記憶装置２０３には、特定部２１０と登録部２２０としてコンピュータを機能させるための動作分析プログラムが記憶されている。動作分析プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、動作分析プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、動作分析プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
動作分析プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
記憶部２９０には、動作データベース２９１などが記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
記憶部２９０には、動作データベース２９１などが記憶される。
動作分析装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ２０１の機能を分担する。
動作分析プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
＊＊＊動作の説明＊＊＊
動作分析システム１００の動作の手順は動作分析方法に相当する。また、動作分析装置２００の動作の手順は動作分析プログラムによる処理の手順に相当する。
動作分析システム１００の動作の手順は動作分析方法に相当する。また、動作分析装置２００の動作の手順は動作分析プログラムによる処理の手順に相当する。
図３に基づいて、動作分析方法を説明する。
ステップＳ１１０において、対象画像受付部２１１は、複数の対象画像データを受け付ける。
複数の対象画像データは、一連の動作を行う対象者１１１を連続して撮影することによって得られる。
各対象画像データは対象画像を表す。対象画像には、対象者１１１が映っている。
ステップＳ１１０において、対象画像受付部２１１は、複数の対象画像データを受け付ける。
複数の対象画像データは、一連の動作を行う対象者１１１を連続して撮影することによって得られる。
各対象画像データは対象画像を表す。対象画像には、対象者１１１が映っている。
例えば、複数の対象画像データは、利用者によって、動作分析装置２００に入力される。対象画像受付部２１１は、入力された複数の対象画像データを受け付ける。
例えば、複数の対象画像データは、カメラ１０１から送信され、動作分析装置２００によって受信される。対象画像受付部２１１は、受信された複数の対象画像データを受け付ける。
例えば、複数の対象画像データは、カメラ１０１から送信され、動作分析装置２００によって受信される。対象画像受付部２１１は、受信された複数の対象画像データを受け付ける。
ステップＳ１２０において、対象姿勢検出部２１２は、各対象画像データの対象画像に映る対象者１１１の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する。
これにより、複数の対象画像データに対応する複数の対象姿勢データが得られる。
これにより、複数の対象画像データに対応する複数の対象姿勢データが得られる。
図４に基づいて、対象姿勢検出処理（Ｓ１２０）について説明する。［ｍ−１］と［ｍ］と［ｍ＋１］は、連続する３つの撮影時刻を示している。撮影時刻は撮影が行われた時刻である。
各撮影時刻の対象画像データ１２１は各撮影時刻の対象画像を表す。各撮影時刻の対象画像には各撮影時刻の対象者１１１が映っている。
対象姿勢検出部２１２は、各撮影時刻の対象画像に対して画像処理を行うことによって、各撮影時刻における対象者１１１の姿勢を検出する。
具体的には、対象姿勢検出部２１２は、対象者１１１の骨格を検出する。対象者１１１の骨格によって、対象者１１１の姿勢が特定される。
より具体的には、対象姿勢検出部２１２は、対象者１１１の各関節の位置を判別する。各関節の位置は、特定の座標系における絶対位置であってもよいし、他の関節に対する相対位置であってもよい。各関節の位置は座標値で識別される。首の関節および肩の関節などの複数の関節によって、骨格が特定される。
各撮影時刻の対象画像データ１２１は各撮影時刻の対象画像を表す。各撮影時刻の対象画像には各撮影時刻の対象者１１１が映っている。
対象姿勢検出部２１２は、各撮影時刻の対象画像に対して画像処理を行うことによって、各撮影時刻における対象者１１１の姿勢を検出する。
具体的には、対象姿勢検出部２１２は、対象者１１１の骨格を検出する。対象者１１１の骨格によって、対象者１１１の姿勢が特定される。
より具体的には、対象姿勢検出部２１２は、対象者１１１の各関節の位置を判別する。各関節の位置は、特定の座標系における絶対位置であってもよいし、他の関節に対する相対位置であってもよい。各関節の位置は座標値で識別される。首の関節および肩の関節などの複数の関節によって、骨格が特定される。
対象姿勢検出部２１２は、各撮影時刻における対象者１１１の姿勢を表す対象姿勢データ１２２を生成する。
各撮影時刻の対象姿勢データ１２２において、各黒丸は対象者１１１の関節の位置を表している。
各撮影時刻の対象姿勢データ１２２において、各黒丸は対象者１１１の関節の位置を表している。
図３に戻り、ステップＳ１３０以降の説明を続ける。
ステップＳ１３０およびステップＳ１４０は、撮影時間帯の各撮影時刻に対して実行される。撮影時間帯は、撮影が行われた時間帯である。
ステップＳ１３０およびステップＳ１４０は、撮影時間帯の各撮影時刻に対して実行される。撮影時間帯は、撮影が行われた時間帯である。
ステップＳ１３０において、対象軌跡抽出部２１３は、複数の対象画像データに対応する複数の対象姿勢データから、対象軌跡データを抽出する。
対象軌跡データは、２つ以上の対象姿勢データで構成され、対象者１１１の姿勢の推移を表す。対象軌跡データにおいて、２つ以上の対象姿勢データは時系列に並べられる。但し、対象軌跡データは、２つ以上の対象姿勢データを近似して表す多項式関数であってもよい。
対象軌跡データについて補足する。軌跡データは連続する時刻のデータである。対象軌跡データは連続する時刻の対象姿勢データである。連続する時刻は、対象時刻および対象時刻と連続する時刻である。対象時刻が［ｔ］である場合、連続する時刻は［ｔ−１］と［ｔ］と［ｔ＋１］である。
対象軌跡データは、２つ以上の対象姿勢データで構成され、対象者１１１の姿勢の推移を表す。対象軌跡データにおいて、２つ以上の対象姿勢データは時系列に並べられる。但し、対象軌跡データは、２つ以上の対象姿勢データを近似して表す多項式関数であってもよい。
対象軌跡データについて補足する。軌跡データは連続する時刻のデータである。対象軌跡データは連続する時刻の対象姿勢データである。連続する時刻は、対象時刻および対象時刻と連続する時刻である。対象時刻が［ｔ］である場合、連続する時刻は［ｔ−１］と［ｔ］と［ｔ＋１］である。
図５に基づいて、対象軌跡抽出処理（Ｓ１３０）について説明する。
ステップＳ１３１において、対象軌跡抽出部２１３は、撮影時間帯から、未選択の撮影時刻を１つ選択する。
撮影時間帯は、撮影が行われた時間帯である。
選択される撮影時刻を「対象時刻」と称する。
ステップＳ１３１において、対象軌跡抽出部２１３は、撮影時間帯から、未選択の撮影時刻を１つ選択する。
撮影時間帯は、撮影が行われた時間帯である。
選択される撮影時刻を「対象時刻」と称する。
ステップＳ１３２において、対象軌跡抽出部２１３は、対象時刻に対する撮影時刻群を決定する。
撮影時刻群は、連続する２つ以上の撮影時刻で構成され、対象時刻を含む。撮影時刻群に含まれる撮影時刻の数は予め決められる。
対象時刻を「ｍ」と記す。例えば、対象軌跡抽出部２１３は、撮影時刻（ｍ−１）と撮影時刻（ｍ）と撮影時刻（ｍ＋１）とで構成される撮影時刻群を、対象時刻に対する撮影時刻群に決定する。
決定される撮影時刻群を「対象時刻群」と称する。
撮影時刻群は、連続する２つ以上の撮影時刻で構成され、対象時刻を含む。撮影時刻群に含まれる撮影時刻の数は予め決められる。
対象時刻を「ｍ」と記す。例えば、対象軌跡抽出部２１３は、撮影時刻（ｍ−１）と撮影時刻（ｍ）と撮影時刻（ｍ＋１）とで構成される撮影時刻群を、対象時刻に対する撮影時刻群に決定する。
決定される撮影時刻群を「対象時刻群」と称する。
ステップＳ１３３において、対象軌跡抽出部２１３は、複数の対象姿勢データから、対象時刻に対応する対象軌跡データを抽出する。
例えば、対象時刻群が時刻（ｍ−１）と時刻（ｍ）と時刻（ｍ＋１）とで構成される場合、対象軌跡抽出部２１３は、時刻（ｍ−１）の対象姿勢データと、時刻（ｍ）の対象姿勢データと、時刻（ｍ＋１）の対象姿勢データと、を抽出する。抽出される３つの対象姿勢データが、対象時刻に対応する対象軌跡データを構成する。
例えば、対象時刻群が時刻（ｍ−１）と時刻（ｍ）と時刻（ｍ＋１）とで構成される場合、対象軌跡抽出部２１３は、時刻（ｍ−１）の対象姿勢データと、時刻（ｍ）の対象姿勢データと、時刻（ｍ＋１）の対象姿勢データと、を抽出する。抽出される３つの対象姿勢データが、対象時刻に対応する対象軌跡データを構成する。
図６に基づいて、対象軌跡抽出処理（Ｓ１３０）について説明する。［ｍ−１］と［ｍ］と［ｍ＋１］は、連続する３つの撮影時刻を示している。
対象時刻群が［ｍ−１］と［ｍ］と［ｍ＋１］とで構成されると仮定する。
対象軌跡抽出部２１３は、［ｍ−１］の対象姿勢データ１２２と［ｍ］の対象姿勢データ１２２と［ｍ＋１］の対象姿勢データ１２２とを抽出する。
抽出される３つの対象姿勢データ１２２が、［ｍ］の対象軌跡データ１２３を構成する。
対象時刻群が［ｍ−１］と［ｍ］と［ｍ＋１］とで構成されると仮定する。
対象軌跡抽出部２１３は、［ｍ−１］の対象姿勢データ１２２と［ｍ］の対象姿勢データ１２２と［ｍ＋１］の対象姿勢データ１２２とを抽出する。
抽出される３つの対象姿勢データ１２２が、［ｍ］の対象軌跡データ１２３を構成する。
図３に戻り、ステップＳ１４０から説明を続ける。
ステップＳ１４０において、動作特定部２１４は、対象軌跡データに基づいて、対象者１１１の動作を識別する動作ラベルを得る。
具体的には、動作特定部２１４は、動作データベース２９１から、対象軌跡データに合致する動作軌跡データの動作ラベルを抽出する。
動作データベース２９１は、動作ラベルと動作軌跡データとの組が１つ以上登録されたデータベースである。
動作ラベルは、動作を識別する。
動作軌跡データは、動作ラベルで識別される動作を行う人の姿勢の推移を表す。
ステップＳ１４０において、動作特定部２１４は、対象軌跡データに基づいて、対象者１１１の動作を識別する動作ラベルを得る。
具体的には、動作特定部２１４は、動作データベース２９１から、対象軌跡データに合致する動作軌跡データの動作ラベルを抽出する。
動作データベース２９１は、動作ラベルと動作軌跡データとの組が１つ以上登録されたデータベースである。
動作ラベルは、動作を識別する。
動作軌跡データは、動作ラベルで識別される動作を行う人の姿勢の推移を表す。
図７に基づいて、動作データベース２９１の構成を説明する。［ｔ−１］と［ｔ］と［ｔ＋１］は、連続する３つの撮影時刻を示している。
動作データベース２９１には、複数の時刻と複数の動作姿勢データと複数の動作ラベルが互いに対応付けられる。
動作軌跡データ１３３は、２つ以上の動作姿勢データ１３２で構成される。具体的には、動作軌跡データ１３３は、連続する２つ以上の時刻に対応付けられた２つ以上の動作姿勢データ１３２で構成される。
動作姿勢データ１３２は、動作を行う人の姿勢を表す。
動作データベース２９１には、複数の時刻と複数の動作姿勢データと複数の動作ラベルが互いに対応付けられる。
動作軌跡データ１３３は、２つ以上の動作姿勢データ１３２で構成される。具体的には、動作軌跡データ１３３は、連続する２つ以上の時刻に対応付けられた２つ以上の動作姿勢データ１３２で構成される。
動作姿勢データ１３２は、動作を行う人の姿勢を表す。
［ｔ］の動作軌跡データ１３３は、［ｔ−１］の動作姿勢データ１３２と［ｔ］の動作姿勢データ１３２と［ｔ＋１］の動作姿勢データ１３２で構成される。なお、動作軌跡データ１３３は［ｔ］を中心にして前後に連続する時刻のデータを含む。
「ｔ」の動作軌跡データ１３３は、時刻ｔの動作ラベル「作業Ａ」によって識別される動作を行う人の姿勢の推移を表す。
「ｔ」の動作軌跡データ１３３は、時刻ｔの動作ラベル「作業Ａ」によって識別される動作を行う人の姿勢の推移を表す。
図８に基づいて、動作特定処理（Ｓ１４０）について説明する。
ステップＳ１４１において、動作特定部２１４は、動作データベース２９１の「時刻」から、未選択の時刻を１つ選択する。具体的には、動作特定部２１４は、昇順に時刻を選択する。
選択される時刻を「比較時刻」と称する。
ステップＳ１４１において、動作特定部２１４は、動作データベース２９１の「時刻」から、未選択の時刻を１つ選択する。具体的には、動作特定部２１４は、昇順に時刻を選択する。
選択される時刻を「比較時刻」と称する。
ステップＳ１４２において、動作特定部２１４は、比較時刻に対する比較時刻群を決定する。
比較時刻群は、連続する２つ以上の時刻で構成され、比較時刻を含む。比較時刻群に含まれる時刻の数は、予め決められる。
比較時刻を「ｔ」と記す。例えば、動作特定部２１４は、時刻（ｔ−１）と時刻（ｔ）と時刻（ｔ＋１）とから成る時刻群を、比較時刻に対する比較時刻群に決定する。
比較時刻群は、連続する２つ以上の時刻で構成され、比較時刻を含む。比較時刻群に含まれる時刻の数は、予め決められる。
比較時刻を「ｔ」と記す。例えば、動作特定部２１４は、時刻（ｔ−１）と時刻（ｔ）と時刻（ｔ＋１）とから成る時刻群を、比較時刻に対する比較時刻群に決定する。
ステップＳ１４３において、動作特定部２１４は、動作データベース２９１から、比較時刻に対応する動作軌跡データを抽出する。
例えば、比較時刻群が時刻（ｔ−１）と時刻（ｔ）と時刻（ｔ＋１）とで構成される場合、動作特定部２１４は、時刻（ｔ−１）の動作姿勢データと、時刻（ｔ）の動作姿勢データと、時刻（ｔ＋１）の動作姿勢データと、を抽出する。抽出される３つの動作姿勢データが、比較時刻に対応する動作軌跡データを構成する。
例えば、比較時刻群が時刻（ｔ−１）と時刻（ｔ）と時刻（ｔ＋１）とで構成される場合、動作特定部２１４は、時刻（ｔ−１）の動作姿勢データと、時刻（ｔ）の動作姿勢データと、時刻（ｔ＋１）の動作姿勢データと、を抽出する。抽出される３つの動作姿勢データが、比較時刻に対応する動作軌跡データを構成する。
ステップＳ１４４において、動作特定部２１４は、動作軌跡データを対象軌跡データと比較する。対象軌跡データはステップＳ１３０（図３参照）で抽出されている。
具体的には、動作特定部２１４は、対象軌跡データに対する動作軌跡データの距離を算出する。
対象軌跡データに対する動作軌跡データの距離は、対象軌跡データによって表される姿勢の推移と動作軌跡データによって表される姿勢の推移との差の大きさに相当する。
対象軌跡データに対する動作軌跡データの距離は、対象軌跡データによって表される姿勢の推移と動作軌跡データによって表される姿勢の推移との差の大きさに相当する。
図９に基づいて、比較処理（Ｓ１４４）について説明する。
対象軌跡データに含まれる対象姿勢データをＩ（ｍ）またはＩ（ｍ＋ｋ）と記す。
動作軌跡データに含まれる動作姿勢データをＲ（ｔ）またはＲ（ｔ＋ｋ）と記す。
「ｋ」は−ｉ以上＋ｉ以下の整数である。「ｉ」は１以上の整数である。対象軌跡データに含まれる対象姿勢データの数が「３」である場合、「ｉ」は「１」である。
対象軌跡データに含まれる対象姿勢データをＩ（ｍ）またはＩ（ｍ＋ｋ）と記す。
動作軌跡データに含まれる動作姿勢データをＲ（ｔ）またはＲ（ｔ＋ｋ）と記す。
「ｋ」は−ｉ以上＋ｉ以下の整数である。「ｉ」は１以上の整数である。対象軌跡データに含まれる対象姿勢データの数が「３」である場合、「ｉ」は「１」である。
ステップＳ１４４１において、動作特定部２１４は、対象姿勢データＩ（ｍ）に対する対象姿勢データＩ（ｍ＋ｋ）の距離を算出する。算出される距離をＩ’（ｍ＋ｋ）と記す。
距離Ｉ’（ｍ＋ｋ）は、対象姿勢データＩ（ｍ）によって表される姿勢と対象姿勢データＩ（ｍ＋ｋ）によって表される姿勢との差の大きさに相当する。
距離Ｉ’（ｍ＋ｋ）は、対象姿勢データＩ（ｍ）によって表される姿勢と対象姿勢データＩ（ｍ＋ｋ）によって表される姿勢との差の大きさに相当する。
距離Ｉ’（ｍ＋ｋ）は、式（１）で表すことができる。
Ｉ’（ｍ＋ｋ） ＝ Ｉ（ｍ＋ｋ）−Ｉ（ｍ） （１）
具体的には、動作特定部２１４は、距離Ｉ’（ｍ＋ｋ）を以下のように算出する。
対象姿勢データは、複数の関節のそれぞれの位置を示す。
動作特定部２１４は、関節毎に、対象姿勢データＩ（ｍ）における関節の位置と対象姿勢データＩ（ｍ＋ｋ）における関節の位置との距離を算出する。動作特定部２１４は、各関節に対して重み付けを行い、各関節の重みに応じて各関節の距離を算出してもよい。その場合、重要な関節の距離は大きな値となる。
または、動作特定部２１４は、関節組毎に、対象姿勢データＩ（ｍ）における関節間の距離と対象姿勢データＩ（ｍ＋ｋ）における関節間の距離との差を、関節組に対する距離として算出する。動作特定部２１４は、各関節組に対して重み付けを行い、各関節組の重みに応じて各関節組に対する距離を算出してもよい。その場合、重要な関節組に対する距離は大きな値となる。
動作特定部２１４は、算出した距離の合計を算出する。算出される合計が距離Ｉ’（ｍ＋ｋ）となる。
対象姿勢データは、複数の関節のそれぞれの位置を示す。
動作特定部２１４は、関節毎に、対象姿勢データＩ（ｍ）における関節の位置と対象姿勢データＩ（ｍ＋ｋ）における関節の位置との距離を算出する。動作特定部２１４は、各関節に対して重み付けを行い、各関節の重みに応じて各関節の距離を算出してもよい。その場合、重要な関節の距離は大きな値となる。
または、動作特定部２１４は、関節組毎に、対象姿勢データＩ（ｍ）における関節間の距離と対象姿勢データＩ（ｍ＋ｋ）における関節間の距離との差を、関節組に対する距離として算出する。動作特定部２１４は、各関節組に対して重み付けを行い、各関節組の重みに応じて各関節組に対する距離を算出してもよい。その場合、重要な関節組に対する距離は大きな値となる。
動作特定部２１４は、算出した距離の合計を算出する。算出される合計が距離Ｉ’（ｍ＋ｋ）となる。
ステップＳ１４４２において、動作特定部２１４は、動作姿勢データＲ（ｔ）に対する動作姿勢データＲ（ｔ＋ｋ）の距離を算出する。算出される距離をＲ’（ｔ＋ｋ）と記す。
距離Ｒ’（ｔ＋ｋ）は、動作姿勢データＲ（ｔ）によって表される姿勢と動作姿勢データＲ（ｔ＋ｋ）によって表される姿勢との差の大きさに相当する。
距離Ｒ’（ｔ＋ｋ）は、動作姿勢データＲ（ｔ）によって表される姿勢と動作姿勢データＲ（ｔ＋ｋ）によって表される姿勢との差の大きさに相当する。
距離Ｒ’（ｔ＋ｋ）は、式（２）で表すことができる。
Ｒ’（ｔ＋ｋ） ＝ Ｒ（ｔ＋ｋ）−Ｒ（ｔ） （２）
具体的には、動作特定部２１４は、距離Ｒ’（ｔ＋ｋ）を以下のように算出する。
動作姿勢データは、複数の関節のそれぞれの位置を示す。
動作特定部２１４は、関節毎に、動作姿勢データＲ（ｔ）における関節の位置と動作姿勢データＲ（ｔ＋ｋ）における関節の位置との距離を算出する。動作特定部２１４は、各関節に対して重み付けを行い、各関節の重みに応じて各関節の距離を算出してもよい。その場合、重要な関節の距離は大きな値となる。
または、動作特定部２１４は、関節組毎に、動作姿勢データＲ（ｍ）における関節間の距離と動作姿勢データＩ（ｍ＋ｋ）における関節間の距離との差を、関節組に対する距離として算出する。動作特定部２１４は、各関節組に対して重み付けを行い、各関節組の重みに応じて各関節組に対する距離を算出してもよい。その場合、重要な関節組に対する距離は大きな値となる。
動作特定部２１４は、算出した距離の合計を算出する。算出される合計が距離Ｒ’（ｔ＋ｋ）となる。
動作姿勢データは、複数の関節のそれぞれの位置を示す。
動作特定部２１４は、関節毎に、動作姿勢データＲ（ｔ）における関節の位置と動作姿勢データＲ（ｔ＋ｋ）における関節の位置との距離を算出する。動作特定部２１４は、各関節に対して重み付けを行い、各関節の重みに応じて各関節の距離を算出してもよい。その場合、重要な関節の距離は大きな値となる。
または、動作特定部２１４は、関節組毎に、動作姿勢データＲ（ｍ）における関節間の距離と動作姿勢データＩ（ｍ＋ｋ）における関節間の距離との差を、関節組に対する距離として算出する。動作特定部２１４は、各関節組に対して重み付けを行い、各関節組の重みに応じて各関節組に対する距離を算出してもよい。その場合、重要な関節組に対する距離は大きな値となる。
動作特定部２１４は、算出した距離の合計を算出する。算出される合計が距離Ｒ’（ｔ＋ｋ）となる。
ステップＳ１４４３において、動作特定部２１４は、距離Ｉ’（ｍ＋ｋ）と距離Ｒ’（ｔ＋ｋ）との差の合計を算出する。
算出される合計が、対象軌跡データに対する動作軌跡データの距離となる。
算出される合計が、対象軌跡データに対する動作軌跡データの距離となる。
対象軌跡データに対する動作軌跡データの距離は、式（３）で表すことができる。
対象軌跡データに対する動作軌跡データの距離は、動的計画法または隠れマルコフモデルなどの手法によって算出されてもよい。これらの手法は、時系列を動的に伸縮させて最小距離を算出する。
これらの手法では、例えば、Ｉ’（ｍ＋ｋ）−Ｒ’（ｔ＋ｋ）で求まる距離よりもＩ’（ｍ＋ｋ）−Ｒ’（ｍ＋（ｋ＋ａ））で求まる距離が小さい場合、「ｋ」と「ｋ＋ａ」の距離が加算される。
これらの手法では、例えば、Ｉ’（ｍ＋ｋ）−Ｒ’（ｔ＋ｋ）で求まる距離よりもＩ’（ｍ＋ｋ）−Ｒ’（ｍ＋（ｋ＋ａ））で求まる距離が小さい場合、「ｋ」と「ｋ＋ａ」の距離が加算される。
図１０に基づいて、動的計画法の利用について説明する。
表の中の数字は、｜Ｉ’（ｍ＋ａ）−Ｒ’（ｔ＋ｂ）｜の値を示している。但し、−２≦ａであり、ｂ≦２である。実線矢印はパス（Ｉ’とＲ’の対応）を示している。
動的計画法では「ａ」「ｂ」を変化させて各グリッドの距離が算出される。そして、距離の総和が小さくなるパス（実線矢印を参照）が選択される。
表の中の数字は、｜Ｉ’（ｍ＋ａ）−Ｒ’（ｔ＋ｂ）｜の値を示している。但し、−２≦ａであり、ｂ≦２である。実線矢印はパス（Ｉ’とＲ’の対応）を示している。
動的計画法では「ａ」「ｂ」を変化させて各グリッドの距離が算出される。そして、距離の総和が小さくなるパス（実線矢印を参照）が選択される。
図８に戻り、ステップＳ１４５から説明を続ける。
ステップＳ１４５において、動作特定部２１４は、未選択の比較時刻があるか判定する。
未選択の比較時刻がある場合、処理はステップＳ１４１に進む。
未選択の比較時刻がない場合、処理はステップＳ１４６に進む。
ステップＳ１４５において、動作特定部２１４は、未選択の比較時刻があるか判定する。
未選択の比較時刻がある場合、処理はステップＳ１４１に進む。
未選択の比較時刻がない場合、処理はステップＳ１４６に進む。
ステップＳ１４６において、動作特定部２１４は、各動作軌跡データと対象軌跡データの比較結果に基づいて、対象軌跡データに合致する動作軌跡データを選択する。
具体的には、動作特定部２１４は、対象軌跡データに対する各動作軌跡データの距離に基づいて、対象軌跡データに合致する動作軌跡データを選択する。
対象軌跡データに合致する動作軌跡データは、以下のように決定される。
動作特定部２１４は、ステップＳ１４４で算出された距離のうちの最小の距離を選択する。そして、動作特定部２１４は、選択した距離に対応する動作軌跡データを選択する。選択される動作軌跡データが、対象軌跡データに合致する動作軌跡データである。
但し、選択される距離（最小の距離）が閾値より大きい場合、動作特定部２１４は、対象軌跡データに合致する動作軌跡データがない、と判断してもよい。
動作特定部２１４は、ステップＳ１４４で算出された距離のうちの最小の距離を選択する。そして、動作特定部２１４は、選択した距離に対応する動作軌跡データを選択する。選択される動作軌跡データが、対象軌跡データに合致する動作軌跡データである。
但し、選択される距離（最小の距離）が閾値より大きい場合、動作特定部２１４は、対象軌跡データに合致する動作軌跡データがない、と判断してもよい。
ステップＳ１４７において、動作特定部２１４は、動作データベース２９１から、対象軌跡データに合致する動作軌跡データの動作ラベルを抽出する。
具体的には、動作特定部２１４は、ステップＳ１４６で選択された動作軌跡データに対応する比較時刻を選択し、選択した比較時刻に対応付けられた動作ラベルを抽出する。抽出される動作ラベルが、対象軌跡データに合致する動作軌跡データの動作ラベルである。
例えば、ステップＳ１４６で［ｔ］の動作軌跡データ１３３（図７参照）が選択されたと仮定する。この場合、動作特定部２１４は、動作データベース２９１から、［ｔ］に対応付けられた動作ラベル「作業Ａ」を抽出する。
但し、対象軌跡データに合致する動作軌跡データがないと判断された場合（ステップＳ１４６を参照）、動作ラベルは抽出されない。動作ラベルが抽出されない場合、動作特定部２１４は、通常行われない作業（非定常作業）を示すラベルを付与する。
例えば、ステップＳ１４６で［ｔ］の動作軌跡データ１３３（図７参照）が選択されたと仮定する。この場合、動作特定部２１４は、動作データベース２９１から、［ｔ］に対応付けられた動作ラベル「作業Ａ」を抽出する。
但し、対象軌跡データに合致する動作軌跡データがないと判断された場合（ステップＳ１４６を参照）、動作ラベルは抽出されない。動作ラベルが抽出されない場合、動作特定部２１４は、通常行われない作業（非定常作業）を示すラベルを付与する。
図３に戻り、ステップＳ１３０およびステップＳ１４０の後の処理について説明する。
ステップＳ１３０およびステップＳ１４０が撮影時間帯の各撮影時刻に対して実行されることにより、各撮影時刻に対して動作ラベルが得られる。
ステップＳ１３０およびステップＳ１４０が撮影時間帯の各撮影時刻に対して実行された後、処理はステップＳ１５０に進む。
ステップＳ１３０およびステップＳ１４０が撮影時間帯の各撮影時刻に対して実行されることにより、各撮影時刻に対して動作ラベルが得られる。
ステップＳ１３０およびステップＳ１４０が撮影時間帯の各撮影時刻に対して実行された後、処理はステップＳ１５０に進む。
ステップＳ１５０において、結果出力部２１５は結果データを出力する。
例えば、結果出力部２１５は、結果データをディスプレイに表示する。
結果データは、各撮影時刻の動作ラベルを含む。
例えば、結果出力部２１５は、結果データをディスプレイに表示する。
結果データは、各撮影時刻の動作ラベルを含む。
＊＊＊前処理の補足＊＊＊
動作データベース２９１を生成する方法について説明する。
図１１に、動作データベース２９１が生成される際の動作分析システム１００の構成を示す。
動作分析システム１００は、カメラ１０２と動作分析装置２００とを備える。
カメラ１０２は、動作者１１２を撮影する。カメラ１０２は、カメラ１０１（図１参照）と同じであってもよいし、カメラ１０１とは別のカメラであってもよい。
動作者１１２は、動作データベース２９１への登録の対象となる動作（対象動作）を行う人である。動作者１１２は、対象者１１１（図１参照）と同じ人であってもよいし、対象者１１１とは別の人であってもよい。
動作者１１２が作業者である場合、動作者１１２は、通常行われる作業（定常作業）を一連の動作として行う。但し、動作者１１２は、通常行われない作業（非定常作業）を含めて一連の動作を行ってもよい。
動作データベース２９１を生成する方法について説明する。
図１１に、動作データベース２９１が生成される際の動作分析システム１００の構成を示す。
動作分析システム１００は、カメラ１０２と動作分析装置２００とを備える。
カメラ１０２は、動作者１１２を撮影する。カメラ１０２は、カメラ１０１（図１参照）と同じであってもよいし、カメラ１０１とは別のカメラであってもよい。
動作者１１２は、動作データベース２９１への登録の対象となる動作（対象動作）を行う人である。動作者１１２は、対象者１１１（図１参照）と同じ人であってもよいし、対象者１１１とは別の人であってもよい。
動作者１１２が作業者である場合、動作者１１２は、通常行われる作業（定常作業）を一連の動作として行う。但し、動作者１１２は、通常行われない作業（非定常作業）を含めて一連の動作を行ってもよい。
図１２に、動作分析装置２００に備わる登録部２２０の構成を示す。
登録部２２０は、動作ラベル受付部２２１と動作画像受付部２２２と動作姿勢検出部２２３と動作登録部２２４といった要素を備える。
登録部２２０は、動作ラベル受付部２２１と動作画像受付部２２２と動作姿勢検出部２２３と動作登録部２２４といった要素を備える。
図１３に基づいて、登録部２２０による登録処理を説明する。
登録処理によって、動作データベース２９１（図７参照）が生成される。
登録処理によって、動作データベース２９１（図７参照）が生成される。
ステップＳ１０１において、動作ラベル受付部２２１は、複数の時刻が付加された複数の動作ラベルを受け付ける。
例えば、動作ラベル受付部２２１は、動作ラベルリストを受け付ける。動作ラベルリストは、時刻と動作ラベルとの組を複数示す。
例えば、動作ラベルリストは、利用者によって、動作分析装置２００に入力される。動作ラベル受付部２２１は、入力された動作ラベルリストを受け付ける。
なお、定常作業に含まれない動作に対しては、非定常を示すラベルが付与される。
例えば、動作ラベル受付部２２１は、動作ラベルリストを受け付ける。動作ラベルリストは、時刻と動作ラベルとの組を複数示す。
例えば、動作ラベルリストは、利用者によって、動作分析装置２００に入力される。動作ラベル受付部２２１は、入力された動作ラベルリストを受け付ける。
なお、定常作業に含まれない動作に対しては、非定常を示すラベルが付与される。
ステップＳ１０２において、動作画像受付部２２２は、複数の時刻が付加された複数の動作画像データを受け付ける。複数の動作画像データに付加された複数の時刻は、複数の動作ラベルに付加された複数の時刻と一致する。
複数の動作画像データは、一連の動作を行う動作者１１２を連続して撮影することによって得られる。
各動作画像データは動作画像を表す。動作画像には、動作者１１２が映っている。
複数の動作画像データは、一連の動作を行う動作者１１２を連続して撮影することによって得られる。
各動作画像データは動作画像を表す。動作画像には、動作者１１２が映っている。
例えば、動作画像受付部２２２は、動作画像ファイルを受け付ける。動作画像ファイルは、時刻と動作画像データとの組を複数含む。
例えば、動作画像ファイルは、利用者によって、動作分析装置２００に入力される。動作画像受付部２２２は、入力された動作画像ファイルを受け付ける。
例えば、動作画像ファイルは、利用者によって、動作分析装置２００に入力される。動作画像受付部２２２は、入力された動作画像ファイルを受け付ける。
ステップＳ１０３において、動作姿勢検出部２２３は、各動作画像データの動作画像に映る動作者１１２の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する。
これにより、複数の動作画像データに対応する複数の動作姿勢データが得られる。
これにより、複数の動作画像データに対応する複数の動作姿勢データが得られる。
図１４に基づいて、動作姿勢検出処理（Ｓ１０３）について説明する。［ｔ−１］と［ｔ］と［ｔ＋１］は、連続する３つの時刻を示している。
各時刻の動作画像データ１３１は各時刻の動作画像を表す。各時刻の動作画像には各時刻の動作者１１２が映っている。
動作姿勢検出部２２３は、各時刻の動作画像に対して画像処理を行うことによって、各時刻における動作者１１２の姿勢を検出する。
具体的には、動作姿勢検出部２２３は、動作者１１２の骨格を検出する。動作者１１２の骨格によって、動作者１１２の姿勢が特定される。
より具体的には、動作姿勢検出部２２３は、動作者１１２の各関節の位置を判別する。各関節の位置は、座標値、または、他の関節に対する相対位置で示すことができる。首の関節および肩の関節などの複数の関節によって、骨格が特定される。
各時刻の動作画像データ１３１は各時刻の動作画像を表す。各時刻の動作画像には各時刻の動作者１１２が映っている。
動作姿勢検出部２２３は、各時刻の動作画像に対して画像処理を行うことによって、各時刻における動作者１１２の姿勢を検出する。
具体的には、動作姿勢検出部２２３は、動作者１１２の骨格を検出する。動作者１１２の骨格によって、動作者１１２の姿勢が特定される。
より具体的には、動作姿勢検出部２２３は、動作者１１２の各関節の位置を判別する。各関節の位置は、座標値、または、他の関節に対する相対位置で示すことができる。首の関節および肩の関節などの複数の関節によって、骨格が特定される。
動作姿勢検出部２２３は、各時刻における動作者１１２の姿勢を表す動作姿勢データ１３２を生成する。
各時刻の動作姿勢データ１３２において、各黒丸は動作者１１２の関節の位置を表している。
各時刻の動作姿勢データ１３２において、各黒丸は動作者１１２の関節の位置を表している。
図１３に戻り、ステップＳ１０４を説明する。
ステップＳ１０４において、動作登録部２２４は、複数の時刻と複数の動作姿勢データと複数の動作ラベルとを互いに対応付けて動作データベース２９１に登録する。
ステップＳ１０４において、動作登録部２２４は、複数の時刻と複数の動作姿勢データと複数の動作ラベルとを互いに対応付けて動作データベース２９１に登録する。
＊＊＊実施例の説明＊＊＊
動作特定部２１４は、定常作業が行われた時間帯および非定常作業が行われた時間帯を特定してもよい。
具体的には、動作特定部２１４は、非定常を示すラベルが付与された時刻間の時間帯を計測する。計測される時間帯が、非定常作業が行われた時間帯である。その後、動作特定部２１４は、非定常作業が行われた時間帯以外の時間帯を判別する。判別される時間帯が、定常作業が行われた時間帯である。
動作特定部２１４は、定常作業が行われた時間帯および非定常作業が行われた時間帯を特定してもよい。
具体的には、動作特定部２１４は、非定常を示すラベルが付与された時刻間の時間帯を計測する。計測される時間帯が、非定常作業が行われた時間帯である。その後、動作特定部２１４は、非定常作業が行われた時間帯以外の時間帯を判別する。判別される時間帯が、定常作業が行われた時間帯である。
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、カメラおよび三次元センサなど作業に不要な物が作業者（対象者の一例）の体に取り付けられなくても、作業者の動作を特定することが可能となる。つまり、作業を妨げずに作業者の動作を分析することが可能となる。
さらに、対象者１１１によって各動作が行われた時間帯を特定することが可能となる。つまり、定常作業が行われた時間帯および非定常作業が行われた時間帯を特定することが可能となる。
また、対象軌跡データと動作軌跡データという軌跡データ（連続時刻データ）同士が比較されることにより、次のような効果が得られる。作業は複数の動作を含むことがある。そのため、単一時刻の動作を比較するのではなく連続した動作である軌跡データ同士を比較することにより、より適切な作業の判定が可能となる。
実施の形態１により、カメラおよび三次元センサなど作業に不要な物が作業者（対象者の一例）の体に取り付けられなくても、作業者の動作を特定することが可能となる。つまり、作業を妨げずに作業者の動作を分析することが可能となる。
さらに、対象者１１１によって各動作が行われた時間帯を特定することが可能となる。つまり、定常作業が行われた時間帯および非定常作業が行われた時間帯を特定することが可能となる。
また、対象軌跡データと動作軌跡データという軌跡データ（連続時刻データ）同士が比較されることにより、次のような効果が得られる。作業は複数の動作を含むことがある。そのため、単一時刻の動作を比較するのではなく連続した動作である軌跡データ同士を比較することにより、より適切な作業の判定が可能となる。
実施の形態２．
動作分析の精度を高めるための形態について、主に実施の形態１と異なる点を図１５から図１８に基づいて説明する。
動作分析の精度を高めるための形態について、主に実施の形態１と異なる点を図１５から図１８に基づいて説明する。
＊＊＊構成の説明＊＊＊
動作分析システム１００の構成は、実施の形態１における構成（図１および図１１を参照）と同じである。
但し、図１１において、動作者１１２は一連の動作を複数回行い、カメラ１０２は動作者１１２による複数回の一連の動作を撮影する。
動作分析システム１００の構成は、実施の形態１における構成（図１および図１１を参照）と同じである。
但し、図１１において、動作者１１２は一連の動作を複数回行い、カメラ１０２は動作者１１２による複数回の一連の動作を撮影する。
動作分析装置２００の構成は、実施の形態１における構成（図２参照）と同じである。
但し、登録部２２０の構成の一部が、実施の形態１における構成（図１２参照）と異なる。
但し、登録部２２０の構成の一部が、実施の形態１における構成（図１２参照）と異なる。
図１５に基づいて、登録部２２０の構成を説明する。
登録部２２０は、動作ラベル受付部２２１と動作画像受付部２２２と仮姿勢検出部２２５と仮テーブル生成部２２６と動作姿勢生成部２２７と動作登録部２２４といった要素を備える。
登録部２２０は、動作ラベル受付部２２１と動作画像受付部２２２と仮姿勢検出部２２５と仮テーブル生成部２２６と動作姿勢生成部２２７と動作登録部２２４といった要素を備える。
＊＊＊動作の説明＊＊＊
図１６に基づいて、登録部２２０による登録処理を説明する。
登録処理によって、動作データベース２９１（図７参照）が生成される。
図１６に基づいて、登録部２２０による登録処理を説明する。
登録処理によって、動作データベース２９１（図７参照）が生成される。
ステップＳ２１０からステップＳ２４０は、複数回の一連の動作のそれぞれに対して実行される。つまり、一連の動作が３回行われた場合、ステップＳ２１０からステップＳ２４０は３回実行される。
ステップＳ２１０において、動作ラベル受付部２２１は、動作ラベル群を受け付ける。
動作ラベル群は、複数の時刻が付加された複数の動作ラベルである。
ステップＳ２１０は、実施の形態１におけるステップＳ１０１（図１３参照）に相当する。
動作ラベル群は、複数の時刻が付加された複数の動作ラベルである。
ステップＳ２１０は、実施の形態１におけるステップＳ１０１（図１３参照）に相当する。
ステップＳ２２０において、動作画像受付部２２２は、動作画像データ群を受け付ける。
動作画像データ群は、一連の動作を行う動作者を撮影することによって得られて複数の時刻が付加された複数の動作画像データである。
ステップＳ２２０は、実施の形態１におけるステップＳ２０２（図１３参照）に相当する。
動作画像データ群は、一連の動作を行う動作者を撮影することによって得られて複数の時刻が付加された複数の動作画像データである。
ステップＳ２２０は、実施の形態１におけるステップＳ２０２（図１３参照）に相当する。
ステップＳ２３０において、仮姿勢検出部２２５は、動作画像データ群の中の各動作画像データの動作画像に映る動作者１１２の姿勢を検出し、検出した姿勢を表す仮姿勢データを生成する。
これにより、動作画像データ群に対応する仮姿勢データ群が得られる。仮姿勢データ群は、複数の動作画像データに対応する複数の仮姿勢データである。
仮姿勢データを生成する方法は、実施の形態１において動作姿勢データを生成する方法と同じである（図１３のステップＳ１０３を参照）。
これにより、動作画像データ群に対応する仮姿勢データ群が得られる。仮姿勢データ群は、複数の動作画像データに対応する複数の仮姿勢データである。
仮姿勢データを生成する方法は、実施の形態１において動作姿勢データを生成する方法と同じである（図１３のステップＳ１０３を参照）。
ステップＳ２４０において、仮テーブル生成部２２６は、仮テーブルを生成する。
仮テーブルは、時刻群と仮姿勢データ群と動作ラベル群とが互いに対応付けられたテーブルである。
時刻群は、複数の動作ラベルと複数の動作画像とに付加された複数の時刻である。
仮テーブルは、時刻群と仮姿勢データ群と動作ラベル群とが互いに対応付けられたテーブルである。
時刻群は、複数の動作ラベルと複数の動作画像とに付加された複数の時刻である。
ステップＳ２１０からステップＳ２４０が複数回の一連の動作のそれぞれに対して実行されることにより、複数の仮テーブルが生成される。
ステップＳ２１０からステップＳ２４０が複数回の一連の動作のそれぞれに対して実行された後、処理はステップＳ２５０に進む。
ステップＳ２１０からステップＳ２４０が複数回の一連の動作のそれぞれに対して実行された後、処理はステップＳ２５０に進む。
ステップＳ２５０において、動作姿勢生成部２２７は、一連の動作に含まれる動作毎に、２つ以上の時刻に対応する２つ以上の動作姿勢データを生成する。
２つ以上の時刻に対応する２つ以上の動作姿勢データは以下のように生成される。
動作姿勢生成部２２７は、同じ動作を識別する２つ以上の動作ラベルに対応付けられた２つ以上の仮姿勢データである仮軌跡データを、複数の仮テーブルのそれぞれから抽出する。
動作姿勢生成部２２７は、複数の仮テーブルから抽出した複数の仮軌跡データに基づいて、２つ以上の時刻に対応する２つ以上の動作姿勢データを生成する。
動作姿勢生成部２２７は、同じ動作を識別する２つ以上の動作ラベルに対応付けられた２つ以上の仮姿勢データである仮軌跡データを、複数の仮テーブルのそれぞれから抽出する。
動作姿勢生成部２２７は、複数の仮テーブルから抽出した複数の仮軌跡データに基づいて、２つ以上の時刻に対応する２つ以上の動作姿勢データを生成する。
図１７に基づいて、動作姿勢生成処理（Ｓ２５０）について説明する。
ステップＳ２５１からステップＳ２５３は、一連の動作に含まれる各動作に対して実行される。
ステップＳ２５１からステップＳ２５３は、一連の動作に含まれる各動作に対して実行される。
ステップＳ２５１において、動作姿勢生成部２２７は、複数の仮テーブルのそれぞれから仮軌跡データを抽出する。これにより、複数の仮軌跡データが抽出される。
ステップＳ２５２において、動作姿勢生成部２２７は、動作軌跡データを構成する動作姿勢データの数を決定する。決定される数を「構成データ数」と称する。
例えば、構成データ数は、複数の仮軌跡データにおける仮姿勢データの数の平均である。１回目の仮軌跡データを構成する仮姿勢データの数が「３」であり、２回目の仮軌跡データを構成する仮姿勢データの数が「４」であり、３回目の仮軌跡データを構成する仮姿勢データの数が「５」であると仮定する。この場合、構成データ数は「４」である。
例えば、構成データ数は、複数の仮軌跡データにおける仮姿勢データの数の平均である。１回目の仮軌跡データを構成する仮姿勢データの数が「３」であり、２回目の仮軌跡データを構成する仮姿勢データの数が「４」であり、３回目の仮軌跡データを構成する仮姿勢データの数が「５」であると仮定する。この場合、構成データ数は「４」である。
ステップＳ２５３において、動作姿勢生成部２２７は、各仮軌跡データに対してサンプリングを行う。
これにより、各仮軌跡データを構成する仮姿勢データの数が、構成データ数と同じ数になる。
これにより、各仮軌跡データを構成する仮姿勢データの数が、構成データ数と同じ数になる。
図１８に、サンプリングの具体例を示す。
「Ａｎ」は、サンプリング前のｎ回目の仮軌跡データに含まれる仮姿勢データを表す。
「Ａｎ’」は、サンプリング後のｎ回目の仮軌跡データに含まれる仮姿勢データを表す。
「＊」は乗法を意味し、「＋」は加法を意味する。
各仮姿勢データは、複数の関節のそれぞれの位置を示す。乗法および加法は、関節毎に関節の位置を識別する座標値に対して行われる。
「Ａｎ」は、サンプリング前のｎ回目の仮軌跡データに含まれる仮姿勢データを表す。
「Ａｎ’」は、サンプリング後のｎ回目の仮軌跡データに含まれる仮姿勢データを表す。
「＊」は乗法を意味し、「＋」は加法を意味する。
各仮姿勢データは、複数の関節のそれぞれの位置を示す。乗法および加法は、関節毎に関節の位置を識別する座標値に対して行われる。
構成データ数が「４」であると仮定する。
サンプリング前において、１回目の仮軌跡データは３つの仮姿勢データＡ１（１〜３）で構成されている。また、２回目の仮軌跡データは４つの仮姿勢データＡ２（１〜４）で構成されている。また、３回目の仮軌跡データは５つの仮姿勢データＡ３（１〜５）で構成されている。
１回目の仮軌跡データに対するサンプリングによって、３つの仮姿勢データＡ１（１〜３）に基づく４つの仮姿勢データＡ１’（１〜４）が生成される。
２回目の仮軌跡データに対するサンプリングによって、４つの仮姿勢データＡ２（１〜４）に基づく４つの仮姿勢データＡ２’（１〜４）が生成される。
３回目の仮軌跡データに対するサンプリングによって、５つの仮姿勢データＡ３（１〜５）に基づく４つの仮姿勢データＡ３’（１〜４）が生成される。
サンプリング後において、１回目の仮軌跡データは４つの仮姿勢データＡ１’（１〜４）で構成されている。また、２回目の仮軌跡データは４つの仮姿勢データＡ２’（１〜４）で構成されている。また、３回目の仮軌跡データは４つの仮姿勢データＡ３’（１〜４）で構成されている。
サンプリング前において、１回目の仮軌跡データは３つの仮姿勢データＡ１（１〜３）で構成されている。また、２回目の仮軌跡データは４つの仮姿勢データＡ２（１〜４）で構成されている。また、３回目の仮軌跡データは５つの仮姿勢データＡ３（１〜５）で構成されている。
１回目の仮軌跡データに対するサンプリングによって、３つの仮姿勢データＡ１（１〜３）に基づく４つの仮姿勢データＡ１’（１〜４）が生成される。
２回目の仮軌跡データに対するサンプリングによって、４つの仮姿勢データＡ２（１〜４）に基づく４つの仮姿勢データＡ２’（１〜４）が生成される。
３回目の仮軌跡データに対するサンプリングによって、５つの仮姿勢データＡ３（１〜５）に基づく４つの仮姿勢データＡ３’（１〜４）が生成される。
サンプリング後において、１回目の仮軌跡データは４つの仮姿勢データＡ１’（１〜４）で構成されている。また、２回目の仮軌跡データは４つの仮姿勢データＡ２’（１〜４）で構成されている。また、３回目の仮軌跡データは４つの仮姿勢データＡ３’（１〜４）で構成されている。
図１７に戻り、ステップＳ２５４を説明する。
ステップＳ２５４において、動作姿勢生成部２２７は、構成データ数と同じ数の動作姿勢データを生成する。
ステップＳ２５４において、動作姿勢生成部２２７は、構成データ数と同じ数の動作姿勢データを生成する。
動作姿勢生成部２２７は、各時刻の動作姿勢データを以下のように生成する。
動作姿勢生成部２２７は、同じ時刻に対応付けられた複数の仮姿勢データの和を算出する。複数の仮姿勢データの和は、関節毎に関節の位置を識別する座標値に対して行われる。
動作姿勢生成部２２７は、複数の仮姿勢データの和を仮姿勢データの数で割る。これにより、同じ時刻に対応付けられた複数の仮姿勢データの平均が算出される。複数の仮姿勢データの平均が動作姿勢データとなる。
但し、動作姿勢生成部２２７は、複数の仮姿勢データの平均とともに、複数の仮姿勢データの分散を算出してもよい。
動作姿勢生成部２２７は、同じ時刻に対応付けられた複数の仮姿勢データの和を算出する。複数の仮姿勢データの和は、関節毎に関節の位置を識別する座標値に対して行われる。
動作姿勢生成部２２７は、複数の仮姿勢データの和を仮姿勢データの数で割る。これにより、同じ時刻に対応付けられた複数の仮姿勢データの平均が算出される。複数の仮姿勢データの平均が動作姿勢データとなる。
但し、動作姿勢生成部２２７は、複数の仮姿勢データの平均とともに、複数の仮姿勢データの分散を算出してもよい。
図１６に戻り、ステップＳ２６０を説明する。
ステップＳ２６０において、動作登録部２２４は、一連の動作に含まれる動作毎に、２つ以上の時刻と、２つ以上の動作姿勢データと、同じ動作を識別する２つ以上の動作ラベルと、を互いに対応付けて動作データベース２９１に登録する。
ステップＳ２６０において、動作登録部２２４は、一連の動作に含まれる動作毎に、２つ以上の時刻と、２つ以上の動作姿勢データと、同じ動作を識別する２つ以上の動作ラベルと、を互いに対応付けて動作データベース２９１に登録する。
＊＊＊実施の形態２の効果＊＊＊
実施の形態２により、複数回行われる一連の動作に基づいて動作データベース２９１を生成することができる。その結果、動作分析の精度を高めることが可能となる。
実施の形態２により、複数回行われる一連の動作に基づいて動作データベース２９１を生成することができる。その結果、動作分析の精度を高めることが可能となる。
実施の形態３．
学習モデルを利用して動作分析を行う形態について、主に実施の形態１および実施の形態２と異なる点を図１９から図２２に基づいて説明する。
学習モデルを利用して動作分析を行う形態について、主に実施の形態１および実施の形態２と異なる点を図１９から図２２に基づいて説明する。
＊＊＊構成の説明＊＊＊
動作分析システム１００の構成は、実施の形態１における構成（図１および図１１を参照）と同じである。
動作分析システム１００の構成は、実施の形態１における構成（図１および図１１を参照）と同じである。
図１９に基づいて、動作分析装置２００の構成を説明する。
動作分析装置２００は、特定部２１０と学習部２３０といった要素を備える。これらの要素はソフトウェアで実現される。
動作分析プログラムは、特定部２１０と学習部２３０としてコンピュータを機能させる。
動作分析装置２００は、特定部２１０と学習部２３０といった要素を備える。これらの要素はソフトウェアで実現される。
動作分析プログラムは、特定部２１０と学習部２３０としてコンピュータを機能させる。
学習部２３０は、学習モデル２９２を生成する。
記憶部２９０は、学習モデル２９２を記憶する。
学習モデル２９２は、動作軌跡データの入力に対して動作ラベルを出力する。
記憶部２９０は、学習モデル２９２を記憶する。
学習モデル２９２は、動作軌跡データの入力に対して動作ラベルを出力する。
図２０に基づいて、学習部２３０の構成を説明する。
学習部２３０は、動作ラベル受付部２３１と動作画像受付部２３２と動作姿勢検出部２３３と動作学習部２３４といった要素を備える。
学習部２３０は、動作ラベル受付部２３１と動作画像受付部２３２と動作姿勢検出部２３３と動作学習部２３４といった要素を備える。
＊＊＊動作の説明＊＊＊
図２１に基づいて、動作分析方法を説明する。
ステップＳ３１０において、対象画像受付部２１１は、複数の対象画像データを受け付ける。
ステップＳ３１０は、実施の形態１におけるステップＳ１１０（図３参照）と同じである。
図２１に基づいて、動作分析方法を説明する。
ステップＳ３１０において、対象画像受付部２１１は、複数の対象画像データを受け付ける。
ステップＳ３１０は、実施の形態１におけるステップＳ１１０（図３参照）と同じである。
ステップＳ３２０において、対象姿勢検出部２１２は、各対象画像データの対象画像に映る対象者１１１の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する。
これにより、複数の対象画像データに対応する複数の対象姿勢データが得られる。
ステップＳ３２０は、実施の形態１におけるステップＳ１２０（図３参照）と同じである。
これにより、複数の対象画像データに対応する複数の対象姿勢データが得られる。
ステップＳ３２０は、実施の形態１におけるステップＳ１２０（図３参照）と同じである。
ステップＳ３３０において、対象軌跡抽出部２１３は、複数の対象画像データに対応する複数の対象姿勢データから、対象軌跡データを抽出する。
ステップＳ３３０は、実施の形態１におけるステップＳ１３０（図３参照）と同じである。
ステップＳ３３０は、実施の形態１におけるステップＳ１３０（図３参照）と同じである。
ステップＳ３４０において、動作特定部２１４は、対象軌跡データに基づいて、対象者１１１の動作を識別する動作ラベルを得る。
動作ラベルは以下のようにして得られる。
動作特定部２１４は、対象軌跡データを学習モデルに入力する。
学習モデルは、入力された対象軌跡データに合致する学習軌跡データの動作ラベルを出力する。
動作特定部２１４は、学習モデルから動作ラベルを得る。
動作特定部２１４は、対象軌跡データを学習モデルに入力する。
学習モデルは、入力された対象軌跡データに合致する学習軌跡データの動作ラベルを出力する。
動作特定部２１４は、学習モデルから動作ラベルを得る。
ステップＳ３３０およびステップＳ３４０は、撮影時間帯の各撮影時刻に対して実行される。これにより、各撮影時刻に対して動作ラベルが得られる。
ステップＳ３３０およびステップＳ３４０が撮影時間帯の各撮影時刻に対して実行された後、処理はステップＳ３５０に進む。
ステップＳ３３０およびステップＳ３４０が撮影時間帯の各撮影時刻に対して実行された後、処理はステップＳ３５０に進む。
ステップＳ３５０において、結果出力部２１５は結果データを出力する。
ステップＳ３５０は、実施の形態１におけるステップＳ１５０（図３参照）と同じである。
ステップＳ３５０は、実施の形態１におけるステップＳ１５０（図３参照）と同じである。
＊＊＊前処理の説明＊＊＊
図２２に基づいて、学習部２３０による学習処理を説明する。
学習処理によって、学習モデル２９２が生成される。
図２２に基づいて、学習部２３０による学習処理を説明する。
学習処理によって、学習モデル２９２が生成される。
ステップＳ３０１において、動作ラベル受付部２３１は、複数の時刻が付加された複数の動作ラベルを受け付ける。
ステップＳ３０１は、実施の形態１におけるステップＳ１０１（図１３参照）と同じである。
ステップＳ３０１は、実施の形態１におけるステップＳ１０１（図１３参照）と同じである。
ステップＳ３０２において、動作画像受付部２３２は、複数の時刻が付加された複数の動作画像データを受け付ける。
ステップＳ３０２は、実施の形態１におけるステップＳ１０２（図１３参照）と同じである。
ステップＳ３０２は、実施の形態１におけるステップＳ１０２（図１３参照）と同じである。
ステップＳ３０３において、動作姿勢検出部２３３は、各動作画像データの動作画像に映る動作者１１２の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する。
これにより、複数の動作画像データに対応する複数の動作姿勢データが得られる。
ステップＳ３０３は、実施の形態１におけるステップＳ１０３（図１３参照）と同じである。
これにより、複数の動作画像データに対応する複数の動作姿勢データが得られる。
ステップＳ３０３は、実施の形態１におけるステップＳ１０３（図１３参照）と同じである。
ステップＳ３０４において、動作学習部２３４は、各時刻に対して動作姿勢データと動作ラベルとの組を学習データにして学習を行う。
例えば、動作学習部２３４は、既存の機械学習モデルを利用して機械学習を行う。具体的には、動作学習部２３４は、各時刻の学習データを機械学習モデルに入力する。そして、機械学習モデルが、各時刻の学習データに対する機械学習を行う。但し、動作学習部２３４は、他の方法による学習を行ってもよい。
これにより、学習モデル２９２が生成される。なお、学習モデル２９２が存在する場合、学習モデル２９２が更新される。
例えば、動作学習部２３４は、既存の機械学習モデルを利用して機械学習を行う。具体的には、動作学習部２３４は、各時刻の学習データを機械学習モデルに入力する。そして、機械学習モデルが、各時刻の学習データに対する機械学習を行う。但し、動作学習部２３４は、他の方法による学習を行ってもよい。
これにより、学習モデル２９２が生成される。なお、学習モデル２９２が存在する場合、学習モデル２９２が更新される。
＊＊＊実施の形態３の効果＊＊＊
実施の形態３により、学習モデル２９２を利用して動作分析を行うことができる。その結果、動作分析の精度を高めることが可能となる。
実施の形態３により、学習モデル２９２を利用して動作分析を行うことができる。その結果、動作分析の精度を高めることが可能となる。
＊＊＊実施の形態の補足＊＊＊
図２３に基づいて、動作分析装置２００のハードウェア構成を説明する。
動作分析装置２００は処理回路２０９を備える。
処理回路２０９は、特定部２１０と登録部２２０と学習部２３０とを実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
図２３に基づいて、動作分析装置２００のハードウェア構成を説明する。
動作分析装置２００は処理回路２０９を備える。
処理回路２０９は、特定部２１０と登録部２２０と学習部２３０とを実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
動作分析装置２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路２０９の機能を分担する。
処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
このように、動作分析装置２００の各機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
各実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
動作分析装置２００の要素である「部」は、「処理」または「工程」と読み替えてもよい。
動作分析装置２００は、複数の装置で実現されてもよい。
カメラ１０１およびカメラ１０２は、深度センサまたは他のセンサに置き換えてもよい。それらのセンサによって、３次元画像データが得られる。
学習モデル２９２は、ハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの組み合わせで実現されてもよい。
カメラ１０１およびカメラ１０２は、深度センサまたは他のセンサに置き換えてもよい。それらのセンサによって、３次元画像データが得られる。
学習モデル２９２は、ハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの組み合わせで実現されてもよい。
１００ 動作分析システム、１０１ カメラ、１０２ カメラ、１１１ 対象者、１１２ 動作者、１２１ 対象画像データ、１２２ 対象姿勢データ、１２３ 対象軌跡データ、１３１ 動作画像データ、１３２ 動作姿勢データ、１３３ 動作軌跡データ、１３４ 仮姿勢データ群、２００ 動作分析装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 通信装置、２０５ 入出力インタフェース、２０９ 処理回路、２１０ 特定部、２１１ 対象画像受付部、２１２ 対象姿勢検出部、２１３ 対象軌跡抽出部、２１４ 動作特定部、２１５ 結果出力部、２２０ 登録部、２２１ 動作ラベル受付部、２２２ 動作画像受付部、２２３ 動作姿勢検出部、２２４ 動作登録部、２２５ 仮姿勢検出部、２２６ 仮テーブル生成部、２２７ 動作姿勢生成部、２３０ 学習部、２３１ 動作ラベル受付部、２３２ 動作画像受付部、２３３ 動作姿勢検出部、２３４ 動作学習部、２９０ 記憶部、２９１ 動作データベース、２９２ 学習モデル。
Claims (7)
- 一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付部と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出部と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出部と、
前記対象軌跡データに基づいて前記対象者の動作を識別する動作ラベルを動作データベースから得る動作特定部と、
を備え、
前記動作データベースには、複数の時刻と複数の動作姿勢データと複数の動作ラベルが互いに対応付けられ、
各動作ラベルは、動作を識別し、
各動作姿勢データは、対応付けられた動作ラベルで識別される動作を行う人の姿勢の推移を表し、
各動作軌跡データは、２つ以上の動作姿勢データで構成され、
前記対象軌跡抽出部は、前記対象時刻を含む対象時刻群を決定し、前記対象時刻群を構成する２つ以上の撮影時刻に対応する２つ以上の対象姿勢データを前記対象軌跡データとして抽出し、
前記動作特定部は、比較時刻毎に比較時刻を含む比較時刻群を決定し、決定された比較時刻群を構成する２つ以上の比較時刻に対応付けられた２つ以上の動作姿勢データを前記動作データベースから抽出し、抽出された２つ以上の動作姿勢データで構成される動作軌跡データを前記対象軌跡データと比較し、各動作軌跡データと前記対象軌跡データの比較結果に基づいて前記対象軌跡データに合致する前記動作軌跡データを選択し、選択された動作軌跡データに対応する比較時刻に対応付けられた動作ラベルを前記対象軌跡データに合致する動作ラベルとして抽出する
動作分析システム。 - 前記複数の時刻が付加された前記複数の動作ラベルを受け付ける動作ラベル受付部と、
一連の動作を行う動作者を連続して撮影することによって得られて前記複数の時刻が付加された複数の動作画像データを受け付ける動作画像受付部と、
各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する動作姿勢検出部と、
前記複数の時刻と前記複数の動作画像データに対応する前記複数の動作姿勢データと前記複数の動作ラベルとを互いに対応付けて前記動作データベースに登録する動作登録部と、
を備える請求項１に記載の動作分析システム。 - 複数の時刻が付加された複数の動作ラベルである動作ラベル群を複数受け付ける動作ラベル受付部と、
一連の動作を行う動作者を撮影することによって得られて複数の時刻が付加された複数の動作画像データである動作画像データ群を複数受け付ける動作画像受付部と、
受け付けられた動作画像データ群毎に、動作画像データ群の中の各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す仮姿勢データを生成する仮姿勢検出部と、
時刻群と動作画像データ群に対応する仮姿勢データ群と動作ラベル群が互いに対応付けられた仮テーブルを複数生成する仮テーブル生成部と、
前記一連の動作に含まれる動作毎に、同じ動作を識別する２つ以上の動作ラベルに対応付けられた２つ以上の仮姿勢データである仮軌跡データを複数の仮テーブルのそれぞれから抽出し、前記複数の仮テーブルから抽出した複数の仮軌跡データに基づいて２つ以上の時刻に対応する２つ以上の動作姿勢データを生成する動作姿勢生成部と、
前記一連の動作に含まれる動作毎に、２つ以上の時刻と、２つ以上の動作姿勢データと、同じ動作を識別する２つ以上の動作ラベルと、を互いに対応付けて動作データベース２９１に登録する動作登録部と、
を備える請求項１に記載の動作分析システム。 - 一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付部と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出部と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出部と、
人の姿勢の推移を表す動作軌跡データの入力に対して動作を識別する動作ラベルを出力する学習モデルに前記対象軌跡データを入力し、前記対象者の動作を識別する動作ラベルを前記学習モデルから得る動作特定部と、
複数の時刻が付加された複数の動作ラベルを受け付ける動作ラベル受付部と、
一連の動作を行う動作者を連続して撮影することによって得られて前記複数の時刻が付加された複数の動作画像データを受け付ける動作画像受付部と、
各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する動作姿勢検出部と、
各時刻に対して動作姿勢データと動作ラベルとの組を学習データにして学習を行うことによって、前記学習モデルを生成する動作学習部と、
を備える動作分析システム。 - 各対象姿勢データは、前記対象者の複数の関節のそれぞれの位置を示す
請求項１から請求項４のいずれか１項に記載の動作分析システム。 - 一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付処理と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出処理と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出処理と、
前記対象軌跡データに基づいて前記対象者の動作を識別する動作ラベルを動作データベースから得る動作特定処理と、
をコンピュータに実行させるための動作分析プログラムであって、
前記動作データベースには、複数の時刻と複数の動作姿勢データと複数の動作ラベルが互いに対応付けられ、
各動作ラベルは、動作を識別し、
各動作姿勢データは、対応付けられた動作ラベルで識別される動作を行う人の姿勢の推移を表し、
各動作軌跡データは、２つ以上の動作姿勢データで構成され、
前記対象軌跡抽出処理は、前記対象時刻を含む対象時刻群を決定し、前記対象時刻群を構成する２つ以上の撮影時刻に対応する２つ以上の対象姿勢データを前記対象軌跡データとして抽出し、
前記動作特定処理は、比較時刻毎に比較時刻を含む比較時刻群を決定し、決定された比較時刻群を構成する２つ以上の比較時刻に対応付けられた２つ以上の動作姿勢データを前記動作データベースから抽出し、抽出された２つ以上の動作姿勢データで構成される動作軌跡データを前記対象軌跡データと比較し、各動作軌跡データと前記対象軌跡データの比較結果に基づいて前記対象軌跡データに合致する前記動作軌跡データを選択し、選択された動作軌跡データに対応する比較時刻に対応付けられた動作ラベルを前記対象軌跡データに合致する動作ラベルとして抽出する
動作分析プログラム。 - 一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付処理と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出処理と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出処理と、
人の姿勢の推移を表す動作軌跡データの入力に対して動作を識別する動作ラベルを出力する学習モデルに前記対象軌跡データを入力し、前記対象者の動作を識別する動作ラベルを前記学習モデルから得る動作特定処理と、
複数の時刻が付加された複数の動作ラベルを受け付ける動作ラベル受付処理と、
一連の動作を行う動作者を連続して撮影することによって得られて前記複数の時刻が付加された複数の動作画像データを受け付ける動作画像受付処理と、
各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する動作姿勢検出処理と、
各時刻に対して動作姿勢データと動作ラベルとの組を学習データにして学習を行うことによって、前記学習モデルを生成する動作学習処理と、
をコンピュータに実行させるための動作分析プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/051207 WO2021130978A1 (ja) | 2019-12-26 | 2019-12-26 | 動作分析システムおよび動作分析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6786015B1 true JP6786015B1 (ja) | 2020-11-18 |
| JPWO2021130978A1 JPWO2021130978A1 (ja) | 2021-12-23 |
Family
ID=73219985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020528365A Active JP6786015B1 (ja) | 2019-12-26 | 2019-12-26 | 動作分析システムおよび動作分析プログラム |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP6786015B1 (ja) |
| CN (1) | CN114846513A (ja) |
| DE (1) | DE112019007857T5 (ja) |
| TW (1) | TW202125331A (ja) |
| WO (1) | WO2021130978A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023095329A1 (ja) * | 2021-11-29 | 2023-06-01 | 日本電気株式会社 | 動作評価システム、動作評価方法、及び非一時的なコンピュータ可読媒体 |
| WO2023218557A1 (ja) * | 2022-05-11 | 2023-11-16 | 三菱電機株式会社 | 動作分析装置、動作分析方法、動作分析プログラムおよび動作分析システム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012083955A (ja) * | 2010-10-12 | 2012-04-26 | Nippon Telegr & Teleph Corp <Ntt> | 動作モデル学習装置、３次元姿勢推定装置、動作モデル学習方法、３次元姿勢推定方法およびプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099982A (ja) | 2014-11-26 | 2016-05-30 | 日本電信電話株式会社 | 行動認識装置、行動学習装置、方法、及びプログラム |
| US10679044B2 (en) * | 2018-03-23 | 2020-06-09 | Microsoft Technology Licensing, Llc | Human action data set generation in a machine learning system |
| JP6906273B2 (ja) * | 2018-06-19 | 2021-07-21 | Kddi株式会社 | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 |
-
2019
- 2019-12-26 CN CN201980103084.2A patent/CN114846513A/zh active Pending
- 2019-12-26 WO PCT/JP2019/051207 patent/WO2021130978A1/ja active Application Filing
- 2019-12-26 DE DE112019007857.7T patent/DE112019007857T5/de active Pending
- 2019-12-26 JP JP2020528365A patent/JP6786015B1/ja active Active
-
2020
- 2020-05-12 TW TW109115675A patent/TW202125331A/zh unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012083955A (ja) * | 2010-10-12 | 2012-04-26 | Nippon Telegr & Teleph Corp <Ntt> | 動作モデル学習装置、３次元姿勢推定装置、動作モデル学習方法、３次元姿勢推定方法およびプログラム |
Non-Patent Citations (1)
| Title |
|---|
| 藤澤 一暁，外３名: "携帯性を考慮した簡易型作業姿勢診断システムと関節角度に基づく姿勢自動分類手法", ヒューマンインタフェースシンポジウム２００６ CD-ROM論文集, JPN6020025173, 25 September 2006 (2006-09-25), JP, pages 551 - 554, ISSN: 0004305505 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114846513A (zh) | 2022-08-02 |
| JPWO2021130978A1 (ja) | 2021-12-23 |
| TW202125331A (zh) | 2021-07-01 |
| DE112019007857T5 (de) | 2022-08-25 |
| WO2021130978A1 (ja) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6940047B2 (ja) | コンピュータによる鉄筋測定検査システム及び鉄筋測定検査方法 | |
| US10255673B2 (en) | Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis | |
| EP3220353B1 (en) | Image processing apparatus, image processing method, and recording medium | |
| US10860845B2 (en) | Method and system for automatic repetitive step and cycle detection for manual assembly line operations | |
| JP2007233997A (ja) | 顔特徴点検出装置及びその方法 | |
| JP2016091108A (ja) | 人体部位検出システムおよび人体部位検出方法 | |
| JP6786015B1 (ja) | 動作分析システムおよび動作分析プログラム | |
| EP3889588A1 (en) | Inspection assistance device, inspection assistance method, and inspection assistance program for concrete structure | |
| JP2021196705A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2021125003A5 (ja) | ||
| US10600202B2 (en) | Information processing device and method, and program | |
| JP5704909B2 (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
| JP2018036770A (ja) | 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム | |
| JP2020187667A (ja) | 情報処理装置及び情報処理方法 | |
| US20210248357A1 (en) | Image processing method and image processing apparatus | |
| KR20150077184A (ko) | 의료 영상의 병변 유사도 판단 장치 및 방법 | |
| CN111385813B (zh) | 用于重复活动序列中的循环持续时间测量的系统和方法 | |
| JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| JP2007316950A (ja) | 画像処理方法及び装置及びプログラム | |
| JPWO2020111139A1 (ja) | 座標算出装置、座標算出方法、及びプログラム | |
| KR20200002590A (ko) | 검사 결과 제시 장치, 검사 결과 제시 방법 및 검사 결과 제시 프로그램 | |
| US20230326251A1 (en) | Work estimation device, work estimation method, and non-transitory computer readable medium | |
| JP2020201674A (ja) | 映像解析装置及びその制御方法及びプログラム | |
| CN110599456A (zh) | 一种医学图像的特定区域的提取方法 | |
| WO2022230413A1 (ja) | 検出装置、検出装置の制御方法、学習済モデルを生成するモデル生成装置によるモデル生成方法、情報処理プログラム、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200522 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200522 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201027 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6786015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |