JP5715946B2 - 動作解析装置および動作解析方法 - Google Patents

Description

本発明は、標準動作との比較により比較対象動作の解析を行う動作解析装置および動作解析方法に関する。

標準動作との比較により比較対象動作の解析を行う装置や方法が、従来提案されている（例えば非特許文献１および非特許文献２参照）。

非特許文献１に記載の装置は、運転者の身体各部に取り付けた加速度センサを用いた行動計測を行い、独立成分分析と１クラスＳＶＭ（support vector machine）とを用いて、動作解析を行うものである。より具体的には、非特許文献１に記載の装置は、模範的な運転動作から特徴量ベクトル（３３次元）を抽出し、抽出した特徴量ベクトル集合に主成分分析を適用して、無相関化した後に１クラスＳＶＭを用いる。すなわち、非特許文献１に記載の装置は、ＳＶＭの特徴量を用いて、比較対象動作と標準動作との差異を抽出する。

非特許文献２に記載の方法は、映像データの立体高次局所自己相関（ＣＨＬＡＣ）特徴に時間重みを導入した動作評価手法である。非特許文献２に記載の方法は、フーリエ級数展開を用いた連続関数として時間重みを導入したものである。より具体的には、非特許文献２に記載の方法は、フーリエ級数を外的基準で最適化した上で、得られた時間重みを用いて映像特徴を算出し、判別分析または重回帰分析により動作評価を行う。また、非特許文献２に記載の方法は、映像特徴の時間重みを用いて、標準動作と比較対象動作との差異を抽出する。

これらの装置および方法を用いることにより、比較対象動作と標準動作との差異を抽出し、差異の程度が閾値を超えている等の所定の条件を満たす箇所を提示することができる。これにより、ユーザは、提示された箇所を効率良く確認することができる。

特開２００６−７９２７２号公報 特開２００７−３３４７５６号公報

多田昌裕、外５名、「無線加速度センサを用いた運転者行動計測に基づく模範運転動作からの逸脱検出」、電子情報通信学会技術研究報告、Ｖｏｌ.１０７、Ｎｏ.１１４、ｐｐ.１１７−１２２、２００７ 森下雄介、外３名、「時間重みと外的規準を用いた動作評価手法」、電子情報通信学会技術研究報告、Ｖｏｌ.１０７、Ｎｏ.５３９、ｐｐ.４７−５２、２００８ 篠原雄介、大津展之、「フィッシャー重みマップを用いた顔画像からの表情認識」、電子情報通信学会研究報告、Ｖｏｌ.１０３、Ｎｏ.７３７、ｐｐ.７９−８４、２００４

ところで、解析対象となる動作の種類や時間長さ、解析結果を確認するユーザの状況や解析に求められる精度等に応じて、適切な解析結果の提示量は異なる。提示される箇所の
個数や提示対象となる時間が過多である場合には、提示内容は煩雑となり、確認に時間と手間を要する。一方、提示される箇所の個数や提示対象となる時間が過少である場合には、必要な解析結果を十分に得ることができない。また、適切な解析結果の提示量は、解析対象やユーザが同一であっても、状況に応じて異なる場合がある。したがって、解析結果の提示量は、ユーザが容易に調整可能であることが望ましい。

本発明の目的は、解析結果の提示量を容易に調整することができる動作解析装置および動作解析方法を提供することである。

本発明の一態様に係る動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作と前記標準動作との差異の程度が、所定の条件を満たす箇所を判定する動作差異抽出部と、前記所定の条件を満たす箇所の提示量の指定を受け付ける提示量入力部と、前記所定の条件を満たす箇所の量が前記指定された提示量となるように、前記所定の条件を調整する動作抽出度調整部とを有する。

本発明の一態様に係る動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記解析の結果の提示量の指定を受け付けるステップと、前記比較対象動作と前記標準動作との差異の程度が所定の条件を満たす箇所を判定するステップと、前記所定の条件を満たす箇所の量が指定された提示量と異なるとき、前記所定の条件を調整するステップとを有する。

本発明によれば、解析結果の提示量を容易に調整することができる。

本発明の実施の形態１に係る動作解析システムの構成の一例を示すシステム構成図 本実施の形態１に係る動作解析装置の構成の一例を示すブロック図 本実施の形態１に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態１に係る動作解析装置における情報の流れの一例を示す図 本実施の形態１における結果表示画面の一例を示す図 本実施の形態１の変形例１に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態１の変形例１に係る動作解析装置における情報の流れの一例を示す図 本発明の実施の形態２に係る動作解析装置の構成の一例を示すブロック図 本実施の形態２に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態２に係る動作解析装置における情報の流れの一例を示す図 本実施の形態２における動作抽出結果表示画面の一例を示す図 本発明の実施の形態３に係る動作解析装置の構成の一例を示すブロック図 本実施の形態３に係る動作解析装置の動作の一例を示すフローチャート 本発明の実施の形態４に係る動作解析装置の構成の一例を示すブロック図 本実施の形態４に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態４に係る動作解析装置における情報の流れの一例を示す図 本発明の実施の形態５に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図 本実施の形態５における画像特徴量の算出方法の一例を示す図 本実施の形態５に係る動作解析装置の構成の一例を示すブロック図 本実施の形態５に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態５において想定する標準動作の映像および比較対象動作の映像を示す図 本実施の形態５において想定する標準動作および比較対象動作の内容と、その場合の時間重みマップの一例とを示す図 本実施の形態５における各時刻の時間重みの一例を示す図 本実施の形態５における位置重みの分布（位置重みマップ）の一例を示す図 本実施の形態５において結果表示画面の一例を示す図 本実施の形態５において結果表示画面に含まれる３次元グラフの一例を示す図 本発明の実施の形態６に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図 本実施の形態６に係る動作解析装置の構成の一例を示すブロック図 本実施の形態６に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態６において想定する標準動作の映像および比較対象動作の映像を示す図 本実施の形態６において想定する標準動作および比較対象動作の内容と、その場合の時間重みマップの一例とを示す図 本実施の形態６における各時刻の位置重みの分布（位置重みマップ）の一例を示す図 本実施の形態６において結果表示画面の一例を示す図 本実施の形態６において結果表示画面に含まれる３次元グラフの一例を示す図 本実施の形態７に係る動作解析装置の構成の一例を示すブロック図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態において同一の部分には同一の符号を付し、対応する部分には添え字違いの符号を付す。

（実施の形態１）
図１は、本発明の実施の形態１に係る動作解析システムの構成の一例を示すシステム構成図である。

本実施の形態は、本発明を、熟練作業者と一般作業者とが働く工場において各一般作業者の動作を解析するための動作解析システムに適用した例として説明する。作業者の動作は、例えば、部品を手に取り、製品本体に載せ、ネジ留めをし、シールを貼るといった、複数の単位動作からなる一連の動作である。より具体的には、本実施の形態に係る動作解析システムは、ある作業工程に従事する熟練作業者の姿を撮影し、同じ撮影アングルで同一の作業工程に従事するときの各一般作業者の姿を撮影して、各一般作業者の動作の解析を行うものである。以下、上述の一般的な単位動作と、動作解析システム１００によって１つの逸脱動作として抽出される単位とを、「動作」と総称する。

図１において、動作解析システム１００は、センサ装置２００、本実施の形態に係る動作解析装置３００、出力装置４００、入力装置５００を有する。

センサ装置２００は、人の動作を検出する装置である。センサ装置２００は、作業者の動作を計測したデータを、動作解析装置３００へ出力する。ここでは、センサ装置２００は、撮影した画像の画像フレームデータ（動画像データ）をリアルタイムに出力するカメラであり、工場の組み立てラインに並んで作業する各作業者を個別に撮影可能であるものとする。

以下、熟練作業者による一連の標準動作を撮影した動作データを「標準動作データ」と
いい、一般対象者による一連の比較対象動作を撮影した動作データを「比較対象動作データ」という。また、標準動作データおよび解析対象データは、適宜「動作データ」と総称する。

動作解析装置３００は、標準動作との比較により比較対象動作の解析を行う装置である。動作解析装置３００は、比較対象動作と標準動作との差異の程度が所定の条件を満たす箇所を抽出し、抽出した箇所を提示する画面（以下「結果表示画面」という）を生成し、生成した結果標示画面を出力装置４００へ出力する。本実施の形態の動作解析装置３００は、比較対象動作が、標準動作と大きく異なる動作（以下「逸脱動作」という）の箇所（以下「逸脱動作箇所」という）を、提示するものとする。

動作解析装置３００は、ここでは、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体、動画像データを取り込むためのビデオキャプチャ回路を有するコンピュータであるものとする。すなわち、動作解析装置３００は、記憶する制御プログラムをＣＰＵが実行することによって動作する。

出力装置４００は、動作解析装置３００から入力される結果表示画面のデータを出力する。ここでは、出力装置４００は、液晶ディスプレイを有するモニタであるものとする。なお、出力装置４００は、遠隔地に配置された装置（遠隔監視装置、携帯電話機等）であっても良い。この場合、出力装置４００は、例えば、インターネット等のネットワークを介して動作解析装置３００と接続される。

入力装置５００は、ユーザが動作解析装置３００を操作するためのインタフェースである。ここでは、入力装置５００は、例えば、ポインティングデバイスとしてのマウスと、キーボードである。

このような動作解析システム１００は、比較対象動作から逸脱動作として検出された箇所を、結果表示画面を介してユーザに提示することができる。したがって、ユーザは、提示された箇所のみを確認して、比較対象動作を効率良く解析することができる。

次に、動作解析装置３００の構成について説明する。

図２は、動作解析装置３００の構成の一例を示すブロック図である。

図２において、動作解析装置３００は、動作データ入力部３１０、動作特徴抽出部３２１、動作抽出部３２２、提示量入力部３２３、動作抽出度調整部３２４、および動作抽出結果提示部３２５を有する。動作特徴抽出部３２１および動作抽出部３２２は、本発明に係る動作差異抽出部に対応する。

動作データ入力部３１０は、動作特徴抽出部３２１からの要求に応じて、センサ装置２００から動作データを取得し、動作特徴抽出部３２１へ転送する。動作データの転送は、リアルタイムで行われても良いし、動作データを格納してから行われても良い。また、動作データ入力部３１０は、センサ装置２００から入力する動作データを、入力装置５００のユーザ操作を受けて、入力時または入力後に標準動作データと比較対象動作データとのいずれかに分類する。動作データ入力部３１０は、一旦入力した標準動作データを、再使用のために格納しておいても良い。

動作特徴抽出部３２１は、動作データ入力部３１０から入力された動作データから、所定のパラメータ（第１のパラメータ）を用いて、動作データから動作の特徴を示す特徴量（以下単に「特徴量」という）を抽出する。そして、動作特徴抽出部３２１は、抽出した
特徴量を、動作抽出部３２２へ出力する。

以下、標準動作データから抽出された特徴量を、適宜「標準動作特徴量」といい、比較対象動作データから抽出された特徴量を、適宜「比較対象動作特徴量」という。

ここでは、特徴量は、非特許文献２に開示されているＣＨＬＡＣ特徴とする。ＣＨＬＡＣ特徴は、２次元画像データからの特徴抽出である高次局所自己相関（ＨＬＡＣ）特徴を、時間軸も加えて３次元に拡張したものであり、画像の平面空間に時間軸を加えた３次元座標系における動きの特徴を示す特徴ベクトルである。特徴量抽出に用いられるパラメータの値は、初期状態では予め定められた初期値が設定され、その後、動作抽出度調整部３２４によって適宜調整される。

動作抽出部３２２は、動作特徴抽出部３２１から入力された標準動作特徴量および比較対象動作特徴量から、所定のパラメータ（第２のパラメータ）を用いて、比較対象動作と標準動作との差異を抽出する。そして、動作抽出部３２２は、抽出された差異が、所定のパラメータ（第３のパラメータ）により定まる条件を満たす箇所を抽出し、抽出結果を、動作抽出度調整部３２４へ出力する。抽出結果は、抽出された箇所（以下「抽出箇所」という）と、所定のカウント基準による抽出箇所の個数（以下「抽出数」という）とを含む。抽出箇所が区間である場合には、抽出結果は、その区間の開始時刻および終了時刻を含む。

ここで、以下、動作特徴抽出部３２１が特徴量抽出に用いるパラメータを、適宜「特徴抽出パラメータ」と総称する。また、動作抽出部３２２が動作抽出に用いるパラメータを、適宜「動作抽出パラメータ」と総称する。特徴抽出パラメータの種類には、ＣＨＬＡＣ特徴抽出のための画像サイズやフレームレートや窓サイズ、主成分分析の主成分分析の累積寄与度、フーリエ級数の基底関数の数、最小二乗基準の変回帰係数、およびｋ−ｎｎ法（ｋ近傍法、k-nearest neighbor algorithm）のｋの値が含まれる。また、動作抽出パラメータの種類には、動作の継続時間や後述する距離閾値が含まれる。

提示量入力部３２３は、入力装置５００を介して、ユーザに提示する抽出箇所の個数（抽出結果の提示量）の指定を受け付け、指定された個数（以下「目標抽出数」という）を、動作抽出度調整部３２４へ出力する。

動作抽出度調整部３２４は、抽出数が目標抽出数と一致しないとき、一致するように、動作特徴抽出部３２１の特徴抽出パラメータを調整して動作特徴抽出部３２１に対して特徴量の再抽出を指示する。そして、動作抽出度調整部３２４は、抽出数が目標抽出数と一致すると、抽出結果を動作抽出結果提示部３２５へ出力する。すなわち、動作抽出度調整部３２４は、抽出数が目標抽出数と一致するまで、特徴抽出パラメータを変化させながら、動作特徴抽出部３２１および動作抽出部３２２に対して処理を繰り返させる。

動作抽出結果提示部３２５は、動作抽出度調整部３２４から入力された抽出結果を提示する結果表示画面を生成し、出力装置４００を介して表示する。

このような構成を有する動作解析装置３００は、解析結果として、ユーザから指定された目標抽出数で、逸脱動作箇所をユーザに提示することができる。したがって、ユーザは、特徴量抽出や動作抽出に用いられる各パラメータを個別に調整することなく、目標抽出数の入力という簡単な手法により、逸脱動作箇所の提示量を調整することができる。

以下、動作解析装置３００の動作について説明する。

図３は、動作解析装置３００の動作の一例を示すフローチャートである。図４は、動作解析装置３００における情報の流れの一例を示す図である。

まず、ユーザは、例えば、対象の動作を含む作業の担当を、休み時間を挟んで熟練作業者と一般作業者とで交代して貰い、それぞれの動作を撮影するように、動作解析装置３００を操作する。このようにすることで、動作評価のための時間を特に必要とすることなく作業者にも負荷をかけないため、工場の生産性に影響を与えることなく動作解析のためのデータ取得を行うことができる。

この結果、動作データ入力部３１０は、標準動作データと比較対象動作データとを入力し、入力した標準動作データおよび比較対象動作データを動作特徴抽出部３２１へ出力する。動作データ入力部３１０は、１回の解析処理につき、一人または複数の人から複数の標準動作データを取得しても良いし、一人または複数の人から複数の比較対象動作データを取得しても良い。また、動作データ入力部３１０は、過去に入力した標準動作データを格納している場合には、その標準動作データを動作特徴抽出部３２１へ出力しても良い。

まず、ステップＳ１１００において、動作抽出度調整部３２４は、提示量入力部３２３を介して、目標抽出数（以下、記号Ｂを適宜用いる）を入力する。具体的には、例えば、動作抽出度調整部３２４から指示を受けた提示量入力部３２３が、目標抽出数の入力を促す画面を出力装置４００に表示する。そして、提示量入力部３２３は、対応して入力装置５００を介して入力された数値を、目標抽出数Ｂとして動作抽出度調整部３２４に返す。

なお、動作抽出度調整部３２４は、前回の目標抽出数を使用する場合には、提示量入力部３２３を介した目標抽出数の入力を必ずしも行わなくて良い。また、この場合、動作抽出度調整部３２４は、前回の目標抽出数を使用するか否かを、提示量入力部３２３を介してユーザに問い合わせたり、設定された回数だけ同じ目標抽出数で処理を繰り返したか否かに基づいて判断しても良い。

そして、ステップＳ１２００において、動作特徴抽出部３２１は、１つまたは複数の標準動作データから、フレーム毎に標準動作特徴量を抽出し、抽出した一連の標準動作特徴量から、標準動作部分空間を求める。標準動作特徴量は、上述の通りここではＣＨＬＡＣ特徴である。標準動作部分空間とは、標準動作を定義する空間である。

動作特徴抽出部３２１は、例えば、以下の式（１）に示すＮ次自己相関関数を用いて、ＣＨＬＡＣ特徴ｘを算出する。

ここで、ｆは時系列画像であり、変数ｒおよびＮ個の変数ａ_ｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。

ＣＨＬＡＣ特徴の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、ＣＨＬＡＣ特徴は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。

また、動作特徴抽出部３２１は、例えば、一連の標準動作特徴量に対して主成分分析を行い、主成分ベクトルを求める。そして、動作特徴抽出部３２１は、その主成分ベクトルを、標準動作部分空間として取得する。なお、ＣＨＬＡＣ特徴および標準動作部分空間の算出手法の詳細は、例えば特許文献１に記載されている。

ＣＨＬＡＣ特徴は、その積分範囲において、標準動作特徴量の算出に用いられた標準動作と同じ動作のみが行われた場合、標準動作部分空間に収まる。また、ＣＨＬＡＣ特徴は、その積分範囲において、１つでも標準動作と異なる動作が行われた場合、標準動作部分空間から離れた値となる。また、ＣＨＬＡＣ特徴は、標準動作と異なる動作が、より大きく異なるほど、また、より長い時間行われるほど、標準動作部分空間からより大きく離れた値となる。したがって、動作解析装置３００は、標準動作に対する動作の非類似の度合いが、特徴量の標準動作部分空間からの距離の大きさとほぼ比例関係にあることを利用して、動作解析を行う。ここで、ある特徴量の標準動作部分空間からの距離（以下、適宜「距離」という）とは、例えば、その特徴量の、標準動作部分空間への射影子とそれに対する直交補空間への射影子から求める直交補空間での垂直距離である。ＣＨＬＡＣ特徴は、動作における各部の動きの方向の総和による影響を強く受けるため、ある時点の動作における各部（例えば手）の動きの向きの総和一致性を評価するのに適している。

なお、動作特徴抽出部３２１は、過去に算出した標準動作部分空間を格納している場合には、新たに算出を行わなくても良い。

そして、ステップＳ１３００において、動作特徴抽出部３２１は、比較対象動作データから、フレーム毎で比較対象動作特徴量を抽出し、抽出した一連の比較対象動作特徴量のそれぞれの、標準動作部分空間との距離を求める。そして、動作特徴抽出部３２１は、求めた距離を、動作抽出部３２２へ出力する。

そして、ステップＳ１４００において、動作抽出部３２２は、標準動作部分空間との距離に基づいて、逸脱動作を抽出し、その抽出数（以下、記号Ａを適宜用いる）をカウントして、動作抽出度調整部３２４へ出力する。

より具体的には、まず、動作抽出部３２２は、比較対象動作データのうち、動作抽出パラメータにより定義される条件を満たす部分を、１つの逸脱動作箇所として抽出する。そして、動作抽出部３２２は、抽出された逸脱動作箇所を、抽出数Ａとしてカウントする。

動作抽出パラメータにより定義される条件は、例えば、距離が所定の距離閾値よりも大きい状態が続き、その継続時間が所定の連続最小時間以上かつ所定の連続最長時間以下であることである。所定の距離閾値は、例えば、比較対象動作データ全体の各フレームについて求められた距離の最大値の６０％である。所定の連続最小時間は、例えば、０.３秒である。所定の連続最小時間は、例えば、比較対象動作データの長さ（複数の場合には平均長さ）の２５％である。

このような条件を適用することにより、動作抽出部３２２は、検出ノイズや微小な逸脱動作、背景の動き等の比較対象とすべきではない動作等を、逸脱動作として扱わず、適切な逸脱動作のみを抽出することができる。

そして、ステップＳ１５００において、動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂに等しいか否かを判断する。動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂに等しくない場合には（Ｓ１５００：ＮＯ）、ステップＳ１６００へ進む。

ステップＳ１６００において、動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂよりも大きいか否かを判断する。動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂよりも大きい場合には（Ｓ１６００：ＹＥＳ）、ステップＳ１７００へ進み、大きくない場合には（Ｓ１６００：ＮＯ）、ステップＳ１８００へ進む。

ステップＳ１７００において、動作抽出度調整部３２４は、抽出数Ａが減少する方向に、動作特徴抽出部３２１の特徴抽出パラメータを修正して、ステップＳ１２００へ戻り、動作特徴抽出部３２１に対して特徴量の再抽出を指示する。

例えば、動作抽出度調整部３２４は、大まかな特徴量に基づいて比較対象動作と標準動作との差異が検出されるように、特徴抽出パラメータを調整する。つまり、動作抽出度調整部３２４は、大きい動作において大きい差異が現れた箇所が検出されるように、パラメータ調整ルールに基づいて特徴抽出パラメータを調整する。ここで、大きい動作とは、ある瞬間において比較的多数の画素に変化をもたらし、周期が長い動作であり、大まかな特徴量とは、このような動作から顕著に抽出される特徴量である。この場合、行われるパラメータ修正は、例えば、抽出対象となる動作データの解像度をより荒くする、フレームレートの間隔をより広くする、ＣＨＬＡＣマスクパターンの参照点からの画素間隔をより広くする等である。また、他のパラメータ修正は、例えば、主成分分析の主成分分析の累積寄与度をより小さくする、抽出の際の窓サイズをより大きくする等である。

パラメータ調整ルールは、抽出数Ａを減少させる場合と増大させる場合のそれぞれについて、どのパラメータをどのように変化させるかを規定する。動作解析装置３００は、パラメータ調整ルールを、動作特徴抽出部３２１または動作抽出度調整部３２４に格納している。パラメータ調整ルールは、経験測、実験、学習等に基づいて定められたものであり、動作解析装置３００に予め格納されていても良いし、必要に応じてネットワーク等を介して外部から取得されても良い。

抽出数Ａを減少させるためのパラメータ調整ルールは、より大きな特徴を抽出するために、次のように特徴抽出パラメータを調整する内容である。例えば、パラメータ調整ルールは、解像度を５％下げて荒くし、フレームレートを２倍に長くし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２倍にし、主成分分析の累積寄与度を１％下げ、窓サイズを５増加させる内容である。この場合、パラメータ調整ルールは、予め定められた記述方式に従って、例えば、Ａ＞Ｂ：ｒ＝―５；ｆｓ＝ｘ２；ｐｓ＝ｘ２；ａｃｒ＝−１；ｗｓ＝＋５と記述される。なお、動作抽出度調整部３２４は、パラメータ調整ルールに複数のパラメータについての変化が記述されている場合、１回の修正で全てのパラメータの値を変化させるのではなく、複数回に分散して複数のパラメータの値を変化させても良い。

この結果、抽出数Ａは減少し、動作抽出度調整部３２４は、再び抽出数Ａと目標抽出数Ｂとの比較を行う（Ｓ１５００）。

一方、ステップＳ１８００において、動作抽出度調整部３２４は、抽出数Ａが増大する方向に特徴抽出パラメータを修正して、ステップＳ１２００へ戻り、動作特徴抽出部３２１に対して特徴量の再抽出を指示する。

例えば、動作抽出度調整部３２４は、細かい特徴量に基づいて比較対象動作と標準動作との差異が検出されるように、つまり、小さい動作において大きい差異が現れた箇所が検出されるように、特徴抽出パラメータを修正する。ここで、小さい動作とは、ある瞬間において、大きな動作よりも少ないが、一定量以上の画素に変化をもたらし、周期が短い動作であり、細かい特徴量とは、このような動作から顕著に抽出される特徴量である。例えば、大きな動作の例は腕を振りおろすといった動きであり、小さな動作の例は人差し指を
とんとん上下するといった動きである。大きな動作の方は、小さな動作と比較すると、より多くの画素に変化を与え、動作にかかる時間が長い場合が多い。

この場合、行われるパラメータ修正は、例えば、抽出対象となる動作データの解像度をより細かくする、フレームレートの間隔をより狭くする、ＣＨＬＡＣマスクパターンの参照点からの画素間隔をより狭くする等である。また、他のパラメータ修正は、例えば、主成分分析の主成分分析の累積寄与度をより大きくする、抽出の際の窓サイズをより小さくする等である。

抽出数Ａを増大させるためのパラメータ調整ルールは、より小さな特徴を抽出するために、次のように特徴抽出パラメータを調整する内容である。例えば、パラメータ調整ルールは、解像度を５％増加させて細かくし、フレームレートを０.５倍にして短くし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を０.５倍にし、主成分分析の累積寄与度を１％上げ、窓サイズを５減少させる内容である。この場合、パラメータ調整ルールは、予め定められた記述方式に従って、例えば、Ａ＜Ｂ：ｒ＝＋５；ｆｓ＝ｘ０.５；ｐｓ＝ｘ０.５；ａｃｒ＝＋１；ｗｓ＝−５と記述される。

この結果、抽出数Ａは増大し、動作抽出度調整部３２４は、再び抽出数Ａと目標抽出数Ｂとの比較を行う（Ｓ１５００）。すなわち、抽出数Ａが目標抽出数Ｂに一致するまで、ステップＳ１２００〜Ｓ１８００の処理が繰り返される。

そして、動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂに等しい場合には（Ｓ１５００：ＹＥＳ）、抽出結果を動作抽出結果提示部３２５へ出力し、ステップＳ１９００へ進む。

ステップＳ１９００において、動作抽出結果提示部３２５は、抽出結果を提示する結果表示画面を生成し、出力装置４００に表示させる。

図５は、結果表示画面の一例を示す図である。図５は、逸脱動作箇所として抽出される条件が、比較対象特徴量の標準動作部分空間に対する距離が所定の距離閾値よりも高いことであり、目標抽出数Ｂが、２である場合の例である。

図５に示すように、結果表示画面６１０は、解析結果表示領域６１１、再生ボタン６１２、比較対象動作表示領域６１３、一時停止ボタン６１４、終了ボタン６１５、および標準動作表示領域６１６を有する。

結果表示画面６１０は、解析結果表示領域６１１に、比較対象特徴量の標準動作部分空間に対する距離の時系列データ６１７と、所定の距離閾値を示す閾値表示線６１８と、抽出箇所を示すマーカ６１９とを表示する。また、動作抽出結果提示部３２５は、入力装置５００から左右に移動操作可能な、再生箇所表示線６２０を表示する。

動作抽出結果提示部３２５は、再生ボタン６１２がクリックされると、比較対象動作の撮影画像を比較対象動作表示領域６１３で再生すると共に、再生箇所表示線６２０を、再生に合わせて移動させる。また、動作抽出結果提示部３２５は、画像の再生中に一時停止ボタン６１４がクリックされると、画像の再生を一時的に停止する。また、標準動作表示領域６１６は、比較対象動作表示領域６１３における比較対象動作の撮影画像の再生と同期して、標準動作の撮影画像を再生する。

このような結果表示画面６１０により、ユーザは、再生箇所表示線６２０をマーカ６１９部分に移動させて再生ボタン６１２をクリックすることにより、逸脱動作の映像を素早
くピックアップして確認することができる。また、指定した数で逸脱動作箇所がピックアップされるので、ユーザは自己の望む量の解析結果の提示を受けることができる。また、ユーザは、比較対象動作と標準動作とを視覚的に比較することができる。

なお、結果表示画面６１０は、標準動作データの画像と比較対象動作データ画像とを、同時に、または切り換えて表示しても良い。また、結果表示画面６１０は、動作に関連する他のデータ、例えば、動作データの撮影日時や比較対象物の加速度データや音声を、併せて出力しても良い。また、結果表示画面６１０は、ＣＨＬＡＣ特徴が用いられている場合には、（主成分分析した）ＣＨＬＡＣの値を、併せて出力しても良い。また、結果表示画面６１０は、加速度に基づく特徴量が用いられている場合には加速度データを、音声に基づく特徴量が用いられている場合には音声データを、併せて出力しても良い。結果表示画面６１０は、これらの高次の特徴量が用いられている場合、時系列の高次の特徴量を主成分分析して３次に次元削減して得られる値を、３次元トラジェクトリによって表示させても良い。ここで、結果表示画面６１０は、映像の再生時に、再生と同期させて、出力した３次元トラジェクトリ上の対応する値を、ハイライト表示するようにしても良い。

そして、ステップＳ２０００において、動作解析装置３００は、ユーザ操作等により解析処理の終了を指示されたか否かを判断する。動作解析装置３００は、解析処理の終了を指示されない場合には（Ｓ２０００：ＹＥＳ）、ステップＳ１１００へ戻り、解析処理の終了を指示された場合には（Ｓ２０００：ＮＯ）、一連の動作を終了する。

このような動作により、動作解析装置３００は、実際の抽出数がユーザによって指定された目標抽出数に一致するように特徴抽出パラメータを調整し、抽出数が目標抽出数に一致したときに、抽出結果をユーザに提示することができる。

なお、動作抽出度調整部３２４は、抽出数が増大する方向でパラメータを修正する場合に、それまでの抽出結果を提示対象に残しても良い。

具体的には、動作抽出度調整部３２４は、まず、パラメータ修正を行う毎に、そのパラメータ修正の前の抽出箇所（以下「修正前抽出箇所」という）と、そのパラメータ修正の後の抽出箇所（以下「修正後抽出箇所」という）とを比較する。そして、動作抽出度調整部３２４は、修正前抽出箇所に、修正後抽出箇所のうち修正前抽出箇所のいずれにも包含されないもの（以下「新規抽出箇所」という）を追加する形で、提示対象を増やしていく。そして、動作抽出度調整部３２４は、提示対象の抽出箇所の個数が目標抽出数に到達すると、ステップＳ１９００へ進む。

すなわち、動作抽出度調整部３２４は、修正前抽出箇所の個数（Ａ_ｏｌｄ）と新規抽出箇所の個数（Ａ_ｎｅｗ）との和（Ａ_ｓｕｍ＝Ａ_ｏｌｄ＋Ａ_ｎｅｗ）を、目標抽出数（Ｂ）と比較する。そして、動作抽出度調整部３２４は、目標抽出数（Ｂ）よりも抽出箇所の個数の和（Ａ_ｓｕｍ）が小さい間は（Ａ_ｓｕｍ＜Ｂ）、抽出数が増大する方向のパラメータ修正を繰り返す。そして、動作抽出度調整部３２４は、抽出箇所の和（Ａ_ｓｕｍ）が目標抽出数（Ｂ）以上となった時点で（Ａ_ｓｕｍ≧Ｂ）、最初に抽出された箇所と新規抽出箇所とを、抽出結果として採用し、ステップＳ１９００へ進む。

これにより、一旦抽出された逸脱動作箇所を、抽出数が増大する方向でパラメータが修正される過程において抽出対象外となるのを防ぐことができる。

また、動作抽出度調整部３２４は、パラメータ修正の回数が予め定められた上限値に到達したとき、抽出数Ａが目標抽出数Ｂに等しいとみなして、ステップＳ１９００へ進んでも良い。

また、動作抽出度調整部３２４は、目標抽出数Ｂよりも大きかった抽出数Ａが、パラメータ修正の結果目標抽出数Ｂよりも小さくなった場合には、抽出数Ａが目標抽出数Ｂに等しいとみなして、ステップＳ１９００へ進んでも良い。

また、動作抽出度調整部３２４は、目標抽出数Ｂよりも小さかった抽出数Ａが、パラメータ修正の結果目標抽出数Ｂよりも大きくなった場合には、抽出数Ａが目標抽出数Ｂに等しいとみなして、ステップＳ１９００へ進んでも良い。

また、動作抽出度調整部３２４は、抽出数Ａの目標抽出数Ｂとの数の差が最も小さくなるときの抽出結果を選択し、ステップＳ１９００へ進んでも良い。

これらの処理を採用することにより、ステップＳ１２００〜Ｓ１８００が長時間繰り返されて抽出結果がいつまでも表示されないといった事態を防ぐことができる。

また、動作抽出度調整部３２４は、目標抽出数Ｂよりも大きかった抽出数Ａが、パラメータ修正の結果、目標抽出数Ｂよりも小さく、修正前の個数（Ａ_ｏｌｄ）と目標抽出数Ｂとの差が所定の閾値以下となった場合、次の処理を行っても良い。

動作抽出度調整部３２４は、修正前抽出箇所を、動作の面積が大きいものから順に、目標抽出数Ｂに一致する個数まで選択し、選択した抽出箇所で確定して、ステップＳ１９００へ進む。ここで、動作の面積とは、抽出箇所の距離のうち距離閾値を超える部分の時間積分である。ここで、時刻ｔについて抽出された距離をｄ（ｔ）、距離閾値をｐ、抽出箇所の開始時間および終了時刻をｔ１、ｔ２とすると、動作の面積Ｓは、以下の式（２）で表される値とする。

また、動作抽出度調整部３２４は、目標抽出数Ｂよりも小さかった抽出数Ａが、パラメータ修正の結果目標抽出数Ｂよりも大きくなった場合に、以下の処理を行っても良い。

動作抽出度調整部３２４は、修正前抽出箇所を、動作の面積が大きいものから順に、目標抽出数から修正前抽出箇所の個数を引いた個数（Ｂ−Ａ_ｏｌｄ）だけ抽出する。次に、動作抽出度調整部３２４は、その抽出箇所を、新規抽出箇所とし、その個数を、新規抽出箇所の個数（Ａ_ｎｅｗ）とする。そして、動作抽出度調整部３２４は、修正前抽出箇所と新規抽出箇所とを、抽出結果として確定し、ステップＳ１９００へ進む。修正前抽出箇所の個数と新規抽出箇所の個数との和（Ａ_ｏｌｄ＋Ａ_ｎｅｗ）は、目標抽出数（Ｂ）に一致する。

また、動作抽出度調整部３２４は、パラメータ修正の回数が上限値に到達した場合、目標抽出数Ｂに最も近い抽出数Ａを得たときの抽出箇所を、動作の面積が大きい順に目標抽出数Ｂの範囲内で選択し、ステップＳ１９００へ進んでも良い。

これらの処理を採用することにより、本実施の形態に係る動作解析装置３００は、標準動作とは異なるものの、継続時間が短く、逸脱動作として扱うべきではないような動作が抽出されるのを防ぐことができる。すなわち、本実施の形態に係る動作解析装置３００は、動作の継続時間を考慮して、逸脱動作の抽出を行うことができる。

また、動作抽出度調整部３２４は、目標抽出数の入力を、動作解析装置３００が動作データを入力するときや、その後など、他のタイミングで行っても良い。

以上説明したように、本実施の形態に係る動作解析装置３００は、比較対象動作と標準動作との差異の程度が所定の条件を満たす箇所の数が、ユーザが指定した目標抽出数に一致するように、所定の条件を調整する。すなわち、動作解析装置３００は、逸脱動作として提示する箇所の数を、ユーザの指定値の通りとする。これにより、動作解析装置３００は、細かなパラメータ調整をせずに解析結果の提示量を調整することができ、動作解析の詳細なアルゴリズムを理解していないユーザに対しても、所望の解析レベルで解析結果を容易に得ることを可能にする。

また、本実施の形態に係る動作解析装置３００は、動作解析のアルゴリズムにかかわるパラメータ設定の手動での調整は不要であるため、解析対象となる単位動作の数が多いような場合にも適している。また、本実施の形態に係る動作解析装置３００は、パラメータの種類が膨大で、各パラメータの解析結果に対する影響の仕方も複雑な場合に有効であり、熟練を要するパラメータ調整作業を不要とし、手間と時間と軽減することができる。

また、本実施の形態に係る動作解析装置３００は、目標抽出数が変わっても、動作解析のアルゴリズムにかかわるパラメータ設定の手動での調整は不要であるため、求められる解析レベルが頻繁に変化するような場合に適している。

また、本実施の形態に係る動作解析装置３００は、特徴抽出パラメータを調整するので、抽出対象となる動作の種類を考慮した、きめ細かな抽出対象の調整を行うことができる。

なお、本発明は、以上説明した実施の形態１以外の様々な実施態様に適用可能である。以下、本発明の他の実施態様を、実施の形態１の変形例として説明する。

（実施の形態１の変形例１）
実施の形態１の変形例１は、動作抽出度調整部３２４が、動作特徴抽出部３２１の特徴抽出パラメータではなく、動作抽出部３２２の動作抽出パラメータを修正する例である。

図６は、本変形例に係る動作解析装置３００の動作の一例を示すフローチャートであり、図３に対応するものである。図７は、本変形例に係る動作解析装置３００における情報の流れの一例を示す図であり、図４に対応するものである。図３および図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。

本変形例に係る動作解析装置３００の動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂより大きい場合は（Ｓ１６００：ＹＥＳ）、ステップＳ１７００ａへ進み、大きくない場合には（Ｓ１６００：ＮＯ）、ステップＳ１８００ａへ進む。

ステップＳ１７００ａにおいて、動作抽出度調整部３２４は、抽出数Ａが減少する方向に、動作抽出部３２２の動作抽出パラメータを修正して、ステップＳ１４００へ戻り、動作抽出部３２２に対して動作の再抽出を指示する。

例えば、動作抽出部３２２が動作を抽出する条件が上述の距離閾値、連続最小時間、および連続最長時間で定義される条件である場合を想定する。この場合、抽出数Ａを減少させるためのパラメータ調整ルールは、例えば、距離閾値を１０％上げ、連続最小時間を０.１秒増加させ、連続最長時間を５％上げる内容である。

一方、ステップＳ１８００ａにおいて、動作抽出度調整部３２４は、抽出数Ａが増加する方向に、動作抽出部３２２の動作抽出パラメータを修正して、ステップＳ１４００へ戻り、動作抽出部３２２に対して動作の再抽出を指示する。

上述の条件の場合、抽出数Ａを増加させるためのパラメータ調整ルールは、例えば、距離閾値を５％下げ、連続最小時間を０.１秒減少させ、連続最長時間を５％下げる内容である。

本変形例によれば、動作解析装置３００は、動作抽出パラメータを調整するので、特徴量の再抽出を行う必要がなく、解析結果をより迅速に提示することが可能となる。

なお、動作解析装置３００は、特徴抽出パラメータと動作抽出パラメータとの両方を調整しても良い。また、この調整は、１回の修正で同時に行われても良く、別の回の修正に分けて行われても良い。これにより、抽出対象となる動作の種類と類似度の大きさとの両方を考慮した、よりきめ細かな抽出対象の調整を行うことが可能となる。

（実施の形態１の変形例２）
実施の形態１の変形例２は、動作解析装置３００が、複数種類の動作について効率的に解析を行う例である。

本変形例に係る動作解析装置３００は、大きい動作に対応する特徴量に着目した動作抽出と、小さい動作に対応する特徴量に着目した動作抽出との両方を行う。

このために、動作解析装置３００は、大きい動作に対応する特徴量の抽出用の初期設定（以下、「第１の初期設定」という）と、小さい動作に対応する特徴量の抽出用の初期設定（以下、「第２の初期設定」という）とを予め格納している。

初期設定には、特徴抽出パラメータの初期値および動作抽出パラメータの初期値が含まれる。例えば、第１の初期設定は、入力された動作データの解像度を半分に落とす処理を行う設定であり、第２の初期設定は、入力された動作データの解像度をそのままとする設定である。

動作解析装置３００は、まず、第１の初期設定に基づいて抽出した第１の抽出結果と、第２の初期設定に基づいて抽出した第２の抽出結果とを取得する。また、動作解析装置３００は、大きい動作に対応する第１の目標抽出数と、小さい動作に対応する第２の目標抽出数との両方の入力を、ユーザから受け付ける。そして、動作解析装置３００は、第１の抽出結果および第１の目標抽出数に基づいて、第１の初期設定に含まれるパラメータを調整し、第２の抽出結果および第２の目標抽出数に基づいて、第２の初期設定に含まれるパラメータを調整する。

そして、動作解析装置３００は、大きい動作についての解析結果と、小さい動作についての解析結果とを、同時に、または切り換えて表示する。動作解析装置３００は、大きい動作についての解析結果と、小さい動作についての解析結果とを解析結果表示領域６１１（図５参照）に同時に表示する場合には、色が異なるなど表示形態の異なるマーカ６１９を表示することが望ましい。

本変形例によれば、大きい動作における逸脱動作と、小さい動作における逸脱動作との両方を、抽出して纏めて提示するので、ユーザの動作解析の効率性および利便性を向上させることができる。

（実施の形態１の変形例３）
実施の形態１の変形例３は、指定する提示量が、抽出数ではなく、比較対象動作データの再生時間に対する抽出箇所の再生時間の合計値（以下「抽出時間」という）の割合である場合の例である。

本変形例に係る動作解析装置３００は、比較対象動作データの再生時間に対する抽出時間の割合（以下「抽出時間割合」という）を算出すると共に、抽出時間割合の指定をユーザから受け付ける。そして、動作解析装置３００は、算出した抽出動作時間が、指定された抽出動作時間（以下「目標抽出時間割合」という）に一致するように、特徴抽出パラメータおよび動作抽出パラメータの調整を行う。

例えば、動作解析装置３００は、目標抽出時間割合が２０％であって、比較対象動作データの再生時間の平均値が３０秒である場合、抽出時間が６秒（３０秒×０.２）となるように、パラメータ調整を行う。

動作解析装置３００の動作は、図３を用いて説明した動作と同様である。但し、抽出数および目標抽出数は、抽出時間割合と目標抽出時間割合とにそれぞれ置き換えられる。また、抽出時間割合が目標抽出時間割合に完全に一致するようなパラメータ調整ルールを設定することは困難であることから、動作解析装置３００は、例えば以下のような動作を行う。

動作解析装置３００は、抽出時間割合と目標抽出時間割合との差が所定の閾値以下の場合には、抽出時間割合が目標抽出時間割合に一致したとみなし、抽出結果の表示の処理に移る。例えば、所定の閾値が比較対象動作データの再生時間の平均値の５％であり、当該再生時間の平均値が３０秒である場合、動作解析装置３００は、１.５秒（３０秒×０.０５）の誤差を認めることとなる。そして、目標抽出時間割合として２０％が指定された場合には、動作解析装置３００は、抽出時間割合が４.５秒以上７.５秒以下を満たした時点で、調整処理を完了し、解析結果を表示する。

本変形例によれば、ユーザは、動作の数ではなく、動作データの長さに対する時間の割合を入力することにより、動作データの長さを特に考慮することなく抽象的に抽出度合いを指定できる。

なお、動作解析装置３００は、目標抽出時間割合ではなく、抽出時間の目標値の設定を受け付け、実際の抽出時間がこの目標値に一致するようにパラメータ調整を行っても良い。これにより、ユーザは、抽出箇所の再生に要する時間を所望の時間とすることができる。

（実施の形態１の変形例４）
実施の形態１の変形例４は、動作の特徴を示す特徴量がＣＨＬＡＣ特徴以外の特徴量であり、動作の抽出に標準動作部分空間との距離以外の情報を用いる例である。

例えば、動作特徴抽出部３２１は、動作の特徴を示す特徴量としてＳＶＭの特徴量を用い、動作の抽出を１クラスＳＶＭに基づいて行う。ＳＶＭの特徴量および１クラスＳＶＭの算出手法の詳細は、例えば非特許文献１に記載されているため、ここでの説明を省略する。

この場合、動作解析装置３００が用いる特徴抽出パラメータには、例えば、窓サイズ、ｗａｖｅｌｅｔ展開係数、および主成分分析の累積寄与度が含まれる。また、本変形例に
係る動作解析装置３００が用いる動作抽出パラメータには、識別超平面の乖離データの割合、識別超平面のカーネルパラメータ、連続最小時間、および連続最長時間が含まれる。

なお、動作特徴抽出部３２１は、ＣＨＬＡＣ特徴を用いて１クラスＳＶＭにより動作を抽出することもできる。また、動作特徴抽出部３２１は、動作特徴量だけでなく、他の高次の特徴量を用いて動作を抽出することもできる。

本変形例によれば、ＣＨＬＡＣ特徴および距離以外の特徴量および情報を用いる動作解析手法において、ユーザは、各パラメータを手動で調整することなく、解析結果の提示量を容易に調整することができる。

なお、以上説明した各変形例は、任意に組み合わせて実施することが可能である。これにより、上述した各効果を複合的に得ることができる。

（実施の形態２）
本発明の実施の形態２は、提示対象とする動作の種別を切り換えることが可能な動作解析装置である。

図８は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。

図８において、動作解析装置３００ｂは、実施の形態１の動作抽出部および動作抽出度調整部に代えて、異なる動作を行う動作抽出部３２２ｂおよび動作抽出度調整部３２４ｂを有し、新たに、抽出種別入力部３２６ｂを有する。

抽出種別入力部３２６ｂは、入力装置５００を介して、ユーザに提示する動作の種別の指定を受け付け、指定された種別（以下「抽出動作種別」という）を、動作抽出部３２２ｂへ出力する。ここでは、抽出種別入力部３２６ｂは、抽出動作種別として、逸脱動作と、比較対象動作と標準動作との差異が小さい動作（以下「標準レベル動作」という）とのいずれかの指定を受け付けるものとする。

動作抽出部３２２ｂは、逸脱動作が指定された場合、実施の形態１と同様の動作を行い、標準レベル動作が指定された場合には、標準レベル動作の箇所を標準レベル動作箇所として抽出し、抽出結果を動作抽出度調整部３２４ｂへ出力する。標準レベル動作箇所の抽出手法については後述する。

動作抽出度調整部３２４ｂは、逸脱動作箇所が入力された場合には、実施の形態１と同様の動作を行う。また、動作抽出度調整部３２４ｂは、標準レベル動作箇所が入力された場合には、逸脱動作の場合とは異なる内容のパラメータ調整によって、抽出数を目標抽出数と一致させる。

このような構成を有する動作解析装置３００ｂは、標準レベル動作箇所を抽出し、ユーザが指定した提示量で、抽出箇所を提示することができる。

次に、動作解析装置３００ｂの動作について説明する。

図９は、動作解析装置３００ｂの動作の一例を示すフローチャートであり、実施の形態１の図３に対応するものである。図３と同一部分には同一符号を付し、これについての説明を省略する。図１０は、動作解析装置３００ｂにおける情報の流れの一例を示す図であ
る。

まず、ステップＳ１０１０ｂにおいて、動作抽出部３２２ｂは、抽出種別入力部３２６ｂを介して、抽出動作種別を入力し、ステップＳ１１００へ進む。具体的には、例えば、動作抽出部３２２ｂから指示を受けた抽出種別入力部３２６ｂが、動作種別の選択を促す画面を出力装置４００に表示する。そして、抽出種別入力部３２６ｂは、対応して入力装置５００を介して選択された動作種別を、抽出動作種別として動作抽出部３２２ｂに返す。

そして、動作解析装置３００ｂは、目標抽出数Ｂを入力し、フレーム毎に標準動作特徴量の標準動作部分空間からの距離を算出すると（Ｓ１１００〜Ｓ１３００）、ステップＳ２１００ｂへ進む。

ステップＳ２１００ｂにおいて、動作抽出部３２２ｂは、抽出動作種別が、逸脱動作ではなく標準レベル動作であるか否かを判断する。動作抽出部３２２ｂは、抽出動作種別が逸脱動作である場合には（Ｓ２１００ｂ：ＮＯ）、ステップＳ１４００へ進み、抽出動作種別が標準レベル動作である場合には（Ｓ２１００ｂ：ＹＥＳ）、ステップＳ２２００ｂへ進む。

ステップＳ２２００ｂにおいて、動作抽出部３２２ｂは、距離に基づいて、標準レベル動作を抽出し、その抽出数（以下、記号Ａを適宜用いる）をカウントして、動作抽出度調整部３２４ｂへ出力する。

より具体的には、まず、動作抽出部３２２ｂは、比較対象動作データのうち、動作抽出パラメータにより定義される条件を満たす部分を、１つの標準レベル動作箇所として抽出する。そして、動作抽出部３２２ｂは、抽出された標準レベル動作箇所を、抽出数Ａとしてカウントする。

動作抽出パラメータにより定義される条件は、例えば、距離が所定の距離閾値よりも小さい状態が続き、その継続時間が所定の連続最小時間以上かつ所定の連続最長時間以下であることである。所定の距離閾値は、例えば、比較対象動作データ全体から求められた距離の最大値の４０％である。所定の連続最小時間は、例えば、０.３秒である。所定の連続最小時間は、例えば、比較対象動作データの長さ（複数の場合には平均長さ）の２５％である。

このような条件を適用することにより、検出ノイズや背景の動きの影響により、標準レベル動作として扱われるべき動作が、提示対象から除外されるのを防ぐことができる。

そして、図３のステップＳ１５００〜Ｓ１８００と同様に、動作抽出度調整部３２４ｂは、抽出数Ａと目標抽出数Ｂとの大小関係に応じて、動作特徴抽出部３２１の特徴抽出パラメータの調整を行う（Ｓ２３００ｂ〜Ｓ２６００ｂ）。

但し、動作抽出度調整部３２４は、Ｓ１７００、Ｓ１８００とは異なる内容で、ステップＳ２５００ｂ、Ｓ２６００ｂにおけるパラメータ修正を行う。すなわち、動作抽出度調整部３２４は、例えば、抽出動作種別が逸脱動作である場合と標準レベル動作である場合のそれぞれについて、抽出数Ａを減少させる場合と増大させる場合のパラメータ調整ルールを格納している。これは、逸脱動作と標準レベル動作とでは、動作抽出パラメータにより定義される条件が上述のように異なり、抽出数Ａを同じ方向に変化させる場合であってもどのパラメータをどのように修正すべきかが異なるからである。

図１１は、標準レベル動作が選択された場合の動作抽出結果表示画面の一例を示す図であり、実施の形態１の図５に対応するものである。図５と同一部分には同一符号を付し、これについての説明を省略する。

この場合、図１１に示すように、結果表示画面６１０は、解析結果表示領域６１１に、標準レベル動作箇所である抽出箇所を示すマーカ６１９を表示する。このような結果表示画面６１０により、ユーザは、標準レベル動作箇所を素早くピックアップし、標準レベル動作を、画像で素早く確認することができる。また、指定した数で標準レベル動作箇所がピックアップされるので、ユーザは自己の望む量の解析結果の提示を受けることができる。

このように、本実施の形態に係る動作解析装置３００ｂは、逸脱動作のみならず、標準レベル動作をも、ユーザが指定した提示量で提示することができる。また、提示対象となる動作の種別をユーザの指定に従って切り換えることができる。したがって、ユーザは、比較対象となる動作について、より深い解析を行うことができる。

なお、動作解析装置３００ｂは、逸脱動作箇所と標準レベル動作箇所の両方を抽出し、両方の抽出結果を、同時にまたは切り換えて提示しても良い。動作解析装置３００ｂは、逸脱動作箇所と標準レベル動作箇所とを解析結果表示領域６１１（図５参照）に同時に表示する場合には、色が異なるなど表示形態の異なるマーカ６１９を表示することが望ましい。また、動作解析装置３００ｂは、常に標準レベル動作箇所のみを提示するようにしても良い。

また、本実施の形態は、実施の形態１で説明した各種変形例と任意に組み合わせて実施することが可能である。

但し、動作の面積を利用した標準レベル動作箇所の抽出が行われる場合には、動作の面積Ｓは、以下の式（３）で表される値とする。そして、動作抽出度調整部３２４ｂは、修正前抽出箇所を、動作の面積が小さいものから順に、目標抽出数Ｂに一致する個数まで選択し、選択した抽出箇所で確定する。

（実施の形態３）
本発明の実施の形態３は、動作の特徴を示す特徴量がＣＨＬＡＣ特徴における時間重みであり、動作の抽出に時間重みを用いる動作解析装置である。

図１２は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。

図１２において、動作解析装置３００ｃは、実施の形態１の動作特徴抽出部および動作抽出部に代えて、異なる動作を行う動作特徴抽出部３２１ｃおよび動作抽出部３２２ｃを有する。

動作特徴抽出部３２１ｃは、ＣＨＬＡＣ特徴に時間重みを適用した値を積分することにより、動作データ全体に関する特徴量である映像特徴を算出する手法において、フレーム毎に重みを定義する重みマップを学習する（非特許文献２参照）。そして、動作特徴抽出
部３２１ｃは、学習した重みマップを、動作抽出部３２２ｃへ出力する。

動作抽出部３２２ｃは、重みマップに含まれるフレーム毎の重みに基づいて、逸脱動作を抽出し、抽出結果を動作抽出度調整部３２４へ出力する。

このような構成を有する動作解析装置３００ｃは、ＣＨＬＡＣ特徴に時間重みを適用した映像特徴の重みマップに基づいて、逸脱動作箇所を抽出し、ユーザが指定した提示量で、抽出箇所を提示することができる。

図１３は、動作解析装置３００ｃの動作の一例を示すフローチャートであり、実施の形態１の図３と対応するものである。図３と同一部分には同一ステップ番号を付し、これについての説明を省略する。

逸脱動作の目標抽出数Ｂが入力されると（Ｓ１１００）、動作解析装置３００ｃは、ステップＳ１２００ｃへ進む。

ステップＳ１２００ｃにおいて、動作特徴抽出部３２１ｃは、標準動作データから、フレーム毎にＣＨＬＡＣ特徴を抽出する。

そして、ステップＳ１３００ｃにおいて、動作特徴抽出部３２１ｃは、比較対象動作データから、フレーム毎にＣＨＩＬＡＣ特徴を抽出して重みマップを学習し、学習した重みマップを、動作抽出部３２２ｃへ出力する。

具体的には、動作特徴抽出部３２１ｃは、抽出した標準動作および比較対象動作の一連の各ＣＨＬＡＣ特徴から、映像特徴を抽出するための時間重みの重みマップ（フレーム毎の重み）を、例えばフィッシャー判別基準により学習する。重みマップの学習に用いられる特徴抽出パラメータには、時間的な伸縮を吸収するために導入したフーリエ級数展開に伴う基底関数の数が含まれる。

動作特徴抽出部３２１ｃは、実施の形態１と同様にパラメータ調整を行う。したがって、重み付けの最適化は、学習データだけではなく、目標抽出数にも基づいて行われることになる。最適化された各重みは、動作に差があるフレームほど大きくなるという特性を有し、かつ、動作を時系列に評価しつつ各動作データの長さの違いを吸収するという効果を有する。映像特徴および重みマップの学習手法の詳細は、例えば特許文献２に記載されているため、ここでの説明を省略する。

そして、ステップＳ１４００ｃにおいて、動作抽出部３２２ｃは、重みに基づいて、逸脱動作を抽出し、その抽出数（以下、記号Ａを適宜用いる）をカウントして、動作抽出度調整部３２４へ出力する。

より具体的には、まず、動作抽出部３２２ｃは、比較対象動作データのうち、動作抽出パラメータにより定義される条件を満たす部分を、１つの逸脱動作箇所として抽出する。そして、動作抽出部３２２ｃは、抽出された逸脱動作箇所を、抽出数Ａとしてカウントする。

動作抽出パラメータにより定義される条件は、例えば、重みが所定の重み閾値よりも大きい状態が続き、その継続時間が所定の連続最小時間以上かつ所定の連続最長時間以下であることである。所定の重み閾値は、例えば、比較対象動作データ全体から求められた重みの最大値の６０％である。所定の連続最小時間は、例えば、０.３秒である。所定の連続最小時間は、例えば、比較対象動作データの長さ（複数の場合には平均長さ）の２５％
である。

そして、図３のステップＳ１５００〜Ｓ１８００と同様に、動作抽出度調整部３２４ｃは、抽出数Ａと目標抽出数Ｂとの大小関係に応じて、動作特徴抽出部３２１の特徴抽出パラメータの調整を行う。但し、動作抽出度調整部３２４ｃは、Ｓ１７００、Ｓ１８００とは異なる内容で、ステップＳ１７００ｃ、Ｓ１８００ｃにおけるパラメータ修正を行っても良い。

例えば、動作抽出度調整部３２４ｃは、抽出数Ａを減少させる方向に変化させる場合、重みマップの学習に用いられる基底関数の数を１少なくする。この場合、動作抽出度調整部３２４ｃは、予め定められた記述方式に従って、例えば、Ａ＞Ｂ：ｂｆ＝−１と記述されたパラメータ調整ルールを格納する。ここで、基底関数以外の抽出数Ａを減少させるためのパラメータ調整は、より大きな特徴が抽出されるようにパラメータを調整する内容である。例えば、パラメータ調整は、解像度を５％下げ、フレームレートを２倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２倍にし、主成分分析の累積寄与度を１％下げ、窓サイズを５増加させる等の調整を同時に行う内容であっても良い。

また、例えば、動作抽出度調整部３２４ｃは、抽出数Ａを増大させる方向に変化させる場合、重みマップの学習に用いられる基底関数の数を１多くする。この場合、動作抽出度調整部３２４ｃは、予め定められた記述方式に従って、例えば、Ａ＜Ｂ：ｂｆ＝＋１と記述されたパラメータ調整ルールを格納する。ここで、基底関数の数以外の抽出数Ａを増大させるためのパラメータ調整は、より小さな特徴が抽出されるようにパラメータを調整する内容である。例えば、パラメータ調整は、解像度を５％増加させ、フレームレートを０.５倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を０.５倍にし、主成分分析の累積寄与度を１％上げ、窓サイズを５減少させる等の調整を同時に行う内容であっても良い。

このような動作により、動作解析装置３００ｃは、重みが大きい箇所を逸脱動作箇所として抽出することができる。

以上説明したように、本実施の形態に係る動作解析装置３００ｃは、映像特徴の抽出において学習される重みに基づいて逸脱動作を抽出し、ユーザが指定した提示量で抽出結果を提示することができる。映像特徴の抽出において学習される重みは、個々の動作が正しくても動作が行われる順番が異なるような箇所において高くなる。したがって、動作解析装置３００ｃを用いることにより、動作に対する時系列的な評価を、簡単に行うことができる。

なお、本実施の形態は、実施の形態１で説明した各種変形例および実施の形態２と任意に組み合わせて実施することが可能である。また、本実施の形態は、実施の形態２のように、特徴抽出パラメータを修正せず、動作抽出パラメータのみを修正しても良い。

但し、動作の面積を利用した逸脱動作箇所の抽出が行われる場合には、動作の面積は、抽出箇所の重みのうち重み閾値を超える部分の時間積分となる。また、動作の面積を利用して標準レベル動作箇所の抽出を行う場合には、動作の面積は、抽出箇所の重みの時間積分となる。

例えば、本実施の形態と実施の形態２とを組み合わせる場合、特徴抽出パラメータと動作抽出パラメータとの両方が修正され得る。この場合、抽出数Ａを減少させるためのパラメータ調整ルールは、より大きな特徴を抽出するために、次のようにパラメータを調整する内容である。例えば、パラメータ調整ルールは、解像度を５％増加させ、フレームレー
トを２倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２倍にし、主成分分析の累積寄与度を１％下げ、窓サイズを５増加させる内容である。また、このパラメータ調整ルールは、動作抽出パラメータに対して、重み閾値を５％下げ、連続最小時間を０.２秒増加させ、連続最長時間を１％増加させ、基底関数の数を１少なくする内容である。この場合、パラメータ調整ルールは、予め定められた記述方式に従って、例えば、Ａ＞Ｂ：ｒ＝＋５；ｆｓ＝ｘ２；ｐｓ＝ｘ２；ａｃｒ＝−１；ｗｓ＝＋５；ｗ＝−５；ｍｉｎｔ＝＋０.２；ｍａｘｔ＝＋０．１；ｂｆ＝−１、と記述される。

（実施の形態４）
本発明の実施の形態４は、複数の異なる提示量のレベルの中からユーザによって指定されたレベルで、解析結果の提示を行う動作解析装置である。

図１４は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。

図１４において、動作解析装置３００ｄは、実施の形態１の動作特徴抽出部、提示量入力部、および動作抽出度調整部に代えて、異なる動作を行う動作特徴抽出部３２１ｄ、提示量入力部３２３ｄ、および動作抽出度調整部３２４ｄを有する。また、動作解析装置３００ｄは、新たに、動作解析初期値設定部３２７ｄを有する。動作解析初期値設定部３２７ｄは、例えば、動作データ入力部３１０に配置される。

動作解析初期値設定部３２７ｄは、予め定義された複数の異なる提示量のレベル（以下「抽出レベル」という）のそれぞれに対応して、各パラメータの初期値（以下「パラメータ初期値」という）と目標抽出数とを設定する。具体的には、動作解析初期値設定部３２７ｄは、予め定義された抽出レベルに対応して、標準動作データに基づいて、パラメータ初期値と目標抽出数とを算出し、設定する。

なお、本実施の形態では、動作抽出パラメータは固定のデフォルト値を用いるものとして説明を行う。また、抽出レベルとして、提示量が少ない低レベル、提示量が中程度である中レベル、提示量が多い高レベルの３つのレベルが定義されているものとする。

提示量入力部３２３ｄは、入力装置５００を介して、ユーザから抽出レベルの指定を受け付け、指定された抽出（以下「目標抽出レベル」という）を、動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄへ出力する。

動作特徴抽出部３２１ｄは、ユーザが指定した抽出レベルのパラメータ初期値を特徴抽出パラメータに適用して、特徴量の抽出を行う。特徴抽出パラメータの値は、その後、動作抽出度調整部３２４ｄによって適宜調整される。

動作抽出度調整部３２４ｄは、抽出数が動作解析初期値設定部３２７ｄによって算出された目標抽出数と一致しないとき、一致するように、動作特徴抽出部３２１の特徴抽出パラメータを調整する。

このような構成を有する動作解析装置３００ｄは、解析結果として、ユーザから指定された抽出レベルで逸脱動作箇所をユーザに提示することができる。また、動作解析装置３００ｄは、標準動作データに基づいて抽出レベル毎に適切なパラメータ初期値および目標抽出数を設定するので、解析結果を提示するまでの時間を短縮することができる。

以下、動作解析装置３００ｄの動作について説明する。

図１５は、動作解析装置３００ｄの動作の一例を示すフローチャートであり、実施の形態１の図３に対応するものである。図３と同一部分には同一ステップ番号を付し、これについての説明を省略する。図１６は、本実施の形態に係る動作解析装置３００ｄにおける情報の流れの一例を示す図である。

まず、ステップＳ１０２０ｄにおいて、動作解析初期値設定部３２７ｄは、入力装置５００を介して、ユーザから標準動作数（以下、記号Ｊを適宜用いる）を入力し、標準動作数Ｊを動作特徴抽出部３２１ｄへ出力する。ここで、標準動作数とは、動作データ入力部３１０が入力する標準動作データに含まれる動作の個数であり、例えば、熟練作業者が手を前方へ伸ばす回数である。標準動作数は、解析の対象となるべき動作の量の目安となるものであり、例えば、標準動作データが長い場合や動作が忙しく行われる場合には、大きくなる傾向がある。

そして、ステップＳ１０３０ｄにおいて、動作解析初期値設定部３２７ｄは、標準動作数Ｊに基づいて、選択中の抽出レベルのパラメータ初期値および目標抽出数Ｂを算出する。そして、動作解析初期値設定部３２７ｄは、算出したパラメータ初期値を、選択中の抽出レベルのパラメータ初期値に設定し、動作特徴抽出部３２１ｄへ出力する。また、動作解析初期値設定部３２７ｄは、算出した目標抽出数Ｂを、選択中の抽出レベルの目標抽出数Ｂに設定し、動作抽出度調整部３２４ｄへ出力する。

どのようにパラメータ初期値および目標抽出数Ｂを算出するかは、抽出レベル毎に、初期値算出ルールとして、動作解析初期値設定部３２７ｄに格納されている。初期値算出ルールは、予め格納されていても良いし、ユーザにより手入力されても良いし、必要に応じてネットワーク等を介して外部から取得されても良い。

例えば、低レベルに対応する初期値算出ルールは、例えば、解像度を３２１×２４０とし、フレームレートを２／３倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を３とし、主成分分析の累積寄与度を９６％とし、窓サイズをフレームレートに動作の平均長さを乗じて標準動作数Ｊで割った値とし、目標抽出数Ｂを標準動作数Ｊに０.２を乗じた値とする内容である。

また、例えば、中レベルに対応する初期値算出ルールは、解像度を６４０×４８０とし、フレームレートをそのままとし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を３とし、主成分分析の累積寄与度を９７％とし、窓サイズをフレームレートに動作の平均長さを乗じて標準動作数Ｊで割った値とし、目標抽出数Ｂを標準動作数Ｊに０.３を乗じた値とする内容である。

また、例えば、高レベルに対応する初期値算出ルールは、解像度を１２８０×９６０とし、フレームレートをそのままとし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２とし、主成分分析の累積寄与度を９８％とし、窓サイズをフレームレートに動作の平均長さを乗じて標準動作数Ｊで割った値とし、目標抽出数Ｂを標準動作数Ｊに０.４を乗じた値とする内容である。

なお、動作の平均長さは、例えば、標準動作データの平均再生時間を標準動作数Ｊで割ることにより得られる時間長さである。

ここでは、上述の初期値算出ルールが適用され、元の標準動作データにおいて、標準動作数Ｊが１０、平均再生時間が２０秒、フレームレートが３０ｂｐｓである場合を想定する。このとき、フレームレートの初期値は、低レベルにおいて２０ｂｐｓ、中レベルおよ
び高レベルにおいて３０ｂｐｓとなり、窓サイズは、低レベルにおいて４０、中レベルにおいて６０、高レベルにおいて３０ｂｐｓとなる。また、目標抽出数Ｂは、低レベルにおいて２、中レベルにおいて３、高レベルにおいて４となる。

ここで、比較対象動作データの平均再生時間の方が、標準動作データの平均再生時間より長かった場合は、一般作業者の熟練度が低いために動作の平均速度が遅いことが考えられる。この場合は、動作解析初期値設定部３２７ｄは、比較対象動作特徴量の抽出に用いる窓サイズの算出に、標準動作データの平均再生時間ではなく、比較対象動作データの平均再生時間を用いても良い。但し、比較対象動作データの平均再生時間の方が、標準動作データの平均再生時間より長い場合でも、一般作業者が余計な動作をしている可能性もある。従って、動作解析初期値設定部３２７ｄは、同じ窓サイズ（標準動作データの平均再生時間に基づいて算出される窓サイズ）を用いて、比較対象動作特徴量の抽出を行っても良い。

そして、ステップＳ１０４０ｄにおいて、動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄは、提示量入力部３２３ｄを介して、目標抽出レベル（以下、記号Ｋを適宜用いる）を入力する。具体的には、例えば、動作特徴抽出部３２１ｄまたは動作抽出度調整部３２４ｄから指示を受けた提示量入力部３２３ｄが、抽出レベルの選択を促す画面を出力装置４００に表示する。そして、提示量入力部３２３ｄは、対応して入力装置５００を介して選択された抽出レベルを、目標抽出レベルＫとして動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄに返す。

この結果、動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄは、目標抽出レベルＫに対応するパラメータ初期値および目標抽出数Ｂを採用する。そして、動作解析装置３００ｄは、採用したパラメータ初期値および目標抽出数Ｂを用いて解析処理行い、解析結果を提示して（Ｓ１２００〜Ｓ１９００）、ステップＳ１９１０ｄへ進む。

ステップＳ１９１０ｄにおいて、動作解析装置３００ｄは、ユーザ操作等により同じ標準動作での解析処理の終了を指示されたか否かを判断する。動作解析装置３００ｄは、同じ標準動作での解析処理の終了を指示されない場合には（Ｓ１９１０ｄ：ＹＥＳ）、ステップＳ１０４０ｄへ戻る。また、動作解析装置３００ｄは、同じ標準動作での解析処理の終了を指示された場合には（Ｓ１９１０ｄ：ＮＯ）、ステップＳ２０００へ進む。

このような動作により、動作解析装置３００ｄは、ユーザから指定された抽出レベルで、つまり標準動作データの再生時間や標準動作数に応じた適切な提示量で、解析結果の提示を行うことができる。

以上説明したように、本実施の形態に係る動作解析装置３００ｄは、標準動作データに基づいて提示レベル毎にパラメータ初期値および目標抽出数を設定し、指定された抽出レベルで解析処理を行う。これにより、動作解析装置３００ｄは、単一のデフォルト値のみパラメータ初期値として用いる場合に比べて、適切な値から処理を開始することができ、処理の高速化を図ることができるだけでなく、解析結果の精度を向上させることができる。また、動作解析装置３００ｄは、標準動作データの再生時間や標準動作数等に応じて各抽出レベルの提示量を調整することができる。また、ユーザは、数や割合の数値を入力するのではなく、抽出レベルといった抽象的な選択肢を選ぶ操作を行うことにより、提示量を調整することができるので、より直感的に操作を行うことができる。

なお、動作解析装置３００ｄは、２つまたは４つ以上の抽出レベルを定義しても良い。

また、動作解析装置３００ｄは、予め複数または全ての抽出レベルについて解析処理を
行っておき、複数の解析結果を、同時にまたは切り換えて表示しても良い。

また、動作解析装置３００ｄは、デフォルトで１つの抽出レベルに対応する処理のみを実行するようにしても良い。この場合、目標抽出レベルの入力は不要となる。この場合でも、適切なパラメータ値から処理を開始することができ、処理の高速化を図ることができる。

例えば、特に本実施の形態と実施の形態２とを組み合わせる場合、特徴抽出パラメータと動作抽出パラメータとの両方について初期値が設定され得る。以下、動作抽出パラメータについての初期値算出ルールの例およびその算出結果の例を示す。

例えば、低レベルに対応する初期値算出ルールは、距離閾値を距離の最大値の６５％とし、連続最小時間を動作の平均長さに０.５を乗じた値とし、連続最大時間をそのままとし、基底関数の数を５とする内容である。

また、例えば、中レベルに対応する初期値算出ルールは、距離閾値を距離の最大値の６０％とし、連続最小時間を動作の平均長さに０.５を乗じた値とし、連続最大時間をそのままとし、基底関数の数を５とする内容である。

また、例えば、高レベルに対応する初期値算出ルールは、距離閾値を距離の最大値の５０％とし、連続最小時間を動作の平均長さに０.２５を乗じた値とし、連続最大時間を動作の平均長さに０.７５を乗じた値とし、基底関数の数を８とする内容である。

ここでは、上述の初期値算出ルールが適用され、元の標準動作データにおいて、標準動作数Ｊが１０、平均再生時間が２０秒である場合を想定する。このとき、連続最小時間の初期値は、低レベルおよび中レベルにおいて１秒、高レベルにおいて０.５秒となり、連続最大時間は、低レベルおよび中レベルにおいて２秒、高レベルにおいて１.５秒となる。

なお、以上説明した各実施の形態では、動作データを動画像データとしたが、これに限定されない。動作データとして、動作から得られる距離データ、温度データ、加速度データ、磁気データ、音データ等、動作の特徴を示す特徴量を抽出可能な各種データを採用することができる。これらの場合、センサ装置は、距離センサ、温度センサ、加速度センサ、および磁気センサ、集音センサ等の適切な装置とする必要がある。

また、動作解析装置は、解析結果の提示を、画面表示と併せて、または画面表示に代えて、音声出力により行っても良い。この場合、主力装置を、ラウドスピーカ等とする必要がある。

（実施の形態５）
ＣＨＬＡＣ特徴量の位置毎の時間積分値を用いて、主成分分析等により動作評価を行う動作評価手法が、例えば特許文献２に記載されている。特許文献２の方法を用いることにより、少ない処理負荷で、映像において比較対象動作と標準動作との差異の程度が大きい位置を、ユーザに提示することができる。

ところで、例えば、ピアノ演奏において親指でドの音を弾いて次に中指でミの音を弾くのが正しい動作であるときに、中指でミの音を弾いて次に親指でドの音を弾くと、異なる曲になってしまう。したがって、このような動作が行われたとき、映像における中指の位置と親指の位置とを提示することが望まれる。

また、例えば、製品の組み立て工程におけるねじ締め動作が、正しい順番と異なる順番で行われている場合にも、比較対象動作の映像におけるその動作が行われている位置を提示することが望まれる。ねじ締めの順番は、製品の安全性や作業効率に関わる重要な問題だからである。

すなわち、個々の動作は正しいけれども動作の順序が異なるような一連の動作（以下「順序違い動作」という）が発生している場合に、その動作の位置が提示されることが望ましい。

しかしながら、非特許文献２記載の方法では、順序違い動作の時間を抽出することはできても、順序違い動作の位置を自動で抽出することはできない。なぜなら、非特許文献２記載の方法は、ＣＨＬＡＣ特徴量を空間積分した、位置不変の値を用いるからである。

また、特許文献２記載の方法では、個々の動作は正しいことから、順序違い動作の発生をそもそも検出することができない。なぜなら、特許文献２記載の方法は、ＣＨＬＡＣ特徴量を時間積分した、時間不変の値を用いるからである。

時間を細かく区切って特許文献２記載の方法を適用すれば、区切られた時間毎に、順序違い動作の位置を抽出することは可能である。ところが、このような処理は煩雑であるため、特に、標準動作の映像データと比較対象動作の映像データとで時間長さが異なる場合に、装置の処理負荷が高くなる。すなわち、従来技術には、順序違い動作の位置を容易に抽出することができないという課題がある。

そこで、本発明の実施の形態５として、順序違い動作の位置を容易に抽出することができるようにした動作解析装置について説明する。

以下、本発明の実施の形態５について、図面を参照して詳細に説明する。

図１７は、本発明の実施の形態５に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図である。

本実施の形態は、実施の形態１〜実施の形態４と同様に、本発明を、熟練作業者と一般作業者とが働く工場において各一般作業者の動作を解析するためのシステムに適用した例として説明する。但し、本実施の形態における動作解析システムは、一般作業者と熟練作業者とで大きく異なる動作の位置を抽出する。

図１７において、本実施の形態に係る動作解析システム１００ｅは、センサ装置２００、本実施の形態に係る動作解析装置３００ｅ、出力装置４００、入力装置５００を有する。

センサ装置２００は、人の動作を検出する装置である。センサ装置２００は、作業者の動作を計測したデータを、動作解析装置３００ｅへ出力する。ここでは、センサ装置２００は、撮影した画像の画像フレームデータ（動画像データ）をリアルタイムに出力するカメラであり、工場の組み立てラインに並んで作業する各作業者を個別に撮影可能であるものとする。

以下、実施の形態１〜実施の形態４と同様に、熟練作業者による一連の標準動作を撮影した時系列のフレームデータを「標準動作データ」といい、一般対象者による一連の比較対象動作を撮影した時系列のフレームデータを「比較対象動作データ」という。また、標準動作データおよび比較対象動作データは、適宜「動作データ」と総称する。また、比較
対象動作データを構成するフレームのうち、１つの解析の対象となる連続した複数のフレームを、「対象フレーム」という。

また、本実施の形態における動作解析システム１００ｅは、画像特徴量に基づいて、動作解析を行う。本実施の形態では、画像特徴量として、非特許文献２に開示されているＣＨＬＡＣ特徴を用いる。

本実施の形態において、標準動作データから得られる画像特徴量は「標準特徴量」といい、標準動作データから得られる標準特徴量のデータは、「標準特徴量データ」という。また、比較対象動作データから得られる画像特徴量は、「比較対象特徴量」といい、比較対象動作データから得られる比較対象特徴量のデータは、「比較対象特徴量データ」という。また、標準特徴量データおよび比較対象特徴量データは、適宜「特徴量データ」と総称する。

動作解析装置３００ｅは、標準動作との比較により比較対象動作の解析を行う装置である。動作解析装置３００ｅは、比較対象特徴量データと標準特徴量データとから、各時刻の画像における比較対象動作と標準動作との差異（以下、適宜「動作の差異」という）の大きさを表す値である時間重みを抽出する。次に、動作解析装置３００ｅは、抽出した時間重みを用いて、比較対象特徴量データと標準特徴量データのそれぞれの重み付き位置特徴量を算出する。

ここで、時間重みとは、各時刻の標準特徴量および比較対象特徴量から算出された、時刻毎の画像特徴量の違いの度合いを示す。時間重みは、ある時刻においてその値が高ければ、その時刻の標準特徴量と比較対象特徴量との差異が大きいことを示し、ある時刻においてその値が少なければ、その時刻の標準特徴量と比較対象特徴量との差異が小さいことを示す。

動作解析装置３００ｅは、例えば、時刻毎に、標準特徴量から標準部分空間を生成しておき、標準部分空間と比較対象特徴量との距離を算出して、各時刻の時間重みを求める。標準部分空間との距離の算出方法は公知の技術である。

例えば、各動作データは、各動作データ開始点を時刻ｔ＝０とし、毎秒３０フレームの画像が３００ｅフレーム分（１０秒分）存在するとする。この場合、窓サイズを１とすると、窓毎のＣＨＬＡＣ特徴量は、２９８個取ることができる（ひとつのＣＨＬＡＣ特徴量を算出するのに３フレーム必要なため）。ここで、標準動作データが３０フレーム分ある場合、動作解析装置３００ｅは、窓毎に、標準動作データから、ＣＨＬＡＣ特徴量のフレーム時刻である１／３０秒から９＋２８／３０秒までの２９８個の標準部分空間を算出する。次に、動作解析装置３００ｅは、それぞれの標準部分空間に対する比較対象特徴量の距離に基づき、時間重みを求める。例えば、動作解析装置３００ｅは、ここで求めた２９８個の距離を、平均０、分散１で標準化した値を、各時刻の時間重みの値としてもよい。

なお、ここでは、各時刻の画像特徴量に各フレームの画像特徴量をそのまま適用する例を説明したが、動作データによってフレーム数が異なる場合には、動作解析装置３００ｅは、時間的な伸縮を吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｅは、標準動作データの平均時間を基準に、フレーム間隔を伸縮させることによって各動作データの時刻を換算時刻に変換した後、必要な換算時刻の画像特徴量を推定して、上記処理を行う。

例えば、画像特徴量の抽出は、フレームレートＦを毎秒２０フレーム（フレーム間隔Ｄ＝０.０５秒）として行う。また、標準動作データの平均時間ｐは、１０秒（２００フレ
ーム）であり、ある標準動作データの時間ｑは、８秒（１６０フレーム）とする。この場合、その標準動作のフレーム間隔は、Ｄ’＝０.０６２５秒（＝ｐ／Ｆｑ）に換算される。そして、例えば、１番目のフレームの換算時刻はｔ＝０、２番目のフレームの換算時刻はｔ＝０.０６２５、ｊ番目のフレームの換算時刻はｔ＝０.０６２５（ｊ−１）＝ｐｊ／Ｆｑとなる。

ここで、動作解析装置３００ｅは、ｊ番目のフレームの換算時刻Ｄ（ｊ−１）の画像特徴量を、換算時刻Ｄ（ｊ−１）に一番近い換算時刻のフレームの画像特徴量を用いて算出しても良い。また、動作解析装置３００ｅは、ｊ番目のフレームの換算時刻Ｄ（ｊ−１）の画像特徴量を、隣接する二つのフレームの画像特徴量から推定により算出しても良い。

例えば、動作解析装置３００ｅは、換算時刻ｔ＝０.５の画像特徴量を求める場合、換算時刻ｔ＝０.５の８番目のフレームの画像特徴量を利用する。また、動作解析装置３００ｅは、換算時刻ｔ＝０.５５の画像特徴量を、換算時刻が一番近い換算時刻ｔ＝０.５６２５の９番目のフレームの値を用いて算出しても良い。また、動作解析装置３００ｅは、時刻ｔ＝０.５５と隣接する８番目と９番目のフレームから推定して算出してもよい。

動作解析装置３００ｅは、換算時刻が一番近いフレームの画像特徴量を用いる場合、動作データの長さの違いを吸収しつつ処理負荷を軽減することができる。また、動作解析装置３００ｅは、推定により算出を行う場合、より正確な結果を出すことができる。

図１８は、推定により画像特徴量を算出する方法の一例を示す図である。

図１８に示すように、換算時刻ｎは、換算時刻ｔ＝０.５６２５（９番目のフレーム）、換算時刻ｍは、換算時刻ｔ＝０.５（８番目のフレーム）とする。ここでは、換算時刻ｔ＝０.５５である換算時刻ｋの画像特徴量を推定するものとする。

ここで、例えば、画像特徴量の算出は、換算時刻ｎのフレームの２５１次元の画像特徴量をＶ_ｎとし、換算時刻ｍのフレームの２５１次元の画像特徴量をＶ_ｍとし、換算時刻ｋのフレームの２５１次元の画像特徴量をＶ_ｋとする。

この場合、動作解析装置３００ｅは、例えば、画像特徴量Ｖ_ｎ、Ｖ_ｍから、以下の式（４）を用いて、画像特徴量Ｖ_ｋの次元毎に、画像特徴量Ｖ_ｋを算出する。

すなわち、動作解析装置３００ｅは、図１８に示す時間と値の差分との比例関係を想定して、画像特徴量Ｖ_ｋを推定する。

例えば、画像特徴量Ｖ_ｎの第１次元の値が４５０００で、画像特徴量Ｖ_ｍの第１次元の値が４００００であるとする。この場合、動作解析装置３００ｅは、画像特徴量Ｖ_ｋの第１次元の値として、４００００＋（４５０００−４００００）×０.０５／０.６２５＝４０４００を算出する。動作解析装置３００ｅは、残りの２５０次元の値についても、同様に算出する。

ここでは、画像特徴量として２５１次元の値を算出する方法を説明したが、動作解析装置３００ｅは、主成分分析を行って次数を削減した後の値を用いて推定してもよい。こうすることで、計算量が削減される。また、ここでは、２点を用いて一次関数による推定を
行うとしたが、動作解析装置３００ｅは、多数の点を用いて二次関数や三角関数など他の関数を用いて推定を行っても良い。こうすることで、さらに推定精度の向上が見込まれる。

動作解析装置３００ｅは、このような方法により、標準動作データおよび比較対象動作データの全て、および標準部分空間を作成する換算時刻の全てについて、画像特徴量を算出する。その後、動作解析装置３００ｅは、推定を行わない場合と同様に、標準動作データから算出した画像特徴量から、時間重みを算出する時刻ごとに標準部分空間を生成する。次に、動作解析装置３００ｅは、それぞれの標準部分空間と、対応する比較対象動作データから算出した画像特徴量との距離を算出して、時間重みとする。

また、重み付き位置特徴量とは、時間重みを特徴量データに適用した値の、位置毎の時間積分である。重み付き位置特徴量は、言い換えれば、時間重み対応画素対応ＣＨＬＡＣ特徴量である。つまり、重み付き位置特徴量は、特定画素の近傍の画素の濃淡値の積に時間重みを付与し、対象フレーム全体に対して足し合わせて得られる、非常に局所的な特徴量である。例えば、時間重みの付加されていない画素対応ＣＨＬＡＣ特徴量に関しては、非特許文献３に記載されているので説明は省略する。

そして、動作解析装置３００ｅは、時間重みと比較対象特徴量データとから得られた重み付き位置特徴量のデータと、時間重みと標準特徴量データとから得られた重み付き位置特徴量のデータとを取得する。次に、動作解析装置３００ｅは、取得した重み付き位置特徴量のデータと重み付き位置特徴量のデータとから、比較対象動作の標準動作との差異の大きさを表す値である位置重みを抽出する。なお、以下、比較対象特徴量データの重み付き位置特徴量のデータは、以下「比較対象位置特徴量データ」といい、標準特徴量データの重み付き位置特徴量のデータは以下「標準位置特徴量データ」という。更に、動作解析装置３００ｅは、各位置の位置重みを、比較対象動作の映像における各位置の重要度として示す結果表示画面のデータを生成し、出力装置４００へ出力する。なお、以下、標準位置特徴量データおよび比較対象位置特徴量データは、適宜「位置特徴量データ」と総称する。

ここで、位置重みとは、位置特徴量データの差異について、各画素のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された、映像面上の位置の重みを指す。

なお、動作データによって画像サイズが異なる場合には、動作解析装置３００ｅは、画素数の増減により画像サイズの違いを吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｅは、標準動作データの画素数を基準に、画像サイズを伸縮させることによって各動作データの位置を換算位置に変換した後、必要な換算位置の画像特徴量を推定して、上記処理を行う。

動作解析装置３００ｅは、ＣＰＵおよびＲＡＭ等の記憶媒体、動画像データを取り込むビデオキャプチャを有するコンピュータとする。すなわち、動作解析装置３００ｅは、記憶する制御プログラムをＣＰＵが実行することによって動作する。

出力装置４００は、動作解析装置３００ｅから入力されるデータに基づいて、結果表示画面を出力する。ここでは、出力装置４００は、液晶ディスプレイを有するモニタであるものとする。なお、出力装置４００は、遠隔地に配置された装置（遠隔監視装置、携帯電話機等）であっても良い。この場合、出力装置４００は、例えば、インターネット等のネットワークを介して動作解析装置３００ｅと接続される。

入力装置５００は、ユーザが動作解析装置３００ｅを操作するためのインタフェースである。ここでは、入力装置５００は、例えば、ポインティングデバイスとしてのマウスと、キーボードである。

このような動作解析システム１００ｅは、まず、時間軸での動作の差異の大きさを示す時間重みを算出する。次に、動作解析システム１００ｅは、時間重みを特徴量データに適用して得られる位置特徴量データから、映像面（フレーム毎の空間）での動作の差異の大きさを示す位置重みを算出する。そして、動作解析システム１００ｅは、算出した位置重みを、比較対象動作の映像における各位置の重要度として示す結果表示画面を生成し、ユーザに提示する。これにより、動作解析システム１００ｅは、順序違い動作であっても、処理負荷を低減可能であることおよび加法性等のＣＨＬＡＣ特徴量の利点を活かし、その動作の位置を容易に抽出してユーザに提示することができる。

次に、動作解析装置３００ｅの構成について説明する。

図１９は、動作解析装置３００ｅの構成の一例を示すブロック図である。

図１９において、動作解析装置３００ｅは、動作データ入力部３１０、時間重み抽出部３３１ｅ、重み付き位置特徴量抽出部３３２ｅ、位置重み抽出部３３３ｅ、および表示情報生成部３５０を有する。

動作データ入力部３１０は、時間重み抽出部３３１ｅからの要求に応じて、センサ装置２００から動作データを取得し、時間重み抽出部３３１ｅおよび表示情報生成部３５０へ転送する。動作データの転送は、リアルタイムで行われても良いし、動作データを格納してから行われても良い。また、動作データ入力部３１０は、センサ装置２００から入力する動作データを、入力装置５００のユーザ操作を受けて、入力時または入力後に標準動作データと比較対象動作データとのいずれかに分類する。動作データ入力部３１０は、一旦入力した標準動作データを、再使用のために格納しておいても良い。

時間重み抽出部３３１ｅは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。そして、時間重み抽出部３３１ｅは、生成した標準特徴量データおよび比較対象特徴量データから、時間重みを抽出し、フレーム毎に重みを定義する時間重みマップを生成する。時間重みマップは、比較対象動作データの各フレームの時間重みを記述したデータである。そして、時間重み抽出部３３１ｅは、生成した時間重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とを、重み付き位置特徴量抽出部３３２ｅへ出力する。

重み付き位置特徴量抽出部３３２ｅは、時間重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とから、重み付き位置特徴量（標準位置特徴量および比較対象位置特徴量）を算出し、位置特徴量データを算出する。そして、重み付き位置特徴量抽出部３３２ｅは、算出した位置特徴量データ（標準位置特徴量データおよび比較対象位置特徴量データ）を、位置重み抽出部３３３ｅへ出力する。

位置重み抽出部３３３ｅは、比較対象位置特徴量データおよび標準位置特徴量データから、位置重みを抽出し、位置毎に重みを定義する位置重みマップを生成する。位置重みマップは、比較対象動作データの映像の各位置の位置重みを記述するデータである。そして、位置重み抽出部３３３ｅは、生成した位置重みマップを、表示情報生成部３５０へ出力する。

表示情報生成部３５０は、位置重みマップと、動作データとから、各位置の位置重みを
比較対象動作の映像における各位置の重要度として示す結果表示画面のデータを生成する。そして、表示情報生成部３５０は、生成した結果表示画面のデータを、出力装置４００に出力する。結果表示画面の詳細については後述する。

重み付き位置特徴量は、上述の通り、時間重みを特徴量データに適用した値の、位置毎の時間積分である。また、時間重みは、動作の差異がより大きい時間において、より大きい値を取る。すなわち、各位置の重み付き位置特徴量は、動作の差異が大きい時間が存在すると大きくなり、例えば、順序違い動作が発生していると、その動作の位置に対応して大きくなる。また、位置重みは、重み付き位置特徴量がより大きい位置において、より大きい値を取る。

したがって、上述の構成を有する動作解析装置３００ｅは、順序違い動作が存在するとき、その動作に対応する位置の位置重みを強調することができ、順序違い動作の位置を抽出してユーザに提示することができる。

次に、動作解析装置３００ｅの動作について説明する。

図２０は、動作解析装置３００ｅの動作の一例を示すフローチャートである。

まず、ユーザは、例えば、対象の動作を含む作業の担当を、休み時間を挟んで熟練作業者と一般作業者とで交代して貰い、それぞれの動作を撮影するように、動作解析装置３００ｅを操作する。このようにすることで、動作評価のための時間を特に必要とすることなく作業者にも負荷をかけないため、工場の生産性に影響を与えることなく動作解析のためのデータ取得を行うことができる。

この結果、動作データ入力部３１０は、ステップＳ３１００ｅにおいて、標準動作データと比較対象動作データとを入力する。そして、動作データ入力部３１０は、入力した標準動作データおよび比較対象動作データを、時間重み抽出部３３１ｅからの要求に応じて、時間重み抽出部３３１ｅおよび表示情報生成部３５０へ出力する。なお、動作データ入力部３１０は、過去に入力した標準動作データを格納している場合には、その標準動作データを時間重み抽出部３３１ｅへ出力しても良い。

そして、ステップＳ３２００ｅにおいて、時間重み抽出部３３１ｅは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。

具体的には、時間重み抽出部３３１ｅは、例えば、以下の式（５）に示すＮ次自己相関関数を用いて、位置毎および時間毎の画像特徴量Ｖを算出する。

ここで、ｆは時系列画像であり、変数ｒおよびＮ個の変数ａ_ｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。

ＣＨＬＡＣ特徴量の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、本実施の形態における画像特徴量は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。

ステップＳ３３００ｅにおいて、時間重み抽出部３３１ｅは、標準特徴量データおよび比較対象特徴量データから時間重みマップを生成し、標準特徴量データおよび比較対象特徴量データと併せて、重み付き位置特徴量抽出部３３２ｅへ出力する。

ステップＳ３４００ｅにおいて、重み付き位置特徴量抽出部３３２ｅは、標準特徴量データに時間重みマップを適用して標準位置特徴量データを算出し、比較対象特徴量データに時間重みマップを適用して比較対象位置特徴量データを算出する。そして、重み付き位置特徴量抽出部３３２ｅは、算出した標準位置特徴量データおよび比較対象位置特徴量データを、位置重み抽出部３３３ｅへ出力する。

具体的には、重み付き位置特徴量抽出部３３２ｅは、以下に示す、式（６）で表される時間重みｗ_ｔと、式（７）で表される実数の画像特徴量Ｖ_ｔ,ｘ,ｙとから、式（８）を用いて、重み付き位置特徴量Ｖ_ｘ,ｙ（チルダ）を算出する。そして、重み付き位置特徴量抽出部３３２ｅは、映像面全体についての時間特徴量Ｖ_ｘ,ｙ（チルダ）を並べたデータを、位置特徴量データとして位置重み抽出部３３３ｅへ出力する。ここで、記号ｔは比較対象動作の映像における時間（フレームに対応）を示し、記号ｘ,ｙはフレーム毎の空間（映像面）における２次元位置を示し、記号ｄは画像特徴量の次元数を示し、記号τは時間方向の積分範囲を示す。

そして、ステップＳ３５００ｅにおいて、位置重み抽出部３３３ｅは、標準位置特徴量データおよび比較対象位置特徴量データから、位置重みマップを生成し、表示情報生成部３５０へ出力する。

そして、ステップＳ３６００ｅにおいて、表示情報生成部３５０は、位置重みマップと、標準動作データおよび比較対象動作データとから、抽出結果を提示する結果表示画面を生成し、出力装置４００に表示させる。

そして、ステップＳ３７００ｅにおいて、動作解析装置３００ｅは、ユーザ操作等により解析処理の終了を指示されたか否かを判断する。動作解析装置３００ｅは、解析処理の終了を指示されない場合には（Ｓ３７００ｅ：ＹＥＳ）、ステップＳ３１００ｅへ戻り、解析処理の終了を指示された場合には（Ｓ３７００ｅ：ＮＯ）、一連の動作を終了する。

上記の動作により、動作解析装置３００ｅは、時間重みｗ_ｘ,ｙｔを算出後、その時間重みｗ_ｘ,ｙｔを特徴量データＶ_ｔ,ｘ,ｙ（チルダ）に適用して得られる位置特徴量データＶ_ｘ,ｙ（チルダ）から位置重みｗ_ｘ,ｙを算出する。次に、動作解析装置３００ｅは、算出した位置重みｗ_ｘ,ｙを、映像の各位置の重要度として提示することができる。

以下、順序違い動作の一例を挙げて、各パラメータの状態および結果表示画面について説明する。

図２１は、想定する標準動作の映像および比較対象動作の映像を示す図である。

図２１に示すように、標準動作の映像６０１と比較対象動作の映像６０２の撮影アングルは同じである。したがって、動作解析装置３００ｅは、同じ動作を同じ順序で行う場合、撮影アングルおよび撮影画素数を同じくすることにより、映像上の動きの向き、大きさ、順序もほぼ同一となる。

図２２は、想定する標準動作および比較対象動作の内容と、その場合の時間重みマップの一例とを示す図である。

標準動作の例は、図２２Ａに示すように、以下の動作を含む。
（１）左側から第１の部品を取り正面に設置し、
（２）左手を斜め左に伸ばして第２の部品を取って第１の部品に取り付け、
（３）左手を前に伸ばして第３の部品を取って第１の部品に取り付け、
（４）右手を前に伸ばして第４の部品を取って第１の部品に取り付け、
（５）第２〜第４の部品が取り付けられた第１の部品を右側に置く。

一方、比較対象動作の例は、図２２Ｂに示すように、以下の動作を含む。
（１）左側から第１の部品を取り正面に設置し、
（２）左手を前に伸ばして第３を取って第１の部品に取り付け、
（３）左手を斜め左に伸ばして第２の部品を取って第１の部品に取り付け、
（４）右手を前に伸ばして第４の部品を取って第１の部品に取り付け、
（５）第２〜第４の部品が取り付けられた第１の部品を右側に置く。
すなわち、比較対象動作は、２番目の動作と３番目の動作の順序が、標準動作と異なっており、順序違い動作を含んでいるものとする。

この場合、標準特徴量データと比較対象特徴量データとの差異は、（２）および（３）の動作の箇所において大きくなる。したがって、動作解析装置３００ｅが算出する時間重みは、図２２Ｃに示すように、（２）および（３）の動作の箇所において大きくなる。

図２３は、図２２に示す動作における各時刻の時間重みの例を示す図である。ここでは、網掛けの濃さは時間重みの大きさを示す。また、各記号の添え字は、対応する時刻ｔを示すものとする。また、時刻ｔ＝１〜５は、順に、図２２に示す動作（１）〜（５）に対応しているものとする。すなわち、順序違い動作は、時刻ｔ＝２、３において発生している。

図２３Ａに示すように、時間重みｗ_１〜ｗ_５のうち、順序違い動作に対応する時間重みｗ_２、ｗ_３の値が大きくなる。画像特徴量Ｖ_１〜Ｖ_５は、動作（１）〜（５）が行われている位置において大きな値となる。すなわち、例えば、時刻ｔ＝１のフレームでは、動作（１）が行われている位置（左手が左側から正面に移動する範囲）の画像特徴量Ｖ_ｔ,ｓ,ｙは大きい値となり、その他の位置の画像特徴量Ｖ_ｔ,ｓ,ｙは小さい値となる。

したがって、動きの大きい順序違い動作が存在するとき、その動作位置の重み付き位置特徴量Ｖ_ｘ,ｙ（チルダ）は、図２３Ｂに示すように、時刻毎に画像特徴量Ｖ_ｔ,ｓ,ｙに時間重みｗ_ｔを乗じた値を積分して算出することで、大きい値となる。そして、動きの大きい順序違い動作が存在するとき、その動作が行われた位置の位置重みｗ_ｘ,ｙも、大きい値となる。一方、それ以外の位置の重み付き位置特徴量Ｖ_ｘ,ｙ（チルダ）および位置重みｗ_ｘ,ｙは、画像特徴量Ｖ_ｘ,ｙが小さいことから、時間重みｗ_ｔによらずに小さい値となる。

重み付き位置特徴量Ｖ_ｘ,ｙ（チルダ）を算出する際の積分範囲（τ）が対象フレームの全体長に比べて短いとき、重み付き位置特徴量Ｖ_ｘ,ｙ（チルダ）の大きさは、積分範囲の位置によって異なる。

図２４は、各区間における位置重みｗ_ｘ,ｙの分布（位置重みマップ）の一例を示す図である。ここで、網掛けの濃さは位置重みｗ_ｘ,ｙの大きさを示す。

時刻ｔ＝２と時刻ｔ＝３とでは、左手を出す方向が異なることから、動作が行われている位置は異なる。したがって、図２４に示すように、例えば、時刻ｔ＝２を中心とした区間Ｐ＝１と、時刻ｔ＝３を中心とした区間Ｐ＝２とでは、位置重みマップの内容が異なることになる。

表示情報生成部３５０は、例えば、１つの区間の情報のみを提示する場合には、位置重みｗ_ｘ,ｙの値が大きい位置を目立たせる結果表示画面を生成する。例えば、表示情報生成部３５０は、位置重みｗ_ｘ,ｙの値が大きい位置を含む一まとまりのエリア（以下「重要エリア」という）を設定する。次に、表示情報生成部３５０は、重要エリアの位置重みｗ_ｘ,ｙの平均値が高いほど、重要エリアを囲む線をより濃い色にしたりより太くしたりする。また、例えば、表示情報生成部３５０は、重要エリアの映像のみを鮮明に表示し、他の部分の映像をぼやかして表示する結果表示画面を生成する。

図２５は、結果表示画面の一例を示す図である。

図２５に示すように、結果表示画面６１０ｅは、解析結果表示領域６１１、再生ボタン６１２、比較対象動作表示領域６１３、一時停止ボタン６１４、終了ボタン６１５、および標準動作表示領域６１６を有する。

結果表示画面６１０ｅは、解析結果表示領域６１１に、時間重みの時系列データ（重みマップ）６１７と、所定の閾値を示す閾値表示線６１８と、時間重みが閾値表示線６１８を超える区間を示すマーカ６１９とを表示する。また、結果表示画面６１０ｅは、入力装置５００から左右に移動操作可能な、再生箇所表示線６２０を表示する。

結果表示画面６１０ｅは、再生ボタン６１２がクリックされると、比較対象動作の撮影画像を比較対象動作表示領域６１３で再生すると共に、再生箇所表示線６２０を、再生に合わせて移動させる。また、結果表示画面６１０ｅは、画像の再生中に一時停止ボタン６１４がクリックされると、画像の再生を一時的に停止する。また、標準動作表示領域６１６は、比較対象動作表示領域６１３における比較対象動作の撮影画像の再生と同期して、標準動作の撮影画像を再生する。

そして、結果表示画面６１０ｅは、比較対象動作の撮影画像に重ねて、重要エリアを示す枠線６２１ｅを表示する。枠線６２１ｅは、例えば、時間重みが閾値表示線６１８を超える区間において、濃い色となり、他の表示区間において、薄い色となる。

このような結果表示画面６１０ｅにより、ユーザは、再生箇所表示線６２０をマーカ６１９部分に移動させて再生ボタン６１２をクリックすることができる。そして、この操作により、ユーザは、順序違い動作等によって動作の差異が大きい箇所の映像を、素早くピックアップして確認することができる。また、重要エリアを示す枠線６２１ｅが表示されるので、ユーザは、動きの差異が大きく、解析対象として重要度が高い箇所を、素早くピックアップして確認することができる。すなわち、ユーザは、画像の中のどこを注目して見るべきなのかを、簡単に把握することができる。また、ユーザは、枠線６２１ｅの濃さが時間重みに対応しているので、重要度の高さを併せて確認しながら、動きの差異を映像で確認することができる。

なお、枠線６２１ｅの形状および大きさは、固定であっても良いし、重要エリアの形状に合わせた形状および大きさであっても良い。また、結果表示画面６１０ｅは、標準動作データの画像と比較対象動作データ画像とを、同時に、または切り換えて表示しても良い。また、結果表示画面６１０ｅは、動作に関連する他のデータ、例えば、動作データの撮影日時や比較対象物の加速度データや音声を、併せて出力しても良い。

また、結果表示画面６１０ｅの解析結果表示領域６１１は、標準特徴量および比較対象特徴量の主成分スコアを併せて出力しても良い。例えば、図２６に示すように、結果表示画面６１０ｅの解析結果表示領域６１１は、画像特徴量の主成分スコアを、時間を横軸にとった３次元グラフ７００を含んでも良い。３次元グラフ７００は、例えば、標準動作特徴量を線７１１で結び、比較対象特徴量を線７２１で結ぶ。このように、結果表示画面６１０ｅは、３次元表示を行うことによって、時間重みだけでなく、動作とともに画像特徴量の変化を分かり易く表示することができる。

以上のように、本実施の形態に係る動作解析装置３００ｅは、時間重みを算出後に、時間重みを特徴量データに適用して得られる位置特徴量データから、映像の各位置の重要度を示す位置重みを算出するものである。これにより、本実施の形態に係る動作解析装置３００ｅは、順序違い動作を容易に抽出することができる。すなわち、時間を細かく区切ることなく、ＣＨＬＡＣ特徴量の利点を活かして、順序違い動作を抽出することができる。

また、動作解析装置３００ｅは、映像の位置重みが高い位置を表示するので、動作の差異が大きい位置をユーザに提示することができる。また、動作解析装置３００ｅは、映像の時間重みが高い時間を表示するので、動作の差異が大きい時間箇所をユーザに提示することができる。すなわち、動作解析装置３００ｅは、ユーザに対して、映像でチェックすべき動作を提示することができる。

なお、本実施の形態では、標準特徴量データに適用する時間重みマップと比較対象特徴量データに適用する時間重みマップとを同一としたが、本発明はこれに限定されない。例えば、標準特徴量データに適用する時間重みマップは、固定された分布の時間重みマップや、全てのフレームにおいて一定値の時間重みマップとしても良い。一定値としては、例えば、対象フレームの最初の時間重みの値、対象フレームにおける時間重みの平均値、対象フレームにおける時間重みの最低値を採用することができる。また、時間重みは、上限値を設けても良い。上限値としては、例えば、対象フレームにおける時間重みの平均値を採用することができる。これにより、標準動作と比較対象動作との間の重み付き位置特徴量の差異がより明確になることがある。

また、動作解析装置は、まず、時間重みに基づいて提示の対象となる時間区間を抽出し、抽出した時間区間毎に位置重みを算出してもよい。これにより、より適切な位置重みを算出することが可能となる。

また、本実施の形態では、時間重みについて標準画像に基づき時間的な伸縮を吸収したが、フーリエ級数展開を導入しても良い。フーリエ級数を導入した時間重みは、特徴量データの差異について、フーリエ級数展開の導入により時間的な伸縮を吸収する。更に、フーリエ級数を導入した時間重みは、各画素のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された、時間軸上の周波数重みを指す。最適化された時間重みは、動作に差があるフレームほど大きくなるという特性を有し、かつ、動作を時系列に評価しつつ各動作データの長さの違いを吸収するという効果を有する。時間重みの詳細については、例えば非特許文献２に記載されているため、ここでの説明を省略する。

また、本実施の形態では、動作解析装置３００ｅは、標準動作データから算出した各時間の標準部分空間と、対応する比較対象動作データから算出した画像特徴量との距離を算出して、時間重みとした。また、動作解析装置３００ｅは、算出した距離に基づいて正規化等の処理をおこなった後の値を、時間重みとしても良い。また、動作解析装置３００ｅは、時間特徴量データの差異について、各時間のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された値としてもよい。

また、標準動作の映像と比較対象動作の映像とで時間長さが同じ、または、異なる場合であっても同じ時間長さに伸縮される場合には、本実施の形態で説明したように、必ずしも導入しなくても良い。また、かかる場合には、時間重みを、単にフレーム毎の画像特徴量の差としても良い。また、位置重みは、単に位置毎の重み付き位置特徴量の差としても良い。

また、本実施の形態では、画像特徴量をＣＨＬＡＣ特徴量として説明したが、これに限定されない。画像特徴量として、例えば、重み付き方向ヒストグラムを用いた高次の局所特徴量等を用いることができる。かかる特徴量を用いる場合、動作解析装置は、濃度勾配画像から画像の局所的な方向ヒストグラムを求め、求めた方向ヒストグラムを特徴ベクトルとすれば良い。このような画像特徴量を用いた場合でも、順序違い動作の位置を容易に抽出することができる。

また、本実施の形態では、時間重みの算出および位置重みの算出を行う際に、同一のセンサから取得したデータを用いたが、異なるセンサから取得したデータを用いても良い。本実施の形態では、例えば、同じ種類のセンサであるカメラセンサから取得したデータを用いても良い。この場合、時間重みの算出に用いる標準データは、水平方向だけでなく垂直方向の動きも捕らえやすいやや斜め前方から取得したデータとし、位置重みの算出に用いるデータは真上から取得したデータとしても良い。こうすることで、目的に応じて、より適切な時間重みや位置重みを抽出することができる。

更に、例えば、時間重みの算出には、加速度センサから取得したデータを用い、位置重みの算出にはカメラセンサから取得したデータを用いるようにしても良い。本実施の形態では、例えば、カメラセンサから取得したデータを用いて時間重みを算出し、加速度センサから取得したデータで時間重みを算出する。この場合は、カメラセンサに水平方向や垂直方向に死角や誤差があっても、カメラセンサの弱点を補うことができる。加速度センサから取得したデータを用いる場合にも、局所特徴量を算出した後は、画像から算出した特徴量と同様に時間重みを算出する。例えば、加速度センサを動作者の両手首に装着した場合は、両手の６次元と加速度データ間の相関関係の１５次元とを合わせた２１次元の特徴量を、加速度センサの局所特徴量として算出すれば良い。また、評価する動作に用いる道具には、加速度センサを装着させておくことも考えられる。こうすることで、動作者に加速度センサを装着せずに、異なるセンサの特性を生かした動作評価が可能となる。

（実施の形態６）
例えば、製品の組み立て工程において、右手と左手が異なる作業を行うことがある。具体的には、例えば、右手で電動ドライバのような工具を持ち、左手でネジのような部品を取って支え、ネジ留めをするような作業である。このように、右手で大きい工具を持ち左手で小さい部品を取って作業を行うときに、左手が無駄な動作をしていると、作業効率が低下する。したがって、このような動作が行われたとき、その動作が発生した時間の映像を提示することが望まれる。

しかしながら、このような例の場合、上述の特許文献２および非特許文献２に記載の方法では、左手の無駄な動作を抽出することが困難である。

理由は以下の通りである。上述の例の場合、右手の動作に大きい工具の動きが付随し、左手の動作に小さい部品の動きが付随する。したがって、右手の動作に関連する動きが映像面を占める面積に比べて、左手の動作に関連する動きが映像面を占める面積は小さい。

ＣＨＬＡＣ特徴量を空間積分した値を用いる非特許文献２記載の方法では、左手の動作を示す画像特徴量が積分値に与える影響は小さくなり、左手の無駄な動作の時間を適切に抽出することは難しい。更に、右手の動作を示す画像特徴量が積分値に与える影響は大きいため、このような大きい動きが他に存在すると、動作時間の抽出がより困難となる。

また、特許文献２記載の方法では、左手の無駄な動作の位置を抽出することはできても、左手の無駄な動作の時間を自動で抽出することはできない。なぜなら、特許文献２記載の方法は、ＣＨＬＡＣ特徴量を時間積分した、位置不変の値を用いるからである。

映像面を細かく区切って非特許文献２記載の方法を適用し、区切られた領域毎に動作評価を行えば、左手の無駄な動作の時間を抽出することは可能である。ところが、このような処理は煩雑であるため、特に、標準動作の映像データと比較対象動作の映像データとで映像の画素数が異なる場合に、装置の処理負荷が高くなる。すなわち、従来技術には、関連する動きが映像面を占める面積は小さいものの、標準動作との差異が大きいような動作（以下「小さい差異動作」という）が発生している場合に、その動作時間を容易に抽出することができないという課題がある。

そこで、本発明の実施の形態６として、小さい差異動作の時間を容易に抽出することができるようにした動作解析装置について説明する。

以下、本発明の実施の形態６について、図面を参照して詳細に説明する。

図２７は、本発明の実施の形態６に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図である。

本実施の形態は、実施の形態１〜実施の形態５と同様に、本発明を、熟練作業者と一般作業者とが働く工場において各一般作業者の動作を解析するためのシステムに適用した例として説明する。但し、本実施の形態における動作解析システムは、一般作業者と熟練作業者とで大きく異なる動作の時間を抽出する。

図２７において、本実施の形態に係る動作解析システム１００ｆは、センサ装置２００、本実施の形態に係る動作解析装置３００ｆ、出力装置４００、入力装置５００を有する。

センサ装置２００は、人の動作を検出する装置である。センサ装置２００は、作業者の
動作を計測したデータを、動作解析装置３００ｆへ出力する。ここでは、センサ装置２００は、撮影した画像の画像フレームデータ（動画像データ）をリアルタイムに出力するカメラであり、工場の組み立てラインに並んで作業する各作業者を個別に撮影可能であるものとする。

以下、実施の形態１〜実施の形態５と同様に、熟練作業者による一連の標準動作を撮影した時系列のフレームデータを「標準動作データ」といい、一般対象者による一連の比較対象動作を撮影した時系列のフレームデータを「比較対象動作データ」という。また、標準動作データおよび比較対象動作データは、適宜「動作データ」と総称する。また、比較対象動作データを構成するフレームのうち、１つの解析の対象となる連続した複数のフレームを、「対象フレーム」という。

また、本実施の形態における動作解析システム１００ｆは、画像特徴量に基づいて、動作解析を行う。本実施の形態では、画像特徴量として、非特許文献２に開示されているＣＨＬＡＣ特徴を用いる。ＣＨＬＡＣ特徴は、２次元データからの特徴抽出である高次局所自己相関（ＨＬＡＣ）特徴を、時間軸をも加えて３次元に拡張したものであり、画像の平面空間に時間軸を加えた３次元座標系における動きの特徴を示す特徴ベクトルである。

本実施の形態においても、実施の形態５と同様に、標準動作データから得られる画像特徴量は「標準特徴量」といい、標準動作データから得られる標準特徴量のデータは、「標準特徴量データ」という。また、比較対象動作データから得られる画像特徴量は、「比較対象特徴量」といい、比較対象動作データから得られる比較対象特徴量のデータは、「比較対象特徴量データ」という。また、標準特徴量データおよび比較対象特徴量データは、適宜「特徴量データ」と総称する。

動作解析装置３００ｆは、標準動作との比較により比較対象動作の解析を行う装置である。動作解析装置３００ｆは、比較対象特徴量データと標準特徴量データとから、位置特徴量を抽出する。そして、動作解析装置３００ｆは、この位置特徴量から、映像面の位置毎の比較対象動作の標準動作との差異（以下適宜「動作の差異」という）の大きさを表す値である位置重みを抽出する。次に、動作解析装置３００ｆは、抽出した位置重みを用いて、比較対象特徴量データと標準特徴量データのそれぞれの時間特徴量を算出する。

ここで、位置特徴量は、各時刻の画像上の２次元座標で表現されるある特定の位置の特徴量を、対象フレームの数だけ足した値である。また、位置重みとは、映像面の各位置（以下、単に「位置」という）の標準特徴量および比較対象特徴量から算出された、位置毎の画像特徴量の違いの度合いを示す。位置重みは、ある位置においてその値が高ければ、その位置の標準特徴量と比較対象特徴量との差異が大きいことを示し、ある位置においてその値が少なければ、その位置の標準特徴量と比較対象特徴量との差異が小さいことを示す。位置重みは、非特許文献３に開示されているように、固有重みマップの値を用いても良いし、フィッシャー判別基準を用いたフィッシャー重みマップの値を用いても良い。

なお、動作データによって画素数が異なる場合には、動作解析装置３００ｆは、２次元空間的な伸縮を吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｆは、標準動作データの画素数を基準に、比較対象データの画素数を増減させてから、上記処理を行う。

また、重み付き時間特徴量とは、位置重みを特徴量データに適用した値の、時間毎（フレーム毎）の空間積分である。重み付き時間特徴量は、言い換えれば、位置重み対応ＣＨＬＡＣ特徴量である。つまり、重み付き時間特徴量は、特定画素の近傍の画素の濃淡値の積に位置重みを付与し、画像面全体に対して足し合わせて得られる、非常に局所的な特徴
量である。例えば、位置重みの付与されていないＣＨＬＡＣ特徴に関しては、非特許文献２に記載されているので説明は省略する。

そして、動作解析装置３００ｆは、比較対象特徴量データから得られた重み付き時間特徴量のデータと、標準特徴量データから得られた重み付き時間特徴量のデータとを取得する。次に、動作解析装置３００ｆは、取得した重み付き時間特徴量のデータと重み付き時間特徴量のデータとから、比較対象動作の標準動作との差異の大きさを表す値である時間重みを抽出する。なお、以下、比較対象特徴量データの重み付き時間特徴量のデータは、以下「比較対象時間特徴量データ」といい、標準特徴量データの重み付き時間特徴量のデータは以下「標準時間特徴量データ」という。更に、動作解析装置３００ｆは、各時間の時間重みを、比較対象動作の映像における各時間の重要度として示す結果表示画面のデータを生成し、出力装置４００へ出力する。なお、以下、標準時間特徴量データおよび比較対象時間特徴量データは、適宜「時間特徴量データ」と総称する。

ここで、時間重みとは、標準動作データおよび位置重みから算出した各時間の標準部分空間と、対応する比較対象動作データおよび位置重みから算出した画像特徴量との距離とする。

なお、動作データによってフレーム数が異なる場合には、動作解析装置３００ｆは、時間的な伸縮を吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｆは、標準動作データの平均時間を基準に、フレーム間隔を伸縮させることによって各動作データの時刻を換算時刻に変換した後、必要な換算時刻の画像特徴量を推定して、上記処理を行う。画像特徴量の推定は、推定する時刻に最も近い特徴量で近似してもよいし、推定時刻の前後２点の特徴量を用いて一次関数により行ったり、近傍の複数の点を用いて二次関数や三角関数など他の関数を用いて行っても良い。こうすることで、さらに推定精度の向上が見込まれる。

動作解析装置３００ｆは、ＣＰＵおよびＲＡＭ等の記憶媒体、動画像データを取り込むビデオキャプチャを有するコンピュータとする。すなわち、動作解析装置３００ｆは、記憶する制御プログラムをＣＰＵが実行することによって動作する。

出力装置４００は、動作解析装置３００ｆから入力されるデータに基づいて、結果表示画面を出力する。ここでは、出力装置４００は、液晶ディスプレイを有するモニタであるものとする。なお、出力装置４００は、遠隔地に配置された装置（遠隔監視装置、携帯電話機等）であっても良い。この場合、出力装置４００は、例えば、インターネット等のネットワークを介して動作解析装置３００ｆと接続される。

入力装置５００は、ユーザが動作解析装置３００ｆを操作するためのインタフェースである。ここでは、入力装置５００は、例えば、ポインティングデバイスとしてのマウスと、キーボードである。

このような動作解析システム１００ｆは、まず、映像面（フレーム毎の２次元空間）での動作の差異の大きさを示す位置重みを算出する。次に、動作解析システム１００ｆは、位置重みを特徴量データに適用して得られる時間特徴量データから、時間軸での動作の差異の大きさを示す時間重みを算出する。そして、動作解析システム１００ｆは、算出した時間重みを、比較対象動作の映像における各時間の重要度として示す結果表示画面を生成し、ユーザに提示する。これにより、動作解析システム１００ｆは、小さい差異動作であっても、処理負荷を低減可能であることおよび加法性等のＣＨＬＡＣ特徴量の利点を活かし、その発生時間を容易に抽出してユーザに提示することができる。すなわち、動作解析システム１００ｆは、動作に付随して動くものの大きさによる影響を抑えた状態で、差異
動作の抽出を行うことができる。

次に、動作解析装置３００ｆの構成について説明する。

図２８は、動作解析装置３００ｆの構成の一例を示すブロック図である。

図２８において、動作解析装置３００ｆは、動作データ入力部３１０、位置重み抽出部３４１ｆ、重み付き時間特徴量抽出部３４２ｆ、時間重み抽出部３４３ｆ、および表示情報生成部３５０を有する。

動作データ入力部３１０は、位置重み抽出部３４１ｆからの要求に応じて、センサ装置２００から動作データを取得し、位置重み抽出部３４１ｆおよび表示情報生成部３５０へ転送する。動作データの転送は、リアルタイムで行われても良いし、動作データを格納してから行われても良い。また、動作データ入力部３１０は、センサ装置２００から入力する動作データを、入力装置５００のユーザ操作を受けて、入力時または入力後に標準動作データと比較対象動作データとのいずれかに分類する。動作データ入力部３１０は、一旦入力した標準動作データを、再使用のために格納しておいても良い。

位置重み抽出部３４１ｆは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。そして、位置重み抽出部３４１ｆは、生成した標準特徴量データおよび比較対象特徴量データから、位置重みを抽出し、位置毎に重みを定義する位置重みマップを生成する。位置重みマップは、比較対象動作データの映像面の各位置の位置重みを記述したデータである。そして、位置重み抽出部３４１ｆは、生成した位置重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とを、重み付き時間特徴量抽出部３４２ｆへ出力する。

重み付き時間特徴量抽出部３４２ｆは、位置重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とから、重み付き時間特徴量（標準時間特徴量および比較対象時間特徴量）を算出し、時間特徴量データを算出する。そして、重み付き時間特徴量抽出部３４２ｆは、算出した時間特徴量データ（標準時間特徴量データおよび比較対象時間特徴量データ）を、時間重み抽出部３４３ｆへ出力する。

時間重み抽出部３４３ｆは、比較対象時間特徴量データおよび標準時間特徴量データから、時間重みを抽出し、時間毎に重みを定義する時間重みマップを生成する。時間重みマップは、比較対象動作データの映像の各時間の時間重みを記述するデータである。そして、時間重み抽出部３４３ｆは、生成した時間重みマップを、表示情報生成部３５０へ出力する。

表示情報生成部３５０は、時間重みマップと、動作データとから、各時間の時間重みを比較対象動作の映像における各時間の重要度として示す結果表示画面のデータを生成する。そして、表示情報生成部３５０は、生成した結果表示画面のデータを、出力装置４００に出力する。結果表示画面の詳細については後述する。

重み付き時間特徴量は、上述の通り、位置重みを特徴量データに適用した値の、時間毎（平滑化のためにフレームをいくつか合わせた窓毎）の空間積分である。また、位置重みは、動作の差異がより大きい位置において、より大きい値を取る。すなわち、各時間の重み付き時間特徴量は、動作の差異が大きい位置が存在すると大きくなり、例えば、小さい差異動作が発生していると、その動作の時間に対応して大きくなる。また、時間重みは、重み付き時間特徴量がより大きい位置において、より大きい値を取る。

したがって、上述の構成を有する動作解析装置３００ｆは、小さい差異動作が存在するとき、その動作に対応する時間の時間重みを強調することができ、小さい差異動作の時間を抽出してユーザに提示することができる。

次に、動作解析装置３００ｆの動作について説明する。

図２９は、動作解析装置３００ｆの動作の一例を示すフローチャートである。

まず、ユーザは、例えば、対象の動作を含む作業の担当を、休み時間を挟んで熟練作業者と一般作業者とで交代して貰い、それぞれの動作を撮影するように、動作解析装置３００ｆを操作する。このようにすることで、動作評価のための時間を特に必要とすることなく作業者にも負荷をかけないため、工場の生産性に影響を与えることなく動作解析のためのデータ取得を行うことができる。

この結果、動作データ入力部３１０は、ステップＳ３１００ｆにおいて、標準動作データと比較対象動作データとを入力する。そして、動作データ入力部３１０は、入力した標準動作データおよび比較対象動作データを、位置重み抽出部３４１ｆからの要求に応じて、位置重み抽出部３４１ｆおよび表示情報生成部３５０へ出力する。なお、動作データ入力部３１０は、過去に入力した標準動作データを格納している場合には、その標準動作データを位置重み抽出部３４１ｆへ出力しても良い。

そして、ステップＳ３２００ｆにおいて、位置重み抽出部３４１ｆは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。

具体的には、位置重み抽出部３４１ｆは、例えば、以下の式（９）に示すＮ次自己相関関数を用いて、位置毎および時間毎の画像特徴量Ｖを算出する。

ここで、ｆは時系列画像であり、変数ｒおよびＮ個の変数ａ_ｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。

ＣＨＬＡＣ特徴量の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、本実施の形態における画像特徴量は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。

ステップＳ３３１０ｆにおいて、位置重み抽出部３４１ｆは、標準特徴量データおよび比較対象特徴量データから位置重みマップを生成し、標準特徴量データおよび比較対象特徴量データと併せて、重み付き時間特徴量抽出部３４２ｆへ出力する。

ステップＳ３４１０ｆにおいて、重み付き時間特徴量抽出部３４２ｆは、標準特徴量データに位置重みマップを適用して標準時間特徴量データを算出し、比較対象特徴量データ
に位置重みマップを適用して比較対象時間特徴量データを算出する。そして、重み付き時間特徴量抽出部３４２ｆは、算出した標準時間特徴量データおよび比較対象時間特徴量データを、時間重み抽出部３４３ｆへ出力する。

具体的には、重み付き時間特徴量抽出部３４２ｆは、以下に示す、式（１０）で表される位置重みｗ_ｘ,ｙと、式（１１）で表される実数の画像特徴量Ｖ_ｔ,ｘ,ｙとから、式（１２）を用いて、重み付き時間特徴量Ｖ_ｔ（チルダ）を算出する。そして、重み付き時間特徴量抽出部３４２ｆは、映像面全体についての重み付き時間特徴量Ｖ_ｔ（チルダ）を並べたデータを、時間特徴量データとして時間重み抽出部３４３ｆへ出力する。ここで、記号ｔは比較対象動作の映像における時間（フレームに対応）を示し、記号ｘ，ｙはフレーム毎の空間（映像面）における２次元位置を示し、記号ｄは画像特徴量の次元数を示し、記号ｎ、ｍは映像の縦横それぞれの画素数を示す。

そして、ステップＳ３５１０ｆにおいて、時間重み抽出部３４３ｆは、標準時間特徴量データおよび比較対象時間特徴量データから、時間重みマップを生成し、表示情報生成部３５０へ出力する。

そして、ステップＳ３６１０ｆにおいて、表示情報生成部３５０は、時間重みマップと、標準動作データおよび比較対象動作データとから、抽出結果を提示する結果表示画面を生成し、出力装置４００に表示させる。

そして、ステップＳ３７００ｆにおいて、動作解析装置３００ｆは、ユーザ操作等により解析処理の終了を指示されたか否かを判断する。動作解析装置３００ｆは、解析処理の終了を指示されない場合には（Ｓ３７００ｆ：ＹＥＳ）、ステップＳ３１００ｆへ戻り、解析処理の終了を指示された場合には（Ｓ３７００ｆ：ＮＯ）、一連の動作を終了する。

上記の動作により、動作解析装置３００ｆは、位置重みｗ_ｘ,ｙを算出後、その位置重みｗ_ｘ,ｙを特徴量データＶ_ｔ,ｘ,ｙに適用して得られる時間特徴量データＶ_ｔ（チルダ）から時間重みｗ_ｔを算出する。次に、動作解析装置３００ｆは、算出した時間重みｗ_ｔを、映像の各時間の重要度として提示することができる。

以下、動作の画面上の位置に差異があり、時間軸で見ると他に大きな動作があるために相対的に小さい動作となる場合がある。このような標準動作と比較対象動作との差異動作といえる動作（以下、単に「小さい差異動作」という）の一例を挙げて、各パラメータの状態および結果表示画面について説明する。

図３０は、想定する標準動作の映像および比較対象動作の映像を示す図である。

図３０に示すように、標準動作の映像６０１と比較対象動作の映像６０２の撮影アングルおよび撮影画素数は同じである。したがって、動作解析装置３００ｆは、同じ動作を同じ順序で行う場合、撮影アングルを同じくすることにより、映像上の動きの向き、大きさ、順序もほぼ同一となる。

図３１は、想定する標準動作および比較対象動作の内容と、その場合の位置重みマップの一例とを示す図である。

標準動作の例は、図３１Ａに示すように、以下の動作を含む。
（１）右側から大きな第１の部品６０５が移動して正面に設置され、
（２）右手を前に伸ばして工具６０６を取り、
（３）左手を前に伸ばして第２の部品６０７を取り、
（４）工具６０６で第２の部品６０７を第１の部品６０５に取り付け、
（５）第２の部品６０７が取り付けられた第１の部品６０５を左側に送る。

一方、比較対象動作の例は、図３１Ｂに示すように、以下の動作を含む。
（１）右側から大きな第１の部品６０５が移動して正面に設置され、
（２）右手を前に伸ばして工具６０６を取り、
（３）左手を斜め左に伸ばして第２の部品６０７を取り、
（４）工具６０６で第２の部品６０７を第１の部品６０５に取り付け、
（５）第２の部品６０７が取り付けられた第１の部品６０５を左側に送る。
すなわち、比較対象動作は、第２の部品６０７を取る動作の方向が、標準動作と異なっている。

この場合、標準特徴量データと比較対象特徴量データとの差異は、（３）の動作の箇所において大きくなる。したがって、動作解析装置３００ｆが算出する位置重みは、図３１Ｃに示すように、（３）の動作の箇所において大きくなる。ここで、網掛けの濃さは、位置重みの大きさを示す。

従来のＣＨＬＡＣ特徴量、つまり画像特徴量をフレーム毎に空間積分した値では、画素の値は均等に加算される。したがって、右手の動作の画像特徴量には第１の工具６０６の動きの画像特徴量が加算され、左手の動作の画像特徴量は相対的に少なくなり、左手の動作の差異を抽出することが困難になる。特に、工具６０６が大きく、相対的に第２の部品６０７が非常に小さい場合、その時間におけるフレーム全体の画像特徴量に占める左手の動作に関する画像特徴量は更に小さくなり、左手の動作の差異の抽出することはより困難となる。

この点、動作解析装置３００ｆは、図３１Ｃに示すような動作の差異を位置毎に反映する位置重みを、画像特徴量に適用するので、（３）のような小さい差異動作を強調して容易に抽出することができる。

図３２は、図３１に示す動作における各時刻の位置重みｗ_ｘ,ｙの分布（位置重みマップ）の例を示す図である。ここでは、網掛けの濃さは位置重みの大きさを示す。また、各記号の添え字は、対応する時間ｔを示すものとする。また、時間ｔ＝１〜５は、順に、図３１に示す動作（１）〜（５）に対応しているものとする。すなわち、小さい差異動作は、時間ｔ＝３において発生している。

図３２に示すように、位置重みのうち、小さい差異動作に対応する位置の位置重みｗ_ｘ,ｙの値が大きくなる。画像特徴量Ｖ_１（チルダ）〜Ｖ_５（チルダ）は、動作（１）〜（
５）が行われている位置において大きな値となる。すなわち、例えば、時間ｔ＝３のフレームでは、動作（３）が行われている位置（左手が斜め前に移動する範囲）の画像特徴量Ｖ_ｔ,ｓ,ｙは相対的に大きい値となり、その他の位置の画像特徴量Ｖ_ｔ,ｓ,ｙは相対的に小さい値となる。

したがって、（３）の動作のような小さい差異動作が存在するとき、その動作が行われた時間の重み付き時間特徴量Ｖ_ｔ（チルダ）は、次のように求める。重み付き時間特徴量Ｖ_ｔ（チルダ）は、図３２に示すように、位置毎に画像特徴量Ｖ_ｔ,ｘ,ｙに位置重みｗ_ｘ,ｙを乗じた値を積分して算出することで、相対的に大きい値となる。そして、（３）の動作のような小さい差異動作が存在するとき、同じフレームに同時に大きな動作が含まれていたとしても、その時間の時間重みｗ_ｔも、相対的に大きい値となる。

表示情報生成部３５０は、例えば、１つの区間の情報のみを提示する場合には、位置重みｗ_ｘ,ｙの値が大きい位置を目立たせる結果表示画面を生成する。例えば、表示情報生成部３５０は、位置重みｗ_ｘ,ｙの値が大きい位置を含む一まとまりのエリア（以下「重要エリア」という）を設定する。次に、表示情報生成部３５０は、重要エリアの位置重みｗ_ｘ,ｙの平均値が高いほど、重要エリアを囲む線をより濃い色にしたりより太くしたりする。また、例えば、表示情報生成部３５０は、重要エリアの映像のみを鮮明に表示し、他の部分の映像をぼやかして表示する結果表示画面を生成する。

図３３は、結果表示画面の一例を示す図である。

図３３に示すように、結果表示画面６１０ｆは、解析結果表示領域６１１、再生ボタン６１２、比較対象動作表示領域６１３、一時停止ボタン６１４、終了ボタン６１５、および標準動作表示領域６１６を有する。

結果表示画面６１０ｆは、解析結果表示領域６１１に、時間重みの時系列データ（重みマップ）６１７と、所定の閾値を示す閾値表示線６１８と、時間重みが閾値表示線６１８を超える区間を示すマーカ６１９とを表示する。また、結果表示画面６１０ｆは、入力装置５００から左右に移動操作可能な、再生箇所表示線６２０を表示する。

結果表示画面６１０ｆは、再生ボタン６１２がクリックされると、比較対象動作の撮影画像を比較対象動作表示領域６１３で再生すると共に、再生箇所表示線６２０を、再生に合わせて移動させる。また、結果表示画面６１０ｆは、画像の再生中に一時停止ボタン６１４がクリックされると、画像の再生を一時的に停止する。また、標準動作表示領域６１６は、比較対象動作表示領域６１３における比較対象動作の撮影画像の再生と同期して、標準動作の撮影画像を再生する。

そして、結果表示画面６１０ｆは、比較対象動作の撮影画像に重ねて、重要エリアを示す枠線６２１ｆを表示する。枠線６２１ｆは、例えば、時間重みが閾値表示線６１８を超える区間において、濃い色となり、他の表示区間において、薄い色となる。

このような結果表示画面６１０ｆにより、ユーザは、再生箇所表示線６２０をマーカ６１９部分に移動させて再生ボタン６１２をクリックすることができる。そして、この操作により、ユーザは、小さい差異動作等によって動作の差異が大きい時間の映像を、素早くピックアップして確認することができる。また、重要エリアを示す枠線６２１ｆが表示されるので、ユーザは、小さい差異動作等の、動きの差異が大きく、解析対象として重要度が高い箇所を、素早くピックアップして確認することができる。すなわち、ユーザは、画像の中のどこを注目して見るべきなのかを、簡単に把握することができる。また、ユーザは、枠線６２１ｆの濃さが時間重みに対応しているので、重要度の高さを併せて確認しな
がら、動きの差異を映像で確認することができる。

なお、枠線６２１ｆの形状および大きさは、固定であっても良いし、重要エリアの形状に合わせた形状および大きさであっても良い。また、結果表示画面６１０ｆは、標準動作データの画像と比較対象動作データ画像とを、同時に、または切り換えて表示しても良い。また、結果表示画面６１０ｆは、動作に関連する他のデータ、例えば、動作データの撮影日時や比較対象物の加速度データや音声を、併せて出力しても良い。

また、結果表示画面６１０ｆの解析結果表示領域６１１は、標準特徴量および比較対象特徴量の主成分スコアを併せて出力しても良い。例えば、図３４に示すように、結果表示画面６１０ｆの解析結果表示領域６１１は、画像特徴量の主成分スコアを、時間を横軸にとった３次元グラフ７００を含んでも良い。３次元グラフ７００は、例えば、標準動作特徴量を線７１１で結び、比較対象特徴量を線７２１で結ぶ。このように、結果表示画面６１０ｆは、３次元表示を行うことによって、時間重みだけでなく、動作とともに画像特徴量の変化を分かり易く表示することができる。

以上のように、本実施の形態に係る動作解析装置３００ｆは、位置重みを算出後に、位置重みを特徴量データに適用して得られる時間特徴量データから、映像の各次官の重要度を示す時間重みを算出するものである。これにより、本実施の形態に係る動作解析装置３００ｆは、小さい差異動作を容易に抽出することができる。すなわち、映像面を細かく区切ることなく、ＣＨＬＡＣ特徴量の利点を活かして、小さい差異動作を抽出することができる。

また、動作解析装置３００ｆは、映像の位置重みが高い位置を表示するので、動作の差異が大きい位置をユーザに提示することができる。また、動作解析装置３００ｆは、映像の時間重みが高い時間を表示するので、動作の差異が大きい時間箇所をユーザに提示することができる。すなわち、動作解析装置３００ｆは、ユーザに対して、映像でチェックすべき動作を提示することができる。

なお、本実施の形態では、標準特徴量データに適用する位置重みマップと比較対象特徴量データに適用する位置重みマップとを同一としたが、本発明はこれに限定されない。例えば、標準特徴量データに適用する位置重みマップは、固定された分布の位置重みマップや、全ての領域において一定値の位置重みマップとしても良い。一定値としては、例えば、映像面の中心の位置重みの値、映像面における位置重みの平均値、映像面における位置重みの最低値を採用することができる。また、位置重みは、上限値を設けても良い。上限値としては、例えば、映像面における位置重みの平均値を採用することができる。これにより、標準動作と比較対象動作との間の重み付き時間特徴量の差異がより明確になることがある。

また、動作解析装置は、まず、位置重みに基づいて提示の対象となる領域を抽出し、抽出した領域毎に時間重みを算出してもよい。これにより、より適切な時間重みを算出することが可能となる。

また、本実施の形態では、時間重みについて標準画像に基づき時間的な伸縮を吸収したが、フーリエ級数展開を導入しても良い。フーリエ級数を導入した時間重みは、特徴量データの差異について、フーリエ級数展開の導入により時間的な伸縮を吸収する。次に、フーリエ級数を導入した時間重みは、各画素のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された、時間軸上の周波数重みを指す。最適化された時間重みは、動作に差があるフレームほど大きくなるという特性を有し、かつ、動作を時系列に評価しつつ各動作データの長さの違いを吸収するという効
果を有する。時間重みの詳細については、例えば非特許文献３に記載されているため、ここでの説明を省略する。

また、本実施の形態では、動作解析装置３００ｆは、標準動作データから算出した各時間の標準部分空間と、対応する比較対象動作データから算出した画像特徴量との距離を算出して、時間重みとした。また、動作解析装置３００ｆは、算出した距離に基づいて正規化等の処理をおこなった後の値を時間重みとしても良い。また、動作解析装置３００ｆは、時間特徴量データの差異について、各時間のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された値としてもよい。また、時間重みは、単にフレーム毎の重み付き時間特徴量の差としても良い。

また、本実施の形態では、画像特徴量をＣＨＬＡＣ特徴量として説明したが、これに限定されない。画像特徴量として、例えば、方向ヒストグラムを用いた高次の局所特徴量等を用いることができる。かかる特徴量を用いる場合、動作解析装置は、濃度勾配画像から画像の局所的な方向ヒストグラムを求め、求めた方向ヒストグラムを特徴ベクトルとすれば良い。このような画像特徴量を用いた場合でも、小さい差異動作の時間を容易に抽出することができる。

また、本実施の形態では、時間重みの算出および位置重みの算出を行う際に、同一のセンサから取得したデータを用いたが、異なるセンサから取得したデータを用いても良い。例えば、本実施の形態では、同じ種類のセンサであるカメラセンサから取得したデータを用いても良い。この場合、時間重みの算出に用いる標準データは、水平方向だけでなく垂直方向の動きも捕らえやすいやや斜め前方から取得したデータとし、位置重みの算出に用いるデータは真上から取得したデータとしても良い。こうすることで、目的に応じて、より適切な時間重みや位置重みを抽出することができる。

更に、例えば、時間重みの算出には加速度センサから取得したデータを用い、位置重みの算出にはカメラセンサから取得したデータを用いるようにしても良い。本実施の形態では、例えば、カメラセンサから取得したデータを用いて時間重みを算出し、加速度センサから取得したデータで時間重みを算出する。この場合は、カメラセンサに水平方向や垂直方向に死角や誤差があっても、カメラセンサの弱点を補うことができる。加速度センサから取得したデータを用いる場合にも、局所特徴量を算出した後は、画像から算出した特徴量と同様に時間重みを算出する。例えば、加速度センサの局所特徴量の算出は、加速度センサを動作者の両手首に装着した場合、両手の６次元と加速度データ間の相関関係の１５次元とを合わせた２１次元の特徴量を、加速度センサの局所特徴量として算出すれば良い。また、評価する動作に用いる道具は、加速度センサを装着させておくことも考えられる。こうすることで、動作者に加速度センサを装着せずに、異なるセンサの特性を生かした動作評価が可能となる。

（実施の形態７）
以上説明した実施の形態５および実施の形態６は、実施の形態１〜実施の形態４のいずれかと組み合わせることが可能である。すなわち、実施の形態１〜実施の形態４において、解析の対象を、実施の形態５で説明した順序違い動作や、実施の形態６で説明した小さい差異動作とすることができる。これにより、順序違い動作の抽出結果の提示量や、小さい差異動作の時間の抽出結果の提示量についても、容易に調整することが可能となる。本発明の実施の形態７として、実施の形態１と実施の形態５または実施の形態６とを組み合わせた動作解析装置について説明する。

ここで、動作解析装置は、少なくとも、時間成分と位置成分とを含む画像特徴量を用いて動作解析を行うものとする。以下、時間成分および位置成分のうちの一方は「第１の成
分」とし、他方は「第２の成分」とする。そして、比較対象特徴量データと標準特徴量データとの間の差異のうち、第１の成分の値毎の差異の大きさを表す重みは「第１の重み」といい、第２の成分の値毎の差異の大きさを表す重みは「第２の重み」という。

すなわち、第１の成分が時間成分である場合には、第１の重みが時間重みであり、第２の重みは位置重みである。この場合を、「第１のパターン」という。また、第１の成分が位置成分である場合には、第１の重みが位置重みであり、第２の重みは時間重みである。この場合を、「第２のパターン」という。

図３５は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２、実施の形態５の図１９、および実施の形態６の図２８に対応するものである。

図３５において、動作解析装置３００ｇは、動作データ入力部３１０、動作特徴抽出部３２１ｇ、動作抽出部３２２ｇ、提示量入力部３２３、動作抽出度調整部３２４、および動作抽出結果提示部３２５を有する。動作特徴抽出部３２１ｇは、第１重み抽出部３４１ｇおよび重み付き特徴量抽出部３４２ｇを有する。動作抽出部３２２ｇは、第２重み抽出部３４３ｇを有する。

まず、第１のパターンにおける各部の機能について説明する。

第１重み抽出部３４１ｇは、実施の形態５の時間重み抽出部３３１ｅと同一の機能を有する。但し、第１重み抽出部３４１ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参照点からの画素間隔、主成分分析の累積寄与度、窓サイズ、基底関数の数、展開数、時間重み閾値、および連続最小（最長）時間等である。

重み付き特徴量抽出部３４２ｇは、実施の形態５の重み付き位置特徴量抽出部３３２ｅと同一の機能を有する。但し、重み付き特徴量抽出部３４２ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参照点からの画素間隔、主成分分析の累積寄与度、および窓サイズ等である。

第２重み抽出部３４３ｇは、実施の形態５の位置重み抽出部３３３ｅと同一の機能を有する。但し、第２重み抽出部３４３ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第２のパラメータおよび第３のパラメータのうち、例えば、基底関数の数、展開数、位置重み閾値、および連続最小（最大）領域等である。

すなわち、第１のパターンは、実施の形態５を実施の形態１と組み合わせたパターンである。

次に、第２のパターンにおける各部の機能について説明する。

第１重み抽出部３４１ｇは、実施の形態６の位置重み抽出部３４１ｆと同一の機能を有する。但し、第１重み抽出部３４１ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参
照点からの画素間隔、主成分分析の累積寄与度、窓サイズ、基底関数の数、展開数、位置重み閾値、および連続最小（最大）領域等である。

重み付き特徴量抽出部３４２ｇは、実施の形態６の重み付き時間特徴量抽出部３４２ｆと同一の機能をする。但し、重み付き特徴量抽出部３４２ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参照点からの画素間隔、主成分分析の累積寄与度、および窓サイズ等である。

第２重み抽出部３４３ｇは、実施の形態６の時間重み抽出部３４３ｆと同一の機能を有する。但し、第２重み抽出部３４３ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第２のパラメータおよび第３のパラメータのうち、例えば、基底関数の数、展開数、時間重み閾値、および連続最小（最長）時間等である。

すなわち、第２のパターンは、実施の形態６を実施の形態１と組み合わせたパターンである。

動作解析装置３００ｇの動作は、実施の形態１で説明した動作のうち、抽出数Ａとしてカウントされる対象の抽出処理が、実施の形態５または実施の形態６で説明した解析対象の抽出処理に置き換わるのみである。したがって、動作解析装置３００ｇの動作の説明については省略する。

このように、本実施の形態に係る動作解析装置３００ｇは、順序違い動作の抽出結果の提示量や、小さい差異動作の時間の抽出結果の提示量についても、容易に調整することを可能にする。したがって、動作解析装置３００ｇを用いることにより、異なる用途において、各ニーズにマッチした動作解析を行うことができる。

なお、本実施の形態では、実施の形態１との組み合わせについてのみ説明したが、同様に、実施の形態２〜実施の形態４と実施の形態５または実施の形態６を組み合わせることも可能である。

また、実施の形態５および実施の形態６の両方を、切り替え可能に組み合わせるようにしても良い。すなわち、動作解析装置は、上述の第１の成分を時間成分とするか位置成分とするかを、ユーザ指定等により切り替えられるようにしても良い。この場合には、動作解析装置は、例えば、時間重み抽出部３３１ｅ、重み付き位置特徴量抽出部３３２ｅ、および位置重み抽出部３３３ｅの系統と、位置重み抽出部３４１ｆ、重み付き時間特徴量抽出部３４２ｆ、および時間重み抽出部３４３ｆの系統との両方を有するようにすれば良い。

更には、実施の形態５および実施の形態６のみを切り替え可能に組み合わせるようにしても良い。この場合でも、提示量は調整することができないものの、多面的な動作解析が可能となる。

また、本発明の適用対象は、以上説明した実施の形態１〜実施の形態７では工場における作業動作の解析するための装置としたが、これに限定されない。本発明は、例えば、車両運転、スポーツ、調理、楽器演奏等、各種の動作を解析する装置等、他の各種装置に適用することができる。

以上のように、本発明の第１の態様に係る動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作と前記標準動作との差異の程度が、所定の条件を満たす箇所を判定する動作差異抽出部と、前記所定の条件を満たす箇所の提示量の指定を受け付ける提示量入力部と、前記所定の条件を満たす箇所の量が前記指定された提示量となるように、前記所定の条件を調整する動作抽出度調整部とを有する。

本発明の第２の態様に係る動作解析装置は、前記第１の態様に係る動作解析装置において、一連の前記標準動作の動作データである標準動作データと、一連の前記比較対象動作の動作データである比較対象動作データとを入力する動作データ入力部を更に有し、前記動作差異抽出部は、第１のパラメータを用いて前記標準動作データおよび前記比較対象動作データのそれぞれから特徴量を抽出し、第２のパラメータを用いて前記比較対象動作データと前記標準動作データの特徴量との特徴量との差異を抽出し、抽出された差異が第３のパラメータにより定まる条件を満たす箇所を抽出し、前記動作抽出度調整部は、前記第１のパラメータ、前記第２のパラメータ、および前記第３のパラメータの少なくとも１つを調整する。

本発明の第３の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記動作データは動画像データであり、前記特徴量はＣＨＬＡＣ特徴である。

本発明の第４の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも大きいことである。

本発明の第５の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の個数である。

本発明の第６の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の時間長さの合計である。

本発明の第７の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも小さいことである。

本発明の第８の態様に係る動作解析装置は、前記第１の態様に係る動作解析装置において、一連の前記標準動作の動画データである標準動作データと、一連の前記比較対象動作の動画データである比較対象動作データとを入力する動作データ入力部を更に有し、前記動作差異抽出部は、第４のパラメータを用いて、ＣＨＬＡＣ特徴に時間重みを導入して映像特徴を算出する際の時間重みを、前記比較対象動作と前記標準動作との差異を示す特徴量として抽出し、前記特徴量が第５のパラメータにより定まる条件を満たす箇所を抽出し、前記動作抽出度調整部は、前記第４のパラメータおよび第５のパラメータの少なくとも１つを調整する。

本発明の第９の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、複数の異なる提示量のレベルのそれぞれに対応して、前記標準動作データに基づいて、前記所定の条件の初期値および前記提示量の目標値を設定する動作解析初期値設定部を更に有し、前記動作抽出度調整部は、前記レベルの指定により、前記所定の条件の初期値および前記提示量の指定を受け付ける。

本発明の第１０の態様に係る動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記解析の結果の提示量の指定を受け付けるステップと、前記比較対象動作と前記標準動作との差異の程度が所定の条件を満たす箇所を判定するステップと、前記所定の条件を満たす箇所の量が指定された提示量と異なるとき、前記所定の条件を調整するステップとを有する。

本発明の第１１の態様に係る動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出する時間重み抽出部と、前記時間重みを適用した値の位置毎の時間積分である重み付き位置特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出する重み付き位置特徴量抽出部と、前記比較対象特徴量データの前記重み付き位置特徴量のデータである比較対象位置特徴量データと、前記標準特徴量データの前記重み付き位置特徴量のデータである標準位置特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出する位置重み抽出部とを有する。

本発明の第１２の態様に係る動作解析装置は、前記第１１の態様に係る動作解析装置において、前記位置重みに基づいて、前記比較対象動作の映像における各位置の重要度を示す情報を生成する表示情報生成部を更に有する。

本発明の第１３の態様に係る動作解析装置は、前記第１１の態様に係る動作解析装置において、前記位置重みおよび前記時間重みに基づいて、前記比較対象動作の映像における各位置の重要度と各時間の重要度とを示す情報を生成する表示情報生成部を更に有する。

本発明の第１４の態様に係る動作解析装置は、前記第１１の態様に係る動作解析装置において、前記画像特徴量は、ＣＨＬＡＣ特徴量である。

本発明の第１５の態様に係る動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出するステップと、前記時間重みを適用した値の位置毎の時間積分である重み付き位置特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出するステップと、前記比較対象特徴量データの前記重み付き位置特徴量のデータである比較対象位置特徴量データと、前記標準特徴量データの前記重み付き位置特徴量のデータである標準位置特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出するステップとを有する。

本発明の第１６の態様に係る動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出する位置重み抽出部と、前記位置重みを適用した値の時間毎の空間積分である重み付き時間特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出する重み付き時間特徴量抽出部と、前記比較対象特徴量データの前記重み付き時間特徴量のデータである比較対象時間特徴量データと、前記標準特徴量データの前記重み付き時間特徴量のデータである標準時間特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出する時間重み抽出部とを有する。

本発明の第１７の態様に係る動作解析装置は、前記第１６の態様に係る動作解析装置において、前記時間重みに基づいて、前記比較対象動作の映像における各時間の重要度を示す情報を生成する表示情報生成部を更に有する。

本発明の第１８の態様に係る動作解析装置は、前記第１６の態様に係る動作解析装置において、前記時間重みおよび前記位置重みに基づいて、前記比較対象動作の映像における各時間の重要度と各位置の重要度とを示す情報を生成する表示情報生成部を更に有する。

本発明の第１９の態様に係る動作解析装置は、前記第１６の態様に係る動作解析装置において、前記画像特徴量は、ＣＨＬＡＣ特徴量である。

本発明の第２０の態様に係る動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出するステップと、前記位置重みを適用した値の時間毎の空間積分である重み付き時間特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出するステップと、前記比較対象特徴量データの前記重み付き時間特徴量のデータである比較対象時間特徴量データと、前記標準特徴量データの前記重み付き時間特徴量のデータである標準時間特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出するステップとを有する。

２００９年１２月２２日出願の特願２００９−２９１０１８、２０１０年３月２５日出願の特願２０１０−７０４４４の日本出願、および２０１０年３月２５日出願の特願２０１０−７０４４５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る動作解析装置および動作解析方法は、解析結果の提示量を容易に調整することができる動作解析装置および動作解析方法として有用である。また、本発明に係る動作解析装置および動作解析方法は、順序違い動作の位置を容易に抽出することができる動作解析装置および動作解析方法として有用である。また、本発明に係る動作解析装置および動作解析方法は、小さい差異動作の時間を容易に抽出することができる動作解析装置および動作解析方法として有用である。すなわち、本発明は、工場における作業動作、車両運転、スポーツ、調理、および楽器演奏等、各種の動作を解析する装置および方法として有用である。

１００、１００ｅ、１００ｆ 動作解析システム
２００ センサ装置
３００、３００ｂ、３００ｃ、３００ｄ、３００ｅ、３００ｆ 動作解析装置
３１０ 動作データ入力部
３２１、３２１ｃ、３２１ｄ 動作特徴抽出部
３２２、３２２ｂ、３２２ｃ 動作抽出部
３２３、３２３ｄ 提示量入力部
３２４、３２４ｂ、３２４ｄ 動作抽出度調整部
３２５ 動作抽出結果提示部
３２６ｂ 抽出種別入力部
３２７ｄ 動作解析初期値設定部
３３１ｅ 時間重み抽出部
３３２ｅ 重み付き位置特徴量抽出部
３３３ｅ 位置重み抽出部
３４１ｆ 位置重み抽出部
３４２ｆ 重み付き時間特徴量抽出部
３４３ｆ 時間重み抽出部
４００ 出力装置
５００ 入力装置

Claims (19)

1. 人の標準的な動作である標準動作との比較により、比較対象としての人の動作である比較対象動作の解析を行う動作解析装置であって、
   前記比較対象動作と前記標準動作との差異の程度が、所定の条件を満たす箇所を判定する動作差異抽出部と、
   前記所定の条件を満たす箇所の提示量の指定を受け付ける提示量入力部と、
   前記所定の条件を満たす箇所の量が前記指定された提示量となるように、前記所定の条件を調整する動作抽出度調整部と、
   を有する動作解析装置。
2. 一連の前記標準動作の動作データである標準動作データと、一連の前記比較対象動作の動作データである比較対象動作データとを入力する動作データ入力部、を更に有し、
   前記動作差異抽出部は、
   第１のパラメータを用いて前記標準動作データおよび前記比較対象動作データのそれぞれから特徴量を抽出し、第２のパラメータを用いて前記比較対象動作データと前記標準動作データの特徴量との特徴量との差異を抽出し、抽出された差異が第３のパラメータにより定まる条件を満たす箇所を抽出し、
   前記動作抽出度調整部は、
   前記第１のパラメータ、前記第２のパラメータ、および前記第３のパラメータの少なくとも１つを調整する、
   請求項１記載の動作解析装置。
3. 前記動作データは動画像データであり、前記特徴量はＣＨＬＡＣ特徴である、
   請求項２記載の動作解析装置。
4. 前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも大きいことである、
   請求項２記載の動作解析装置。
5. 前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の個数である、
   請求項２記載の動作解析装置。
6. 前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の時間長さの合計である、
   請求項２記載の動作解析装置。
7. 前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも小さいことである、
   請求項２記載の動作解析装置。
8. 一連の前記標準動作の動画データである標準動作データと、一連の前記比較対象動作の動画データである比較対象動作データとを入力する動作データ入力部、を更に有し、
   前記動作差異抽出部は、
   第４のパラメータを用いて、ＣＨＬＡＣ特徴に時間重みを導入して映像特徴を算出する際の時間重みを、前記比較対象動作と前記標準動作との差異を示す特徴量として抽出し、前記特徴量が第５のパラメータにより定まる条件を満たす箇所を抽出し、
   前記動作抽出度調整部は、
   前記第４のパラメータおよび第５のパラメータの少なくとも１つを調整する、
   請求項１記載の動作解析装置。
9. 複数の異なる提示量のレベルのそれぞれに対応して、前記標準動作データに基づいて、前記所定の条件の初期値および前記提示量の目標値を設定する動作解析初期値設定部、を更に有し、
   前記動作抽出度調整部は、前記レベルの指定により、前記所定の条件の初期値および前記提示量の指定を受け付ける、
   請求項２記載の動作解析装置。
10. 人の標準的な動作である標準動作との比較により、比較対象としての人の動作である比較対象動作の解析を行う動作解析装置が実行する動作解析方法であって、
    前記解析の結果の提示量の指定を受け付けるステップと、
    前記比較対象動作と前記標準動作との差異の程度が所定の条件を満たす箇所を判定するステップと、
    前記所定の条件を満たす箇所の量が指定された提示量と異なるとき、前記所定の条件を調整するステップと、
    を有する動作解析方法。
11. 前記動作差異抽出部は、
    前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記画像特徴量の時間成分および位置成分のうちの一方である第１の成分の値毎に前記比較対象動作の前記標準動作との差異の大きさを表す、第１の重みを抽出する第１重み抽出部と、
    前記第１の重みを適用した値の前記第１の成分の値の積分値を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出する重み付き特徴量抽出部と、 前記比較対象特徴量データから算出された前記積分値と、前記標準特徴量データから算出された前記積分値とから、前記画像特徴量の時間成分および位置成分のうちの他方である第２の成分の値毎に前記比較対象動作の前記標準動作との差異の大きさを表す、第２の重みを抽出する第２の重み抽出部と、を有する、
    請求項１記載の動作解析装置。
12. 前記第１の成分は、前記時間成分であり、前記第１の重みは、前記比較対象動作の前記標準動作との時間毎の差異の大きさを表す時間重みであり、前記第２の成分は、前記位置成分であり、前記第２の重みは、前記比較対象動作の前記標準動作との位置毎の差異の大きさを表す位置重みである、
    請求項１１記載の動作解析装置。
13. 前記位置重みに基づいて、前記比較対象動作の映像における各位置の重要度を示す情報を生成する表示情報生成部、を更に有する、
    請求項１２記載の動作解析装置。
14. 前記位置重みおよび前記時間重みに基づいて、前記比較対象動作の映像における各位置の重要度と各時間の重要度とを示す情報を生成する表示情報生成部、を更に有する、
    請求項１２記載の動作解析装置。
15. 前記画像特徴量は、ＣＨＬＡＣ特徴量である、
    請求項１２記載の動作解析装置。
16. 前記第１の成分は、前記位置成分であり、前記第１の重みは、前記比較対象動作の前記標準動作との位置毎の差異の大きさを表す位置重みであり、前記第２の成分は、前記時間成分であり、前記第２の重みは、前記比較対象動作の前記標準動作との時間毎の差異の大きさを表す時間重みである、
    請求項１１記載の動作解析装置。
17. 前記時間重みに基づいて、前記比較対象動作の映像における各時間の重要度を示す情報を生成する表示情報生成部、を更に有する、
    請求項１６記載の動作解析装置。
18. 前記時間重みおよび前記位置重みに基づいて、前記比較対象動作の映像における各時間の重要度と各位置の重要度とを示す情報を生成する表示情報生成部、を更に有する、
    請求項１６記載の動作解析装置。
19. 前記画像特徴量は、ＣＨＬＡＣ特徴量である、
    請求項１６記載の動作解析装置。

Images