JP6279635B2 - プログラム、情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、動画を分析するプログラム等に関する。

従来、人又は機械等の対象物が行う作業を動画に撮像し、撮像した動画を時間毎に分割した動作要素を分析する技術が知られている（例えば特許文献１）。

特許第４６７７５２６号公報

しかし、特許文献１に開示された技術では、一の動作要素を分析することを目的としているため、動作要素内の複数の対象物に対して分析を行うことが難しいという問題がある。また、対象物毎に視点（分析観点）を切り替えて分析する場合には、分析観点を容易に切り替えられることが望ましい。

そこで、本発明は、上記の問題に鑑みてなされたものであり、その目的は、容易に複数の対象物に対して分析を行うことができるプログラム等を提供することである。
また、本発明の他の目的は、複数の観点から作業分析を行う場合に分析観点を容易に切り替えることが可能なプログラム等を提供することである。

前述の課題は、本発明のプログラムによれば、情報処理装置に用いられるプログラムであって、前記情報処理装置に、複数の作業員が共同して行う作業において複数の前記作業員を同時に撮像した動画を表示し、前記動画内に表示された前記作業員に対する評価値の入力を、前記作業に対して前記作業員別に設定された分析観点の数に応じた分だけ受け付け、前記評価値を示す作業表を前記分析観点と同じ数だけ生成し、前記分析観点と同数の前記作業表を切り替えて一つずつ表示し、前記分析観点別の動画を切り替えて表示し、前記分析観点別の動画を表示する際には各動画を同一の時間軸上で表示する処理を実行させることにより解決される。

また、上記のプログラムに関して好適な構成を述べると、前記複数の分析観点は、一の撮像装置で撮像された動画に設定されていてもよい。
また、上記のプログラムに関して好適な構成を述べると、前記情報処理装置に、表示させる前記作業表を切り替えるために設けられた切り替えタブを複数表示し、複数の前記切り替えタブの中の一つが選択された際に、前記分析観点と同数の前記作業表のうち、選択された前記切り替えタブと対応する前記作業表を表示する処理を実行させてもよい。
また、上記のプログラムに関してより好適な構成を述べると、前記情報処理装置に、前記分析観点と同数の前記動画を切り替えて表示し、それぞれの前記動画に対する種別を複数受け付け、受け付けた複数の前記種別と前記評価値とを対応付けた前記作業表を、前記分析観点と同じ数だけ生成する処理を実行させてもよい。
また、上記のプログラムに関して更に好適な構成を述べると、前記情報処理装置に、各々の前記動画を作業毎に分割した分割動画を表示する処理を実行させてもよい。
また、上記のプログラムに関してより一層好適な構成を述べると、前記情報処理装置に、前記分割動画内の前記作業員が前記作業に対して無効な動作をした時間を示す無効時間を、前記分割動画毎に受け付け、複数の前記分割動画の無効時間を合計した無効合計時間と、複数の前記分割動画の動作時間を合計した動作合計時間とを算出し、算出した前記無効合計時間及び前記動作合計時間に基づいてグラフを表示する処理を実行させてもよい。
また、上記のプログラムに関して尚一層好適な構成を述べると、前記情報処理装置に、前記分割動画内の前記作業員の動作が、人が行う動作であることを示す動作情報を前記分割動画毎に受け付け、人が行う動作であることを示す前記動作情報に対応付けられた前記分割動画を抽出し、抽出した前記分割動画の動作時間を合計した抽出合計時間と、前記動作合計時間から前記抽出合計時間を引いた稼動合計時間とを算出し、算出した前記稼動合計時間、前記抽出合計時間及び前記無効合計時間に基づいてグラフを表示する処理を実行させてもよい。
また、上記のプログラムに関して益々好適な構成を述べると、前記情報処理装置に、前記稼動合計時間、前記抽出合計時間及び前記無効合計時間を前記分析観点別に算出し、前記稼動合計時間、前記抽出合計時間及び前記無効合計時間の各々の割合を示す前記分析観点別のグラフを同時に表示する処理を実行させてもよい。
また、上記のプログラムに関して俄然好適な構成を述べると、前記情報処理装置に、前記分割動画内の前記作業員が前記作業に対して無効な動作をした時間を示す無効時間を、各々の前記分割動画に対応付け、各々の前記分割動画の動作時間と、各々の前記分割動画に対応付けられた前記無効時間とに基づいてグラフを表示する処理を実行させてもよい。
また、上記のプログラムに関して一段と好適な構成を述べると、前記情報処理装置に、前記分割動画内の前記作業員が周期性のある動作をしているか否かを示す周期性情報の入力を受け付け、受け付けた周期性情報を表示する処理を実行させてもよい。
また、上記のプログラムに関して殊更好適な構成を述べると、前記情報処理装置に、各々の前記分割動画毎に前記評価値の入力を受け付け、各々の前記分割動画内に表示された前記作業員が作業に対して有効な動作をした時間を示す動作時間に前記評価値を算出することで前記分割動画毎の標準時間を算出し、算出した前記分割動画毎の標準時間を表示する処理を実行させてもよい。

また、前述の課題は、本発明の情報処理装置によれば、複数の作業員が共同して行う作業において複数の前記作業員を同時に撮像した動画を表示する動画表示部と、前記動画内に表示された前記作業員に対する評価値の入力を、前記作業に対して前記作業員別に設定された分析観点の数に応じた分だけ受け付ける受け付け部と、前記評価値を示す作業表を前記分析観点と同じ数だけ生成する生成部と、前記分析観点と同数の前記作業表を切り替えて一つずつ表示する切替表示部と、を備え、前記動画表示部は、前記分析観点別の動画を切り替えて表示し、前記分析観点別の動画を表示する際には各動画を同一の時間軸上で表示することにより解決される。

また、前述の課題は、本発明の情報処理方法によれば、情報処理装置によって実現される情報処理方法であって、複数の作業員が共同して行う作業において複数の前記作業員を同時に撮像した動画を表示し、前記動画内に表示された前記作業員に対する評価値の入力を、前記作業に対して前記作業員別に設定された分析観点の数に応じた分だけ受け付け、前記評価値を示す作業表を前記分析観点と同じ数だけ生成し、前記分析観点と同数の前記作業表を切り替えて一つずつ表示し、前記分析観点別の動画を切り替えて表示し、前記分析観点別の動画を表示する際には各動画を同一の時間軸上で表示することにより解決される。

本発明によれば、容易に複数の対象物に対して分析を行うことができるプログラム等を提供することができる。また、本発明によれば、複数の観点から作業分析を行う場合に分析観点を容易に切り替えることができる。

情報処理システムの概要を示す説明図である。 情報処理装置のハードウェア群を示すブロック図である。 要素情報ＤＢに格納されているデータの一例を示す図である。 集計情報ＤＢに格納されているデータの一例を示す図である。 種別情報ＤＢに格納されているデータの一例を示す図である。 コメントＤＢに格納されているデータの一例を示す図である。 動作要素の分析を行うための分析画面の一例を示す説明図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 情報処理システムの概要を示す説明図である。 分析画面の一例を示す説明図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 作業員Ａに関するデータを格納する要素情報ＤＢである。 作業員Ｂに関するデータを格納する要素情報ＤＢである。 Ｖｉｅｗ１を選択した観点分析画面の一例を示す説明図である。 Ｖｉｅｗ２を選択した観点分析画面の一例を示す説明図である。 観点分析画面の応用例を示す図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 非定常情報ＤＢに格納されているデータの一例を示す図である。 サイクル画面の一例を示す説明図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 サンプリングテーブル及び対応テーブルに格納されているデータの一例を示す図である。 複数の作業種類毎にまとめた作業工程と画像ＩＤとを対応づける対応テーブルに格納されているデータの一例を示す図である。 サンプリング集計テーブルに格納されているデータの一例を示す図である。 ワークサンプリング法を実行するためのワークサンプリング画面の一例を示す説明図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 テンプレートＤＢに格納されているデータの一例を示す図である。 画像登録画面の一例を示す説明図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 サンプリングテーブルに格納されているデータの一例を示す図である。 要素情報ＤＢに格納されているデータの一例を示す図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 比較画面の一例を示す説明図である。 詳細比較画面の一例を示す説明図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 分析画面の表示ウィンドウの一例を示す説明図である。 本実施形態における情報処理システムの処理手順を示したフローチャートである。 本実施形態における情報処理システムの処理手順を示したフローチャートである。

（実施の形態１）
以下本実施の形態を、図面を参照して説明する。図１は情報処理システムの概要を示す説明図である。本実施形態における情報処理システムは情報処理装置１及び撮像装置２Ａ、２Ｂ及び２Ｃ等を備える。撮像装置２Ａ、２Ｂ、２Ｃ……は以下場合により撮像装置２で代表する。情報処理装置１及び撮像装置２はインターネット、ＬＡＮ(Local Area Network)または携帯電話網等の通信網Ｎにより相互に接続されている。

以下では情報処理システムの概要を説明する。撮像装置２は人又は機械等の対象物が行う作業を撮像するための撮像装置であり、例えばＣＣＤ（Charge-coupled device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ又は赤外線カメラ等である。撮像装置２Ａ、２Ｂ及び２Ｃは対象物が行う作業を複数の位置及び角度に基づいて複数の動画で撮像する。具体的には、撮像装置２Ａ、２Ｂは、互いに異なる対象物の動画を撮像し、二人の作業者Ａ、Ｂの様子を示す動画を撮像し、撮像装置２Ｃは、作業者Ａの身体のうちの手等の動画をズームして撮像する。また、各撮像装置２Ａ、２Ｂ、２Ｃが撮像した複数の動画は、情報処理装置１へ出力される。

情報処理装置１は例えばコンピュータ又はスマートフォン等である。情報処理装置１は出力された複数の動画を取得する。情報処理装置１はユーザから入力を後述する入力部１４で受け付け、受け付けた入力に基づいて取得した複数の動画を作業毎に分割した複数の動作要素（分割動画）に分割する。情報処理装置１は動作要素又は動作要素に関連する情報を表示することで対象物が行う標準的な作業時間を示す標準時間を算出する処理を行う。標準時間とは、標準の技能を持った人が作業を行う時間である。しかし、標準の技能を持った人を見極めるのは困難であり、人の技能は作業毎に変化する場合も多い。このため、一般的に標準時間は対象物が作業に対して有効な動作をした時間を示す動作時間に、各分割動画内に表示された対象物に対するレーティング率（評価値に相当）を積算することにより算出する。例えば、情報処理装置１は以下の方法で標準時間を算出する。情報処理装置１は動作要素内で無駄な時間を削除することで動作時間を算出する。ユーザは分割動画を視聴することで分割動画内の作業員がベテランであるか否か又は作業に慣れているか否か等を判断し、レーティング率を決定する。例えば、作業員がベテランであり、かつ作業に慣れていると判断した場合、情報処理装置１でレーティング率を１より低い値に設定する。情報処理装置１は算出した動作時間に１より低い値のレーティング率を積算することで分割動画内の作業時間より早い標準時間を算出する。

以下では情報処理システムの詳細を説明する。図２は情報処理装置１のハードウェア群を示すブロック図である。図２に示す情報処理装置１は、一または複数の演算制御装置であるＣＰＵ１１、ハードディスク、半導体メモリディスク等の記憶装置である記憶部１２、ＳＲＡＭ（Static RAM）、ＤＲＡＭ（Dynamic RAM）またはフラッシュメモリ等のＲＡＭ１３、マウス、キーボード、タッチパネル、ペンタブレット、マイク等の入力機器である入力部１４、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ等の表示部１５、通信網Ｎとの間で通信を行う通信部１６を含む。

記憶部１２にはＣＰＵ１１が処理を行う際に必要とする種々のデータ、要素情報ＤＢ１２１、集計情報ＤＢ１２２、種別情報ＤＢ１２３、コメントＤＢ１２４及びプログラム１２Ｐを格納する。かかるプログラム１２Ｐが本発明のプログラムに該当する。

通信部１６は、通信網Ｎを介して撮像装置２が撮像した動画を取得する。なお、本実施形態では撮像装置２から動画を取得したが、これに限られず、ＵＳＢ（Universal Serial Bus）メモリ、光ディスク又は記憶部１２等から動画を取得してもよい。

図３は要素情報ＤＢ１２１に格納されているデータの一例を示す図である。要素情報ＤＢ１２１は動作要素に関する情報を記憶するデータベースである。要素情報ＤＢ１２１は動作要素列、種別列、開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列、差異列、非定常列、区分列、レーティング率列、標準時間列、動画データ列及びマニュアル列等を備える。動作要素列には動作要素の名称が記憶される。種別列には動作要素の種類を示す種別が複数記憶される。種別とは例えば「手作業」又は「第１工程」等の各作業工程である。種別列の種別は種別を分類するための種別分類で分けられている。種別分類とは例えば種別１、種別２又は種別３等である。例えば、種別列の種別１列には「溶接」の種別が「手作業」であること又は「パネルの固定」の種別が「工具作業」であること等が記憶される。また種別列の種別２列には「溶接」の種別が「第１工程」であること又は「ボルトの締め付け」の種別が「第２工程」であること等が記憶される。また種別列の種別３列には「溶接」の種別が「人作業」であること又は「ボルトの締め付け」の種別が「機械作業」であること等が記憶される。

開始時間列には動画内で動作要素が開始される開始時間が動作要素に対応づけられて記憶される。終了時間列には動画内で動作要素が終了される終了時間が動作要素に対応づけられて記憶される。要素時間列には動作要素の時間の長さを示す要素時間（作業時間）が動作要素に対応づけられて記憶される。動作時間列には動作時間が動作要素に対応づけられて記憶される。無効時間列には対象物が作業に対して無効な動作をした時間を示す無効時間が動作要素に対応づけられて記憶される。比較値列には動作時間と比較するための比較値が動作要素に対応づけられて記憶される。比較値列には例えば、ユーザが予想した標準時間を示す予想標準時間が記憶される。差異列には比較値と動作時間との差異が動作要素に対応づけられて記憶される。開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列及び差異列の単位は例えば秒である。非定常列には対象物が周期性のある動作をしているか否かを示す非定常情報（周期性情報に相当）が動作要素に対応づけられて記憶される。周期性のある動作とは例えば、作業員Ａが複数回、金具をセットする動作である。また周期性のない動作とは例えば、作業員Ａが１回だけ金具をセットする動作である。○は対象物が周期性のない動作をしていることを示す。×は対象物が周期性のある動作をしていることを示す。区分列には、稼動、準稼動、非稼動の動作情報が、動作要素と対応づけて記憶される。本明細書においては、稼動とは人が作業中の状態であり、準稼動とは機械が動作する状態であり、非稼動とは人も機械も動作していない待ち状態等のような状態をいう。

レーティング率列にはレーティング率が動作要素に対応づけられて記憶される。標準時間列には標準時間が動作要素に対応づけられて記憶される。動画データ列には撮像した動画を動作要素毎に分割した動画データが記憶される。例えば、動画データ列には動画Ａ（作業員Ａが行う作業を撮像した動画）を動作要素毎に分割した動画データが記憶される。マニュアル列には動作要素に対応するマニュアルが記憶される。

ＣＰＵ１１は後述する分析画面５で動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分及びレーティング率の入力を入力部１４で受け付ける。なお、動作要素の名称、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分及びレーティング率については、動作要素毎に入力される。このため、ＣＰＵ１１は、複数の動画の各々を複数の動作要素に分割すると、動作要素毎にその名称や種別及びレーティング率等の入力を受け付けることになる。

ＣＰＵ１１は受け付けた動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分及びレーティング率を要素情報ＤＢ１２１に記憶させる。ＣＰＵ１１は動作時間から比較値を引いた差異を差異列に記憶させる。ＣＰＵ１１は動作時間にレーティング率を積算した標準時間を標準時間列に記憶させる。なお、本実施形態の動画データ列及びマニュアル列は予めユーザが登録しているものとする。

図４は集計情報ＤＢ１２２に格納されているデータの一例を示す図である。集計情報ＤＢ１２２は動作要素に関する情報を集計した集計情報が記憶されたデータベースである。集計情報ＤＢ１２２は要素合計時間列、動作合計時間列、稼動合計時間列、無効合計時間列、合計差異列、全体レーティング率、準稼動合計時間列及び標準合計時間列等を備える。要素合計時間列には複数の動作要素の要素時間を合計した要素合計時間（合計時間）が記憶される。動作合計時間列には複数の動作要素の動作時間を合計した動作合計時間が記憶される。稼動合計時間列には対象物が稼動動作を行う複数の動作要素の動作時間を合計した稼動合計時間が記憶される。無効合計時間列には複数の動作要素の無効時間を合計した無効合計時間が記憶される。合計差異列には、標準時間と比較値の差異の合計時間が記憶される。全体レーティング率には複数のレーティング率の平均値を示す全体レーティング率が記憶される。準稼動合計時間列には準稼動時間を合計した準稼動合計時間（抽出合計時間に相当）が記憶される。標準合計時間列には動作合計時間に全体レーティング率を積算した標準合計時間が記憶される。集計情報ＤＢ１２２の記憶方法は後述する。

図５は種別情報ＤＢ１２３に格納されているデータの一例を示す図である。種別情報ＤＢ１２３は、作業又は動作の区分を管理するものである。図５Ａに示すように例えば１つの動画を作業及び工程等に分割したい場合には、種別１に作業種別、種別２に工程種別を入力すればよい。また種別３には種別を利用して人に依存する作業と機械に依存する作業を入力させることもできる。また図５Ｂに示すように作業種別毎に色を設定することにより、作業種別の時間を棒グラフで表示する際に、作業時間の比較が行いやすくなる。

図６はコメントＤＢ１２４に格納されているデータの一例を示す図である。図７は動作要素の分析を行うための分析画面５の一例を示す説明図である。コメントＤＢ１２４には動作要素列、個別コメント列及び総括コメント列を備える。動作要素列には動作要素が記憶される。個別コメント列はウィンドウ１列、ウィンドウ２列、ウィンドウ３列及びウィンドウ４列を備える。個別コメント列は図７に示す表示ウィンドウ５１に表示された各動作要素の動画データに対するコメントを示す個別コメントが記憶される。ウィンドウ１列、ウィンドウ２列、ウィンドウ３列及びウィンドウ４列の夫々は後述する表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄの夫々に対応する。動作要素列の動作要素は要素情報ＤＢ１２１の動作要素列に対応する。ＣＰＵ１１は後述する個別コメント欄５６に動作要素表（作業表に相当）５２で選択した動作要素に対する個別コメントの入力を入力部１４で受け付ける。ＣＰＵ１１は受け付けた個別コメントをコメントＤＢ１２４の個別コメント列に記憶させる。総括コメント列には取得した動画全体に対するコメントを示す総括コメントが記憶される。ＣＰＵ１１は総括コメント欄５７に総括コメントの入力を入力部１４で受け付ける。ＣＰＵ１１は受け付けた総括コメントを集計情報ＤＢ１２２に記憶させる。

分析画面５は上部に分割された表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄと、表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄの下部に設けられた動作要素表５２と、左下部に設けられた種別グラフ５３Ａ及び５３Ｂと、表示ウィンドウ５１Ｄの右部に設けられた集計表５４と、集計表５４の右部に設けられた切替ボタン５１０と、集計表５４の下部に設けられた稼動グラフ５５と、動作要素表５２の右部に設けられた個別コメント欄５６と、個別コメント欄５６の下部に設けられた総括コメント欄５７とを備える。動作要素表５２の下部には合計欄５２３が設けられている。動作要素表５２及び合計欄５２３にはレーティング欄５２１及び非定常欄５２２が設けられている。表示ウィンドウ５１Ａの左端にはレーティング率欄５１１が設けられている。表示ウィンドウ５１Ａの左上部には決定レーティング率欄５１２が設けられている。表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄ等は場合により表示ウィンドウ５１で代表する。種別グラフ５３Ａ及び５３Ｂ等は場合により種別グラフ５３で代表する。稼動グラフ５５は非稼動部分５５Ａ、準稼動部分５５Ｂ及び稼動部分５５Ｃにより構成される。個別コメント欄５６の上部にはコメントタブ５６１が設けられている。表示ウィンドウ５１Ａ、５１Ｂ及び５１Ｃに表示されている動画は、同一時間軸で撮影又は再生する動画である。ここで表示ウィンドウ５１Ａには作業員Ａ、表示ウィンドウ５１Ｂには作業員Ｂの動画が表示されているものとする。

表示ウィンドウ５１は動画データ又はマニュアル等の動作要素に関連する情報を表示するウィンドウである。レーティング率欄５１１はレーティング率の入力を行うための欄である。決定レーティング率欄５１２は動作要素のレーティング率を表示するための欄である。動作要素表５２は動作要素に関する情報を表示する表である。レーティング欄５２１はレーティングを行うか否かを判定するためのチェックボックスを備える欄である。非定常欄５２２は非定常情報であるか否かを判定するためのチェックボックスを備える欄である。合計欄５２３は複数の動作要素に関する情報を合計した合計関連情報を表示する表である。種別グラフ５３は種別分類毎に種別に対応する要素時間の割合を表示した棒グラフである。集計表５４は集計情報を表示する表である。稼動グラフ５５は動作合計時間、準稼動合計時間及び無効合計時間の割合を表示した円グラフである。個別コメント欄５６は個別コメントを表示する欄である。コメントタブ５６１は個別コメントを切り替えるためのタブである。コメントタブ５６１は複数であり、左端から表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄの夫々に対応している。総括コメント欄５７は取得した動画全体に対する総括コメントを表示する欄である。切替ボタン５１０は各表示ウィンドウ５１の動画データに対応する動作要素表５２を切り替えるためのボタンである。

分析画面５の動作は以下の通りである。なお、本実施形態では予め撮像された各動画を動作要素に分割しているものとする。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、動作要素表５２に動作要素、種別、開始時間、要素時間、比較値、差異、区分、非定常情報、レーティング率等を表示する。また動作要素表５２は、表示ウィンドウ５１Ａ、５１Ｂ及び５１Ｃに設定することができる。ユーザが図７の切替ボタン５１０を入力部１４で選択した場合、ＣＰＵ１１は表示ウィンドウ５１Ａ、５１Ｂ又は５１Ｃに対する動作要素表５２を切り替えて分析画面５に表示させる事ができる。また非定常欄５２２のチェックボックスにより非定常情報の入力をすることができる。動作要素表５２の各欄が入力部１４で選択された場合、ＣＰＵ１１は動作要素の選択を入力部１４で受け付ける。ＣＰＵ１１は選択された動作要素に対応する複数の動画データを表示ウィンドウ５１に表示する。例えば、ＣＰＵ１１は表示ウィンドウ５１Ａに表示される作業員Ａの動作要素「溶接」を選択した場合、表示ウィンドウ５１Ｂ及び５１Ｃの夫々には、同時間軸上の他の作業員の動画等が表示する。ＣＰＵ１１は表示ウィンドウ５１Ｄに動作要素「溶接」に対応するマニュアルＡを表示する。

ユーザは表示ウィンドウ５１に表示された動画データを視聴することで、動画データ内にて作業者が作業に対して無効な動作をしているか否かを判断する。ユーザは作業者が作業に対して無効な動作をしていると判断した場合、表示ウィンドウ５１を入力部１４で選択することで無効時間を算出する。具体的にはＣＰＵ１１は動画データを表示ウィンドウ５１で再生中に表示ウィンドウ５１を入力部１４で選択してから再度表示ウィンドウ５１を入力部１４で選択するまでの時間を無効時間として算出する。ＣＰＵ１１は要素時間から無効時間を引くことで動作時間を算出する。なお、ＣＰＵ１１はさらにレーティング率の入力を入力部１４で受け付け、受け付けたレーティング率を要素時間から無効時間を引いた値に積算することで動作時間を算出してもよい。ＣＰＵ１１は算出した無効時間及び動作時間を動作要素表５２に表示する。動作要素表５２において各種別には色が対応づけられている。ＣＰＵ１１は種別情報ＤＢ１２３を参照し、各種別に対応づけられた色を動作要素表５２の種別に表示する。

ＣＰＵ１１は種別グラフ５３に種別毎の要素時間を時系列順に表示する。例えば、ＣＰＵ１１は種別グラフ５３Ａに作業単位の種別である「手作業」、「工具作業」、「マシン作業」及び「手作業」に対応する色を「手作業」、「工具作業」、「マシン作業」及び「手作業」の時系列順に表示する。さらにＣＰＵ１１は種別グラフ５３Ｂに工程単位の種別「第１工程」及び「第２工程」に対応する色を「第１工程」及び「第２工程」の時系列順に表示する。種別グラフ５３Ａ及び５３Ｂの各色の割合は各種別の要素時間の割合に対応している。なお、本実施形態の種別グラフ５３は種別毎の要素時間を時系列順に表示したが、これに限られない。また本実施形態では種別は３つであるが、これ以上またはこれ以下の種別を設定することができる。例えば、種別グラフ５３は種別毎の動作時間、無効時間又は標準時間を時系列順に表示してもよい。また種別グラフ５３には、異なるウィンドウに表示される作業員の種別毎の要素時間を時系列順に表示することもできる。例えば表示ウィンドウ５１Ａに表示される作業員Ａと表示ウィンドウ５１Ｂに表示される作業員Ｂの工程単位の種別を表示することで、作業員Ａと作業員Ｂの作業を比較することができる。

レーティング率及び標準時間の算出方法の一例は以下の通りである。ユーザは表示ウィンドウ５１Ａ、５１Ｂ及び５１Ｃに同一時間軸上の動画データを視聴する。ユーザは表示ウィンドウ５１ＤのマニュアルＡを確認し、作業員ＡがマニュアルＡに則っていると判断する。ユーザは種別グラフ５３に表示ウィンドウ５１Ａに表示されている作業員Ａの作業単位の種別と、表示ウィンドウ５１Ｂに表示されている作業員Ｂの作業単位の種別を表示することによって、作業員Ａと作業員Ｂが同じ作業に対してどのくらい遅れが発生しているのかを容易に確認することができる。ここで作業員Ａの動作要素の動作時間が通常の作業より遅いと考えた場合には、ユーザはレーティング率欄５１１で１．１倍を選択する。ＣＰＵ１１は決定レーティング率欄５１２に１．１倍を表示する。例えば「動作要素」の「溶接」について上記のとおりレーティングを行う場合には、ＣＰＵ１１はレーティング欄５２１と同一の列にある動作要素の動作時間「３．５０」にレーティング率「１．１」を積算することで標準時間「３．８５」を算出する。ＣＰＵ１１はレーティング率「１．１」及び標準時間「３．８５」を動作要素表５２に表示し、要素情報ＤＢ１２１に記憶する。また動作要素「金具Ａをセット」の動作時間は通常の作業より遅いと考えた場合、ユーザはレーティング率欄５１１で０．８倍を選択する。ＣＰＵ１１は決定レーティング率欄５１２に０．８倍を表示する。ＣＰＵ１１はレーティング欄５２１と同一の列にある動作要素の動作時間「８．００」にレーティング率「０．８」を積算することで標準時間「６．４０」を算出する。ＣＰＵ１１はレーティング率「０．８」及び標準時間「６．４０」を動作要素表５２に表示し、要素情報ＤＢ１２１に記憶する。以下、同様であり、簡潔のため記載を省略する。

ユーザが標準時間で動作要素の動画データを視聴したいと希望した場合、以下の手順で動作要素の動画データを標準時間で再生できる。ＣＰＵ１１はレーティング欄５２１内のチェックボックスに入力を入力部１４で受け付ける。例えば、ユーザがレーティング欄５２１内の１行目の「１．１」のチェックボックスを入力部１４で入力した場合、表示ウィンドウ５１Ａの動画１０１の再生時間は１．１倍され、動作時間「３．５」にレーティング率「１．１」を乗算した値である「３．８５」を標準時間として設定する。ＣＰＵ１１は再生時間が標準時間「３．８５」になるように動画１０１をスロー再生する。また、ユーザが切替ボタン５１０を入力部１４で選択した場合、作業員Ｂの動作要素表５２が分析画面５に表示される。以下、同様の動作により再生時間が標準時間になるように表示ウィンドウ５１Ｂの動画をスロー再生又は再生スピードを早くして再生する。表示ウィンドウ５１Ｃについても同様であり、簡潔のため、記載を省略する。

ＣＰＵ１１は要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する。例えば、ＣＰＵ１１は動作要素表５２の全ての要素時間を合計した要素合計時間「２７．００」を算出する。ＣＰＵ１１は動作要素表５２の全ての動作時間を合計した動作合計時間「２２．００」を算出する。ＣＰＵ１１は動作要素表５２の全ての無効時間を合計した無効合計時間「５．００」を算出する。

ＣＰＵ１１は動作要素表５２の１列目、２列目、４列目の区分が「準稼動」であるため、動作時間「３．５０」、「２．５０」及び「８．００」を合計した準稼動合計時間「１４．００」を算出し、図４の準稼動合計時間に値を入力する。ＣＰＵ１１は全てのレーティング率の平均値を算出することで全体レーティング率「１．０７」を算出する。ＣＰＵ１１は動作合計時間にレーティング率「１．０７」を積算した標準合計時間「２３．５４」を算出する。ＣＰＵ１１は動作要素表５２の全ての比較値を合計した合計比較値「２３．５」を算出する。ＣＰＵ１１は合計比較値「２３．５」から標準合計時間「２３．５４」を減算した合計差異「０．０４」を算出する。ＣＰＵ１１は動作合計時間「２２．００」から準稼動合計時間「１４．００」を減算した稼動合計時間「８．００」を算出する。なお、本実施形態では要素合計時間、動作合計時間、無効合計時間、準稼動合計時間は取得した動画の動作要素の全てを合計した値だが、これに限られない。例えば、要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間は動作要素表５２で一又は複数選択された動作要素の要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間であってもよい。

ＣＰＵ１１は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を合計欄５２３に表示する。ＣＰＵ１１は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を集計情報ＤＢ１２２に記憶させる。

ＣＰＵ１１は算出した要素合計時間「２７．００」、動作合計時間「２２．００」及び無効合計時間「５．００」を集計表５４に表示する。なお、ＣＰＵ１１は集計表５４に準稼動合計時間又は稼動合計時間を表示してもよい。

ＣＰＵ１１が稼動グラフ５５を表示する処理は以下の通りである。ＣＰＵ１１は要素合計時間「２７．００」に対する無効合計時間「５．００」の割合で非稼動部分５５Ａを生成する。ＣＰＵ１１は要素合計時間「２７．００」に対する準稼動合計時間「１４．００」の割合で準稼動部分５５Ｂを生成する。ＣＰＵ１１は要素合計時間「２７．００」に対する稼動合計時間「８．００」の割合で稼動部分５５Ｃを生成する。ＣＰＵ１１は生成した非稼動部分５５Ａ、準稼動部分５５Ｂ及び稼動部分５５Ｃに基づいて稼動グラフ５５を生成し、表示する。

ユーザは入力部１４でコメントタブ５６１の内、表示ウィンドウ５１Ａに対応するタブを選択する。ＣＰＵ１１は個別コメント欄５６に動作要素表５２で選択した動作要素の動画２０１に対応する個別コメントの入力を入力部１４で受け付ける。ユーザは入力部１４で個別コメント欄５６に「頑張って働いている」を入力する。ＣＰＵ１１は受け付けた個別コメント「頑張って働いている」をコメントＤＢ１２４に記憶させる。ユーザは入力部１４でコメントタブ５６１の内、表示ウィンドウ５１Ｂに対応するタブを選択する。ＣＰＵ１１は個別コメント欄５６に動作要素表５２で選択した動作要素の動画２０１に対応する個別コメントの入力を入力部１４で受け付ける。ユーザは入力部１４で個別コメント欄５６に「１人休憩している」を入力する。ＣＰＵ１１は受け付けた個別コメント「１人休憩している」をコメントＤＢ１２４に記憶させる。以下、同様であり、簡潔のため記載を省略する。ＣＰＵ１１は総括コメント欄５７に総括コメントの入力を入力部１４で受け付ける。ユーザは稼動グラフ５５を確認し、総括コメント欄５７に「全体的に準稼動合計時間が多い」を入力部１４で入力する。ＣＰＵ１１は受け付けた総括コメント「全体的に準稼動合計時間が多い」をコメントＤＢ１２４に記憶させる。

図８〜９は本実施形態における情報処理システムの処理手順を示したフローチャートである。ＣＰＵ１１は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等を記憶部１２から読込又は入力部１４で入力を受け付ける（ステップＳ１１）。ＣＰＵ１１は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等に基づいて動作要素表５２及び種別グラフ５３を表示する（ステップＳ１２）。

ＣＰＵ１１は表示ウィンドウ５１でレーティング率の選択を入力部１４で受け付ける（ステップＳ１３）。ＣＰＵ１１は動作時間に受け付けたレーティング率を積算することで標準時間を算出する（ステップＳ１４）。ＣＰＵ１１は動作要素、動作要素の種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率、標準時間等に基づいて要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する（ステップＳ１５）。

ＣＰＵ１１は要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間等に基づいて合計欄５２３を表示し、要素合計時間、動作合計時間及び無効合計時間等に基づいて集計表５４を表示する（ステップＳ１６）。ＣＰＵ１１は要素合計時間、稼動合計時間、準稼動合計時間及び無効合計時間に基づいて稼動グラフ５５を生成及び表示する（ステップＳ１７）。なお、要素合計時間は無効合計時間、準稼動合計時間及び稼動合計時間を合計することで算出できる。このため、無効合計時間、準稼動合計時間及び稼動合計時間に基づいて稼動グラフ５５を生成し、表示することもできる。ＣＰＵ１１は動作要素の選択を入力部１４で受け付ける（ステップＳ１８）。ＣＰＵ１１は受けつけた動作要素に対応する複数の動画データの内、同一時間の動作要素の動画データを表示ウィンドウ５１に表示する（ステップＳ１９）。ＣＰＵ１１は受けつけた動作要素に対応するマニュアルを表示ウィンドウ５１に表示する（ステップＳ２０）。

ＣＰＵ１１は個別コメント欄５６及び総括コメント欄５７に受け付けた動作要素の個別コメント及び総括コメントの入力を入力部１４で受け付ける（ステップＳ２１）。ＣＰＵ１１は個別コメント欄５６及び総括コメント欄５７に受け付けた個別コメント及び総括コメントを表示し（ステップＳ２２）、処理をＳ１１に移し、処理を繰り返す。

なお、本実施形態における表示ウィンドウ５１Ａは任意の２線間の角度を表示できるようにしてもよい。また、本実施形態では要素合計時間、稼動合計時間、準稼動合計時間及び無効合計時間に基づいて稼動グラフ５５を生成及び表示したが、動作合計時間及び無効合計時間に基づいて稼動グラフ５５を生成及び表示してもよい。

一つの側面では、容易に複数の対象物に対して分析を行うことができる。

一つの側面では、容易に複数の対象物に対して同一時間軸上で分析を行うことができる。

一つの側面では、種別グラフ５３が同一時間軸上で種別毎の要素時間を表示できるため、要素毎の比較が容易となり、効率化できる工程の発見が容易になる。

一つの側面では、各動画データに対して個別コメントを表示することで各動画データの理解に役立てることができる。

ユーザは例えば、稼動グラフ５５で無効合計時間又は準稼動合計時間の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ５５を確認することで無駄時間の多い作業からレーティングを行うなど柔軟なレーティング作業が可能となる。

一つの側面では、他の作業員の作業と比較しながら分析を行う事ができるので、より効率的な標準時間の設定が可能になる。

（実施の形態２）
実施の形態２は、対象物から計測した生体情報又は対象物の周辺の環境を計測した環境情報を取得し、表示ウィンドウ５１に表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。

本実施形態における情報処理装置１は計時部（図示せず）を備える。計時部は動画を撮像してからの時間を計時し、ＣＰＵ１１に計時した時間を出力している。動画を撮像してからの時間とはすなわち動画の再生時間である。

また、情報処理システムは、図１０に示すように対象物（具体的には作業員）の生体情報を計測する生体センサ６１Ａ及び６１Ｂを備える。図１０は、情報処理システムの概要を示す説明図である。生体センサ６１Ａ及び６１Ｂ等は、場合により生体センサ６１０で代表する。

生体センサ６１Ａ及び６１Ｂの夫々は、例えば圧力センサからなり、作業員Ａ及びＢの夫々に取り付けられている。なお、圧力センサとは、静電容量型加速度センサ又はピエゾ抵抗型加速度センサ等の加速度センサである。生体センサ６１０は、作業員Ａ及びＢの腰又は腕等の脈拍数を定期的に（例えば１秒間隔で）計測し、計測した脈拍数を情報処理装置１へ出力する。ＣＰＵ１１は、脈拍数を生体センサ６１０から取得する。ＣＰＵ１１は、取得した脈拍数を時系列の生体グラフで表示ウィンドウ５１Ｅに表示する。

図１１は、分析画面５の一例を示す説明図である。図１１を参照しながら説明すると、表示ウィンドウ５１Ａには作業員Ａの動作要素が表示され、表示ウィンドウ５１Ｂには同時間軸上の他の作業員（作業員Ｂ）の動画が表示される。また、表示ウィンドウ５１Ｅには作業員Ａ及びＢに取り付けられた生体センサから取得した脈拍数の生体グラフが表示されている。縦軸は脈拍数であり、単位はｂｐｍである。横軸は時間であり、単位は秒である。ユーザは、表示ウィンドウ５１Ｅに表示された生体グラフから作業員Ａ及びＢの筋肉負荷を知ることができる。よって主観的に作業員の作業速度の遅速を判断するのではなく、客観的に作業員の作業速度の遅速を判断することができる。具体的には、作業員の作業速度が遅く感じた場合でも、その時間帯の筋肉負荷が大きい場合には、その作業員の作業速度は遅いものではなく、適切なものと判断する事ができる。

図１２は、本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１は、ステップＳ１９の処理を終了した後、通信部１６で生体センサ６１０から生体情報を取得する（ステップＳ３１）。その後、ＣＰＵ１１は、取得した生体情報に基づいて生体グラフを表示ウィンドウ５１に表示し（ステップＳ３２）、処理をＳ２０に移す。

なお、本実施形態においてＣＰＵ１１は、対象物の生体情報を取得し、取得した生体情報に基づいて生体グラフを表示したが、これに限られない。ＣＰＵ１１は、例えば湿度計や温度計等の環境センサが計測した温度や湿度等の環境情報を取得し、取得した環境情報に基づいて環境情報を時系列で表示した環境グラフを表示してもよい。具体的には、季節によって湿度又は温度が変化するような作業場においては、湿度又は温度変化を確認しながら季節にあった標準時間の設定が可能になる。

以上のように本実施形態においてユーザは、状態情報及び環境情報のうちの少なくとも一方の情報を確認することで、主観的に行っていたレーティング率の決定を、より客観的に行うことができ、より精度の高い標準時間を算出できる。

（実施の形態３）
実施の形態３は区分に基づいて標準合計時間を算出する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。ＣＰＵ１１は図３を参照し、区分が準稼動である動作要素「溶接」、「パネルの固定」及び「金具Ａをセット」を抽出する。ＣＰＵ１１は抽出した動作要素「溶接」、「パネルの固定」及び「金具Ａをセット」の標準時間「３．８５」、「３．００」及び「９．６０」を合計した標準合計時間「１６．４５」を算出し、算出した標準合計時間「１６．４５」を合計欄５２３及び集計表５４に表示する。

図１３は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１４の処理を終了した後、区分が準稼動である動作要素を抽出する（ステップＳ４１）。ＣＰＵ１１は抽出した動作要素の標準合計時間を算出し（ステップＳ４２）、処理をＳ１５に移す。

ＣＰＵ１１は区分に基づいて標準合計時間を算出することができるため、機械が主として行う動作要素を省いた標準合計時間を算出することができる。このことにより、分析する必要のない動作要素を省くことができるため、時間の短縮をすることができる。

（実施の形態４）
実施の形態４は、ある作業を複数の観点（分析観点）から分析するための観点分析画面６を表示する実施の形態に関する。本実施形態では、以下、特に説明すべき内容の以外の構成及び作用については、実施の形態１と同等であり、簡潔のため記載を省略する。

以下では、二人の作業員Ａ、Ｂ（対象物に相当）が共同して行う作業を分析対象とし、作業員別に設定した観点で分析を行うケースを例に挙げて説明する。すなわち、以下に示すケースでは、対象物毎の観点にて作業分析を行うものであるが、これに限られるものではない。

本実施形態においてＣＰＵ１１は、各分析観点別の動画を切り替えて表示する。また、ＣＰＵ１１は、各々の動画を作業毎に分割した分割動画（動作要素）を表示する。さらに、ＣＰＵ１１は、各動作要素に関する情報を分析観点毎に表示する。ここで、ＣＰＵ１１は、作業員Ａに関する情報を図１４に図示の要素情報ＤＢ１２１から読み出す。また、ＣＰＵ１１は、作業員Ｂに関する情報を図１５に図示の要素情報１２１から読み出す。図１４は作業員Ａに関するデータを格納する要素情報ＤＢ１２１である。図１５は作業員Ｂに関するデータを格納する要素情報ＤＢ１２１である。両図から分かるように、本実施形態における要素情報ＤＢ１２１は、分析観点毎に分かれたデータベースとなっている。

なお、図１４及び図１５に示すように、要素情報ＤＢ１２１は計測回数列を備える。計測回数列には無効時間を計測した計測回数が記憶される。ＣＰＵ１１は、動作要素内で無効時間を計測する毎に計測回数をインクリメントする。ＣＰＵ１１はインクリメントした計測回数を動作要素に対応する計測回数列に記憶させる。

また、ＣＰＵ１１は、実施の形態１と同様、動作要素毎に種別やレーティング率等の入力を受け付ける。特に、本実施形態においてＣＰＵ１１は、上述した情報の入力を分析観点の数に応じた分だけ受け付ける。具体的に説明すると、第一の分析観点においてＣＰＵ１１は、作業員Ａの作業動画の各動作要素に関する情報の入力を、作業員Ａの動作要素の数に応じた分だけ受け付ける。同様に、第二の分析観点においてＣＰＵ１１は、作業員Ｂの作業動画の各動作要素に関する情報の入力を、作業員Ｂの動作要素の数に応じた分だけ受け付ける。受け付けられた動作要素の種別やレーティング率等の情報は、それぞれ対応する要素情報ＤＢ１２に記憶される。

また、本実施形態では、レーティング率等の入力を受け付けるに際して表示される分析画面（以下、観点分析画面６）が分析観点毎に用意されており、観点分析画面６の切り替えを自在に行えるようになっている。以下、図１６Ａ及び図１６Ｂを参照しながら観点分析画面６について詳しく説明する。図１６Ａは、Ｖｉｅｗ１を選択した場合に表示される観点分析画面６の一例を示す説明図である。図１６Ｂは、Ｖｉｅｗ２を選択した場合に表示される観点分析画面６の一例を示す説明図である。

観点分析画面６は、各分析観点により分割した動作要素に関する情報が表示される。具体的に説明すると、観点分析画面６は、図１６Ａ及び図１６Ｂに示すように、左上部に分割された表示ウィンドウ６１と、右上部に設けられた種別表６８Ａ及び６８Ｂと、種別表６８Ａ及び６８Ｂの下部に設けられた動作要素表６２と、動作要素表６２の下部に設けられた集計表６４と、集計表６４の下部に設けられた種別グラフ６３Ａ及び６３Ｂと、種別グラフ６３Ａ及び６３Ｂの下部に設けられた稼動グラフ６５（グラフに相当）と、表示ウィンドウ６１の下部に設けられた無効欄６６と、稼動グラフ６５の右部に設けられた個別コメント欄６７とを備える。動作要素表６２の右端にはレーティング欄６２１及び非定常欄６２３が設けられている。動作要素表６２の上部にはタブ６２２（切り替えタブに相当）が設けられている。表示ウィンドウ６１の左端にはレーティング率欄６１１が設けられている。表示ウィンドウ６１の左上部には決定レーティング率欄６１２が設けられている。種別グラフ６３Ａ及び６３Ｂ等は場合により種別グラフ６３で代表する。

種別グラフ６３Ａ及び６３Ｂ等は、種別１と種別２又は種別２と種別３等、種別毎に時間軸を合わせて表示させたものである。稼動グラフ６５は、非稼動部分６５Ａ、準稼動部分６５Ｂ及び稼動部分６５Ｃにより構成される。稼動グラフ６５中の各部分は、当該各部分と対応する時間（具体的には、稼働合計時間、準稼動合計時間及び無効合計時間）の割合を示している。無効欄６６は、無効割合グラフ６６Ａ、６６Ｂ、６６Ｃ及び６６Ｄと、計測回数欄６６１と、全体計測欄６６２とを備える。無効割合グラフ６６Ａ、６６Ｂ、６６Ｃ及び６６Ｄは、場合により無効割合グラフ６６０で代表する。種別表６８Ａ及び６８Ｂ等は、場合により種別表６８で代表する。表示ウィンドウ６１、種別グラフ６３、集計表６４、稼動グラフ６５及び個別コメント欄６７は、表示ウィンドウ５１、種別グラフ５３、集計表５４、稼動グラフ５５及び個別コメント欄５６と同様の構成及び動作であり、簡潔のため記載を省略する。

種別表６８は、動作要素の種別を表示する表である。タブ６２２は、表示させる動作要素表６２を分析観点毎に切り替えるために複数（図１６Ａ及び１６Ｂでは４つ）設けられている。無効欄６６は、無効時間に関する情報を表示する欄である。無効割合グラフ６６０は、要素時間に対する無効時間の割合を表示した棒グラフである。計測回数欄６６１は、各動作要素において無効時間を計測した回数を表示する欄である。全体計測欄６６２は、取得した動画内で無効時間を計測した回数の合計値を示す全体計測回数を表示する欄である。

観点分析画面６の動作について説明すると、ユーザが複数のタブ６２２のうちの一つを選択した際に、ＣＰＵ１１は、選択されたタブ６２２と対応する観点分析画面６（具体的には、表示ウィンドウ６１、動作要素表６２、種別グラフ６３、集計表６４、稼動グラフ６５、無効欄６６、個別コメント欄６７及び種別表６８）を表示する。具体的に説明すると、図１６Ａに示すようにユーザがタブ６２２の「Ｖｉｅｗ１」を入力部１４で選択した場合、ＣＰＵ１１は、作業員Ａの要素情報ＤＢ１２１を参照し、作業員Ａの動作要素を分析するための観点分析画面６を表示する。この観点分析画面６の表示に伴って、ＣＰＵ１１は、作業員Ａの各動作要素に関する入力情報、例えば種別やレーティング率等の情報を対応付けて動作要素表６２に表示する。

その他、ＣＰＵ１１は、観点分析画面６の表示に伴って、表示ウィンドウ６１、種別グラフ６３、集計表６４及び稼動グラフ６５を表示する。また、ＣＰＵ１１は、作業員Ａの各動作要素に対して設定された第一の種別（種別１）を種別表６８Ａに表示し、第二の種別（種別２）を種別表６８Ｂに表示する。さらに、ＣＰＵ１１は、無効欄６６において要素時間に対する無効時間の割合を無効割合グラフ６６０の下側に表示し、要素時間に対する動作時間の割合を無効割合グラフ６６０の上側に表示する。例えばＣＰＵ１１は、動作要素表６２の１行目の動作要素を選択した場合、行番号に対応する左端の無効割合グラフ６６Ａを選択する。また、ＣＰＵ１１は、作業員Ａの要素情報ＤＢ１２１中、選択された動作要素と対応する計測回数列に記憶された計測回数を計測回数欄６６１に表示する。さらにまた、ＣＰＵ１１は、作業員Ａの要素情報ＤＢ１２１中の計測回数列に記憶された計測回数を合計することで全体計測回数を算出し、算出した全体計測回数を全体計測欄６６２に表示する。

一方、図１６Ｂに示すようにユーザがタブ６２２の「Ｖｉｅｗ２」を入力部１４で選択した場合、ＣＰＵ１１は、作業員Ｂの要素情報ＤＢ１２１を参照し、作業員Ｂの動作要素を分析するための観点分析画面６を表示する。この観点分析画面６の表示に伴って、ＣＰＵ１１は、作業員Ｂの各動作要素に関する入力情報、例えば種別やレーティング率等の情報を対応付けて動作要素表６２に表示する。その他、ＣＰＵ１１は、観点分析画面６の表示に伴って、表示ウィンドウ６１、種別グラフ６３、集計表６４及び稼動グラフ６５を表示する。また、ＣＰＵ１１は、作業員Ｂの各動作要素に対して設定された第一の種別（種別１）を種別表６８Ａに表示し、第二の種別（種別２）を種別表６８Ｂに表示する。さらに、ＣＰＵ１１は、無効欄６６において無効割合グラフ６６０を表示する。また、ＣＰＵ１１は、作業員Ｂの要素情報ＤＢ１２１中、選択された動作要素と対応する計測回数列に記憶された計測回数を計測回数欄６６１に表示する。さらにまた、ＣＰＵ１１は、作業員Ｂの要素情報ＤＢ１２１中の計測回数列に記憶された計測回数の合計値（全体計測回数）を全体計測欄６６２に表示する。

以上のように本実施形態においてＣＰＵ１１は、分析観点と同じ数だけ観点分析画面６を用意し、換言すると、分析観点と同じ数だけ動作要素表６２、種別グラフ６３、集計表６４、稼動グラフ６５、無効割合グラフ６６０及び種別表６８を生成する。そして、ＣＰＵ１１は、分析観点と同数の観点分析画面６のうち、選択されたタブ６２２と対応する観点分析画面６を表示する。これにより、ユーザは、タブ６２２を操作して観点分析画面６を切り替えることで作業員Ａ及び作業員Ｂの各人の作業に関する情報を比較し、作業員Ａ及び作業員Ｂ夫々の標準時間等の設定に利用することができる。

図１６Ａ及び図１６Ｂを対比しながら分かり易く説明すると、例えば、作業員Ａの動作要素「右側の溶接」の無効時間が「０．５０」となっており、かつ作業員Ｂの動作要素「左側の溶接」の無効時間が「１．００」となっている。これにより、ユーザは、無効割合グラフ６６０で作業員Ｂに対して作業員Ａの無効時間の割合が少ないことが解る。また、ユーザは、計測回数欄６６１を確認することで、作業員Ａの各動作要素における無効時間の計測回数が「３」であり、作業員Ｂの各動作要素における無効時間の計測回数が「４」であることが解る。さらに、ユーザは、全体計測欄６６２を確認することで、作業員Ａの動作要素すべてに亘る無効時間の計測回数が「１２」であり、作業員Ｂの動作要素すべてに亘る無効時間の計測回数が「１６」であることが解る。

以上よりユーザは作業員Ａが熟練の作業員であることが解る。この結果、ユーザが作業員Ａの各動作要素についてレーティング率を入力する際には、上記の事情（作業員Ａが熟練の作業員であること）を反映した形で妥当な値が入力されるようになる。その上で、ＣＰＵ１１は、入力したレーティング率及び動作時間に基づいて適正な標準時間を算出する。

また、ユーザがタブ２２１の「Ｖｉｅｗ１」を入力部１４で選択したとき、ＣＰＵ１１は、個別コメント欄６７に入力を入力部１４で受け付ける。この際、ユーザが個別コメント欄６７に「作業員Ａは熟練である」を入力すると、ＣＰＵ１１は、個別コメント欄６７に「作業員Ａは熟練である」を表示する。他方、ユーザがタブ６２２の「Ｖｉｅｗ２」を入力部１４で選択したとき、ＣＰＵ１１は、個別コメント欄６７に入力を入力部１４で受け付ける。この際、ユーザが個別コメント欄６７に「作業員Ｂは新人である」を入力すると、ＣＰＵ１１は、個別コメント欄６７に「作業員Ｂは新人である」を表示する。

次に、本実施形態における情報処理方法の流れについて、図１８及び１９を参照しながら説明する。図１８及び１９は、本実施形態における情報処理システムの処理手順を示したフローチャートである。ＣＰＵ１１はタブ６２２で観点の選択を入力部１４で受け付ける（ステップＳ５１）。ＣＰＵ１１は、選択した観点に基づいて要素情報ＤＢ１２１を読み込む（ステップＳ５２）。その後、ＣＰＵ１１は、動作要素、非定常情報（周期性情報）、種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、レーティング率及び標準時間等を記憶部１２から読込み、又は入力部１４で入力を受け付け（ステップＳ５３）、処理をＳ１２に移す。その後のステップＳ１２〜Ｓ１８の処理については、上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。

ＣＰＵ１１は、Ｓ１８の処理を終了した後、一の動画データを表示ウィンドウ６１に表示する（ステップＳ５４）。また、ＣＰＵ１１は、要素時間、動作時間及び無効時間に基づいて無効割合グラフ６６０を表示する（ステップＳ５５）。また、ＣＰＵ１１は計測回数及び全体計測回数の夫々を計測回数欄６６１及び全体計測欄６６２の夫々に表示する（ステップＳ５６）。また、ＣＰＵ１１は。個別コメント欄６７に個別コメントを表示する（ステップＳ５７）。

その後、ユーザがタブ６２２を操作した場合、ＣＰＵ１１は、入力部１４を通じて分析観点の切り替えを受け付ける（ステップＳ５８）。ＣＰＵ１１は異なる観点を選択したか否かを判定する（ステップＳ５９）。ＣＰＵ１１は異なる観点を選択しなかったと判定した場合（ステップＳ５９：ＮＯ）、異なる観点を選択するまで待機する。ＣＰＵ１１は異なる観点を選択したと判定した場合（ステップＳ５９：ＹＥＳ）、内容の異なる動作要素表６２等を表示する画面に切り替え（ステップＳ６０）、処理をステップＳ５２に移し、処理を繰り返す。

以上までに説明してきたように、本実施形態では、分析観点別の動作要素表６２の表示をタブ６２２の操作によって切り替えられる。これにより、分析観点毎の種別又は動作時間等の比較が容易になる。より具体的に説明すると、分析観点を切り替える際には、一般的に、それまで起動していたプログラム１２Ｐを一旦終了し、新たな分析観点にて分析を開始するにあたり上記のプログラム１２Ｐを再度起動して分析画面を立ち上げる必要がある。これに対して、本実施形態では、上記のようにプログラムの終了及び再起動を行う必要がなく、タブ６２２を操作するだけで分析画面が切り替わる。このような構成により、本実施形態では、分析観点を容易に切り替えることができる。

なお、本実施形態では、タブ６２２の操作によって分析観点が切り替えられる構成であるため、分析観点別の動画（分かり易くは、作業員Ａ及び作業員Ｂの其々の動画）を表示する際には各動画を同一の時間軸上で表示させることが容易となる。これにより、各動画を見ながらレーティング率を分析観点別に算出する場合、各動画の時間軸が揃うため、レーティング率を適切に算出することが可能となる。

また、本実施形態では、タブ６２２を操作して分析画面を切り替えることで対象物毎に作業時間や各動作要素の動作時間を比較することができる。これにより、作業員同士の作業の優劣を即座に理解することが可能となり、その内容をレーティング率の算出に役立てることができる。

また、本実施形態では、分析観点毎に稼動グラフ６５の表示をタブ６２２の操作より切り替えることで分析観点毎の無効合計時間や準稼動合計時間等の比較が容易になる。この結果、上記の比較結果に基づいてレーティング率をより適切に算出に役立てることができる。なお、上述のケースでは、図１６Ａ及び図１６Ｂに示すように、各分析観点に対して一つの分析画面（観点分析画面６）が対応付けられている。また、それぞれの観点分析画面６には、対応する分析観点で分析した場合に得られる稼動グラフ６５や無効割合グラフ６６０が一つずつ表示されている。ただし、これに限定されるものではなく、図１７に示すように、分析観点毎に作成される稼動グラフ６５をすべて同一の分析画面にて同時に表示してもよい。図１７は、観点分析画面６の応用例を示す図である。図１７に図示の観点分析画面が表示されれば、分析観点毎の無効合計時間又は準稼動合計時間等の比較がより容易になる。また、特に図示はしないが、分析観点毎に作成される無効割合グラフ６６０についても、同様に、そのすべてを同一の分析画面上で同時表示させてもよい。

また、本実施形態では、無効割合グラフ６６０を表示することで各種別の無効時間の割合を理解することが容易になる。このことによりレーティング率の算出に役立てることができる。

また、本実施形態では、動作要素毎に非定常情報を表示することでユーザが周期的な作業であるか否かを理解することができる。このため、周期的な作業であった場合、慣れているためにレーティング率を低く設定する等、レーティング率の算出に役立てることができる。

なお、本実施形態では、複数の分析観点で動画を分析するにあたり、複数の対象物を設定し、各対象物の動画を異なる撮像装置２Ａ、２Ｂにて撮像することとした。ただし、分析対象とする動画については、分析観点毎に個々の動画を準備する場合に限られない。つまり、一の撮像装置２（例えば、全方位撮影可能なカメラ）によって複数の対象物を同時に撮像し、撮像された動画を複数の分割観点の間で共通の分析対象としてもよい。

また、本実施形態では、対象物が作業員であり、作業員の動画を分析するケースを例に挙げて説明したが、これに限定されるものではない。対象物については、作業員以外であってもよく、例えば作業用の工具や機械であってもよく、その工具や機械を撮像した動画を分析してもよい。あるいは、作業物（処理対象品であり、分かり易くは製作途中の製品）を対象物としてもよい。なお、作業物を対象物として撮像された動画を分析する場合には、作業者の手によって処理が行われている状態を稼動状態とし、準稼動動作（機械のみによる処理）が行われている状態を準稼動状態とし、何らの処理も行われていない状態を非稼働状態として稼働率（稼働合計時間の割合）を算出することになる。このように作業物を対象物として算出した稼働率と、作業員を対象物としたときの稼働率とを対比する等すれば、それぞれの稼働率の算出結果について妥当性を評価することができる。

（実施の形態５）
実施の形態５は非定常情報に関する情報を分析するためのサイクル画面７を表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。記憶部１２はさらに非定常情報ＤＢ１２７を備える。

図２０は非定常情報ＤＢ１２７に格納されているデータの一例を示す図である。非定常情報ＤＢ１２７は非定常情報に関する情報を記憶するデータベースである。非定常情報ＤＢ１２７は動作要素列、非定常列、種別１列、１サイクル列、２サイクル列及び３サイクル列等を備える。以下、場合により１サイクル列、２サイクル列及び３サイクル列等はサイクル列で代表する。サイクル列は動作要素内の作業が繰り返される回数を示すサイクル数を示し、開始時間列及び要素時間列を備える。非定常情報ＤＢ１２７の動作要素列、非定常列、種別１列、開始時間列及び要素時間列は要素情報ＤＢ１２１と同様の構成であり、簡潔のため記載を省略する。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、サイクル表７２の動作要素列、非定常列、作業員Ａ列に動作要素、非定常情報及び種別を非定常情報ＤＢ１２７に記憶させる。ＣＰＵ１１はサイクル画面７で各サイクル列の開始時間及び要素時間の入力を入力部１４で受け付け、受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に記憶させる。

図２１はサイクル画面７の一例を示す説明図である。サイクル画面７は左上部に分割された表示ウィンドウ７１と、右上部に設けられた種別表７８、種別表７８の下部に設けられたサイクル表７２と、表示ウィンドウ７１の下部に設けられたサイクルコメント欄７７とを備える。表示ウィンドウ７１の左端にはレーティング率欄７１１が設けられている。表示ウィンドウ７１の左上部には決定レーティング率欄７１２が設けられている。サイクル表７２は下部に合計欄７２１を備える。サイクル表７２は非定常情報に関する情報を表示するための表である。表示ウィンドウ７１、サイクルコメント欄７７及び種別表７８は表示ウィンドウ６１、個別コメント欄６７及び種別表６８と同様の構成及び動作であり、簡潔のため記載を省略する。

サイクル画面７の動作は以下の通りである。ＣＰＵ１１はサイクル画面７の表示の選択を入力部１４で受け付ける。ユーザはサイクル画面７の表示を選択し、ＣＰＵ１１はサイクル画面７を表示する。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、サイクル表７２の動作要素列及び作業員Ａ列に動作要素、非定常情報及び種別を表示する。ＣＰＵ１１は動作要素の非定常情報が周期性のある動作を示すか否かを判定する。

ＣＰＵ１１は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の非定常情報列が×であると判定する。例えば、作業員Ａが３回動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の作業を行っている場合、ＣＰＵ１１は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の１サイクル列、２サイクル列及び３サイクル列等に入力を入力部１４で受け付ける。ユーザは１サイクル列、２サイクル列及び３サイクル列の開始時間及び要素時間を入力部１４で入力する。ＣＰＵ１１は動作要素の非定常情報が周期性のない動作を示すと判定した場合、要素情報ＤＢ１２１を参照し、動作要素「金具Ａをセット」に対応する１サイクル列に要素情報ＤＢ１２１の開始時間及び要素時間を表示する。ＣＰＵ１１は１サイクル列、２サイクル列及び３サイクル列の要素時間の合計「２７．００」、「１５．００」及び「１８．００」を算出し、算出した要素時間の合計「２７．００」、「１５．００」及び「１８．００」を各サイクル列の下部の合計欄７２１に表示する。

図２２は本実施形態における情報処理システムの処理手順を示したフローチャートである。ＣＰＵ１１はサイクル画面７の表示の選択を入力部１４で受け付ける。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ２２の処理を終了した後、サイクル画面７の表示の選択を入力部１４で受け付ける（ステップＳ６１）。ＣＰＵ１１は要素情報ＤＢ１２１に基づいてサイクル表７２を表示する（ステップＳ６２）。具体的にはＣＰＵ１１は要素情報ＤＢ１２１を参照し、サイクル表７２の動作要素列及び種別１列に動作要素、非定常情報及び種別を表示する。

ＣＰＵ１１は動作要素の非定常情報が周期性のある動作であるか否かを判定する（ステップＳ６３）。ＣＰＵ１１は動作要素の非定常情報が周期性のある動作を示すと判定した場合（ステップＳ６３：ＹＥＳ）、サイクル表７２において動作要素に対応する各サイクル列に開始時間及び要素時間の入力を入力部１４で受け付ける（ステップＳ６４）。ＣＰＵ１１は受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に表示し（ステップＳ６５）、処理をＳ６７に移す。ＣＰＵ１１は動作要素の非定常情報が周期性のない動作を示すと判定した場合（ステップＳ６３：ＮＯ）、要素情報ＤＢ１２１を参照し、動作要素に対応する１サイクル列に要素情報ＤＢ１２１の開始時間及び要素時間を表示する（ステップＳ６６）。ＣＰＵ１１は全ての動作要素について判定を行ったか否かを判定する（ステップＳ６７）。ＣＰＵ１１は全ての動作要素について判定を行っていないと判定した場合（ステップＳ６７：ＮＯ）、処理をステップＳ６３に移す。ＣＰＵ１１は全ての動作要素について判定を行ったと判定した場合（ステップＳ６７：ＹＥＳ）、要素時間の合計を算出し、合計欄７２１に表示し（ステップＳ６８）、処理をＳ１１に移す。

一つの側面によれば、周期性のある動作について詳細に分析することができる。

（実施の形態６）
実施の形態６はワークサンプリング法を用いて動作要素に関する情報を作成する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態４及び５と同等であり、簡潔のため記載を省略する。ワークサンプリングとは、作業者が行っている各作業を瞬時に計測して、統計的に集計・分類を行うものである。瞬間的に観測を行うので、作業者は撮影行為を意識せず作業を行える為、比較的実測に近い状態で観測する方法として一般的に用いられている。具体的なワークサンプリング法とは以下の通りである。動画から一定間隔又はランダムな間隔で対象物の画像を所定の回数抽出し、抽出した対象物の画像を分析することで対象物が行う作業種類に係る回数の構成比率を算出する。ユーザは算出した構成比率に基づいて分析画面５、観点分析画面６又はサイクル画面７等により標準時間、動作時間又は無効時間等の動作要素に関する情報を作成する手法である。以下、本実施形態に係る情報処理システムの詳細を説明する。

本実施形態に係る記憶部１２はさらにサンプリングテーブル１２５、対応テーブル１２６及びサンプリング集計テーブル１２７を備える。図２３はサンプリングテーブル１２５及び対応テーブル１２６に格納されているデータの一例を示す図である。サンプリングテーブル１２５はワークサンプリング法に用いられるサンプリングデータを記憶するデータベースである。本実施形態におけるサンプリングテーブル１２５は、サンプル数（対象物の数）に応じて設定された複数のデータベース（サンプリングテーブル）からなる。サンプル数とは１つの画像に映る作業員の数である。なお、図２３中、記号Ａが付されたテーブル中の各値は、作業員Ａのサンプリングテーブルに格納されているデータの一例を示している。また、同図中、記号Ｂが付されたテーブル中の各値は、作業員Ｂのサンプリングテーブルに格納されているデータの一例を示している。

サンプリングテーブル１２５は画像ＩＤ列、画像列、作業種類列及び稼動情報列等を備える。画像ＩＤ列には画像を識別するための画像ＩＤが記憶される。画像列には抽出した画像が画像ＩＤに対応づけて記憶される。作業種類列には表示された画像に対応する対象物が行う作業の種類を示す作業種類が記憶される。作業種類とは例えば「左側の溶接」又は「ロボットによる組み立て」等である。例えば、作業種類列には作業員Ａの作業の種類が「左側の溶接」であること又は作業員Ａの作業の種類が「ロボットによる組み立て」であること等が記憶される。稼動情報列には対象物が稼動しているか否かを示す稼動情報が画像ＩＤに対応づけて記憶される。稼動情報列には例えば、稼動、非稼動又は準稼動が記憶される。稼動は対象物が稼動していることを示す。非稼動は対象物が非稼動であることを示す。準稼動は対象物が準稼動動作をしていることを示す。

ＣＰＵ１１は後述するワークサンプリング画面８で作業種類、稼動情報及び画像ＩＤの入力を入力部１４で受け付け、受け付けた情報を対応テーブル１２６に記憶させる。

図２４は複数の作業種類毎にまとめた作業工程と画像ＩＤ等とを対応づける対応テーブル１２６に格納されているデータの一例を示す図である。対応テーブル１２６は作業工程列及び画像ＩＤ列を備える。作業工程列には作業工程が記憶される。画像ＩＤ列には画像ＩＤが作業工程に対応づけて記憶される。ＣＰＵ１１は作業工程及び画像ＩＤの選択を受け付け、受け付けた作業工程及び画像ＩＤを対応づけて対応テーブル１２６に記憶させる。

図２５はサンプリング集計テーブル１２７に格納されているデータの一例を示す図である。サンプリング集計テーブル１２７はサンプリングデータを集計したサンプリング集計データを記憶するデータベースである。サンプリング集計テーブル１２７は生成動画列、作業工程列、サンプリング回数列、稼動数列、準稼動数列及び非稼動数列を備える。生成動画列には画像から生成した生成動画の名称が記憶される。生成動画は取得した動画から画像を抽出し、抽出した画像を時系列順に並べることで生成する。作業工程列には作業工程が記憶される。サンプリング回数列にはサンプリング回数が記憶される。サンプリング回数とは画像を取得した取得回数である。稼動数列には稼動情報が「稼動」である画像の数を計数した稼動数が記憶される。準稼動数列には稼動情報が「準稼動」である画像の数を計数した準稼動数が記憶される。非稼動数列には稼動情報が「非稼動」である画像の数を計数した非稼動数が記憶される。サンプリング回数列、稼動数列、準稼動数列及び非稼動数列の最後の行には夫々、サンプリング回数、稼動数、準稼動数及び非稼動数の合計が記憶される。ＣＰＵ１１は動画の名称を自動的に生成する。ＣＰＵ１１は生成した動画の名称をサンプリング集計テーブル１２７に記憶させる。ＣＰＵ１１は後述する算出方法でサンプリング回数、稼動数、準稼動数及び非稼動数を算出し、算出したサンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル１２７に記憶させる。

図２６はワークサンプリング法を実行するためのワークサンプリング画面８の一例を示す説明図である。ワークサンプリング画面８は左上部に設けられた観測モード選択欄８２と、観測モード選択欄８２の下部に設けられた計測選択欄８３と、計測選択欄８３の下部に設けられた開始ボタン８４と、観測モード選択欄８２、計測選択欄８３及び開始ボタン８４の右部に設けられた画像欄８１と、画像欄８１の下部に設けられた作業種類表８５と、作業種類表８５の下部に設けられたサンプリング表８６と、サンプリング表８６の左下部に設けられた算出欄８７と、算出欄８７の右部に設けられた稼動グラフ８８と、右部に設けられた画像欄８１Ａ及び８１Ｂ等と、右上部に設けられたボタン８９Ａ、８９Ｂ、８９Ｃ及び８９Ｄ等と、登録ボタン８０と、ボタン８１０とを備える。

以下、画像欄８１Ａ、８１Ｂ等は場合により画像欄８１１で代表する。稼動グラフ８８は非稼動部分８８Ａ、準稼動部分８８Ｂ及び稼動部分８８Ｃにより構成される。以下、ボタン８９Ａ、８９Ｂ、８９Ｃ及び８９Ｄ等は場合によりボタン８９で代表する。画像欄８１は選択した画像を表示する欄である。画像欄８１１は取得した画像を表示する欄である。観測モード選択欄８２は観測モードを選択するための欄である。計測選択欄８３は計測方法を選択するための欄である。開始ボタン８４はワークサンプリングを実行するためのボタンである。作業種類表８５は作業種類を表示するための表である。サンプリング表８６はワークサンプリング法に用いられるデータを表示する表である。算出欄８７は十分な確からしさを得るために必要サンプリング回数を算出する式に入力を行うための欄である。稼動グラフ８８は稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。ボタン８９Ａ、８９Ｂ、８９Ｃ及び８９Ｄの夫々は分析画面５、観点分析画面６、サイクル画面７及びワークサンプリング画面８の夫々を表示するためのボタンである。登録ボタン８０は作業種類を登録するためのボタンである。なお、ボタン８１０は後述する実施の形態で用いるため、本実施形態では説明を省略する。

ワークサンプリング画面８の動作は以下の通りである。ＣＰＵ１１は後述する登録ボタン８０を入力部１４で登録ボタン８０の選択を受け付け、ユーザが登録ボタン８０を入力部１４で選択した場合、ＣＰＵ１１は作業種類表８５に作業種類の入力を入力部１４で受け付ける。ＣＰＵ１１は受け付けた作業種類を作業種類表８５に表示し、サンプリングテーブル１２５に記憶させる。観測モード選択欄８２は時間帯別観測モード及び多人数観測モードを選択することができる。ユーザが入力部１４で時間帯別観測モードを選択した場合、一の対象物に注目してワークサンプリングを実行する。ユーザが入力部１４で多人数観測モードを選択した場合、複数の対象物に注目してワークサンプリングを実行する。

計測選択欄８３はランダム時刻表計測及び定時計測を選択することができる。ユーザが入力部１４でランダム時刻表計測を選択した場合、ＣＰＵ１１は取得した動画からランダムな時間で画像を抽出する。ユーザが入力部１４で定時計測を選択した場合、ＣＰＵ１１は取得した動画から所定の時間間隔で画像を抽出する。所定の時間間隔とは例えば０．１秒である。

ユーザが例えば、入力部１４で時間帯別観測モードを選択し、ランダム時刻表計測を選択し、かつ開始ボタン８４を選択した場合、取得した動画からランダムで作業員Ａの画像を抽出し、抽出した作業員Ａの画像を画像欄８１１に表示する。またユーザが例えば、入力部１４で多人数観測モードを選択し、定時計測を選択し、かつ開始ボタン８４を選択した場合、取得した動画から所定の時間間隔で作業員Ａ及びＢの画像を抽出し、抽出した作業員Ａ及びＢの画像を画像欄８１１に表示する。

ユーザが例えば画像欄８１Ａの画像Ａを選択した場合、ＣＰＵ１１は画像Ａを画像欄８１に表示する。ＣＰＵ１１は作業種類表８５の作業種類の選択を入力部１４で受け付ける。ユーザは入力部１４で作業種類表８５から「左側の溶接」を選択する。ＣＰＵ１１は画像Ａの画像ＩＤ「００１」に作業種類「左側の溶接」を対応づけ、サンプリングテーブル１２５に記憶させる。ＣＰＵ１１は稼動情報の入力を入力部１４で受け付ける。ユーザは稼動情報「準稼動」を入力する。ＣＰＵ１１は受け付けた稼動情報「準稼動」を画像Ａの画像ＩＤ「００１」に対応づけてサンプリングテーブル１２５に記憶させる。

ユーザが画像ＩＤ、作業種類及び稼動情報の対応づけを終えた後、ＣＰＵ１１は対応テーブル１２６及びサンプリングテーブル１２５を参照し、作業工程に対応するサンプリング回数及び稼動数、準稼動数、非稼動数を算出する。具体的にはＣＰＵ１１は溶接に対応する画像ＩＤが画像ＩＤ「００１〜００４」であるため、図２３Ａ及び図２３Ｂに示すように、サンプリング回数「７」、稼動数「２」、準稼動数「３」、非稼動数「２」を算出する。以下同様であり、簡潔のため記載を省略する。ＣＰＵ１１は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、１００を積算することで構成比を算出する。構成比とは稼動数、準稼動数及び非稼動数の比率である。ＣＰＵ１１は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表８６に表示する。ＣＰＵ１１は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル１２７に記憶させる。

ＣＰＵ１１は算出欄８７の各欄に数値を入力部１４で受け付ける。ユーザは各欄に数値を入力する。ＣＰＵ１１は入力した数値を式に代入し、必要サンプリング回数を算出する。算出欄８７に表示された式は例えば下記の通りである。
Ｎ＝ｔ×ｔ×（１−Ｐ）÷（Ｓ×Ｓ×Ｐ）
Ｎ：必要サンプリング回数、ｔ：信頼度、Ｓ：精度、Ｐ：構成比
ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下か否かを判定する。ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下であると判定した場合、算出欄８７に所定のメッセージを表示する。所定のメッセージとは例えば「サンプリング回数が不足しています」である。

ＣＰＵ１１はサンプリングテーブル１２５を参照し、稼動情報及び作業時間に基づいて稼動グラフ８８を生成する。ＣＰＵ１１が稼動グラフ８８を生成する処理は以下の通りである。ＣＰＵ１１はサンプリング回数に対する非稼動数の割合で非稼動部分８８Ａを生成する。ＣＰＵ１１はサンプリング回数に対する準稼動数の割合で準稼動部分８８Ｂを生成する。ＣＰＵ１１はサンプリング回数に対する稼動数の割合で稼動部分８８Ｃを生成する。ＣＰＵ１１は生成した非稼動部分８８Ａ、準稼動部分８８Ｂ及び稼動部分８８Ｃに基づいて稼動グラフ８８を生成し、表示する。すなわちＣＰＵ１１は各画像内の対象物が稼動している割合を表示する。ユーザは例えば、稼動グラフ８８で非稼動数、稼動数又は準稼動数の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ８８を確認することでおおよそのレーティング率を決定することができる。

ユーザがボタン８９Ａ、８９Ｂ及び８９Ｃの夫々を入力部１４で選択した場合、ＣＰＵ１１は分析画面５、観点分析画面６及びサイクル画面７の夫々を表示する。ボタン８９Ａ、８９Ｂ及び８９Ｃは分析画面５、観点分析画面６及びサイクル画面７にも設けられており、同様の動作を行う。さらに分析画面５、観点分析画面６及びサイクル画面７でユーザがボタン８９Ｄを選択した場合、ワークサンプリング画面８を表示する。

図２７〜２９は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２、Ｓ５１〜Ｓ５８及びＳ６１〜６８の処理は上述の実施の形態４及び５に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１は入力部１４で観測モードの入力を入力部１４で受け付ける（ステップＳ７１）。ＣＰＵ１１は入力部１４で計測方法の入力を入力部１４で受け付ける（ステップＳ７２）。ＣＰＵ１１は入力部１４で開始ボタン８４の選択がされたか否かを判定する（ステップＳ７３）。ＣＰＵ１１は入力部１４で開始ボタン８４の選択がされなかったと判定した場合（ステップＳ７３：ＮＯ）、処理をＳ７１に移す。ＣＰＵ１１は入力部１４で開始ボタン８４の選択がされたと判定した場合（ステップＳ７３：ＹＥＳ）、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行する（ステップＳ７４）。

ＣＰＵ１１は入力部１４で画像の選択を入力部１４で受け付ける（ステップＳ７５）。ＣＰＵ１１は作業種類及び稼動情報の入力を入力部１４で受け付ける（ステップＳ７６）。ＣＰＵ１１は受け付けた画像の画像ＩＤに作業種類及び稼動情報を対応づける（ステップＳ７７）。ＣＰＵ１１は対応テーブル１２６及びサンプリングテーブル１２５を参照し、作業工程に対応するサンプリング回数、稼動数、準稼動数及び非稼動数を算出する（ステップＳ７８）。ＣＰＵ１１は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、１００を積算することで構成比を算出する（ステップＳ７９）。ＣＰＵ１１は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表８６に表示する（ステップＳ８０）。ＣＰＵ１１は算出欄８７の各欄に入力を入力部１４で受け付ける（ステップＳ８１）。ＣＰＵ１１は算出欄８７の各欄に入力された値に基づいて必要サンプリング回数を算出する（ステップＳ８２）。ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下であるか否かを判定する（ステップＳ８３）。

ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下でないと判定した場合（ステップＳ８３：ＮＯ）、すなわちサンプリング回数が必要サンプリング回数を超えたと判定した場合、処理をＳ８５に移す。ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下であると判定した場合（ステップＳ８３：ＹＥＳ）、算出欄８７に所定のメッセージを表示する（ステップＳ８４）。ＣＰＵ１１は稼動数、準稼動数、非稼動数及びサンプリング回数の合計に基づいて稼動グラフ５５を表示する（ステップＳ８５）。

ＣＰＵ１１は分析画面５の表示を選択したか否かを判定する（ステップＳ８６）。すなわち、ＣＰＵ１１はボタン８９Ａを選択したか否かを判定する。ＣＰＵ１１は分析画面５の表示を選択したと判定した場合（ステップＳ８６：ＹＥＳ）、処理をステップＳ１１に移し、分析画面５の表示処理を行う。ＣＰＵ１１は分析画面５の表示を選択しなかったと判定した場合（ステップＳ８６：ＮＯ）、観点分析画面６の表示を選択したか否かを判定する（ステップＳ８７）。すなわち、ＣＰＵ１１はボタン８９Ｂを選択したか否かを判定する。ＣＰＵ１１は観点分析画面６の表示を選択したと判定した場合（ステップＳ８７：ＹＥＳ）、処理をＳ５１に移し、観点分析画面６の表示処理を行う。

ＣＰＵ１１は観点分析画面６の表示を選択しなかったと判定した場合（ステップＳ８７：ＮＯ）、サイクル画面７の表示を選択したか否かを判定する（ステップＳ８８）。すなわち、ＣＰＵ１１はボタン８９Ｃを選択したか否かを判定する。ＣＰＵ１１はサイクル画面７の表示を選択したと判定した場合（ステップＳ８８：ＹＥＳ）、処理をＳ６１に移す。ＣＰＵ１１はサイクル画面７の表示を選択しなかったと判定した場合（ステップＳ８８：ＮＯ）、処理をＳ７１に移す。

一つの側面によれば、ワークサンプリング法を用いた動画は比較的実測に近い状態で観測された動画であり、これらの動画を分析又は観点分析を行う事でより精度の高い解析・分析結果を入手することができる。

また、一つの側面によれば、ワークサンプリング法を用いた後で即座に稼動状況の構成比を表示でき、当該構成比から動画の分析画面に即座に移動することができるため、分析時間をより短縮をすることができる。

（実施の形態７）
実施の形態７はテンプレートマッチング又はパターンマッチング等の画像処理を用いて作業種類、稼動情報及び画像を対応づける実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態５と同等であり、簡潔のため記載を省略する。

記憶部１２はさらにテンプレートＤＢ１２８を備える。図３０はテンプレートＤＢ１２８に格納されているデータの一例を示す図である。テンプレートＤＢ１２８は画像処理に用いるテンプレート画像（作業画像）と作業種類とを対応づけて記憶させるデータベースである。テンプレートＤＢ１２８はテンプレート画像列、作業種類列及び稼動情報列等を備える。テンプレート画像列にはテンプレート画像が記憶される。テンプレート画像とは例えば対象物が作業種類の作業を行っている画像である。作業種類列には作業種類が記憶される。稼動情報列には稼動情報が記憶される。

テンプレートＤＢ１２８にテンプレート画像及び作業種類を記憶させる方法は以下の通りである。ユーザが本実施形態における登録ボタン８０を入力部１４で入力した場合、ＣＰＵ１１は図３０に示すテンプレート画像を登録するための画像登録画面９を表示する。図３１は画像登録画面９の一例を示す説明図である。画像登録画面９は左上部及び左下部に設けられた稼動情報登録欄９１Ａ及び９１Ｂと、右部に設けられた画像登録欄９２とを備える。以下、場合により稼動情報登録欄９１Ａ及び９１Ｂを稼動情報登録欄９１で代表する。稼動情報登録欄９１は上部に設けられた作業種類欄９１１と、作業種類欄９１１の右部に設けられた稼動情報欄９１２と、左部及び右部に設けられた画像欄９１３及びテンプレート画像欄９１４とを備える。画像登録欄９２は上部に設けられたテンプレート画像欄９２１と、画像欄９２１の左下部に設けられた範囲指定欄９２２と、範囲指定欄９２２の右部に設けられた閾値欄９２３と、範囲指定欄９２２及び閾値欄９２３の下部に設けられたコメント欄９２４とを備える。

稼動情報登録欄９１は稼動情報を登録するための欄である。画像登録欄９２はテンプレート画像を登録するための欄である。作業種類欄９１１は作業種類を入力するための欄である。稼動情報欄９１２は稼動情報を選択するためのチェックボックスである。画像欄９１３は抽出した画像を表示するための欄である。テンプレート画像欄９１４はテンプレート画像の範囲を表示するための欄である。テンプレート画像欄９２１はテンプレート画像の範囲を表示するための欄である。範囲指定欄９２２はテンプレート画像の範囲を指定するための欄である。閾値欄９２３はテンプレート画像との一致度の閾値を設定するための欄である。コメント欄９２４はテンプレート画像に対するコメントを表示するための欄である。

画像登録画面９の動作は以下の通りである。ＣＰＵ１１は稼動情報登録欄９１Ａにおいて、選択した画像Ａを画像欄９１３及びテンプレート画像欄９２１に表示する。ＣＰＵ１１は範囲指定欄９２２で範囲の指定方法の選択を入力部１４で受け付ける。範囲の指定方法は例えば、矩形、楕円又は投げ縄等である。例えば、ユーザが入力部１４で投げ縄を選択した場合、ＣＰＵ１１はテンプレート画像欄９２１にＮ次の曲線を有する輪を表示することができる。ＣＰＵ１１は閾値欄９２３で閾値の入力を入力部１４で受け付ける。ユーザは任意の閾値を入力部１４で入力した場合、テンプレート画像欄９２１でテンプレート画像にする範囲の入力を入力部１４で受け付ける。ユーザは入力部１４により作業員Ａ及び機械をＮ次の曲線を有する輪で囲む。ＣＰＵ１１は輪で囲まれた画像を抽出し、抽出した画像を作業種類「左側の溶接」に対応するテンプレート画像ＡとしてテンプレートＤＢ１２８に記憶させる。

ＣＰＵ１１はテンプレート画像欄９２１の画像と同一の画像をテンプレート画像欄９１４に表示する。ＣＰＵ１１は作業種類欄９１１で作業種類の入力を入力部１４で受け付ける。ユーザが作業種類「左側の溶接」及び「右側の溶接」を作業種類欄９１１に入力した場合、テンプレート画像Ａと作業種類「左側の溶接」及び「右側の溶接」とを対応づけてテンプレートＤＢ１２８に記憶させる。ＣＰＵ１１は稼動情報欄９１２に稼動情報の選択を入力部１４で受け付ける。ユーザが稼動情報欄９１２で稼動情報「準稼動」を選択した場合、テンプレート画像Ａと稼動情報「準稼動」とを対応づけてテンプレートＤＢ１２８に記憶させる。ＣＰＵ１１はコメント欄９２４にコメントを入力部１４で受け付ける。ユーザは「人間をテンプレート画像として設定した」を入力部１４で入力する。以下、画像登録画面９は稼動情報登録欄９１Ｂについても同様の動作を行うため、記載を省略する。

ユーザがボタン８１０を入力部１４で入力した場合、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行した後、テンプレートＤＢ１２８からテンプレート画像を読み出し、抽出した画像Ａにテンプレートマッチングを実行する。ＣＰＵ１１は抽出した画像Ａとテンプレート画像Ａとの一致度を算出する。具体的にはＣＰＵ１１は抽出した画像Ａとテンプレート画像Ａとの相関関数を取ることで画像Ａとテンプレート画像Ａの相関を算出する。すなわち一致度とは抽出した画像とテンプレート画像との相関値である。ＣＰＵ１１は一致度が閾値欄９２３で入力した閾値を超えた場合、テンプレートＤＢ１２８を参照し、テンプレート画像Ａに対応する作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を特定する。ＣＰＵ１１は特定した作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を画像Ａに対応づけ、サンプリングテーブル１２５に記憶させる。以下、ＣＰＵ１１は抽出した画像について同様の処理を行う。

図３２〜３３は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ８９の処理は上述の実施の形態６に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ７４の処理を終了した後、画像登録画面９の表示の選択をしたか否かを判定する（ステップＳ９１）。すなわちＣＰＵ１１は登録ボタン８０を入力部１４で入力したか否かを判定する。ＣＰＵ１１は画像登録画面９の表示の選択をしなかったと判定した場合（ステップＳ９１：ＮＯ）、処理をステップＳ９５に移す。ＣＰＵ１１は画像登録画面９の表示の選択をしたと判定した場合（ステップＳ９１：ＹＥＳ）、画像登録画面９を表示する（ステップＳ９２）。ＣＰＵ１１は画像登録画面９でテンプレート画像、作業種類及び稼動情報を入力部１４で受け付ける（ステップＳ９３）。ＣＰＵ１１は受け付けたテンプレート画像、作業種類及び稼動情報をテンプレートＤＢ１２８に記憶させる（ステップＳ９４）。

ＣＰＵ１１はテンプレートマッチングの選択をしたか否かを判定する（ステップＳ９５）。すなわちＣＰＵ１１はボタン８１０を入力部１４で入力したか否かを判定する。ＣＰＵ１１はテンプレートマッチングの選択をしなかったと判定した場合（ステップＳ９５：ＮＯ）、処理をＳ７５に移す。ＣＰＵ１１はテンプレートマッチングの選択をしたと判定した場合（ステップＳ９５：ＹＥＳ）、テンプレートＤＢ１２８からテンプレート画像を読み出し、抽出した画像に画像処理を実行する（ステップＳ９６）。ＣＰＵ１１は表示した画像とテンプレート画像との一致度を算出する（ステップＳ９７）。ＣＰＵ１１は算出した一致度が閾値を超えるか否かを判定する（ステップＳ９８）。ＣＰＵ１１は算出した一致度が閾値を超えないと判定した場合（ステップＳ９８：ＮＯ）、処理をステップＳ１０１に移す。ＣＰＵ１１は算出した一致度が閾値を超えると判定した場合（ステップＳ９８：ＹＥＳ）、テンプレートＤＢ１２８を参照し、テンプレート画像に対応する作業種類及び稼動情報を特定する（ステップＳ９９）。ＣＰＵ１１は特定した作業種類及び稼動情報と画像とを対応づける（ステップＳ１００）。

ＣＰＵ１１は全ての画像について画像処理を実行したか否かを判定する（ステップＳ１０１）。ＣＰＵ１１は全ての画像について画像処理を実行しなかったと判定した場合（ステップＳ１０１：ＮＯ）、処理をステップＳ９６に移す。ＣＰＵ１１は全ての画像について画像処理を実行したと判定した場合（ステップＳ１０１：ＹＥＳ）、処理をＳ７５に移す。

一つの側面によれば、画像処理により、画像に作業種類を対応づけることができる。このことによりワークサンプリング法の処理時間を短縮することができる。

（実施の形態８）
実施の形態８は画像の画像ＩＤと動画の再生時間及び動画ＩＤとを対応づけ、かつ動画の再生時間と実施の形態１における動作要素の時間とを対応づけることで画像から動作要素を選択する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態７と同等であり、簡潔のため記載を省略する。

図３４はサンプリングテーブル１２５に格納されているデータの一例を示す図である。サンプリングテーブル１２５はさらに再生時間列、動画ＩＤ列及び動作要素列を備える。再生時間列には動画の再生時間が記憶される。動画ＩＤ列には動画を識別するための動画ＩＤが記憶される。動作要素列には動画ＩＤに対応づけられた動作要素が記憶される。ＣＰＵ１１は画像を抽出した場合、画像を抽出した際の動画の再生時間及び動画ＩＤを特定し、特定した再生時間及び動画ＩＤをサンプリングテーブル１２５に記憶する。ＣＰＵ１１は動作要素の入力を受け付け、受け付けた動作要素をサンプリングテーブル１２５に記憶する。

図３５は要素情報ＤＢ１２１に格納されているデータの一例を示す図である。図３５に示す要素情報ＤＢ１２１は対象物毎に複数設けられている。各要素情報ＤＢ１２１は動画ＩＤに対応づけられている。例えば、動画ＩＤ「１１」には図３５に示す要素情報ＤＢ１２１が対応づけられている。また動画ＩＤ「１２」は図示しない他の要素情報ＤＢ１２１が対応づけられている。ＣＰＵ１１は画像を抽出した動画の再生時間及び動画ＩＤを特定し、特定した再生時間及び動画ＩＤを画像に対応づけてサンプリングテーブル１２５に記憶させる。

ＣＰＵ１１は以下の方法により画像に対応づけられた再生時間を用いて画像の並び替えを行うことができる。ＣＰＵ１１は画像を抽出する際に画像を抽出した動画の再生時間及び動画ＩＤを特定する。ＣＰＵ１１は動画ＩＤ「１１」の動画の内、再生時間「２．０」に対応づけられた画像ＩＤ「００１」の画像Ａを画像欄８１Ａに配置し、再生時間「４．０」に対応づけられた画像ＩＤ「００３」の画像Ｃを画像欄８１Ｂに配置する。ＣＰＵ１１は動画ＩＤ「１２」の動画の内、再生時間「３．０」に対応づけられた画像ＩＤ「００２」の画像Ｂを画像欄８１Ａの左部に配置し、再生時間「５．０」に対応づけられた画像ＩＤ「００４」の画像Ｄを画像欄８１Ｂの左部に配置する。すなわち、ＣＰＵ１１は動画ＩＤ毎に再生時間順に画像欄８１１を並び替える。

画像から動作要素を選択する方法は以下の通りである。ユーザは画像欄８１１の画像Ａを入力部１４で選択する。ＣＰＵ１１は入力部１４を介して画像Ａの選択を受け付ける。ＣＰＵ１１は画像欄８１に受け付けた画像Ａを表示する。ＣＰＵ１１はサンプリングテーブル１２５を参照し、画像Ａの画像ＩＤ「００１」に対応づけられた動作要素「溶接」を抽出し、動作要素「溶接」に対応づけられた動画ＩＤ「１１」を抽出する。ユーザがボタン８９Ａ、８９Ｂ及び８９Ｃの夫々を入力部１４で選択した場合、ＣＰＵ１１は動作要素「溶接」を選択した状態で分析画面５、観点分析画面６及びサイクル画面７の夫々を表示する。例えば、ユーザがボタン８９Ａを選択した場合、ＣＰＵ１１は抽出した動画ＩＤ「１１」に対応する要素情報ＤＢ１２１を参照し、図７に示す分析画面５を表示し、表示ウィンドウ５１Ａに動作要素「溶接」に対応する動画１０１を表示し、抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１に対応する動作要素表５２を表示する。また例えば、ユーザがボタン８９Ｂを選択した場合、ＣＰＵ１１は抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１を参照し、図１６に示す観点分析画面６の表示ウィンドウ６１に動作要素「溶接」に対応する動画１０１を表示し、抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１の動作要素「溶接」に対応する無効割合グラフ６６Ａを選択した状態を表示する。例えば、ユーザがボタン８９Ｃを選択した場合、ＣＰＵ１１は抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１を参照し、図２１に示すサイクル画面７の表示ウィンドウ７１に動作要素「溶接」に対応する動画１０１を表示する。

図３６は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ８９の処理は上述の実施の形態７に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ７４の処理を終了した後、画像を抽出した際の動画の再生時間及び動画ＩＤを特定する（ステップＳ１０１）。ＣＰＵ１１は動画ＩＤ毎に再生時間順に画像を並び替え（ステップＳ１０２）、処理をＳ７５に移す。ＣＰＵ１１はＳ７５の処理を終了した後、サンプリングテーブル１２５を参照し、受け付けた画像の画像ＩＤに基づいて動作要素及び動作要素に対応づけられた動画ＩＤを抽出し（ステップＳ１０３）、処理をＳ７６に移す。

一つの側面によれば、自動的に動作要素を抽出することができるため、画像と動作要素との対応関係を即座に理解することができる。

（実施の形態９）
実施の形態９はワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態５と同等であり、簡潔のため記載を省略する。

ユーザが稼動グラフ８８を入力部１４で選択した場合、ＣＰＵ１１は動画ＩＤの入力を受け付ける。ＣＰＵ１１は受け付けた動画ＩＤに対応する要素情報ＤＢ１２１を参照し、ワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する比較画面２０を表示する。図３７は比較画面２０の一例を示す説明図である。

比較画面２０は左上部に設けられた表示ウィンドウ２０１と、左中央部に設けられた稼動グラフ２０２と、稼動グラフ２０２の下部に設けられたコメント欄２０３と、稼動グラフ２０２の右上部に設けられた表示ウィンドウ２０４と、表示ウィンドウ２０４の右下部に設けられた稼動グラフ（割合グラフ）２０５と、稼動グラフ２０５の下部に設けられたコメント欄２０６とを備える。稼動グラフ２０２の準稼動部分は準稼動部分２０７、２０８及び２０９で構成される。表示ウィンドウ２０１及び２０４は動画データを表示するためのウィンドウである。稼動グラフ２０２は動作要素の情報から算出した動作合計時間（稼動時間）、準稼動合計時間（準稼動時間）及び無効合計時間（非稼動時間）の割合を表示した円グラフである。稼動グラフ２０２は実施の形態１の方法で生成される。稼動グラフ２０５はワークサンプリング法で算出した稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。稼動グラフ２０５は実施の形態６の方法で生成される。コメント欄２０３及び２０６は動作要素のコメントを表示するための欄である。準稼動部分２０７、２０８及び２０９は準稼動部分をさらに動作要素で分けたものである。また同様に稼動グラフ２０５の稼動部分、準稼動部分及び非稼動部分はさらに作業工程で分けられており、準稼動部分２１０及び２１１は準稼動部分をさらに動作要素で分けたものである。稼動グラフ２０２及び稼動グラフ２０５の分け方は一例であり、この方法に限られない。

比較画面２０の動作は以下の通りである。稼動グラフ２０２の稼動部分、準稼動部分及び非稼動部分はさらに動作要素で分けられている。例えば、ユーザが準稼動部分２０７を入力部１４で選択した場合、要素情報ＤＢ１２１及びコメントＤＢ１２４を参照し、準稼動部分２０７の動作要素「溶接」に対応づけられた「動画１０１」を表示ウィンドウ２０１に表示し、かつコメント欄２０３に「頑張って働いている」を表示する。またユーザが準稼動部分２０８を入力部１４で選択した場合、要素情報ＤＢ１２１及びコメントＤＢ１２４を参照し、準稼動部分２０７の動作要素「パネルの固定」に対応づけられた「動画１０２」を表示ウィンドウ２０１に表示し、かつコメント欄２０３に「頑張って働いている」を表示する。

稼動グラフ２０２の稼動部分、準稼動部分及び非稼動部分はさらに作業工程毎に分けられている。ユーザが稼動グラフ２０２の準稼動部分２０９を入力部１４で選択した場合、準稼動である作業工程「溶接」の動画を表示ウィンドウ２０１に表示する。ＣＰＵ１１はコメント欄２０３に入力部１４で入力を受け付ける。ユーザは入力部１４でコメント欄２０３に「頑張って働いている」を入力する。ＣＰＵ１１はコメント欄２０３に「頑張って働いている」を表示する。

ユーザが稼動グラフ２０２又は２０５を入力部１４で選択した場合、動作要素及び作業工程の動画の詳細を比較する詳細比較画面２１を表示する。図３８は詳細比較画面２１の一例を示す説明図である。詳細比較画面２１は上部に設けられた選択動作要素２１１と、選択動作要素２１１の下部に設けられた表示ウィンドウ２１２及び２１８と、表示ウィンドウ２１２及び２１８の下部に設けられた標準時間欄２１３と、標準時間欄２１３の下部に設けられたレーティング率欄２１４と、レーティング率欄２１４の下部に設けられたコメント欄２１６及び２２４と、標準時間欄２１３及びレーティング率欄２１４の左部に設けられた稼動グラフ２１５と、コメント欄２１６の下部に設けられた動作要素表２１７とを備える。稼動グラフ２１５の準稼動部分は準稼動部分２２７、２２８及び２２９で構成される。

表示ウィンドウ２１２及び２１８、コメント欄２１６及び２２４、稼動グラフ２１５及び２２２は表示ウィンドウ２０１及び２０４、コメント欄２０３及び２０６、稼動グラフ２０２及び２０５並びに動作要素表５２の構成と同様であるため、記載を省略する。選択動作要素２１１は選択された動作要素に関する情報を表示する表である。標準時間欄２１３は、動作要素の標準時間を表示するための欄である。レーティング率欄２１４は動作要素のレーティング率を表示するための欄である。

詳細比較画面２１の動作は以下の通りである。ＣＰＵ１１は動画ＩＤに対応する要素情報ＤＢ１２１を参照し、下部の動作要素表を表示する。ユーザが準稼動部分２２７を入力部１４で選択した場合、ＣＰＵ１１は準稼動部分２２７の動作要素「溶接」を選択し、選択動作要素２１１に動作要素「溶接」に関する情報を表示する。またＣＰＵ１１は標準時間欄２１３に動作要素「溶接」の標準時間「３．８５」を表示し、レーティング率欄２１４に動作要素「溶接」のレーティング率「１．１０」を表示し、動作要素「溶接」に対応づけられた「動画１０１」を表示ウィンドウ２１２に表示し、コメント欄２１６に「作業員は頑張っている」を表示する。また実施の形態１と同様にレーティング率欄２１４を操作することで表示ウィンドウ２１２の動画データの再生時間を変えることができる。

例えばユーザが稼動グラフ（割合グラフ）２１５の準稼動部分２２９を入力部１４で選択した場合、作業工程「溶接」の内、準稼動に対応づけられた生成動画を表示ウィンドウ２１２に表示する。ＣＰＵ１１はコメント欄２２４に入力部１４で入力を受け付ける。ユーザは入力部１４でコメント欄２２４に「熟練である」を入力する。ＣＰＵ１１はコメント欄２２４に「熟練である」を表示する。このことにより同一の画面上にワークサンプリング法及び動作要素の情報から算出した稼動グラフを表示することができる。また同一の画面上で稼動グラフから種別に対応する分割動画及び作業種類に対応する動画を再生することができる。このことにより分析画面５の分割動画とワークサンプリング法で生成した生成動画との対比が容易に行える。なお、下部の動作要素表２１７及び選択動作要素２１１は稼動グラフ２２２を選択しても表示されない。

図３９は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ１０３の処理は上述の実施の形態８に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１０３の処理を終了した後、動画ＩＤの入力を受け付ける（ステップＳ１１０）。ＣＰＵ１１は同一の画面上に動画ＩＤに対応する稼動グラフ２０２及び２０５並びに２１５及び２２２を表示する（ステップＳ１１１）。ＣＰＵ１１は稼動グラフ２０２及び２１５の各部分を動作要素毎に対応づけて分割する（ステップＳ１１２）。ＣＰＵ１１は稼動グラフ２０５及び２２２の各部分を作業工程毎に対応づけて分割する（ステップＳ１１３）。ＣＰＵ１１は稼動グラフ２０２、２１５、２０５及び２２２における分割した各部分の選択を入力部１４で受け付ける（ステップＳ１１４）。なお、同一画面上に選択した作業工程又は動作要素を表示しても良い。

ＣＰＵ１１は受け付けた部分が作業工程に対応づけられているか否かを判定する（ステップＳ１１５）。ＣＰＵ１１は受け付けた部分が作業工程に対応づけられていると判定した場合（ステップＳ１１５：ＹＥＳ）、処理をステップＳ１１６に移す。ＣＰＵ１１はサンプリング集計テーブル１２７を参照し、作業工程に対応する生成動画を他の動画と同一の画面上に表示し（ステップＳ１１６）、処理をＳ７６に移す。すなわち作業工程に対応する動画を動作要素に対応する動画ＩＤの動画と同一の画面上に表示する。ＣＰＵ１１は受け付けた部分が作業工程に対応づけられていないと判定した場合（ステップＳ１１５：ＮＯ）、すなわち動作要素に対応づけられていると判定した場合、処理をステップＳ１１７に移す。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、動作要素に対応する動画を他の動画と同一の画面上に表示する（ステップＳ１１７）。ＣＰＵ１１は選択動作要素２１１を表示し（ステップＳ１１８）、処理をＳ７６に移す。すなわち動作要素に対応する動画を作業工程に対応する動画ＩＤの動画と同一の画面上に表示する。本実施形態では、実施例７で記載したワークサンプリング法で算出した動画と実施例１で記載した動画の比較を行ったが、ワークサンプリング法で算出した動画と作業改善を施した画像の対比を行ってもよい。またＣＰＵ１１は生成動画内に表示された対象物が行う作業と同一の作業を行う分割動画を稼動グラフ２０２及び２０５並びに２１５及び２２２と同一の画面上に表示してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、作業改善後の動画を比較することで改善効果がより明確になる。またワークサンプリング法で算出した動画とベテラン作業員の動画を比較してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、ベテラン作業員の動画を比較することで作業効率化のヒントを見出せることがある。また初心者作業員の動画と比較した場合には、初心者作業員の問題点が明確になる。

一つの側面によれば、ワークサンプリング法及び動作要素の情報から算出した稼動グラフを比較することでレーティング率の算出に役立てることができる。

（実施の形態１０）
実施の形態１０は種別を選択するための選択図形を表示する実施の形態に関する。図４０は分析画面５の表示ウィンドウ５１Ａの一例を示す説明図である。表示ウィンドウ５１Ａはさらに選択図形５８を備える。選択図形５８は選択部分５８Ａ及び５８Ｂ等により構成される。選択部分５８Ａ又は５８Ｂ等は以下場合により選択部分５８で代表する。選択図形５８は入力部１４による入力の支援を行うためのジェスチャーマップである。選択図形５８は例えば円である。なお、選択図形５８は矩形又は三角等の任意の図形であってもよい。

選択図形５８の動作は以下の通りである。ユーザは表示ウィンドウ５１を入力部１４で任意の入力操作をした場合、種別情報ＤＢ１２３を参照し、種別を選択部分５８１に表示する。具体的にはＣＰＵ１１は選択部分５８１の夫々に種別１、種別２、種別３及び種別４を表示する（図４０Ａ）。ユーザが例えば入力部１４で選択部分５８Ａを選択した場合、ＣＰＵ１１は種別１に対応する「第１工程」、「第２工程」、「第３工程」、「第４工程」及び「第５工程」を選択図形５８に表示させる（図４０Ｂ）。ユーザが例えば入力部１４で選択部分５８Ｂを選択した場合、他の選択部分５８１を消去し、選択部分５８Ｂのみを表示する（図４０Ｃ）。入力部１４による選択部分５８１の選択方法は例えば、マウスのカーソルを選択部分に動かし、左又は右のボタンを離す。またはマウスのカーソルで選択部分を通過する方法でもよい。ＣＰＵ１１は表示ウィンドウ５１Ａに表示された動画データの動作要素に種別「第１工程」を対応づけ、要素情報ＤＢ１２１に種別「第１工程」を記憶させる。本実施形態における選択図形５８は種別の数が増える毎に円の半径が増加する。このことにより種別は下位に行くほど、種別の数が増えるため、種別が増えた場合には円形の半径を大きくすることで対応させることができる。

図４１は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１９の処理を終了した後、表示ウィンドウ５１に入力部１４で入力を受け付ける（ステップＳ１２１）。ＣＰＵ１１は種別情報ＤＢ１２３を参照し、種別を選択部分５８１に表示することで選択図形５８を表示する（ステップＳ１２２）。ＣＰＵ１１は選択部分５８１に入力部１４で選択を受け付ける（ステップＳ１２３）。ＣＰＵ１１は表示ウィンドウ５１Ａに表示された動画データの動作要素に選択された選択部分５８１に表示された種別を対応づけ（ステップ１２４）、処理をＳ２０に移す。

一つの側面によれば、種別の選択を表示ウィンドウ５１上で行える。このことにより、作業種別毎に円表表示させ、画像の種別の入力を容易にすることができる。

（実施の形態１１）
実施の形態１１は表示ウィンドウ５１の動画内における２点間の距離を画像処理により算出する実施の形態に関する。

ＣＰＵ１１が例えば、表示ウィンドウ５１Ａに動画１０１を表示させる。ＣＰＵ１１は角度及び解像度に基づいて画像処理を行うことにより表示ウィンドウ５１Ａ上の２点間の距離を算出する。

図４２は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１９の処理を終了した後、表示ウィンドウ５１に画像処理を行うことにより距離を算出する（ステップＳ１３１）。ＣＰＵ１１は表示ウィンドウ５１に算出した距離を表示し（ステップＳ１３２）、処理をＳ２０に移す。

一つの側面によれば、距離を表示することで、動画データの理解に役立てることができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

１ 情報処理装置
１２Ｐ プログラム
５２ 動作要素表（作業表）

Claims (15)

1. 情報処理装置に用いられるプログラムであって、
   前記情報処理装置に、
   複数の作業員が共同して行う作業において複数の前記作業員を同時に撮像した動画を表示し、
   前記動画内に表示された前記作業員に対する評価値の入力を、前記作業に対して前記作業員別に設定された分析観点の数に応じた分だけ受け付け、
   前記評価値を示す作業表を前記分析観点と同じ数だけ生成し、
   前記分析観点と同数の前記作業表を切り替えて一つずつ表示し、
   前記分析観点別の動画を切り替えて表示し、
   前記分析観点別の動画を表示する際には各動画を同一の時間軸上で表示する
   処理を実行させることを特徴とするプログラム。
2. 複数の前記分析観点を、一の撮像装置で撮像された動画に設定する処理を実行させることを特徴とする請求項１に記載のプログラム。
3. 前記情報処理装置に、前記動画を作業毎に分割した分割動画を表示する処理を実行させることを特徴とする請求項１又は２に記載のプログラム。
4. 前記情報処理装置に、
   前記分割動画内の前記作業員が前記作業に対して無効な動作をした時間を示す無効時間を、前記分割動画毎に受け付け、
   複数の前記分割動画の無効時間を合計した無効合計時間と、複数の前記分割動画の動作時間を合計した動作合計時間とを算出し、
   算出した前記無効合計時間及び前記動作合計時間に基づいてグラフを表示する
   処理を実行させることを特徴とする請求項３に記載のプログラム。
5. 前記作業員が稼動動作を行う複数の分割動画の動作時間を合計した稼動合計時間を算出し、
   前記作業員が準稼動動作を行う複数の分割動画の動作時間を合計した準稼動合計時間を算出し、
   前記作業員が前記作業に対して無効な動作をした複数の分割動画の無効時間を合計した無効合計時間を算出し、
   前記稼動合計時間、前記準稼動合計時間及び前記無効合計時間に基づいてグラフを表示する
   処理を実行させることを特徴とする請求項３又は４に記載のプログラム。
6. 前記情報処理装置に、
   前記分割動画内の前記作業員が前記作業に対して無効な動作をした時間を示す無効時間を、各々の前記分割動画に対応付け、
   各々の前記分割動画の動作時間と、各々の前記分割動画に対応付けられた前記無効時間とに基づいてグラフを表示する
   処理を実行させることを特徴とする請求項３乃至５のいずれか一項に記載のプログラム。
7. 前記情報処理装置に、
   前記分割動画内の前記作業員が周期性のある動作をしているか否かを示す周期性情報の入力を受け付け、
   受け付けた周期性情報を表示する
   処理を実行させることを特徴とする請求項３乃至６のいずれか一項に記載のプログラム。
8. 前記情報処理装置に、
   各々の前記分割動画毎に前記評価値の入力を受け付け、
   各々の前記分割動画内に表示された前記作業員が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記分割動画毎の標準時間を算出し、
   算出した前記分割動画毎の標準時間を表示する
   処理を実行させることを特徴とする請求項３乃至７のいずれか一項に記載のプログラム。
9. 前記情報処理装置に、
   各々の前記分割動画毎に動作要素の時間の長さを示す要素時間の入力を受け付け、
   動作要素毎に要素時間と標準時間を表示する
   処理を実行させることを特徴とする請求項３乃至８のいずれか一項に記載のプログラム。
10. 前記情報処理装置に、
    前記分割動画内の前記作業員の動作が、人が行う動作であることを示す動作情報を前記分割動画毎に受け付け、
    人が行う動作であることを示す前記動作情報に対応付けられた前記分割動画を抽出し、
    抽出した前記分割動画の動作時間を合計した抽出合計時間と、前記動作合計時間から前記抽出合計時間を引いた稼働合計時間とを算出し、
    算出した前記稼働合計時間、前記抽出合計時間及び前記無効合計時間に基づいてグラフを表示する
    処理を実行させることを特徴とする請求項４に記載のプログラム。
11. 前記情報処理装置に、
    前記稼働合計時間、前記抽出合計時間及び前記無効合計時間を前記分析観点別に算出し、
    前記稼働合計時間、前記抽出合計時間及び前記無効合計時間の各々の割合を示す前記分析観点別のグラフを同時に表示する
    処理を実行させることを特徴とする請求項１０に記載のプログラム。
12. 前記情報処理装置に、
    表示させる前記作業表を切り替えるために設けられた切り替えタブを複数表示し、
    複数の前記切り替えタブの中の一つが選択された際に、前記分析観点と同数の前記作業表のうち、選択された前記切り替えタブと対応する前記作業表を表示する
    処理を実行させることを特徴とする請求項１に記載のプログラム。
13. 前記情報処理装置に、
    前記分析観点と同数の前記動画を切り替えて表示し、
    それぞれの前記動画に対する種別を複数受け付け、
    受け付けた複数の前記種別と前記評価値とを対応付けた前記作業表を、前記分析観点と同じ数だけ生成する
    処理を実行させることを特徴とする請求項１又は２に記載のプログラム。
14. 複数の作業員が共同して行う作業において複数の前記作業員を同時に撮像した動画を表示する動画表示部と、
    前記動画内に表示された前記作業員に対する評価値の入力を、前記作業に対して前記作業員別に設定された分析観点の数に応じた分だけ受け付ける受け付け部と、
    前記評価値を示す作業表を前記分析観点と同じ数だけ生成する生成部と、
    前記分析観点と同数の前記作業表を切り替えて一つずつ表示する切替表示部と、を備え、
    前記動画表示部は、前記分析観点別の動画を切り替えて表示し、前記分析観点別の動画を表示する際には各動画を同一の時間軸上で表示することを特徴とする情報処理装置。
15. 情報処理装置によって実現される情報処理方法であって、
    複数の作業員が共同して行う作業において複数の前記作業員を同時に撮像した動画を表示し、
    前記動画内に表示された前記作業員に対する評価値の入力を、前記作業に対して前記作業員別に設定された分析観点の数に応じた分だけ受け付け、
    前記評価値を示す作業表を前記分析観点と同じ数だけ生成し、
    前記分析観点と同数の前記作業表を切り替えて一つずつ表示し、
    前記分析観点別の動画を切り替えて表示し、
    前記分析観点別の動画を表示する際には各動画を同一の時間軸上で表示することを特徴とする情報処理方法。

Images