(実施の形態1)
以下本実施の形態を、図面を参照して説明する。図1は情報処理システムの概要を示す説明図である。本実施形態における情報処理システムは情報処理装置1及び撮像装置2A、2B及び2C等を備える。撮像装置2A、2B、2C……は以下場合により撮像装置2で代表する。情報処理装置1及び撮像装置2はインターネット、LAN(Local Area Network)または携帯電話網等の通信網Nにより相互に接続されている。
以下では情報処理システムの概要を説明する。撮像装置2は人又は機械等の対象物が行う作業を撮像するための撮像装置であり、例えばCCD(Charge-coupled device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)カメラ又は赤外線カメラ等である。撮像装置2A、2B及び2Cは対象物が行う作業を複数の位置及び角度に基づいて複数の動画で撮像し、撮像した複数の動画を情報処理装置1へ出力する。
情報処理装置1は例えばコンピュータ又はスマートフォン等である。情報処理装置1は出力された複数の動画を取得する。情報処理装置1はユーザから入力を後述する入力部14で受け付け、受け付けた入力に基づいて取得した複数の動画を作業毎に分割した複数の動作要素(分割動画)に分割する。情報処理装置1は動作要素又は動作要素に関連する情報を表示することで対象物が行う標準的な作業時間を示す標準時間を算出する処理を行う。標準時間とは、標準の技能を持った人が作業を行う時間である。しかし、標準の技能を持った人を見極めるのは困難であり、人の技能は作業毎に変化する場合も多い。このため、一般的に標準時間は対象物が作業に対して有効な動作をした時間を示す動作時間に、各分割動画内に表示された対象物に対するレーティング率(評価値)を積算することにより算出する。例えば、情報処理装置1は以下の方法で標準時間を算出する。情報処理装置1は動作要素内で無駄な時間を削除することで動作時間を算出する。ユーザは分割動画を視聴することで分割動画内の作業員がベテランであるか否か又は作業に慣れているか否か等を判断し、レーティング率を決定する。例えば、作業員がベテランであり、かつ作業に慣れていると判断した場合、情報処理装置1でレーティング率を1より低い値に設定する。情報処理装置1は算出した動作時間に1より低い値のレーティング率を積算することで分割動画内の作業時間より早い標準時間を算出する。
以下では情報処理システムの詳細を説明する。図2は情報処理装置1のハードウェア群を示すブロック図である。図2に示す情報処理装置1は、一または複数の演算制御装置であるCPU11、ハードディスク、半導体メモリディスク等の記憶装置である記憶部12、SRAM(Static RAM)、DRAM(Dynamic RAM)またはフラッシュメモリ等のRAM13、マウス、キーボード、タッチパネル、ペンタブレット、マイク等の入力機器である入力部14、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ等の表示部15、通信網Nとの間で通信を行う通信部16を含む。
記憶部12にはCPU11が処理を行う際に必要とする種々のデータ、要素情報DB121、集計情報DB122、種別情報DB123、コメントDB124及びプログラム12Pを格納する。かかるプログラム12Pが本発明のプログラムに該当する。
通信部16は、通信網Nを介して撮像装置2が撮像した動画を取得する。なお、本実施形態では撮像装置2から動画を取得したが、これに限られず、USB(Universal Serial Bus)メモリ、光ディスク又は記憶部12等から動画を取得してもよい。
図3は要素情報DB121に格納されているデータの一例を示す図である。要素情報DB121は動作要素に関する情報を記憶するデータベースである。要素情報DB121は動作要素列、種別列、開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列、差異列、非定常列、区分列、レーティング率列、標準時間列、動画データ列及びマニュアル列等を備える。動作要素列には動作要素の名称が記憶される。種別列には動作要素の種類を示す種別が複数記憶される。種別とは例えば「手作業」又は「第1工程」等の各作業工程である。種別列の種別は種別を分類するための種別分類で分けられている。種別分類とは例えば種別1、種別2又は種別3等である。例えば、種別列の種別1列には「溶接」の種別が「手作業」であること又は「パネルの固定」の種別が「工具作業」であること等が記憶される。また種別列の種別2列には「溶接」の種別が「第1工程」であること又は「ボルトの締め付け」の種別が「第2工程」であること等が記憶される。また種別列の種別3列には「溶接」の種別が「人作業」であること又は「ボルトの締め付け」の種別が「機械作業」であること等が記憶される。
開始時間列には動画内で動作要素が開始される開始時間が動作要素に対応づけられて記憶される。終了時間列には動画内で動作要素が終了される終了時間が動作要素に対応づけられて記憶される。要素時間列には動作要素の時間の長さを示す要素時間(作業時間)が動作要素に対応づけられて記憶される。動作時間列には動作時間が動作要素に対応づけられて記憶される。無効時間列には対象物が作業に対して無効な動作をした時間を示す無効時間が動作要素に対応づけられて記憶される。比較値列には動作時間と比較するための比較値が動作要素に対応づけられて記憶される。比較値列には例えば、ユーザが予想した標準時間を示す予想標準時間が記憶される。差異列には比較値と動作時間との差異が動作要素に対応づけられて記憶される。開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列及び差異列の単位は例えば秒である。非定常列には対象物が周期性のある動作をしているか否かを示す非定常情報(周期性情報)が動作要素に対応づけられて記憶される。周期性のある動作とは例えば、作業員Aが複数回、金具をセットする動作である。また周期性のない動作とは例えば、作業員Aが1回だけ金具をセットする動作である。○は対象物が周期性のない動作をしていることを示す。×は対象物が周期性のある動作をしていることを示す。区分列には、稼動、準稼動、非稼動の動作情報が、動作要素と対応づけて記憶される。本明細書においては、稼動とは人が作業中の状態であり、準稼動とは機械が動作する状態であり、非稼動とは人も機械も動作していない待ち状態等のような状態をいう。
レーティング率列にはレーティング率が動作要素に対応づけられて記憶される。標準時間列には標準時間が動作要素に対応づけられて記憶される。動画データ列には撮像した動画を動作要素毎に分割した動画データが記憶される。例えば、動画データ列には動画A(作業員Aが行う作業を撮像した動画)を動作要素毎に分割した動画データが記憶される。マニュアル列には動作要素に対応するマニュアルが記憶される。
CPU11は後述する分析画面5で動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分又はレーティング率の入力を入力部14で受け付ける。CPU11は受け付けた動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分又はレーティング率を要素情報DB121に記憶させる。CPU11は動作時間から比較値を引いた差異を差異列に記憶させる。CPU11は動作時間にレーティング率を積算した標準時間を標準時間列に記憶させる。なお、本実施形態の動画データ列及びマニュアル列は予めユーザが登録しているものとする。
図4は集計情報DB122に格納されているデータの一例を示す図である。集計情報DB122は動作要素に関する情報を集計した集計情報が記憶されたデータベースである。集計情報DB122は要素合計時間列、動作合計時間列、稼動合計時間列、無効合計時間列、合計差異列、全体レーティング率、準稼動合計時間列及び標準合計時間列等を備える。要素合計時間列には複数の動作要素の要素時間を合計した要素合計時間(合計時間)が記憶される。動作合計時間列には複数の動作要素の動作時間を合計した動作合計時間が記憶される。稼動合計時間列には対象物が稼動動作を行う複数の動作要素の動作時間を合計した稼動合計時間が記憶される。無効合計時間列には複数の動作要素の無効時間を合計した無効合計時間が記憶される。合計差異列には、標準時間と比較値の差異の合計時間が記憶される。全体レーティング率には複数のレーティング率の平均値を示す全体レーティング率が記憶される。準稼動合計時間列には準稼働時間を合計した準稼動合計時間(抽出合計時間)が記憶される。標準合計時間列には動作合計時間に全体レーティング率を積算した標準合計時間が記憶される。集計情報DB122の記憶方法は後述する。
図5は種別情報DB123に格納されているデータの一例を示す図である。種別情報DB123は、作業又は動作の区分を管理するものである。図5Aに示すように例えば1つの動画を作業及び工程等に分割したい場合には、種別1に作業種別、種別2に工程種別を入力すればよい。また種別3には種別を利用して人に依存する作業と機械に依存する作業を入力させることもできる。また図5Bに示すように作業種別毎に色を設定することにより、作業種別の時間を棒グラフで表示する際に、作業時間の比較が行いやすくなる。
図6はコメントDB124に格納されているデータの一例を示す図である。図7は動作要素の分析を行うための分析画面5の一例を示す説明図である。コメントDB124には動作要素列、個別コメント列及び総括コメント列を備える。動作要素列には動作要素が記憶される。個別コメント列はウィンドウ1列、ウィンドウ2列、ウィンドウ3列及びウィンドウ4列を備える。個別コメント列は図7に示す表示ウィンドウ51に表示された各動作要素の動画データに対するコメントを示す個別コメントが記憶される。ウィンドウ1列、ウィンドウ2列、ウィンドウ3列及びウィンドウ4列の夫々は後述する表示ウィンドウ51A、51B、51C及び51Dの夫々に対応する。動作要素列の動作要素は要素情報DB121の動作要素列に対応する。CPU11は後述する個別コメント欄56に動作要素表(作業表)52で選択した動作要素に対する個別コメントの入力を入力部14で受け付ける。CPU11は受け付けた個別コメントをコメントDB124の個別コメント列に記憶させる。総括コメント列には取得した動画全体に対するコメントを示す総括コメントが記憶される。CPU11は総括コメント欄57に総括コメントの入力を入力部14で受け付ける。CPU11は受け付けた総括コメントを集計情報DB122に記憶させる。
分析画面5は上部に分割された表示ウィンドウ51A、51B、51C及び51Dと、表示ウィンドウ51A、51B、51C及び51Dの下部に設けられた動作要素表52と、左下部に設けられた種別グラフ53A及び53Bと、表示ウィンドウ51Dの右部に設けられた集計表54と、集計表54の右部に設けられた切替ボタン510と、集計表54の下部に設けられた稼動グラフ55と、動作要素表52の右部に設けられた個別コメント欄56と、個別コメント欄56の下部に設けられた総括コメント欄57とを備える。動作要素表52の下部には合計欄523が設けられている。動作要素表52及び合計欄523にはレーティング欄521及び非定常欄522が設けられている。表示ウィンドウ51Aの左端にはレーティング率欄511が設けられている。表示ウィンドウ51Aの左上部には決定レーティング率欄512が設けられている。表示ウィンドウ51A、51B、51C及び51D等は場合により表示ウィンドウ51で代表する。種別グラフ53A及び53B等は場合により種別グラフ53で代表する。稼動グラフ55は非稼動部分55A、準稼動部分55B及び稼動部分55Cにより構成される。個別コメント欄56の上部にはコメントタブ561が設けられている。表示ウィンドウ51A、51B及び51Cに表示されている動画は、同一時間軸で撮影又は再生する動画である。ここで表示ウィンドウ51Aには作業員A、表示ウィンドウ51Bには作業員Bの動画が表示されているものとする。
表示ウィンドウ51は動画データ又はマニュアル等の動作要素に関連する情報を表示するウィンドウである。レーティング率欄511はレーティング率の入力を行うための欄である。決定レーティング率欄512は動作要素のレーティング率を表示するための欄である。動作要素表52は動作要素に関する情報を表示する表である。レーティング欄521はレーティングを行うか否かを判定するためのチェックボックスを備える欄である。非定常欄522は非定常情報であるか否かを判定するためのチェックボックスを備える欄である。合計欄523は複数の動作要素に関する情報を合計した合計関連情報を表示する表である。種別グラフ53は種別分類毎に種別に対応する要素時間の割合を表示した棒グラフである。集計表54は集計情報を表示する表である。稼動グラフ55は動作合計時間、準稼動合計時間及び無効合計時間の割合を表示した円グラフである。個別コメント欄56は個別コメントを表示する欄である。コメントタブ561は個別コメントを切り替えるためのタブである。コメントタブ561は複数であり、左端から表示ウィンドウ51A、51B、51C及び51Dの夫々に対応している。総括コメント欄57は取得した動画全体に対する総括コメントを表示する欄である。切替ボタン510は各表示ウィンドウ51の動画データに対応する動作要素表52を切り替えるためのボタンである。
分析画面5の動作は以下の通りである。なお、本実施形態では予め撮像された各動画を動作要素に分割しているものとする。CPU11は要素情報DB121を参照し、動作要素表52に動作要素、種別、開始時間、要素時間、比較値、差異、区分、非定常情報、レーティング率等を表示する。また動作要素表52は、表示ウィンドウ51A、51B及び51Cに設定することができる。ユーザが図7の切替ボタン510を入力部14で選択した場合、CPU11は表示ウィンドウ51A、51B又は51Cに対する動作要素表52を切り替えて分析画面5に表示させる事ができる。また非定常欄522のチェックボックスにより非定常情報の入力をすることができる。動作要素表52の各欄が入力部14で選択された場合、CPU11は動作要素の選択を入力部14で受け付ける。CPU11は選択された動作要素に対応する複数の動画データを表示ウィンドウ51に表示する。例えば、CPU11は表示ウィンドウ51Aに表示される作業員Aの動作要素「溶接」を選択した場合、表示ウィンドウ51B及び51Cの夫々には、同時間軸上の他の作業員の動画等が表示する。CPU11は表示ウィンドウ51Dに動作要素「溶接」に対応するマニュアルAを表示する。
ユーザは表示ウィンドウ51に表示された動画データを視聴することで、動画データ内にて作業者が作業に対して無効な動作をしているか否かを判断する。ユーザは作業者が作業に対して無効な動作をしていると判断した場合、表示ウィンドウ51を入力部14で選択することで無効時間を算出する。具体的にはCPU11は動画データを表示ウィンドウ51で再生中に表示ウィンドウ51を入力部14で選択してから再度表示ウィンドウ51を入力部14で選択するまでの時間を無効時間として算出する。CPU11は要素時間から無効時間を引くことで動作時間を算出する。なお、CPU11はさらにレーティング率の入力を入力部14で受け付け、受け付けたレーティング率を要素時間から無効時間を引いた値に積算することで動作時間を算出してもよい。CPU11は算出した無効時間及び動作時間を動作要素表52に表示する。動作要素表52において各種別には色が対応づけられている。CPU11は種別情報DB123を参照し、各種別に対応づけられた色を動作要素表52の種別に表示する。
CPU11は種別グラフ53に種別毎の要素時間を時系列順に表示する。例えば、CPU11は種別グラフ53Aに作業単位の種別である「手作業」、「工具作業」、「マシン作業」及び「手作業」に対応する色を「手作業」、「工具作業」、「マシン作業」及び「手作業」の時系列順に表示する。さらにCPU11は種別グラフ53Bに工程単位の種別「第1工程」及び「第2工程」に対応する色を「第1工程」及び「第2工程」の時系列順に表示する。種別グラフ53A及び53Bの各色の割合は各種別の要素時間の割合に対応している。なお、本実施形態の種別グラフ53は種別毎の要素時間を時系列順に表示したが、これに限られない。また本実施形態では種別は3つであるが、これ以上またはこれ以下の種別を設定することができる。例えば、種別グラフ53は種別毎の動作時間、無効時間又は標準時間を時系列順に表示してもよい。また種別グラフ53には、異なるウィンドウに表示される作業員の種別毎の要素時間を時系列順に表示することもできる。例えば表示ウィンドウ51Aに表示される作業員Aと表示ウィンドウ51Bに表示される作業員Bの工程単位の種別を表示することで、作業員Aと作業員Bの作業を比較することができる。
レーティング率及び標準時間の算出方法の一例は以下の通りである。ユーザは表示ウィンドウ51A、51B及び51Cに同一時間軸上の動画データを視聴する。ユーザは表示ウィンドウ51DのマニュアルAを確認し、作業員AがマニュアルAに則っていると判断する。ユーザは種別グラフ53に表示ウィンドウ51Aに表示されている作業員Aの作業単位の種別と、表示ウィンドウ51Bに表示されている作業員Bの作業単位の種別を表示することによって、作業員Aと作業員Bが同じ作業に対してどのくらい遅れが発生しているのかを容易に確認することができる。ここで作業員Aの動作要素の動作時間が通常の作業より遅いと考えた場合には、ユーザはレーティング率欄511で1.1倍を選択する。CPU11は決定レーティング率欄512に1.1倍を表示する。例えば「動作要素」の「溶接」について上記のとおりレーティングを行う場合には、CPU11はレーティング欄521と同一の列にある動作要素の動作時間「3.50」にレーティング率「1.1」を積算することで標準時間「3.85」を算出する。CPU11はレーティング率「1.1」及び標準時間「3.85」を動作要素表52に表示し、要素情報DB121に記憶する。また動作要素「金具Aをセット」の動作時間は通常の作業より遅いと考えた場合、ユーザはレーティング率欄511で0.8倍を選択する。CPU11は決定レーティング率欄512に0.8倍を表示する。CPU11はレーティング欄521と同一の列にある動作要素の動作時間「8.00」にレーティング率「0.8」を積算することで標準時間「6.40」を算出する。CPU11はレーティング率「0.8」及び標準時間「6.40」を動作要素表52に表示し、要素情報DB121に記憶する。以下、同様であり、簡潔のため記載を省略する。
ユーザが標準時間で動作要素の動画データを視聴したいと希望した場合、以下の手順で動作要素の動画データを標準時間で再生できる。CPU11はレーティング欄521内のチェックボックスに入力を入力部14で受け付ける。例えば、ユーザがレーティング欄521内の1行目の「1.1」のチェックボックスを入力部14で入力した場合、表示ウィンドウ51Aの動画101の再生時間は1.1倍され、動作時間「3.5」にレーティング率「1.1」を乗算した値である「3.85」を標準時間として設定する。CPU11は再生時間が標準時間「3.85」になるように動画101をスロー再生する。また、ユーザが切替ボタン510を入力部14で選択した場合、作業員Bの動作要素表52が分析画面5に表示される。以下、同様の動作により再生時間が標準時間になるように表示ウィンドウ51Bの動画をスロー再生又は再生スピードを早くして再生する。表示ウィンドウ51Cについても同様であり、簡潔のため、記載を省略する。
CPU11は要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する。例えば、CPU11は動作要素表52の全ての要素時間を合計した要素合計時間「27.00」を算出する。CPU11は動作要素表52の全ての動作時間を合計した動作合計時間「22.00」を算出する。CPU11は動作要素表52の全ての無効時間を合計した無効合計時間「5.00」を算出する。
CPU11は動作要素表52の1列目、2列目、4列目の区分が「準稼動」であるため、動作時間「3.50」、「2.50」及び「8.00」を合計した準稼動合計時間「14.00」を算出し、図4の準稼動合計時間に値を入力する。CPU11は全てのレーティング率の平均値を算出することで全体レーティング率「1.07」を算出する。CPU11は動作合計時間にレーティング率「1.07」を積算した標準合計時間「23.54」を算出する。CPU11は動作要素表52の全ての比較値を合計した合計比較値「23.5」を算出する。CPU11は合計比較値「23.5」から標準合計時間「23.54」を減算した合計差異「0.04」を算出する。CPU11は動作合計時間「22.00」から準稼動合計時間「14.00」を減算した稼動合計時間「8.00」を算出する。なお、本実施形態では要素合計時間、動作合計時間、無効合計時間、準稼動合計時間は取得した動画の動作要素の全てを合計した値だが、これに限られない。例えば、要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間は動作要素表52で一又は複数選択された動作要素の要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間であってもよい。
CPU11は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を合計欄523に表示する。CPU11は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を集計情報DB122に記憶させる。
CPU11は算出した要素合計時間「27.00」、動作合計時間「22.00」及び無効合計時間「5.00」を集計表54に表示する。なお、CPU11は集計表54に準稼動合計時間又は稼動合計時間を表示してもよい。
CPU11が稼動グラフ55を表示する処理は以下の通りである。CPU11は要素合計時間「27.00」に対する無効合計時間「5.00」の割合で非稼動部分55Aを生成する。CPU11は要素合計時間「27.00」に対する準稼動合計時間「14.00」の割合で準稼動部分55Bを生成する。CPU11は要素合計時間「27.00」に対する稼動合計時間「8.00」の割合で稼動部分55Cを生成する。CPU11は生成した非稼動部分55A、準稼動部分55B及び稼動部分55Cに基づいて稼動グラフ55を生成し、表示する。
ユーザは入力部14でコメントタブ561の内、表示ウィンドウ51Aに対応するタブを選択する。CPU11は個別コメント欄56に動作要素表52で選択した動作要素の動画201に対応する個別コメントの入力を入力部14で受け付ける。ユーザは入力部14で個別コメント欄56に「頑張って働いている」を入力する。CPU11は受け付けた個別コメント「頑張って働いている」をコメントDB124に記憶させる。ユーザは入力部14でコメントタブ561の内、表示ウィンドウ51Bに対応するタブを選択する。CPU11は個別コメント欄56に動作要素表52で選択した動作要素の動画201に対応する個別コメントの入力を入力部14で受け付ける。ユーザは入力部14で個別コメント欄56に「1人休憩している」を入力する。CPU11は受け付けた個別コメント「1人休憩している」をコメントDB124に記憶させる。以下、同様であり、簡潔のため記載を省略する。CPU11は総括コメント欄57に総括コメントの入力を入力部14で受け付ける。ユーザは稼動グラフ55を確認し、総括コメント欄57に「全体的に準稼動合計時間が多い」を入力部14で入力する。CPU11は受け付けた総括コメント「全体的に準稼動合計時間が多い」をコメントDB124に記憶させる。
図8〜9は本実施形態における情報処理システムの処理手順を示したフローチャートである。CPU11は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等を記憶部12から読込又は入力部14で入力を受け付ける(ステップS11)。CPU11は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等に基づいて動作要素表52及び種別グラフ53を表示する(ステップS12)。
CPU11は表示ウィンドウ51でレーティング率の選択を入力部14で受け付ける(ステップS13)。CPU11は動作時間に受け付けたレーティング率を積算することで標準時間を算出する(ステップS14)。CPU11は動作要素、動作要素の種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率、標準時間等に基づいて要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する(ステップS15)。
CPU11は要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間等に基づいて合計欄523を表示し、要素合計時間、動作合計時間及び無効合計時間等に基づいて集計表54を表示する(ステップS16)。CPU11は要素合計時間、稼動合計時間、準稼働合計時間及び無効合計時間に基づいて稼動グラフ55を生成及び表示する(ステップS17)。なお、要素合計時間は無効合計時間、準稼動合計時間及び稼動合計時間を合計することで算出できる。このため、無効合計時間、準稼動合計時間及び稼動合計時間に基づいて稼動グラフ55を生成し、表示することもできる。CPU11は動作要素の選択を入力部14で受け付ける(ステップS18)。CPU11は受けつけた動作要素に対応する複数の動画データの内、同一時間の動作要素の動画データを表示ウィンドウ51に表示する(ステップS19)。CPU11は受けつけた動作要素に対応するマニュアルを表示ウィンドウ51に表示する(ステップS20)。
CPU11は個別コメント欄56及び総括コメント欄57に受け付けた動作要素の個別コメント及び総括コメントの入力を入力部14で受け付ける(ステップS21)。CPU11は個別コメント欄56及び総括コメント欄57に受け付けた個別コメント及び総括コメントを表示し(ステップS22)、処理をS11に移し、処理を繰り返す。
なお、本実施形態における表示ウィンドウ51Aは任意の2線間の角度を表示できるようにしてもよい。また、本実施形態では要素合計時間、稼動合計時間、準稼働合計時間及び無効合計時間に基づいて稼動グラフ55を生成及び表示したが、動作合計時間及び無効合計時間に基づいて稼動グラフ55を生成及び表示してもよい。
一つの側面では、容易に複数の対象物に対して分析を行うことができる。
一つの側面では、容易に複数の対象物に対して同一時間軸上で分析を行うことができる。
一つの側面では、種別グラフ53が同一時間軸上で種別毎の要素時間を表示できるため、要素毎の比較が容易となり、効率化できる工程の発見が容易になる。
一つの側面では、各動画データに対して個別コメントを表示することで各動画データの理解に役立てることができる。
ユーザは例えば、稼動グラフ55で無効合計時間又は準稼動合計時間の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ55を確認することで無駄時間の多い作業からレーティングを行うなど柔軟なレーティング作業が可能となる。
一つの側面では、他の作業員の作業と比較しながら分析を行う事ができるので、より効率的な標準時間の設定が可能になる。
(実施の形態2)
実施の形態2は、対象物の状態を計測した状態情報又は対象物の周辺の環境を計測した環境情報を取得し、表示ウィンドウ51に表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。
本実施形態における情報処理装置1は計時部(図示せず)を備える。計時部は動画を撮像してからの時間を計時し、CPU11に計時した時間を出力している。動画を撮像してからの時間とはすなわち動画の再生時間である。
また、情報処理システムは、図10に示すように、状態情報の一例として対象物(具体的には作業員)の生体情報を計測する生体センサ61A及び61Bを備える。図10は、情報処理システムの概要を示す説明図である。生体センサ61A及び61B等は、場合により生体センサ610で代表する。
生体センサ61A及び61Bの夫々は、例えば圧力センサからなり、作業員A及びBの夫々に取り付けられている。なお、圧力センサとは、静電容量型加速度センサ又はピエゾ抵抗型加速度センサ等の加速度センサである。生体センサ610は、作業員A及びBの腰又は腕等の脈拍数を定期的に(例えば1秒間隔で)計測し、計測した脈拍数を情報処理装置1へ出力する。CPU11は、脈拍数を生体センサ610から取得する。このとき、CPU11は、脈拍数の計測時刻(厳密には脈拍数の取得時刻)を計時部からの出力に基づいて特定する。
CPU11は、取得した脈拍数を時系列の生体グラフ(経時変化に相当)で表示ウィンドウ51Eに表示する。このとき、CPU11は、表示ウィンドウ51A〜51Cに表示された動画データ(換言すると、作業の動画を動作要素毎に分割した際の分割動画)と同期させながら上記の生体グラフを表示する。かかる内容について図11A及び図11Bを参照しながら説明する。図11A及び図11Bは、分析画面5の一例を示す説明図である。
先ず、図11Aを参照しながら説明すると、表示ウィンドウ51Aには作業員Aの動作要素が表示され、表示ウィンドウ51Bには同時間軸上の他の作業員(作業員B)の動画が表示される。また、表示ウィンドウ51Eには作業員A及びBに取り付けられた生体センサから取得した脈拍数の生体グラフが表示されている。縦軸は脈拍数であり、単位はbpmである。横軸は時間であり、単位は秒である。
また、CPU11は、表示ウィンドウ51A及び51Bの其々に表示する動作要素を同期させながら表示する。具体的には、表示ウィンドウ51A及び51Bの其々において表示される動作要素間で再生時間(具体的には、上記の計測部によって計時された時間)が揃うように調整する。さらに、CPU11は、表示ウィンドウ51Eに生体グラフを表示する際、表示ウィンドウ51A及び51Bにて表示される各動作要素と同じ時間軸に沿って当該各動作要素と同期させながら生体グラフを表示させる。具体的には、表示ウィンドウ51A及び51Bに表示される動作要素の再生開始時刻と脈拍数の計測開始時刻とが揃うように調整する処理、すなわち頭出し処理を実行する。
なお、頭出し処理において動作要素の再生開始時刻と脈拍数の計測開始時刻とを揃える際には、それぞれについて計時部が計時した時刻同士を合わせるとよい。ただし、これに限定されるものではなく、動作要素の中で作業員A又はBが最も動いた時点(可動量が最大となるピーク時点)と、生体グラフにおいて脈拍数が最大となった時点(脈拍数のピーク時点)とを合わせてもよい。ちなみに、それぞれのピーク時点を抽出してピーク時点同士を合わせる作業については、ユーザが表示ウィンドウ51における表示内容を見ながら行ってもよく、CPU11が当該表示内容を解析して自動的に行ってもよい。
以上のような構成により、ユーザは、表示ウィンドウ51Eに表示された生体グラフから作業員A及びBの筋肉負荷を知ることができる。よって主観的に作業員の作業速度の遅速を判断するのではなく、客観的に作業員の作業速度の遅速を判断することができる。具体的には、作業員の作業速度が遅く感じた場合でも、その時間帯の筋肉負荷が大きい場合には、その作業員の作業速度は遅いものではなく、適切なものと判断する事ができる。
以上のように客観的に作業員の作業速度の遅速を判断することができるようになる結果、ユーザは、適正なレーティングを行う事ができる。すなわち、作業員A及びBの状態(コンディション)を考慮した上で妥当なレーティング率が入力部14を通じて入力されるようになる。
ちなみに、図11Aに図示のケースでは、表示ウィンドウ51A及び51Bの其々に異なる作業員の動画(動作要素)が表示され、表示ウィンドウ51Eには二人分の生体グラフが同時表示されることとしたが、これに限られない。図11Bに示すように、表示ウィンドウ51A〜51Dの其々に、一人の作業員が行う作業を異なる角度から撮像した各撮像角度別の動画を表示し、表示ウィンドウ51Eに一人分の生体グラフを表示してもよい。
図12は、本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11は、ステップS19の処理を終了した後、通信部16で生体センサ610から生体情報を取得する(ステップS31)。その後、CPU11は、取得した生体情報に基づいて生体グラフを表示ウィンドウ51に表示し(ステップS32)、処理をS20に移す。
なお、本実施形態においてCPU11は、対象物の生体情報の一例として脈拍数を取得することとしたが、これに限定されるものではなく、計測可能な他の生体情報、例えば、脳波、筋の活動電位、体温及び音声(厳密には、音声波形の振幅や周波数等)などを取得してもよい。また、対象物の状態を示す状態情報としては、生体情報に限られず、計測可能な他の状態情報、例えば、ジャイロセンサによって計測される対象物の傾き(姿勢)やGPSによって計測される対象物の座標位置(緯度・経度)などを取得してもよい。
また、本実施形態においてCPU11は、対象物の生体情報を取得し、取得した生体情報に基づいて生体グラフを表示したが、これに限られない。CPU11は、例えば湿度計や温度計等の環境センサが計測した温度や湿度等の環境情報を取得し、取得した環境情報に基づいて環境情報を時系列で表示した環境グラフ(経時変化に相当)を表示してもよい。具体的には、季節によって湿度又は温度が変化するような作業場においては、湿度又は温度変化を確認しながら季節にあった標準時間の設定が可能になる。
以上のように本実施形態においてユーザは、状態情報及び環境情報のうちの少なくとも一方の情報を確認することで、主観的に行っていたレーティング率の決定を、より客観的に行うことができ、より精度の高い標準時間を算出できる。
(実施の形態3)
実施の形態3は区分に基づいて標準合計時間を算出する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。CPU11は図3を参照し、区分が準稼動である動作要素「溶接」、「パネルの固定」及び「金具Aをセット」を抽出する。CPU11は抽出した動作要素「溶接」、「パネルの固定」及び「金具Aをセット」の標準時間「3.85」、「3.00」及び「9.60」を合計した標準合計時間「16.45」を算出し、算出した標準合計時間「16.45」を合計欄523及び集計表54に表示する。
図13は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS14の処理を終了した後、区分が準稼動である動作要素を抽出する(ステップS41)。CPU11は抽出した動作要素の標準合計時間を算出し(ステップS42)、処理をS15に移す。
CPU11は区分に基づいて標準合計時間を算出することができるため、機械が主として行う動作要素を省いた標準合計時間を算出することができる。このことにより、分析する必要のない動作要素を省くことができるため、時間の短縮をすることができる。
(実施の形態4)
実施の形態4は一の動画を複数の観点から分析するための観点分析画面6を表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。
図14は作業員Aに関するデータを格納する要素情報DB12Aである。図15は作業員Bに関するデータを格納する要素情報DB12Bである。本実施形態における要素情報DB121は動作要素を分析する観点毎に要素情報DB12A、要素情報DB12B等の複数のデータベースを備える。本実施形態における観点は対象物毎に観察を行うものであるが、これに限られるものではない。観要素情報DB121は計測回数列を備える。計測回数列には無効時間を計測した計測回数が記憶される。CPU11は動作要素内で無効時間を計測する毎に計測回数をインクリメントする。CPU11はインクリメントした計測回数を動作要素に対応する計測回数列に記憶させる。
図16はView1を選択した観点分析画面6の一例を示す説明図である。図17はView2を選択した観点分析画面6の一例を示す説明図である。観点分析画面6は例えば、作業員A又は作業員B等の観点により分割した動作要素に関する情報が表示される。以下、観点分析画面6の詳細について説明する。観点分析画面6は左上部に分割された表示ウィンドウ61と、右上部に設けられた種別表68A及び68Bと、種別表68A及び68Bの下部に設けられた動作要素表62と、動作要素表62の下部に設けられた集計表64と、集計表64の下部に設けられた種別グラフ63A及び63Bと、種別グラフ63A及び63Bの下部に設けられた稼動グラフ65と、表示ウィンドウ61の下部に設けられた無効欄66と、稼動グラフ65の右部に設けられた個別コメント欄67とを備える。動作要素表62の右端にはレーティング欄621及び非定常欄623が設けられている。動作要素表62の上部にはタブ622が設けられている。表示ウィンドウ61の左端にはレーティング率欄611が設けられている。表示ウィンドウ61の左上部には決定レーティング率欄612が設けられている。種別グラフ63A及び63B等は場合により種別グラフ63で代表する。種別グラフ63A及び63B等は、種別1と種別2又は種別2と種別3等、種別毎に時間軸を合わせて表示させたものである。稼動グラフ65は非稼動部分65A、準稼動部分65B及び稼動部分65Cにより構成される。無効欄66は無効割合グラフ66A、66B、66C及び66Dと、計測回数欄661と、全体計測欄662とを備える。無効割合グラフ66A、66B、66C及び66Dは場合により無効割合グラフ660で代表する。種別表68A及び68B等は場合により種別表68で代表する。表示ウィンドウ61、種別グラフ63、集計表64、稼動グラフ65及び個別コメント欄67は表示ウィンドウ51、種別グラフ53、集計表54、稼動グラフ55及び個別コメント欄56と同様の構成及び動作であり、簡潔のため記載を省略する。
種別表68は動作要素の種別を表示する表である。タブ622は動作要素表62を観点毎に切り替えるためのタブである。無効欄66は無効時間に関する情報を表示する欄である。無効割合グラフ660は要素時間に対する無効時間の割合を表示した棒グラフである。計測回数欄661は計測回数を表示する欄である。全体計測欄662は取得した動画内で無効時間を計測した回数を示す全体計測回数を表示する欄である。
観点分析画面6の動作は以下の通りである。図16に示すようにユーザがタブ622の「View1」を入力部14で選択した場合、CPU11は要素情報DB12Aを参照し、作業員Aに関する動作要素の情報を表示ウィンドウ61、動作要素表62、種別グラフ63、集計表64及び稼動グラフ65を表示する。CPU11は種別表68Aに作業員Aの動作要素の種別を表示し、種別表68Bに作業種類の動作要素の種別を表示する。CPU11は無効欄66において要素時間に対する無効時間の割合を無効割合グラフ660の下側に表示し、要素時間に対する動作時間の割合を無効割合グラフ660の上側に表示する。例えばCPU11は動作要素表62の1行目の動作要素を選択した場合、行番号に対応する左端の無効割合グラフ66Aを選択する。CPU11は要素情報DB12Aを参照し、計測回数欄661に選択した動作要素に対応する計測回数を表示する。CPU11は要素情報DB12A及び12B等の複数のデータベースの計測回数列の計測回数を合計することで全体計測回数を算出する。CPU11は算出した全体計測回数を全体計測欄662に表示する。
図17に示すようにユーザがタブ622の「View2」を入力部14で選択した場合、CPU11は要素情報DB12Bを参照し、作業員Bに関する動作要素の情報を表示ウィンドウ61、動作要素表62、種別グラフ63、集計表64、稼動グラフ65、種別表68及び無効欄66を表示する。
ユーザはタブ622を切り替えることで作業員A及び作業員Bの情報を比較し、作業員A及び作業員B夫々の標準時間等の設定に利用することができる。例えば、作業員Aの動作要素「右側の溶接」の無効時間が「0.50」であり、かつ作業員Bの動作要素「左側の溶接」の無効時間が「1.00」である場合、ユーザは無効割合グラフ660で作業員Bに対して作業員Aの無効時間の割合が少ないことが解る。ユーザは計測回数欄661で作業員Aに対応する計測回数が「3」であり、かつ作業員Bに対応する計測回数が「4」であることが解る。ユーザは全体計測欄662で作業員Aに対応する全体計測回数が「12」であり、かつ作業員Bに対応する全体計測回数が「16」であることが解る。
以上よりユーザは作業員Aが熟練の作業員であることが解る。このことによりユーザは作業員Aに対応する動作要素のレーティング率を増加させた値を入力部14で入力する。CPU11は入力したレーティング率及び動作時間に基づいて適正な標準時間を算出する。ユーザがタブ622の「View1」を入力部14で選択し、CPU11は個別コメント欄67に入力を入力部14で受け付ける。ユーザは個別コメント欄67に「作業員Aは熟練である」を入力する。CPU11は個別コメント欄67に「作業員Aは熟練である」を表示する。ユーザがタブ622の「View2」を入力部14で選択し、CPU11は個別コメント欄67に入力を入力部14で受け付ける。ユーザは個別コメント欄67に「作業員Bは新人である」を入力する。CPU11は個別コメント欄67に「作業員Bは新人である」を表示する。
図18〜19は本実施形態における情報処理システムの処理手順を示したフローチャートである。CPU11はタブ622で観点の選択を入力部14で受け付ける(ステップS51)。CPU11は選択した観点に基づいて要素情報DB121を読み込む(ステップS52)。CPU11は動作要素、非定常情報、種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、レーティング率及び標準時間等を記憶部12から読込又は入力部14で入力を受け付け(ステップS53)、処理をS12に移す。ステップS12〜S18の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はS18の処理を終了した後、一の動画データを表示ウィンドウ61に表示する(ステップS54)。CPU11は要素時間、動作時間及び無効時間に基づいて無効割合グラフ660を表示する(ステップS55)。CPU11は計測回数及び全体計測回数の夫々を計測回数欄661及び全体計測欄662の夫々に表示する(ステップS56)。CPU11は個別コメント欄67に個別コメントを表示し(ステップS57)、タブ622で観点の選択を入力部14で受け付ける(ステップS58)。CPU11は異なる観点を選択したか否かを判定する(ステップS59)。CPU11は異なる観点を選択しなかったと判定した場合(ステップS59:NO)、異なる観点を選択するまで待機する。CPU11は異なる観点を選択したと判定した場合(ステップS59:YES)、内容の異なる動作要素表62等を表示する画面に切り替え(ステップS60)、処理をステップS52に移し、処理を繰り返す。
一つの側面では、観点毎に種別グラフ63の表示をタブ622により切り替えることで観点毎の種別又は動作時間等の比較が容易になる。
一つの側面では、タブ622を切り替えることで対象物毎に比較することができるため、作業員同士の作業の優劣を即座に理解することができる。このことによりレーティング率の算出に役立てることができる。
一つの側面では、観点毎に稼動グラフ65の表示をタブ622により切り替えることで観点毎の無効合計時間又は準稼動合計時間等の比較が容易になる。このことによりレーティング率の算出に役立てることができる。
一つの側面では、無効割合グラフ660を表示することで各種別の無効時間の割合を理解することが容易になる。このことによりレーティング率の算出に役立てることができる。
一つの側面では、動作要素毎に非定常情報を表示することでユーザが周期的な作業であるか否かを理解することができる。このため、周期的な作業であった場合、慣れているためレーティング率を低く設定する等、レーティング率の算出に役立てることができる。
(実施の形態5)
実施の形態5は非定常情報に関する情報を分析するためのサイクル画面7を表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。記憶部12はさらに非定常情報DB127を備える。
図20は非定常情報DB127に格納されているデータの一例を示す図である。非定常情報DB127は非定常情報に関する情報を記憶するデータベースである。非定常情報DB127は動作要素列、非定常列、種別1列、1サイクル列、2サイクル列及び3サイクル列等を備える。以下、場合により1サイクル列、2サイクル列及び3サイクル列等はサイクル列で代表する。サイクル列は動作要素内の作業が繰り返される回数を示すサイクル数を示し、開始時間列及び要素時間列を備える。非定常情報DB127の動作要素列、非定常列、種別1列、開始時間列及び要素時間列は要素情報DB121と同様の構成であり、簡潔のため記載を省略する。CPU11は要素情報DB121を参照し、サイクル表72の動作要素列、非定常列、作業員A列に動作要素、非定常情報及び種別を非定常情報DB127に記憶させる。CPU11はサイクル画面7で各サイクル列の開始時間及び要素時間の入力を入力部14で受け付け、受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に記憶させる。
図21はサイクル画面7の一例を示す説明図である。サイクル画面7は左上部に分割された表示ウィンドウ71と、右上部に設けられた種別表78、種別表78の下部に設けられたサイクル表72と、表示ウィンドウ71の下部に設けられたサイクルコメント欄77とを備える。表示ウィンドウ71の左端にはレーティング率欄711が設けられている。表示ウィンドウ71の左上部には決定レーティング率欄712が設けられている。サイクル表72は下部に合計欄721を備える。サイクル表72は非定常情報に関する情報を表示するための表である。表示ウィンドウ71、サイクルコメント欄77及び種別表78は表示ウィンドウ61、個別コメント欄67及び種別表68と同様の構成及び動作であり、簡潔のため記載を省略する。
サイクル画面7の動作は以下の通りである。CPU11はサイクル画面7の表示の選択を入力部14で受け付ける。ユーザはサイクル画面7の表示を選択し、CPU11はサイクル画面7を表示する。CPU11は要素情報DB121を参照し、サイクル表72の動作要素列及び作業員A列に動作要素、非定常情報及び種別を表示する。CPU11は動作要素の非定常情報が周期性のある動作を示すか否かを判定する。
CPU11は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の非定常情報列が×であると判定する。例えば、作業員Aが3回動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の作業を行っている場合、CPU11は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の1サイクル列、2サイクル列及び3サイクル列等に入力を入力部14で受け付ける。ユーザは1サイクル列、2サイクル列及び3サイクル列の開始時間及び要素時間を入力部14で入力する。CPU11は動作要素の非定常情報が周期性のない動作を示すと判定した場合、要素情報DB121を参照し、動作要素「金具Aをセット」に対応する1サイクル列に要素情報DB121の開始時間及び要素時間を表示する。CPU11は1サイクル列、2サイクル列及び3サイクル列の要素時間の合計「27.00」、「15.00」及び「18.00」を算出し、算出した要素時間の合計「27.00」、「15.00」及び「18.00」を各サイクル列の下部の合計欄721に表示する。
図22は本実施形態における情報処理システムの処理手順を示したフローチャートである。CPU11はサイクル画面7の表示の選択を入力部14で受け付ける。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS22の処理を終了した後、サイクル画面7の表示の選択を入力部14で受け付ける(ステップS61)。CPU11は要素情報DB121に基づいてサイクル表72を表示する(ステップS62)。具体的にはCPU11は要素情報DB121を参照し、サイクル表72の動作要素列及び種別1列に動作要素、非定常情報及び種別を表示する。
CPU11は動作要素の非定常情報が周期性のある動作であるか否かを判定する(ステップS63)。CPU11は動作要素の非定常情報が周期性のある動作を示すと判定した場合(ステップS63:YES)、サイクル表72において動作要素に対応する各サイクル列に開始時間及び要素時間の入力を入力部14で受け付ける(ステップS64)。CPU11は受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に表示し(ステップS65)、処理をS67に移す。CPU11は動作要素の非定常情報が周期性のない動作を示すと判定した場合(ステップS63:NO)、要素情報DB121を参照し、動作要素に対応する1サイクル列に要素情報DB121の開始時間及び要素時間を表示する(ステップS66)。CPU11は全ての動作要素について判定を行ったか否かを判定する(ステップS67)。CPU11は全ての動作要素について判定を行っていないと判定した場合(ステップS67:NO)、処理をステップS63に移す。CPU11は全ての動作要素について判定を行ったと判定した場合(ステップS67:YES)、要素時間の合計を算出し、合計欄721に表示し(ステップS68)、処理をS11に移す。
一つの側面によれば、周期性のある動作について詳細に分析することができる。
(実施の形態6)
実施の形態6はワークサンプリング法を用いて動作要素に関する情報を作成する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態4及び5と同等であり、簡潔のため記載を省略する。ワークサンプリングとは、作業者が行っている各作業を瞬時に計測して、統計的に集計・分類を行うものである。瞬間的に観測を行うので、作業者は撮影行為を意識せず作業を行える為、比較的実測に近い状態で観測する方法として一般的に用いられている。具体的なワークサンプリング法とは以下の通りである。動画から一定間隔又はランダムな間隔で対象物の画像を所定の回数抽出し、抽出した対象物の画像を分析することで対象物が行う作業種類に係る回数の構成比率を算出する。ユーザは算出した構成比率に基づいて分析画面5、観点分析画面6又はサイクル画面7等により標準時間、動作時間又は無効時間等の動作要素に関する情報を作成する手法である。以下、本実施形態に係る情報処理システムの詳細を説明する。
本実施形態に係る記憶部12はさらにサンプリングテーブル125、対応テーブル126及びサンプリング集計テーブル127を備える。図23はサンプリングテーブル125及び対応テーブル126に格納されているデータの一例を示す図である。サンプリングテーブル125はワークサンプリング法に用いられるサンプリングデータを記憶するデータベースである。本実施形態におけるサンプリングテーブル125はサンプル数(対象物)毎にサンプリングテーブル12A、サンプリングテーブル12B等の複数のデータベースを備える。サンプル数とは1つの画像に映る作業員の数である。図23Aは作業員Aのサンプリングテーブル12Aに格納されているデータの一例を示す図である。図23Bは作業員Bのサンプリングテーブル12Bに格納されているデータの一例を示す図である。
サンプリングテーブル125は画像ID列、画像列、作業種類列及び稼動情報列等を備える。画像ID列には画像を識別するための画像IDが記憶される。画像列には抽出した画像が画像IDに対応づけて記憶される。作業種類列には表示された画像に対応する対象物が行う作業の種類を示す作業種類が記憶される。作業種類とは例えば「左側の溶接」又は「ロボットによる組み立て」等である。例えば、作業種類列には作業員Aの作業の種類が「左側の溶接」であること又は作業員Aの作業の種類が「ロボットによる組み立て」であること等が記憶される。稼動情報列には対象物が稼動しているか否かを示す稼動情報が画像IDに対応づけて記憶される。稼動情報列には例えば、稼動、非稼動又は準稼動が記憶される。稼動は対象物が稼動していることを示す。非稼動は対象物が非稼動であることを示す。準稼動は対象物が準稼動動作をしていることを示す。
CPU11は後述するワークサンプリング画面8で作業種類、稼動情報及び画像IDの入力を入力部14で受け付け、受け付けた情報を対応テーブル126に記憶させる。
図24は複数の作業種類毎にまとめた作業工程と画像ID等とを対応づける対応テーブル126に格納されているデータの一例を示す図である。対応テーブル126は作業工程列及び画像ID列を備える。作業工程列には作業工程が記憶される。画像ID列には画像IDが作業工程に対応づけて記憶される。CPU11は作業工程及び画像IDの選択を受け付け、受け付けた作業工程及び画像IDを対応づけて対応テーブル126に記憶させる。
図25はサンプリング集計テーブル127に格納されているデータの一例を示す図である。サンプリング集計テーブル127はサンプリングデータを集計したサンプリング集計データを記憶するデータベースである。サンプリング集計テーブル127は生成動画列、作業工程列、サンプリング回数列、稼動数列、準稼動数列及び非稼動数列を備える。生成動画列には画像から生成した生成動画の名称が記憶される。生成動画は取得した動画から画像を抽出し、抽出した画像を時系列順に並べることで生成する。作業工程列には作業工程が記憶される。サンプリング回数列にはサンプリング回数が記憶される。サンプリング回数とは画像を取得した取得回数である。稼動数列には稼動情報が「稼動」である画像の数を計数した稼動数が記憶される。準稼動数列には稼動情報が「準稼動」である画像の数を計数した準稼動数が記憶される。非稼動数列には稼動情報が「非稼動」である画像の数を計数した非稼動数が記憶される。サンプリング回数列、稼動数列、準稼動数列及び非稼動数列の最後の行には夫々、サンプリング回数、稼動数、準稼動数及び非稼動数の合計が記憶される。CPU11は動画の名称を自動的に生成する。CPU11は生成した動画の名称をサンプリング集計テーブル127に記憶させる。CPU11は後述する算出方法でサンプリング回数、稼動数、準稼動数及び非稼動数を算出し、算出したサンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル127に記憶させる。
図26はワークサンプリング法を実行するためのワークサンプリング画面8の一例を示す説明図である。ワークサンプリング画面8は左上部に設けられた観測モード選択欄82と、観測モード選択欄82の下部に設けられた計測選択欄83と、計測選択欄83の下部に設けられた開始ボタン84と、観測モード選択欄82、計測選択欄83及び開始ボタン84の右部に設けられた画像欄81と、画像欄81の下部に設けられた作業種類表85と、作業種類表85の下部に設けられたサンプリング表86と、サンプリング表86の左下部に設けられた算出欄87と、算出欄87の右部に設けられた稼動グラフ88と、右部に設けられた画像欄81A及び81B等と、右上部に設けられたボタン89A、89B、89C及び89D等と、登録ボタン80と、ボタン810とを備える。
以下、画像欄81A、81B等は場合により画像欄811で代表する。稼動グラフ88は非稼動部分88A、準稼動部分88B及び稼動部分88Cにより構成される。以下、ボタン89A、89B、89C及び89D等は場合によりボタン89で代表する。画像欄81は選択した画像を表示する欄である。画像欄811は取得した画像を表示する欄である。観測モード選択欄82は観測モードを選択するための欄である。計測選択欄83は計測方法を選択するための欄である。開始ボタン84はワークサンプリングを実行するためのボタンである。作業種類表85は作業種類を表示するための表である。サンプリング表86はワークサンプリング法に用いられるデータを表示する表である。算出欄87は十分な確からしさを得るために必要サンプリング回数を算出する式に入力を行うための欄である。稼動グラフ88は稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。ボタン89A、89B、89C及び89Dの夫々は分析画面5、観点分析画面6、サイクル画面7及びワークサンプリング画面8の夫々を表示するためのボタンである。登録ボタン80は作業種類を登録するためのボタンである。なお、ボタン810は後述する実施の形態で用いるため、本実施形態では説明を省略する。
ワークサンプリング画面8の動作は以下の通りである。CPU11は後述する登録ボタン80を入力部14で登録ボタン80の選択を受け付け、ユーザが登録ボタン80を入力部14で選択した場合、CPU11は作業種類表85に作業種類の入力を入力部14で受け付ける。CPU11は受け付けた作業種類を作業種類表85に表示し、サンプリングテーブル125に記憶させる。観測モード選択欄82は時間帯別観測モード及び多人数観測モードを選択することができる。ユーザが入力部14で時間帯別観測モードを選択した場合、一の対象物に注目してワークサンプリングを実行する。ユーザが入力部14で多人数観測モードを選択した場合、複数の対象物に注目してワークサンプリングを実行する。
計測選択欄83はランダム時刻表計測及び定時計測を選択することができる。ユーザが入力部14でランダム時刻表計測を選択した場合、CPU11は取得した動画からランダムな時間で画像を抽出する。ユーザが入力部14で定時計測を選択した場合、CPU11は取得した動画から所定の時間間隔で画像を抽出する。所定の時間間隔とは例えば0.1秒である。
ユーザが例えば、入力部14で時間帯別観測モードを選択し、ランダム時刻表計測を選択し、かつ開始ボタン84を選択した場合、取得した動画からランダムで作業員Aの画像を抽出し、抽出した作業員Aの画像を画像欄811に表示する。またユーザが例えば、入力部14で多人数観測モードを選択し、定時計測を選択し、かつ開始ボタン84を選択した場合、取得した動画から所定の時間間隔で作業員A及びBの画像を抽出し、抽出した作業員A及びBの画像を画像欄811に表示する。
ユーザが例えば画像欄81Aの画像Aを選択した場合、CPU11は画像Aを画像欄81に表示する。CPU11は作業種類表85の作業種類の選択を入力部14で受け付ける。ユーザは入力部14で作業種類表85から「左側の溶接」を選択する。CPU11は画像Aの画像ID「001」に作業種類「左側の溶接」を対応づけ、サンプリングテーブル125に記憶させる。CPU11は稼動情報の入力を入力部14で受け付ける。ユーザは稼動情報「準稼動」を入力する。CPU11は受け付けた稼動情報「準稼動」を画像Aの画像ID「001」に対応づけてサンプリングテーブル125に記憶させる。
ユーザが画像ID、作業種類及び稼動情報の対応づけを終えた後、CPU11は対応テーブル126及びサンプリングテーブル125を参照し、作業工程に対応するサンプリング回数及び稼動数、準稼動数、非稼動数を算出する。具体的にはCPU11は溶接に対応する画像IDが画像ID「001〜004」であるため、図23A及び図23Bに示すように、サンプリング回数「7」、稼動数「2」、準稼動数「3」、非稼動数「2」を算出する。以下同様であり、簡潔のため記載を省略する。CPU11は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、100を積算することで構成比を算出する。構成比とは稼動数、準稼動数及び非稼動数の比率である。CPU11は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表86に表示する。CPU11は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル127に記憶させる。
CPU11は算出欄87の各欄に数値を入力部14で受け付ける。ユーザは各欄に数値を入力する。CPU11は入力した数値を式に代入し、必要サンプリング回数を算出する。算出欄87に表示された式は例えば下記の通りである。
N=t×t×(1−P)÷(S×S×P)
N:必要サンプリング回数、t:信頼度、S:精度、P:構成比
CPU11はサンプリング回数が必要サンプリング回数以下か否かを判定する。CPU11はサンプリング回数が必要サンプリング回数以下であると判定した場合、算出欄87に所定のメッセージを表示する。所定のメッセージとは例えば「サンプリング回数が不足しています」である。
CPU11はサンプリングテーブル125を参照し、稼動情報及び作業時間に基づいて稼動グラフ88を生成する。CPU11が稼動グラフ88を生成する処理は以下の通りである。CPU11はサンプリング回数に対する非稼動数の割合で非稼動部分88Aを生成する。CPU11はサンプリング回数に対する準稼動数の割合で準稼動部分88Bを生成する。CPU11はサンプリング回数に対する稼動数の割合で稼動部分88Cを生成する。CPU11は生成した非稼動部分88A、準稼動部分88B及び稼動部分88Cに基づいて稼動グラフ88を生成し、表示する。すなわちCPU11は各画像内の対象物が稼動している割合を表示する。ユーザは例えば、稼動グラフ88で非稼動数、稼動数又は準稼動数の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ88を確認することでおおよそのレーティング率を決定することができる。
ユーザがボタン89A、89B及び89Cの夫々を入力部14で選択した場合、CPU11は分析画面5、観点分析画面6及びサイクル画面7の夫々を表示する。ボタン89A、89B及び89Cは分析画面5、観点分析画面6及びサイクル画面7にも設けられており、同様の動作を行う。さらに分析画面5、観点分析画面6及びサイクル画面7でユーザがボタン89Dを選択した場合、ワークサンプリング画面8を表示する。
図27〜29は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22、S51〜S58及びS61〜68の処理は上述の実施の形態4及び5に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11は入力部14で観測モードの入力を入力部14で受け付ける(ステップS71)。CPU11は入力部14で計測方法の入力を入力部14で受け付ける(ステップS72)。CPU11は入力部14で開始ボタン84の選択がされたか否かを判定する(ステップS73)。CPU11は入力部14で開始ボタン84の選択がされなかったと判定した場合(ステップS73:NO)、処理をS71に移す。CPU11は入力部14で開始ボタン84の選択がされたと判定した場合(ステップS73:YES)、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行する(ステップS74)。
CPU11は入力部14で画像の選択を入力部14で受け付ける(ステップS75)。CPU11は作業種類及び稼動情報の入力を入力部14で受け付ける(ステップS76)。CPU11は受け付けた画像の画像IDに作業種類及び稼動情報を対応づける(ステップS77)。CPU11は対応テーブル126及びサンプリングテーブル125を参照し、作業工程に対応するサンプリング回数、稼動数、準稼動数及び非稼動数を算出する(ステップS78)。CPU11は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、100を積算することで構成比を算出する(ステップS79)。CPU11は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表86に表示する(ステップS80)。CPU11は算出欄87の各欄に入力を入力部14で受け付ける(ステップS81)。CPU11は算出欄87の各欄に入力された値に基づいて必要サンプリング回数を算出する(ステップS82)。CPU11はサンプリング回数が必要サンプリング回数以下であるか否かを判定する(ステップS83)。
CPU11はサンプリング回数が必要サンプリング回数以下でないと判定した場合(ステップS83:NO)、すなわちサンプリング回数が必要サンプリング回数を超えたと判定した場合、処理をS85に移す。CPU11はサンプリング回数が必要サンプリング回数以下であると判定した場合(ステップS83:YES)、算出欄87に所定のメッセージを表示する(ステップS84)。CPU11は稼動数、準稼動数、非稼動数及びサンプリング回数の合計に基づいて稼動グラフ55を表示する(ステップS85)。
CPU11は分析画面5の表示を選択したか否かを判定する(ステップS86)。すなわち、CPU11はボタン89Aを選択したか否かを判定する。CPU11は分析画面5の表示を選択したと判定した場合(ステップS86:YES)、処理をステップS11に移し、分析画面5の表示処理を行う。CPU11は分析画面5の表示を選択しなかったと判定した場合(ステップS86:NO)、観点分析画面6の表示を選択したか否かを判定する(ステップS87)。すなわち、CPU11はボタン89Bを選択したか否かを判定する。CPU11は観点分析画面6の表示を選択したと判定した場合(ステップS87:YES)、処理をS51に移し、観点分析画面6の表示処理を行う。
CPU11は観点分析画面6の表示を選択しなかったと判定した場合(ステップS87:NO)、サイクル画面7の表示を選択したか否かを判定する(ステップS88)。すなわち、CPU11はボタン89Cを選択したか否かを判定する。CPU11はサイクル画面7の表示を選択したと判定した場合(ステップS88:YES)、処理をS61に移す。CPU11はサイクル画面7の表示を選択しなかったと判定した場合(ステップS88:NO)、処理をS71に移す。
一つの側面によれば、ワークサンプリング法を用いた動画は比較的実測に近い状態で観測された動画であり、これらの動画を分析又は観点分析を行う事でより精度の高い解析・分析結果を入手することができる。
また、一つの側面によれば、ワークサンプリング法を用いた後で即座に稼動状況の構成比を表示でき、当該構成比から動画の分析画面に即座に移動することができるため、分析時間をより短縮をすることができる。
(実施の形態7)
実施の形態7はテンプレートマッチング又はパターンマッチング等の画像処理を用いて作業種類、稼動情報及び画像を対応づける実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態5と同等であり、簡潔のため記載を省略する。
記憶部12はさらにテンプレートDB128を備える。図30はテンプレートDB128に格納されているデータの一例を示す図である。テンプレートDB128は画像処理に用いるテンプレート画像(作業画像)と作業種類とを対応づけて記憶させるデータベースである。テンプレートDB128はテンプレート画像列、作業種類列及び稼動情報列等を備える。テンプレート画像列にはテンプレート画像が記憶される。テンプレート画像とは例えば対象物が作業種類の作業を行っている画像である。作業種類列には作業種類が記憶される。稼動情報列には稼動情報が記憶される。
テンプレートDB128にテンプレート画像及び作業種類を記憶させる方法は以下の通りである。ユーザが本実施形態における登録ボタン80を入力部14で入力した場合、CPU11は図30に示すテンプレート画像を登録するための画像登録画面9を表示する。図31は画像登録画面9の一例を示す説明図である。画像登録画面9は左上部及び左下部に設けられた稼動情報登録欄91A及び91Bと、右部に設けられた画像登録欄92とを備える。以下、場合により稼動情報登録欄91A及び91Bを稼動情報登録欄91で代表する。稼動情報登録欄91は上部に設けられた作業種類欄911と、作業種類欄911の右部に設けられた稼動情報欄912と、左部及び右部に設けられた画像欄913及びテンプレート画像欄914とを備える。画像登録欄92は上部に設けられたテンプレート画像欄921と、画像欄921の左下部に設けられた範囲指定欄922と、範囲指定欄922の右部に設けられた閾値欄923と、範囲指定欄922及び閾値欄923の下部に設けられたコメント欄924とを備える。
稼動情報登録欄91は稼動情報を登録するための欄である。画像登録欄92はテンプレート画像を登録するための欄である。作業種類欄911は作業種類を入力するための欄である。稼動情報欄912は稼動情報を選択するためのチェックボックスである。画像欄913は抽出した画像を表示するための欄である。テンプレート画像欄914はテンプレート画像の範囲を表示するための欄である。テンプレート画像欄921はテンプレート画像の範囲を表示するための欄である。範囲指定欄922はテンプレート画像の範囲を指定するための欄である。閾値欄923はテンプレート画像との一致度の閾値を設定するための欄である。コメント欄924はテンプレート画像に対するコメントを表示するための欄である。
画像登録画面9の動作は以下の通りである。CPU11は稼動情報登録欄91Aにおいて、選択した画像Aを画像欄913及びテンプレート画像欄921に表示する。CPU11は範囲指定欄922で範囲の指定方法の選択を入力部14で受け付ける。範囲の指定方法は例えば、矩形、楕円又は投げ縄等である。例えば、ユーザが入力部14で投げ縄を選択した場合、CPU11はテンプレート画像欄921にN次の曲線を有する輪を表示することができる。CPU11は閾値欄923で閾値の入力を入力部14で受け付ける。ユーザは任意の閾値を入力部14で入力した場合、テンプレート画像欄921でテンプレート画像にする範囲の入力を入力部14で受け付ける。ユーザは入力部14により作業員A及び機械をN次の曲線を有する輪で囲む。CPU11は輪で囲まれた画像を抽出し、抽出した画像を作業種類「左側の溶接」に対応するテンプレート画像AとしてテンプレートDB128に記憶させる。
CPU11はテンプレート画像欄921の画像と同一の画像をテンプレート画像欄914に表示する。CPU11は作業種類欄911で作業種類の入力を入力部14で受け付ける。ユーザが作業種類「左側の溶接」及び「右側の溶接」を作業種類欄911に入力した場合、テンプレート画像Aと作業種類「左側の溶接」及び「右側の溶接」とを対応づけてテンプレートDB128に記憶させる。CPU11は稼動情報欄912に稼動情報の選択を入力部14で受け付ける。ユーザが稼動情報欄912で稼動情報「準稼動」を選択した場合、テンプレート画像Aと稼動情報「準稼動」とを対応づけてテンプレートDB128に記憶させる。CPU11はコメント欄924にコメントを入力部14で受け付ける。ユーザは「人間をテンプレート画像として設定した」を入力部14で入力する。以下、画像登録画面9は稼動情報登録欄91Bについても同様の動作を行うため、記載を省略する。
ユーザがボタン810を入力部14で入力した場合、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行した後、テンプレートDB128からテンプレート画像を読み出し、抽出した画像Aにテンプレートマッチングを実行する。CPU11は抽出した画像Aとテンプレート画像Aとの一致度を算出する。具体的にはCPU11は抽出した画像Aとテンプレート画像Aとの相関関数を取ることで画像Aとテンプレート画像Aの相関を算出する。すなわち一致度とは抽出した画像とテンプレート画像との相関値である。CPU11は一致度が閾値欄923で入力した閾値を超えた場合、テンプレートDB128を参照し、テンプレート画像Aに対応する作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を特定する。CPU11は特定した作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を画像Aに対応づけ、サンプリングテーブル125に記憶させる。以下、CPU11は抽出した画像について同様の処理を行う。
図32〜33は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S89の処理は上述の実施の形態6に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS74の処理を終了した後、画像登録画面9の表示の選択をしたか否かを判定する(ステップS91)。すなわちCPU11は登録ボタン80を入力部14で入力したか否かを判定する。CPU11は画像登録画面9の表示の選択をしなかったと判定した場合(ステップS91:NO)、処理をステップS95に移す。CPU11は画像登録画面9の表示の選択をしたと判定した場合(ステップS91:YES)、画像登録画面9を表示する(ステップS92)。CPU11は画像登録画面9でテンプレート画像、作業種類及び稼動情報を入力部14で受け付ける(ステップS93)。CPU11は受け付けたテンプレート画像、作業種類及び稼動情報をテンプレートDB128に記憶させる(ステップS94)。
CPU11はテンプレートマッチングの選択をしたか否かを判定する(ステップS95)。すなわちCPU11はボタン810を入力部14で入力したか否かを判定する。CPU11はテンプレートマッチングの選択をしなかったと判定した場合(ステップS95:NO)、処理をS75に移す。CPU11はテンプレートマッチングの選択をしたと判定した場合(ステップS95:YES)、テンプレートDB128からテンプレート画像を読み出し、抽出した画像に画像処理を実行する(ステップS96)。CPU11は表示した画像とテンプレート画像との一致度を算出する(ステップS97)。CPU11は算出した一致度が閾値を超えるか否かを判定する(ステップS98)。CPU11は算出した一致度が閾値を超えないと判定した場合(ステップS98:NO)、処理をステップS101に移す。CPU11は算出した一致度が閾値を超えると判定した場合(ステップS98:YES)、テンプレートDB128を参照し、テンプレート画像に対応する作業種類及び稼動情報を特定する(ステップS99)。CPU11は特定した作業種類及び稼動情報と画像とを対応づける(ステップS100)。
CPU11は全ての画像について画像処理を実行したか否かを判定する(ステップS101)。CPU11は全ての画像について画像処理を実行しなかったと判定した場合(ステップS101:NO)、処理をステップS96に移す。CPU11は全ての画像について画像処理を実行したと判定した場合(ステップS101:YES)、処理をS75に移す。
一つの側面によれば、画像処理により、画像に作業種類を対応づけることができる。このことによりワークサンプリング法の処理時間を短縮することができる。
(実施の形態8)
実施の形態8は画像の画像IDと動画の再生時間及び動画IDとを対応づけ、かつ動画の再生時間と実施の形態1における動作要素の時間とを対応づけることで画像から動作要素を選択する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態7と同等であり、簡潔のため記載を省略する。
図34はサンプリングテーブル125に格納されているデータの一例を示す図である。サンプリングテーブル125はさらに再生時間列、動画ID列及び動作要素列を備える。再生時間列には動画の再生時間が記憶される。動画ID列には動画を識別するための動画IDが記憶される。動作要素列には動画IDに対応づけられた動作要素が記憶される。CPU11は画像を抽出した場合、画像を抽出した際の動画の再生時間及び動画IDを特定し、特定した再生時間及び動画IDをサンプリングテーブル125に記憶する。CPU11は動作要素の入力を受け付け、受け付けた動作要素をサンプリングテーブル125に記憶する。
図35は要素情報DB121に格納されているデータの一例を示す図である。図35に示す要素情報DB121は対象物毎に複数設けられている。各要素情報DB121は動画IDに対応づけられている。例えば、動画ID「11」には図35に示す要素情報DB121が対応づけられている。また動画ID「12」は図示しない他の要素情報DB121が対応づけられている。CPU11は画像を抽出した動画の再生時間及び動画IDを特定し、特定した再生時間及び動画IDを画像に対応づけてサンプリングテーブル125に記憶させる。
CPU11は以下の方法により画像に対応づけられた再生時間を用いて画像の並び替えを行うことができる。CPU11は画像を抽出する際に画像を抽出した動画の再生時間及び動画IDを特定する。CPU11は動画ID「11」の動画の内、再生時間「2.0」に対応づけられた画像ID「001」の画像Aを画像欄81Aに配置し、再生時間「4.0」に対応づけられた画像ID「003」の画像Cを画像欄81Bに配置する。CPU11は動画ID「12」の動画の内、再生時間「3.0」に対応づけられた画像ID「002」の画像Bを画像欄81Aの左部に配置し、再生時間「5.0」に対応づけられた画像ID「004」の画像Dを画像欄81Bの左部に配置する。すなわち、CPU11は動画ID毎に再生時間順に画像欄811を並び替える。
画像から動作要素を選択する方法は以下の通りである。ユーザは画像欄811の画像Aを入力部14で選択する。CPU11は入力部14を介して画像Aの選択を受け付ける。CPU11は画像欄81に受け付けた画像Aを表示する。CPU11はサンプリングテーブル125を参照し、画像Aの画像ID「001」に対応づけられた動作要素「溶接」を抽出し、動作要素「溶接」に対応づけられた動画ID「11」を抽出する。ユーザがボタン89A、89B及び89Cの夫々を入力部14で選択した場合、CPU11は動作要素「溶接」を選択した状態で分析画面5、観点分析画面6及びサイクル画面7の夫々を表示する。例えば、ユーザがボタン89Aを選択した場合、CPU11は抽出した動画ID「11」に対応する要素情報DB121を参照し、図7に示す分析画面5を表示し、表示ウィンドウ51Aに動作要素「溶接」に対応する動画101を表示し、抽出した動画ID「11」の要素情報DB121に対応する動作要素表52を表示する。また例えば、ユーザがボタン89Bを選択した場合、CPU11は抽出した動画ID「11」の要素情報DB121を参照し、図16に示す観点分析画面6の表示ウィンドウ61に動作要素「溶接」に対応する動画101を表示し、抽出した動画ID「11」の要素情報DB121の動作要素「溶接」に対応する無効割合グラフ66Aを選択した状態を表示する。例えば、ユーザがボタン89Cを選択した場合、CPU11は抽出した動画ID「11」の要素情報DB121を参照し、図21に示すサイクル画面7の表示ウィンドウ71に動作要素「溶接」に対応する動画101を表示する。
図36は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S89の処理は上述の実施の形態7に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS74の処理を終了した後、画像を抽出した際の動画の再生時間及び動画IDを特定する(ステップS101)。CPU11は動画ID毎に再生時間順に画像を並び替え(ステップS102)、処理をS75に移す。CPU11はS75の処理を終了した後、サンプリングテーブル125を参照し、受け付けた画像の画像IDに基づいて動作要素及び動作要素に対応づけられた動画IDを抽出し(ステップS103)、処理をS76に移す。
一つの側面によれば、自動的に動作要素を抽出することができるため、画像と動作要素との対応関係を即座に理解することができる。
(実施の形態9)
実施の形態9はワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態5と同等であり、簡潔のため記載を省略する。
ユーザが稼動グラフ88を入力部14で選択した場合、CPU11は動画IDの入力を受け付ける。CPU11は受け付けた動画IDに対応する要素情報DB121を参照し、ワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する比較画面20を表示する。図37は比較画面20の一例を示す説明図である。
比較画面20は左上部に設けられた表示ウィンドウ201と、左中央部に設けられた稼動グラフ202と、稼動グラフ202の下部に設けられたコメント欄203と、稼動グラフ202の右上部に設けられた表示ウィンドウ204と、表示ウィンドウ204の右下部に設けられた稼動グラフ(割合グラフ)205と、稼動グラフ205の下部に設けられたコメント欄206とを備える。稼動グラフ202の準稼動部分は準稼動部分207、208及び209で構成される。表示ウィンドウ201及び204は動画データを表示するためのウィンドウである。稼動グラフ202は動作要素の情報から算出した動作合計時間(稼動時間)、準稼動合計時間(準稼動時間)及び無効合計時間(非稼動時間)の割合を表示した円グラフである。稼動グラフ202は実施の形態1の方法で生成される。稼動グラフ205はワークサンプリング法で算出した稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。稼動グラフ205は実施の形態6の方法で生成される。コメント欄203及び206は動作要素のコメントを表示するための欄である。準稼動部分207、208及び209は準稼動部分をさらに動作要素で分けたものである。また同様に稼動グラフ205の稼動部分、準稼動部分及び非稼動部分はさらに作業工程で分けられており、準稼動部分210及び211は準稼動部分をさらに動作要素で分けたものである。稼動グラフ202及び稼動グラフ205の分け方は一例であり、この方法に限られない。
比較画面20の動作は以下の通りである。稼動グラフ202の稼動部分、準稼動部分及び非稼動部分はさらに動作要素で分けられている。例えば、ユーザが準稼動部分207を入力部14で選択した場合、要素情報DB121及びコメントDB124を参照し、準稼動部分207の動作要素「溶接」に対応づけられた「動画101」を表示ウィンドウ201に表示し、かつコメント欄203に「頑張って働いている」を表示する。またユーザが準稼動部分208を入力部14で選択した場合、要素情報DB121及びコメントDB124を参照し、準稼動部分207の動作要素「パネルの固定」に対応づけられた「動画102」を表示ウィンドウ201に表示し、かつコメント欄203に「頑張って働いている」を表示する。
稼動グラフ202の稼動部分、準稼動部分及び非稼動部分はさらに作業工程毎に分けられている。ユーザが稼動グラフ202の準稼動部分209を入力部14で選択した場合、準稼動である作業工程「溶接」の動画を表示ウィンドウ201に表示する。CPU11はコメント欄203に入力部14で入力を受け付ける。ユーザは入力部14でコメント欄203に「頑張って働いている」を入力する。CPU11はコメント欄203に「頑張って働いている」を表示する。
ユーザが稼動グラフ202又は205を入力部14で選択した場合、動作要素及び作業工程の動画の詳細を比較する詳細比較画面21を表示する。図38は詳細比較画面21の一例を示す説明図である。詳細比較画面21は上部に設けられた選択動作要素211と、選択動作要素211の下部に設けられた表示ウィンドウ212及び218と、表示ウィンドウ212及び218の下部に設けられた標準時間欄213と、標準時間欄213の下部に設けられたレーティング率欄214と、レーティング率欄214の下部に設けられたコメント欄216及び224と、標準時間欄213及びレーティング率欄214の左部に設けられた稼動グラフ215と、コメント欄216の下部に設けられた動作要素表217とを備える。稼動グラフ215の準稼動部分は準稼動部分227、228及び229で構成される。
表示ウィンドウ212及び218、コメント欄216及び224、稼動グラフ215及び222は表示ウィンドウ201及び204、コメント欄203及び206、稼動グラフ202及び205並びに動作要素表52の構成と同様であるため、記載を省略する。選択動作要素211は選択された動作要素に関する情報を表示する表である。標準時間欄213は、動作要素の標準時間を表示するための欄である。レーティング率欄214は動作要素のレーティング率を表示するための欄である。
詳細比較画面21の動作は以下の通りである。CPU11は動画IDに対応する要素情報DB121を参照し、下部の動作要素表を表示する。ユーザが準稼動部分227を入力部14で選択した場合、CPU11は準稼動部分227の動作要素「溶接」を選択し、選択動作要素211に動作要素「溶接」に関する情報を表示する。またCPU11は標準時間欄213に動作要素「溶接」の標準時間「3.85」を表示し、レーティング率欄214に動作要素「溶接」のレーティング率「1.10」を表示し、動作要素「溶接」に対応づけられた「動画101」を表示ウィンドウ212に表示し、コメント欄216に「作業員は頑張っている」を表示する。また実施の形態1と同様にレーティング率欄214を操作することで表示ウィンドウ212の動画データの再生時間を変えることができる。
例えばユーザが稼動グラフ(割合グラフ)215の準稼動部分229を入力部14で選択した場合、作業工程「溶接」の内、準稼動に対応づけられた生成動画を表示ウィンドウ212に表示する。CPU11はコメント欄224に入力部14で入力を受け付ける。ユーザは入力部14でコメント欄224に「熟練である」を入力する。CPU11はコメント欄224に「熟練である」を表示する。このことにより同一の画面上にワークサンプリング法及び動作要素の情報から算出した稼動グラフを表示することができる。また同一の画面上で稼動グラフから種別に対応する分割動画及び作業種類に対応する動画を再生することができる。このことにより分析画面5の分割動画とワークサンプリング法で生成した生成動画との対比が容易に行える。なお、下部の動作要素表217及び選択動作要素211は稼動グラフ222を選択しても表示されない。
図39は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S103の処理は上述の実施の形態8に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS103の処理を終了した後、動画IDの入力を受け付ける(ステップS110)。CPU11は同一の画面上に動画IDに対応する稼動グラフ202及び205並びに215及び222を表示する(ステップS111)。CPU11は稼動グラフ202及び215の各部分を動作要素毎に対応づけて分割する(ステップS112)。CPU11は稼動グラフ205及び222の各部分を作業工程毎に対応づけて分割する(ステップS113)。CPU11は稼動グラフ202、215、205及び222における分割した各部分の選択を入力部14で受け付ける(ステップS114)。なお、同一画面上に選択した作業工程又は動作要素を表示しても良い。
CPU11は受け付けた部分が作業工程に対応づけられているか否かを判定する(ステップS115)。CPU11は受け付けた部分が作業工程に対応づけられていると判定した場合(ステップS115:YES)、処理をステップS116に移す。CPU11はサンプリング集計テーブル127を参照し、作業工程に対応する生成動画を他の動画と同一の画面上に表示し(ステップS116)、処理をS76に移す。すなわち作業工程に対応する動画を動作要素に対応する動画IDの動画と同一の画面上に表示する。CPU11は受け付けた部分が作業工程に対応づけられていないと判定した場合(ステップS115:NO)、すなわち動作要素に対応づけられていると判定した場合、処理をステップS117に移す。CPU11は要素情報DB121を参照し、動作要素に対応する動画を他の動画と同一の画面上に表示する(ステップS117)。CPU11は選択動作要素211を表示し(ステップS118)、処理をS76に移す。すなわち動作要素に対応する動画を作業工程に対応する動画IDの動画と同一の画面上に表示する。本実施形態では、実施例7で記載したワークサンプリング法で算出した動画と実施例1で記載した動画の比較を行ったが、ワークサンプリング法で算出した動画と作業改善を施した画像の対比を行ってもよい。またCPU11は生成動画内に表示された対象物が行う作業と同一の作業を行う分割動画を稼動グラフ202及び205並びに215及び222と同一の画面上に表示してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、作業改善後の動画を比較することで改善効果がより明確になる。またワークサンプリング法で算出した動画とベテラン作業員の動画を比較してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、ベテラン作業員の動画を比較することで作業効率化のヒントを見出せることがある。また初心者作業員の動画と比較した場合には、初心者作業員の問題点が明確になる。
一つの側面によれば、ワークサンプリング法及び動作要素の情報から算出した稼動グラフを比較することでレーティング率の算出に役立てることができる。
(実施の形態10)
実施の形態10は種別を選択するための選択図形を表示する実施の形態に関する。図40は分析画面5の表示ウィンドウ51Aの一例を示す説明図である。表示ウィンドウ51Aはさらに選択図形58を備える。選択図形58は選択部分58A及び58B等により構成される。選択部分58A又は58B等は以下場合により選択部分58で代表する。選択図形58は入力部14による入力の支援を行うためのジェスチャーマップである。選択図形58は例えば円である。なお、選択図形58は矩形又は三角等の任意の図形であってもよい。
選択図形58の動作は以下の通りである。ユーザは表示ウィンドウ51を入力部14で任意の入力操作をした場合、種別情報DB123を参照し、種別を選択部分581に表示する。具体的にはCPU11は選択部分581の夫々に種別1、種別2、種別3及び種別4を表示する(図40A)。ユーザが例えば入力部14で選択部分58Aを選択した場合、CPU11は種別1に対応する「第1工程」、「第2工程」、「第3工程」、「第4工程」及び「第5工程」を選択図形58に表示させる(図40B)。ユーザが例えば入力部14で選択部分58Bを選択した場合、他の選択部分581を消去し、選択部分58Bのみを表示する(図40C)。入力部14による選択部分581の選択方法は例えば、マウスのカーソルを選択部分に動かし、左又は右のボタンを離す。またはマウスのカーソルで選択部分を通過する方法でもよい。CPU11は表示ウィンドウ51Aに表示された動画データの動作要素に種別「第1工程」を対応づけ、要素情報DB121に種別「第1工程」を記憶させる。本実施形態における選択図形58は種別の数が増える毎に円の半径が増加する。このことにより種別は下位に行くほど、種別の数が増えるため、種別が増えた場合には円形の半径を大きくすることで対応させることができる。
図41は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS19の処理を終了した後、表示ウィンドウ51に入力部14で入力を受け付ける(ステップS121)。CPU11は種別情報DB123を参照し、種別を選択部分581に表示することで選択図形58を表示する(ステップS122)。CPU11は選択部分581に入力部14で選択を受け付ける(ステップS123)。CPU11は表示ウィンドウ51Aに表示された動画データの動作要素に選択された選択部分581に表示された種別を対応づけ(ステップ124)、処理をS20に移す。
一つの側面によれば、種別の選択を表示ウィンドウ51上で行える。このことにより、作業種別毎に円表表示させ、画像の種別の入力を容易にすることができる。
(実施の形態11)
実施の形態11は表示ウィンドウ51の動画内における2点間の距離を画像処理により算出する実施の形態に関する。
CPU11が例えば、表示ウィンドウ51Aに動画101を表示させる。CPU11は角度及び解像度に基づいて画像処理を行うことにより表示ウィンドウ51A上の2点間の距離を算出する。
図42は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS19の処理を終了した後、表示ウィンドウ51に画像処理を行うことにより距離を算出する(ステップS131)。CPU11は表示ウィンドウ51に算出した距離を表示し(ステップS132)、処理をS20に移す。
一つの側面によれば、距離を表示することで、動画データの理解に役立てることができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。