JP5177154B2 - 標準作業実行支援装置、および標準作業実行支援方法 - Google Patents

Description

本発明は、作業者による標準作業手順に従う作業の実行を支援するための標準作業実行支援装置、および標準作業実行支援方法に関する。

製造業やサービス業などの企業には、作業者が正しい作業手順である標準作業手順を習得するために、標準作業手順をわかりやすく記載した手順書や、作業マニュアル、テキスト、写真等が用意されている。

また、作業者による作業を撮影して、標準作業手順に従う作業の実行を支援する場合がある。

特許文献１には、作業を撮影し、作業時間と標準作業時間とに差異が生じた場合に、管理者が異常状態の作業であると判断するシステムが記載されている。

特許文献２には、作業者の作業を撮影した動画にもとづく作業者の所定の部位の位置の変化を示す入力パターンと、標準パターンとを比較するシステムが記載されている。

特開２００８−５９３２２号公報（段落００１４〜００３８、図１） 特開２００８−１０８００８号公報（段落００４１〜０１１３、図１）

特許文献１に記載されているシステムでは、実際に作業を行っている作業者の作業状況を、管理者が保存された映像にもとづいて確認するので、作業者に対して作業中に改善すべき内容を伝達することは困難である。

また、特許文献２に記載されているシステムでは、作業中に標準作業手順との差異を指摘することは考慮されていないので、誤った作業が行われるおそれがある。

そこで、本発明は、作業者が作業を行っているときに標準作業手順に従って作業を実行することを支援するための標準作業実行支援装置、および標準作業実行支援方法を提供することを目的とする。

本発明による標準作業実行支援装置は、標準作業手順に従う作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報と、手が位置情報によって示される位置にあるタイミングを示す時間情報とを予め対応付けて記憶する標準作業情報記憶部と、動画撮影部によって撮影された作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報を生成する画像解析部と、標準作業情報記憶部に記憶されている時間情報に対応する位置情報によって示される位置と、動画撮影部によって撮影された現在作業中の作業の動画における時間情報によって示されるタイミングで画像解析部が生成した位置情報によって示される位置との差異、および標準作業情報記憶部に記憶されている位置情報に対応する時間情報によって示されるタイミングと、動画撮影部によって撮影された現在作業中の作業の動画にもとづいて、位置情報によって示される位置に合致する位置を示す位置情報を画像解析部が生成したタイミングとの差異を算出する差異算出部と、標準作業手順に従う作業中の作業者の所定のジェスチャまたは音声を認識することによって得られる前記作業者からの指示を表す、図形もしくは文字の静止画データまたは文字データを、該ジェスチャまたは該音声の発生タイミングを示す時間情報およびその時の手の位置を示す位置情報に相当する標準作業情報記憶部に記憶されている時間情報および位置情報に対応づけて記憶する重畳データ記憶部と、差異算出部の算出結果が所定の値よりも大きい場合に、差分の算出に用いた標準作業情報記憶部に記憶されている位置情報および時間情報に対応する静止画データまたは文字データを重畳データ記憶部から読み出して、前記動画撮影部によって撮影されている現在作業中の作業の動画に、読み出した静止画データにもとづく静止画または読み出した文字データにもとづく文字を重畳して表示手段に表示させる重畳部とを備えたことを特徴とする。

本発明による標準作業実行支援方法は、標準作業情報記憶部に、標準作業手順に従う作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報と、手が該位置情報によって示される位置にあるタイミングを示す時間情報とが予め対応付けて記憶され、重畳データ記憶部に、標準作業手順に従う作業中の作業者の所定のジェスチャまたは音声を認識することによって得られる作業者からの指示を表す、図形もしくは文字の静止画データまたは文字データが、該ジェスチャまたは音声の発生タイミングを示す時間情報およびその時の手の位置を示す位置情報に相当する標準作業情報記憶部に記憶されている時間情報および位置情報に対応づけて記憶され、動画撮影部によって撮影された作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報を生成し、標準作業情報記憶部に記憶されている時間情報に対応する位置情報によって示される位置と、動画撮影部によって撮影された現在作業中の作業の動画における時間情報によって示されるタイミングで生成した位置情報によって示される位置との差異、および標準作業情報記憶部に記憶されている位置情報に対応する時間情報によって示されるタイミングと、動画撮影部によって撮影された現在作業中の作業の動画にもとづいて、位置情報によって示される位置に合致する位置を示す位置情報を生成したタイミングとの差異を算出し、算出結果が所定の値よりも大きい場合に、差分の算出に用いた標準作業情報記憶部に記憶されている位置情報または時間情報と対応づけて重畳データ記憶部に記憶されている静止画データまたは文字データを読み出して、動画撮影部によって撮影されている現在作業中の作業の動画に、読み出した静止画データにもとづく静止画または読み出した文字データにもとづく文字を重畳して表示手段に表示させることを特徴とする。

本発明によれば、作業者が作業を行っているときに標準作業手順に従って作業を実行することを支援することができる。

本発明の実施形態の標準作業実行支援装置の構成例を示すブロック図である。 本発明の実施形態の標準作業実行支援装置が、作業の熟練者である作業者Ａによる標準作業手順に従う作業にもとづく動画データ、位置情報および時間情報を生成する動作を示すフローチャートである。 画像解析部が、作業者Ａの手の位置を検出する例を示す説明図である。 動画に重ね合わせて動画表示部に表示させる画像の例を示す説明図である。 作業者Ａによる標準作業手順に従う作業の進行に応じて動画表示部に重畳表示される画像の例を示す説明図である。 本発明による標準作業実行支援装置が作業者Ｂに指示する動作を示すフローチャートである。 作業者Ａによる標準作業手順に従う作業と作業者Ｂの作業とを示す説明図である。 作業者Ａによる標準作業手順に従う作業工程１の作業中に動画表示部に表示される画像の例と、作業者Ｂによる作業工程１の作業中に動画表示部に表示される画像の例とを示す説明図である。 作業者Ａによる標準作業手順に従う作業工程２の作業中に動画表示部に表示される画像の例と、作業者Ｂによる作業工程２の作業中に動画表示部に表示される画像の例とを示す説明図である。 本発明の概要を示すブロック図である。

本発明による標準作業実行支援装置の実施形態について、図面を参照して説明する。図１は、本発明の実施形態の標準作業実行支援装置の構成例を示すブロック図である。

図１に示すように、本発明の実施形態の標準作業実行支援装置は、画像解析部１１、手型認識部１２、描画読出部１５、動画読出部１６、実行管理部１８、音声認識部２０、および文字読出部２２を含む。

画像解析部１１は、撮影機能を有するビデオカメラである画像入力部１０が作業を撮影した動画を構成する各画像フレームの時間と各画像フレームの画像における所定の箇所の位置とを解析する機能を有する。そして、解析結果の位置を示す位置情報と時間を示す時間情報とを生成して出力する機能を有する。なお、各画像フレームの画像における所定の箇所の位置は、例えば、各画像フレームの画像における作業者の手の中心の位置（以下、単に手の位置という）である。また、各画像フレームの時間は、作業が開始されてから各画像フレームの画像が撮影されるまでに経過した時間である。

手型認識部１２は、手足の動きを計測してジェスチャ認識を行う方法を用いて、所定の手の動きであるジェスチャを認識し、認識したジェスチャを示す情報と、動画を構成する画像フレームのうち、ジェスチャが撮影されている画像フレームの時間を示す時間情報と、予め設定された座標軸にもとづいてジェスチャが行われた手の位置を示す位置情報とを出力する機能を有する。なお、手型認識部１２には、画像入力部１０が撮影した動画が画像解析部１１を介して入力され、手型認識部１２は、ジェスチャが当該動画における複数の画像フレームに亘って撮影されている場合に、例えば、当該ジェスチャが最初に撮影された画像フレームの時間を示す時間情報を出力する。

なお、ジェスチャ認識については、以下に示す参考文献１，２に記載されている。
参考文献１：特許第３１４４４００号公報
参考文献２：特許第３８６３８０９号公報

描画記憶部１３には、予めジェスチャに対応した静止画データを記憶されている。描画記憶部１３に記憶されている静止画データは描画読出部１５によって読み出される。なお、描画記憶部１３に記憶されている静止画データは、例えば、図形の静止画データや、文字の静止画データである。

動画記憶部１４には、画像入力部１０が撮影した動画の動画データが一時的に保存される。また、動画記憶部１４には、画像入力部１０が撮影した動画に静止画データにもとづく画像を当該動画の一部として重ね合わせて表示するための動画データが保存される。

描画読出部１５は、手型認識部１２が認識したジェスチャに対応する静止画データを描画記憶部１３から読み出す機能を有する。また、描画読出部１５は、実行管理部１８の要求に応じて、描画記憶部１３から静止画データを読み出す機能を有する。

動画読出部１６は、動画記憶部１４に記憶された動画データを読み出し、動画を表示するディスプレイである動画表示部１７に、動画データにもとづく動画に静止画データにもとづく画像を重ね合わせて表示させる機能、すなわち、動画データにもとづく動画に静止画データにもとづく画像を重畳表示させる機能を備えている。

なお、動画表示部１７は、標準作業や作業者自身の作業状況を作業中に確認するために、作業者の頭部付近に装着されるディスプレイであるヘッドマウントディスプレイであることが望ましいが、作業者が作業中に確認できる位置に固定されたディスプレイであってもよい。

音声認識部２０は、マイクロフォンである音声入力部１９に入力された音声を認識して文字情報に変換する機能を有する。つまり、音声入力部１９に入力された音声にもとづく文字データを生成する機能を有する。文字記憶部２１には、音声入力部１９に音声が入力されたタイミングを示す時間情報と、音声認識部２０によって入力された音声が変換された文字情報とが対応付けられて記憶される。音声入力部１９に音声が入力されたタイミングは、例えば、作業が開始されてから音声が入力されるまでに経過した時間である。なお、文字記憶部２１には、音声入力部１９に音声が入力されたタイミングで画像解析部１１が生成した位置情報が文字情報および時間情報に対応付けられて記憶されてもよい。

文字読出部２２は、音声認識部２０によって文字記憶部２１に記憶された文字情報を読み出して動画読出部１６に入力する機能を有する。また、文字読出部２２は、当該文字情報に対応付けられて文字記憶部２１に記憶された時間情報とともに、当該文字情報に応じた音声が音声入力部１９に入力したタイミングにおいて画像解析部１１が生成した作業者の手の位置を示す位置情報を実行管理部１８に入力する機能を有する。文字読出部２２は、実行管理部１８の要求に応じて、文字記憶部２１から文字情報を読み出して動画読出部１６に文字情報を入力する機能を有する。

実行管理部１８は、手型認識部１２が出力した標準作業手順に従う各作業における位置情報および時間情報を記憶する機能と、文字読出部２２が出力した位置情報および時間情報を記憶する機能とを有する。そして、記憶している標準作業手順に従う位置情報によって示される位置および時間情報によって示される時間と、画像入力部１０によって撮影された動画にもとづいて画像解析部１１が生成した位置情報によって示される位置および時間情報によって示される時間とを比較し、比較結果を示す差分情報を描画読出部１５や文字読出部２２に入力する機能を有する。なお、実行管理部１８は、手型認識部１２が出力した位置情報および時間情報と、文字読出部２２が出力した位置情報および時間情報とを区別して記憶してもよい。

次に、本発明による標準作業実行支援装置の動作について、図面を参照して説明する。図２は、本発明の実施形態の標準作業実行支援装置が、作業の熟練者である作業者Ａによる標準作業手順に従う作業にもとづく動画データ、位置情報および時間情報を生成する動作を示すフローチャートである。

ビデオカメラである画像入力部１０が作業者Ａの頭部付近に装着され、作業している状況を撮影する。画像入力部１０が撮影した動画の動画データは動画記憶部１４に記憶される。また、動画読出部１６は、動画記憶部１４に記憶された動画データを動画表示部１７に入力する。動画表示部１７には、入力された動画データにもとづく動画が表示される。

画像解析部１１は、画像入力部１０が撮影した動画にもとづいて、作業者Ａの手の位置情報と時間情報とを生成する（ステップＳ１０）。図３は、画像解析部１１が、作業者Ａの手の位置を検出する例を示す説明図である。図３に示す例では、画像の左上端を基点（０，０）とし、横軸をＸ座標（０≦ｘ≦３２０）とし、縦軸をＹ座標（０≦ｙ≦２４０）としている。そして、図３に示す例では、画像解析部１１は、手の位置は、（３０，２００）であることを検出し、（３０，２００）を示す位置情報と、手の位置が（３０，２００）であることを検出したときの時間を示す時間情報とを生成する。

例えば、作業中に図形で作業者に指示を与える必要がある場合に、作業者Ａが、動画表示部１７の画面を見ながら描画入力のタイミングで自分の手で所定のジェスチャを行ったときには、画像解析部１１によって、作業においてジェスチャが撮影された画像フレームの時間を示す時間情報と当該フレームの画像においてジェスチャが行われた手の位置座標を示す位置情報とが手型認識部１２に入力される。

手型認識部１２は、手の３次元座標を計測してジェスチャ認識を行う（ステップＳ１１のＹ）。手型認識部１２は、ジェスチャ認識の結果と位置情報と時間情報とを描画読出部１５に入力する。

描画読出部１５は、手型認識部１２が入力したジェスチャ認識の結果に応じた静止画データを描画記憶部１３から読み出す（ステップＳ１３）。なお、描画読出部１５は、描画記憶部１３に記憶されている当該静止画データに対応付けて、手型認識部１２が入力した位置情報と時間情報とを描画記憶部１３に記憶させてもよい。動画読出部１６は、動画記憶部１４に記憶されている動画データにもとづく動画に描画読出部１５が描画記憶部１３から読み出した静止画データにもとづく画像を重ね合せて、動画表示部１７に表示させる（ステップＳ１４）。

図４は、動画に重ね合わせて動画表示部１７に表示させる画像の例を示す説明図である。図４（ａ）に示す例では、作業者Ａによって人差し指を立てるジェスチャが行われている。そして、図４（ｂ）に示す例では、描画読出部１５が、人差し指を立てるジェスチャに対応付けられた静止画データである矢印の静止画データを描画記憶部１３から読み出し、動画読出部１６が、動画を構成する各画像フレームの画像における手の位置（具体的には、例えば、画像解析部１１が生成した位置情報によって示される位置）に応じた位置（画像解析部１１が生成した位置情報によって示される位置から所定の方向に所定の距離離れた位置であって、図４（ｂ）に示す例では指先の位置に相当する位置）に当該静止画データにもとづく画像を重ね合わせて動画表示部１７に表示させている。なお、手型認識部１２は、ジェスチャが行われた場合に指先の位置を示す位置情報を生成し、動画読出部１６は、手型認識部１２が生成した指先の位置を示す位置情報にもとづいて、静止画データにもとづく画像を動画表示部１７に重畳表示させる位置を決定してもよい。

手型認識部１２は、ジェスチャが撮影された画像フレームの時間情報とジェスチャが行われた手の位置を示す位置情報とを実行管理部１８に入力する。実行管理部１８は、入力された時間情報と位置情報とを対応付けて記憶する（ステップＳ１７）。なお、実行管理部１８は、手型認識部１２が入力した時間情報および位置情報と、描画読出部１５が描画記憶部１３から読み出した静止画データとを対応付けて記憶してもよい。

また、例えば、作業中に文字で指示を与える必要がある場合に、作業者Ａが、動画表示部１７の画面を見ながら、作業手順や作業の注意点に関する文字入力のタイミングで、当該作業者Ａの頭部に装着された音声入力部１９に音声を入力する。

音声認識部２０は、音声入力部１９に音声が入力された場合に（ステップＳ１２のＹ）、音声入力部１９に入力された音声を認識して文字情報に変換し（ステップＳ１５）、変換後の文字情報と、音声入力部１９に音声が入力されたタイミングに応じた時間を示す時間情報と、音声入力部１９に音声が入力されたときの位置を示す位置情報とを対応付けて文字記憶部２１に記憶させる。

なお、音声入力部１９に音声が入力されたタイミングに応じた時間を示す時間情報は、例えば、音声入力部１９に音声が入力されたときに動画表示部１７に表示されている画像フレームの時間情報である。また、音声入力部１９に音声が入力されたときの位置を示す位置情報は、例えば、音声入力部１９に音声が入力されたときに画像解析部１１によって生成された位置情報である。

そして、動画読出部１６は、画像入力部１０が撮影した動画に文字情報にもとづく文字を重ね合わせて動画表示部１７に表示させる（ステップＳ１６）。なお、動画読出部１６が動画表示部１７に表示される動画において、文字を重畳表示させる位置は、文字読出部２２が文字記憶部２１から読み出した位置情報によって示される位置に応じた位置（文字記憶部２１から読み出した位置情報によって示される位置から所定の方向に所定の距離離れた位置であって、例えば、作業者Ａの指先の位置に相当する位置）である。なお、手型認識部１２は、音声入力部１９に音声が入力された場合に、ジェスチャが行われたときに指先の位置を示す位置情報を生成し、動画読出部１６は、手型認識部１２が生成した指先の位置を示す位置情報にもとづいて、文字情報にもとづく文字を動画表示部１７に重畳表示させる位置を決定してもよい。

文字読出部２２は、文字記憶部２１に記憶された時間情報、および位置情報を実行管理部１８に入力する。実行管理部１８は、入力された時間情報、および位置情報を対応付けて記憶する（ステップＳ１７）。なお、文字読出部２２は、時間情報、および位置情報を実行管理部１８に送信する場合に、文字記憶部２１に当該時間情報および位置情報に対応付けられて記憶された文字情報を実行管理部１８に入力してもよく、実行管理部１８は、文字読出部２２が入力した時間情報、位置情報および文字情報を対応付けて記憶してもよい。

図４（ｃ），（ｄ）に示す例では、音声入力部１９に、「三カ所グリスを注入」という音声が入力されたので、音声認識部２０によって文字情報に変換された「三カ所グリスを注入」という文字が音声入力されたときの手の位置に応じた位置に表示されている。

図５は、作業者Ａによる標準作業手順に従う作業の進行に応じて動画表示部１７に重畳表示される画像の例を示す説明図である。図５に示す例では、作業工程１が、時間「０：００：００」に開始され、「０：０１：３０」に終了している。また、作業工程２が、時間「０：０１：４５」に開始され、「０：０３：００」に終了している。そして、作業工程１および作業工程２の開始時および終了時に、作業者Ａによって人差し指を立てるジェスチャが行われ、当該ジェスチャに応じた画像である矢印が動画表示部１７に表示されることが示されている。

また、図５に示す例では、作業工程１の開始時（時間「０：００：００」）の手の位置は（２０，５０）であり、時間「０：００：３０」に、手の位置（３０，２００）で、グリス注入の作業が開始されて、音声入力部１９に、「三カ所グリスを注入」という音声が入力されたので、動画表示部１７に、「三カ所グリスを注入」という文字が重畳表示される。そして、作業工程１の終了時（時間「０：０１：３０」）の手の位置は、（１２０，１００）である。

また、図５に示す例では、作業工程２の開始時（時間「０：０１：４５」）の手の位置は、（５０，５０）であり、時間「０：０２：１５」に、手の位置（２００，２００）で、切断の作業が開始されて、音声入力部１９に、「右側先端部カット」という音声が入力されたので、動画表示部１７に、「右側先端部カット」という文字が表示される。そして、作業工程２の終了時（時間「０：０３：００」）の手の位置は（３００，２００）である。

次に、本発明による標準作業実行支援装置が、生成した位置情報および時間情報にもとづいて作業者に指示する動作について、図面を参照して説明する。図６は、本発明による標準作業実行支援装置が作業者Ｂに指示する動作を示すフローチャートである。

ビデオカメラである画像入力部１０が作業者Ｂの頭部付近に装着され、作業している状況を撮影する。画像入力部１０が撮影した動画の動画データは動画記憶部１４に記憶される。また、動画読出部１６は、画像入力部１０が撮影した動画を動画表示部１７に入力する。動画表示部１７には、入力された動画が表示される。

画像解析部１１は、画像入力部１０が撮影した動画にもとづいて、作業者Ｂの手の位置情報と時間情報とを生成する（ステップＳ２０）。

手型認識部１２は、画像解析部１１が生成した位置情報と時間情報とを実行管理部１８に入力する。実行管理部１８は、手型認識部１２が入力した位置情報および時間情報と、記憶している位置情報および時間情報とをそれぞれ比較し（ステップＳ２１）、差分を算出する。

具体的には、実行管理部１８は、例えば、記憶している位置情報によって示される位置に合致する位置を示す位置情報が入力された場合に、記憶している位置情報に対応付けて記憶している時間情報によって示される時間と、入力された時間情報によって示される時間との差分を算出する。また、実行管理部１８は、例えば、記憶している時間情報によって示される時間に合致する時間を示す時間情報が入力された場合に、記憶している時間情報に対応付けて記憶している位置情報によって示される位置と、入力された位置情報によって示される位置との差分を算出する。

そして、実行管理部１８は、算出した差分が所定の値を超えている場合に、当該差分を示す差分情報を描画読出部１５、および文字読出部２２に入力して、動画に重畳表示させる画像に応じたデータの読み出しを要求する。なお、実行管理部１８は、差分情報とともに、ステップＳ２１の処理で比較に用いた記憶している位置情報や時間情報を描画読出部１５や文字読出部２２に入力してもよい。

また、実行管理部１８は、位置情報および時間情報を出力元に応じて区別して記憶している場合に、出力元に応じて、情報の入力先を決定してもよい。具体的には、例えば、ステップＳ２１の処理で手型認識部１２が入力した位置情報および時間情報と比較した位置情報および時間情報が手型認識部１２によって入力されて記憶していた場合には、情報を描画読出部１５に入力し、文字読出部２２によって入力されて記憶していた場合には、情報を文字読出部２２に入力すると決定してもよい。

描画読出部１５は、描画記憶部１３から静止画データを読み出す。また、文字読出部２２は、文字記憶部２１から文字情報を読み出す（ステップＳ２３）。なお、描画読出部１５が描画記憶部１３から読み出す静止画データは、例えば、差分情報とともに入力された位置情報や時間情報に対応付けられた静止画データである。また、文字読出部２２が文字記憶部２１から読み出す文字情報は、例えば、差分情報とともに入力された位置情報や時間情報に対応付けられた文字情報である。

動画読出部１６は、描画読出部１５が描画記憶部１３から読み出した静止画データまたは文字読出部２２が文字記憶部２１から読み出した文字情報にもとづく文字を動画に重ね合わせて動画表示部１７に表示させる（ステップＳ２４）。

実行管理部１８は、作業が終了した場合に（ステップＳ２５のＹ）、ステップＳ２１の処理で比較した結果にもとづいて、差分が標準範囲内である場合に標準作業が実行されたと判定し、差分が標準範囲外である場合に標準作業が実行されていないと判定する（ステップＳ２６）。

図７は、作業者Ａによる標準作業手順に従う作業と作業者Ｂの作業とを示す説明図である。図８は、作業者Ａによる標準作業手順に従う作業工程１の作業中に動画表示部１７に表示される画像の例と、作業者Ｂによる作業工程１の作業中に動画表示部１７に表示される画像の例とを示す説明図である。図９は、作業者Ａによる標準作業手順に従う作業工程２の作業中に動画表示部に表示される画像の例と、作業者Ｂによる作業工程２の作業中に動画表示部１７に表示される画像の例とを示す説明図である。

図７および図８（ａ）に示す例では、作業者Ａは、位置（３０，２００）で、時間「０：００：３０」に、グリス注入を開始したことが示されているのに対し、作業者Ｂは、位置（３０，２００）で、時間「０：００：３５」にグリス注入を開始している。

実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報および時間情報によって示される位置および時間と、作業者Ｂの作業内容の位置および時間との差分を算出する。

具体的には、実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報によって示される位置（３０，２００）と作業者Ｂの作業にもとづいて入力された位置情報によって示される位置（３０，２００）との差分（０，０）を算出する。また、実行管理部１８は、作業者Ａの作業にもとづいて記憶している時間情報によって示される時間「０：００：３０」と作業者Ｂの作業にもとづいて入力された時間情報によって示される時間「０：００：３５」との差分「０：００：０５」を算出する。

実行管理部１８は、時間の差分が作業者Ａの作業にもとづいて記憶している時間情報によって示されるグリス注入の作業開始時間である３０秒の１０％である３秒を超えているので、算出した位置の差分（０，０）、および時間の差分「０：００：０５」を示す差分情報とともに、記憶している位置情報および時間情報を描画読出部１５および文字読出部２２に入力する。

文字読出部２２は、差分情報によって時間の差分が生じていることが示されているので、入力された時間情報に対応付けられて文字記憶部２１に記憶されている文字情報を読み出す。動画読出部１６は、文字読出部２２が文字記憶部２１から読み出した文字情報にもとづく文字「三カ所グリスを注入」を動画に重ね合わせて動画表示部１７に表示させ、作業者Ｂに注意を喚起する。つまり、時間「０：００：３５」に動画表示部１７に「三カ所グリスを注入」という文字が表示される（図８（ｂ）参照）。

図７および図８（ｃ）に示す例では、作業者Ａは、位置（１２０，１００）で、時間「０：０１：３０」に、作業工程１の作業を終了したことが示されているのに対し、作業者Ｂは、位置（１１０，１００）で、時間「０：０１：３０」に作業工程１の作業を終了している。

実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報および時間情報によって示される位置および時間と、作業者Ｂの作業内容の位置および時間との差分を算出する。

具体的には、実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報によって示される位置（１２０，１００）と作業者Ｂの作業にもとづいて入力された位置情報によって示される位置（１１０，１００）との差分（１０，０）を算出する。また、実行管理部１８は、作業者Ａの作業にもとづいて記憶している時間情報によって示される時間「０：０１：３０」と作業者Ｂの作業にもとづいて入力された時間情報によって示される時間「０：０１：３０」との差分「０：００：００」を算出する。

実行管理部１８は、Ｙ軸の位置の差分が０であり、Ｘ軸の位置の差分「１０」がＸ軸の最大値「３２０」の１０％を超えておらず、時間の差分が「０：００：００」なので、標準作業手順に従う作業が実行されたと判断する。そして、実行管理部１８は、標準作業手順に従う作業が実行されたことを示す画像（図７に示す例では「○」）を動画表示部１７に表示されている動画に重畳表示させる。

図７および図９（ａ）に示す例では、作業者Ａは、位置（５０，５０）で、時間「０：０１：４５」に、作業を開始したことが示されているのに対し、作業者Ｂは、位置（５０，１００）で、時間「０：０１：４５」に作業を開始している。

実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報および時間情報によって示される位置および時間と、作業者Ｂの作業内容の位置および時間との差分を算出する。

具体的には、実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報によって示される位置（５０，５０）と作業者Ｂの作業にもとづいて入力された位置情報によって示される位置（５０，１００）との差分（０，５０）を算出する。また、実行管理部１８は、作業者Ａの作業にもとづいて記憶している時間情報によって示される時間「０：０１：４５」と作業者Ｂの作業にもとづいて入力された時間情報によって示される時間「０：０１：４５」との差分「０：００：００」を算出する。

実行管理部１８は、Ｘ軸の位置の差分が０であるが、Ｙ軸の位置の差分「５０」がＹ軸の最大値「２４０」の１０％を超えているので、算出した位置の差分（０，５０）、および時間の差分「０：００：００」を示す差分情報とともに、記憶している位置情報および時間情報を描画読出部１５および文字読出部２２に入力する。

描画読出部１５は、差分情報によって位置の差分が生じていることが示されているので、入力された位置情報に対応付けられて描画記憶部１３に記憶されている静止画データを読み出す。動画読出部１６は、描画読出部１５が描画記憶部１３から読み出した静止画データにもとづく図形である矢印を当該静止画データに対応付けられて記憶されている位置情報によって示される位置で動画に重ね合わせて動画表示部１７に表示させ、作業者Ｂに注意を喚起する。つまり、時間「０：０１：４５」に動画表示部１７に矢印が表示される（図９（ａ）参照）。

図７および図９（ｂ）に示す例では、作業者Ａは、位置（２００，２００）で、時間「０：０２：１５」に、切断を開始したことが示されているのに対し、作業者Ｂは、位置（１００，１００）で、時間「０：０２：２５」に切断を開始している。

実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報および時間情報によって示される位置および時間と、作業者Ｂの作業内容の位置および時間との差分を算出する。

具体的には、実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報によって示される位置（２００，２００）と作業者Ｂの作業にもとづいて入力された位置情報によって示される位置（１００，１００）との差分（１００，１００）を算出する。また、実行管理部１８は、作業者Ａの作業にもとづいて記憶している時間情報によって示される時間「０：０２：１５」と作業者Ｂの作業にもとづいて入力された時間情報によって示される時間「０：０２：２５」との差分「０：００：１０」を算出する。

実行管理部１８は、Ｘ軸の位置の差分「１００」がＸ軸の最大値「３２０」の１０％を超え、Ｙ軸の位置の差分「１００」がＹ軸の最大値「２４０」の最大値の１０％を超え、時間の差分が記憶されている時間情報にもとづいて算出される作業工程２が開始されてから切断作業が開始されるまでの時間である３０秒の１０％である３秒を超えているので、算出した位置の差分（１００，１００）、および時間の差分「０：００：１０」を示す差分情報とともに、記憶している位置情報および時間情報を描画読出部１５および文字読出部２２に入力する。

文字読出部２２は、差分情報によって位置の差分および時間の差分が生じていることが示されているので、入力された位置情報および時間情報に対応付けられて文字記憶部２１に記憶されている文字情報を読み出す。動画読出部１６は、文字読出部２２が文字記憶部２１から読み出した文字情報にもとづく文字「右側先端部をカット」を動画に重ね合わせて動画表示部１７に表示させ、作業者Ｂに注意を喚起する。つまり、時間「０：０２：２５」に動画表示部１７に「右側先端部をカット」という文字が表示される（図９（ｂ）参照）。

図７および図９（ｃ）に示す例では、作業者Ａは、位置（３００，２００）で、時間「０：０３：００」に、作業工程２の作業を終了したことが示されているのに対し、作業者は、位置（３００，２００）で、時間「０：０３：１０」に作業工程２の作業を終了している。

実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報および時間情報によって示される位置および時間と、作業者Ｂの作業内容の位置および時間との差分を算出する。

具体的には、実行管理部１８は、作業者Ａの作業にもとづいて記憶している位置情報によって示される位置（３００，２００）と作業者Ｂの作業にもとづいて入力された位置情報によって示される位置（３００，２００）との差分（０，０）を算出する。また、実行管理部１８は、作業者Ａの作業にもとづいて記憶している時間情報によって示される時間「０：０３：００」と作業者Ｂの作業にもとづいて入力された時間情報によって示される時間「０：０３：１０」との差分「０：００：１０」を算出する。

実行管理部１８は、位置の差分が（０，０）であり、時間の差分が作業者Ａの作業にもとづいて記憶している時間情報によって示される作業工程２の作業終了までの時間である７５秒の１０％である７．５秒を超えているので、標準作業手順に従う作業が実行されなかったと判断する。そして、実行管理部１８は、標準作業手順に従う作業が実行されなかったことを示す画像（図７に示す例では「△」）を動画表示部１７に表示されている動画に重畳表示させる。

本実施形態によれば、熟練者である作業者Ａによる標準作業手順に従う作業中に、動画表示部１７に表示させる図形や文字の入力が行われるので、時間や手間をかけずに、容易に動画データを作成することができる。

また、作業者Ｂによる作業中に、標準作業手順に従う作業内容および時間と、作業者Ｂによる作業内容および時間との差異が所定の値を超えていることを検出した場合に、図形や文字を動画表示部１７に表示させるので、作業者Ｂに注意を喚起して作業内容の確認を促し、作業ミスを未然に防ぐことができる。

また、熟練者である作業者Ａによる作業を撮影した動画データを動画記憶部１４に記録することによって、当該動画データを作業進捗管理や作業分析に活用することができる。

また、一般的な作業管理システムでは、作業の進捗状況を確認する場合に、作業開始時や作業終了時に作業者が当該システムに情報を入力しなければならないが、ジェスチャによって情報が入力されるので、情報の入力操作を忘れたりすることによる作業漏れを防ぎ、作業精度を向上させることができる。

次に、本発明の概要について説明する。図１０は、本発明の概要を示すブロック図である。図１０に示すように、本発明による標準作業実行支援装置１００は、標準作業情報記憶部１０１（図１に示す実行管理部１８に相当）、画像解析部１０２（図１に示す画像解析部１１に相当）、差異算出部１０３（図１に示す実行管理部１８に相当）、および重畳部１０４（図１に示す描画読出部１５、文字読出部２２、および動画読出部１６に相当）を含む。

標準作業情報記憶部１０１は、標準作業手順に従う作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報と、手が位置情報によって示される位置にあるタイミングを示す時間情報とを予め対応付けて記憶する。

画像解析部１０２は、動画撮影部（図１に示す画像入力部１０に相当）によって撮影された他の作業者による作業の動画を構成する画像フレームにおける他の作業者の手の位置を示す位置情報を生成する。

差異算出部１０３は、標準作業情報記憶部１０１に記憶されている時間情報に対応する位置情報によって示される位置と、動画撮影部によって撮影された動画における時間情報によって示されるタイミングで画像解析部１０２が生成した位置情報によって示される位置との差異を算出する。

また、差異算出部１０３は、標準作業情報記憶部１０１に記憶されている位置情報に対応する時間情報によって示されるタイミングと、動画撮影部によって撮影された動画にもとづいて、位置情報によって示される位置に合致する位置を示す位置情報を画像解析部１０２が生成したタイミングとの差異を算出する。

重畳部１０４は、差異算出部１０３の算出結果が所定の値よりも大きい場合に、動画撮影部によって撮影された動画に、標準作業情報記憶部１０１に記憶されている位置情報または時間情報に対応する画像を重畳して表示手段（図１に示す動画表示部１７に相当）に表示させる。

そのような構成によれば、作業者による作業中に、標準作業手順に従う作業内容および時間と、作業者による作業内容および時間との差異が所定の値を超えていることを検出した場合に、画像を表示手段に重畳表示させるので、作業者に注意を喚起して作業内容の確認を促し、作業ミスを未然に防ぐことができる。

また、上記の実施形態では、以下の（１）〜（４）に示すような標準作業実行支援装置も開示されている。

（１）重畳部１０４が、差異算出部１０３の算出結果が所定の値よりも大きい場合に、標準作業情報記憶部１０１に記憶されている位置情報および時間情報に対応する静止画データを記憶する静止画データ記憶部（図１に示す描画記憶部１３に相当）から位置情報または時間情報に対応する静止画データを読み出して、動画撮影部によって撮影された動画に、静止画データにもとづく静止画を重畳して表示手段に表示させる標準作業実行支援装置。

（２）標準作業手順に従う作業の動画における作業者の所定のジェスチャを認識するジェスチャ認識部（図１に示す手型認識部１２に相当）と、画像解析部１０２が生成した位置情報と、動画において所定のジェスチャが撮影されたタイミングを示す時間情報とを標準作業情報記憶部１０１に記憶させるジェスチャ情報登録部（図１に示す手型認識部１２に相当）とを備え、静止画データ記憶部には、作業者による所定のジェスチャに応じた静止画データが予め記憶され、画像解析部１０２は、標準作業手順に従う作業の動画を構成する画像フレームにおいて、所定のジェスチャが行われた位置を示す位置情報を生成し、ジェスチャ情報登録部は、所定のジェスチャに対応付けられた静止画データに、位置情報と時間情報とを対応付けて静止画データ記憶部に記憶させる標準作業実行支援装置。

（３）重畳部１０４は、差異算出部１０３の算出結果が所定の値よりも大きい場合に、標準作業情報記憶部１０１に記憶されている位置情報および時間情報に対応する文字データを記憶する文字データ記憶部（図１に示す文字記憶部２１に相当）から位置情報または時間情報に対応する文字データを読み出して、動画撮影部によって撮影された動画に、文字データにもとづく文字を重畳して表示手段に表示させる標準作業実行支援装置。

（４）入力された音声を認識して、音声にもとづく文字データと、音声が入力されたタイミングを示す時間情報とを生成して文字データ記憶部に記憶させる音声認識部（図１に示す音声認識部２０に相当）と、画像解析部１０２が生成した位置情報と音声認識部が生成した時間情報とを標準作業情報記憶部１０１に記憶させる音声情報登録部（図１に示す文字読出部２２に相当）とを備え、画像解析部１０２は、標準作業手順に従う作業の動画を構成する画像フレームにおいて、タイミングにおける作業者の手の位置を示す位置情報を生成し、音声情報登録部は、位置情報を文字データと時間情報とに対応付けて文字データ記憶部に記憶させる標準作業実行支援装置。

本発明を、作業者による標準作業手順に従う作業の実行を作業中に支援するためのシステムに適用する事ができる。

１０ 画像入力部
１１、１０２ 画像解析部
１２ 手型認識部
１３ 描画記憶部
１４ 動画記憶部
１５ 描画読出部
１６ 動画読出部
１７ 動画表示部
１８ 実行管理部
１９ 音声入力部
２０ 音声認識部
２１ 文字記憶部
２２ 文字読出部
１００ 標準作業実行支援装置
１０１ 標準作業情報記憶部
１０３ 差異算出部
１０４ 重畳部

Claims (8)

1. 標準作業手順に従う作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報と、前記手が前記位置情報によって示される位置にあるタイミングを示す時間情報とを予め対応付けて記憶する標準作業情報記憶部と、
   動画撮影部によって撮影された作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報を生成する画像解析部と、
   前記標準作業情報記憶部に記憶されている時間情報に対応する位置情報によって示される位置と、前記動画撮影部によって撮影された現在作業中の作業の動画における前記時間情報によって示されるタイミングで前記画像解析部が生成した位置情報によって示される位置との差異、および前記標準作業情報記憶部に記憶されている位置情報に対応する時間情報によって示されるタイミングと、前記動画撮影部によって撮影された現在作業中の作業の動画にもとづいて、前記位置情報によって示される位置に合致する位置を示す位置情報を前記画像解析部が生成したタイミングとの差異を算出する差異算出部と、
   標準作業手順に従う作業中の作業者の所定のジェスチャまたは音声を認識することによって得られる前記作業者からの指示を表す、図形もしくは文字の静止画データまたは文字データを、該ジェスチャまたは該音声の発生タイミングを示す時間情報およびその時の手の位置を示す位置情報に相当する前記標準作業情報記憶部に記憶されている時間情報および位置情報に対応づけて記憶する重畳データ記憶部と、
   前記差異算出部の算出結果が所定の値よりも大きい場合に、差分の算出に用いた前記標準作業情報記憶部に記憶されている位置情報および時間情報に対応する静止画データまたは文字データを前記重畳データ記憶部から読み出して、前記動画撮影部によって撮影されている現在作業中の作業の動画に、前記静止画データにもとづく静止画または前記文字データにもとづく文字を重畳して表示手段に表示させる重畳部とを備えた
   ことを特徴とする標準作業実行支援装置。
2. 重畳部は、動画撮影部によって撮影されている現在作業中の作業の動画の、差分の算出に用いた前記標準作業情報記憶部に記憶されている位置情報によって示される位置に応じた位置に、読み出した静止画データにもとづく静止画または読み出した文字データにもとづく文字を重畳する
   請求項１に記載の標準作業実行支援装置。
3. 標準作業手順に従う作業の動画における作業者からの作業指示を表した所定のジェスチャを認識するジェスチャ認識部と、
   画像解析部が生成した位置情報と、前記動画において前記所定のジェスチャが撮影されたタイミングを示す時間情報とを標準作業情報記憶部に記憶させるジェスチャ情報登録部とを備え、
   重畳データ記憶部には、作業者による前記所定のジェスチャに応じた静止画データが予め記憶され、
   画像解析部は、標準作業手順に従う作業の動画を構成する画像フレームにおいて、前記所定のジェスチャが行われた位置を示す位置情報を生成し、
   前記ジェスチャ情報登録部は、前記所定のジェスチャに対応付けられた静止画データに、前記位置情報と前記時間情報とを対応付けて前記重畳データ記憶部に記憶させる
   請求項１または請求項２に記載の標準作業実行支援装置。
4. 入力された音声を認識して、前記音声にもとづく文字データと、前記音声が入力されたタイミングを示す時間情報とを生成して重畳データ記憶部に記憶させる音声認識部と、
   画像解析部が生成した位置情報と前記音声認識部が生成した時間情報とを標準作業情報記憶部に記憶させる音声情報登録部と、
   前記画像解析部は、標準作業手順に従う作業の動画を構成する画像フレームにおいて、前記タイミングにおける作業者の手の位置を示す位置情報を生成し、
   前記音声情報登録部は、前記位置情報を前記文字データと前記時間情報とに対応付けて前記重畳データ記憶部に記憶させる
   請求項１から請求項３のうちいずれか１項に記載の標準作業実行支援装置。
5. 標準作業情報記憶部に、標準作業手順に従う作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報と、前記手が前記位置情報によって示される位置にあるタイミングを示す時間情報とが予め対応付けて記憶され、
   重畳データ記憶部に、標準作業手順に従う作業中の作業者の所定のジェスチャまたは音声を認識することによって得られる前記作業者からの指示を表す、図形もしくは文字の静止画データまたは文字データが、該ジェスチャまたは音声の発生タイミングを示す時間情報およびその時の手の位置を示す位置情報に相当する前記標準作業情報記憶部に記憶されている時間情報および位置情報に対応づけて記憶され、
   動画撮影部によって撮影された作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報を生成し、
   前記標準作業情報記憶部に記憶されている時間情報に対応する位置情報によって示される位置と、前記動画撮影部によって撮影された現在作業中の作業の動画における前記時間情報によって示されるタイミングで前記画像解析部が生成した位置情報によって示される位置との差異、および前記標準作業情報記憶部に記憶されている位置情報に対応する時間情報によって示されるタイミングと、前記動画撮影部によって撮影された現在作業中の作業の動画にもとづいて、前記位置情報によって示される位置に合致する位置を示す位置情報を前記画像解析部が生成したタイミングとの差異を算出し、
   算出結果が所定の値よりも大きい場合に、差分の算出に用いた前記標準作業情報記憶部に記憶されている位置情報または時間情報と対応づけて前記重畳データ記憶部に記憶されている静止画データまたは文字データを読み出して、前記動画撮影部によって撮影されている現在作業中の作業の動画に、前記静止画データにもとづく静止画または前記文字データにもとづく文字を重畳して表示手段に表示させる
   ことを特徴とする標準作業実行支援方法。
6. 動画撮影部によって撮影されている現在作業中の作業の動画の、差分の算出に用いた前記標準作業情報記憶部に記憶されている位置情報によって示される位置に応じた位置に、読み出した静止画データにもとづく静止画または読み出した文字データにもとづく文字を重畳する
   請求項５に記載の標準作業実行支援方法。
7. 重畳データ記憶部には、作業者による前記所定のジェスチャに応じた静止画データが予め記憶され、
   標準作業手順に従う作業の動画における作業者の前記所定のジェスチャを認識し、
   前記所定のジェスチャが行われた位置を示す位置情報を生成し、
   前記位置情報と、前記動画において前記所定のジェスチャが撮影されたタイミングを示す時間情報とを標準作業情報記憶部に記憶させ、
   前記所定のジェスチャに対応付けられた静止画データに、前記位置情報と前記時間情報とを対応付けて前記重畳データ記憶部に記憶させる
   請求項５または請求項６記載の標準作業実行支援方法。
8. 入力された音声を認識して、前記音声にもとづく文字データと、前記音声が入力されたタイミングを示す時間情報とを生成して重畳データ記憶部に記憶させ、
   前記タイミングにおける標準作業手順に従う作業を行う作業者の手の位置を示す位置情報と前記時間情報とを標準作業情報記憶部に記憶させ、
   前記位置情報を前記文字データと前記時間情報とに対応付けて前記重畳データ記憶部に記憶させる
   請求項５から請求項７のうちいずれか１項に記載の標準作業実行支援方法。
   ９記載の標準作業実行支援方法。

Images