JP5609660B2

JP5609660B2 - ワークフロー管理装置、ワークフロー管理方法、及びコンピュータプログラム

Info

Publication number: JP5609660B2
Application number: JP2011005113A
Authority: JP
Inventors: 敬和小林; 哲明黒川; 靖人屋地; 白山　晋; 晋白山; 達也八木
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2011-01-13
Filing date: 2011-01-13
Publication date: 2014-10-22
Anticipated expiration: 2031-01-13
Also published as: JP2012146202A

Description

本発明は、ワークフロー管理装置、ワークフロー管理方法、及びコンピュータプログラムに関し、特に、ワークフローを作成するために用いて好適なものである。

従来から、作業現場においては、各作業者の行動を時系列的に記述したワークフローが作成され、このワークフローに基づいて各作業者は作業を行う。このようなワークフローを作成したり提供したりする技術として、特許文献１、２、３に記載の技術がある。
特許文献１に記載の技術では、過去のプロセス例から所望のプロセス例を検索し、プロセス例の検索結果から得られる所望のプロセス例を新規のプロセスモデルとし、必要に応じて、プロセスモデルの記述を、ユーザインターフェースを用いて追加又は修正するようにしている。また、特許文献２に記載の技術では、プロセスの実行中にユーザがプロセスインスタンスフローの編集開始を要求すると、プロセスを停止させ、ユーザにプロセスインスタンスフローに対する編集を行わせるようにしている。また、特許文献３に記載の技術では、作業情報を時間情報と関連付けて蓄積すると共に、各スタッフの位置情報を時間情報と関連付けて蓄積しておき、クライアント端末からの要求により患者別やスタッフ別に蓄積したデータを抽出して提供するようにしている。

特開２００７−１８８１４４号公報特開２００７−４７７６号公報特開２００２−２３６７４４号公報

怡土順一、"カメラキャリブレーション"、［online］、［平成２２年７月２４日検索］、インターネット＜ＵＲＬ：http://opencv.jp/sample/camera_calibration.html＞ D.G.Lowe，"Object recognition from local scale-invariant features"，International Conference on Computer Vision，Corfu，Greece（September 1999）,p.1150-1157 山田健人、金澤靖、金谷健一、菅谷保之、"２画像からの３次元復元の最新アルゴリズム"、情報処理学会研究報告、Vol.2009-CVIM-168、No.15、2009

ところで、鉄鋼業等の作業現場では、生産効率の向上と生産コストの低減とを実現するために、作業の自動化による業務の少人数化が進められている。また、熟練した作業者（以下の説明では「熟練した作業者」を必要に応じて「熟練者」と称する）の減少という事態が生じている。
熟練者は、自身の経験や勘を頼りに、ワークフローには記述されていない有効な行動をとっていることが多い。実際の作業現場では、非熟練者が熟練者の行動を"見て、問うて、まねて、覚える"ことや、ＯＪＴ（On the Job Training）により、このような熟練者の有効な行動が非熟練者に伝承されている。したがって、このような経験や勘に基づいて熟練者がとっている行動に関する知識（以下の説明ではこの「知識」を必要に応じて「暗黙知」と称する）を如何に明示化し、技術伝承に役立てるかが重要な課題となる。

しかしながら、前述した従来の技術では、ワークフローをユーザが編集したり、スタッフの行動を提示したりするだけであり、熟練者が持つ暗黙知をワークフローに反映させるための技術が開示されていない。よって、熟練者が持つ暗黙知をワークフローに反映させることができないと共に、熟練者の直接的な指導によらなければ、非熟練者に対して作業に関する教育を行うことができない。
本発明は、このような問題点に鑑みてなされたものであり、熟練者が持つ暗黙知をワークフローに反映させることができるようにすることを第１の目的とする。
また、本発明は、熟練者の直接的な指導によらずに、非熟練者に対して作業に関する教育を行うことができるようにすることを第２の目的とする。

本発明のワークフロー管理装置は、作業者のとるべき行動を時系列的に記述したワークフローを記憶するワークフロー記憶手段と、作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得手段と、前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析手段と、作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶する行動コーパス記憶手段と、前記行動情報解析手段により蓄積された、作業者の行動を示すデータが有意なデータであるか否かを予め設定された基準に基づいて判定し、有意なデータである場合に、当該データに対応する行動が前記行動コーパスに登録されている場合には、当該行動を前記行動コーパス記憶手段から抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更手段と、を有し、前記行動情報取得手段は、前記作業現場にある所定の装置から、複数人の作業者の行動が反映された行動情報を取得し、前記行動情報解析手段は、前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、前記複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、前記ワークフロー変更手段は、前記行動情報解析手段により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した複数人の作業者の行動に基づいて、Ｎ割（０＜Ｎ≦１０）以上の作業者が同じ時間帯に同じ行動をとっていた場合に、前記ワークフローの、当該行動の発生タイミングに対応する箇所に当該行動を追加することを特徴とする。

本発明のワークフロー管理方法は、作業者のとるべき行動を時系列的に記述したワークフローを記憶媒体に記憶するワークフロー記憶工程と、作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得工程と、前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析工程と、作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶媒体に記憶する行動コーパス記憶工程と、前記行動情報解析工程により蓄積された、作業者の行動を示すデータが有意なデータであるか否かを予め設定された基準に基づいて判定し、有意なデータである場合に、当該データに対応する行動が前記行動コーパスに登録されている場合には、当該行動を前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更工程と、を含む工程を、コンピュータにより実行し、前記行動情報取得工程は、前記作業現場にある所定の装置から、複数人の作業者の行動が反映された行動情報を取得し、前記行動情報解析工程は、前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、前記複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、前記ワークフロー変更工程は、前記行動情報解析工程により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した複数人の作業者の行動に基づいて、Ｎ割（０＜Ｎ≦１０）以上の作業者が同じ時間帯に同じ行動をとっていた場合に、前記ワークフローの、当該行動の発生タイミングに対応する箇所に当該行動を追加することを特徴とする。

本発明のコンピュータプログラムは、前記ワークフロー管理方法の各工程をコンピュータに実行させることを特徴とする。

本発明によれば、作業現場にある所定の装置から取得した、複数人の作業者の行動が反映された行動情報を解析した結果に基づいて複数人の作業者の行動を示すデータを生成して順次蓄積し、蓄積した、複数人の作業者の行動を示すデータが有意なデータであるか否かを予め設定された基準に基づいて判定し、有意なデータである場合に、当該データに対応する行動が行動コーパスに登録されている場合には、複数人の作業者の行動を示すデータに対応する行動を行動コーパスから抽出し、抽出した複数人の作業者の行動に基づいて、Ｎ割（０＜Ｎ≦１０）以上の作業者が同じ時間帯に同じ行動をとっていた場合に、ワークフローの、当該行動の発生タイミングに対応する箇所に当該行動を追加してワークフローを変更する。したがって、熟練者が持つ暗黙知を熟練者から直接的に聞き出さなくても知ることができ、熟練者が持つ暗黙知をワークフローに反映させることができる。
また、本発明の他の特徴によれば、以上のようにしてワークフローが変更された後に得られた作業者の行動を示すデータに対応する行動がワークフローに含まれていない場合に当該作業者が非熟練者である場合には、当該作業者に対してアラームを発生するようにした。したがって、熟練者の直接的な指導によらずに、非熟練者に対して作業に関する教育を行うことができる。

本発明の第１の実施形態を示し、ワークフロー管理装置の機能的な構成の一例を示す図である。本発明の第１の実施形態を示し、初期ワークフローの一例を示す図である。本発明の第１の実施形態を示し、行動コーパスの構成の一例を概念的に示す図である。本発明の第１の実施形態を示し、作業現場における平面座標の一例を示す図である。本発明の第１の実施形態を示し、変更後のワークフローの一例を示す図である。本発明の第１の実施形態を示し、ワークフローを更新する際のワークフロー管理装置の処理の一例を説明するフローチャートである。本発明の第１の実施形態を示し、非熟練者の行動を監視して非熟練者を教育する際のワークフロー管理装置の処理の一例を説明するフローチャートである。本発明の第２の実施形態を示し、ワークフローを更新する際のワークフロー管理装置の処理の一例を説明するフローチャートである。本発明の第３の実施形態を示し、ワークフロー管理装置の機能的な構成の一例を示す図である。本発明の第３の実施形態を示し、ワークフローを更新する際のワークフロー管理装置の処理の一例を説明するフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図１は、ワークフロー管理装置の機能的な構成の一例を示す図である。本実施形態のワークフロー管理装置１００は、熟練者の頭部に視野カメラを装着させ、視野カメラで得られた視野画像から、熟練者の位置情報を得、当該熟練者の位置情報と、予め設定しておいた行動コーパスとを比較した結果から、熟練者の暗黙知の情報を得、当該熟練者の暗黙知の情報をワークフローに反映させる機能を有する。また、ワークフロー管理装置１００は、以上のようにして熟練者の暗黙知の情報をワークフローに反映させた後、非熟練者の頭部に視野カメラを装着させ、視野カメラで得られた視野画像から、非熟練者の位置情報を得、当該非熟練者の位置情報と、予め設定しておいた行動コーパスとを比較した結果から、非熟練者がワークフローの通りに行動していないと判定すると、非熟練者に対してアラームを出力する機能を有する。
尚、前記視野画像の取得のための装置は、視野カメラに限定されるものではなく、例えば、視野の映像情報が取得出来るビデオカメラ等でよい。
以下、ワークフロー管理装置１００が有する機能の詳細を説明する。ワークフロー管理装置１００のハードウェアは、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、及び各種のインターフェースを備えた情報処理装置を用いることにより実現することができる。尚、以下の説明では、熟練者と非熟練者とを作業者と総称することがある。

［初期ワークフロー設定部１０１］
初期ワークフロー設定部１０１は、オペレータによるユーザインターフェース（操作装置）の操作に基づいて、初期ワークフローをワークフロー記憶部１０２に予め設定（記憶）する。
図２は、初期ワークフローの一例を示す図である。図２では、図に向かって左から右へ時間が進むものとする。図２において、作業者αは、作業の状況を確認した後、作業者βからの指示に基づき構内から外へ出る。その後、作業者αは、構内に戻ると、作業者βに確認要求を行い、このワークフローを終了する。作業者βは、作業の状況を確認した後、システムからアラームが発信され、注意喚起がなされると、モニターＢの表示を注視した後、モニターＣの表示を確認する。そして、作業者βは、作業者αに対して構内から外へ出ることを指示し、システムに対してアラームの発信を解除する指示を行うための操作を行う。その後、作業者αから確認要求があると、作業者βは、モニターＣの表示を再度確認し、このワークフローを終了する。

このように本実施形態では、２人の作業者α、βの行動を時系列的に記述したワークフローを例に挙げて説明する。本実施形態では、初期ワークフロー２００は、熟練者が持つ暗黙知の情報を含まず、作業において誰もが行う一般的な行動のみが記述されているものとする。ただし、初期ワークフロー２００に、熟練者が持つ暗黙知の情報の一部が含まれていてもよいということは勿論である。
ワークフロー記憶部１０２は、例えば、ＨＤＤを用いることにより実現される。また、初期ワークフロー設定部１０１は、例えば、ＣＰＵが、オペレータによるユーザインターフェースの操作に基づいて得られた初期ワークフロー２００を特定できる情報をＨＤＤに記憶することにより実現できる。初期ワークフロー２００を特定できる情報は、例えば、作業者別、時間別に、行動・処理の内容が記述された情報である。

［行動コーパス設定部１０３］
行動コーパス設定部１０３は、オペレータによるユーザインターフェースの操作に基づいて、行動と位置データとが相互に関連付けられたテーブルである行動コーパスを予め設定（記憶）する。図３は、行動コーパスの構成の一例を概念的に示す図である。ここで、Ｐは場所を示している。
行動コーパス３００は、後述するようにして行動情報解析部１０５により得られる「熟練者や非熟練者の位置データ」が、どのような行動を表しているのかをワークフロー管理装置１００が認識できるようにするためのものである。例えば、行動情報解析部１０５により、ある作業者が「Ｐへ移動かつ１分間静止」という内容を示す位置データが得られた場合、ワークフロー管理装置１００は、その作業者は「Ｐへ移動する」という行動をしたということを行動コーパス３００の内容から認識できる。
行動コーパス設定部１０３は、例えば、ＣＰＵが、オペレータによるユーザインターフェースの操作に基づいて得られた行動コーパス３００を特定できる情報をＨＤＤに記憶することにより実現できる。尚、行動コーパス３００の内容は、オペレータの操作によって随時書き換えることができる。

［行動情報取得部１０４］
行動情報取得部１０４は、作業者がその頭部に装着した視野カメラで撮像された視野画像を取り込む。尚、視野カメラは、その撮像手段の光軸方向が、作業者の視線の方向に近づくような状態で作業者の頭部に装着される。これにより、視野カメラが、作業者の視野に対応する画像（視野画像）を撮像することができる。尚、視野カメラは、公知の技術で実現できるものであるので、ここでは、その詳細を省略する。
行動情報取得部１０４は、例えば、画像インターフェースが視野カメラで得られた視野画像の信号を受信し、ＣＰＵが、その画像信号をＶＲＡＭ等に記憶することにより実現できる。

［行動情報解析部１０５］
行動情報解析部１０５は、行動情報取得部１０４で得られた視野画像から、視野カメラの位置を算出し、算出した視野カメラの位置と、視野カメラから送信される視野カメラの識別情報（所謂カメラ番号）とに基づいて作業者の位置データを生成する。本実施形態では、行動情報解析部１０５は、以下の（Ａ）〜（Ｅ）の処理を行って、視野カメラの位置を算出する。この算出には、３次元形状復元のアルゴリズムを適用する。
（Ａ）視野カメラにて時間的に連続撮影された動画である視野画像から静止画として画像情報を取り出す。
（Ｂ）取り出した画像の歪みを補正する。
（Ｃ）前記取り出した視野画像から２つの視野画像の同一被写体の同一点である特徴点を対応付ける。
（Ｄ）特徴点の対応関係から、前記２つの視野画像を取得した時の視野カメラの並進と回転を計算する。この並進した距離から作業者の移動量を算出する。
（Ｅ）前記各視野画像に設定した座標系から世界座標系に特徴点の座標変換を行う。
この（Ａ）〜（Ｅ）の処理を各視野画像に対して順次行うことで、２つの視野画像間の作業者の移動量が分かり、これら移動量を繋ぎ合わせることで、位置データを生成する。
つまり、時間的に連続撮影された視野画像のうち、連続する２つの視野画像上に映された同一被写体に注目し、その被写体の視野画像上の位置の変化から、各視野画像を撮影した視野カメラのレンズ中心がどれだけ並行移動したかと、視野カメラの光軸の向きがどれだけ回転移動したかとを計算する。これを撮影した視野画像に対して繰り返し実行することで、視野カメラの動き、つまり作業者の動きを追跡することが可能となる。
以下に、これら（Ａ）〜（Ｅ）の内容の一例を簡単に説明する。

（Ａ）行動情報解析部１０５は、行動情報取得部１０４で得られた視野画像から、例えば３０ｆｐｓのフレームレートで、視野カメラにて時間的に連続撮影された視野画像から時間的に連続するフレームの視野画像を取り出す。
（Ｂ）行動情報解析部１０５は、視野カメラで得られた視野画像に発生しているレンズ歪みを補正する。尚、この補正の方法は、非特許文献１等に記載されているように公知の技術で実現できるので、ここでは、その詳細な説明を省略する。

（Ｃ）行動情報解析部１０５は、時間的に連続する２つの画像で特徴点を求め、それらを相互に対応付ける。相互に対応付けられた特徴点は、同一被写体の同一点であり、これを以下の説明では対応点と呼ぶ。本実施形態では、特徴点の検出と対応付けとをScale-Invariant Feature Transform（SIFT）を用いて行うようにしている。尚、SIFTのアルゴリズムは、非特許文献２等に記載されているように公知の技術で実現できるので、ここでは、その詳細な説明を省略する。

（Ｄ）次に、行動情報解析部１０５は、８組以上の対応点のデータを用いて、２つの視野画像上の前記８組以上の対応点のデータから、前記２つの視野画像を撮影した際に視野カメラがどれだけ並進と回転をしたかを計算する。ここでは、８組以上の対応点の視野画像上での２次元座標のデータを入力とし、並進ベクトル（第１の画像から第２の画像への移動方向を示すベクトル）、回転行列（第１の画像から第２の画像にどのように回転したかを示す行列）を算出する。ここで、例えば、視野画像の右方向をｘ軸、下方向をｙ軸、奥行き方向をｚ軸（視野カメラの光軸に平行）、原点を視野カメラのレンズ中心として３次元座標を各視野画像に対して設定することで、視野カメラの並進と回転が計算できる。但し、並進ベクトルの大きさに関しては不定性があるため、並進ベクトルの大きさを１としたときの結果が得られる。ここで、前記設定した３次元座標において、特徴点の原点からの視線方向が導けることが分かっているため、各３次元座標の対応点に対する視線の交点として、三角測量の原理により特徴点の３次元位置を計算することができる。尚、このようにして２つの画像を３次元形状に復元する方法は、例えば、非特許文献３等に記載されているように公知の技術で実現することができるので、ここでは、その説明を省略する。

前述したように、３次元座標データは、並進ベクトルの大きさを１としたときのデータである。そこで、行動情報解析部１０５は、この３次元座標データ（ｘ_a，ｙ_a、ｚ_a）を、実際のスケールに合う３次元座標データ（Δｘ×ｘ_a，Δｘ×ｙ_a、Δｘ×ｚ_a）に変換する。ここで、移動量Δｘは、以下の（１）式により求めることができる。前記Δｘは、前述の各視野画像に設定した３次元座標系と実際のスケールに合う３次元座標系とのスケールの比を表している。

（１）式において、（ｘα，ｙα、ｚα）、（ｘβ，ｙβ、ｚβ）は、変換前の座標系の２点の３次元座標データであって、当該２点の距離ｄが既知である３次元座標データである。

（Ｅ）以上のようにして得られる３次元座標データ（Δｘ×ｘ_a，Δｘ×ｙ_a、Δｘ×ｚ_a）は、２つの画像の一方を基準にした相対座標であるので、動画像の各移動を１つの座標系（世界座標系）で表現するためには、３次元座標データ（Δｘ×ｘ_a，Δｘ×ｙ_a、Δｘ×ｚ_a）を世界座標系における３次元座標データに座標変換する必要がある。そこで、行動情報解析部１０５は、以下の（２）式により、３次元座標データ（ｘ，ｙ、ｚ）を、世界座標系における３次元座標データ（Ｘ，Ｙ，Ｚ）に変換する。

行動情報解析部１０５は、以上の（Ａ）〜（Ｅ）の処理を行って求めた視野カメラの位置（Ｘ，Ｙ，Ｚ）と、視野カメラから送信される視野カメラの識別情報とに基づいて、作業者の位置データを生成する。本実施形態では、作業者の位置データの形式は（ｐ，ｔ，Ｘ_m，Ｙ_m，θ）で定義されるものとする。ここで、ｐ［−］は、作業者を示すものであり、例えば、視野カメラの識別情報によって定められる。ｔ［ｓｅｃ］は、作業者が行動をとった時刻であり、例えば、位置データの導出の対象となる視野画像が得られた時刻によって定められる。Ｘ_m、Ｙ_m［ｍ］は、作業現場の平面座標（作業現場の地面を２次元座標で表した場合の当該座標）の値であり、例えば、位置データの導出の対象となる視野画像の３次元座標データ（Ｘ，Ｙ，Ｚ）によって定められる。θ［ｒａｄ］は、作業者が向いている方向であり、例えば、位置データの導出の対象となる視野画像の３次元座標データ（Ｘ，Ｙ，Ｚ）と、当該視野画像よりも時間的に１つ前の視野画像の３次元座標データ（Ｘ，Ｙ，Ｚ）とによって定められる。尚、ここでは、θは、作業現場の平面座標のＸ軸を基準として反時計回りの方向を正とする値であるとする。

図４は、作業現場における平面座標の一例を示す図である。
図４に示す例では、作業現場の地面の５ｍ×５ｍの領域を１つの単位とする場所を、作業者が作業を行う場所としている。図４では、位置データ（ｐ，ｔ，Ｘ_m，Ｙ_m，θ）が（α，1.5，7.5，4.5，π/4）で表された場合の作業者の位置を×で示し、作業者が向いている方向をその×から伸びている矢印で示している。すなわち、図４では、作業者αは、作業開始から1.5秒後に、場所Ａ（座標（7.5，4.5））にいて、場所Ｄの方向を向いていることを示す。すなわち、位置データを得ることによって、どの作業者が、どの時刻に、どの位置でどこを向いているのかをワークフロー管理装置１００が認識することができる。

行動情報解析部１０５は、例えば、ＣＰＵが、ＶＲＡＭから視野画像を読み出すと共に、通信インターフェースを介して視野カメラの識別情報を取得し、これら視野画像と視野カメラの識別情報とを用いて、前述したようにして位置データを求め、求めた位置データをＲＡＭ等に記憶することにより実現することができる。

［ワークフロー変更部１０６］
ワークフロー変更部１０６は、熟練者の作業を対象にして、本実施形態のワークフロー管理装置の一連の処理を行っている場合に、以上のようにして行動情報解析部１０５により得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。この判定は、得られた位置データが、作業に関係のある行動をとったことによるデータであるか否かをワークフロー管理装置１００が認識するためのものである。具体的に説明すると、例えば、同じ場所に３秒以上留まっているという基準や、同じ箇所を１秒以上凝視しているという基準等、作業に関係のある行動を作業者がとっていると言えるための基準に基づいて、この判定が行われる。このように本実施形態では、行動情報解析部１０５により得られた位置データは、時系列に並べられて順次データベース等に蓄積される。

ここで、熟練者の作業を対象に処理を行っていることは、次のようにして判断することができる。例えば、オペレータがユーザインターフェースを使用して操作を行っている場合には、熟練者の作業を対象に処理を行っていることをワークフロー管理装置１００にユーザインターフェースを介して入力することにより、熟練者の作業を対象に処理を行っていると判断することができる。また、例えば、熟練者が使用する視野カメラの識別情報をワークフロー管理装置１００に予め記憶しておき、視野カメラから送信される視野カメラの識別情報と、記憶しておいた視野カメラの識別情報とが一致した場合に、熟練者の作業を対象に処理を行っていると判断することができる。

そして、ワークフロー変更部１０６は、時間的に連続する複数の位置データが有意なデータであると判定すると、当該複数の位置データの内容に対応する行動が行動コーパス３００に含まれているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス３００に含まれている場合には、当該行動を行動コーパス３００から抽出し、抽出した行動と当該行動の発生時刻とを記憶する。本実施形態では、ワークフロー変更部１０６は、１人の熟練者の行動を抽出するようにしている。
そして、ワークフロー変更部１０６は、行動コーパス３００から抽出した行動と、当該行動の発生時刻とに基づいて、ワークフロー記憶部１０２に記憶されているワークフローの当該発生時刻に対応する箇所に当該行動を追加し、ワークフローの内容を更新する。尚、ここで「更新」とは、画像の取り込み、位置データの生成、ワークフローの追加、削除等を含む一連のフローの更新を指す。

ここで、本実施形態では、ワークフロー記憶部１０２に記憶されているワークフローに対して行動を追加するようにしている。すなわち、本実施形態では、熟練者の行動は正しいものとして、ワークフロー記憶部１０２に記憶されているワークフローに対し、行動を追加し、行動の削除は行わないものとする。また、行動情報解析部１０５によって行動コーパス３００から抽出された行動が当該行動の発生時刻の行動として既にワークフローに設定されている場合には、当該行動のワークフローへの追加処理を行わないものとする。
図５は、変更後のワークフローの一例を示す図である。図５に示す例では、図２に示した初期ワークフロー２００に対して、グレーで塗り潰している行動が追加されている。

ワークフロー変更部１０６は、例えば、次のようにして実現することができる。まず、ＣＰＵは、ＨＤＤ等から読み出した基準に基づいて、時間的に連続する複数の位置データが有意なデータであるか否かを判定し、時間的に連続する複数の位置データが有意なデータである場合には、ＨＤＤ等に記憶されている行動コーパス３００に、当該複数の位置データから得られる内容に対応する行動が登録されているか否かを判定する。そして、ＣＰＵは、複数の位置データの内容に対応する行動が行動コーパス３００に登録されている場合には、ＨＤＤ等から当該行動を抽出し、抽出した行動と当該行動の発生時刻に基づいて、ＨＤＤ等に記憶されている現在のワークフローの内容を書き換える。

行動情報取得部１０４、行動情報解析部１０５、及びワークフロー変更部１０６は、ワークフロー記憶部１０２に記憶されているワークフローに登録する対象となり得る行動の全てについて以上の処理を行う。ここで、ある行動が、ワークフローに登録する対象となり得る行動であることは、例えば、当該行動が、当該ワークフローで想定される所定の時間内に行われているか否かによって判断することができる。具体的に説明すると、例えば、あるワークフローに基づく作業の全てを行うのに想定される時間がＴ［分］であったとすると、当該ワークフローに基づく最初の作業を開始してからＴ［分］以内に行われた行動については、ワークフローに登録する対象となり得る行動であると判断することができる。この他、ワークフローで最後に行われる行動として想定されている所定の行動がなされるまでは、当該行動は、ワークフローに登録する対象となり得る行動であると判断することもできる。ただし、必ずしもこれらのようにして、ある行動が、ワークフローに登録する対象となり得る行動であることを判断する必要はないということは勿論である。

［ワークフロー表示部１０７］
ワークフロー表示部１０７は、ワークフロー変更部１０６によりワークフローが変更されると、変更後のワークフロー５００の情報を、液晶ディスプレイ等の表示装置に表示する。また、ワークフロー表示部１０７は、オペレータによるユーザインターフェースの操作に基づいて、ワークフロー記憶部２００に記憶されているワークフローの情報を、液晶ディスプレイ等の表示装置に表示することもできる。
ワークフロー表示部１０７は、例えば、ＣＰＵが、ワークフローの変更があったとき、又は、ユーザから指定されたときに、ＨＤＤ等から、ワークフローの情報を読み出し、読み出したワークフローの情報に基づく表示データを生成して表示装置に出力することによって実現される。

［アラーム発生部１０８］
アラーム発生部１０８は、非熟練者に対する処理を行っている場合に、以上のようにして行動情報解析部１０５により得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。
ここで、非熟練者の作業を対象に処理を行っていることは、次のようにして判断を行うことができる。例えば、オペレータがユーザインターフェースを使用して操作を行っている場合には、非熟練者の作業を対象に処理を行っていることをワークフロー管理装置１００にユーザインターフェースを介して入力することにより、非熟練者の作業を対象に処理を行っていると判断することができる。また、例えば、非熟練者が使用する視野カメラの識別情報をワークフロー管理装置１００に予め記憶しておき、視野カメラから送信される視野カメラの識別情報と、記憶しておいた視野カメラの識別情報とが一致した場合に、非熟練者の作業を対象に処理を行っていると判断することができる。

そして、アラーム発生部１０８は、時間的に連続する複数の位置データが有意なデータであると判定すると、当該複数の位置データの内容に対応する行動が行動コーパス３００に含まれているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス３００に含まれている場合には、当該行動を行動コーパス３００から抽出し、抽出した行動と当該行動の発生時刻とを記憶する。
そして、アラーム発生部１０８は、行動コーパス３００から抽出された行動が当該行動の発生時刻の行動として既にワークフローに設定されているか否かを判定する。この判定の結果、行動コーパス３００から抽出された行動が当該行動の発生時刻の行動としてワークフローに設定されていないと判定すると、アラーム発生部１０８は、非熟練者の当該行動がワークフローに従っていないとして、当該非熟練者が作業している作業現場に対してアラームを発生させる。このアラームの発生は、例えば、非熟練者の行動が誤っていることを喚起させるためのブザー音を発生させたり、非熟練者の行動が誤っていることを喚起させるための表示を非熟練者が見ているモニターに表示させたりすることによって実現することができる。

アラーム発生部１０８は、例えば、次のようにして実現することができる。まず、ＣＰＵは、ＨＤＤ等から読み出した基準に基づいて、時間的に連続する複数の位置データが有意なデータであるか否かを判定し、時間的に連続する複数の位置データが有意なデータである場合には、ＨＤＤ等に記憶されている行動コーパス３００に、当該複数の位置データから得られる内容に対応する行動が登録されているか否かを判定する。そして、ＣＰＵは、複数の位置データから得られる内容に対応する行動が行動コーパス３００に登録されている場合、ＣＰＵは、当該行動が、ＨＤＤ等に記憶されているワークフローに登録されているか否かを判定する。そして、ＣＰＵは、当該行動がワークフローに登録されていない場合には、アラームを発生させるための所定の信号を生成し、生成した信号を、通信インターフェースを介して、当該信号を出力する装置に送信する。

［ワークフロー更新処理の動作フローチャート］
次に、図６のフローチャートを参照しながら、ワークフローを更新する際のワークフロー管理装置１００の処理の一例を説明する。尚、本フローチャートでは、熟練者の作業を対象にした処理であることがワークフロー管理装置１００に予め設定されているものとして説明を行う。
まず、ステップＳ１において、初期ワークフロー設定部１０１は、オペレータによるユーザインターフェースの操作に基づいて、初期ワークフロー２００をワークフロー記憶部１０２に設定（記憶）する。
次に、ステップＳ２において、行動コーパス設定部１０３は、オペレータによるユーザインターフェースの操作に基づいて、行動コーパス３００を設定（記憶）する。

次に、ステップＳ３において、行動情報取得部１０４は、熟練者の頭部に装着した視野カメラで撮像された視野画像を取り込む。
次に、ステップＳ４において、行動情報解析部１０５は、ステップＳ３で得られた視野画像から、視野カメラの位置を算出し、算出した視野カメラの位置と、視野カメラから送信される視野カメラの識別情報とに基づいて熟練者の位置データを生成する。
次に、ステップＳ５において、ワークフロー変更部１０６は、ステップＳ４で得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを、予め設定された基準に基づいて判定する。この判定の結果、時間的に連続する複数の位置データが有意なデータでない場合には、ステップＳ６〜Ｓ９の処理を省略して後述するステップＳ１０に進む。一方、時間的に連続する複数の位置データが有意なデータである場合には、ステップＳ６に進む。

ステップＳ６に進むと、ワークフロー変更部１０６は、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス３００に登録されているか否かを判定する。この判定の結果、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス３００に登録されていない場合には、ステップＳ７〜Ｓ９の処理を省略して後述するステップＳ１０に進む。一方、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス３００に登録されている場合には、ステップＳ７に進む。
ステップＳ７に進むと、ワークフロー変更部１０６は、当該行動を行動コーパス３００から抽出すると共に、当該行動の発生時刻を抽出する。

次に、ステップＳ８において、ワークフロー変更部１０６は、ステップＳ７で抽出された行動が、同じくステップＳ７で抽出された発生時刻の行動として、ワークフロー記憶部１０２に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップＳ７で抽出された行動が、ステップＳ７で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップＳ９の処理を省略して、後述するステップＳ１０に進む。一方、ステップＳ７で抽出された行動が、ステップＳ７で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップＳ９に進む。

ステップＳ９に進むと、ワークフロー変更部１０６は、ステップＳ７で抽出された行動と、同じくステップＳ７で抽出された当該行動の発生時刻とに基づいて、ワークフロー記憶部１０２に記憶されているワークフローの当該発生時刻に対応する箇所に当該行動を追加し、ワークフローの内容を更新する。
次に、ステップＳ１０において、行動情報取得部１０４、行動情報解析部１０５、及びワークフロー変更部１０６は、ワークフロー記憶部１０２に記憶されているワークフローに登録する対象となり得る行動の全てについて処理を行ったか否かを判定する。この判定の結果、ワークフローに登録する対象となり得る行動の全てについて処理を行っていない場合には、ステップＳ３に戻る。一方、ワークフローに登録する対象となり得る行動の全てについて処理を行った場合には、ステップＳ１１に進む。
ステップＳ１１に進むと、ワークフロー表示部１０７は、ステップＳ９で変更された後のワークフローの情報を表示装置に表示する。そして、図６のフローチャートによる処理を終了する。

［行動監視処理の動作フローチャート］
次に、図７のフローチャートを参照しながら、非熟練者の行動を監視して非熟練者を教育する際のワークフロー管理装置１００の処理の一例を説明する。尚、本フローチャートでは、非熟練者に対する処理であることがワークフロー管理装置１００に予め設定されているものとして説明を行う。ここで、非熟練者に対し熟練者の暗黙知を示すという観点から、図７のフローチャートを開始する前に、ワークフローの更新が少なくとも１回は行われ、熟練者の行動がワークフローに反映されているのが好ましい。ただし、必ずしも、図７のフローチャートを開始する前に、ワークフローの更新が行われている必要はない。
まず、ステップＳ２１において、行動情報取得部１０４は、非熟練者の頭部に装着した視野カメラで撮像された視野画像を取り込む。
次に、ステップＳ２２において、行動情報解析部１０５は、ステップＳ２１で得られた視野画像から、視野カメラの位置を算出し、算出した視野カメラの位置と、視野カメラから送信される視野カメラの識別情報とに基づいて非熟練者の位置データを生成する。

次に、ステップＳ２３において、アラーム発生部１０８は、ステップＳ２２で得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。この判定の結果、時間的に連続する複数の位置データが有意なデータでない場合には、ステップＳ２４〜Ｓ２７の処理を省略して後述するステップＳ２８に進む。一方、時間的に連続する複数の位置データが有意なデータである場合には、ステップＳ２４に進む。
ステップＳ２４に進むと、アラーム発生部１０８は、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス３００に登録されているか否かを判定する。この判定の結果、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス３００に登録されていない場合には、ステップＳ２５〜Ｓ２７の処理を省略して後述するステップＳ２８に進む。一方、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス３００に登録されている場合には、ステップＳ２５に進む。

ステップＳ２５に進むと、アラーム発生部１０８は、当該行動を行動コーパス３００から抽出すると共に、当該行動の発生時刻を抽出する。
次に、ステップＳ２６において、アラーム発生部１０８は、ステップＳ２５で抽出された行動が、同じくステップＳ２５で抽出された発生時刻の行動として、ワークフロー記憶部１０２に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップＳ２５で抽出された行動が、ステップＳ２５で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップＳ２７の処理を省略して、後述するステップＳ２８に進む。一方、ステップＳ２５で抽出された行動が、ステップＳ２５で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップＳ２７に進む。

ステップＳ２７に進むと、アラーム発生部１０８は、非熟練者の行動がワークフローに従っていないとして、当該非熟練者が作業している作業現場に対してアラームを発生させる。
次に、ステップＳ２８において、行動情報取得部１０４、行動情報解析部１０５、及びアラーム発生部１０８は、ワークフロー記憶部１０２に記憶されているワークフローに登録されている全ての行動について処理を行ったか否かを判定する。この判定の結果、ワークフローに登録されている全ての行動について処理を行っていない場合には、ステップＳ２１に戻る。一方、ワークフローに登録されている全ての行動について処理を行った場合には、図７のフローチャートによる処理を終了する。

［まとめ］
以上のように本実施形態では、初期ワークフロー２００を設定すると共に、行動と位置データとが相互に関連付けられた行動コーパス３００を設定しておく。そして、熟練者の視野画像と熟練者が装着している視野カメラの識別情報とに基づいて、熟練者の位置データを生成し、当該位置データに対応する行動を行動コーパス３００から抽出する。そして、抽出した行動を初期ワークフロー２００（又は変更後のワークフロー５００）に追加してワークフローを更新し、変更後のワークフロー５００を表示する。したがって、熟練者の慣習的な行動や無意識のうちに行っている行動に関する知識を、熟練者が持つ暗黙知の情報としてワークフローに反映させ、それを熟練者以外の者も知ることが可能になる。
また、本実施形態では、非熟練者の視野画像と非熟練者が装着している視野カメラの識別情報とに基づいて、非熟練者の位置データを生成し、当該位置データに対応する行動を行動コーパス３００から抽出する。そして、抽出した行動がワークフローに登録されていない場合には、当該非熟練者に対してアラームを発生させるようにした。したがって、熟練者の直接的な指導によらずに、非熟練者に対して作業に関する教育を行うことができる。

［変形例］
本実施形態では、視野カメラにより得られた視野画像と、視野カメラの識別情報とを用いて、作業者の位置データを得るようにした。しかしながら、作業現場にいる作業者の行動が反映された行動情報を得るようにしていれば、必ずしもこのようにする必要はない。例えば、作業者が操作するボタンを作業現場の各エリアに設置し、作業者が各エリアに到着したときに当該ボタンを操作すると、その操作したボタンの設置位置に基づいて作業者の行動を判別するようにしてもよい。このようにした場合、前述した位置データ（ｐ，ｔ，Ｘ_m，Ｙ_m，θ）の代わりに、（ｐ，ｔ，Ｘ_n，Ｙ_n）を行動情報として用いることができる（Ｘ_n，Ｙ_nは、ボタンの設置位置の座標）。また、作業者の視線のデータに基づいて作業者の行動を判別するようにしてもよい。このようにした場合、前述した位置データ（ｐ，ｔ，Ｘ_m，Ｙ_m，θ）の代わりに、（ｐ，ｔ，Ｘ_o，Ｙ_o，Ｚ_o）を行動情報として用いることができる（Ｘ_o，Ｙ_o，Ｚ_oは、視線の先の物体の座標）。さらに、作業者の発話した内容を音声認識し、その結果に基づいて作業者の行動を判別するようにしてもよい。このようにした場合、前述した位置データ（ｐ，ｔ，Ｘ_m，Ｙ_m，θ）の代わりに、（ｐ，ｔ，Ｓ）を行動情報として用いることができる（Ｓは、発話の内容）。

また、本実施形態では、熟練者の行動は正しいものとして、ワークフロー記憶部１０２に記憶されているワークフローに対し、行動を追加し、行動の削除は行わないものとした。しかしながら、必ずしもこのようにする必要はなく、初期ワークフロー２００を含めてワークフローに登録されている行動を削除するようにしてもよい。このようにする場合には、例えば、図６のステップＳ３〜Ｓ１０の処理を、所定期間分、実行すればよい。このようにすれば、ワークフロー記憶部１０２に記憶されているワークフローの行動を１人の熟練者が何回も行った後の結果が得られる。そうすると、例えば、時間的に連続する複数の位置データから、所定期間、行っていない行動がある場合に、当該行動をワークフローから削除するようにすることができる。ここで、１つのワークフローに、同一の作業者が別の時間に同じ行動を行うようにすることが記述されていることがある。よって、ワークフローから行動を削除するに際し、これらの行動を区別するのが好ましい。具体的に説明すると、例えば、図５において、作業者αは、異なる時間に「モニターＣを確認」するが、それぞれの「モニターＣを確認」する行動を所定期間行っていないことを個別に判断するのが好ましい。このようにする場合、例えば、ワークフローを開始してから、最初に「モニターＣを確認」するまでの時間として想定される時間に対し所定の許容範囲内で一致する時間に作業者（熟練者）が「モニターＣを確認」した場合に、当該最初の「モニターＣを確認」する作業が行われたと判断し、そうでない場合には、当該最初の「モニターＣを確認」する作業が行われていないと判断することができる。同様に、ワークフローを開始してから、２番目に「モニターＣを確認」するまでの時間として想定される時間に対し所定の範囲内で一致する時間に作業者（熟練者）が「モニターＣを確認」した場合に、当該２番目の「モニターＣを確認」する作業が行われたと判断し、そうでない場合には、当該２番目の「モニターＣを確認」する作業が行われていないと判断することができる。

また、本実施形態では、ワークフロー記憶部１０２には、最新のワークフロー（１つ）のみが記憶されるようにしたが、更新前のワークフローもワークフロー記憶部１０２に記憶されるようにしてもよい。
また、本実施形態のように、時間的に連続する複数の位置データが有意なデータであるか否かを判定すれば、ワークフローに明らかに無関係な行動についての処理を省略できるので好ましい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、１人の熟練者の行動をワークフローに反映させる場合を例に挙げて説明した。これに対し、本実施形態では、複数人の熟練者の行動をワークフローに反映させる場合について説明する。このように本実施形態と第１の実施形態では、ワークフロー更新処理の一部が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付す等して詳細な説明を省略する。

［ワークフロー更新処理の動作フローチャート］
図８は、ワークフローを更新する際のワークフロー管理装置１００の処理の一例を説明するフローチャートである。本実施形態と第１の実施形態とは、ワークフロー変更部１０６の機能が異なる。
よって、ステップＳ３１〜Ｓ３７は、図６に示したステップＳ１〜Ｓ７と同じである。すなわち、ステップＳ３１において、初期ワークフロー設定部１０１は、初期ワークフロー２００を設定し、ステップＳ３２において、行動コーパス設定部１０３は、行動コーパス３００を設定し、ステップＳ３３において、行動情報取得部１０４は、熟練者の視野画像を取り込む。
ここで、図８のフローチャートでは、１つのワークフローに、同一の作業者が別の時間に同じ行動を行うようにすることが記述されていることを想定し、これらの行動を別の行動であるとして処理を行うようにしている。具体的に説明すると、例えば、図５において、作業者αは、異なる時間に「モニターＣを確認」するが、これら「モニターＣを確認」する行動を別の行動であるとして処理を行う。このようにする場合、ワークフローを開始してから、最初に「モニターＣを確認」するまでの時間として想定される時間に対し所定の許容範囲内で一致する時間に作業者（熟練者）が「モニターＣを確認」した場合に、当該最初の「モニターＣを確認」する作業が行われたと判断することができる。同様に、ワークフローを開始してから、２番目に「モニターＣを確認」するまでの時間として想定される時間に対し所定の許容範囲内で一致する時間に作業者（熟練者）が「モニターＣを確認」した場合に、当該２番目の「モニターＣを確認」する作業が行われたと判断することができる。

そして、ステップＳ３４において、行動情報解析部１０５は、熟練者の位置データを生成する。そして、ワークフロー変更部１０６は、ステップＳ３５において、時間的に連続する複数の位置データが有意なデータであると判定すると、ステップＳ３６において、当該複数の位置データの内容に対応する行動が行動コーパス３００に登録されているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス３００に登録されていると、ステップＳ３７において、ワークフロー変更部１０６は、当該行動を行動コーパス３００から抽出すると共に、当該行動の発生時刻を抽出する。

次に、ステップＳ３８において、ワークフロー変更部１０６は、ステップＳ３７で抽出された行動が、同じくステップＳ３７で抽出された発生時刻の行動として、ワークフロー記憶部１０２に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップＳ３７で抽出された行動が、ステップＳ３７で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップＳ３９に進む。
ステップＳ３９に進むと、ワークフロー変更部１０６は、ステップＳ３７で抽出された行動と、同じくステップＳ３７で抽出された当該行動の発生時刻とに基づいて、ワークフロー記憶部１０２に記憶されているワークフローの当該発生時刻に対応する箇所に当該行動を追加し、ワークフローの内容を更新する。本実施形態では、この処理に加え、ワークフロー変更部１０６は、ＲＡＭ等に設定される「当該発生時刻に対応する『ワークフローを開始してからの時間』における当該行動の実行カウント」の値に１を加算する。この実行カウントは、熟練者が行う行動毎、ワークフローを開始してからの時間毎に計数されるものであり、どの行動をどの時間に何人の熟練者が行ったのかをワークフロー管理装置１００が識別できるようにするためのものである。そして、後述するステップＳ４１に進む。

一方、ステップＳ３７で抽出された行動が、ステップＳ３７で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップＳ４０に進む。ステップＳ４０に進むと、ワークフロー変更部１０６は、ＲＡＭ等に設定される「当該発生時刻に対応する『ワークフローを開始してからの時間』における当該行動の実行カウント」の値に１を加算する。そして、ステップＳ４１に進む。
ステップＳ４１に進むと、行動情報取得部１０４、行動情報解析部１０５、及びワークフロー変更部１０６は、ワークフロー記憶部１０２に記憶されているワークフローに登録する対象となり得る行動の全てについて処理を行ったか否かを判定する。この判定の結果、ワークフローに登録する対象となり得る行動の全てについて処理を行っていない場合には、ステップＳ３３に戻る。一方、ワークフローに登録する対象となり得る行動の全てについて処理を行った場合には、ステップＳ４２に進む。

ステップＳ４２に進むと、行動情報取得部１０４、行動情報解析部１０５、及びワークフロー変更部１０６は、予め設定された全ての作業者（熟練者）の作業を対象にした処理を行ったか否かを判定する。この判定は、例えば、次にようにして行うことができる。まず、オペレータによるユーザインターフェースの操作に基づいて、対象となる作業者が装着する視野カメラの識別番号を予めＨＤＤ等に設定しておく。そして、これら視野カメラの識別番号の全てについて位置データが得られ、且つ、ワークフローや実行カウントの処理がなされると、予め設定された全ての作業者（熟練者）の作業を対象にした処理を行った判定する。
この判定の結果、予め設定された全ての作業者（熟練者）の作業を対象にした処理を行っていない場合には、ステップＳ３２に戻り、未処理の作業者（熟練者）の視野画像を取り込む。このように本実施形態では、行動情報取得部１０４、行動情報解析部１０５、及びワークフロー変更部１０６は、ステップＳ３３〜Ｓ４１の処理を、複数の作業者毎に個別に繰り返し行うようにしている。

そして、予め設定された全ての作業者（熟練者）の作業を対象にした処理が終了すると、ステップＳ４３に進む。ステップＳ４３に進むと、ワークフロー変更部１０６は、ステップＳ３９、Ｓ４０で加算された「行動毎、ワークフローを開始してからの時間毎の実行カウントの値」を読み出し、読み出した値に基づいて、ワークフロー記憶部１０２に記憶されているワークフローの内容を変更する。
例えば、全体のＮ割（０＜Ｎ≦１０）の作業者（熟練者）が、ワークフローを開始してから同じ時間に同じ行動をとっていた場合に、ワークフロー記憶部１０２に記憶されているワークフローの当該時間に対応する箇所に当該行動を追加し、そうでない行動をワークフローから削除することができる。Ｎの具体的な値としては、例えば、５や１０が挙げられる。このように本実施形態では、このステップＳ４３において、ワークフローを全面的に書き換える。また、本実施形態では、初期ワークフロー２００で登録されている行動も削除され得る。

次に、ステップＳ４４において、ワークフロー表示部１０７は、ステップＳ９で変更された後のワークフローの情報を表示装置に表示する。そして、図８のフローチャートによる処理を終了する。
尚、行動監視処理は、以上のようにして変更されたワークフローを用いて行うが、処理の内容は、第１の実施形態と同じである。

［まとめ］
以上のように本実施形態では、複数人の熟練者のうち、所定の割合以上の熟練者がとった行動をワークフローに反映させ、そうでない行動をワークフローから削除するようにした。したがって、より正確なワークフローを作成することができる。
［変形例］
本実施形態では、熟練者のとった行動の多数決に基づいてワークフローを変更するようにしたが、必ずしもこのようにする必要はない。例えば、熟練者の熟練度に応じて実行カウントの加算値を変えるようにしてもよい（例えば、高度な技能を持つ熟練者がとった行動については実行カウントの加算値を２にし、それ以外の熟練者がとった行動については実行カウントの加算値を１にすることができる）。また、多くの熟練者がとった行動であるか否かに関わらず、ワークフローに基づく作業の全体の処理時間が短い行動をワークフローに反映させるようにしてもよい。
また、本実施形態においても、第１の実施形態で説明した変形例を採用することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。前述した第１、第２の実施形態では、ワークフローを自動的に更新する場合を例に挙げて説明した。しかしながら、行動の内容やワークフローの対象等によっては、ワークフローに行動を登録すべきか否かを一定の判断基準で決定することが困難な場合がある。そこで、本実施形態では、ワークフローの更新の対象となる行動をオペレータに提示し、提示した行動をワークフローに登録するか否かをオペレータに判断させるようにしている。このように本実施形態と第１、２の実施形態では、ワークフロー更新処理の一部が主として異なる。したがって、本実施形態の説明において、第１、２の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。

図９は、ワークフロー管理装置の機能的な構成の一例を示す図である。図９において、本実施形態のワークフロー管理装置９００の初期ワークフロー設定部１０１、ワークフロー記憶部１０２、行動コーパス設定部１０３、行動情報取得部１０４、行動情報解析部１０５、及びアラーム発生部１０８は、図１に示したワークフロー管理装置１００と同じである。よって、本実施形態では、これらの説明を省略する。

［ワークフロー変更候補決定部９０１］
ワークフロー変更候補決定部９０１は、熟練者の作業を対象にした処理を行っている場合に、行動情報解析部１０５により得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。そして、ワークフロー変更候補決定部９０１は、時間的に連続する複数の位置データが有意なデータであると判定すると、当該複数の位置データの内容に対応する行動が行動コーパス３００に含まれているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス３００に含まれている場合には、当該行動を行動コーパス３００から抽出し、抽出した行動と当該行動の発生時刻とを記憶する。本実施形態では、第１の実施形態と同様に、ワークフロー変更候補決定部９０１は、１人の熟練者の行動の候補を決定するようにしている。

そして、ワークフロー変更候補決定部９０１は、行動コーパス３００から抽出した行動が、当該行動の発生時刻の行動として、ワークフロー記憶部１０２に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、行動コーパス３００から抽出された行動が、当該行動の発生時刻の行動として、ワークフローに含まれていない場合、当該行動と、当該行動の発生時刻とを、ワークフローに追加する行動の候補として記憶する。
ワークフロー変更候補決定部９０１は、例えば、次のようにして実現することができる。まず、ＣＰＵは、ＨＤＤ等から読み出した基準に基づいて、時間的に連続する複数の位置データが有意なデータであるか否かを判定する。そして、時間的に連続する複数の位置データが有意なデータである場合、ＣＰＵは、ＨＤＤ等に記憶されている行動コーパス３００に、当該複数の位置データから得られる内容に対応する行動が登録されているか否かを判定する。そして、行動コーパス３００に、当該複数の位置データから得られる内容に対応する行動が登録されている場合、ＣＰＵは、当該行動が、当該行動の発生時刻の行動として、ＨＤＤ等に記憶されているワークフローに含まれているか否かを判定する。そして、当該行動が、当該行動の発生時刻の行動として、ワークフローに含まれていない場合、ＣＰＵは、当該ワークフローに含まれていない行動と当該行動の発生時刻とをＲＡＭ等に記憶する。

［ワークフロー変更候補表示部９０２］
ワークフロー変更候補表示部９０２は、行動情報取得部１０４、行動情報解析部１０５、及びワークフロー変更候補決定部９０１において、ワークフロー記憶部１０２に記憶されているワークフローに登録する対象となり得る行動の全てについて処理が行われると、ワークフロー変更候補決定部９０１により記憶された「ワークフローに追加する行動の候補」の情報を、液晶ディスプレイ等の表示装置に表示する。例えば、図５に示す薄いグレーの行動が、ワークフローに追加する行動の候補である場合、ワークフロー変更候補表示部９０２は、当該行動を点滅表示させるようにして、ワークフローに追加する行動の候補の内容と、その発生時間（ワークフローにおける位置）と、元のワークフローの情報とをオペレータが識別できるような表示を行う。
尚、熟練者に対する処理を行っていることは、第１の実施形態と同じようにして判断することができる（ワークフロー変更部１０６の説明を参照）。
ワークフロー変更候補表示部９０２は、例えば、ＣＰＵが、ＲＡＭ等から、ワークフローに追加する行動の候補を読み出し、当該候補の内容と、その発生時間（ワークフローにおける位置）と、元のワークフローの情報とをオペレータが識別できる形態の表示データを生成し、生成した表示データを表示装置に出力することによって実現することができる。

［ワークフロー変更部９０３］
ワークフロー変更部９０３は、ワークフロー変更候補表示部９０２によって表示された「ワークフローに追加する行動の候補」の情報を、ワークフロー記憶部１０２に記憶されているワークフローに追加するための操作がオペレータによるユーザインターフェースの操作に基づいて行われると、当該操作の内容に基づいて、当該ワークフローに行動を追加する。尚、本実施形態では、第１の実施形態と同様に、熟練者の行動は正しいものとして、ワークフロー記憶部１０２に記憶されているワークフローに対し、行動を追加し、行動の削除は行わないものとする。
ワークフロー変更部９０３は、例えば、ＣＰＵが、オペレータによるユーザインターフェースの操作の内容に基づいて、ＨＤＤ等に記憶されている現在のワークフローの内容を書き換えることにより実現することができる。

［ワークフロー更新処理の動作フローチャート］
次に、図１０のフローチャートを参照しながら、ワークフローを更新する際のワークフロー管理装置９００の処理の一例を説明する。尚、本フローチャートでは、熟練者に対する処理であることがワークフロー管理装置１００に予め設定されているものとして説明を行う。
まず、ステップＳ５１〜Ｓ５７は、図６に示したステップＳ１〜Ｓ７と同じである。すなわち、ステップＳ５１において、初期ワークフロー設定部１０１は、初期ワークフロー２００を設定し、ステップＳ５２において、行動コーパス設定部１０３は、行動コーパス３００を設定し、ステップＳ５３において、行動情報取得部１０４は、熟練者の視野画像を取り込む。

そして、ステップＳ５４において、行動情報解析部１０５は、熟練者の位置データを生成する。そして、ワークフロー変更候補決定部９０１は、ステップＳ５５において、時間的に連続する複数の位置データが有意なデータであると判定すると、ステップＳ５６において、当該複数の位置データの内容に対応する行動が行動コーパス３００に登録されているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス３００に登録されていると、ステップＳ５７において、ワークフロー変更候補決定部９０１は、当該行動を行動コーパス３００から抽出すると共に、当該行動の発生時刻を抽出する。

次に、ステップＳ５８において、ワークフロー変更候補決定部９０１は、ステップＳ５７で抽出された行動が、同じくステップＳ５７で抽出された発生時刻の行動として、ワークフロー記憶部１０２に記憶されているワークフローとを比較する。そして、ステップＳ５９において、ワークフロー変更候補決定部９０１は、ステップＳ５８の比較の結果に基づいて、ステップＳ５７で抽出された行動が、同じくステップＳ５７で抽出された発生時刻の行動として、ワークフロー記憶部１０２に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップＳ５７で抽出された行動が、ステップＳ５７で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップＳ６０の処理を省略して後述するステップＳ６１に進む。
一方、ステップＳ５７で抽出された行動が、ステップＳ５７で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップＳ６０に進む。ステップＳ６０に進むと、ステップＳ５７で抽出された行動と当該行動の発生時刻とをワークフローに追加する行動の候補として記憶する。そして、ステップＳ６１に進む。
ステップＳ６１に進むと、行動情報取得部１０４、行動情報解析部１０５、及びワークフロー変更候補決定部９０１は、ワークフロー記憶部１０２に記憶されているワークフローに登録する対象となり得る行動の全てについて処理を行ったか否かを判定する。この判定の結果、ワークフローに登録する対象となり得る行動の全てについて処理を行っていない場合には、ステップＳ５３に戻る。一方、ワークフローに登録する対象となり得る行動の全てについて処理を行った場合には、ステップＳ６２に進む。

ステップＳ６２に進むと、ワークフロー変更候補表示部９０２は、ステップＳ６０で記憶された「ワークフローに追加する行動の候補」の情報を表示装置に表示する。
次に、ステップＳ６３において、ワークフロー変更部９０３は、オペレータによるユーザインターフェースの操作に基づいて、ステップＳ６２で表示された「ワークフローに追加する行動の候補」をワークフロー記憶部１０２に記憶されているワークフローに追加する指示があったか否かを判定する。この判定の結果、ワークフローに追加する行動の候補をワークフローに追加する指示がなかった場合には、図１０のフローチャートによる処理を終了する。一方、ワークフローに追加する行動の候補をワークフローに追加する指示があった場合には、ステップＳ６４に進む。

ステップＳ６４に進むと、ワークフロー変更部９０３は、ステップＳ６３で指示された内容に基づいて、ワークフロー記憶部１０２に記憶されているワークフローに行動を追加する。
次に、ステップＳ６５において、ワークフロー表示部１０７は、ステップＳ６４で変更された後のワークフローの情報を表示装置に表示する。そして、図１０のフローチャートによる処理を終了する。
尚、行動監視処理は、以上のようにして変更されたワークフローを用いて行うが、処理の内容は、第１の実施形態と同じである。

［まとめ］
以上のように本実施形態では、熟練者の行動がワークフローに登録されていない場合には、当該行動を、ワークフローに追加する候補としてオペレータに提示し、オペレータからの支持によって、当該行動をワークフローへ追加する。したがって、ワークフローに行動を追加すべきか否かを、一定の判断基準で決定することが困難な場合でも、熟練者が持つ暗黙知の情報としてワークフローに正確に反映させることができる。

［変形例］
本実施形態では、第１の実施形態のように、１人の熟練者の行動をワークフローに反映させる場合を例に挙げて説明した。しかしながら、第２の実施形態のように、複数人の熟練者の行動をワークフローに反映させることもできる。このようにする場合には、例えば、図８のフローチャートにおいて、ステップＳ３８〜Ｓ４０の代わりに、ステップＳ３７で抽出された行動と当該行動の発生時刻とを、ワークフローに対して変更する行動の候補として記憶すると共に、当該候補に対するカウントの値に１を加算する。このカウントは、何人の熟練者によって当該候補の行動が同じ時間（ワークフローの開始してからの時間）にとられたのかをワークフロー管理装置９００が識別できるようにするためのものである。その後、図８のステップＳ４１以降の処理の代わりに、図１０のステップＳ６１以降の処理を行う。

ここで、ステップＳ６２では、ワークフロー変更候補表示部９０２は、ワークフローに対して変更する行動の候補の情報として、当該候補の内容と、その発生時間（ワークフローにおける位置）と、元のワークフローの情報とに加えて、例えば、何人の熟練者が当該候補の行動をとったのかを示す情報を表示する。また、ステップＳ６３では、オペレータは、ワークフローに追加する候補だけでなく削除する候補を指示する。追加する候補であるか、削除する候補であるかは、例えば、前述した「何人の熟練者が当該候補の行動をとったのかを示す情報」に基づいて判断することができる。そして、ステップＳ６４では、ワークフロー変更部９０３は、ワークフロー記憶部１０２に記憶されているワークフローを全面的に書き換える。
また、本実施形態においても、第１、第２の実施形態で説明した変形例を採用することができる。
また、以上の各実施形態では、初期ワークフロー２００があることを前提としたが、初期ワークフロー２００がなくてもよい。第１の実施形態において、このようにする場合、例えば、初期ワークフローを作成する段階では、図６のステップＳ８を行わずに、ステップＳ７で抽出された行動をワークフローに無条件で追加するようにすることができる。

尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、又はかかるプログラムを伝送する伝送媒体も本発明の実施の形態として適用することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施の形態として適用することができる。前記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

［請求項との対応］
前述した本発明の実施形態では、例えば、ワークフロー記憶部１０２を用いることによりワークフロー記憶手段が実現され、行動情報取得部１０４を用いることにより行動情報取得手段が実現される。ここで、本実施形態では、例えば、視野画像が行動情報の一例に対応し、視野カメラが作業現場にある所定の装置の一例に対応する。また、本実施形態では、例えば、行動情報解析部１０５を用いることにより行動情報解析手段が実現される。ここで、本実施形態では、例えば、位置データが、作業者の行動を示すデータの一例に対応する。また、本実施形態では、行動コーパス設定部１０３を用いることにより行動コーパス記憶手段が実現され、ワークフロー変更部１０６を用いることによりワークフロー変更手段が実現される。また、本実施形態では、アラーム発生部１０８を用いることによりアラーム発生手段が実現される。また、本実施形態では、ワークフロー変更候補決定部９０１を用いることによりワークフロー変更候補決定手段が実現され、ワークフロー変更候補表示部９０２を用いることによりワークフロー変更候補表示手段が実現され、ワークフロー変更部９０３を用いることによりワークフロー変更手段が実現される。

また、本実施形態では、例えば、ステップＳ１、Ｓ３１、Ｓ５１の処理を行うことによりワークフロー記憶工程が実現され、ステップＳ３、Ｓ２１、Ｓ３３、Ｓ５３の処理を行うことにより行動情報取得工程の一例が実現される。また、本実施形態では、例えば、ステップＳ４、Ｓ２２、Ｓ３４、Ｓ５４の処理を行うことにより行動情報解析工程の一例が実現され、ステップＳ２、Ｓ３２、Ｓ５２の処理を実行することにより行動コーパス記憶工程が実現される。また、本実施形態では、例えば、ステップＳ６〜Ｓ９、Ｓ３６〜Ｓ４０・Ｓ４３、Ｓ６３の処理を行うことによりワークフロー変更工程が実現される。また、本実施形態では、例えば、ステップＳ５６〜５９の処理を行うことによりワークフロー変更候補決定手段が実現され、ステップＳ６１の処理を行うことによりワークフロー変更候補表示手段が実現される。また、本実施形態では、例えば、ステップＳ２４〜Ｓ７の処理を行うことによりアラーム発生手段が実現される。

１００、８００ワークフロー管理装置
１０１初期ワークフロー設定部
１０２ワークフロー記憶部
１０３行動コーパス設定部
１０４行動情報取得部
１０５行動情報解析部
１０６ワークフロー変更部
１０７ワークフロー表示部
１０８アラーム発生部
２００初期ワークフロー
３００行動コーパス
５００変更後のワークフロー
９０１ワークフロー変更候補決定部
９０２ワークフロー変更候補表示部
９０３ワークフロー変更部

Claims

作業者のとるべき行動を時系列的に記述したワークフローを記憶するワークフロー記憶手段と、
作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得手段と、
前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析手段と、
作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶する行動コーパス記憶手段と、
前記行動情報解析手段により蓄積された、作業者の行動を示すデータが有意なデータであるか否かを予め設定された基準に基づいて判定し、有意なデータである場合に、当該データに対応する行動が前記行動コーパスに登録されている場合には、当該行動を前記行動コーパス記憶手段から抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更手段と、を有し、
前記行動情報取得手段は、前記作業現場にある所定の装置から、複数人の作業者の行動が反映された行動情報を取得し、
前記行動情報解析手段は、前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、前記複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、
前記ワークフロー変更手段は、前記行動情報解析手段により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した複数人の作業者の行動に基づいて、Ｎ割（０＜Ｎ≦１０）以上の作業者が同じ時間帯に同じ行動をとっていた場合に、前記ワークフローの、当該行動の発生タイミングに対応する箇所に当該行動を追加することを特徴とするワークフロー管理装置。
前記ワークフロー変更手段は、前記行動情報解析手段により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段に記憶された前記行動コーパスから抽出し、抽出した行動が、前記ワークフロー記憶手段に記憶されているワークフローに含まれていないと、当該ワークフローの、当該行動の発生タイミングに対応する箇所に当該行動を追加することを特徴とする請求項１に記載のワークフロー管理装置。
前記ワークフロー変更手段は、前記行動情報解析手段により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した複数人の作業者の行動に基づいて、Ｎ割（０＜Ｎ≦１０）以上の作業者がとっていない行動が、前記ワークフローに記述されている場合に、当該ワークフローの、当該行動を削除することを特徴とする請求項１又は２に記載のワークフロー管理装置。
前記ワークフロー変更手段によりワークフローの内容が変更された後に前記行動情報解析手段により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した行動が、前記ワークフロー記憶手段に記憶されているワークフローに含まれていない場合に、当該作業者が非熟練者である場合には、当該作業者に対して、アラームを発生するアラーム発生手段を有することを特徴とする請求項１〜３の何れか１項に記載のワークフロー管理装置。
作業者のとるべき行動を時系列的に記述したワークフローを記憶媒体に記憶するワークフロー記憶工程と、
作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得工程と、
前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析工程と、
作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶媒体に記憶する行動コーパス記憶工程と、
前記行動情報解析工程により蓄積された、作業者の行動を示すデータが有意なデータであるか否かを予め設定された基準に基づいて判定し、有意なデータである場合に、当該データに対応する行動が前記行動コーパスに登録されている場合には、当該行動を前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更工程と、を含む工程を、コンピュータにより実行し、
前記行動情報取得工程は、前記作業現場にある所定の装置から、複数人の作業者の行動が反映された行動情報を取得し、
前記行動情報解析工程は、前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、前記複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、
前記ワークフロー変更工程は、前記行動情報解析工程により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した複数人の作業者の行動に基づいて、Ｎ割（０＜Ｎ≦１０）以上の作業者が同じ時間帯に同じ行動をとっていた場合に、前記ワークフローの、当該行動の発生タイミングに対応する箇所に当該行動を追加することを特徴とするワークフロー管理方法。
前記ワークフロー変更工程は、前記行動情報解析工程により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された前記行動コーパスから抽出し、抽出した行動が、前記ワークフロー記憶工程により記憶されているワークフローに含まれていないと、当該ワークフローの、当該行動の発生タイミングに対応する箇所に当該行動を追加することを特徴とする請求項５に記載のワークフロー管理方法。
前記ワークフロー変更工程は、前記行動情報解析工程により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した複数人の作業者の行動に基づいて、Ｎ割（０＜Ｎ≦１０）以上の作業者がとっていない行動が、前記ワークフローに記述されている場合に、当該ワークフローの、当該行動を削除することを特徴とする請求項５又は６に記載のワークフロー管理方法。
前記コンピュータにより実行される工程は、前記ワークフロー変更工程によりワークフローの内容が変更された後に前記行動情報解析工程により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した行動が、前記ワークフロー記憶工程に記憶されているワークフローに含まれていない場合に、当該作業者が非熟練者である場合には、当該作業者に対して、アラームを発生するアラーム発生工程を更に含むことを特徴とする請求項５〜７の何れか１項に記載のワークフロー管理方法。
請求項５〜８の何れか１項に記載のワークフロー管理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。