JPWO2020105157A1

JPWO2020105157A1 - 作業最適化システムおよび作業最適化装置

Info

Publication number: JPWO2020105157A1
Application number: JP2020557092A
Authority: JP
Inventors: 誠也伊藤; 聡笹谷; 秀行粂; 亮祐三木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2018-11-21
Filing date: 2018-11-21
Publication date: 2021-09-30
Anticipated expiration: 2038-11-21
Also published as: WO2020105157A1; JP7208254B2; CN113016000A

Abstract

機器の機器制御パタンと機器制御パタンのパラメータとに基づいて機器の制御を行う機器制御部と、機器制御部により機器の制御が行われている際、センサにより取得された機器と協働して作業を行う作業者のセンサ情報から、作業者の作業を計測する作業者計測部と、作業者計測部で計測された作業を所定の目標値に基づいて評価する評価部と、評価部による評価がしきい値より高いか否かを判定し、高いと判定した場合、高いと判定した機器制御パタンのパラメータを含む行動制御パタンを生成する行動制御パタン生成部と、を設けるようにした。

Description

本発明は作業最適化システムおよび作業最適化装置に関し、例えば機器と作業者とが協働して行う作業（協働作業）を最適化するための作業最適化システムおよび作業最適化装置に適用して好適なものである。

機器と作業者とが協働する環境で作業しながら、所定のタスクを実行するケースは、ロボット技術等の発展、労働力不足による自動化のニーズなどによって増加傾向になる。このような状況においては、熟練度の高い作業者に合わせた機器の制御によって使いこなすという点と、最適化された機器に対して作業者が整合する行動を取るという点とが求められる。

前者については、熟練度の高い作業者の行動は、未熟者には習得が困難であることが多く、熟練者と同様の効率が期待できないことが考えられ得る。後者については、機器の動作に作業者の行動を合わせるということは、機器側に合わせることによる負荷が懸念され、集中力の低下などによる歩留まりの低下、体力面への負荷、精神面への負荷などが問題となる。

この点、人に対して適切な補助を行うロボットの制御方法が開示されている（特許文献１参照）。

特開２０１７−３０１３７号公報

特許文献１に記載の技術では、作業者に負荷のかからないようにロボットを制御することで、前述の問題の一部は解決されるものの、作業者の負荷が減るにとどまり、作業者の行動が最適とならない問題がある。

本発明は以上の点を考慮してなされたもので、機器の効率を最大化しつつ、作業者の行動を制御し得る作業最適化システム等を提案しようとするものである。

かかる課題を解決するため本発明においては、機器の機器制御パタンと前記機器制御パタンのパラメータとに基づいて前記機器の制御を行う機器制御部と、前記機器制御部により前記機器の制御が行われている際、センサにより取得された前記機器と協働して作業を行う作業者のセンサ情報から、前記作業者の作業を計測する作業者計測部と、前記作業者計測部で計測された作業を所定の目標値に基づいて評価する評価部と、前記評価部による評価がしきい値より高いか否かを判定し、高いと判定した場合、高いと判定した前記機器制御パタンのパラメータを含む行動制御パタンを生成する行動制御パタン生成部と、を設けるようにした。

上記構成によれば、機器制御パタンに基づいて行動制御パタンが生成される。つまり、機器制御に基づいて行動制御が行われるようになるので、例えば、熟練者の機器制御パタンを用いることで、機器の効率を最大化しつつ、作業者の行動を制御することができるようになる。

本発明によれば、機器の効率を最大化しつつ、作業者の行動を制御することができる。

第１の実施の形態による作業最適化システムに係る構成の一例である。第１の実施の形態による作業環境の一例を示す図である。第１の実施の形態による機器制御パタンの生成に係る構成の一例を示す図である。第１の実施の形態による機器制御を最適化するモデルの一例を示す図である。第１の実施の形態による機器制御パタン生成処理に係るフローチャートの一例を示す図である。第１の実施の形態による機器制御に基づいて行動制御を最適化するモデルの一例を示す図である。第１の実施の形態による行動制御パタン生成処理に係るフローチャートの一例を示す図である。第１の実施の形態による作業者の作業に係る状態を示す指標の一例を示す図である。第１の実施の形態によるパラメータ指標関連情報の一例を示す図である。

以下図面について、本発明の一実施の形態を詳述する。

本発明は、機器の制御によって作業者の行動に変化を与えて最適化する技術に関するものである。より具体的には、機器と作業者とが共存する環境において、あるタスクを実行する際に、機器側の機器制御（最適な機器制御パタン）によって、関連する作業者を最適に行動制御（最適な行動制御パタンを生成して作業者を制御）する技術に関するものである。

例えば、本実施の形態では、作業者の行動を計測したデータである行動計測データと目標値とに基づいて作業評価を実施し、作業評価の結果と行動制御パタンとから報酬評価を行い、作業評価が高くなる行動制御パタンを保存し、作業者の行動を最適化するための行動制御パタンを選択し、選択した行動制御パタンに基づいて機器を制御することを特徴とする。

また、例えば、本実施の形態では、規範とされる作業者（例えば、熟練者）の行動から、最適な機器制御パタンを学習することを特徴とする。

また、例えば、本実施の形態では、予め取得した機器制御パタンを作業者に提示することによって、最適な作業が可能な熟練者の行動パタンに近づくことが可能であって、機器制御により作業者の行動制御ができること特徴とする。

また、例えば、本実施の形態では、機器制御パタンと行動制御パタンとを個人ごとに定義することによって、個人に最適な作業を提示することができることを特徴とする。

本実施の形態においては、工場環境内での、ロボット装置と作業者との協働作業の形態における事例を例に挙げて説明する。以下、詳細について説明する。

（１）第１の実施の形態
図１において、１００は全体として第１の実施の形態による作業最適化システムを示す。

図１は、作業最適化システム１００に係る構成の一例を示す図である。作業最適化システム１００では、作業者の行動、機器の動作などを計測し、機器と作業者との協働作業を最適化する。作業最適化システム１００は、撮影装置１１０と、処理部（作業者計測部１２０、評価部１３０、目標指示部１４０、機器計測部１５０、行動制御パタン生成部１６０、行動制御計画部１７０、機器制御部１８０など）と、各種の情報（機器制御パタン１９１、行動制御パタン１９２など）とを含んで構成される。なお、各構成要素の一部については、作業最適化システム１００外に設けられていてもよい。

処理部は、例えば、作業最適化装置（コンピュータ）の機能として実現される、作業最適化装置は、ノートパソコン、サーバ装置等であり、図示は省略するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信装置などを含んで構成される。

作業最適化装置の機能（処理部）は、例えば、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、作業最適化装置の機能の一部は、作業最適化装置と通信可能な他のコンピュータにより実現されてもよい。

撮影装置１１０は、ビデオカメラ、ネットワークカメラ等である。撮影装置１１０は、レンズ、画像センサなどを含んで構成され、所定の画像（画像情報）が取得できる。画像センサは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）などの撮像素子（いずれも図示せず）を含む機構である。このような撮影装置１１０から取得した画像（映像）を用いることで、作業者などの作業環境内の状況をセンシングすることができる。なお、作業環境については、図２を用いて後述する。

作業者計測部１２０は、例えば、機器制御部１８０により機器の制御が行われている際、撮影装置１１０（センサの一例）により取得された機器と協働して作業を行う作業者の画像情報（センサ情報の一例）から、作業者の作業を計測する。

評価部１３０は、例えば、作業者計測部１２０で計測された作業を所定の目標値（目標指示部１４０により設定された目標値）に基づいて評価する。例えば、評価部１３０は、作業者の作業に係る状態を示す指標が目標値を超えるか否かを判定し、超えると判定した場合、超えないと判断したときと比べて高い評価を行う。なお、作業者の作業に係る状態を示す指標については、図８を用いて後述する。

目標指示部１４０は、例えば、目標値を設定する。なお、目標値は、所定の期間に達成しようとする作業量（例えば、一日の間に、第１の場所にある箱を第２の場所に移動して積み重ねるといったもの）である。

機器計測部１５０は、例えば、機器制御部１８０により機器の制御が行われている際、撮影装置１１０により取得された機器の画像情報から、機器の動作を計測する。

行動制御パタン生成部１６０は、例えば、評価部１３０による評価がしきい値より高いか否かを判定し、高いと判定した場合、高いと判定した機器制御パタンのパラメータを含む行動制御パタンを生成する。

ここで、行動制御パタンを学習する段階（学習フェーズ）と、行動制御パタンを使用する段階（運用フェーズ）とに分けて考える場合、学習フェーズにおいては、例えば、行動制御計画部１７０設けられていなくてもよい。この場合、行動制御パタン生成部１６０は、例えば、学習中の機器制御パタンのパラメータを評価が高くなるように探索的に他のパラメータに変更し、当該機器制御パタンと、変更した他のパラメータとを用いて機器を制御するように機器制御部１８０に指示を与える。かかる構成によれば、最適な行動制御パタンを適切に得ることができるようになる。付言するならば、作業最適化システム１００は、学習フェーズと運用フェーズとに分けることなく、運用しながら学習を行うものであってもよい。この場合、運用しつつ、最適な行動制御パタンを得ることができるようになる。

行動制御計画部１７０は、例えば、行動制御パタン生成部１６０により生成された行動制御パタンの中から、一の行動制御パタンを選択する。また、例えば、行動制御計画部１７０は、現在の状態を示す指標がしきい値を超えるか否かを判定し、超えないと判定した場合、図９を用いて後述するパラメータ指標関連情報に基づいて現在の状態を示す指標がしきい値を超える行動制御パタンを特定し、選択している行動制御パタンを、特定した行動制御パタンに変更するものであってもよい。

機器制御部１８０は、例えば、行動制御計画部１７０により選択された行動制御パタンに基づいて機器の機器制御パタンと当該機器制御パタンのパラメータとを特定して機器の制御を行う。

図２は、作業環境の一例を示す図である。ロボット装置２００と作業者２０１とが同一環境で作業している様子を俯瞰で示している。より具体的には、ロボット装置２００は、ワーク２０２をピックアップして目標位置まで移動させ、作業者２０１は、ロボット装置２００ができないような作業を事前に、途中で、または事後に適宜サポートし、協働しながらタスクをこなしている様子を示している。それらの外観を撮影装置１１０で観察しながら、ロボット装置２００と作業者２０１との行動、作業状況について、認識技術を活用して計測している。

例えば、ロボット装置２００としては、６軸のピッキングロボットなどが代表的であるが、双腕型のもの、自律移動するタイプのもの等でもよく、さらに搬送用の移動体のようなものでよく、作業者の作業をサポートするような機能をもったものであるなら、特に問わない。

なお、本実施の形態のセンサとしては、様々な機器が適用できるが、撮影装置１１０を例に挙げて説明する。

作業最適化システム１００では、撮影装置１１０から取得した画像情報を用いて、作業者計測部１２０は、作業者２０１の作業（作業状態）を計測する。評価部１３０は、その作業を評価する。評価指標としては、目標指示部１４０に入力された予め設定した目標値（例えば、１分間あたりのワーク２０２の移動数）に応じたものとする。

また、機器計測部１５０は、撮影装置１１０から得られた画像情報に基づいて、ロボット装置２００の動作（動作状態）などを計測する。ここでは、ロボット装置２００から直接得たロボット装置２００の姿勢、位置などの情報を活用してもよい。前提として、機器制御部１８０は、事前に学習された機器制御パタン１９１に基づいて、ロボット制御信号（機器制御信号）をロボット装置２００に伝送し、ロボット装置２００を動作させる。

ここで、機器制御パタン１９１は、熟練者との作業、ティーチング等によって生成された最適な機器の制御パタンが格納されたものである。機器制御パタン１９１は、例えば、ロボット装置２００のアームの軌道といった機器の動作が規定された情報である。機器制御パタン１９１としては、ワーク２０２を１個つかみで移動する機器制御パタン、ワーク２０２を２個つかみで移動する機器制御パタン、ワーク２０２を作業者２０１の手前まで移動する機器制御パタン、ワーク２０２を最終目的地まで移動する機器制御パタンなどが挙げられる。なお、機器制御パタン１９１については、説明のために例示したものに限定されるものではない。

図３は、機器制御パタン１９１の生成に係る構成の一例を示す図である。図３に示すように、作業最適化システム１００は、機器制御パタン生成部３００を処理部として含んで構成されてもよい。機器制御パタン生成部３００は、例えば、規範とする作業者の行動から最適な機器制御パタン１９１を生成する。

機器制御パタン１９１の生成については、熟練者などによって、目標指示部１４０で提示される目標値に沿って、例えば、最も効率のよい作業について、熟練者と共に試行錯誤しながら決定していく仮定において、機械学習手法で取得する方法がある。

機械学習手法として、例えば、強化学習と呼ばれる手法を用いることができる。

図４は、機械学習手法（機器制御を最適化するモデル）の一例を示す図である。図４に示すように、機器４００と作業環境４０１というようなシンプルなモデルを定義した場合に、機器４００のアクションａによって作業環境４０１の変化（価値）を評価して、報酬ｒとしてフィードバックする。これにより、報酬ｒによって最適なアクションａを構築する方法である。このような方法は、様々に提案されているが、「Watkins, C.J.C.H. (1989). Learning from Delayed Rewards.」などに代表されるＱ学習などの方式を採用してよい。

これらの手法を駆使して求めることによれば、目標指示部１４０で設定している目標値に対しての作業評価を行い、この作業が評価として高い（例えば、目標値に近い、目標値より高い等の）機器制御パタンを、熟練度の高い作業者に対する、機器側の役割であるとして取得することが可能となる。次に、機器制御パタンを生成する方法について図５を用いて説明する。

図５は、機器制御パタン生成部３００が機器制御パタン１９１を生成する処理（機器制御パタン生成処理）に係るフローチャートの一例を示す図である。

まず、評価部１３０は、撮影装置１１０から取得したデータを用いて作業者計測部１２０にて得た行動データ（作業）と、所定の目標値（目標値５００）とを取得する（ステップＳ５０１）。

続いて、評価部１３０は、作業者計測部１２０で計測された作業を目標値に基づいて評価（行動評価）を実行する（ステップＳ５０２）。

ここで、作業（行動）としては、作業者が移動した距離、身体に負荷の大きいしゃがみ、高い位置での保持姿勢、ストレスのかかる作業などが挙げられる。行動評価では、商品の詰め込み作業を仮定すると、１ケースあたりどの程度の時間を要したのか、身体への負荷（身体不可）がどれくらいあったのかを評価し、作業時間が短く、かつ、身体負荷が低い行動についての評価が高い等として評価基準（作業者の作業に係る状態を示す指標）を定義できる。評価基準については、設置環境等にもよるため、作業環境に応じた定義を行うことが好適である。なお、身体負荷の計測については、撮影装置１１０以外に、ストレス計測センサ、脳波センサなどの別のデバイスを活用することも可能である。さらには、アンケート評価など、感性評価も活用した形としてよい。付言するならば、作業については、説明のために例示したものに限定されるものではない。行動評価については、説明のために例示したものに限定されるものではない。

続いて、機器制御パタン生成部３００は、機器制御パタン生成処理を終了するか否かを判定する（ステップＳ５０３）。機器制御パタン生成部３００は、終了すると判定した場合、ステップＳ５０５に処理を移し、終了しないと判定した場合、ステップＳ５０４に処理を移す。なお、終了の判断については、行動評価値に変化が見られない、所定の回数実行した、目標値との誤差がしきい値未満になったなど、事前に決めた基準に従って行われる。

ステップＳ５０４では、機器制御パタン生成部３００は、行動評価の結果、しきい値より高い評価を得ることができた機器の状態を、理想的な機器制御パタンとして更新する。なお、機器制御パタン生成部３００は、目標値５００に向けて機器および／または作業者が試行錯誤で改善したものに対して、逐次評価を繰り返す。

ステップＳ５０５では、機器制御パタン生成部３００は、熟練者に最適な機器制御パタン（例えば、目標値および／またはしきい値を超える一または複数の機器制御パタン）を機器制御パタン１９１として保存する。

なお、機器制御パタン１９１については、制約条件（安全性の観点、保守の観点など）に基づいて、絞込みが行われてもよい。

次に、機器制御に基づいて行動制御を実現する構成について図６および図７を用いて説明する。上述したように、機器制御パタン１９１の学習においては、作業効率のような目的に関して、どのように機器を動作させると、効率的な動きとなるかを学習する方法について説明した。これは、いわば熟練者に合わせた機器の制御方法を機器側が学ぶ作業となる。

一方で、評価部１３０および行動制御パタン生成部１６０においては、学習された機器の動作に基づいて、作業を実施する作業者側がどのように効率的な行動を習得するのか、どのような機器の動作を実行すれば、作業者と機器との組み合わせが高効率な動きとなるのかを求める手続きとなる。

図６は、機器制御に基づいて行動制御を最適化するモデルの一例を示す図である。まず、機器６００によって所定の動作としてアクションａ_ｍで動作する。するとそれに呼応して作業者６０２が動作をあわせて、アクションａ_ｗを実行する。それに対して作業環境６０１に状態の変化ｓが発生する。

作業者６０２を中心に考えると、どのような機器６００のアクションａ_ｍで、どのような作業者６０２のアクションａ_ｗが発生し、作業環境６０１に変化ｓが生じたのか、ということは、アクションａ_ｍを報酬ｒと考えると、どのような報酬ｒ（アクションａ_ｍ）で作業者６０２がどう理想の変化ｓに近づくかという、逆強化学習の枠組みで考えることができる。

逆強化学習とは、エキスパートによる行動から報酬（どの状態がどのくらいよいのか）を推定する方法であり、代表的なものとして「Andrew Ng, et al :”Algorithms for Inverse Reinforcement Learning”」などが挙げられる。理想的な作業が可能な熟練者の行動からどのような報酬（行動の的確さ）を判断して動作しているか、どのような判断および行動が熟練者の成熟度に起因しているのか、を学習するものである。

本実施の形態では、熟練者によって生成された行動をそのまま、未熟者への行動指針にするような直接的な逆強化学習の活用とせず、熟練者により定義された機器側の最適な機器制御パタンを通じて、これらの機器制御パタンすなわちアクションａ_ｍを、作業者６０２（未熟者、非熟練者など）に与えた場合に、どのアクションａ_ｍが作業者６０２にとって最適な報酬となりうるかを推定するものであり、機器６００を通じて行動を制御すると言い換えてもよい。

その効果としては、直接的な指南であった場合に、個々人に適合しない指示となり、かえって習熟時間がかかったり、個人にあった最適な行動とならなかったりするケースも多いなか、間接的な指示によって、理想の行動を促すことによって、作業者の行動が最適化に導かれると同時に、機器側の制御も進化して適合することが効果として考えられる。

さらには、機器側の機器制御の学習と、作業者側の行動制御の学習とを繰り返すことによる相互進化のような効果も得られるということがいえる。

ここで、作業最適化システム１００では、機器制御パタン１９１のパラメータ（速度といった機器の動かし方をチューニングするためのパラメータ）を変更することで、アクションａ_ｍを変更し、そのときの機器制御パタン１９１とパラメータとの組合せを行動制御パタンとしている。次に、行動制御パタンの生成方法について図７を用いて説明する。

図７は、行動制御パタン生成部１６０が行動制御パタン１９２を生成する処理（行動制御パタン生成処理）に係るフローチャートの一例を示す図である。

まず、評価部１３０は、撮影装置１１０から取得したデータを用いて作業者計測部１２０にて得た行動データ（作業）と、所定の目標値（目標値７００）とを取得する（ステップＳ７０１）。なお、目標値５００と目標値７００とは、同じであっていてもよいし、異なっていてもよい。

続いて、評価部１３０は、作業者計測部１２０で計測された作業を目標値に基づいて評価（行動評価）を実行する（ステップＳ７０２）。例えば、評価部１３０は、ステップＳ５０２と同様に評価を行い、行動の優劣を比較する。

続いて、行動制御パタン生成部１６０は、行動制御パタン生成処理を終了するか否かを判定する（ステップＳ７０３）。行動制御パタン生成部１６０は、終了すると判定した場合、ステップＳ７０５に処理を移し、終了しないと判定した場合、ステップＳ７０４に処理を移す。なお、終了の判断については、行動評価値に変化が見られない、所定の回数実行した、目標値との誤差がしきい値未満になったなど、事前に決めた基準に従って行われる。

ステップＳ７０４では、行動制御パタン生成部１６０は、行動評価の結果、しきい値より高い評価を得ることができた行動制御パタンを、理想的な行動制御パタンとして更新する。例えば、行動制御パタン生成部１６０は、しきい値より高いと判定した機器制御パタン（機器制御パタンを識別可能な識別子であってもよい。）とパラメータとを含む行動制御パタンを生成する。

なお、行動制御パタン生成部１６０は、行動制御パタン（作業者の行動制御を可能とする機器制御パタンのパラメータ）を変更したものに対して、逐次評価を繰り返す。例えば、機器のアームの移動速度が第１の速度である行動制御パタンの場合、丁寧にワークを積み重ねるが移動に要する時間は長く、機器のアームの移動速度が第１の速度よりも速い第２の速度である行動制御パタンの場合、雑にワークを積み重ねるが移動に要する時間は短い。前者の場合には、作業者の待ち時間での十分なワークの確認や調整の時間を必要とするが効率が低くなり、単調な作業によるミスを誘発するなど、個々人によっての適合性によっては適さない場合もある。他方、後者の場合には、非常に早い速度であるが、そういった作業の適合性が高い作業者にとっては、効率よく作業することもできる。

上記は非常に単純なケースを記載した。ここで、行動制御パタンには、速度や正確さのような一般的な機器精度と考えられるものもあるが、異なる行動制御パタンも考えうる。一般的に、正確なリズムでの作業が工場機械にとって理想とされる傾向があるが、ランダムなゆらぎやノイズのような動きを入れることで、作業者に対して注意喚起や作業の多様性を与えることによる、ストレスや集中力の低下を防ぐことも期待できる。逆にそういった作業を望まないケースもある。

さらには、作業の時間帯や作業の継続時間、現在の環境や身体の状態など作業者に関わる情報を加味することによって、より適切な行動制御パタンを適用することができる。例えば、午前中に対して午後は疲労から作業の正確性が低下するという事前情報があった場合に、作業のスピードを適切にコントロールするなども考えられる。

このように、どの行動制御パタンが作業者にとっての報酬（良い状態に導くパタン）になるのかという逆強化学習を行うこととなる。

また、ステップＳ７０４では、行動制御パタン生成部１６０は、機器の制御に用いた機器制御パタンのパラメータと作業者の作業に係る状態を示す指標と関連付けた情報（パラメータ指標関連情報）を行動制御パタンに対応付けてＨＤＤに記憶してもよい。作業者の作業に係る状態を示す指標として、体力面な指標、精神面な指標などが設けられている。

図８は、作業者の作業に係る状態を示す指標の一例（指標テーブル８００）を示す図である。図８に示すように、ある機器制御パタンの場合、どういった行動計画に効果的であるのかといった情報が指標テーブル８００に記憶されている。これは、業種により異なっており、それぞれの機器制御パタンについて定義される。

より具体的には、指標テーブル８００には、機器制御パタン８０１ごとに、習熟レベル８０２、移動量８０３、集中力８０４、精密さ８０５、ストレス８０６、作業実績８０７といった指標に係る情報が格納されている。なお、指標テーブル８００には、上述したように、作業者に関わる情報が含まれていてもよい。

また、パラメータ指標関連情報の一例（近似曲線９００）を図９に示す。なお、パラメータ指標関連情報は、指標およびパラメータごとに生成されている。

例えば、作業者が疲れてきた場合、移動量８０３の近似曲線９００を用い、しきい値を満足する範囲内でパラメータを変更することができるようになる。また、例えば、作業者の作業が雑になってきた場合、精密さ８０５の近似曲線９００を用い、しきい値を満足する範囲内でパラメータを変更することができるようになる。また、例えば、一日のノルマが変更された場合、作業実績８０７の近似曲線９００を用い、しきい値を満足する範囲内でパラメータを変更することができるようになる。このように、パラメータ指標関連情報によれば、現在の状態に応じて、しきい値を満足する範囲内でパラメータを変更することができるようになる。

ステップＳ７０５では、行動制御パタン生成部１６０は、作業者に最適な行動制御パタンを行動制御パタン１９２として保存する。

ここでは、行動制御パタンが作業者ごとに異なっており、ある作業を実行する際にどういった機器の動きであれば、最適な作業となるのかという報酬が学習された状態となる。

上述した構成によれば、例えば、機器の最適な機器制御パタンを取得すると共に、その機器制御パタンを別の作業者への行動制御に活用することによって、機器の性能を十分に引き出すことができ、かつ、個人にあった最適な作業となり、全体の効率を最大化することができる。

また、上述した構成によれば、例えば、機器側も機器制御を最適化できるので、機器と作業者との組み合わせで最適な行動制御パタンを生成し、効率を最大化することが可能である。

また、上述した構成によれば、例えば、最適な機器制御パタンを取得できると共に、人の行動制御も可能となるため、熟練者に近い形で作業を習熟させることができる。

また、上述した構成によれば、例えば、行動制御パタンは、個人の嗜好や動作パタンに関連する項目であるため、ある機器で生成した行動制御パタンおよび／またはパラメータ指標関連情報は、別の機器への活用が可能であるといった、展開しやすさも効果として考え得る。

以上、本実施の形態によれば、規範の事例となる熟練者の行動と、作業効率などの目標が最も高い機器制御パタンとを事前に取得しておき、非熟練者のような最適な作業が即時には実行できない場合に、事前に取得した機器制御パタンを介して、非熟練者の作業を熟練者の作業に導くことで、結果として作業者の行動が最適化され、生産目標、高効率な作業などに近づけることの効果を得ることができる。また、例えば、作業者の状態を示す指標を設けることで、個人に合った行動制御を行うことの効果を得ることができる。また、例えば、現在の状態に応じた行動制御を行うことの効果を得ることができる。

このように、予め学習した機器制御パタンをもとに、作業者への行動評価と報酬学習とを行うことで、作業者の習熟度を機器側の変化によって促すことができる作業最適化システムおよび作業最適化装置を提供することが可能である。

なお、本実施の形態では、機器制御パタンの更新など、繰り返し相互に深化する形式については図示していないが、当然、繰り返す構成を採用し、相互進化が可能なようにしてもよい。

（２）他の実施の形態
なお上述の実施の形態においては、本発明を作業最適化システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

上述した構成によれば、機器の効率を最大化しつつ、作業者の行動を制御することができる。

１００……作業最適化システム、１１０……撮影装置、１２０……作業者計測部、１３０……評価部、１４０……目標指示部、１５０……機器計測部、１６０……行動制御パタン生成部、１７０……行動制御計画部、１８０……機器制御部、１９１……機器制御パタン、１９２……行動制御パタン。

Claims

機器の機器制御パタンと前記機器制御パタンのパラメータとに基づいて前記機器の制御を行う機器制御部と、
前記機器制御部により前記機器の制御が行われている際、センサにより取得された前記機器と協働して作業を行う作業者のセンサ情報から、前記作業者の作業を計測する作業者計測部と、
前記作業者計測部で計測された作業を所定の目標値に基づいて評価する評価部と、
前記評価部による評価がしきい値より高いか否かを判定し、高いと判定した場合、高いと判定した前記機器制御パタンのパラメータを含む行動制御パタンを生成する行動制御パタン生成部と、
を備えることを特徴とする作業最適化システム。
前記行動制御パタン生成部は、前記パラメータを他のパラメータに変更し、前記機器制御パタンと、変更した他のパラメータとを用いて前記機器を制御するように前記機器制御部に指示を与える、
ことを特徴とする請求項１に記載の作業最適化システム。
前記行動制御パタン生成部により生成された行動制御パタンの中から、一の行動制御パタンを選択する行動制御計画部を備え、
前記機器制御部は、前記行動制御計画部により選択された行動制御パタンに基づいて前記機器の機器制御パタンと前記機器制御パタンのパラメータとを特定して前記機器の制御を行う、
ことを特徴とする請求項２に記載の作業最適化システム。
前記評価部は、前記作業者の作業に係る状態を示す指標が前記所定の目標値を超えるか否かを判定し、超えると判定した場合、超えないと判断したときと比べて高い評価を行う、
ことを特徴とする請求項３に記載の作業最適化システム。
前記行動制御パタン生成部は、前記機器の機器制御パタンのパラメータと前記作業者の作業に係る状態を示す指標とを関連付けた情報であるパラメータ指標関連情報を前記パラメータを含む行動制御パタンに対応付けて記憶し、
前記行動制御計画部は、現在の状態を示す指標がしきい値を超えるか否かを判定し、超えないと判定した場合、前記パラメータ指標関連情報に基づいて現在の状態を示す指標がしきい値を超える行動制御パタンを特定し、選択している行動制御パタンを、特定した行動制御パタンに変更する、
ことを特徴とする請求項３に記載の作業最適化システム。
機器の機器制御パタンと前記機器制御パタンのパラメータとに基づいて前記機器の制御を行う機器制御部と、
前記機器制御部により前記機器の制御が行われている際、センサにより取得された前記機器と協働して作業を行う作業者のセンサ情報から、前記作業者の作業を計測する作業者計測部と、
前記作業者計測部で計測された作業を所定の目標値に基づいて評価する評価部と、
前記評価部による評価がしきい値より高いか否かを判定し、高いと判定した場合、高いと判定した前記機器制御パタンのパラメータを含む行動制御パタンを生成する行動制御パタン生成部と、
を備えることを特徴とする作業最適化装置。