JP7383999B2 - 協調作業システム、解析装置および解析プログラム - Google Patents

Description

本発明は、協調作業システム、解析装置および解析プログラムに関する。

工場等の生産現場における作業工程の実施状況を撮像した撮像データを、当該作業工程の改善等に利用する試みが知られている。例えば、特開２０１９－０２３８０３号公報（特許文献１）は、作業現場に配置された複数のカメラで撮影した作業映像データを解析して、作業者が実際に作業を行うことのできた時間である実作業時間を検出し、検出した実作業時間を用いてボトルネックとなっている作業工程を特定する技術を開示する。

特開２０１９－０２３８０３号公報

上述の特許文献１に開示される技術は、セル生産方式などの作業者の作業に着目するものに過ぎず、人とロボットとが協調して作業する協調作業システムについては、何ら想定されていない。本発明は、このような新たな課題に対する解決手段を提供するものであり、作業者と協調して作業を行う１または複数の協調作業ロボットを含む協調作業システムにおける生産性を向上させるための情報を提供するものである。

本発明の一実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムが提供される。協調作業システムは、作業者と協調して作業を行う１または複数の協調作業ロボットと、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを含む。

この構成によれば、協調作業システムにおいて、任意の位置で作業者と協調作業ロボットとの作業分担を変更しようとした場合に、現実に作業分担を変更した上で生産を行うことなく、事前に当該作業分担による影響を評価できる。すなわち、任意の位置で作業分担を変更した場合に生じるであろう作業時間を事前に見積もることができ、これによって、対象の協調作業システムにおける作業者とロボットとの間の最適な作業分担を決定できる。

適合性評価部は、作業者と協調作業ロボットとの距離が小さいほど、適合性が低いと決定してもよい。この構成によれば、協調作業ロボットの動作速度が抑制される可能性に基づいて、適合性の大きさをより正確に決定できる。

適合性評価部は、作業者と協調作業ロボットとが接近している期間が長いほど、適合性が低いと決定してもよい。この構成によれば、協調作業ロボットの動作速度が抑制され得る時間に基づいて、適合性の大きさをより正確に決定できる。

協調作業システムは、切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、作業切り替えの適合性の大きさとに基づいて決定する作業時間算出部をさらに含んでいてもよい。この構成によれば、作業者と協調作業ロボットと作業分担を変更した場合の影響を、作業切り替えの適合性の大きさに基づいて、数値的に評価できる。

協調作業システムは、作業者と協調作業ロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する出力部をさらに含んでいてもよい。この構成によれば、ユーザは、作業者と協調作業ロボットとの作業分担のうち、いずれの作業分担が好ましいのかを容易に把握できる。

作業時間算出部は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定してもよい。この構成によれば、より粒度の細かい単位で作業者および協調作業ロボットの作業時間を算出できる。

作業時間算出部は、センシングデバイスによる少なくとも作業者を含む領域のセンシング結果に基づいて、作業者の特徴点を抽出する特徴点抽出部と、センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、特徴点抽出部により抽出される作業者の特徴点、および、物体認識部により認識される物体の位置および種類に基づいて、作業者による要素作業毎に開始および終了のタイミングを決定する第１のタイミング決定部とを含んでいてもよい。この構成によれば、作業者の作業を要素作業の単位で算出できる。

作業時間算出部は、協調作業ロボットからの制御状態に基づいて協調作業ロボットのステータスを管理するステータス管理部と、協調作業ロボットのステータスに対応する挙動に基づいて、協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第２のタイミング決定部とを含んでいてもよい。この構成によれば、協調作業ロボットの作業を要素作業の単位で算出できる。

本発明の別の一実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析装置が提供される。協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含む。解析装置は、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを含む。

本発明のさらに別の一実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムが提供される。協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含む。解析プログラムはコンピュータに、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出するステップと、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価するステップとを実行させる。

本発明によれば、作業者と協調して作業を行う１または複数の協調作業ロボットを含む協調作業システムにおける生産性を向上させるための情報を提供できる。

本発明が適用される場面の一例を示す模式図である。 本実施の形態に係る協調作業システムの一例を示す外観図である。 本実施の形態に係る協調作業システムの一例を示す外観図である。 本実施の形態に係る協調作業システムのハードウェア構成例を示す図である。 本実施の形態に係る協調作業システムを構成するＰＬＣのハードウェア構成例を示す模式図である。 本実施の形態に係る協調作業システムを構成する解析装置のハードウェア構成例を示す模式図である。 本実施の形態に係る協調作業システムを構成するロボットのハードウェア構成例を示す模式図である。 本実施の形態に係る協調作業システムにおける作業の解析例を説明するための図である。 本実施の形態に係る協調作業システムにおける作業解析に係る要部を示す模式図である。 本実施の形態に係る協調作業システムにおける作業者による要素作業の解析に係る要部を示す模式図である。 本実施の形態に係る協調作業システムにおけるロボットによる要素作業の解析に係る要部を示す模式図である。 本実施の形態に係る協調作業システムにおける作業の解析に係る処理手順を示すフローチャートである。 本実施の形態に係る協調作業システムが出力する要素作業の解析結果の一例を示す図である。 本実施の形態に係る協調作業システムが出力する解析結果の表示例を示す図である。 本実施の形態に係る協調作業システムが算出する切り替えロススコアを説明するための図である。 本実施の形態に係る協調作業システムにおける切り替えロススコアの算出方法を説明するための図である。 本実施の形態に係る協調作業システムにおける切り替えロススコアを算出するための処理手順を示すフローチャートである。 本実施の形態に係る協調作業システムにおける生産工程の改善提案に係る機能構成例を示す模式図である。 本実施の形態に係る協調作業システムにおける生産工程の改善提案に係るユーザインターフェイス画面の一例を示す模式図である。 本実施の形態に係る協調作業システムにおける生産工程の改善提案に係る処理手順を示すフローチャートである。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。図１は、本発明が適用される場面の一例を示す模式図である。

本実施の形態は、予め定められた工程に沿って製品を生産する協調作業システム１に向けられている。協調作業システム１は、作業者と協調して作業を行う１または複数の協調作業ロボットを含む。

協調作業システム１は、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出することができる。

さらに、図１に示すように、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価することができる。

本実施の形態に係る協調作業システム１においては、作業者と協調作業ロボットとの間の作業分担を比較的自由に変更することができる。

本明細書において、「作業切り替えの適合性」は、作業者と協調作業ロボットとの間で作業の担当を切り替える場合に、切り替えるという動作によって生じる時間的な損失（ロス）の度合いを意味する。言い換えれば、そのような作業の切り替えがない場合に、作業者および協調作業ロボットがそれぞれ要するであろう作業時間に対して、切り替えるという動作が生じることで、どれだけ余分な作業時間が必要になるのかといった度合いを意味する。

以下では、「作業切り替えの適合性」として、特定の指標（スコア）を用いる例について説明するが、これに限らず任意の指標あるいはファクタなどを用いることができる。

「作業切り替えの適合性」を用いることで、作業者と協調作業ロボットとの間の作業分担の見直しをより的確に行うことができる。

＜Ｂ．協調作業システム１＞
次に、本実施の形態に係る協調作業システム１の一例について説明する。図２および図３は、本実施の形態に係る協調作業システム１の一例を示す外観図である。

図２および図３に示す協調作業システム１の構成例は、作業者および協調作業ロボット（以下、単に「ロボット」と略称する。）が協調して製品を生産する生産工程を示す。すなわち、ロボットは作業者と協調して作業を行う。

一例として、任意の製品を組み立てる生産セル方式の製造装置が示される。協調作業システム１は、予め定められた工程に沿って製品を生産するものであり、一例として、以下の５つの工程１～５を含む。

工程１では、２つのワーク（例えば、基板とケース）の組み付けが行われる。
工程２では、さらに別のワーク（例えば、カバー）の組み付け行われる。

工程３では、およびネジ締めが行われる。
工程４では、半製品への印字および印字検査が行われる。

工程５では、半製品の外観検査が行われる。
図２に示す協調作業システム１は、工程１～工程５に対応付けて、作業ステージ１１Ｍ、作業ステージ１２Ｍ、作業ステージ１３Ａ、作業ステージ１４Ａ、作業ステージ１５Ａを含む。各ステージの参照符号の最後の文字「Ｍ」は作業者（人手）による作業を意味し、「Ａ」はロボットによる作業を意味する。

図３に示す協調作業システム１は、工程２に対応付けられた作業ステージ１２Ｍに代えて、作業ステージ１２Ａが配置されている。すなわち、図２に示す協調作業システム１においては、工程２が作業者で実行されるのに対して、図３に示す協調作業システム１においては、工程２がロボットで実行される。

このように、本実施の形態に係る協調作業システム１においては、各工程を作業者またはロボットのいずれでも処理可能になっている。協調作業システム１は、各工程について、作業者またはロボットのいずれで処理するのかを最適化するための情報を提供する。

図２および図３には、１または複数の作業者およびロボットが協調して製品を完成させる、セル生産方式の一例を示すが、本発明の技術的範囲は、セル生産方式に限らず、コンベア方式／ライン方式を含む、作業者およびロボットが協調する任意の生産方式を含む。

図４は、本実施の形態に係る協調作業システム１のハードウェア構成例を示す図である。図４を参照して、協調作業システム１は、制御装置の一例であるＰＬＣ１００と、後述するような各種解析処理を実行する解析装置２００と、作業者２０と協調して作業を行うロボット３００と、作業者２０に対して各種情報を提示する表示操作装置４００と、ＰＬＣ１００で実行されるユーザプログラムの開発などを行うサポート装置５００と、協調作業システム１における生産管理を行う生産管理システム６００とを含む。これらの装置は、１または複数種類のネットワークを介して、データ通信可能に構成される。

図４に示す例では、フィールドネットワーク２を介して、ＰＬＣ１００、解析装置２００、ロボット３００、表示操作装置４００が接続されている。フィールドネットワーク２には、１または複数のカメラ３０が接続されている。カメラ３０により撮像される画像に基づいて、作業者２０およびロボット３００の挙動が解析され、各工程および各工程内の作業の状態などが推定される。また、上位ネットワーク４を介して、ＰＬＣ１００および生産管理システム６００が接続されている。

なお、図４に示すネットワーク構成は一例であり、どのようなネットワーク構成を採用してもよい。

＜Ｃ．協調作業システム１のハードウェア構成例＞
次に、協調作業システム１を構成する主要装置のハードウェア構成例について説明する。

（ｃ１：ＰＬＣ１００）
図５は、本実施の形態に係る協調作業システム１を構成するＰＬＣ１００のハードウェア構成例を示す模式図である。図５を参照して、ＰＬＣ１００は、プロセッサ１０２と、メインメモリ１０４と、ストレージ１１０と、上位ネットワークコントローラ１０６と、フィールドネットワークコントローラ１０８と、ＵＳＢ（Universal Serial Bus）コントローラ１２０と、メモリカードインターフェイス１１２と、ローカルバスコントローラ１１６とを含む。これらのコンポーネントは、プロセッサバス１１８を介して接続されている。

プロセッサ１０２は、様々な制御演算を実行する演算処理部に相当し、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで構成される。具体的には、プロセッサ１０２は、ストレージ１１０に格納されたプログラム（一例として、システムプログラム１１０２およびユーザプログラム１１０４）を読出して、メインメモリ１０４に展開して実行することで、制御対象に応じた制御演算、および、後述するような各種処理を実現する。

メインメモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性記憶装置などで構成される。ストレージ１１０は、例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などの不揮発性記憶装置などで構成される。

ストレージ１１０には、基本的な機能を実現するためのシステムプログラム１１０２、制御対象に応じて作成されたユーザプログラム１１０４、および協調作業システム１で生産される製品に応じた処理内容を規定したレシピプログラム１１０６が格納される。

上位ネットワークコントローラ１０６は、上位ネットワーク４を介して、任意の情報処理装置との間でデータを遣り取りする。

フィールドネットワークコントローラ１０８は、フィールドネットワーク２を介して任意のデバイスとの間でデータを遣り取りする。

ＵＳＢコントローラ１２０は、ＵＳＢ接続を介して、サポート装置５００などとの間でデータを遣り取りする。

メモリカードインターフェイス１１２は、着脱可能な記憶媒体の一例であるメモリカード１１４を受け付ける。メモリカードインターフェイス１１２は、メモリカード１１４に対して任意のデータの読み書きが可能になっている。

ローカルバスコントローラ１１６は、ローカルバスを介して、ＰＬＣ１００に装着される任意の機能ユニットとの間でデータを遣り取りする。

（ｃ２：解析装置２００）
図６は、本実施の形態に係る協調作業システム１を構成する解析装置２００のハードウェア構成例を示す模式図である。図６を参照して、解析装置２００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いて実現される。

図６を参照して、解析装置２００は、プロセッサ２０２と、メインメモリ２０４と、入力部２０６と、表示部２０８と、ストレージ２１０と、光学ドライブ２１２と、フィールドネットワークコントローラ２２０と、上位ネットワークコントローラ２２２とを含む。これらのコンポーネントは、プロセッサバス２１８を介して接続されている。

プロセッサ２０２は、ＣＰＵやＧＰＵなどで構成され、ストレージ２１０に格納されたプログラム（一例として、ＯＳ２１０２および解析プログラム２１０４）を読出して、メインメモリ２０４に展開して実行することで、後述するような各種処理を実現する。

メインメモリ２０４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２１０は、例えば、ＨＤＤやＳＳＤなどの不揮発性記憶装置などで構成される。

ストレージ２１０には、基本的な機能を実現するためのＯＳ２１０２および後述するような各種解析処理を実行するための解析プログラム２１０４が格納される。

入力部２０６は、キーボードやマウスなどで構成され、ユーザ操作を受け付ける。表示部２０８は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ２０２からの処理結果などを出力する。

解析装置２００は、光学ドライブ２１２を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記憶媒体２１４（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記憶媒体）から、その中に格納されたプログラムが読み取られてストレージ２１０などにインストールされる。

解析装置２００で実行される解析プログラム２１０４などは、コンピュータ読取可能な記憶媒体２１４を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に係る解析装置２００が提供する機能は、ＯＳが提供するモジュールの一部を利用する形で実現される場合もある。

フィールドネットワークコントローラ２２０は、フィールドネットワーク２を介して任意のデバイスとの間でデータを遣り取りする。上位ネットワークコントローラ２２２は、上位ネットワーク４を介して、任意の情報処理装置との間でデータを遣り取りする。

（ｃ３：ロボット３００）
図７は、本実施の形態に係る協調作業システム１を構成するロボット３００のハードウェア構成例を示す模式図である。図７を参照して、ロボット３００は、フィールドネットワークコントローラ３０２と、ロボット３００の駆動に係る演算処理を実行するための主制御部３１０と、インターフェイス回路３２０とを含む。

フィールドネットワークコントローラ３０２は、フィールドネットワーク２を介して任意のデバイスとの間でデータを遣り取りする。

主制御部３１０は、プロセッサ３１２と、メインメモリ３１４と、ストレージ３１６とを含む。プロセッサ３１２は、ＣＰＵやＧＰＵなどで構成され、ストレージ３１６に格納されたプログラム（一例として、システムプログラム３１７およびレシピプログラム３１８）を読出して、メインメモリ３１４に展開して実行することで、ロボット３００の駆動に係る各種処理を実現する。

メインメモリ３１４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ３１６は、例えば、ＳＳＤやＨＤＤなどの不揮発性記憶装置などで構成される。

インターフェイス回路３２０は、ロボット３００に設けられた各種デバイスとの間で信号を遣り取りする。より具体的には、インターフェイス回路３２０は、センサ３２２と、アクチュエータ３２４と、１または複数のモータドライバ３２６と接続されている。

センサ３２２は、ロボット３００のアーム部などに配置されており、ロボット３００の周囲の情報を収集する。作業者２０とロボット３００との協調作業においては、通常、ロボット３００の近傍に作業者２０が位置している場合には、ロボット３００の動作速度を予め定められた制限値以下に抑制する必要がある。センサ３２２を用いて、作業者２０とロボット３００との接近を検出するようにしてもよい。

アクチュエータ３２４は、ロボット３００のアーム部などに配置されており、作業者２０に対して各種通知を行うとともに、ワークに対するアクションなどを行う。モータドライバ３２６は、電気的に接続されたサーボモータ３２８を駆動する。サーボモータ３２８は、ロボット３００のメカ体（アームや関節など）と機械的に接続されている。主制御部３１０がインターフェイス回路３２０を介してモータドライバ３２６に指令を与えることで、ロボット３００を任意に動作させることができる。

（ｃ４：表示操作装置４００）
表示操作装置４００は、一例として、汎用的なアーキテクチャに従うハードウェアを用いて実現される。表示操作装置４００のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。

（ｃ５：サポート装置５００）
サポート装置５００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いて実現される。サポート装置５００のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。

（ｃ６：生産管理システム６００）
生産管理システム６００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いたサーバにより実現される。生産管理システム６００のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。

＜Ｄ．作業解析＞
本実施の形態に係る協調作業システム１は、作業者とロボットとの協調作業の解析やリバランスなどを容易化するための情報を提供する。ここで、作業の解析について説明する。

図８は、本実施の形態に係る協調作業システム１における作業の解析例を説明するための図である。図８を参照して、複数の工程からなる工程全体４０を最上位の単位として捉えて、各工程の工程内４１は、複数の作業からなる。工程内４１の各作業は、１または複数の要素作業４２に分解できる。要素作業４２の各々は、１または複数の動作４３に分解できる。動作４３の各々は、１または複数の単位動作４４に分解できる。

このように、様々な生産工程における作業者あるいはロボットの挙動は、工程、作業、要素作業、動作、単位動作といった具合に分解できる。

本実施の形態に係る協調作業システム１においては、作業者およびロボットの挙動を要素作業の単位まで解析することができる。

図９は、本実施の形態に係る協調作業システム１における作業解析に係る要部を示す模式図である。図９を参照して、解析装置２００は、各工程が作業者およびロボットのいずれが担当する場合であっても、各工程を要素作業の単位で解析できる。より具体的には、解析装置２００は、作業者用要素作業認識部２５０と、ロボット用要素作業認識部２６０と、解析処理エンジン２７０とを含む。これらの要素は、典型的には、解析装置２００のプロセッサ２０２が解析プログラム２１０４を実行することで実現される。

作業者用要素作業認識部２５０およびロボット用要素作業認識部２６０は、作業者およびロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部に相当する。

解析処理エンジン２７０は、生産管理システム６００からの生産管理情報に基づいて、作業者用要素作業認識部２５０およびロボット用要素作業認識部２６０に対して、作業者およびロボットの作業分担の情報を事前に与える。生産管理情報は、各工程を作業者およびロボットのいずれが担当するのかという担当情報、作業者が担当する場合の担当者の識別情報、オーダ情報（生産対象の製品の品種などの情報を含む）、およびロット番号などを含む。

作業者用要素作業認識部２５０は、対象の工程が作業者によって担当される場合に、当該工程における作業者が行う要素作業毎の開始および終了のタイミング、ならびに、要素作業に要する時間を解析する。一方、ロボット用要素作業認識部２６０は、対象の工程がロボットによって担当される場合に、当該工程におけるロボットが行う要素作業毎の開始および終了のタイミング、ならびに、要素作業に要する時間を解析する。

なお、各工程に含まれる要素作業の種類は、予め工程設計において決定されているとする。すなわち、各工程に含まれる要素作業の種類は既知である。

作業者用要素作業認識部２５０は、カメラ３０などの１または複数のセンシングデバイスによる検出結果に基づいて、作業者の動きなどを解析して、いずれの要素作業を行っているのかを特定する。

センシングデバイスとしては、通常のカメラ（２Ｄカメラ）でもよいし、ステレオカメラ（３Ｄカメラ）であってもよい。あるいは、レーザスキャナや測距センサなどの物体までの距離プロファイルを取得できるようなセンシングデバイスを用いてもよい。

図１０は、本実施の形態に係る協調作業システム１における作業者による要素作業の解析に係る要部を示す模式図である。図１０を参照して、解析装置２００の作業者用要素作業認識部２５０は、特徴点抽出部２５１と、物体認識部２５２と、動作認識部２５３と、工程データベース２５４と、要素作業決定部２５５とを含む。

特徴点抽出部２５１は、センシングデバイスによる少なくとも作業者を含む領域のセンシング結果（典型的には、画像）に基づいて、作業者の特徴点（骨格や関節など）を抽出する。

物体認識部２５２は、センシングデバイスからのセンシング結果（典型的には、画像）に基づいて、作業ステージ上などにある物体の位置および種類を認識する。

動作認識部２５３は、特徴点抽出部２５１により抽出された作業者の特徴点と、物体認識部２５２により抽出された物体の位置および種類とに基づいて、作業者の動作を認識する。動作認識部２５３は、例えば、予め機械学習によって生成された学習済みモデルを用いて実現してもよいし、ルールベースの決定ロジックを用いて実現してもよい。動作認識部２５３は、認識した作業者の各時間における位置を特定するための情報を含む軌跡データを出力してもよい。軌跡データは、各時間における作業者の位置を示す情報を含む。

要素作業決定部２５５は、工程データベース２５４を参照して、動作認識部２５３により認識される作業者の動作に基づいて、工程内の要素作業の種類ならびに開始および終了のタイミングを決定する。このように、要素作業決定部２５５は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定する。

工程データベース２５４は、各工程に含まれる要素作業および各要素作業に対応する動作に関する情報を含む。要素作業決定部２５５は、生産管理情報に基づいて、実行中の工程を特定するとともに、工程データベース２５４を参照して、特定した工程に含まれる要素作業および対応する動作を取得する。要素作業決定部２５５は、工程データベース２５４から取得した情報と、認識された作業者の動作とを比較することで、工程内の要素作業の種類ならびに開始および終了のタイミングを決定する。

このように、動作認識部２５３、工程データベース２５４および要素作業決定部２５５は、第１のタイミング決定部に相当し、特徴点抽出部２５１により抽出される作業者の特徴点、および、物体認識部２５２により認識される物体の位置および種類に基づいて、作業者による要素作業毎に開始および終了のタイミングを決定する。

作業者用要素作業認識部２５０は、センシングデバイスによる検出結果に加えて、ＰＬＣ１００および／またはロボット３００から取得した制御状態に基づいて、各工程における作業者が行う各要素作業の開始および終了のタイミングを判断するようにしてもよい。この場合は、後述するようなロボット用要素作業認識部２６０における判断処理を採用できる。

作業者用要素作業認識部２５０は、各要素作業の開始および終了のタイミングを示す時刻などを出力してもよい。

一方、ロボット用要素作業認識部２６０は、ＰＬＣ１００および／またはロボット３００から取得した制御状態に基づいて、各工程におけるロボットが行う各要素作業の開始および終了のタイミングを判断する。ＰＬＣ１００および／またはロボット３００から取得する制御状態は、例えば、ユーザプログラムが参照するステータスを示す変数値、ユーザプログラムの実行中の命令行、実行中のレシピ番号などを含む。さらに、ＰＬＣ１００および／またはロボット３００から取得する制御状態は、ロボット３００の各関節の角度、アーム先端座標、アーム動作速度などを含んでいてもよい。

図１１は、本実施の形態に係る協調作業システム１におけるロボットによる要素作業の解析に係る要部を示す模式図である。図１１を参照して、解析装置２００のロボット用要素作業認識部２６０は、ＰＬＣ通信部２６１と、ロボット通信部２６２と、ステータス管理部２６３と、レシピプログラム２６４と、要素作業決定部２６５と、工程データベース２６６とを含む。

ＰＬＣ通信部２６１は、ＰＬＣ１００から制御状態を取得する。ロボット通信部２６２は、ロボット３００から制御状態を取得する。

ステータス管理部２６３は、レシピプログラム２６４を参照して、ＰＬＣ通信部２６１およびロボット通信部２６２により取得された制御状態に基づいて、現在のロボット３００のステータスを決定する。レシピプログラム２６４は、ＰＬＣ１００およびロボット３００で実行されるプログラムの複製あるいは主要部を含む。すなわち、ステータス管理部２６３は、ＰＬＣ１００およびロボット３００の制御状態に基づいて、現在実行されているプログラムの内容を特定することで、現在のステータスを決定する。このように、ステータス管理部２６３は、ロボット３００からの制御状態に基づいてロボット３００のステータスを管理する。

また、ステータス管理部２６３は、取得したロボット３００の各時間における位置を特定するための情報を含む軌跡データを出力してもよい。軌跡データは、各時間におけるロボット３００の位置および姿勢を示す情報を含む。

要素作業決定部２６５は、工程データベース２６６を参照して、ステータス管理部２６３により決定されたステータスに基づいて、工程内の要素作業の種類ならびに開始および終了タイミングを決定する。このように、要素作業決定部２６５は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定する。

工程データベース２６６は、各工程に含まれる要素作業および各要素作業に対応する動作に関する情報を含む。要素作業決定部２６５は、生産管理情報に基づいて、実行中の工程を特定するとともに、工程データベース２６６を参照して、特定した工程に含まれる要素作業および対応する動作を取得する。要素作業決定部２６５は、工程データベース２６６に含まれる取得されたステータスに対応する情報に基づいて、工程内の要素作業の種類ならびに開始および終了タイミングを決定する。

このように、要素作業決定部２６５および工程データベース２６６は、第２のタイミング決定部に相当し、ロボットのステータスに対応する挙動に基づいて、ロボット３００による要素作業毎に開始および終了のタイミングを決定する。

また、ロボット用要素作業認識部２６０は、カメラ３０などの１または複数のセンシングデバイスによる検出結果に少なくとも一部基づいて、各工程におけるロボットが行う要素作業毎の開始および終了のタイミングを判断するようにしてもよい。この場合は、上述したような作業者用要素作業認識部２５０における判断処理を採用できる。

ロボット用要素作業認識部２６０は、各要素作業の開始および終了のタイミングを示す時刻などを出力してもよい。

図１２は、本実施の形態に係る協調作業システム１における作業の解析に係る処理手順を示すフローチャートである。図１２に示す各ステップは、典型的には、解析装置２００のプロセッサ２０２が解析プログラム２１０４を実行することで実現される。

図１２を参照して、解析装置２００は、解析対象の生産管理情報を取得する（ステップＳ１００）。解析装置２００は、解析対象の所定期間に亘る、カメラ３０により撮像された画像を取得する（ステップＳ１０２）とともに、ＰＬＣ１００および／またはロボット３００の制御状態を取得する（ステップＳ１０４）。なお、解析装置２００は、付加的な情報をさらに取得してもよい。

解析装置２００は、取得した画像に対して作業者２０の特徴点（骨格や関節など）を抽出する（ステップＳ１０６）とともに、作業ステージ上などにある治具などの物体の位置および種類を認識する（ステップＳ１０８）。そして、解析装置２００は、解析対象の所定期間に亘る、作業者２０の動作を認識する（ステップＳ１１０）。すなわち、解析装置２００は、作業者２０についての軌跡データを生成する。

また、解析装置２００は、レシピプログラム２６４を参照して、取得された制御状態に基づいて、解析対象の所定期間に亘る、ロボット３００のステータスおよび位置を決定する（ステップＳ１１２）。すなわち、解析装置２００は、ロボット３００についての軌跡データを生成する。

解析装置２００は、取得した生産管理情報および工程データベース２６６を参照して、各工程が作業者２０およびロボット３００のいずれが担当するのかを判断し（ステップＳ１１４）、各工程の担当に応じて、作業者２０の動作またはロボット３００のステータスおよび位置に基づいて、要素作業毎に開始および終了のタイミングを決定し（ステップＳ１１６）、各要素作業の作業時間を算出する（ステップＳ１１８）。

そして、解析装置２００は、算出した各要素作業の作業時間を含む解析結果を出力する（ステップＳ１２０）。以上により、作業の解析に係る処理は終了する。

図１２に示す処理は、生産工程での生産活動に同期してほぼリアルタイムで実行されてもよいし、事後的に実行されてもよい。

図１３は、本実施の形態に係る協調作業システム１が出力する要素作業の解析結果の一例を示す図である。図１３を参照して、要素作業の解析結果７００は、工程欄７０１と、工程内欄７０２と、要素作業欄７０３と、開始時刻欄７０４と、終了時刻欄７０５と、作業時間７０６と、担当欄７０７と、生産管理情報欄７０８とを含む。

工程欄７０１には、対象の生産工程に含まれる工程が示される。工程内欄７０２は、対応する工程に含まれる作業が示される。要素作業欄７０３は、対応する作業に含まれる要素作業が示される。開始時刻欄７０４および終了時刻欄７０５は、対応する要素作業の開始および終了の時刻が示される。作業時間７０６は、対応する要素作業に要した時間が示される。

担当欄７０７には、対応する要素作業を作業者およびロボットのいずれが担当するのかといった情報、および、作業者が担当する場合にはその作業者の識別情報が示される。

生産管理情報欄７０８は、対象の解析結果７００が取得された対象の作業を特定するための情報（例えば、オーダ情報およびロット情報など）が示される。

図１４は、本実施の形態に係る協調作業システム１が出力する解析結果の表示例を示す図である。図１４を参照して、各工程に要している作業時間のばらつきも表現できるグラフを用いて、解析結果を表示するようにしてもよい。なお、図１４には、工程の単位で作業時間を表示しているが、これに限らず、要素作業の単位で作業時間を表示してもよい。

以上のように、本実施の形態に係る協調作業システム１は、各工程を作業者およびロボットのいずれが担当する場合であっても、工程、工程に含まれる作業、および作業に含まれる要素作業の単位でどれだけの時間を要しているのかを把握可能な解析結果を提供する。

＜Ｅ．作業切り替えロス推定＞
本実施の形態に係る協調作業システム１は、現実に要している時間の解析に加えて、工程全体に要する時間を低減するために、作業者とロボットとの間での作業分担の変更を事前に評価するための情報を算出することもできる。より具体的には、ある工程の全部または一部の担当を作業者からロボットに変更した場合に、作業切り替えの適合性が算出される。以下、このような作業切り替えの適合性を示す指標の一例として、「切り替えロススコア」を採用する。

図１５は、本実施の形態に係る協調作業システム１が算出する切り替えロススコアを説明するための図である。図１５（Ａ）を参照して、任意の工程を作業者とロボットとで分担する場合を想定する。作業者とロボットとの間で担当が切り替わる位置を切り替えポイントｐ１とする。ここで、生産性を改善するために、図１５（Ｂ）に示すように、作業者とロボットとの間で担当が切り替わる位置を切り替えポイントｐ１から切り替えポイントｐ２に変更する場合を想定する。すなわち、作業者の行っていた作業の一部をロボットが担当する場合を想定する。

切り替えポイントｐ２から切り替えポイントｐ１までの作業に作業者が要していた作業時間をｔ１とし、切り替えポイントｐ２から切り替えポイントｐ１までの作業にロボットが要するであろう作業時間をｔ２’とする。

また、図１５（Ｃ）に示すように、ロボットが切り替えポイントｐ２より前の作業からずっと担当している場合に、切り替えポイントｐ２から切り替えポイントｐ１までの作業にロボットが要した作業時間をｔ２とする。

図１５に示す例において、作業時間ｔ２’は作業時間ｔ２と同一であることが理想的ではあるが、現実的には、作業時間ｔ２’＞作業時間ｔ２である場合が多い。

このように作業時間が増加する理由としては、切り替えポイントにおいては、作業者とロボットとが接近する可能性があり、この場合には、ロボットの動作速度を予め定められた制限値以下に抑制しなければならないことが挙げられる。また、作業者とロボットとの間でワーク（あるいは、半製品）を受け渡しする必要があり、この場合にも、両者の間に安全距離をとる、あるいは、ロボットの動作速度を抑制するなどの措置が必要となる。

このような理由によって、一般的に、切り替えポイントに係るロボットの作業時間は、ロボットが本来的に必要な作業時間より長くなる。すなわち、ロス係数α（原則として、α＞１）を用いて、作業時間ｔ２’＝ロス係数α×作業時間ｔ２と表すことができる。

本実施の形態に係る協調作業システム１は、上述のロス係数αを決定するための切り替えロススコアを算出する。典型的には、解析装置２００の解析処理エンジン２７０が切り替えロススコアを算出する。すなわち、解析装置２００の解析処理エンジン２７０は、作業切り替えの適合性を評価する適合性評価部に相当する。解析処理エンジン２７０は、工程の任意の位置において、作業者とロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する。

図１６は、本実施の形態に係る協調作業システム１における切り替えロススコアの算出方法を説明するための図である。図１６（Ａ）には、１または複数の要素作業を担当する作業者２０の状態を示し、図１６（Ｂ）には、図１６（Ａ）の後に続く１または複数の要素作業を担当するロボット３００の状態を示す。

切り替えロススコアは、任意の切り替えポイントの直前にある作業を担当する作業者２０（または、ロボット３００）についての挙動と、当該切り替えポイントの直後にある作業を担当するロボット３００（または、作業者２０）についての挙動とを比較することで、当該切り替えポイントを設定した場合の生産性を低下させる度合いを算出することで、決定される。

より具体的には、注目する切り替えポイントの直前にある作業についての軌跡データと、当該注目する切り替えポイントの直後にある作業についての軌跡データとを比較することで、作業者２０とロボット３００との作業中の接近の度合いを評価する。ここで、軌跡データは、各時間における作業者２０またはロボット３００の位置を示す情報を含む。

例えば、切り替えロススコアは、作業者２０とロボット３００との間の距離Ｌに反比例するとともに、接近している時間に比例するようにしてもよい。すなわち、作業者２０とロボット３００との間の距離Ｌが小さいほど、および、接近している時間が長いほど、作業切り替えの適合性が低いことを意味する。

また、ワーク（あるいは、半製品）の受け渡し位置、および、タクトタイムの要素などを反映することもできる。これらをまとめると、任意の切り替えポイントｐ_ｎについての切り替えロススコアＳ_Ｌｏｓｓ（ｐ_ｎ）は、以下のように算出できる。

Ｓ_Ｌｏｓｓ（ｐ_ｎ）＝－｛ａ×∫（１／Ｌ（ｐ_ｎ））Δｔ＋ｂ（ｐ_ｎ）｝
Ｌ（ｐ_ｎ）は、任意の切り替えポイントｐ_ｎについての各時刻における作業者２０とロボット３００との最接近距離を意味し、ｂ（ｐ_ｎ）は、任意の切り替えポイントｐ_ｎについての各種要素を加えたロス関数を意味する。すなわち、切り替えロススコアは、作業者２０の軌跡とロボット３００の軌跡とから算出される両者の距離に基づいて決定されてもよい。

上記に示すように、解析装置２００は、作業者と協調作業ロボットとの距離が小さいほど、適合性が低い（切り替えロススコアの絶対値が大きい）と決定する。また、解析装置２００は、作業者とロボットとが接近している期間が長いほど、適合性が低い（切り替えロススコアの絶対値が大きい）と決定する。

なお、切り替えロススコアを算出にあたって、作業者２０およびロボット３００の動作開始のタイミングは適宜設定してもよい。通常、作業者２０およびロボット３００は並列的に処理を実行するので、任意に設定あれるタイミングを基準として、作業者２０とロボット３００との作業中の接近の度合いを評価するようにしてもよい。

このように算出された任意の切り替えポイントｐ_ｎについての切り替えロススコアＳ_Ｌｏｓｓ（ｐ_ｎ）を用いて、作業者２０とロボット３００との間の切り替えポイントを変更した場合に、どの程度の生産性を改善できるのかを評価できる。

なお、切り替えロススコアＳ_Ｌｏｓｓ（ｐ_ｎ）の算出に用いられる軌跡データは、互いに異なる作業分担で製品が生産されたときに取得されたものを用いてもよい。すなわち、作業者２０とロボット３００とが第１の作業分担になっている生産工程から取得された軌跡データから、任意の切り替えポイントの直前にある作業を担当する作業者２０（または、ロボット３００）についての軌跡データを取得するとともに、作業者２０とロボット３００とが第１の作業分担とは異なる第２の作業分担になっている生産工程から取得された軌跡データから、任意の切り替えポイントの直後にある作業を担当するロボット３００（または、作業者２０）についての軌跡データを取得するようにしてもよい。

このような軌跡データの取得方法を採用することで、任意の切り替えポイントで担当を切り替えた生産工程で現実に生産を行う必要はない。すなわち、切り替えロススコアＳ_Ｌｏｓｓ（ｐ_ｎ）を算出するために必要な、作業者２０およびロボット３００の軌跡データを任意の方法で取得すればよい。

図１７は、本実施の形態に係る協調作業システム１における切り替えロススコアを算出するための処理手順を示すフローチャートである。図１７に示す各ステップは、典型的には、解析装置２００のプロセッサ２０２が解析プログラム２１０４を実行することで実現される。

図１７を参照して、解析装置２００は、対象の切り替えポイントｐ_ｎの指定を受け付ける（ステップＳ２００）。続いて、解析装置２００は、指定された切り替えポイントｐ_ｎの直前にある作業についての軌跡データを取得するとともに（ステップＳ２０２）、指定された切り替えポイントｐ_ｎの直後にある作業についての軌跡データを取得する（ステップＳ２０４）。それぞれの軌跡データは、作業分担が異なる状態からそれぞれ取得されたものであってもよい。

そして、解析装置２００は、ステップＳ２０２において取得した軌跡データと、ステップＳ２０４において取得した軌跡データとに基づいて、作業者２０とロボット３００との作業中の接近の度合いを評価し（ステップＳ２０６）、切り替えロススコアＳ_Ｌｏｓｓ（ｐ_ｎ）を算出する（ステップＳ２０８）。そして、特定の切り替えポイントｐ_ｎについての切り替えロススコアＳ_Ｌｏｓｓ（ｐ_ｎ）の算出処理が終了する。

＜Ｆ．切り替えロススコアを用いた生産工程改善の提案＞
上述したような切り替えロススコアを用いて生産工程の改善提案を行うこともできる。すなわち、切り替えロススコアを考慮することで、予め算出されている作業時間から、作業者およびロボットの作業分担を変更した場合に生じる作業時間を予測することができる。複数通りの作業分担について、必要な作業時間をそれぞれ算出することで、最適な作業分担を決定することができる。

図１８は、本実施の形態に係る協調作業システム１における生産工程の改善提案に係る機能構成例を示す模式図である。図１８を参照して、解析処理エンジン２７０は、機能構成として、シミュレータ２７０２と、最適工程決定部２７０４と、作業指示部２７０６とを含む。

シミュレータ２７０２は、生産計画に応じて必要な工程を特定するとともに、切り替えポイント毎に必要となるであろう作業時間を算出する。作業時間の算出には、作業者およびロボットの要素作業時間に加えて、設定される切り替えポイントに応じた切り替えロススコアが用いられてもよい。

すなわち、シミュレータ２７０２は、作業時間算出部に相当し、切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、作業切り替えの適合性の大きさ（切り替えロススコア）とに基づいて決定してもよい（図１５参照）。

最適工程決定部２７０４は、シミュレータ２７０２により算出される切り替えポイント毎の作業時間に応じて、作業者およびロボットの最適な作業分担を決定する。

作業指示部２７０６は、最適工程決定部２７０４により決定された最適な作業分担の内容をユーザ（典型的には、ライン管理者）に通知する。ライン管理者は、通知された内容に基づいて、必要に応じて生産工程の分担変更などを行う。

図１９は、本実施の形態に係る協調作業システム１における生産工程の改善提案に係るユーザインターフェイス画面７２０の一例を示す模式図である。図１９を参照して、ユーザインターフェイス画面７２０は、生産工程のいくつかの作業分担の候補を含む。

各候補は、切り替えロススコア７２２の値とともに、作業者が担当する要素作業とロボットが担当する要素作業との切り替えポイント７２４が示されている。なお、図１９において、太字はロボットが担当する要素作業を意味し、それ以外は作業者が担当する要素作業を意味する。

このように、解析装置２００の最適工程決定部２７０４および作業指示部２７０６は、出力部に相当し、作業者とロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する。

ライン管理者などのユーザは、ユーザインターフェイス画面７２０を参照して、生産工程の適切な作業分担を決定できる。

図２０は、本実施の形態に係る協調作業システム１における生産工程の改善提案に係る処理手順を示すフローチャートである。図２０に示す各ステップは、典型的には、解析装置２００のプロセッサ２０２が解析プログラム２１０４を実行することで実現される。

図２０を参照して、解析装置２００は、生産管理システム６００などから生産計画を取得する（ステップＳ３００）。解析装置２００は、取得した生産計画に基づいて必要な工程を特定する（ステップＳ３０２）。

そして、解析装置２００は、ステップＳ３０２において特定した必要な工程に含まれる要素作業について作業者およびロボットの作業分担の１つの候補を決定する（ステップＳ３０４）。決定した候補は、ある切り替えポイントにおいて、作業者とロボットとの間で作業の分担が切り替わるとする。

解析装置２００は、決定した候補について、作業者またはロボットの各要素作業に要する作業時間を取得する（ステップＳ３０６）。これらの作業時間は、図１２に示す作業解析によって予め取得されたものから選択または抽出されてもよい。

解析装置２００は、決定した候補に切り替えポイントについて、切り替えロススコアを算出する（ステップＳ３０８）。ステップＳ３０８においては、必要に応じて、図１７に示す切り替えロススコアを算出する処理が実行される。

解析装置２００は、ステップＳ３０６において取得された切り替えポイントの直後にある作業の作業時間に、ステップＳ３０８において算出した切り替えロススコアに基づくロス係数を乗じて、決定した候補における補正後の作業時間として決定する（ステップＳ３１０）。最終的に、解析装置２００は、ステップＳ３１０において決定した補正後の作業時間を含む、各要素作業についての作業時間を積算して、対象の候補についての総作業時間を算出する（ステップＳ３１２）。

続いて、解析装置２００は、ステップＳ３０２において特定した必要な工程に含まれる要素作業について作業者およびロボットの作業分担の別の候補が存在するか否かを判断する（ステップＳ３１４）。作業分担の別の候補が存在する場合には（ステップＳ３１４においてＹＥＳ）、解析装置２００は、作業者およびロボットの作業分担の別の１つの候補を決定し（ステップＳ３１６）、ステップＳ３０６以下の処理を繰り返す。

作業分担の別の候補が存在しない場合には（ステップＳ３１４においてＮＯ）、解析装置２００は、候補毎に算出された総作業時間についてランキングし（ステップＳ３１８）、ランキング上位の候補の内容を通知する（ステップＳ３２０）。そして、処理は終了する。

このように、切り替えロススコアに基づいて、作業者およびロボットの作業分担を変更した場合の総作業時間を、現実に作業分担を変更しなくても算出できるので、複数の作業分担の候補の中から最適な分担を容易に見つけることができる。

＜Ｇ．変形例＞
上述の説明においては、作業切り替えの適合性を示す指標の一例として、「切り替えロススコア」を採用する例を挙げたが、これに限らず、任意の指標を採用できる。また、作業切り替えの適合性を示す指標に代えて、テーブルあるいは関数を採用してもよい。

上述の説明においては、解析装置２００がすべての処理を実行する形態について例示したが、これに限らず、複数の装置が連携して上述したような機能を提供するようにしてもよい。さらに、一部または全部の機能をサーバ上のいわゆるクラウドと称される計算リソースを利用して実現してもよい。

＜Ｈ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。

［構成１］
予め定められた工程に沿って製品を生産する協調作業システムであって、
作業者と協調して作業を行う１または複数の協調作業ロボットと、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを備える、協調作業システム。

［構成２］
前記適合性評価部は、前記作業者と前記協調作業ロボットとの距離が小さいほど、適合性が低いと決定する、構成１に記載の協調作業システム。

［構成３］
前記適合性評価部は、前記作業者と前記協調作業ロボットとが接近している期間が長いほど、適合性が低いと決定する、構成２に記載の協調作業システム。

［構成４］
切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、前記作業切り替えの適合性の大きさとに基づいて決定する作業時間算出部をさらに備える、構成１～３のいずれか１項に記載の協調作業システム。

［構成５］
前記作業者と前記協調作業ロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する出力部をさらに備える、構成４に記載の協調作業システム。

［構成６］
前記作業時間算出部は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定する、構成１～５のいずれか１項に記載の協調作業システム。

［構成７］
前記作業時間算出部は、
センシングデバイスによる少なくとも前記作業者を含む領域のセンシング結果に基づいて、前記作業者の特徴点を抽出する特徴点抽出部と、
前記センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、
前記特徴点抽出部により抽出される前記作業者の特徴点、および、前記物体認識部により認識される前記物体の位置および種類に基づいて、前記作業者による要素作業毎に開始および終了のタイミングを決定する第１のタイミング決定部とを含む、構成６に記載の協調作業システム。

［構成８］
前記作業時間算出部は、
前記協調作業ロボットからの制御状態に基づいて前記協調作業ロボットのステータスを管理するステータス管理部と、
前記協調作業ロボットのステータスに対応する挙動に基づいて、前記協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第２のタイミング決定部とを含む、構成６または７に記載の協調作業システム。

［構成９］
予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析装置であって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含み、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを備える、解析装置。

［構成１０］
予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムであって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含み、前記解析プログラムはコンピュータに、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出するステップと、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価するステップとを実行させる、解析プログラム。

＜Ｉ．利点＞
協調作業ロボットを用いた生産現場を考慮すると、協調作業ロボットの作業を固定化すると、作業者の習熟度によっては、作業分担のバランスが崩れ、作業者または協調作業ロボットに手待ちが発生し得る。作業者同士であれば、習熟度に応じて、作業分担を随時最適化できるが、作業者と協調作業ロボットとの間では、ワークまたは半製品を受け渡しなどにおける制約もあり、どのような作業分担にすべきかをすぐには決定できない。

このような課題に対して、本実施の形態に係る協調作業システムは、以下のような解決手段を提供する。

（１）作業者および協調作業ロボットの動作を要素作業の単位で把握して、各作業時間を計測する。この計測された要素作業毎の作業時間は、作業者および／またはオーダ情報（生産対象の製品の品種などの情報を含む）毎に収集されてもよい。

（２）作業者と協調作業ロボットとの間で作業を切り替えた場合の適合性（切り替えロススコア）を算出する。この適合性を参照することで、作業者と協調作業ロボットとの間でスムースにワークまたは半製品を受け渡すことができるかを推定できる。

（３）生産管理システムから生産計画や人員配置情報を取得した上で、作業切り替えの適合性を参照して、作業者と協調作業ロボットとの間の作業バランスを最適化する。

このような解決手段を提供することで、作業者と協調作業ロボットとがアシストし合い、効率的な生産を実現できる。

さらに、作業者および／または製品毎に、作業者と協調作業ロボットとの間の作業バランスを最適化してもよい。

このように、作業者だけではなく、作業者と協調作業ロボットとの関係を考慮して、作業者と協調作業ロボットとの間の作業分担を最適化できる。

また、本実施の形態に係る協調作業システムは、要素作業毎に作業時間を算出できるので、より粒度の細かいデータを収集することができ、これによって、通常は気付かない問題などを見つけることもできる。このような問題を工程設計にも反映できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 協調作業システム、２ フィールドネットワーク、４ 上位ネットワーク、１１Ｍ，１２Ａ，１２Ｍ，１３Ａ，１４Ａ，１５Ａ 作業ステージ、２０ 作業者、３０ カメラ、４０ 工程全体、４１ 工程内、４２ 要素作業、４３ 動作、４４ 単位動作、１０２，２０２，３１２ プロセッサ、１０４，２０４，３１４ メインメモリ、１０６，２２２ 上位ネットワークコントローラ、１０８，２２０，３０２ フィールドネットワークコントローラ、１１０，２１０，３１６ ストレージ、１１２ メモリカードインターフェイス、１１４ メモリカード、１１６ ローカルバスコントローラ、１１８，２１８ プロセッサバス、１２０ ＵＳＢコントローラ、２００ 解析装置、２０６ 入力部、２０８ 表示部、２１２ 光学ドライブ、２１４ 記憶媒体、２５０ 作業者用要素作業認識部、２５１ 特徴点抽出部、２５２ 物体認識部、２５３ 動作認識部、２５４，２６６ 工程データベース、２５５，２６５ 要素作業決定部、２６０ ロボット用要素作業認識部、２６１ ＰＬＣ通信部、２６２ ロボット通信部、２６３ ステータス管理部、２６４，３１８，１１０６ レシピプログラム、２７０ 解析処理エンジン、３００ ロボット（協調作業ロボット）、３１０ 主制御部、３１７，１１０２ システムプログラム、３２０ インターフェイス回路、３２２ センサ、３２４ アクチュエータ、３２６ モータドライバ、３２８ サーボモータ、４００ 表示操作装置、５００ サポート装置、６００ 生産管理システム、７００ 解析結果、７０１ 工程欄、７０２ 工程内欄、７０３ 要素作業欄、７０４ 開始時刻欄、７０５ 終了時刻欄、７０６ 作業時間、７０７ 担当欄、７０８ 生産管理情報欄、７２０ ユーザインターフェイス画面、７２２ 切り替えロススコア、７２４，ｐ１，ｐ２ 切り替えポイント、１１０４ ユーザプログラム、２１０４ 解析プログラム、２７０２ シミュレータ、２７０４ 最適工程決定部、２７０６ 作業指示部、Ｌ 距離。

Claims (10)

1. 予め定められた工程に沿って製品を生産する協調作業システムであって、
   作業者と協調して作業を行う１または複数の協調作業ロボットと、
   前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
   前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えによって生じる時間的な損失を適合性として評価する適合性評価部とを備える、協調作業システム。
2. 前記適合性評価部は、前記作業者と前記協調作業ロボットとの距離が小さいほど、適合性が低いと決定する、請求項１に記載の協調作業システム。
3. 前記適合性評価部は、前記作業者と前記協調作業ロボットとが接近している期間が長いほど、適合性が低いと決定する、請求項２に記載の協調作業システム。
4. 切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、前記作業切り替えの適合性の大きさとに基づいて決定する作業時間算出部をさらに備える、請求項１～３のいずれか１項に記載の協調作業システム。
5. 前記作業者と前記協調作業ロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する出力部をさらに備える、請求項４に記載の協調作業システム。
6. 前記作業時間算出部は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定する、請求項１～５のいずれか１項に記載の協調作業システム。
7. 前記作業時間算出部は、
   センシングデバイスによる少なくとも前記作業者を含む領域のセンシング結果に基づいて、前記作業者の特徴点を抽出する特徴点抽出部と、
   前記センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、
   前記特徴点抽出部により抽出される前記作業者の特徴点、および、前記物体認識部により認識される前記物体の位置および種類に基づいて、前記作業者による要素作業毎に開始および終了のタイミングを決定する第１のタイミング決定部とを含む、請求項６に記載の協調作業システム。
8. 前記作業時間算出部は、
   前記協調作業ロボットからの制御状態に基づいて前記協調作業ロボットのステータスを管理するステータス管理部と、
   前記協調作業ロボットのステータスに対応する挙動に基づいて、前記協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第２のタイミング決定部とを含む、請求項６または７に記載の協調作業システム。
9. 予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析装置であって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含み、
   前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
   前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えによって生じる時間的な損失を適合性として評価する適合性評価部とを備える、解析装置。
10. 予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムであって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含み、前記解析プログラムはコンピュータに、
    前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出するステップと、
    前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えによって生じる時間的な損失を適合性として評価するステップとを実行させる、解析プログラム。

Images