JP7384000B2 - 協調作業システム、解析収集装置および解析プログラム - Google Patents

Description

本発明は、協調作業システム、解析収集装置および解析プログラムに関する。

工場等の生産現場における作業工程の実施状況を撮像した撮像データを、当該作業工程の改善等に利用する試みが知られている。例えば、特開２０１９－０２３８０３号公報（特許文献１）は、作業現場に配置された複数のカメラで撮影した作業映像データを解析して、作業者が実際に作業を行うことのできた時間である実作業時間を検出し、検出した実作業時間を用いてボトルネックとなっている作業工程を特定する技術を開示する。

特開２０１９－０２３８０３号公報

上述の特許文献１に開示される技術は、セル生産方式などの作業者の作業に着目するものに過ぎず、人とロボットとが協調して作業する協調作業システムについては、何ら想定されていない。本発明は、このような新たな課題に対する解決手段を提供するものであり、作業者と協調して作業を行う１または複数の協調作業ロボットを含む協調作業システムにおける作業を効率的に解析できる構成を提供するものである。

本発明の一実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムが提供される。協調作業システムは、作業者と協調して作業を行う１または複数の協調作業ロボットと、作業者および協調作業ロボットの挙動を示す履歴情報を格納するための履歴情報保存部と、予め定められた保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が作業者および協調作業ロボットのいずれにより担当されたのかを示す情報を付加して、履歴情報保存部に保存する条件判定部とを含む。

この構成によれば、履歴情報を、当該作業が作業者および協調作業ロボットのいずれにより担当されたのかを示す情報を付加して保存するので、協調作業システムにおける作業を効率的に解析できる。

履歴情報は、作業者および協調作業ロボットの少なくとも一方を撮影した画像を含んでいてもよい。この構成によれば、視覚的に作業者または協調作業ロボットの挙動を確認できる。

協調作業システムは、作業者および協調作業ロボットの少なくとも一方の挙動を解析することで、工程に含まれる各作業の開始および終了のタイミングを決定する作業認識部をさらに含んでいてもよい。この構成によれば、作業者および協調作業ロボットのいずれが作業を行っていても、各作業の開始および終了のタイミングを決定できる。

作業認識部は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定してもよい。この構成によれば、より高い精度で解析を実現できる。

作業認識部は、センシングデバイスによる少なくとも作業者を含む領域のセンシング結果に基づいて、作業者の特徴点を抽出する特徴点抽出部と、センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、特徴点抽出部により抽出される作業者の特徴点、および、物体認識部により認識される物体の位置および種類に基づいて、作業者による要素作業毎に開始および終了のタイミングを決定する第１のタイミング決定部とを含むようにしてもよい。この構成によれば、作業者の作業を要素作業の単位で算出できる。

作業認識部は、協調作業ロボットからの制御状態に基づいて協調作業ロボットのステータスを管理するステータス管理部と、協調作業ロボットのステータスに対応する挙動に基づいて、協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第２のタイミング決定部とを含んでいてもよい。この構成によれば、協調作業ロボットの作業を要素作業の単位で算出できる。

条件判定部は、作業認識部により決定される各作業の開始および終了のタイミングに基づいて、保存すべき履歴情報の場面または区間を決定してもよい。この構成によれば、開始および終了のタイミングを基準として、適切な場面または区間の履歴情報を保存できる。

条件判定部は、事後的に異常情報が入力されると、当該異常情報に対応する履歴情報をさかのぼって保存してもよい。この構成によれば、何らかの異常が発生した場合の履歴情報を確実に保存できる。

本発明の別の実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析収集装置が提供される。協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含み。解析収集装置は、作業者および協調作業ロボットの挙動を示す履歴情報を格納するための履歴情報保存部と、予め定められた保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が作業者および協調作業ロボットのいずれにより担当されたのかを示す情報を付加して、履歴情報保存部に保存する条件判定部とを含む。

本発明のさらに別の実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムが提供される。協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含む。解析プログラムはコンピュータに、予め定められた保存条件が満たされるか否かを判断するステップと、いずれかの保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が作業者および協調作業ロボットのいずれにより担当されたのかを示す情報を付加して保存するステップとを実行させる。履歴情報は、作業者および協調作業ロボットの挙動を示す。

本発明によれば、作業者と協調して作業を行う１または複数の協調作業ロボットを含む協調作業システムにおける作業を効率的に解析できる構成を提供できる。

本発明が適用される場面の一例を示す模式図である。 本実施の形態に係る協調作業システムの一例を示す外観図である。 本実施の形態に係る協調作業システムの一例を示す外観図である。 本実施の形態に係る協調作業システムのハードウェア構成例を示す図である。 本実施の形態に係る協調作業システムを構成するＰＬＣのハードウェア構成例を示す模式図である。 本実施の形態に係る協調作業システムを構成する解析収集装置のハードウェア構成例を示す模式図である。 本実施の形態に係る協調作業システムを構成するロボットのハードウェア構成例を示す模式図である。 本実施の形態に係る協調作業システムにおける作業の解析例を説明するための図である。 本実施の形態に係る協調作業システムにおける作業解析に係る要部を示す模式図である。 本実施の形態に係る協調作業システムにおける作業者による作業の解析に係る要部を示す模式図である。 本実施の形態に係る協調作業システムにおけるロボットによる作業の解析に係る要部を示す模式図である。 本実施の形態に係る協調作業システムにおける作業の解析に係る処理手順を示すフローチャートである。 本実施の形態に係る協調作業システムが出力する作業解析結果の一例を示す図である。 本実施の形態に係る協調作業システムが出力する作業解析結果の表示例を示す図である。 本実施の形態に係る協調作業システムにおける収集処理に係る要部を示す模式図である。 本実施の形態に係る協調作業システムにおける収集処理の一例を示す図である。 本実施の形態に係る協調作業システムにおいて保存されたデータの一例を示す図である。 本実施の形態に係る協調作業システムにおける収集処理に係る処理手順を示すフローチャートである。 本実施の形態に係る協調作業システムにより収集された履歴情報の活用形態の一例を説明するための図である。 本実施の形態に係る協調作業システムにより収集された履歴情報の活用形態の別の一例を説明するための図である。 本実施の形態に係る協調作業システムにより収集された履歴情報の活用形態のさらに別の一例を説明するための図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。図１は、本発明が適用される場面の一例を示す模式図である。

本実施の形態は、予め定められた工程に沿って製品を生産する協調作業システム１に向けられている。協調作業システム１は、作業者と協調して作業を行う１または複数の協調作業ロボットを含む。

図１に示すように、協調作業システム１においては、作業者および協調作業ロボットの挙動を示す履歴情報を格納するための履歴情報保存部を有している。そして、協調作業システム１においては、予め定められた保存条件が満たされると、保存条件により指定された作業についての履歴情報２９４，２９５を、当該作業が作業者および協調作業ロボットのいずれにより担当されたのかを示す属性情報２９６を付加して、履歴情報保存部に保存する。

本明細書において、「履歴情報」は、作業者およびロボットの挙動を示す情報を包含する概念である。「履歴情報」は、典型的には、静止画、動画、音声などを含む。すなわち、「履歴情報」は、作業者およびロボットの少なくとも一方を撮影した画像を含む。

本実施の形態に係る協調作業システム１は、作業者および協調作業ロボットのいずれにより担当されたのかを示す情報を付加して、履歴情報を保存するので、協調作業システムにおける作業を効率的に解析できる。

＜Ｂ．協調作業システム１＞
次に、本実施の形態に係る協調作業システム１の一例について説明する。図２および図３は、本実施の形態に係る協調作業システム１の一例を示す外観図である。

図２および図３に示す協調作業システム１の構成例は、作業者および協調作業ロボット（以下、単に「ロボット」と略称する。）が協調して製品を生産する生産工程を示す。すなわち、ロボットは作業者と協調して作業を行う。

一例として、任意の製品を組み立てる生産セル方式の製造装置が示される。協調作業システム１は、予め定められた工程に沿って製品を生産するものであり、一例として、以下の５つの工程１～５を含む。

工程１では、２つのワーク（例えば、基板とケース）の組み付けが行われる。
工程２では、さらに別のワーク（例えば、カバー）の組み付け行われる。

工程３では、およびネジ締めが行われる。
工程４では、半製品への印字および印字検査が行われる。

工程５では、半製品の外観検査が行われる。
図２に示す協調作業システム１は、工程１～工程５に対応付けて、作業ステージ１１Ｍ、作業ステージ１２Ｍ、作業ステージ１３Ａ、作業ステージ１４Ａ、作業ステージ１５Ａを含む。各ステージの参照符号の最後の文字「Ｍ」は作業者（人手）による作業を意味し、「Ａ」はロボットによる作業を意味する。

図３に示す協調作業システム１は、工程２に対応付けられた作業ステージ１２Ｍに代えて、作業ステージ１２Ａが配置されている。すなわち、図２に示す協調作業システム１においては、工程２が作業者で実行されるのに対して、図３に示す協調作業システム１においては、工程２がロボットで実行される。

このように、本実施の形態に係る協調作業システム１においては、各工程を作業者またはロボットのいずれでも処理可能になっている。協調作業システム１は、各工程について、作業者またはロボットのいずれで処理するのかを最適化するための情報を提供する。

図２および図３には、１または複数の作業者およびロボットが協調して製品を完成させる、セル生産方式の一例を示すが、本発明の技術的範囲は、セル生産方式に限らず、コンベア方式／ライン方式を含む、作業者およびロボットが協調する任意の生産方式を含む。

図４は、本実施の形態に係る協調作業システム１のハードウェア構成例を示す図である。図４を参照して、協調作業システム１は、制御装置の一例であるＰＬＣ１００と、後述するような解析処理および収集処理を実行する解析収集装置２００と、作業者２０と協調して作業を行うロボット３００と、作業者２０に対して各種情報を提示する表示操作装置４００と、ＰＬＣ１００で実行されるユーザプログラムの開発などを行うサポート装置５００と、協調作業システム１における生産管理を行う生産管理システム６００とを含む。これらの装置は、１または複数種類のネットワークを介して、データ通信可能に構成される。

図４に示す例では、フィールドネットワーク２を介して、ＰＬＣ１００、解析収集装置２００、ロボット３００、表示操作装置４００が接続されている。フィールドネットワーク２には、１または複数のカメラ３０が接続されている。カメラ３０により撮像される画像に基づいて、作業者２０およびロボット３００の挙動が解析され、各工程および各工程内の作業の状態などが推定される。また、上位ネットワーク４を介して、ＰＬＣ１００および生産管理システム６００が接続されている。

生産管理システム６００には生産計画が入力されるとともに、生産管理システム６００は、生産管理情報をＰＬＣ１００および解析収集装置２００へ提供する。生産管理情報は、生産対象の製品を特定する識別情報（製品ＩＤあるいはシリアル番号）、オーダ情報（品種情報およびロット番号などを含む）、ならびに作業者情報（各工程を作業者およびロボットのいずれが担当するのか、作業者が担当する場合の担当者の識別情報などを含む）を含む。

解析収集装置２００は、作業実績を収集する実績データベース２８０と、各工程において収集された静止画、動画、音声などを収集する履歴情報データベース２９０とを含む。履歴情報データベース２９０は、作業者およびロボットの挙動を示す履歴情報を格納するための履歴情報保存部に相当する。実績データベース２８０および履歴情報データベース２９０への収集処理については、後述する。

なお、図４に示すネットワーク構成は一例であり、どのようなネットワーク構成を採用してもよい。例えば、解析収集装置２００に含まれる実績データベース２８０および履歴情報データベース２９０をそれぞれ独立したコンピュータとして配置してもよい。

＜Ｃ．協調作業システム１のハードウェア構成例＞
次に、協調作業システム１を構成する主要装置のハードウェア構成例について説明する。

（ｃ１：ＰＬＣ１００）
図５は、本実施の形態に係る協調作業システム１を構成するＰＬＣ１００のハードウェア構成例を示す模式図である。図５を参照して、ＰＬＣ１００は、プロセッサ１０２と、メインメモリ１０４と、ストレージ１１０と、上位ネットワークコントローラ１０６と、フィールドネットワークコントローラ１０８と、ＵＳＢ（Universal Serial Bus）コントローラ１２０と、メモリカードインターフェイス１１２と、ローカルバスコントローラ１１６とを含む。これらのコンポーネントは、プロセッサバス１１８を介して接続されている。

プロセッサ１０２は、様々な制御演算を実行する演算処理部に相当し、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで構成される。具体的には、プロセッサ１０２は、ストレージ１１０に格納されたプログラム（一例として、システムプログラム１１０２およびユーザプログラム１１０４）を読出して、メインメモリ１０４に展開して実行することで、制御対象に応じた制御演算、および、後述するような各種処理を実現する。

メインメモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性記憶装置などで構成される。ストレージ１１０は、例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などの不揮発性記憶装置などで構成される。

ストレージ１１０には、基本的な機能を実現するためのシステムプログラム１１０２、制御対象に応じて作成されたユーザプログラム１１０４、および協調作業システム１で生産される製品に応じた処理内容を規定したレシピプログラム１１０６が格納される。

上位ネットワークコントローラ１０６は、上位ネットワーク４を介して、任意の情報処理装置との間でデータを遣り取りする。

フィールドネットワークコントローラ１０８は、フィールドネットワーク２を介して任意のデバイスとの間でデータを遣り取りする。

ＵＳＢコントローラ１２０は、ＵＳＢ接続を介して、サポート装置５００などとの間でデータを遣り取りする。

メモリカードインターフェイス１１２は、着脱可能な記憶媒体の一例であるメモリカード１１４を受け付ける。メモリカードインターフェイス１１２は、メモリカード１１４に対して任意のデータの読み書きが可能になっている。

ローカルバスコントローラ１１６は、ローカルバスを介して、ＰＬＣ１００に装着される任意の機能ユニットとの間でデータを遣り取りする。

（ｃ２：解析収集装置２００）
図６は、本実施の形態に係る協調作業システム１を構成する解析収集装置２００のハードウェア構成例を示す模式図である。図６を参照して、解析収集装置２００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いて実現される。

図６を参照して、解析収集装置２００は、プロセッサ２０２と、メインメモリ２０４と、入力部２０６と、表示部２０８と、ストレージ２１０と、光学ドライブ２１２と、フィールドネットワークコントローラ２２０と、上位ネットワークコントローラ２２２とを含む。これらのコンポーネントは、プロセッサバス２１８を介して接続されている。

プロセッサ２０２は、ＣＰＵやＧＰＵなどで構成され、ストレージ２１０に格納されたプログラム（一例として、ＯＳ２１０２および解析プログラム２１０４）を読出して、メインメモリ２０４に展開して実行することで、後述するような各種処理を実現する。

メインメモリ２０４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２１０は、例えば、ＨＤＤやＳＳＤなどの不揮発性記憶装置などで構成される。

ストレージ２１０には、基本的な機能を実現するためのＯＳ２１０２および後述するような各種解析処理を実行するための解析プログラム２１０４が格納される。

入力部２０６は、キーボードやマウスなどで構成され、ユーザ操作を受け付ける。表示部２０８は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ２０２からの処理結果などを出力する。

解析収集装置２００は、光学ドライブ２１２を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記憶媒体２１４（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記憶媒体）から、その中に格納されたプログラムが読み取られてストレージ２１０などにインストールされる。

解析収集装置２００で実行される解析プログラム２１０４などは、コンピュータ読取可能な記憶媒体２１４を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に係る解析収集装置２００が提供する機能は、ＯＳが提供するモジュールの一部を利用する形で実現される場合もある。

フィールドネットワークコントローラ２２０は、フィールドネットワーク２を介して任意のデバイスとの間でデータを遣り取りする。上位ネットワークコントローラ２２２は、上位ネットワーク４を介して、任意の情報処理装置との間でデータを遣り取りする。

（ｃ３：ロボット３００）
図７は、本実施の形態に係る協調作業システム１を構成するロボット３００のハードウェア構成例を示す模式図である。図７を参照して、ロボット３００は、フィールドネットワークコントローラ３０２と、ロボット３００の駆動に係る演算処理を実行するための主制御部３１０と、インターフェイス回路３２０とを含む。

フィールドネットワークコントローラ３０２は、フィールドネットワーク２を介して任意のデバイスとの間でデータを遣り取りする。

主制御部３１０は、プロセッサ３１２と、メインメモリ３１４と、ストレージ３１６とを含む。プロセッサ３１２は、ＣＰＵやＧＰＵなどで構成され、ストレージ３１６に格納されたプログラム（一例として、システムプログラム３１７およびレシピプログラム３１８）を読出して、メインメモリ３１４に展開して実行することで、ロボット３００の駆動に係る各種処理を実現する。

メインメモリ３１４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ３１６は、例えば、ＳＳＤやＨＤＤなどの不揮発性記憶装置などで構成される。

インターフェイス回路３２０は、ロボット３００に設けられた各種デバイスとの間で信号を遣り取りする。より具体的には、インターフェイス回路３２０は、センサ３２２と、アクチュエータ３２４と、１または複数のモータドライバ３２６と接続されている。

センサ３２２は、ロボット３００のアーム部などに配置されており、ロボット３００の周囲の情報を収集する。作業者２０とロボット３００との協調作業においては、通常、ロボット３００の近傍に作業者２０が位置している場合には、ロボット３００の動作速度を予め定められた制限値以下に抑制する必要がある。センサ３２２を用いて、作業者２０とロボット３００との接近を検出するようにしてもよい。

アクチュエータ３２４は、ロボット３００のアーム部などに配置されており、作業者２０に対して各種通知を行うとともに、ワークに対するアクションなどを行う。モータドライバ３２６は、電気的に接続されたサーボモータ３２８を駆動する。サーボモータ３２８は、ロボット３００のメカ体（アームや関節など）と機械的に接続されている。主制御部３１０がインターフェイス回路３２０を介してモータドライバ３２６に指令を与えることで、ロボット３００を任意に動作させることができる。

（ｃ４：表示操作装置４００）
表示操作装置４００は、一例として、汎用的なアーキテクチャに従うハードウェアを用いて実現される。表示操作装置４００のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。

（ｃ５：サポート装置５００）
サポート装置５００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いて実現される。サポート装置５００のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。

（ｃ６：生産管理システム６００）
生産管理システム６００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いたサーバにより実現される。生産管理システム６００のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。

＜Ｄ．作業解析＞
本実施の形態に係る協調作業システム１は、作業者とロボットとの協調作業の解析やリバランスなどを容易化するための情報を提供する。以下、このような情報を提供するための作業解析の処理について説明する。

図８は、本実施の形態に係る協調作業システム１における作業の解析例を説明するための図である。図８を参照して、複数の工程からなる工程全体４０を最上位の単位として捉えて、各工程の工程内４１は、複数の作業からなる。工程内４１の各作業は、１または複数の要素作業４２に分解できる。要素作業４２の各々は、１または複数の動作４３に分解できる。動作４３の各々は、１または複数の単位動作４４に分解できる。

このように、様々な生産工程における作業者あるいはロボットの挙動は、工程、作業、要素作業、動作、単位動作といった具合に分解できる。なお、各工程に含まれる要素作業の種類は、予め工程設計において決定されているとする。すなわち、各工程に含まれる要素作業の種類は既知である。

本実施の形態に係る協調作業システム１は、作業者およびロボットの挙動を工程、工程内の作業、要素作業といった任意の単位で解析できるように構成されてもよい。

図９は、本実施の形態に係る協調作業システム１における作業解析に係る要部を示す模式図である。図９を参照して、解析収集装置２００は、各工程を作業者およびロボットのいずれが担当する場合であっても、当該工程の進捗を任意の単位で解析できる。より具体的には、解析収集装置２００は、作業者用工程認識部２５０と、ロボット用工程認識部２６０と、処理エンジン２７０とを含む。これらのコンポーネントは、典型的には、解析収集装置２００のプロセッサ２０２が解析プログラム２１０４を実行することで実現される。

処理エンジン２７０は、生産管理システム６００からの生産管理情報に基づいて、作業者用工程認識部２５０およびロボット用工程認識部２６０に対して、作業者およびロボットの作業分担の情報を事前に与える。

作業者用工程認識部２５０およびロボット用工程認識部２６０は、作業者およびロボットの少なくとも一方の挙動を解析することで、工程に含まれる各作業の開始および終了のタイミングを決定する作業認識部に相当する。

作業者用工程認識部２５０は、対象の工程が作業者によって担当される場合に、当該工程における作業者が行う作業毎（任意の単位）の開始および終了のタイミングなどを解析する。一方、ロボット用工程認識部２６０は、対象の工程がロボットによって担当される場合に、当該工程におけるロボットが行う作業毎（任意の単位）の開始および終了のタイミングなどを解析する。

作業者用工程認識部２５０およびロボット用工程認識部２６０は、工程における任意の単位で作業毎に開始および終了のタイミングを決定できるが、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定することが好ましい。

作業者用工程認識部２５０は、カメラ３０などの１または複数のセンシングデバイスによる検出結果に基づいて、作業者の動きなどを解析して、いずれの作業を行っているのかを特定する。

センシングデバイスとしては、通常のカメラ（２Ｄカメラ）でもよいし、ステレオカメラ（３Ｄカメラ）であってもよい。あるいは、レーザスキャナや測距センサなどの物体までの距離プロファイルを取得できるようなセンシングデバイスを用いてもよい。

図１０は、本実施の形態に係る協調作業システム１における作業者による作業の解析に係る要部を示す模式図である。図１０を参照して、解析収集装置２００の作業者用工程認識部２５０は、特徴点抽出部２５１と、物体認識部２５２と、動作認識部２５３と、工程データベース２５４と、現工程決定部２５５と、画像バッファ２５６とを含む。

特徴点抽出部２５１は、センシングデバイスによる少なくとも作業者を含む領域のセンシング結果（典型的には、画像）に基づいて、作業者の特徴点（骨格や関節など）を抽出する。

物体認識部２５２は、センシングデバイスからのセンシング結果（典型的には、画像）に基づいて、作業ステージ上などにある物体の位置および種類を認識する。

動作認識部２５３は、特徴点抽出部２５１により抽出された作業者の特徴点と、物体認識部２５２により抽出された物体の位置および種類とに基づいて、作業者の動作を認識する。動作認識部２５３は、例えば、予め機械学習によって生成された学習済みモデルを用いて実現してもよいし、ルールベースの決定ロジックを用いて実現してもよい。

現工程決定部２５５は、工程データベース２５４を参照して、動作認識部２５３により認識される作業者の動作に基づいて、作業者が現在行っている作業を決定するとともに、作業毎の開始および終了のタイミングを決定する。

工程データベース２５４は、各工程に含まれる要素作業および各要素作業に対応する動作に関する情報を含む。現工程決定部２５５は、工程データベース２５４を参照して、作業者が現在行っている工程に含まれる要素作業および対応する動作を取得する。現工程決定部２５５は、工程データベース２５４から取得した情報と、認識された作業者の動作とを比較することで、開始および終了のタイミングを決定する。作業者用工程認識部２５０は、開始および終了のタイミングを示す時刻などを出力してもよい。

このように、動作認識部２５３、工程データベース２５４および現工程決定部２５５は、第１のタイミング決定部に相当し、特徴点抽出部２５１により抽出される作業者の特徴点、および、物体認識部２５２により認識される物体の位置および種類に基づいて、作業者による要素作業毎に開始および終了のタイミングを決定する。

さらに、作業者用工程認識部２５０は、センシングデバイスによる検出結果に加えて、ＰＬＣ１００および／またはロボット３００から取得した制御状態に基づいて、作業者が行う工程の開始および終了のタイミングを判断するようにしてもよい。この場合は、後述するようなロボット用工程認識部２６０における判断処理を採用できる。

画像バッファ２５６は、後述するような収集処理を実現するために、画像などのセンシング結果を一時的に格納する。画像バッファ２５６のサイズは、作業者用工程認識部２５０およびロボット用工程認識部２６０による開始および終了のタイミングを決定するまでの遅延時間などに応じて適宜設計されてもよい。

一方、ロボット用工程認識部２６０は、ＰＬＣ１００および／またはロボット３００から取得した制御状態に基づいて、ロボットがいずれの作業を行っているのかを特定する。ＰＬＣ１００および／またはロボット３００から取得する制御状態は、例えば、ユーザプログラムが参照するステータスを示す変数値、ユーザプログラムの実行中の命令行、実行中のレシピ番号などを含む。さらに、ＰＬＣ１００および／またはロボット３００から取得する制御状態は、ロボット３００の各関節の角度、アーム先端座標、アーム動作速度などを含んでいてもよい。

図１１は、本実施の形態に係る協調作業システム１におけるロボットによる作業の解析に係る要部を示す模式図である。図１１を参照して、解析収集装置２００のロボット用工程認識部２６０は、ＰＬＣ通信部２６１と、ロボット通信部２６２と、ステータス管理部２６３と、レシピプログラム２６４と、現工程決定部２６５と、工程データベース２６６とを含む。

ＰＬＣ通信部２６１は、ＰＬＣ１００から制御状態を取得する。ロボット通信部２６２は、ロボット３００から制御状態を取得する。

ステータス管理部２６３は、レシピプログラム２６４を参照して、ＰＬＣ通信部２６１およびロボット通信部２６２により取得された制御状態に基づいて、現在のロボット３００のステータスを決定する。レシピプログラム２６４は、ＰＬＣ１００およびロボット３００で実行されるプログラムの複製あるいは主要部を含む。すなわち、ステータス管理部２６３は、ＰＬＣ１００およびロボット３００の制御状態に基づいて、現在実行されているプログラムの内容を特定することで、現在のステータスを決定する。

現工程決定部２６５は、工程データベース２６６を参照して、ステータス管理部２６３により決定された現在のステータスに基づいて、ロボットが現在行っている作業を決定するとともに、作業毎の開始および終了のタイミングを決定する。

工程データベース２６６は、各工程に含まれる要素作業および各要素作業に対応する動作に関する情報を含む。現工程決定部２６５は、工程データベース２６６を参照して、ロボットが現在行っている工程に含まれる要素作業および対応する動作を取得する。現工程決定部２６５は、工程データベース２６６に含まれる取得されたステータスに対応する情報に基づいて、作業毎の開始および終了タイミングを決定する。ロボット用工程認識部２６０は、作業毎の開始および終了のタイミングを示す時刻などを出力してもよい。

このように、現工程決定部２６５および工程データベース２６６は、第２のタイミング決定部に相当し、ロボットのステータスに対応する挙動に基づいて、ロボットによる要素作業毎に開始および終了のタイミングを決定する。

さらに、ロボット用工程認識部２６０は、ＰＬＣ１００および／またはロボット３００から取得した制御状態に加えて、カメラ３０などの１または複数のセンシングデバイスによる検出結果に少なくとも一部基づいて、ロボットが行う各工程の開始および終了のタイミングを判断するようにしてもよい。この場合は、後述するようなロボット用工程認識部２６０における判断処理を採用できる。

図１２は、本実施の形態に係る協調作業システム１における作業の解析に係る処理手順を示すフローチャートである。図１２に示す各ステップは、典型的には、解析収集装置２００のプロセッサ２０２が解析プログラム２１０４を実行することで実現される。

図１２を参照して、解析収集装置２００は、解析対象の生産管理情報を取得する（ステップＳ１００）。解析収集装置２００は、解析対象の所定期間に亘る、カメラ３０により撮像された画像を取得する（ステップＳ１０２）とともに、ＰＬＣ１００および／またはロボット３００の制御状態を取得する（ステップＳ１０４）。なお、解析収集装置２００は、付加的な情報をさらに取得してもよい。

解析収集装置２００は、取得した画像に対して作業者２０の特徴点（骨格や関節など）を抽出する（ステップＳ１０６）とともに、作業ステージ上などにある治具などの物体の位置および種類を認識する（ステップＳ１０８）。そして、解析収集装置２００は、解析対象の所定期間に亘る、作業者２０の動作を認識する（ステップＳ１１０）。

また、解析収集装置２００は、レシピプログラム２６４を参照して、取得された制御状態に基づいて、解析対象の所定期間に亘る、ロボット３００のステータスおよび位置を決定する（ステップＳ１１２）。

解析収集装置２００は、取得した生産管理情報および工程データベース２６６を参照して、各工程が作業者２０およびロボット３００のいずれが担当するのかを判断し（ステップＳ１１４）、各工程の担当に応じて、作業者２０の動作またはロボット３００のステータスおよび位置に基づいて、作業毎の開始および終了のタイミングを決定する（ステップＳ１１６）。以上により、作業の解析に係る処理は終了する。

図１２に示す処理は、生産工程での生産活動に同期してほぼリアルタイムで実行されてもよいし、事後的に実行されてもよい。

図１３は、本実施の形態に係る協調作業システム１が出力する作業解析結果の一例を示す図である。図１３を参照して、作業解析結果２８２は、工程欄２８０１と、工程内欄２８０２と、要素作業欄２８０３と、開始時刻欄２８０４と、終了時刻欄２８０５と、作業時間２８０６と、担当欄２８０７と、生産管理情報欄２８０８とを含む。

工程欄２８０１には、対象の生産工程に含まれる工程が示される。工程内欄２８０２は、対応する工程に含まれる作業が示される。要素作業欄２８０３は、対応する作業に含まれる要素作業が示される。開始時刻欄２８０４および終了時刻欄２８０５は、対応する要素作業の開始および終了の時刻が示される。作業時間２８０６は、対応する要素作業に要した時間が示される。

担当欄２８０７には、対応する要素作業を作業者およびロボットのいずれが担当するのかといった情報、および、担当する作業者またはロボットの識別情報が示される。例えば、「ＯＰ０００３」などの「ＯＰ」ではじまる識別情報は作業者の担当を意味し、「ＲＢ００１」などの「ＲＢ」ではじまる識別情報はロボットの担当を意味する。

生産管理情報欄２８０８は、対象の作業解析結果２８２が取得された対象の作業を特定するための情報（例えば、製品ＩＤ、品種情報およびロット情報など）が示される。

図１３に示される作業解析結果は、実績データベース２８０に順次保存される。
図１４は、本実施の形態に係る協調作業システム１が出力する作業解析結果の表示例を示す図である。図１４を参照して、各工程に要している作業時間のばらつきも表現できるグラフを用いて、作業解析結果を表示するようにしてもよい。なお、図１４には、工程の単位で作業時間を表示しているが、これに限らず、要素作業の単位で作業時間を表示してもよい。

以上のように、本実施の形態に係る協調作業システム１は、各工程を作業者およびロボットのいずれが担当する場合であっても、工程、工程に含まれる作業、および作業に含まれる要素作業の単位でどれだけの時間を要しているのかを把握可能な作業解析結果を提供する。

＜Ｅ．収集処理＞
本実施の形態に係る協調作業システム１は、作業者とロボットとの協調作業のリバランスや事後的な不具合の原因究明などを容易化するために、画像などの事後的な解析に有効な情報を収集する。以下、このような情報を収集するための収集処理について説明する。

図１５は、本実施の形態に係る協調作業システム１における収集処理に係る要部を示す模式図である。図１５を参照して、解析収集装置２００の処理エンジン２７０は、予め設定された保存条件２７４を満たす場面の履歴情報（典型的には、静止画、動画、音声など）を履歴情報データベース２９０に保存する判定処理部２７２を含む。判定処理部２７２は、生産管理システム６００からの生産管理情報、図示しない検査機などからの異常情報、作業者用工程認識部２５０からの作業毎の開始および終了のタイミング、および、ロボット用工程認識部２６０からの作業毎の開始および終了のタイミングなどの情報に基づいて、いずれのタイミングあるいは期間において、どのような履歴情報を保存するのかを決定する。

すなわち、判定処理部２７２は、条件判定部に相当し、予め定められた保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が作業者およびロボットのいずれにより担当されたのかを示す情報を付加して、履歴情報データベース２９０（履歴情報保存部）に保存する。

図１６は、本実施の形態に係る協調作業システム１における収集処理の一例を示す図である。保存条件２７４には様々な条件を含めることができるが、図１６を参照して、特定の作業が終了したタイミングで静止画あるいは動画を保存するようにしてもよい。例えば、コネクタの挿入が不十分であるといった不具合が報告されているような場合には、コネクタを挿入した後の状況を確認したいというニーズがある。このような場合には、そのような作業の終了のタイミング（イベントＥＶ１）で、静止画を保存してもよい。

あるいは、先の工程である組み付け１はロボットが担当し、次の工程である組み付け２は作業者が担当するような場合を想定すると、ロボットと作業者との間でワークの引き渡しなどがスムースに行われているかを確認したいというニーズがある。このような場合には、ロボットと作業者との間でワークの引き渡しが行われる区間（イベントＥＶ２）において、動画を保存してもよい。

さらにあるいは、特定の作業において不具合が頻発している作業についても、事後的な確認ができるようにしたいというニーズがある。このような場合には、不具合が頻発している作業（イベントＥＶ３）において、動画を保存してもよい。

保存条件２７４としては、任意の１または複数の条件を設定できるが、例えば、以下のような観点から条件を設定してもよい。

（１）予め定められた任意の作業（工程、工程内の作業、要素作業といった任意の単位）を作業者またはロボットが行った場合
（２）通常の工程とは異なる状態になった場合
（３）異常情報などのフィードバックを受けた場合
上述の（１）の条件としては、不具合が頻発していることが既知の作業などを履歴情報の保存対象として設定してもよい。また、ロボットが減速したタイミングや、ロボットが停止したタイミングなどを条件として設定してもよい。

上述の（２）の条件としては、ロボットが人をアシストするといった、普段とは異なる作業が実施された場合を条件としてもよい。さらに、ロボットの挙動が予め設計していた挙動（シミュレーションにより算出された挙動）とは大きく変化したことを条件としてもよい。すなわち、解析収集装置２００の判定処理部２７２は、作業者用工程認識部２５０またはロボット用工程認識部２６０（作業認識部）により決定される各作業の開始および終了のタイミングに基づいて、保存すべき履歴情報の場面または区間を決定してもよい。

上述の（３）の条件としては、後段に配置された検査機などによって、製品の不具合や不良品の発生が検知されると、その不具合が発生した製品に関する履歴情報を保存するようにしてもよい。すなわち、解析収集装置２００の判定処理部２７２は、事後的に異常情報が入力されると、当該異常情報に対応する履歴情報をさかのぼって保存するようにしてもよい。

なお、上述した条件は、一例であり、どのような内容を保存条件２７４に含めるようにしてもよい。

以上のように、本実施の形態に係る協調作業システム１は、予め定められた保存条件２７４を満たす場合に、対応する場面または区間について、静止画、動画、音声などを収集する。

本実施の形態においては、保存する履歴情報（典型的には、静止画、動画、音声など）に関連付けて、対応する作業を作業者およびロボットのいずれが担当したのかという属性情報を保存することで、工程の改善や不具合発生時の追跡などを容易化する。

図１７は、本実施の形態に係る協調作業システム１において保存されたデータの一例を示す図である。図１７を参照して、履歴情報データベース２９０には、履歴情報２９４，２９５が属性情報２９６に関連付けて保存される。一例として、履歴情報２９４は静止画であり、履歴情報２９５は動画である。

履歴情報２９４，２９５の各々に関連付けられる属性情報２９６は、例えば、担当情報２９６１と、適合条件情報２９６２と、対象作業情報２９６３とを含む。なお、属性情報２９６は、これらの情報をすべて含んでいる必要はなく、少なくともこれらの情報のうち１つを含んでいればよい。

担当情報２９６１は、関連付けられる履歴情報に対応する作業が、作業者およびロボットのいずれにより担当されていたのかを示す情報である。図１７に示す例においては、作業者またはロボットの識別情報を含む担当情報２９６１を示すが、必ずしも識別情報が必要ではなく、対応する作業を作業者およびロボットのいずれが担当していたのが特定できればよい。

適合条件情報２９６２は、関連付けられる履歴情報が保存されることになった条件を示す情報である。すなわち、適合条件情報２９６２が示す条件が満たされたことで、対応する履歴情報が保存されたことを知ることができる。

対象作業情報２９６３は、関連付けられる履歴情報がいずれの作業あるいは工程のものであるかを示す情報である、対象作業情報２９６３が示す情報を参照することで、対応する履歴情報がいずれの作業に関するものであるかを知ることができる。

履歴情報２９４，２９５は、製品（ワーク）毎に保存されてもよい。すなわち、履歴情報２９４，２９５には、各製品（ワーク）を特定するための製品ＩＤ２９２が関連付けて保存されてもよい。履歴情報２９４，２９５に関連付けられる製品ＩＤ２９２を特定できることで、対応する作業解析結果２８２を実績データベース２８０から一意に特定できる。

このように、本実施の形態に係る協調作業システム１は、履歴情報（典型的には、静止画、動画、音声など）に、当該履歴情報に対応する作業が作業者およびロボットのいずれにより担当されていたのかを示す情報を付加して保存する。これにより、履歴情報を生産工程の改善にも利用できるし、何らかの不具合（例えば、不良品の発生）などが生じた場合の事後的な原因究明などにも利用できる。

図１８は、本実施の形態に係る協調作業システム１における収集処理に係る処理手順を示すフローチャートである。図１８に示す各ステップは、典型的には、解析収集装置２００のプロセッサ２０２が解析プログラム２１０４を実行することで実現される。

図１８を参照して、解析収集装置２００は、先に必要な情報の収集を行う。より具体的には、解析収集装置２００は、対象の製品（ワーク）に関する作業解析結果２８２を取得する（ステップＳ２００）とともに、対象の製品（ワーク）に関する画像などのセンシング結果を画像バッファ２５６にバッファリングする（ステップＳ２０２）。また、解析収集装置２００は、生産管理システム６００から、対象の製品（ワーク）に関する生産管理情報を取得する（ステップＳ２０４）とともに、必要に応じて異常情報を取得する（ステップＳ２０６）。

そして、解析収集装置２００は、保存条件２７４を満たすか否かを順次判断する。すなわち、解析収集装置２００は、作業解析結果２８２に含まれる作業毎の開始および終了のタイミングをトレースして、いずれかの保存条件２７４が満たされるか否かを判断する（ステップＳ２０８）。

いずれかの保存条件２７４が満たされると（ステップＳ２０８においてＹＥＳ）、解析収集装置２００は、当該保存条件２７４において指定された種類および区間の履歴情報を画像バッファ２５６から抽出し（ステップＳ２１０）、対応する属性情報を付加して（ステップＳ２１２）、履歴情報データベース２９０に保存する（ステップＳ２１４）。

いずれかの保存条件２７４も満たされない場合（ステップＳ２０８においてＮＯ）、あるいは、ステップＳ２１４の実行後、解析収集装置２００は、作業解析結果２８２のトレースが完了したか否かを判断する（ステップＳ２１６）。

作業解析結果２８２のトレースが完了していなければ（ステップＳ２１６においてＮＯ）、ステップＳ２０８以下の処理が繰り返される。

作業解析結果２８２のトレースが完了すれば（ステップＳ２１６においてＹＥＳ）、解析収集装置２００は、異常情報に関する保存条件２７４が満たされるか否かを判断する（ステップＳ２１８）。

異常情報に関する保存条件２７４が満たされていれば（ステップＳ２１８においてＹＥＳ）、解析収集装置２００は、当該保存条件２７４において指定された種類および区間の履歴情報を画像バッファ２５６から抽出し（ステップＳ２２０）、対応する属性情報を付加して（ステップＳ２２２）、履歴情報データベース２９０に保存する（ステップＳ２２４）。

異常情報に関する保存条件２７４が満たされていなければ（ステップＳ２１８においてＮＯ）、あるいは、ステップＳ２２４の実行後、収集処理は終了する。

上述したように、本実施の形態に係る協調作業システム１は、履歴情報を、対応する作業が作業者およびロボットのいずれにより担当されていたのかを示す情報を付加して保存する。これによって、後述するような工程改善や事後分析を容易化できる。

また、本実施の形態に係る協調作業システム１は、予め定められた保存条件２７４が満たされる場合に限って履歴情報を保存するので、すべての履歴情報を保存する場合に比較して、履歴情報データベース２９０のデータ容量を削減できる。

＜Ｆ．工程改善／事後分析＞
上述したような解析処理および収集処理により保存される履歴情報は、以下のように活用することができる。すなわち、保存される履歴情報は、典型的には、以下のような活用形態が想定される。

（１）生産工程の改善検討
不具合や不良品が発生し易い工程や作業を特定するとともに、その特定した工程や作業に関して検討することで、どのような原因（作業者起因、ロボット起因、作業者とロボットの連携不備起因など）で生じているのかを特定できる。

生産性を向上するために、作業者とロボットとの間の作業分担の調整（リバランス）、作業者が担当している作業のロボットへの変更、作業者とロボットとの間のワークまたは半製品の受け渡し位置の変更などの検討に利用できる。

（２）不具合発生時の原因分析
後段に配置された検査機や出荷前の目視検査などにおいて、製品に何らかの不具合が見つかった場合に、当該不具合が発生した原因の分析に履歴情報を利用可能である。

また、製品の出荷後に、何らからの不具合の情報が寄せられた場合には、対象の製品についての履歴情報を解析することで、その原因の特定の助けとすることもできる。

（３）トレーサビリティの実現
履歴情報を製品ＩＤに関連付けて保存することで、特定の製品について何らかの不具合が発生した場合に、当該製品の生産段階での各作業の内容を事後的に把握でき、これによって製品毎のトレーサビリティを実現できる。

本実施の形態に係る協調作業システム１においては、保存条件２７４が満たされる場合に、対応する場面または区間の履歴情報のみを保存するので、トレースを容易化できるとともに、保存されるデータを削減あるいは最適化できる。

以下、いくつかの活用形態について説明する。以下に示すデータ活用に必要な処理の全部または一部は、解析収集装置２００において実行されてもよいし、図示しない他の情報処理装置で実現されてもよい。もちろん、以下に示すデータ活用に係る操作をユーザが手動で行ってもよい。

図１９は、本実施の形態に係る協調作業システム１により収集された履歴情報の活用形態の一例を説明するための図である。図１９には、工程毎に発生したエラー数（作業ミスや作業抜けなどの発生件数）に着目して解析を行った結果例を示す。

まず、工程毎に発生したエラー数を示す分析結果７０２を生成する。生成された分析結果７０２においては、作業者が各作業を担当した場合に発生したエラー数（人作業）と、ロボットが各作業を担当した場合に発生したエラー数（ロボット作業）とが区分されて示されている。

分析結果７０２においてエラー数が相対的に多い工程１および工程３に着目したとする。

工程１に着目して、品種毎に発生したエラー数を分析して分析結果７０４を得る。なお、履歴情報データベース２９０に保存された各履歴情報に関連付けられた作業解析結果２８２を参照することで、対応する品種情報を取得することで、分析結果７０４が生成される。

分析結果７０４には、発生したエラーの数（エラー数）に加えて、折れ線グラフで示されるエラー率（発生したエラー数／総生産数）も算出されている。

分析結果７０４によれば、「品種Ａ」についてエラー数およびエラー率とも相対的に高いことが分かるので、エラーの発生を低減するためには、「品種Ａ」の作り方を改善することが効果的であることが分かる。

一方、工程３に着目して、担当者毎に発生したエラー数を分析して分析結果７０６または分析結果７０７を得る。

工程３に着目して分析結果７０６が得られた場合には、分析結果７０６によれば、「作業者Ｃ」についてエラー数およびエラー率とも相対的に高いことが分かるので、エラーの発生を低減するためには、「作業者Ｃ」の技能を向上させることが効果的であることが分かる。この場合、例えば、履歴情報に含まれる「作業者Ｃ」の作業を写した動画を元に「作業者Ｃ」を指導することができる。

より具体的には、要素作業毎に要した作業時間を作業者毎に分析して分析結果７０８を得る。分析結果７０８によれば、「作業者Ｃ」の「要素作業Ｂ」が他の作業者に比較して、より多くの作業時間がかかっていることが分かるので、「作業者Ｃ」に対して、「要素作業Ｂ」の作業について重点的に指導することができる。

一方、工程３に着目して分析結果７０７が得られた場合には、分析結果７０７によれば、作業者が担当する場合に比較して、ロボットが担当する場合には、エラー数およびエラー率が相対的に低いことが分かるので、エラーの発生を低減するためには、工程３についての作業者の技能を向上させる、あるいは、工程３を作業者による作業からロボットによる作業に変更することが効果的であることが分かる。

ロボットによる作業に変更することができない場合には、例えば、履歴情報に含まれる各作業者の作業を写した動画を元に作業者を指導することができる。

より具体的には、要素作業毎に要した作業時間を作業者毎に分析して分析結果７０９を得る。分析結果７０９によれば、「要素作業Ｂ」については、他の要素作業に比較して、より多くの作業時間がかかっていることが分かるので、各作業者に対して、「要素作業Ｂ」の作業について重点的に指導することができる。

図２０は、本実施の形態に係る協調作業システム１により収集された履歴情報の活用形態の別の一例を説明するための図である。図２０には、工程毎に発生した不良発生数（不良品などの不具合の発生件数）に着目して解析を行った結果例を示す。

まず、工程毎に発生した不良発生数を示す分析結果７１２を生成する。生成された分析結果７１２においては、作業者が各作業を担当した場合に発生した不良発生数（人作業）と、ロボットが各作業を担当した場合に発生した不具合発生数（ロボット作業）とが区分されて示されている。

分析結果７１２において不良発生数が相対的に多い工程３に着目したとする。
工程３に着目して、担当者毎に発生した不良発生数を分析して分析結果７１３または分析結果７１４を得る。

工程３に着目して分析結果７１３が得られた場合には、分析結果７１３によれば、「作業者Ｃ」について不良発生数およびエラー率とも相対的に高いことが分かるので、不良の発生を低減するためには、「作業者Ｃ」の技能を向上させることが効果的であることが分かる。この場合、例えば、履歴情報に含まれる「作業者Ｃ」の作業を写した動画を元に「作業者Ｃ」を指導することができる。

より具体的には、要素作業毎に要した作業時間を作業者毎に分析して分析結果７１５を得る。分析結果７１５によれば、「作業者Ｃ」の「要素作業Ｂ」が他の作業者に比較して、より多くの作業時間がかかっていることが分かるので、「作業者Ｃ」に対して、「要素作業Ｂ」の作業について重点的に指導することができる。

一方、工程３に着目して分析結果７１４が得られた場合には、分析結果７１４によれば、作業者が担当する場合に比較して、ロボットが担当する場合には、不良発生数およびエラー率が相対的に低いことが分かるので、不良の発生を低減するためには、工程３についての作業者の技能を向上させる、あるいは、工程３を作業者による作業からロボットによる作業に変更することが効果的であることが分かる。

ロボットによる作業に変更することができない場合には、例えば、履歴情報に含まれる各作業者の作業を写した動画を元に作業者を指導することができる。

より具体的には、要素作業毎に要した作業時間を作業者毎に分析して分析結果７１６を得る。分析結果７１６によれば、「要素作業Ｂ」については、他の要素作業に比較して、より多くの作業時間がかかっていることが分かるので、各作業者に対して、「要素作業Ｂ」の作業について重点的に指導することができる。

図２１は、本実施の形態に係る協調作業システム１により収集された履歴情報の活用形態のさらに別の一例を説明するための図である。図２１には、工程毎に発生した不良発生数（不良品などの不具合の発生件数）に着目して解析を行った結果例を示す。

まず、工程毎に発生した不良発生数を示す分析結果７２２を生成する。生成された分析結果７２２においては、作業者が各作業を担当した場合に発生した不良発生数（人作業）と、ロボットが各作業を担当した場合に発生した不具合発生数（ロボット作業）とが区分されて示されている。

分析結果７２２において不良発生数が相対的に多い工程３に着目したとする。
工程３に着目して、その前後にある工程２および工程４を含めて、担当を異ならせたいくつかの分担パターン毎に発生した不良発生数を分析して分析結果７２４を得る。

分析結果７２４によれば、パターン（１）「ロボット→作業者→ロボット」、および、パターン（４）「作業者→作業者→ロボット」で、工程２～工程４が実施された場合に、不良発生数およびエラー率とも相対的に高いことが分かるので、不良の発生を低減するためには、これらパターン以外のパターンを採用することが好ましいことが分かる。この場合、例えば、生産計画に応じて、不良の発生が低い分担パターンを事前設定することができる。

なお、上述した例に限らず、任意の形態で活用が可能である。
本実施の形態に係る協調作業システム１は、人とロボットとが協調して作業する生産工程について、作業者およびロボットのいずれが担当したのかを示す情報を付加して、履歴情報を保存する。これによって、生産効率の低下や不具合が発生した場合の要因をより的確に解析できる。

例えば、いずれの作業者が担当しても相対的に作業時間が長い、あるいは、相対的に不良発生が多い場合には、工程自体に問題があると特定できる。一方、特定の作業者が担当した場合に、作業時間が長い、あるいは、不良発生が多い場合には、当該特定の作業者に問題があると特定できる。

前者の問題については、作業者による担当は適していない工程であるので、ロボットに担当を変更するといった対処が可能になる。あるいは、作業者とロボットとの間の作業分担が適切ではない場合には、担当分担を見直すことができる。逆に、ロボットによる担当は適していない工程についは、ロボットから作業者に担当を変更するような対処も可能である。

後者の問題については、特定の作業者による対応する作業への習熟度を高めるような対処が可能である。

さらに、本実施の形態に係る協調作業システム１は、要素作業の単位で、作業時間などを解析できるので、解析の精度を高めることができる。

＜Ｇ．変形例＞
上述の説明においては、解析収集装置２００がすべての処理を実行する形態について例示したが、これに限らず、複数の装置が連携して上述したような機能を提供するようにしてもよい。さらに、一部または全部の機能をサーバ上のいわゆるクラウドと称される計算リソースを利用して実現してもよい。

上述の説明においては、説明の便宜上、単一の生産工程を対象とする例について説明したが、複数の生産工程を対象にして履歴情報を収集してもよい。さらに、単一の工場ではなく、複数の工場からそれぞれ履歴情報を収集するようにしてもよい。この場合、特定の国だけではなく、全世界に分散配置された工場からそれぞれ履歴情報を収集して、原因分析の結果を他の工場や他の生産工程へ適用するような運用も可能である。

＜Ｈ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。

［構成１］
予め定められた工程に沿って製品を生産する協調作業システム（１）であって、
作業者と協調して作業を行う１または複数の協調作業ロボット（３００）と、
前記作業者および前記協調作業ロボットの挙動を示す履歴情報を格納するための履歴情報保存部（２９０）と、
予め定められた保存条件（２７４）が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が前記作業者および前記協調作業ロボットのいずれにより担当されたのかを示す情報（２９６）を付加して、前記履歴情報保存部に保存する条件判定部（２７２）とを備える、協調作業システム。

［構成２］
前記履歴情報は、前記作業者および前記協調作業ロボットの少なくとも一方を撮影した画像（２９４）を含む、構成１に記載の協調作業システム。

［構成３］
前記作業者および前記協調作業ロボットの少なくとも一方の挙動を解析することで、工程に含まれる各作業の開始および終了のタイミングを決定する作業認識部（２５０，２６０）をさらに備える、構成１または２に記載の協調作業システム。

［構成４］
前記作業認識部は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定する、構成３に記載の協調作業システム。

［構成５］
前記作業認識部は、
センシングデバイスによる少なくとも前記作業者を含む領域のセンシング結果に基づいて、前記作業者の特徴点を抽出する特徴点抽出部（２５１）と、
前記センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部（２５２）と、
前記特徴点抽出部により抽出される前記作業者の特徴点、および、前記物体認識部により認識される前記物体の位置および種類に基づいて、前記作業者による要素作業毎に開始および終了のタイミングを決定する第１のタイミング決定部（２５４，２５５）とを含む、構成３または４に記載の協調作業システム。

［構成６］
前記作業認識部は、
前記協調作業ロボットからの制御状態に基づいて前記協調作業ロボットのステータスを管理するステータス管理部（２６３）と、
前記協調作業ロボットのステータスに対応する挙動に基づいて、前記協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第２のタイミング決定部（２６５，２６６）とを含む、構成３～５のいずれか１項に記載の協調作業システム。

［構成７］
前記条件判定部は、前記作業認識部により決定される各作業の開始および終了のタイミングに基づいて、保存すべき履歴情報の場面または区間を決定する、構成３～６のいずれか１項に記載の協調作業システム。

［構成８］
前記条件判定部は、事後的に異常情報が入力されると、当該異常情報に対応する履歴情報をさかのぼって保存する、構成１～７のいずれか１項に記載の協調作業システム。

［構成９］
予め定められた工程に沿って製品を生産する協調作業システム（１）に向けられた解析収集装置（２００）であって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボット（３０）を含み、
前記作業者および前記協調作業ロボットの挙動を示す履歴情報を格納するための履歴情報保存部（２９０）と、
予め定められた保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が前記作業者および前記協調作業ロボットのいずれにより担当されたのかを示す情報を付加して、前記履歴情報保存部に保存する条件判定部（２７２）とを備える、解析収集装置。

［構成１０］
予め定められた工程に沿って製品を生産する協調作業システム（１）に向けられた解析プログラムであって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボット（３０）を含み、前記解析プログラムはコンピュータ（２００）に、
予め定められた保存条件が満たされるか否かを判断するステップ（Ｓ２０８）と、
いずれかの保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が前記作業者および前記協調作業ロボットのいずれにより担当されたのかを示す情報を付加して保存するステップ（Ｓ２１０，Ｓ２１２）とを実行させ、
前記履歴情報は、前記作業者および前記協調作業ロボットの挙動を示す、解析プログラム。

＜Ｉ．利点＞
本実施の形態に係る協調作業システムは、作業者と協調して作業を行う１または複数の協調作業ロボットを含む協調作業システムにおける作業を効率的に解析できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 協調作業システム、２ フィールドネットワーク、４ 上位ネットワーク、１１Ｍ，１２Ａ，１２Ｍ，１３Ａ，１４Ａ，１５Ａ 作業ステージ、２０ 作業者、３０ カメラ、４０ 工程全体、４１ 工程内、４２ 要素作業、４３ 動作、４４ 単位動作、１００ ＰＬＣ、１０２，２０２，３１２ プロセッサ、１０４，２０４，３１４ メインメモリ、１０６，２２２ 上位ネットワークコントローラ、１０８，２２０，３０２ フィールドネットワークコントローラ、１１０，２１０，３１６ ストレージ、１１２ メモリカードインターフェイス、１１４ メモリカード、１１６ ローカルバスコントローラ、１１８，２１８ プロセッサバス、１２０ ＵＳＢコントローラ、２００ 解析収集装置、２０６ 入力部、２０８ 表示部、２１２ 光学ドライブ、２１４ 記憶媒体、２５０ 作業者用工程認識部、２５１ 特徴点抽出部、２５２ 物体認識部、２５３ 動作認識部、２５４，２６６ 工程データベース、２５５，２６５ 現工程決定部、２５６ 画像バッファ、２６０ ロボット用工程認識部、２６１ 通信部、２６２ ロボット通信部、２６３ ステータス管理部、２６４，３１８，１１０６ レシピプログラム、２７０ 処理エンジン、２７２ 判定処理部、２７４ 保存条件、２８０ 実績データベース、２８２ 作業解析結果、２９０ 履歴情報データベース、２９２ 製品ＩＤ、２９４，２９５ 履歴情報、２９６ 属性情報、３００ ロボット、３１０ 主制御部、３１７，１１０２ システムプログラム、３２０ インターフェイス回路、３２２ センサ、３２４ アクチュエータ、３２６ モータドライバ、３２８ サーボモータ、４００ 表示操作装置、５００ サポート装置、６００ 生産管理システム、７０２，７０４，７０６，７０７，７０８，７０９，７１２，７１３，７１４，７１５，７１６，７２２，７２４ 分析結果、１１０４ ユーザプログラム、２１０４ 解析プログラム、２８０１ 工程欄、２８０２ 工程内欄、２８０３ 要素作業欄、２８０４ 開始時刻欄、２８０５ 終了時刻欄、２８０６ 作業時間、２８０７ 担当欄、２８０８ 生産管理情報欄、２９６１ 担当情報、２９６２ 適合条件情報、２９６３ 対象作業情報。

Claims (10)

1. 予め定められた工程に沿って製品を生産する協調作業システムであって、
   作業者と協調して作業を行う１または複数の協調作業ロボットと、
   前記作業者および前記協調作業ロボットの挙動を示す履歴情報を格納するための履歴情報保存部と、
   前記作業者および前記協調作業ロボットの少なくとも一方の挙動を解析することで、工程に含まれる各作業の開始および終了のタイミングを決定する作業認識部と、
   少なくとも前記作業認識部による決定結果に基づいて、予め定められた保存条件が満たされるか否かを判断し、当該保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が前記作業者および前記協調作業ロボットのいずれにより担当されたのかを示す情報を付加して、前記履歴情報保存部に保存する条件判定部とを備え、
   前記履歴情報は、前記作業者および前記協調作業ロボットの少なくとも一方を撮影した画像を含む、協調作業システム。
2. 前記作業認識部は、各工程に含まれる１または複数の要素作業毎に開始および終了のタイミングを決定する、請求項１に記載の協調作業システム。
3. 前記作業認識部は、
   センシングデバイスによる少なくとも前記作業者を含む領域のセンシング結果に基づいて、前記作業者の特徴点を抽出する特徴点抽出部と、
   前記センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、
   前記特徴点抽出部により抽出される前記作業者の特徴点、および、前記物体認識部により認識される前記物体の位置および種類に基づいて、前記作業者による要素作業毎に開始および終了のタイミングを決定する第１のタイミング決定部とを含む、請求項１または２に記載の協調作業システム。
4. 前記作業認識部は、
   前記協調作業ロボットからの制御状態に基づいて前記協調作業ロボットのステータスを管理するステータス管理部と、
   前記協調作業ロボットのステータスに対応する挙動に基づいて、前記協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第２のタイミング決定部とを含む、請求項１～３のいずれか１項に記載の協調作業システム。
5. 前記条件判定部は、前記作業認識部により決定される各作業の開始および終了のタイミングに基づいて、保存すべき履歴情報の場面または区間を決定する、請求項１～４のいずれか１項に記載の協調作業システム。
6. 前記条件判定部は、事後的に異常情報が入力されると、当該異常情報に対応する履歴情報をさかのぼって保存する、請求項１～５のいずれか１項に記載の協調作業システム。
7. 前記保存条件は、
   予め定められた特定の作業が開始されたことと、
   通常の工程とは異なる状態になったことと、
   異常情報が入力されることと、
   のうち少なくとも１つを含む、請求項１～６のいずれか１項に記載の協調作業システム。
8. 前記履歴情報は、対応する製品を特定するための製品識別情報と対応付けて前記履歴情報保存部に保存される、請求項１～７のいずれか１項に記載の協調作業システム。
9. 予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析収集装置であって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含み、
   前記作業者および前記協調作業ロボットの挙動を示す履歴情報を格納するための履歴情報保存部と、
   前記作業者および前記協調作業ロボットの少なくとも一方の挙動を解析することで、工程に含まれる各作業の開始および終了のタイミングを決定する作業認識部と、
   少なくとも前記作業認識部による決定結果に基づいて、予め定められた保存条件が満たされるか否かを判断し、当該保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が前記作業者および前記協調作業ロボットのいずれにより担当されたのかを示す情報を付加して、前記履歴情報保存部に保存する条件判定部とを備え、
   前記履歴情報は、前記作業者および前記協調作業ロボットの少なくとも一方を撮影した画像を含む、解析収集装置。
10. 予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムであって、協調作業システムは作業者と協調して作業を行う１または複数の協調作業ロボットを含み、前記解析プログラムはコンピュータに、
    前記作業者および前記協調作業ロボットの少なくとも一方の挙動を解析することで、工程に含まれる各作業の開始および終了のタイミングを決定するステップと、
    少なくとも前記決定するステップにおける決定結果に基づいて、予め定められた保存条件が満たされるか否かを判断するステップと、
    いずれかの保存条件が満たされると、当該保存条件により指定された作業についての履歴情報を、当該作業が前記作業者および前記協調作業ロボットのいずれにより担当されたのかを示す情報を付加して保存するステップとを実行させ、
    前記履歴情報は、前記作業者および前記協調作業ロボットの挙動を示し、
    前記履歴情報は、前記作業者および前記協調作業ロボットの少なくとも一方を撮影した画像を含む、解析プログラム。

Images