JP7401280B2

JP7401280B2 - 作業工程判別装置及び作業工程判別システム

Info

Publication number: JP7401280B2
Application number: JP2019221684A
Authority: JP
Inventors: 隆資今田
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2023-12-19
Anticipated expiration: 2039-12-06
Also published as: JP2021092868A

Description

本発明は、作業工程判別装置及び作業工程判別システムに関する。

工場等の製造現場では、製造ラインに設置されるロボットや工作機械等の産業機械の稼働状態を監視し、産業機械の稼働状態を管理する装置が導入されている（例えば、特許文献１等）。産業機械の稼動を監視する際には、該産業機械の加工運転が行われていない「停止中」の状態において、作業者が何をしているのか詳細を知りたいという要望がある。産業機械が「停止中」だが人がその産業機械前で作業している場合に、どのような作業に時間がかかっているかを知りたいという要望がある。

図１０は、稼働管理システムにより管理される産業機械の稼働状態を表示した例である。図１０において、１１月２８日１０時３５分５２秒～１２時５８分０７秒までの間、設備０００１の産業機械は電源は入っているが動作が停止している。通常、産業機械の運転中は、該産業機械から取得されるデータに基づいてどのような作業を行っているのかを判別することができる。しかしながら、産業機械の停止中は、その作業内容を判別するためのデータを十分に取得できない。そのため、何らかの形で作業内容を判別したいという要望がある。以後、人の作業における各々の段階を作業工程と呼ぶ。

作業工程の判別の手段として以下のような方法がある。産業機械の操作盤等に作業工程の内容を示すボタン（例えば、「ワーク運搬中」、「工具交換中」、「寸法出し中」等のボタン）を用意し、作業者が作業工程毎に当該ボタンを押す。そして稼動監視システムは、ボタンのＯＮ／ＯＦＦ信号を検出することで、作業者による作業工程を判別することができ、それぞれの作業工程に掛かった時間を管理することができる。

特開２０１４－１７４９６９号公報

作業工程を判別するために作業者に操作させるような構成とした場合、作業工程毎に何かしらの操作しなければならないため手間がかかるという課題がある。また、作業工程を細やかに管理しようとした場合、作業工程が変わるたびに毎回の作業者は作業工程を知らせる操作をしなければならなくなるため、作業者の負担が増加する。
そのため、作業者に負担をかけずに作業工程を判別することを可能とする技術が望まれている。

本発明の作業工程判別装置及び作業工程判別システムでは、産業機械を制御する制御装置から取得した操作履歴情報や、該産業機械の周辺に設置された各センサによる機械周辺の情報を取得し、取得した情報を用いた機械学習を行うことで、操作履歴情報及び機械周辺情報と、作業工程との間の相関性を学習する。そして、その学習結果を用いて、産業機械の停止中であっても作業者がどのような作業工程にあるのかを判別できるようにする。

本発明の作業工程判別装置及び作業工程判別システムには、少なくとも学習手法として教師なし学習を用いる実施形態と、教師あり学習を用いる実施形態とがある。
教師なし学習を用いる実施形態では、人が作業を行う。作業中の機械周辺情報を入力データとして、機械学習を行い、機械学習装置が毎回行われる共通の処理の抽出と、その処理中の機械周辺情報の特徴を抽出して、作業工程の区切りを判別する。
一方、教師あり学習を用いる実施形態では、学習フェーズにおいて、作業中に作業工程の区切れになったら、作業者がボタン等で作業工程の内容とタイミングを教える。これを教師データとして学習をすることで、操作履歴情報及び機械周辺情報と、作業工程との間の相関性を学習する。

そして、本発明の一態様は、産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別装置であって、前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、を備え、前記機械学習装置は、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師なし学習した学習モデルを生成する学習部を備え、前記学習部は、前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、前記作業に係るデータをクラスタ分析して、前記作業工程の区切りの特徴を抽出する特徴抽出部と、前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、を備える作業工程判別装置である。
本発明の他の態様は、産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別装置であって、前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれか、及び前記作業工程の区切りに係る情報を含むデータを取得するデータ取得部と、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、を備え、前記機械学習装置は、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師あり学習した学習モデルを生成する学習部を備え、前記学習部は、前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、前記作業に係るデータから前記作業工程の区切りの特徴を抽出する特徴抽出部と、前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、を備える作業工程判別装置である。
本発明の他の態様は、産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別装置であって、前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、を備え、前記機械学習装置は、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を学習した学習モデルを記憶する学習モデル記憶部と、データ取得部が取得したデータに基づいて、前記学習モデル記憶部に記憶されている学習モデルを用いた前記作業工程の区切りの判別処理を実行する作業工程判別部と、を備える作業工程判別装置である。

本発明の他の態様は、産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別システムであって、前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、を備え、前記機械学習装置は、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師なし学習した学習モデルを生成する学習部を備え、前記学習部は、前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、前記作業に係るデータをクラスタ分析して、前記作業工程の区切りの特徴を抽出する特徴抽出部と、前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、を備える作業工程判別システムである。
本発明の他の態様は、産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別システムであって、前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれか、及び前記作業工程の区切りに係る情報を含むデータを取得するデータ取得部と、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、を備え、前記機械学習装置は、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師あり学習した学習モデルを生成する学習部を備え、前記学習部は、前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、前記作業に係るデータから前記作業工程の区切りの特徴を抽出する特徴抽出部と、前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、を備える作業工程判別システムである。
本発明の他の態様は、産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別システムであって、前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、を備え、前記機械学習装置は、前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師なし学習した学習モデルを生成する学習部を備え、前記学習部は、前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、前記作業に係るデータをクラスタ分析して、前記作業工程の区切りの特徴を抽出する特徴抽出部と、前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、を備える作業工程判別システムである。

本発明の一態様により、作業者の手を煩わせなくとも、機械が”停止中”の状態における、作業者の作業内容が判別できるようになる。

一実施形態による作業工程判別装置の概略的なハードウェア構成図である。第１実施形態による作業工程判別装置の概略的な機能ブロック図である。作業抽出部の動作について説明する図である。特徴抽出部の動作について説明する図である。第２実施形態による作業工程判別装置の概略的な機能ブロック図である。作業工程の判別結果について説明する図である。第２実施形態による作業工程判別装置の変形例の概略的な機能ブロック図である。第３実施形態による作業工程判別装置の概略的な機能ブロック図である。他の実施形態による作業工程判別システムの概略的な機能ブロック図である。従来技術による稼働管理システムにより管理される産業機械の稼働状態の表示例である。

以下、本発明の実施形態を図面と共に説明する。
図１は本発明の一実施形態による作業工程判別装置の要部を示す概略的なハードウェア構成図である。本発明の作業工程判別装置１は、例えば産業機械を制御する制御装置として実装することができる。また、本発明の作業工程判別装置１は、産業機械を制御する制御装置に併設されたパソコンや、有線／無線のネットワークを介して制御装置と接続されたパソコン、セルコンピュータ、フォグコンピュータ、クラウドサーバの上に実装することができる。本実施形態では、作業工程判別装置１を、産業機械を制御する制御装置とネットワーク介して接続されたパソコンの上に実装した例を示す。

本実施形態による作業工程判別装置１が備えるＣＰＵ１１は、作業工程判別装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って作業工程判別装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データ等が一時的に格納される。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等で構成され、作業工程判別装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたデータ、入力装置７１を介して入力されたデータ、インタフェース２０を介して制御装置３やセンサ６等から取得されたデータ等が記憶される。不揮発性メモリ１４に記憶されたデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システム・プログラムがあらかじめ書き込まれている。

インタフェース１５は、作業工程判別装置１のＣＰＵ１１とＵＳＢ装置等の外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば他の産業機械等で取得されたデータ等を読み込むことができる。また、作業工程判別装置１内で処理されたデータ等は、外部機器７２を介して外部記憶手段に記憶させることができる。

インタフェース２０は、作業工程判別装置１のＣＰＵ１１と有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、制御装置３やフォグコンピュータ、クラウドサーバ等が接続され、作業工程判別装置１との間で相互にデータのやり取りを行っている。制御装置３が制御する産業機械４の周辺にはカメラや音センサ、振動センサ、近接センサ等のセンサ６が設置されており、産業機械４の周辺の情報を観測できるようになっている。インタフェース２０は、ネットワーク５を介して制御装置３に対する操作情報や産業機械４の周辺の情報を取得し、ＣＰＵ１１に渡す。

表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ等がインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置７１は、インタフェース１８を介して作業工程判別装置１に対する操作に基づく指令、データ等を受付、ＣＰＵ１１に渡す。

インタフェース２１は、作業工程判別装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して作業工程判別装置１で取得可能な各情報（制御装置３の操作履歴情報や産業機械４の周辺情報等）を観測することができる。また、作業工程判別装置１は、インタフェース１７を介して機械学習装置１００から出力される情報を取得し、不揮発性メモリ１４に記憶したり、表示装置５０に表示したりする。

図２は、本発明の第１実施形態による作業工程判別装置１が備える機能を概略的なブロック図として示したものである。本実施形態による作業工程判別装置１が備える各機能は、図１に示した作業工程判別装置１が備えるＣＰＵ１１がシステム・プログラムを実行し、作業工程判別装置１の各部の動作を制御することにより実現される。

本実施形態の作業工程判別装置１は、データ取得部１１０、学習部１０６、表示部１２０を備える。また、作業工程判別装置１のＲＡＭ１３乃至不揮発性メモリ１４には、入力装置７１、外部機器７２、制御装置３等から取得したデータを記憶するための領域としての取得データ記憶部２００が予め設けられている。更に、作業工程判別装置１が備える機械学習装置のＲＡＭ１０３乃至不揮発性メモリ１０４には、学習部１０６が作成した学習モデルを記憶するための領域としての学習モデル記憶部２２０が予め用意されている。

データ取得部１１０は、図１に示した作業工程判別装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース１５、１８又は２０を用いた入力制御処理とが行われることで実現される。データ取得部１１０は、作業者による制御装置３の操作履歴情報、センサ６により検出された産業機械４の機械周辺情報等のデータを取得する。データ取得部１１０が取得するデータが操作履歴情報である場合には、該操作履歴に含まれる各操作が行われた時刻が関連付けられて取得データ記憶部２００に記憶される。また、データ取得部１１０が取得するデータがセンサ６が検出した機械周辺情報である場合には、該機械周辺情報が検出された時刻が関連付けられて取得データ記憶部２００に記憶される。操作履歴情報は、単独のボタン操作やポインティングデバイスの操作を１つの単位操作として記憶しても良いが、「工具オフセットの変更」、「プログラム運転」等のように、作業の中で意味を持つ所定の操作群をまとめて１つの単位操作として記憶するようにすることが望ましい。また、機械周辺情報は、作業者の立ち位置（産業機械４、制御装置３の操作盤、作業台等、いずれの設備のそばにいるのか）、工具ホルダや機械扉等、産業機械４の周辺装置の動作状態、産業機械４の周辺の音等を、それぞれの状態が変化したことを情報の単位として記憶することが望ましい。データ取得部１１０は、ネットワーク５を介して制御装置３から直接データを取得しても良い。データ取得部１１０は、外部機器７２や、図示しないフォグコンピュータ、クラウドサーバ等が既に取得して記憶しているデータを取得しても良い。

学習部１０６は、図１に示した作業工程判別装置１が備える機械学習装置１００のプロセッサ１０１がＲＯＭ１０２から読み出したシステム・プログラムを実行し、主としてプロセッサ１０１によるＲＡＭ１０３、不揮発性メモリ１０４を用いた演算処理が行われることで実現される。本実施形態による学習部１０６は、データ取得部１１０が取得し、取得データ記憶部２００に記憶された操作履歴情報、機械周辺情報等のデータに基づく教師なし学習を行う。学習部１０６は、教師なし学習を行うことで、操作履歴情報及び機械周辺情報と、作業工程の区切りとの間の相関性を学習した学習モデルを生成し、学習モデル記憶部２２０に記憶する。本実施形態による学習部１０６は、作業抽出部１０７、特徴抽出部１０８、評価式作成部１０９を備える。

作業抽出部１０７は、取得データ記憶部２００に記憶されたデータを分析し、操作履歴情報や機械周辺情報等のデータで示される作業を抽出する。作業抽出部１０７は、同時刻における操作履歴情報や機械周辺情報等のデータ値を要素とするベクトルデータを作成する。作業抽出部１０７は、操作履歴情報や機械周辺情報等のデータ値について、いずれかのデータ値に変化が生じた時の各データ値の組から１つのベクトルデータを作成しても良い。また、作業抽出部１０７は、所定の動作を検出したタイミングにおけるデータ値の組から１つのベクトルデータを作成しても良い。図３は、作業抽出部１０７が作成するベクトルデータの例を示している。図３の例では、例えばベクトルデータｖ２は、ワークが検出されたタイミングにおける、操作履歴、作業者の位置、ワークの位置、工具ホルダの動作、機械周辺の音のデータ値の組から作成されたものである。また、ベクトルデータｖ３は、工具ホルダの動作が検出されたタイミングにおける、操作履歴、作業者の位置、ワークの位置、工具ホルダの動作、機械周辺の音のデータ値の組から作成されたものである。各ベクトルデータは、所定のタイミングにおける作業者による作業を示すデータである。

特徴抽出部１０８は、作業抽出部１０７が作成したベクトルデータに対して公知のクラスタ分析の技術を適用し、ベクトルデータのクラスタを作成する。そして、作成したクラスタから、それぞれの作業の特徴を抽出する。図４は、特徴抽出部１０８が作成するクラスタの例を示す図である。なお、図４では、操作履歴、作業者の位置、機械周辺の音を各要素としたベクトル空間において作成されるクラスタを例としているが、実際には操作履歴情報や機械周辺情報等のデータの種類の数の次元のベクトル空間となる。このようなクラスタを作成することで、クラスタに属するベクトルデータは定常的に行われる作業を、クラスタに属しないベクトルデータは非定常的な作業を示すことが分析できる。また、クラスタに属するベクトルデータの間に所定の数以上の時間的推移がある場合、その間の推移を作業工程として分析することができる。そして、特徴抽出部１０８は、作業工程の前にあるクラスタと、作業工程の後ろにあるクラスタとの間で変化があったベクトルデータの要素値を、作業工程を区切る特徴として抽出することができる。

評価式作成部１０９は、特徴抽出部１０８が抽出した作業工程を区切る特徴に基づいて、作業工程を区切る作業に関する評価式を作成する。評価式作成部１０９は、特徴抽出部１０８が分析した作業工程の終了時におけるデータ値の変化乃至所定の動作を高く評価する式として定義できる。例えば、評価式作成部１０９は、以下に示す数１式を評価式として作成する。数１式において、α１～αｎは重み係数であり、重み係数の後ろに記載された（ＩＦ～ＴＨＥＮ～ＥＬＳＥ）文は、ベクトルデータの所定の要素に所定の値が現れた場合に１となる関数を意味している。

数１式の例では、評価式作成部１０９は、作業抽出部１０７が作業工程を区切る特徴として抽出したベクトルデータの要素値に係る重み係数を高い重みとし、それ以外の重み係数を低い重みとした評価式を作成する。評価式作成部１０９は、作成した評価式を学習モデル記憶部２２０に記憶する。

表示部１２０は、図１に示した作業工程判別装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース１７を用いた入力制御処理とが行われることで実現される。表示部１２０は、特徴抽出部１０８が作成したクラスタや、評価式作成部１０９が作成した評価式を表示装置７０に表示する。表示部１２０が表示した評価式等については、例えば入力装置７１の操作に基づいて修正等を加えることができるようにしても良い。

上記構成を備えた本実施形態による作業工程判別装置１は、産業機械４を制御する制御装置３から収集された操作履歴情報及び機械周辺情報等のデータを分析し、作業工程の区切りを判定するための評価式を学習モデルとして作成する。学習モデルとしての評価式を作成する際には、工場等の現場で日常的に行われている作業から取得された大量のデータを用いることが望ましい。この評価式を用いることで、産業機械が加工運転されていない場合であっても、作業者の手をわずらわせること無く作業者の作業工程の区切りを自動的に判別することが可能となる。

図５は、本発明の第２実施形態による作業工程判別装置１が備える機能を概略的なブロック図として示したものである。本実施形態による作業工程判別装置１が備える各機能は、図１に示した作業工程判別装置１が備えるＣＰＵ１１がシステム・プログラムを実行し、作業工程判別装置１の各部の動作を制御することにより実現される。

本実施形態の作業工程判別装置１は、データ取得部１１０、作業工程判別部１１２、表示部１２０を備える。また、作業工程判別装置１のＲＡＭ１３乃至不揮発性メモリ１４には、制御装置３等から取得したデータを記憶するための領域としての取得データ記憶部２００が予め設けられている。更に、作業工程判別装置１が備える機械学習装置のＲＡＭ１０３乃至不揮発性メモリ１０４には、第１実施形態による学習部１０６が作成した学習モデルを記憶した領域としての学習モデル記憶部２２０が予め用意されている。

本実施形態によるデータ取得部１１０は、第１実施形態によるデータ取得部１１０と同様の機能を備える。

作業工程判別部１１２は、学習モデル記憶部２２０に記憶される学習モデルを用いて、データ取得部１１０が取得した操作履歴情報及び機械周辺情報等のデータを分析し、作業工程の区切りを判別する。作業工程判別部１１２は、データ取得部が取得した操作履歴情報及び機械周辺情報等のデータについて、同時刻における操作履歴情報や機械周辺情報等のデータ値を要素とするベクトルデータを作成する。次に、作業工程判別部１１２は、作成したベクトルデータを学習モデル記憶部２２０に記憶される評価式に代入して評価値を算出する。そして、算出した評価値が、予め定めた所定の閾値以上である場合に、そのベクトルデータが検出された時点を作業工程の区切りとして判別する。

そして、表示部１２０は、例えば図６に例示されるように、作業工程判別部１１２が判別した作業工程の区切りが把握できるように、作業者による各作業工程を表示装置７０に表示する。表示部１２０は、入力装置７１を操作してそれぞれの作業工程を選択された場合に、該作業工程に入った際の区切りに係る情報（ベクトルデータのいずれの要素値の変化に基づいて区切りと判断されたのか等）を画面上に表示するようにしても良い。

上記構成を備えた本実施形態による作業工程判別装置１は、第１実施形態による作業工程判別装置１が生成した学習モデルを用いることで、産業機械が加工運転されていない場合であっても、作業者の作業工程の区切りを判別することができる。図６に例示される表示を見た現場の管理者は、それぞれの作業工程の区切りを確認し、その内容に応じてそれぞれの作業工程においてどのような作業がなされているのか（例えば、工具交換なのか、寸法出しなのか、など）を判断することができ、必要に応じてその作業工程の情報を設定（意味づけ）することも容易に行うことができる。

本実施形態による作業工程判別装置１の一変形例として、典型的な作業工程の区切りと作業工程の内容との関係を定めるルールを予め定義しておき、ある程度自動的に作業工程の情報を設定するように構成しても良い。例えば、図７に例示されるように、作業工程判別装置１が備えるＲＡＭ１３乃至不揮発性メモリ１４に、作業工程に入った際の区切りに係る情報（ベクトルデータのいずれの要素値の変化に基づいて区切りと判断されたのか、等）と作業工程との関係を定義するルールを記憶する作業工程ルール記憶部２１０を設け、そこに典型的なルール（例えば、作業工程の区切りにおいて工具ホルダが回転した場合には工具交換の作業工程である等）を１乃至複数定義しておく。そして、作業工程判別部１１２が作業工程の区切りを判別した際に、作業工程ルール記憶部２１０を参照し、いずれかのルールに適合した場合には当該作業工程を当該ルールにしたがって意味づけするようにしても良い。このような構成を設けることで、すべての作業工程を判別することは難しくても、典型的な作業工程に関しては自動的に意味づけすることが可能となる。

図８は、本発明の第３実施形態による作業工程判別装置１が備える機能を概略的なブロック図として示したものである。本実施形態による作業工程判別装置１が備える各機能は、図１に示した作業工程判別装置１が備えるＣＰＵ１１がシステム・プログラムを実行し、作業工程判別装置１の各部の動作を制御することにより実現される。

本実施形態の作業工程判別装置１は、第１実施形態による作業工程判別装置１と同様に、データ取得部１１０、学習部１０６、表示部１２０を備える。また、作業工程判別装置１のＲＡＭ１３乃至不揮発性メモリ１４には、入力装置７１、外部機器７２、制御装置３等から取得したデータを記憶するための領域としての取得データ記憶部２００が予め設けられている。更に、作業工程判別装置１が備える機械学習装置のＲＡＭ１０３乃至不揮発性メモリ１０４には、学習部１０６が作成した学習モデルを記憶するための領域としての学習モデル記憶部２２０が予め用意されている。

本実施形態によるデータ取得部１１０は、作業者による制御装置３の操作履歴情報、センサ６により検出された産業機械４の機械周辺情報等のデータを取得する。また、本実施形態によるデータ取得部１１０は、入力装置７１から、制御装置３の操作履歴情報、センサ６により検出された産業機械４の機械周辺情報等のデータに対する作業工程の区切りに係る情報を取得する。データ取得部１１０が取得する作業工程の区切りに係る情報には、作業工程の区切りとする時刻情報を含んでいても良い。また、データ取得部１１０が取得する作業工程の区切りに係る情報には、作業工程における作業内容を示す情報を含んでいても良い。データ取得部１１０が取得した作業工程の区切りにかかる情報は、操作履歴情報や機械周辺情報等のデータに関連付けて、取得データ記憶部２００に記憶される。

本実施形態による学習部１０６は、データ取得部１１０が取得し、取得データ記憶部２００に記憶された操作履歴情報、機械周辺情報等のデータ、及び作業工程の区切りに係る情報に基づく教師あり学習を行う。学習部１０６は、教師あり学習を行うことで、操作履歴情報及び機械周辺情報と、作業工程の区切りとの間の相関性を学習した学習モデルを生成し、学習モデル記憶部２２０に記憶する。本実施形態による学習部１０６は、作業抽出部１０７、特徴抽出部１０８、評価式作成部１０９を備える。

本実施形態による作業抽出部１０７は、取得データ記憶部２００に記憶されたデータを分析し、操作履歴情報や機械周辺情報等のデータで示される作業を抽出する。本実施形態による作業抽出部１０７は、作業工程の区切りに係る情報と関連付けられている操作履歴情報や機械周辺情報等のデータについて、第１実施形態による作業抽出部１０７と同様の処理によりベクトルデータの作成をすることで、作業の抽出を行う。

本実施形態による特徴抽出部１０８は、作業抽出部１０７が作成したベクトルデータから、それぞれの作業の特徴を抽出する。本実施形態による特徴抽出部１０８が作業の特徴を抽出するベクトルデータには、作業工程の区切りに係る情報が関連付けられている。本実施形態による特徴抽出部１０８は、同じ作業内容の作業工程について、その作業工程の区切りの前後で変化があったベクトルデータの要素値を、作業工程を区切る特徴として抽出する。

評価式作成部１０９は、特徴抽出部１０８が抽出した作業工程を区切る特徴に基づいて、作業工程を区切る作業に関する評価式を作成する。本実施形態による評価式作成部１０９は、第１実施形態による評価式作成部１０９と同様の機能を備える。

表示部１２０は、特徴抽出部１０８が作成したクラスタや、評価式作成部１０９が作成した評価式を表示装置７０に表示する。表示部１２０が表示した評価式等については、例えば入力装置７１の操作に基づいて修正等を加えることができるようにしても良い。

上記構成を備えた本実施形態による作業工程判別装置１は、収集された操作履歴情報や機械周辺情報等のデータに対して、例えば作業工程の管理者が作業工程に係る情報を入力する。そして、入力された作業工程にかかる情報を用いて、操作履歴情報及び機械周辺情報等のデータを分析し、作業工程の区切りを判定するための評価式を学習モデルとして作成する。また、管理者により入力された作業工程にかかる情報を用いるため、手間はかかるものの第１実施形態による作業工程判別装置１が作成する学習モデルと比較して、より制度の高い学習モデルを作成できることが期待される。この評価式を用いることで、産業機械が加工運転されていない場合であっても、作業者の手をわずらわせること無く作業者の作業工程の区切りを自動的に判別することが可能となる。

以上、本発明の一実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記した実施形態では作業工程の判別に必要な構成を１つの作業工程判別装置１上に実装した例を示したが、本発明は、図９に例示されるように、ネットワークを介して相互に接続された複数の装置上に作業工程の判別に必要とされる構成を分散して配置した作業工程判別システム５００として構成しても良い。図９の例では、クラウドサーバ８の上に学習部１０６と学習モデル記憶部２２０を配置し、フォグコンピュータ７上に作業工程判別部１１２を配置している。なお、図示はしていないがクラウドサーバ８，フォグコンピュータ７はそれぞれデータ取得部１１０を備えている。学習部１０６は、ネットワークを介して多くの現場に設置されている制御装置３から操作履歴情報及び機械周辺情報等のデータを収集し、収集した大量のデータに基づいて学習モデルを生成することができる。また、作業工程判別部１１２は、ネットワークを介してクラウドサーバ８により共有される学習モデルを取得し、各制御装置３での作業工程を判別することが可能となる。なお、各機能をどのように分散配置するのかについては、図９の例に限定されない。

１作業工程判別装置
３制御装置
４産業機械
５ネットワーク
６センサ
７フォグコンピュータ
８クラウドサーバ
９セル
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４不揮発性メモリ
１５，１７，１８，２０インタフェース
２２バス
７０表示装置
７１入力装置
７２外部機器
１００機械学習装置
１０１プロセッサ
１０２ＲＯＭ
１０３ＲＡＭ
１０４不揮発性メモリ
１０６学習部
１０７作業抽出部
１０８特徴抽出部
１０９評価式作成部
１１２作業工程判別部
１１０データ取得部
２００取得データ記憶部
２１０作業工程ルール記憶部
２２０学習モデル記憶部

Claims

産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別装置であって、
前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、
を備え、
前記機械学習装置は、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師なし学習した学習モデルを生成する学習部を備え、
前記学習部は、
前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、
前記作業に係るデータをクラスタ分析して、前記作業工程の区切りの特徴を抽出する特徴抽出部と、
前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、
を備える作業工程判別装置。
産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別装置であって、
前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれか、及び前記作業工程の区切りに係る情報を含むデータを取得するデータ取得部と、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、
を備え、
前記機械学習装置は、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師あり学習した学習モデルを生成する学習部を備え、
前記学習部は、
前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、
前記作業に係るデータから前記作業工程の区切りの特徴を抽出する特徴抽出部と、
前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、
を備える作業工程判別装置。
産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別装置であって、
前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、
を備え、
前記機械学習装置は、
操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を学習した学習モデルを記憶する学習モデル記憶部と、
データ取得部が取得したデータに基づいて、前記学習モデル記憶部に記憶されている学習モデルを用いた前記作業工程の区切りの判別処理を実行する作業工程判別部と、
を備える作業工程判別装置。
産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別システムであって、
前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、
を備え、
前記機械学習装置は、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師なし学習した学習モデルを生成する学習部を備え、
前記学習部は、
前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、
前記作業に係るデータをクラスタ分析して、前記作業工程の区切りの特徴を抽出する特徴抽出部と、
前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、
を備える作業工程判別システム。
産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別システムであって、
前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれか、及び前記作業工程の区切りに係る情報を含むデータを取得するデータ取得部と、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、
を備え、
前記機械学習装置は、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師あり学習した学習モデルを生成する学習部を備え、
前記学習部は、
前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、
前記作業に係るデータから前記作業工程の区切りの特徴を抽出する特徴抽出部と、
前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、
を備える作業工程判別システム。
産業機械を制御する制御装置を用いた作業における作業工程を判別する作業工程判別システムであって、
前記制御装置の操作履歴情報及び前記産業機械の周辺状態をセンサで検出した機械周辺情報の少なくともいずれかを含むデータを取得するデータ取得部と、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとに係る機械学習の処理を実行する機械学習装置と、
を備え、
前記機械学習装置は、
前記データ取得部が取得したデータを分析して、操作履歴情報及び機械周辺情報の少なくともいずれかと、前記作業工程の区切りとの間の相関性を教師なし学習した学習モデルを生成する学習部を備え、
前記学習部は、
前記データ取得部が取得したデータから前記作業に係るデータを抽出する作業抽出部と、
前記作業に係るデータをクラスタ分析して、前記作業工程の区切りの特徴を抽出する特徴抽出部と、
前記作業工程の区切りの特徴に基づいて評価式を作成する評価式作成部と、
を備える作業工程判別システム。