JP7506180B2 - 教示支援装置、作業システム、教示支援方法および教示支援プログラム - Google Patents

Description

本開示は、作業機械の教示を支援する教示支援装置、作業システム、教示支援方法および教示支援プログラムに関する。

産業ロボットをはじめとした作業機械を用いた作業では、作業機械に所望の動作を行わせるための位置情報を教え込む教示が行われ、教示される位置情報すなわち教示点の調整に基づいてロボットの動作プログラムが作成される。この調整は、システムインテグレータのエンジニアにより行われる。このような調整は、ユーザによって行われることもある。このため、プログラム言語に不慣れな場合でも、容易に調整を実施できることが望ましい。特許文献１には、ロボットの動作プログラミングの作成を支援するプログラミング支援装置が開示されている。特許文献１に記載のプログラミング支援装置は、ロボットの動作環境を指定する環境条件を、ユーザインタフェースへの入力に応じて設定し、ロボットに実行させる複数の実行対象の作業ジョブを、ユーザインタフェースへの入力に応じて設定し、設定された複数の実行対象の作業ジョブの実行順序を定めた実行フローにおいて、作業ジョブが環境条件を満たすか否かを、当該実行順序に基づいて判定する。

国際公開第２０１８／１９４０９４号

特許文献１に記載のプログラミング支援装置は、ユーザは、ユーザインタフェースを用いて、作業を行うためのロボットの動作に関して、作業ジョブごとに教示点および制約条件を設定し、各作業ジョブの順序も設定する必要があり、この設定は、ユーザにとって時間がかかりシステムが稼働状態となるまでに時間を要する。

本開示は、上記に鑑みてなされたものであって、ユーザがシステムを稼働状態にするまでの時間を短くできることが可能な教示支援装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示にかかる教示支援装置は、作業の雛形に応じた作業内容と作業機械の環境をモデル化した３次元モデルである環境モデルとに基づいて動作プログラムを生成し、動作プログラムを用いて作業機械と環境との干渉を回避した、作業機械の動作軌道を生成する動作演算部、を備え、雛形は、動作プログラムに対応する動作を自然言語で表した情報を含み、作業内容は、雛形とユーザによって入力される入力情報とにより決定され、入力情報は、雛形が示す動作の対象物を示す情報と動作における移動の目的の場所を示す情報とを含み、教示位置を含まず、目的の場所は、環境モデルに含まれる場所であり、対象物は、環境モデルに含まれる。

本開示にかかる教示支援装置は、ユーザがシステムを稼働状態にするまでの時間を短くできるという効果を奏する。

実施の形態１にかかる作業システムの構成例を示す図 実施の形態１の教示支援装置における処理手順の一例を示すフローチャート 実施の形態１における環境計測データの取得方法の一例を模式的に示す図 実施の形態１の作業選択画面の一例を示す図 実施の形態１の入力部が作業内容として受け付ける情報の一例を示す図 実施の形態１の作業設定部およびロボット動作演算部の構成例を示す図 実施の形態１の複数工程一括動作演算の一例を示す図 工程単位動作演算によって生成される軌道と複数工程一括動作演算によって生成される軌道との一例を示す図 実施の形態１の教示支援装置を実現するコンピュータシステムの構成例を示す図 実施の形態２にかかる教示支援装置の構成例を示す図 実施の形態２の表示画面の一例を示す図 実施の形態３にかかる作業システムの構成例を示す図 実施の形態３の教示支援装置における処理手順の一例を示すフローチャート 実施の形態４にかかる作業システムの構成例を示す図 実施の形態５にかかる作業システムの構成例を示す図

以下に、実施の形態にかかる教示支援装置、作業システム、教示支援方法および教示支援プログラムを図面に基づいて詳細に説明する。

実施の形態１．
図１は、実施の形態１にかかる作業システムの構成例を示す図である。本実施の形態の作業システム６は、教示支援装置１、画像センサ２、ロボット制御装置３、ロボット４およびセンサ５を備える。作業システム６は、ロボット４を用いて、作業を行うシステムである。ロボット４は、作業機械の一例であり、例えば、箱詰め、組立、加工、搬送、包装などを行う産業用ロボットであってもよいし、人を支援するサービスロボットであってもよい。また、ロボット４は、農作業、建築作業などを行う屋外用ロボットであってもよいし、屋内用ロボットであってもよい。また、ロボット４は、例えば、多軸の垂直多関節ロボットであるが、これに限らず、直動ロボットであってもよいし、直動と回転とを組み合わせたロボットであってもよくロボットの種類に制約はない。以下では、一例として、ロボット４が、産業用の多軸の垂直多関節ロボットである例について説明する。

ロボット制御装置３は、教示支援装置１から、ロボットの動作に関する指令であるロボット動作指令を受信し、受信したロボット動作指令にロボット４が追従するよう、ロボットのモータを制御するための制御量を演算し、制御量をロボット４へ出力することでロボット４の動作を制御する。ロボット制御装置３は、センサ５の検出結果を用いてロボット４の動作の修正を行ってもよい。センサ５は、ロボット４の作業の対象物の位置、姿勢などを検出するセンサであり、例えば、２次元または３次元のビジョンセンサである。ロボット制御装置３は、ロボット４における各軸の図示しないモータを駆動することでロボット４の動作を制御する。ロボット制御装置３における制御は一般的な方法を用いることができるため、詳細な説明を省略する。図１では、ロボット制御装置３をロボット４と別に設けているが、ロボット制御装置３がロボットに含まれていてもよい。また、センサ５は、ロボット４とは別の位置に設けられていてもよいし、ロボット４に設けられていてもよい。

画像センサ２は、３次元画像を取得するセンサであり、ロボット４の周囲の環境を計測することで、環境計測データを取得する。環境計測データは、画像センサ２が環境を撮影することで得られるデータである。ロボット４の周囲の環境は、例えば、ロボット４の可動範囲を含む領域における物体や構造物などである。画像センサ２は、例えば、深度とカラーとを取得することで３次元画像を得られるＲＧＢ－Ｄ（Depth）センサである。

教示支援装置１は、ロボット４に行わせたい作業に対応する動作プログラムを、画像センサ２から環境計測データとユーザから入力される作業内容とに基づいて自動生成し、動作プログラムを用いてロボット動作指令を生成し、生成したロボット動作指令をロボット制御装置３へ送信する。本実施の形態では、教示支援装置１は、作業内容自体の入力を、自然言語および作業を示す動画からの選択などにより受け付けることで、プログラミングに不慣れなユーザであっても容易に作業内容の指示を行うことができる。

教示支援装置１は、例えば、タブレット、スマートフォン、パーソナルコンピュータなどのモバイル端末装置であるが、モバイル端末装置に限定されない。教示支援装置１は、モデリング部１１、ロボット動作演算部１２、作業情報記憶部１３、表示部１４、入力部１５および作業設定部１６を備える。

モデリング部１１は、画像センサ２から環境計測データを受信することで環境計測データを取得し、取得した環境計測データを用いて環境をモデル化した３次元モデルである環境モデルを生成し、生成した環境モデルを表示部１４およびロボット動作演算部１２へ出力する。モデリング部１１は、例えば、点群データである環境計測データに基づいて、複数の部分的な３次元データをつなぎ合わせる３次元再構成により環境モデルを生成する。

入力部１５は、ユーザからの入力を受け付ける。例えば、入力部１５は、ユーザからの作業内容の入力を受け付け、受け付けた作業内容（作業内容を示す情報）を表示部１４および作業設定部１６へ出力する。入力部１５は、ユーザの発話を音声として受け付けてもよいし、表示部１４に表示された選択肢からユーザによって選択された選択結果を受け付けてもよい。音声として入力を受け付ける場合には、入力部１５は、図示しないマイクと音声認識処理を行う音声認識部とを備える。なお、マイクは教示支援装置１とは別に設けられ、マイクにより取得された音声が入力部１５に入力されてもよい。表示部１４に表示された選択肢からユーザによって選択された選択結果を受け付ける場合、選択肢は、作業内容の候補を示す文字情報であってもよいし、動画または画像であってもよい。入力部１５は、タップ動作、キーボード操作、マウス操作などにより選択結果を受け付ける。また、入力部１５は、ジェスチャーまたはアイコンタクトを画像認識することにより、作業内容の入力、または選択結果を受け付けてもよい。ジェスチャーまたはアイコンタクトにより入力を受け付ける場合には、入力部１５が、撮像機能を有していてもよいし、入力部１５とは別の撮像手段によって撮像された画像が入力部１５に入力されてもよい。

表示部１４は、各種の情報、画像、映像などを表示する。例えば、表示部１４は、入力部１５から受け取った作業内容を表示する。また、表示部１４は、モデリング部１１から受け取った環境モデルと、ロボット動作演算部１２から受け取ったロボットモデルおよびロボット動作指令（またはロボットの動作を示す情報）とに基づいて、ロボットの動作をＡＲ（Augmented Reality：拡張現実）表示により表示する。なお、ロボットモデルは、図示しない教示支援装置１のモデル記憶部に格納され、表示部１４がモデル記憶部から読み出してもよい。環境モデルについても同様に、モデリング部１１がモデル記憶部に格納し、表示部１４がモデル記憶部から読み出してもよい。また、モデル記憶部は、教示支援装置１の外部に設けられてもよい。また、複数のロボットモデルに対応可能な場合には、モデル記憶部に複数のロボットモデルが記憶され、ロボット動作演算部１２または作業設定部１６から使用するロボットモデルが指定され、表示部１４が指定されたロボットモデルをモデル記憶部から読み出してもよい。

なお、表示部１４は、タッチパネルのように入力を受け付ける機能を有するハードウェアを用いて実現されてもよい。例えば、表示部１４がタッチパネルとＡＲ表示などを行うための表示データ生成部とで構成され、タッチパネルが入力部１５の機能のうちの一部を有していてもよい。例えば、タッチパネルに表示された画像、文字などを、ユーザがタップしたことを検出することで、ユーザからの入力を受け付けてもよい。

作業設定部１６は、入力部１５から受け取った作業内容をプログラミング言語に変換し、変換した結果を含む作業設定情報をロボット動作演算部１２へ出力する。なお、作業情報記憶部１３は、例えば、作業ごとの、当該作業に対応するロボット４の動作を示す雛形を作業データベース（以下、作業ＤＢ（Database）と呼ぶ）内に記憶する。雛形は、作業に対応する動作プログラムの主要部分を定めたものであり、動作プログラムに対応する動作を自然言語または動画で示した情報も含む。作業に関して複数の作業の雛形が用意され作業情報記憶部１３の作業ＤＢに格納されている場合には、作業設定部１６は、雛形を示す情報を表示部１４に表示させる。複数の雛形を示す情報は、文字により作業の動作が示されたものであってもよいし、雛形に対応する識別情報であってもよい。また、雛形に対応する動画が表示部１４に表示されてもよい。さらに、作業設定部１６は、雛形ごとに、説明動画、説明図、説明文などを表示部１４に表示させてもよい。表示部１４は、例えば、雛形を示す情報をプルダウンメニューとして表示し、入力部１５が選択結果の入力を受け付ける。入力部１５が選択結果を作業設定部１６へ出力する。なお、雛形を示す情報の表示方法は、この例に限定されない。作業設定部１６は、雛形の選択結果を用いて雛形に応じた作業内容を、入力部１５を介して取得し、取得した入力に基づいて作業内容を認識し、認識した内容をプログラミング言語に変換する。

雛形は、典型的な作業の概要を示し、例えば、箱詰め作業、組み立て作業、包装作業などの作業ごとに作成される。箱詰め作業であれば、ロボット４は、対象物をつかみ、目的の場所に詰める作業を行うため、例えば、「Ｘをつかみ、Ｙまで運び、Ｙに詰める」という動作を示す情報である。Ｘは対象物でＹは詰める場所である。ＸとＹがユーザから入力されることで作業内容が決まる。また、雛形は、「Ｘをつかみ、Ｙまで運び、ＹにＺ個詰める」といったように、詰める個数が含まれていてもよい。

作業情報記憶部１３には、ロボット４が行う作業に関する作業情報が作業ＤＢとして記憶される。作業情報は、例えば、上述した各作業に対応する雛形、雛形ごとの制約条件を含む。

ロボット動作演算部１２は、ユーザから入力された作業内容と作業機械の環境をモデル化した３次元モデルである環境モデルとに基づいて、ロボット４と環境との干渉を回避した、ロボット４の動作軌道を生成する動作演算部である。詳細には、ロボット動作演算部１２は、作業設定部１６から受け取った作業設定情報とモデリング部１１から受け取った環境モデルとセンサ５による検出結果とを用いて、作業内容に応じた作業を行うためのロボット４の軌道（ロボット動作軌道）を、ロボット４が環境に干渉しないように決定する。図１では、ロボット動作演算部１２は、センサ５による検出結果を、ロボット制御装置３を介して取得しているが、センサ５からセンサ５による検出結果を取得してもよい。本実施の形態では、後述するように、複数の工程を含む作業を一括して１つの動作として扱ってロボット４の軌道を決定する。ロボット動作演算部１２は、決定した軌道に基づいてロボット４の動作指令であるロボット動作指令を生成し、生成したロボット動作指令をロボット制御装置３へ送信する。

次に、本実施の形態の動作について説明する。図２は、本実施の形態の教示支援装置１における処理手順の一例を示すフローチャートである。図２に示すように、教示支援装置１は環境モデルが有るか否かを判断する（ステップＳ１）。具体的には、モデリング部１１が、環境モデルが既に生成されているか否かを判断する。

環境モデルが無い場合（ステップＳ１ Ｎｏ）、教示支援装置１は、環境モデルを生成し（ステップＳ２）、処理をステップＳ３へ進める。詳細には、ステップＳ２では、モデリング部１１が、例えば、画像センサ２によって取得された環境計測データを用いて３次元再構成により環境モデルを生成する。

図３は、本実施の形態における環境計測データの取得方法の一例を模式的に示す図である。図３では、「唐揚げを弁当箱に詰める」という作業をロボット４に行わせる例を示しており、図３に示すように、ユーザは、教示支援装置１を携帯してロボット４の周囲を移動する。図３に示した例では、画像センサ２は教示支援装置１に取り付けられており、ユーザは、教示支援装置１を介して画像センサ２を操作する、または画像センサ２を直接操作することで、ロボット４の周囲を複数の箇所から撮影する。これにより、複数の箇所から撮影された複数の３次元画像が取得される。モデリング部１１は、これらの複数の３次元画像をつなぎ合わせる３次元再構成を行うことで環境の３次元モデルである環境モデルを生成する。環境モデルは、例えば、ＭＥＳＨ、ＯＢＢ（Oriented Bounding Box）、ポリゴンなどで表されるが、環境モデルの表現形式はこれらに限定されず、どのような形式であってもよい。

３次元再構成は、複数の部分的に撮影された環境計測データから特徴点と平面とをそれぞれ抽出し、これらをつなぎあわせることで全体の３次元モデルを生成する技術である。なお、ここでは、ＲＧＢ－Ｄセンサである画像センサ２によって取得された環境計測データを用いて３次元モデルを生成する例を説明するが、２次元センサである画像センサ２によって取得された画像を複数用いて３次元モデルを生成してもよい。

図３に示した例では、ロボット４は、番重３１内に積まれた唐揚げ３２を、弁当箱３３の複数の区画のうち、唐揚げ３２を詰める区画である目的区画３４に詰める作業を行う。ロボット４がこの動作を行う際には、ロボット４が移動させる対象物である唐揚げ３２以外に、弁当箱３３、番重３１、番重３１の載置されている図示しない台など周囲に存在する物体、周囲の構造などを環境として把握する必要がある。本実施の形態の教示支援装置１は、例えば、図３に示すように、ユーザが画像センサ２により周囲を撮影することで自動的に環境モデルを生成する。

なお、図３に示した例では、ロボット４とは別に対象物である唐揚げ３２の位置、姿勢を検出するセンサ５が設けられているが、これに限らず、センサ５はロボット４に含まれてもよいし、ロボット４に取り付けられていてもよい。

また、図３に示した例では、教示支援装置１に画像センサ２が取り付けられているが、画像センサ２は教示支援装置１とは別に設けられ、ユーザが画像センサ２を携帯して周囲を撮影してもよい。教示支援装置１は、画像センサ２と有線または無線接続することで環境計測データを取得してもよいし、画像センサ２において記録媒体に環境計測データが格納され、教示支援装置１が記録媒体から環境計測データを読み出してもよい。

また、図３に示した例に限らず、例えば、ロボット４の先端などに画像センサ２を取付け、ロボット４を動作させて画像センサ２の撮像が行われることで環境計測データが取得されてもよい。また、センサ５を画像センサ２として用いることも可能な場合には、センサ５をロボット４の先端などに取り付けてロボット４を動作させて画像センサ２の撮像が行われることで環境計測データが取得されてもよい。

図２の説明に戻る。環境モデルが有る場合（ステップＳ１ Ｙｅｓ）、教示支援装置１は、処理をステップＳ３へ進める。ステップＳ３では、教示支援装置１は、作業の選択を受け付ける。詳細には、作業設定部１６が、作業情報記憶部１３の作業ＤＢに格納されている作業ごとの雛形（作業種類ごとの雛形）を表示部１４に表示させ、入力部１５がユーザの選択結果の入力を受け付け、受け付けた選択結果を作業設定部１６へ出力する。なお、教示支援装置１が対応する作業が１種類だけの場合には、ステップＳ３の処理は行わなくてもよい。

上述したように、作業はプルダウンメニューで表示され、プルダウンメニューにより選択されてもよいし、作業の選択を促す選択画面が表示され、ユーザが当該画面で選択を行ってもよい。図４は、本実施の形態の作業選択画面の一例を示す図である。図４に示した例では、各作業に対応するボタン２１，２２，２３が表示され、ユーザは対応するボタンを押下することで作業を選択する。なお、図４は例示であり、作業選択画面の内容、選択方法はこの例に限定されない。

次に、教示支援装置１は、選択された作業の内容の指示を受け付ける（ステップＳ４）。詳細には、作業設定部１６が、ステップＳ３で選択された選択結果に対応する雛形を入力部１５へ出力する。そして、入力部１５が、ユーザからの入力を受け付け、入力された情報と雛形とに基づいて、選択された作業の内容（作業内容）を決定し、決定した作業内容を表示部１４および作業設定部１６へ出力する。

入力部１５は、上述したように、音声、タップ動作などによって作業内容の入力を受け付ける。図５は、本実施の形態の入力部１５が作業内容として受け付ける情報の一例を示す図である。図５に示した例では、作業Ａが選択され、作業Ａの雛形として「Ｘをつかみ、Ｙまで運び、ＹにＺ個詰める」という動作が定められている。この場合、ユーザが例えば、「唐揚げを弁当箱に詰める」と発声することで作業内容を指示したとすると、入力部１５は、検出した音声を、雛形を用いて音声認識により認識する。音声認識は、汎用の音声認識であってもよいし、ロボット４を用いた作業内容に特化した機械学習による学習済モデルを用いて音声認識を行うといったようにロボット４の作業内容の認識に特化した処理であってもよい。

入力部１５は、音声認識の結果、Ｘ，Ｙ，Ｚのうち入力されていない情報、または認識できなかった情報がある場合には、表示部１４に、その内容の入力を促す情報を表示させることで、不足する情報の入力を受け付ける。例えば、「唐揚げを弁当箱に詰める」と発声を検出して音声認識することで、Ｘが「唐揚げ」で、Ｙが「弁当箱」であることを認識できたとすると、Ｚの情報が不足しているため、表示部１４に、唐揚げの個数を問う質問を表示させる。なお、表示部１４の代わりに、スピーカを用いて音声により質問をユーザに提示してもよい。または表示とともに音声をユーザに提示してもよい。また、弁当箱が複数の区画に分かれている場合には、「弁当箱」のどこの区画に唐揚げを詰めるかを問う質問をユーザに提示して、区画の入力を促す。

入力部１５は、上述した音声認識を用いる例に限定されず、Ｘ，Ｙ，Ｚの選択肢を示す情報を、文字、画像などとして表示部１４に表示させ、タップ動作、その他の選択動作により、Ｘ，Ｙ，Ｚの入力を受け付けてもよい。

図２の説明に戻る。教示支援装置１は、作業内容を表示する（ステップＳ５）。詳細には、入力部１５が、ステップＳ４で受け付けた作業内容を表示部１４に表示するよう指示し、表示部１４が作業内容を表示する。表示部１４は、作業内容に対応するロボットの動作をＡＲ表示してもよい。これにより、ユーザは、決定された作業内容が所望のものであるかを確認することができる。作業内容が所望のものでない場合には、ステップＳ３からの処理、またはステップＳ４の処理が再度実行されてもよい。

次に、教示支援装置１は、作業内容と環境モデルからロボット動作を演算する（ステップＳ６）。詳細には、作業設定部１６が作業内容を動作プログラムに変換した結果を含む作業設定情報をロボット動作演算部１２へ出力する。ロボット動作演算部１２が、作業設定部１６から受け取った作業設定情報と、モデリング部１１から受け取ったまたは図示しないモデル記憶部から読み出した環境モデルとを用いて、ロボットの軌道を決定し、決定した軌道に基づいてロボット動作指令を生成する。本実施の形態では、ロボット動作演算部１２は、例えば、作業を構成する複数の工程に対応する複数の動作を１つの一括動作とし、一括動作の開始位置および終了位置と作業機械の動作に関する制約条件とを用いて動作軌道を生成する。なお、ロボット動作演算部１２の軌道の決定方法はこの例に限定されない。

図６は、本実施の形態の作業設定部１６およびロボット動作演算部１２の構成例を示す図である。図６に示した例では、作業設定部１６は、作業指定部１６１および対象情報設定部１６２を備える。

作業指定部１６１は、入力部１５が受け付けた作業内容に応じた動作プログラムを、作業を指定する作業指定情報として生成する。対象情報設定部１６２は、作業内容に基づいて、例えば、対象物および供給状態をそれぞれ示す情報を含む対象物情報を生成する。対象物は、例えば、唐揚げ、ネジといったように対象物の種類を示す。供給状態は、対象物が番重に積まれて供給されるのか、ベルトコンベアなどで搬送されて供給されるのかといったように、対象物がどのように供給されるかを示す。供給状態は、例えば、対象物ごとにあらかじめ定められ、対象物と供給状態との対応を示す対応情報が作業ＤＢに格納される。対象情報設定部１６２は、作業ＤＢの対応情報を参照することで対象物に対応する供給状態を決定する。また、供給状態に限らず、対象物ごとにロボット４の動作の設定に必要な情報がある場合には、同様に作業ＤＢに当該情報と対象物との対応を示す対応情報が格納され、対象情報設定部１６２が、この対応情報を用いて当該情報を求めて対象情報に含めてもよい。

ロボット動作演算部１２は、作業指定部１６１が生成する作業指定情報と対象情報設定部１６２が生成した対象物情報とを、作業設定情報としてロボット動作演算部１２に出力する。なお、ここでは、ロボット４を動作させるための動作プログラムを作業設定部１６が生成する例を説明するが、動作プログラムの生成はロボット動作演算部１２が行ってもよい。

図６に示すように、ロボット動作演算部１２は、一括動作演算部１２１を備える。一括動作演算部１２１は、作業指定情報と対象物情報と、図６では図示を省略する環境モデルおよびセンサ情報とを用いて、複数工程一括動作演算を行うことで、工程ごとに別々に計算して繋ぎ合わせる軌道よりも、動作時間が短いロボット４の軌道を生成する。

図７は、本実施の形態の複数工程一括動作演算の一例を示す図である。図７では、番重３１に積まれた唐揚げ３２を弁当箱３３の目的区画３４に詰める作業をロボット４が行う例を示している。この作業は、図７の上側に示すように、ロボット４が番重３１から唐揚げ３２を取り出す工程である工程＃１と、ロボット４が番重３１から取り出した唐揚げ３２を弁当箱３３まで運ぶ工程である工程＃２と、ロボット４が唐揚げ３２を弁当箱３３の目的区画３４に詰める工程である工程＃３とを含む。

一般には、図７の上側の図に示すように工程ごとにロボット４の動作を最適化する演算である工程単位動作演算により環境に干渉しない軌道を生成することが可能であるが、図６に示した一括動作演算部１２１は、ロボット４の動作を工程で分割せずに、図７の下側に示す図のように１つの動作として扱って環境に干渉しない、かつ、前後工程の軌道の制約（軌道の向きや動作速度）を考慮した上で動作時間の短くなる軌道を生成する。なお、ロボット動作演算部１２は、工程単位動作演算により環境に干渉しない軌道を生成してもよい。

図８は、工程単位動作演算によって生成される軌道と複数工程一括動作演算によって生成される軌道との一例を示す図である。図８の上側には工程単位動作演算によって生成される軌道の一例を示しており、この場合、図７に示した工程＃１に対応する動作＃１～＃４と、図７に示した工程＃２に対応する動作＃５，＃６と、図７に示した工程＃３に対応する動作＃７とのそれぞれの動作の軌道が生成される。動作＃１～＃３は、ロボット４が番重３１に向かって移動を開始する動作であるが、ロボット４の動作の開始時と停止時の付近では動作の制約により低速動作となっており、動作＃２は高速動作となっている。動作＃４は、ロボット４の先端に設けられる把持部であるハンドを閉とする動作である。なお、作業の開始時にはハンドは開であるとする。動作＃５は弁当箱３３へ移動を開始する低速動作であり、動作＃６は弁当箱３３へ移動する高速動作である。動作＃７でハンドを開とすることで唐揚げ３２が弁当箱３３の目的区画３４に詰められる。なお、図８の動作は一例であり、具体的な動作は図８に示した例に限定されない。

ロボット４の目標位置は、センサ情報に基づいて決定される。工程単位動作演算を行う場合、目標位置と環境モデルとに基づいて、工程ごとに最適な軌道が生成される。ここで、最適な軌道とは、例えば、制約条件の元で評価関数を最小にする軌道であり環境に干渉しない軌道である。なお、最適な軌道は、評価関数を最小にする軌道に限らず、評価関数を閾値以下にする軌道であってもよい。評価関数は、例えば、ロボット４の作業時間、ロボット４の消費電力、ロボット４の移動距離などのうちの少なくとも１つである。制約条件は、ロボットの速度、移動方向に関する制約であり、作業ＤＢに格納されている。

複数工程一括動作演算によって軌道が生成される場合、図８の下側に示すように、動作Ａと動作Ｂが定義され、一括動作演算部１２１は、センサ情報を用いて各動作の目標位置を決定する。一括動作演算部１２１は、動作Ａに関して最適な軌道を算出する。すなわち、一括動作演算部１２１は、動作＃１～＃３を動作Ａとして統合し、センサ情報と対象物情報と速度の制約条件とを用いて、評価関数を閾値以下とする１本の軌道を生成する。例えば、一括動作演算部１２１は、残距離を参照として速度の制約条件を用いて軌道を生成する。一括動作演算部１２１は、同様に、動作＃５，＃６を動作Ｂとして統合し、１本の軌道を生成する。

複数工程一括動作演算を行うことにより、作業全体として、工程単位動作演算を行う場合に比べてより適切な軌道を生成することができる。例えば、動作Ａに対応する１本の軌道に対応する評価関数は、工程単位動作演算により生成された動作＃１～＃３に対応する各軌道に対応する評価関数の合計より小さくなる。このように、複数工程一括動作演算を行うことにより、各工程で最適化を行う場合に比べて、より適切な軌道を生成することができる。これにより、例えば、ロボット４の動作時間の短縮、消費電力の低減などの効果が得られる。

図２の説明に戻る。教示支援装置１は、ステップＳ６の後、ロボット動作を表示する（ステップＳ７）。詳細には、ロボット動作演算部１２は、生成した軌道（動作軌道）に対応するロボット動作を示す情報を表示部１４へ出力し、表示部１４が動作軌道に対応するロボット４の動作を表示する。例えば、表示部１４は、各瞬間の動作指令である関節角度情報を入力としてロボットモデルを所望の姿勢で表示することで、ロボット動作をＡＲ表示することができる。これにより、ユーザは、決定されたロボット動作が所望のものであるかを確認することができる。ロボット動作が所望のものでない場合には、ステップＳ３からの処理、またはステップＳ４の処理が再度実行されてもよい。

次に、教示支援装置１は、ロボット動作指令をロボット制御装置３に送信し（ステップＳ８）、処理を終了する。詳細には、ステップＳ８では、ロボット動作演算部１２が、ステップＳ７で生成したロボット動作指令をロボット制御装置３へ送信する。

なお、ロボット動作演算部１２は、把持対象の対象物の認識に用いる３次元センサであるセンサ５をロボット４に取り付けている場合は、センサ５を把持対象の上空で一旦停止させて、センサ５に撮像させ、センサ情報を取得することで、対象物の位置などの認識を行ってもよい。センサ５をロボット４に取り付けている場合は、ロボット４の動作に伴いセンサ５も動き、撮影時にブレが生じるが、ロボット４の動作を一旦停止させることでブレを防ぐことができる。また、３次元センサであるセンサ５が対象物の上空に固定されている場合は、把持対象の上空にロボット４を停止させず、対象物の把持が終了し把持対象エリアを通過した後に、センサ５に撮像させ、センサ情報を取得することで、対象物の位置などの認識を行ってもよい。

次に、本実施の形態の教示支援装置１のハードウェア構成について説明する。本実施の形態の教示支援装置１は、コンピュータシステム上で、教示支援装置１における処理が記述されたコンピュータプログラムであるプログラムが実行されることにより、コンピュータシステムが教示支援装置１として機能する。図９は、本実施の形態の教示支援装置１を実現するコンピュータシステムの構成例を示す図である。図９に示すように、このコンピュータシステムは、制御部１０１と入力部１０２と記憶部１０３と表示部１０４と通信部１０５と出力部１０６とを備え、これらはシステムバス１０７を介して接続されている。

図９において、制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサであり、本実施の形態の教示支援装置１における処理が記述されたプログラムを実行する。なお、制御部１０１の一部が、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）などの専用ハードウェアにより実現されてもよい。入力部１０２は、たとえばキーボード、マウスなどで構成され、コンピュータシステムの使用者が、各種情報の入力を行うために使用する。入力部１０２は、マイクを含んでいてもよい。記憶部１０３は、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの各種メモリおよびハードディスクなどのストレージデバイスを含み、上記制御部１０１が実行すべきプログラム、処理の過程で得られた必要なデータ、などを記憶する。また、記憶部１０３は、プログラムの一時的な記憶領域としても使用される。表示部１０４は、ディスプレイ、ＬＣＤ（液晶表示パネル）などで構成され、コンピュータシステムの使用者に対して各種画面を表示する。また、表示部１０４は、入力部１０２としての機能を有するタッチパネルであってもよい。通信部１０５は、通信処理を実施する受信機および送信機である。出力部１０６は、プリンタ、スピーカなどである。なお、図９は、一例であり、コンピュータシステムの構成は図９の例に限定されない。

ここで、本実施の形態のプログラムが実行可能な状態になるまでのコンピュータシステムの動作例について説明する。上述した構成をとるコンピュータシステムには、たとえば、図示しないＣＤ（Compact Disc）－ＲＯＭドライブまたはＤＶＤ（Digital Versatile Disc）－ＲＯＭドライブにセットされたＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭから、コンピュータプログラムが記憶部１０３にインストールされる。そして、プログラムの実行時に、記憶部１０３から読み出されたプログラムが記憶部１０３の主記憶領域に格納される。この状態で、制御部１０１は、記憶部１０３に格納されたプログラムに従って、本実施の形態の教示支援装置１としての処理を実行する。

なお、上記の説明においては、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体を用いて、教示支援装置１における処理を記述したプログラムを提供しているが、これに限らず、コンピュータシステムの構成、提供するプログラムの容量などに応じて、たとえば、通信部１０５を経由してインターネットなどの伝送媒体により提供されたプログラムを用いることとしてもよい。

本実施の形態の教示支援プログラムは、例えば、ユーザから入力された作業内容と作業機械の環境をモデル化した３次元モデルである環境モデルとを取得するステップと、作業内容と環境モデルとに基づいて、作業機械と環境との干渉を回避した、作業機械の動作軌道を生成するステップと、をコンピュータシステムに実行させる。

図１に示したモデリング部１１、ロボット動作演算部１２および作業設定部１６は、図９に示した記憶部１０３に記憶されたコンピュータプログラムが図９に示した制御部１０１により実行されることにより実現される。図１に示したモデリング部１１、ロボット動作演算部１２および作業設定部１６の実現には、図９に示した記憶部１０３も用いられる。図１に示した作業情報記憶部１３は、図９に示した記憶部１０３の一部である。図１に示した表示部１４は、図９に示した表示部１０４および制御部１０１により実現される。図１に示した入力部１５は、図９に示した入力部１０２および制御部１０１により実現される。また、入力部１５が音声により入力を受け付ける場合には、入力部１０２にマイクが含まれていてもよいし、外付けのマイクが用いられてもよい。

また、教示支援装置１は複数のコンピュータシステムにより実現されてもよい。例えば、図１に示した入力部１５、表示部１４および作業設定部１６がタブレットなどのコンピュータシステムにより実現され、モデリング部１１、ロボット動作演算部１２および作業情報記憶部１３が別のコンピュータシステムにより実現されてもよい。また、ロボット動作演算部１２以外がタブレットなどのコンピュータシステムにより実現され、ロボット動作演算部１２が別のコンピュータシステムにより実現されてもよい。教示支援装置１が複数のコンピュータシステムにより実現される場合、各コンピュータシステムに実装される機能部の組み合わせはこの例に限定されない。また、ロボット制御装置３に、図１に示した教示支援装置１のうちの一部の機能部を備えていてもよい。例えば、教示支援装置１は、クラウドコンピュータシステムにより実現されてもよい。

なお、図１に示した例では、教示支援装置１が画像センサ２によって取得された環境計測データに基づいて環境モデルを生成したが、ＣＡＤ（Computer Aided Design）モデルなどとして環境モデルが生成されている場合には、環境モデルが外部から入力されてもよい。例えば、図示しない他の装置から教示支援装置１が環境モデルを受信し、環境モデルがロボット動作演算部１２および表示部１４に入力される。この場合、作業システム６は画像センサ２を備えなくてもよく、教示支援装置１はモデリング部１１を備えなくてもよい。または、図１に示した教示支援装置１が、さらに、外部から入力された環境モデルをロボット動作演算部１２および表示部１４に入力する機能を有し、環境計測データに基づいた環境モデルと、作成済みの環境モデルとの両方を利用できるようにしてもよい。

以上述べたように、本実施の形態の教示支援装置１は、ユーザから作業内容の入力を受け付け、受け付けた作業内容に基づいて自動で動作プログラムを生成するようにした。なお、作業ＤＢにテンプレート情報として作業ごとのプログラムは登録されており、該当する作業に対応する者がロボット動作演算部１２にロードされる。ロボット動作演算部１２では、ロードしたプログラムに対して、作業タスクに関連した作業エリアのサイズ、作業エリアの位置の情報を与える。与えられたタスク固有のエリア情報、環境モデル、に基づいてテンプレートからロードしたプログラムの必要な教示点設定や軌道生成を自動的に行えるよう構成されたプログラムになっている。すなわち、ロボット動作を指定するユーザ入力は必要としない。このため、作業エリアのサイズ、作業エリアの位置、作業対象といった情報のみ指定すれば、ロボット動作を実施させることができる。さらに、環境やロボットに装着されたセンサ情報に基づいてオンラインで動作を調整しながら動作するセンサフィードバック制御も構成可能であり、状況に応じて自律的に動作修正を行う。このため、ユーザはジョブごとの様々な入力を行う必要はなく、また、プログラム言語の知識を要することなく、ロボット４を動作させる動作プログラムが自動生成される。これにより、ユーザがシステムを稼働状態にするまでの時間を短くできる。

また、本実施の形態の教示支援装置１は、画像センサ２によって取得された環境計測データを用いて環境モデルを自動生成し、生成した環境モデルを用いて環境に干渉しないロボットの軌道を決定するため、環境モデル自体をユーザが作成する場合に比べて環境モデルの作成に要する時間を短縮することができる。

また、本実施の形態の教示支援装置１は、作業を構成する工程のうち複数の工程を１つの動作としてロボット４の軌道を生成するため、ロボットの動作時間を短縮でき、また、動作プログラムの調整時間を短縮することができる。

また、本実施の形態の教示支援装置１は、あらかじめ各作業に対応する雛形を作成し、ユーザは作業に対応する雛形を示す情報をユーザに提示することで、不慣れなユーザであっても作業内容を容易に入力することができる。また、各雛形に対応する動画、説明などをユーザに提示することで、ユーザはより適切な雛形（作業）を選択することができる。

実施の形態２．
図１０は、実施の形態２にかかる教示支援装置の構成例を示す図である。本実施の形態の教示支援装置１ａは、図１に示した教示支援装置１からモデリング部１１が削除されシミュレーション部１７が追加される以外は、実施の形態１の教示支援装置１と同様である。実施の形態１と同様の機能を有する構成要素は実施の形態１と同一の符号を付して重複する説明を省略する。以下、実施の形態１と異なる点を主に説明する。

本実施の形態では、シミュレータであるシミュレーション部１７が、ロボット４の動作を模擬するシミュレーションを行う。例えば、ロボット４を実際に設置する前の事前検討にシミュレーション結果を役立てることができる。

シミュレーションを行う際の作業内容の設定、およびロボット動作演算部１２の処理は、実施の形態１と同様である。ただし、ロボット動作演算部１２には、ＣＡＤモデルとして作成された環境モデルが入力される。ロボット動作演算部１２は、ロボット動作指令とロボットモデルと環境モデルとをシミュレーション部１７へ出力する。

シミュレーション部１７は、ロボット動作演算部１２が決定した動作軌道と環境モデルとを用いてロボット４の動作を模擬するシミュレーションを行う。例えば、ロボット動作演算部１２から受け取ったロボット動作指令とロボットモデルと環境モデルとを用いてロボット４の動作を模擬するシミュレーションを行い、シミュレーションの結果であるシミュレーション結果を表示部１４へ出力する。

表示部１４は、シミュレーション結果を表示する。また、表示部１４は、ビジュアルプログラミング画面を表示してもよく、ビジュアルプログラミング画面とシミュレーション結果とを重畳して表示してもよい。ビジュアルプログラミング画面は、例えば、ブロックを並べることで動作を規定するための画面であり、例えば、「Scratch」のようなブロックプラグミングのための簡易的なプログラミング言語を用いることができるが、プログラム言語はこの例に限定されない。

図１１は、本実施の形態の表示画面の一例を示す図である。図１１に示した例では、教示支援装置１ａにシミュレーション結果が表示されており、例えば、表示画面におけるロボットをタップすることで、ビジュアルプログラミング画面が重畳表示される。図１１は、一例であり、具体的な表示画面は図１１に示した例に限定されない。

ビジュアルプログラミング画面では、センサ類、ロボットの変更などの入力を受け付けることもでき、センサ類、ロボットの配置も、例えば、シミュレーション結果の表示されている画面で変更を受け付けてもよい。例えば、ロボットが表示されている部分を選択して移動させることで、ロボットの配置の変更を受け付けてもよい。これらの変更は、入力部１５が受け付け、受け付けた結果を作業設定部１６へ出力する。

ビジュアルプログラミング画面では、例えば、作業アイテムリストとして雛形のリストが表示され、ユーザが作業を選択すると、選択された作業に対応したロボット、ハンド、センサ、のプリセットが表示される。さらに、ロボットリスト（様々なタイプのロボット）、センサリスト（ビジョンセンサ、力覚センサ、触覚センサ、距離計測センサなど）が表示され、これらのリストから追加したい要素をタップ操作で画面にドラッグすることで変更および追加が可能であってもよい。センサが追加されると、センサが計測する物理量val（環境との接触力、対象物の位置、指定した地点間の距離）の定義が行われる。定義された物理量valを入力として、シミュレーション部１７は、ブロックプログラミングの動作条件に基づいて、動作成立性チェックの上、表示部１４にシミュレーション結果を動画として表示させる。例えば、対象物がコンベア上を流れる場合、対象物の位置を検出するセンサであるビジョンセンサを取り付ける位置がロボットに近すぎると認識時間が間に合わないなど不都合が生じることがあるが、ロボットの動作を模擬することで適切な位置関係を事前検討できる。

このように、表示部１４が、ブロックプログラミングを行うための画面を表示し、入力部１５が、ブロックプログラミングにおける、ロボットの変更の入力を受け付け、ロボット動作演算部１２が、入力部１５が受け付けた入力を反映して軌道を生成してもよい。ブロックプログラミングにおける、ロボットの動作の決定に用いるセンサの追加または変更の入力を受け付け、ロボット動作演算部１２が、入力部１５が受け付けた入力を反映して軌道を生成してもよい。

なお、図１０では、シミュレーションを行う場合の機能構成を示しているが、シミュレーションに特化した図１０に示した構成の教示支援装置１ａが用いられてもよいし、図１に示した教示支援装置１に、シミュレーション部１７を追加して、実施の形態１で述べた動作と、シミュレーションとの両方を実施できるようにしてもよい。

本実施の形態の教示支援装置１ａのハードウェア構成は、実施の形態１の教示支援装置１と同様である。例えば、シミュレーション部１７は、図９に示した記憶部１０３に記憶されたコンピュータプログラムが図９に示した制御部１０１により実行されることにより実現される。シミュレーション部１７の実現には、図９に示した記憶部１０３も用いられる。また、実施の形態１と同様に、教示支援装置１ａは複数のコンピュータシステムで構成されてもよい。

また、実施の形態１で述べた画像センサ２を用い、教示支援装置１ａが、モデリング部１１を備え、モデリング部１１が環境計測データを用いて環境モデルを生成し、シミュレーション部１７が生成された環境モデルを用いてシミュレーションを行ってもよい。

本実施の形態では、教示支援装置１ａがロボットの動作を模擬するシミュレーションを行うようにしたので、シミュレーション結果を事前の検討に役立てることができる。

実施の形態３．
図１２は、実施の形態３にかかる作業システムの構成例を示す図である。本実施の形態の作業システム６ｂは、教示支援装置１の代わりに教示支援装置１ｂを備える以外は、実施の形態１の作業システム６と同様である。実施の形態１と同様の機能を有する構成要素は実施の形態１と同一の符号を付して重複する説明を省略する。以下、実施の形態１と異なる点を主に説明する。

教示支援装置１ｂは、モデリング部１１、入力部１５および作業設定部１６の代わりに、モデリング部１１ａ、入力部１５ａおよび作業設定部１６ａを備える以外は実施の形態１の教示支援装置１と同様である。作業設定部１６ａは、動作修正部１６３が追加される以外は実施の形態１の作業設定部１６と同様である。

本実施の形態の教示支援装置１ｂは、実施の形態１と同様の動作に加えて、環境モデルおよびロボット４の動作のうちの少なくとも一方の修正を受け付け、修正を反映する。図１３は、本実施の形態の教示支援装置１ｂにおける処理手順の一例を示すフローチャートである。ステップＳ１～Ｓ７は、実施の形態１と同様である。

ステップＳ７の後、教示支援装置１ｂは、修正指示が有ったか否かを判断する（ステップＳ９）。詳細には、入力部１５ａが、ユーザから環境モデルおよびロボット４の動作のうちの少なくとも一方の修正の指示を受け付けたか否かを判断する。教示支援装置１ｂは、修正指示が有った場合（ステップＳ９ Ｙｅｓ）、ロボット動作を修正し（ステップＳ１０）、処理をステップＳ８へ進める。また、修正指示が無い場合（ステップＳ９ Ｎｏ）、教示支援装置１ｂは、処理をステップＳ８へ進める。ステップＳ８は実施の形態１と同様である。

例えば、ステップＳ７で表示されたロボット４の軌道が、ロボット４と協働する作業者にとって脅威を感じると思われる軌道である場合、禁止エリアおよび許可エリアのうちの少なくとも一部を、入力部１５ａを用いて入力する。例えば、表示部１４が入力部１５ａの一部の機能も有するタッチパネルである場合、ユーザは、環境が表示されている状態で、タップ操作により禁止エリアモデルおよび許可エリアのうちの少なくとも一方の位置を指定することにより、禁止エリアモデルおよび許可エリアモデルのうちの少なくとも一方を指定する。入力部１５ａは、入力された、禁止エリアおよび許可エリアモデルのうちの少なくとも一方をモデリング部１１ａへ出力する。モデリング部１１ａは、入力部１５ａから受け取った情報を用いて、環境モデルに禁止エリアモデルおよび許可エリアモデルのうち少なくとも一方を追加する修正を行い、修正後の環境モデルを表示部１４およびロボット動作演算部１２へ出力する。これにより、ロボット動作演算部１２は、修正された環境モデルを用いて実施の形態１と同様にロボット動作演算を実施する。すなわち、ロボット動作演算部１２は、入力部１５ａが受け付けた修正の指示を反映した軌道を生成する。詳細には、禁止エリアモデルが追加された場合、ロボット動作演算部１２は、環境に干渉しないという条件に加えて禁止エリアをロボット４が通過しないように軌道を決定する。また、許可エリアモデルが追加された場合、ロボット動作演算部１２は、環境と干渉する場合であっても許可エリア内であればロボット４が通過できるという条件のもとで軌道を決定する。

例えば、ユーザは、禁止エリアを、ロボット４と協働する作業者にとって脅威を感じるエリアに設定する。また、環境モデルは全て干渉の対象となるため、そのままでは、把持対象の対象物付近にも進入できない場合もあるが、許可エリアを設定することで、対象物付近に進入できるようになる。また、対象物付近の許可エリアは、センサ５によって取得されたセンサ情報を用いて自動で設定されてもよい。例えば、モデリング部１１ａがセンサ情報を用いてセンサ情報が示す対象物の周囲の領域を自動的に許可エリアモデルとして追加してもよい。

また、例えば、表示部１４に、環境モデルのうち、ユーザによって選択された部分モデルのサイズを、もとのサイズより大きくするためのボタンなどを表示し、入力部１５ａが、当該ボタンが押下されたことを検出すると、モデリング部１１ａへ選択された部分モデルを大きくするよう指示してもよい。モデリング部１１ａは、入力部１５ａからの指示に基づいて、ユーザによって選択された部分モデルの大きさをあらかじめ定められた規則により大きくする。あらかじめ定められた規則は、特定の方向または全方向に一定量サイズを増加させる規則であってもよいし、特定の方向または全方向にサイズに１以上の実数の係数を乗算することでサイズを大きくしてもよく、これら以外の方法でサイズを大きくしてもよい。これにより実際の環境からの距離に余裕を持った軌道が生成される。

また、入力部１５ａは、ロボット４の動作の修正内容として、「Ｐをちょっと右」などのように、修正対象と修正内容とをユーザの発話を音声として受け付けて音声認識することで、修正内容を認識してもよい。入力部１５ａは、音声の認識結果を作業設定部１６ａで出力し、作業設定部１６ａが、修正内容に応じて動作プログラムを修正する。また、ロボット４の動作の目標位置などの修正対象の項目は、選択肢をユーザに提示した上で選択結果の入力を受け付け、当該項目の修正内容を音声で受け付けてもよい。入力部１５ａは、ロボット４の動作の修正内容として、ロボット４の動作の制約条件の変更の入力を受け付けてもよい。ロボット４の動作の修正内容は、作業設定部１６ａを介してロボット動作演算部１２へ出力され、ロボット動作演算部１２が修正を反映して軌道を生成する。

また、表示部１４は、ＡＲ表示の速度の変更、ＡＲ表示動作の一時停止などを指示するためのボタンなどを表示し、入力部１５ａが、当該ボタンが押下されたことを検出することでＡＲ表示に対する指示を受け付けてもよい。この場合、入力部１５ａは受け付けた指示を表示部１４へ通知し、表示部１４は、通知にしたがってＡＲ表示を制御する。これにより、ユーザは、動作のうち確認したい箇所がある場合、速度を遅くして詳細に確認したり、停止させて詳細に確認したりすることができる。

なお、本実施の形態では、図１に示した構成例に修正機能を追加したが、生成済の環境モデルを用いる場合に、修正機能を追加してもよい。また、本実施の形態の教示支援装置１ｂに実施の形態２で述べたシミュレーションを実施する機能を追加してもよい。

本実施の形態の教示支援装置１ｂのハードウェア構成は、実施の形態１の教示支援装置１と同様である。また、実施の形態１と同様に、教示支援装置１ｂは複数のコンピュータシステムで構成されてもよい。

本実施の形態では、自動生成された動作プログラムに基づく動作を確認した上で修正することができるため、ユーザの意思を盛り込んだ調整を容易かつ短時間に実施することができる。

実施の形態４．
図１４は、実施の形態４にかかる作業システムの構成例を示す図である。本実施の形態の作業システム６ｃは、教示支援装置１ｂの代わりに教示支援装置１ｃを備え、分析装置７が追加される以外は、実施の形態３の作業システム６ｂと同様である。実施の形態３と同様の機能を有する構成要素は実施の形態３と同一の符号を付して重複する説明を省略する。以下、実施の形態３と異なる点を主に説明する。

本実施の形態の教示支援装置１ｃは、実施の形態３の教示支援装置１ｂに、送受信部１８が追加されている。作業設定部１６ａは、作業設定情報を作業情報記憶部１３の作業ＤＢに格納することにより、作業ＤＢには、設定された作業に関する、作業（作業の種類）、対象物、対象エリアなどの設定情報が格納される。ロボット動作演算部１２は、ロボット動作指令などロボット動作に関する情報である動作情報を送受信部１８へ出力する。送受信部１８は、作業ＤＢから設定情報を読み出し、読み出した設定情報とロボット動作演算部１２から受け取った動作情報とを分析装置７へ送信する。

分析装置７は、送受信部７１および分析部７２を備える。送受信部７１は、教示支援装置１ｃから設定情報および動作情報を受信し、周辺機器８から計測情報を受信し、教示支援装置１ｃまたは他の装置から作業の成否を示す成否情報を受信し、受信した情報を分析部７２へ出力する。なお、成否情報は、教示支援装置１ｃの入力部１５ａがユーザからの入力を受け付けて送受信部１８が、分析装置７へ送信してもよいし、図示しない他の装置がユーザからの入力を受け付けて分析装置７へ送信してもよい。また、送受信部７１は、分析部７２から受け取った分析結果を教示支援装置１ｃへ送信する。

分析部７２は、設定情報、動作情報、計測情報および成否情報を用いて、失敗の要因となる可能性の高い影響因子を分析し、分析結果を送受信部７１へ出力する。周辺機器８は、例えば、ロボット４の状態を検出するセンサであり、ロボット４および環境のうち少なくとも一方に取り付けられている温度センサ、モータの速度センサ、振動センサなどの各種センサである。なお、図１４では、分析装置７が周辺機器８から直接計測情報を受信しているが、これに限らず、分析装置７は、ロボット制御装置３または教示支援装置１ｃを介して計測情報を受信してもよいし、図示しない他の装置を介して計測情報を受信してもよい。

分析部７２は、例えば、設定情報、動作情報、計測情報および成否情報で構成される入力情報を、作業内容が同一のグループ、または作業内容が類似するグループに分類する。分析部７２は、グループごとに、動作情報および計測情報の各項目の情報のそれぞれが、正常範囲を超えているか否かを判断し、正常範囲判断結果と成否情報との対応を記憶する。例えば、分析部７２は、ガウス過程回帰などを用いて、ある作業を行った際に取得したデータから平均的なふるまいを回帰モデルとして表現し、正常時に分布する領域（正常範囲）を予め求めておき、それからどの程度逸脱しているか、を評価して異常と判別してもよい。正常範囲は、例えば、複数回試行した場合のある特徴量（例えばセンサ出力が正常値からどの程度はなれていたか）とその分散から、3σ以内なら正常、それ以上なら異常といったように統計的に定義することができる。分析部７２は、グループごとに、成否情報が失敗であることを示す入力情報に対応する判断結果が正常範囲から逸脱しており、成否情報が成功であることを示す入力情報に対応する判断結果が正常範囲内である項目を抽出し、抽出した項目を影響因子に対応する情報と判定する。例えば、センサＫの計測情報が、成否情報が失敗である場合には正常範囲から逸脱し、成否情報が成功である場合に正常範囲内であれば、センサＫの計測情報が影響因子に対応する情報であると判断する。例えば、センサＫが、ロボット４の部品Ｐの温度であるとしたら、部品Ｐが失敗の影響因子である可能性が高い。

または、分析部７２は、失敗を示す成否情報に対応する動作情報および計測情報のうち正常範囲から逸脱する項目があれば、当該項目を影響因子に対応する情報と判定してもよい。また、分析部７２は、蓄積された入力情報を用いて、成否情報が成功を示す場合の入力情報を用いてクラスタ分析などの機械学習または統計的な手法により、各項目の正常範囲を決定してもよい。また、分析装置７は、複数の教示支援装置１ｃから取得した情報を用いて分析を行ってもよい。

または、分析部７２は、成否情報として失敗した場合の失敗の種類（失敗の内容）を示す情報を取得し、失敗した場合に、作業者などがロボット４を確認して要因となる箇所が判明した場合には、判明した箇所を正解データとして機械学習を行ってもよい。例えば、分析部７２は、失敗の種類と対応する正解データである要因（要因となる箇所）とで構成されるデータセットを複数用いて教師あり学習により学習済モデルを生成する。分析部７２は、影響因子の分析時には、失敗の種類を学習済モデルに入力することで、要因を推論してもよい。また、教師あり学習において、失敗の種類に加えて上述した入力情報のうちの少なくとも１つを入力データとして用いて学習済モデルを生成してもよいし、上述した入力情報のうちの少なくとも１つを入力データとして用いて学習済モデルを生成してもよい。これにより、同様に、入力データを学習済モデルに入力することで失敗の要因を推論することができる。また、他の例示として、以下のものもある。予め、実システムにおいて、特定の異常状態を作業者が意図的に発生させ、その際の各機器の出力やエラー信号のデータを複数回集める。その際の各機器の異常が出る順番・タイミングを学習するために、「各信号の時系列データあるいは、時系列データをグラフ化した情報」を入力として機械学習させ、それに類似する信号変化パターンが発生したら、事前に登録した異常状態と判定する。なお、異常状態という判別は、情報を収集しながら行っても、情報収集後に行っても良い。特にオンラインで情報を収集しながら行う場合は、ある程度類似の異常状態になればシステムが故障に至るような状況の前に予めシステムを停止することができるといった効果を得られる。さらに、他の例示として、以下のものもある。さらに、複数の機械システムに置いて得られたデータをサーバにおいて収集し、異常状態がラベル付けされた、各センサなどの出力、エラー信号、状態監視信号の少なくとも１つを含むデータベースを基に教師あり学習で学習し、推論を行う構成もある。これにより、実際に使うシステムにおいて学習データを作成しなくても、過去の別システムの事例によって得られたデータに基づいて異常判別ができるため、学習作業にかかる時間を低減させ、異常判別・分析を行うシステム立上げ時間を短縮させる効果がある。以上述べた分析部７２の分析方法は例示であり、分析部７２の分析方法は上述した例に限定されない。また、分析部７２が分析に用いる情報も上述した例に限定されない。

教示支援装置１ｃの送受信部１８は、分析装置７から分析結果を受信すると、表示部１４へ出力し、表示部１４が分析結果を表示する。

以上のように、本実施の形態では、教示支援装置１ｃが、例えば、作業内容を示す情報および動作情報のうち少なくとも一方を分析装置７へ送信し、分析装置７は、ロボット４の状態を検出するセンサから取得した情報と、作業内容を示す情報と、作業の成否を示す成否情報とを用いて、作業の失敗の要因を分析する。分析結果を教示支援装置１ｃへ送信する。教示支援装置１ｃの表示部１４は、分析装置７から受信した分析結果を表示する。ユーザは、表示部１４に表示された分析結果、すなわち推定される要因を把握して、対応する箇所になんらかの対応を試みることができる。これにより、不具合からの復旧を促進することができる。

本実施の形態の教示支援装置１ｃのハードウェア構成は、実施の形態１の教示支援装置１と同様である。また、実施の形態１と同様に、教示支援装置１ｃは複数のコンピュータシステムで構成されてもよい。

本実施の形態の分析装置７も、実施の形態１の図９に例示したようなコンピュータシステムによって実現される。分析装置７はクラウドシステム上に構築されてもよい。

また、同様に、実施の形態１で述べた教示支援装置１が、分析装置７へ情報を送信し、分析装置７から分析結果を取得して表示してもよい。

実施の形態５．
図１５は、実施の形態５にかかる作業システムの構成例を示す図である。本実施の形態の作業システム６ｄは、教示支援装置１の代わりに教示支援装置１ｄを備える以外は、実施の形態１の作業システム６と同様である。実施の形態１と同様の機能を有する構成要素は実施の形態１と同一の符号を付して重複する説明を省略する。以下、実施の形態１と異なる点を主に説明する。

本実施の形態の教示支援装置１ｄは、作業設定部１６および入力部１５の代わりに、設定情報取得部１９を備える以外は、実施の形態１の教示支援装置１と同様である。

教示支援装置１ｄの設定情報取得部１９は、実施の形態１の作業設定部１６がロボット動作演算部１２へ出力する作業設定情報と同様の作業設定情報を、図示しない他の装置から受信し、受信した作業設定情報をロボット動作演算部１２へ出力する。例えば、過去に別の教示支援装置１ｄである他支援装置によって作業設定情報が生成されており、当該作業設定情報を利用可能な場合には、教示支援装置１ｄは、他支援装置から作業設定情報を受信する。本実施の形態の教示支援装置１ｄは、これにより、ユーザの負荷を軽減することができる。

本実施の形態の教示支援装置１ｄのハードウェア構成は、実施の形態１の教示支援装置１と同様である。また、実施の形態１と同様に、教示支援装置１ｄは複数のコンピュータシステムで構成されてもよい。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１，１ａ，１ｂ，１ｃ，１ｄ 教示支援装置、２ 画像センサ、３ ロボット制御装置、４ ロボット、５ センサ、６，６ｂ，６ｃ，６ｄ 作業システム、７ 分析装置、８ 周辺機器、１１，１１ａ モデリング部、１２ ロボット動作演算部、１３ 作業情報記憶部、１４ 表示部、１５，１５ａ 入力部、１６，１６ａ 作業設定部、１７ シミュレーション部、１８，７１ 送受信部、１９ 設定情報取得部、７２ 分析部、１２１ 一括動作演算部、１６１ 作業指定部、１６２ 対象情報設定部、１６３ 動作修正部。

Claims (17)

1. 作業の雛形に応じた作業内容と作業機械の環境をモデル化した３次元モデルである環境モデルとに基づいて動作プログラムを生成し、前記動作プログラムを用いて前記作業機械と前記環境との干渉を回避した、前記作業機械の動作軌道を生成する動作演算部、
   を備え、
   前記雛形は、前記動作プログラムに対応する動作を自然言語で表した情報を含み、
   前記作業内容は、前記雛形とユーザによって入力される入力情報とにより決定され、
   前記入力情報は、前記雛形が示す動作の対象物を示す情報と前記動作における移動の目的の場所を示す情報とを含み、教示位置を含まず、
   前記目的の場所は、前記環境モデルに含まれる場所であり、
   前記対象物は、前記環境モデルに含まれることを特徴とする教示支援装置。
2. ３次元画像を取得する画像センサが前記環境を撮影することで得られるデータである環境計測データを用いて前記環境モデルを生成するモデリング部、
   を備えることを特徴とする請求項１に記載の教示支援装置。
3. 前記動作演算部は、前記作業を構成する複数の工程に対応する複数の動作を１つの一括動作とし、前記一括動作の開始位置および終了位置と前記作業機械の動作に関する制約条件とを用いて前記動作軌道を生成することを特徴とする請求項１または２に記載の教示支援装置。
4. 前記動作軌道に対応する前記作業機械の動作を表示する表示部、
   を備えることを特徴とする請求項１から３のいずれか１つに記載の教示支援装置。
5. 前記表示部は、前記作業機械の動作を拡張現実表示により表示することを特徴とする請求項４に記載の教示支援装置。
6. 前記環境モデルおよび前記作業機械の動作のうち少なくとも一方の修正の指示を受け付ける入力部、
   を備え、
   前記動作演算部は、前記指示を反映した前記動作軌道を生成することを特徴とする請求項４または５に記載の教示支援装置。
7. 前記入力部は、音声またはタップ動作により、前記作業内容の入力を受け付けることを特徴とする請求項６に記載の教示支援装置。
8. 作業ごとの、当該作業に対応する前記作業機械の動作を示す前記雛形を記憶する作業情報記憶部、
   を備え、
   前記表示部は、前記雛形が記憶されている前記作業を示す情報を表示し、
   前記入力部は、前記表示部に表示された前記作業のなかからの前記ユーザによる選択結果を受け付け、受け付けた前記選択結果に対応する前記作業の前記雛形と、前記入力情報とに基づいて前記作業内容を決定することで前記作業内容の入力を受け付けることを特徴とする請求項７に記載の教示支援装置。
9. 前記動作軌道と前記環境モデルとを用いて前記作業機械の動作を模擬するシミュレーションを行うシミュレーション部と、
   前記シミュレーションの結果を表示する表示部と、
   を備えることを特徴とする請求項１に記載の教示支援装置。
10. 入力部、を備え、
    前記表示部は、ブロックプログラミングを行うための画面を表示し、
    前記入力部は、前記ブロックプログラミングにおける、前記作業機械の変更の入力を受け付け、
    前記動作演算部は、前記入力部が受け付けた入力を反映して前記動作軌道を生成することを特徴とする請求項９に記載の教示支援装置。
11. 前記入力部は、前記ブロックプログラミングにおける、前記作業機械の動作の決定に用いるセンサの追加または変更の入力を受け付け、
    前記動作演算部は、前記入力部が受け付けた入力を反映して前記動作軌道を生成することを特徴とする請求項１０に記載の教示支援装置。
12. 前記動作演算部は、前記動作軌道に基づいて前記作業機械を制御するための動作指令を生成することを特徴とする請求項１から１１のいずれか１つに記載の教示支援装置。
13. 作業機械の環境を撮影することで３次元画像を環境計測データとして取得する画像センサと、
    教示支援装置と、
    を備え、
    前記教示支援装置は、
    ３次元画像を取得する画像センサが前記環境を撮影することで得られるデータである環境計測データを用いて前記環境をモデル化した３次元モデルである環境モデルを生成するモデリング部と、
    作業の雛形に応じた作業内容と前記環境モデルとに基づいて動作プログラムを生成し、前記動作プログラムを用いて前記作業機械と前記環境との干渉を回避した、前記作業機械の動作軌道を生成する動作演算部と、
    を備え、
    前記雛形は、前記動作プログラムに対応する動作を自然言語で表した情報を含み、
    前記作業内容は、前記雛形とユーザによって入力される入力情報とにより決定され、
    前記入力情報は、前記雛形が示す動作の対象物を示す情報と前記動作における移動の目的の場所を示す情報とを含み、教示位置を含まず、
    前記目的の場所は、前記環境モデルに含まれる場所であり、
    前記対象物は、前記環境モデルに含まれることを特徴とする作業システム。
14. 教示支援装置と、
    分析装置と、
    を備え、
    前記教示支援装置は、作業の雛形に応じた作業内容と作業機械の環境をモデル化した３次元モデルである環境モデルとに基づいて動作プログラムを生成し、前記動作プログラムを用いて前記作業機械と前記環境との干渉を回避した、前記作業機械の動作軌道を生成し、前記作業内容を示す情報を前記分析装置へ送信し、
    前記分析装置は、前記作業機械の状態を検出するセンサから取得した情報と、前記作業内容を示す情報と、前記作業の成否を示す成否情報とを用いて、前記作業の失敗の要因を分析し、分析結果を前記教示支援装置へ送信し、
    前記教示支援装置は、前記分析装置から受信した前記分析結果を表示し、
    前記雛形は、前記動作プログラムに対応する動作を自然言語で表した情報を含み、
    前記作業内容は、前記雛形とユーザによって入力される入力情報とにより決定され、
    前記入力情報は、前記雛形が示す動作の対象物を示す情報と前記動作における移動の目的の場所を示す情報とを含み、教示位置を含まず、
    前記目的の場所は、前記環境モデルに含まれる場所であり、
    前記対象物は、前記環境モデルに含まれることを特徴とする作業システム。
15. 前記作業機械と、
    前記作業機械を制御する制御装置と、
    を備え、
    前記教示支援装置は、前記動作軌道に基づいて前記作業機械の動作指令を生成し、前記動作指令を前記制御装置へ送信することを特徴とする請求項１３または１４に記載の作業システム。
16. 教示支援装置における教示支援方法であって、
    作業の雛形に応じた作業内容と作業機械の環境をモデル化した３次元モデルである環境モデルとを取得するステップと、
    前記作業内容と前記環境モデルとに基づいて動作プログラムを生成し、前記動作プログラムを用いて前記作業機械と前記環境との干渉を回避した、前記作業機械の動作軌道を生成するステップと、
    を含み、
    前記雛形は、前記動作プログラムに対応する動作を自然言語で表した情報を含み、
    前記作業内容は、前記雛形とユーザによって入力される入力情報とにより決定され、
    前記入力情報は、前記雛形が示す動作の対象物を示す情報と前記動作における移動の目的の場所を示す情報とを含み、教示位置を含まず、
    前記目的の場所は、前記環境モデルに含まれる場所であり、
    前記対象物は、前記環境モデルに含まれることを特徴とする教示支援方法。
17. コンピュータシステムに、
    作業の雛形に応じた作業内容と作業機械の環境をモデル化した３次元モデルである環境モデルとを取得するステップと、
    前記作業内容と前記環境モデルとに基づいて動作プログラムを生成し、前記動作プログラムを用いて前記作業機械と前記環境との干渉を回避した、前記作業機械の動作軌道を生成するステップと、
    を実行させ、
    前記雛形は、前記動作プログラムに対応する動作を自然言語で表した情報を含み、
    前記作業内容は、前記雛形とユーザによって入力される入力情報とにより決定され、
    前記入力情報は、前記雛形が示す動作の対象物を示す情報と前記動作における移動の目的の場所を示す情報とを含み、教示位置を含まず、
    前記目的の場所は、前記環境モデルに含まれる場所であり、
    前記対象物は、前記環境モデルに含まれることを特徴とする教示支援プログラム。

Images