JP7440620B2 - プログラム編集装置 - Google Patents

Description

本発明は、プログラム編集装置に関する。

一般にロボットのプログラミングはテキストベースの命令文を用いて行われるため、教示者はロボットのプログラミング言語の知識が必要となる。他方、ロボットの制御プログラムの教示者による直感的な入力を支援するために、ロボット制御の各命令を表すアイコンに用いたプログラミングを可能とするプログラム作成装置が提案されている（例えば、特許文献１及び特許文献２）。

特開平８－２４９０２６号公報 特許第６４９８３６６号公報

視覚センサを備えたロボットシステムにおいてワークのハンドリング等の作業を行うための動作プログラムには、視覚センサで撮像した画像から対象物の位置を検出してロボット制御装置に提供する、いわゆるビジョン検出のためのプログラムが含まれる。ビジョン検出のためのプログラムは、カメラによる撮像命令や、対象物の検出のための命令を含み、ロボットの制御プログラムとは作成方法が異なる。したがって、ロボットの制御プログラムのプログラミングに慣れた教示者でも、その知識をビジョン検出のプログラムの作成に利用することができない。ロボットのプログラミングには慣れている一方でビジョン検出のプログラミングには慣れていない教示者であっても、違和感なくビジョン検出のプログラムの作成を行うことを可能とするプログラム編集装置が望まれる。

本開示の一態様は、ロボットの動作プログラムを編集するプログラム編集装置であって、ロボットの制御に関する命令に対応する第１の種類のアイコン、及び、視覚センサによる撮像及び撮像した画像の処理に関する命令に対応する第２の種類のアイコンに対する編集操作を受け付けるプログラム編集部と、編集された前記第１の種類のアイコン及び前記第２の種類のアイコンに従って前記動作プログラムを生成するプログラム生成部と、を備え、前記プログラム編集部は、プログラム作成領域を表示する編集画面表示部と、前記プログラム作成領域へ前記第１の種類のアイコンを配置する操作入力を受け付ける操作入力受付部と、を備え、前記操作入力受付部は、前記プログラム作成領域へ前記第２の種類のアイコンを配置する操作入力を受け付けるように構成され、前記プログラム生成部は、前記プログラム作成領域に配置された前記第１の種類のアイコン及び前記第２の種類のアイコンに従って前記動作プログラムを生成する、プログラム編集装置である。

上記構成によれば、ロボットのプログラミングには慣れている一方でビジョン検出のプログラミングには慣れていない教示者であっても、違和感なくビジョン検出のプログラムの作成を行うことが可能となる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るプログラム編集装置を含むロボットシステムの一構成例を示す図である。 プログラム編集装置の機能ブロック図である。 プログラムを編集するための編集画面の一例を表す図である。 ビジョン検出のプログラムを新規作成する場合の画面例である。 ビジョン検出のプログラムをドロップダウンメニューから選択する場合の画面例である。 ビジョン検出のプログラムを作成するための別画面の例である。 ロボットの制御プログラムとビジョン検出のプログラムを同じプログラム作成領域で作成する場合の編集画面例である。 ビジョン検出のプログラムの第１の例を表す図である。 ビジョン検出のプログラムの第２の例を表す図である。 ビジョン検出のプログラムの第３の例を表す図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は一実施形態に係るプログラム編集装置１０を含むロボットシステム１００の一構成例を示す図である。ロボットシステム１００は、アーム先端部にハンド３１を搭載したロボット３０と、ロボット３０を制御するロボット制御装置５０と、ロボット制御装置５０に接続されたプログラム編集装置１０と、ロボット３０のアーム先端部に取り付けられた視覚センサ４１と、視覚センサ４１を制御する視覚センサ制御装置４０とを含む。ロボットシステム１００では、ロボット制御装置５０により制御されるロボット３０のハンド３１で、作業台２上の対象物１をハンドリングする。

視覚センサ制御装置４０は、視覚センサ４１を制御する機能と、視覚センサ４１で撮像された画像に対する画像処理を行う機能とを有する。視覚センサ制御装置４０は、視覚センサ４１で撮像された画像から対象物１の位置を検出し、検出された対象物１の位置をロボット制御装置５０に提供する。これにより、ロボット制御装置５０は、教示位置を補正して対象物１の取り出し等を実行することができる。以下では、視覚センサで撮像された画像から対象物の位置を検出する機能をビジョン検出と称し、視覚センサによる位置検出に基づき教示位置を補正する機能をビジョン補正と称する場合がある。なお、図１では視覚センサ４１をロボット３０のアーム先端に取り付ける例を示しているが、視覚センサ４１は作業空間内で作業台２上の対象物１を撮影可能な位置に固定されていても良い。

視覚センサ４１は、濃淡画像やカラー画像を撮像するカメラでも、距離画像や３次元点群を取得できるステレオカメラや３次元センサでもよい。ロボットシステム１００には、複数台の視覚センサが配置されていても良い。視覚センサ制御装置４０は、対象物のモデルパターンを保持しており、撮影画像中の対象物の画像とモデルパターンとのパターマッチングにより対象物を検出する画像処理を実行する。

プログラム編集装置１０は、ロボット３０に対象物１のハンドリングを実行させるための動作プログラムを作成するために用いられる。プログラム編集装置１０は、例えば、ロボット制御装置５０に接続された教示装置（教示操作盤、タブレット端末等）である。プログラム編集装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。プログラム編集装置１０は、いわゆるオフラインでプログラミングを行うためのプログラミング装置（ＰＣ等）であっても良い。

以下で詳細に説明するように、プログラム編集装置１０は、ロボット３０の制御に用いる命令、及び、視覚センサによる撮像及び撮像した画像の処理（ビジョン検出）に関する命令の双方に関してアイコンによるプログラミングを可能とする。以下では、ロボット３０の制御に用いる命令のアイコンと、ビジョン検出に用いる命令を表すアイコンとを区別する場合に、前者を第１の種類のアイコンと称し、後者を第２の種類のアイコンと称する場合がある。

図２は、プログラム編集装置１０の機能ブロック図である。プログラム編集装置１０は、アイコンを用いたプログラム編集を行うためのプログラム編集部１１と、編集されたアイコンに基づき動作プログラムを生成するプログラム生成部１４と、編集画面を表示する表示装置１９と、キーボード、マウス等を含む入力装置１８とを備える。プログラム編集部１１は、編集画面表示部１２と、操作入力受付部１３とを有する。編集画面表示部１２は、ロボット３０の動作プログラムの編集画面であって、ロボットの制御に関する第１の種類のアイコン及びビジョン検出機能に関する第２の種類のアイコンを含むアイコン一覧を表示するアイコン表示領域２００と、アイコン表示領域２００から選択される１以上のアイコンを動作順に配置してプログラミングを行うためのプログラム作成領域３００とを含む編集画面４００（図３参照）を表示装置１９に表示する。操作入力受付部１３は、アイコン表示領域２００に表示されている一覧からアイコンを選択しプログラム作成領域３００へ配置する操作入力を受け付ける。プログラム生成部１４は、プログラム作成領域３００に動作順に配置された１以上のアイコンから動作プログラムを生成する。

図２に示したプログラム編集装置１０の機能ブロックは、プログラム編集装置１０のＣＰＵが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated IC）等のハードウェアを主体とした構成により実現されても良い。

図３は、編集画面４００の例である。図３に示されるように、編集画面４００は、アイコンの一覧を表示するためのアイコン表示領域２００と、アイコン表示領域（第１のアイコン表示領域）２００に表示されたアイコンを動作順に配置するプログラム作成領域（第１のプログラム作成領域）３００とを含む。オペレータは、アイコン表示領域２００から選択したアイコンをプログラム作成領域３００に動作順に並べることで、動作プログラムを作成する。

ここでは、動作プログラムを編集するための入力装置としてマウスが用いられる場合を例とし編集操作を説明する。図３に示す編集画面４００において、アイコン表示領域２００には、プログラミングに用いることのできるアイコンの一覧が表示されている。図３の例では、アイコン表示領域２００に一覧表示されるアイコンには、ロボットの制御（ロボットプログラム）のための各種アイコン２０１－２０９（第１の種類のアイコン）及び、ビジョン検出のためのアイコン２５１（第２の種類のアイコン）を含む。アイコン表示領域２００に表示される各アイコンは、オペレータが見たときにその機能が直感的に理解できるような図形で表現されている。また、各アイコンの下部には、その機能の理解を助けるためにその機能を表現する言葉（機能名称等）が文字で表現されている。

図３の編集画面４００では、画面中央部に配置されたプログラミングのタブ２６１を選択することで画面下側の領域がプログラミングのアイコンを表示するアイコン表示領域２００となる。図３に例示されるロボット制御のためのアイコン２０１－２０９は、それぞれ、以下の命令に対応する。
アイコン２０１：ハンドを閉じて対象物をつかむ命令
アイコン２０２：ハンドを開く命令
アイコン２０３：ロボットのアーム先端部を直線の軌跡で移動させる命令
アイコン２０４：ロボットのアーム先端部を円弧状の軌跡で移動させる命令
アイコン２０５：経路に経由点を追加する命令
アイコン２０６：ハンドを回転させる命令
アイコン２０７：ハンドを停止させる命令
アイコン２０８：パレタイジング（荷積み）実行命令
アイコン２０９：デパレタイジング（荷下ろし）実行命令

編集画面４００上の上側のプログラム作成領域３００は、アイコンを動作順に並べることで動作プログラムを作成するための領域である。編集画面４００上では、マウスの操作により所望のアイコンをアイコン表示領域２００からプログラム作成領域３００にドラッグアンドドロップする。操作入力受付部１３は、このようなドラッグアンドドロップ操作に応じて、選択されたアイコンのコピーをプログラム作成領域に配置する。オペレータはこのような操作により、アイコン表示領域２００からアイコンを選択してプログラム作成領域の所望の位置に配置することで動作プログラムを作成する。プログラム作成領域３００には、アイコン表示領域２００から選択したアイコンを動作順に左から右に並べる。

プログラム作成領域３００に配置したアイコンを選択して詳細タブ２６２を選択すると、編集画面４００の下側の領域は、そのアイコンの命令の詳細な動作設定をするためのパラメータ設定画面（不図示）となる。オペレータはパラメータ設定画面を介して選択中のアイコンの動作命令に関する詳細なパラメータを設定することができる。一例として、プログラム作成領域３００に配置したアイコン２０３（直線移動）を選択すると、当該アイコン２０３がハイライト表示される。オペレータがこの状態で、詳細タブ２６２を選択すると当該アイコン２０３の命令（直線移動）に関する設定画面が編集画面４００の下側の領域に表示される。この場合の、詳細設定の内容は、下記のような設定項目（目標位置・姿勢及び移動速度）を含む。オペレータは、各設定項目に例えば下記のような数値データを入力する。
（パラメータ設定項目）
目標位置・姿勢：Ｘ ３４５．６ Ｙ ４５６．７ Ｚ ５６７．８
Ｗ ３４５．６ Ｐ ４５６．７ Ｒ ５６７．８
目標速度： ７５０ｍｍ／ｓｅｃ

図３の例では、アイコン表示領域２００には、ビジョン検出に関するアイコン２５１が含まれる。アイコン２５１は、ビジョン検出のプログラムを呼び出す機能を提供する。アイコン２５１は、視覚センサで対象物を検出して対象物の位置を検出して対象物を取り上げる動作を直感的に理解できる図形で表されている。また、アイコン２５１の下側には、アイコン２５１の機能を端的に表す言葉“見て取る”が表示されている。なお、プログラム作成領域３００に含まれる凹状の枠形状のアイコン２３１、２３２は、補助アイコンと称されるアイコンであり、分岐命令や繰り返し動作を定義するアイコンとして用いられる。アイコン表示領域２００にはこのような補助アイコンを表示させることもできる。

オペレータは、“見て取る”アイコン２５１を選択して動作プログラムに組み込む場合にも、ロボット制御のアイコン２０１－２０９をドラッグアンドドロップしてプログラム作成領域３００に配置する場合と同様の操作で、プログラム作成領域３００に配置することができる。図３では、アイコン２５１がアイコン表示領域２００からオペレータによるドラッグアンドドロップ操作によりプログラム作成領域３００の動作プログラムに組み込まれている状態が表されている（矢印Ａ）。

図３のプログラム作成領域３００に配置したアイコン２５１を選択した状態で詳細タブ２６２を選択すると、ビジョン検出プログラムの作成が新規となる場合には、図４に示されるように、編集画面４００の下側領域に新規作成を指定するボタン５０１を含む画面が表示される。オペレータが新規作成のボタン５０１を選択すると、ビジュンプログラムを作成するための別の画面が現れる（図６）。

他方、プログラム編集装置１０内にビジョン検出プログラムが既に登録されている場合には、図３の編集画面４００でアイコン２５１を選択した状態で詳細タブ２６２を選択すると、図５に示すように新規作成のボタン５０１に加えてドロップダウンメニュー５０２が現れる。オペレータは、ドロップダウンメニュー５０２から所望のビジョン検出プログラムを選択し、開くボタン５０３を押下することで、選択したビジョン検出プログラムを開くことができる。なお、図５の編集画面４００の下側の領域には、視覚センサ４１のライブ画像５５０が表示されても良い。

図６は、新規作成のボタン５０１を選択することで、又は、ドロップダウンメニュー５０２からビジョン検出プログラムを選択して開くボタン５０３を選択することで別画面として表示されるビジョン検出プログラムの編集画面４００Ａの例を示す。編集画面４００Ａの下側のアイコン表示領域（第２のアイコン表示領域）２００Ａには、ビジョン検出プログラムの作成に用いることのできる命令のアイコン２５２－２５４が一覧表示される。編集画面４００Ａの上側のプログラム作成領域（第２のプログラム作成領域）３００Ａには、ビジョン検出プログラムのアイコンを動作順に並べて配置する。オペレータは、アイコン表示領域２００Ａに一覧表示されたアイコンから所望のアイコンをドラッグアンドロップしてプログラム作成領域３００Ａに配置することでビジョンプログラムを作成する。このように、ビジョン検出プログラムを別画面で作成・編集する場合においても、図３に示したロボット制御プログラムを作成する場合と同様の画面構成の編集画面上で、且つ、同様の選択操作により、ビジョン検出プログラムを作成することができる。

例示として、図６の編集画面４００Ａのプログラム作成領域３００Ａには、撮像を指示する撮像アイコン２５２を２つ、対象物の検出を指示する検出アイコン２５３を２つ、及び補正計算アイコン２５４を並べてなるビジョン検出プログラム６０１が作成されている。この場合の、アイコンによるビジョン検出プログラムは、図中左から順に以下のような命令内容に相当する。

ＳＮＡＰ１ ：画像１を撮像する
ＳＮＡＰ２ ：画像２を撮像する
ＦＩＮＤ＿ＳＨＡＰＥ ：画像から輪郭を見つける
ＦＩＮＤ＿ＢＬＯＢ ：画像からかたまりを見つける
ＣＡＬＣ＿ＯＦＦＳＥＴ：補正量を計算する

この場合、オペレータは、プログラム作成領域３００Ａに配置した各アイコンを選択して編集画面４００Ａの下部にパラメータ設定画面を表示させて詳細なパラメータの設定を行う。撮像アイコン２５２（命令ＳＮＡＰ）のパラメータ設定では以下のような設定項目を含む。

・露光時間
・ＬＥＤ照明の点灯の有無
・画像縮小率

検出アイコン２５３（命令ＦＩＮＤ＿ＳＨＡＰＥ又はＦＩＮＤ＿ＢＬＯＢ）のパラメータ設定では以下のような設定項目の設定を行う。なお、下記設定項目において「一致度の閾値」、「コントラストの閾値」は、対象物の検出の画像処理における閾値に関するパラメータである。

・使用する画像（ＳＮＡＰ１による画像又はＳＮＡＰ２による画像）
・見つける形状
・一致度の閾値
・コントラストの閾値

補正計算アイコン２５４（命令ＣＡＬＣ＿ＯＦＦＳＥＴ）では、例えば２つの検出アイコン２５３（命令ＦＩＮＤ＿ＳＨＡＰＥ及びＦＩＮＤ＿ＢＬＯＢ）の検出結果に基づき対象物の画像上での位置を求め、当該画像上の位置をロボット座標系の３次元座標に変換することで、ロボットの教示位置を補正するための補正量を得る。

図７は、ビジョンプログラムを図６のような別画面ではなく、図３に示したロボットプログラムを作成するための編集画面４００上で作成する場合の画面例である。この場合の編集画面４００では、アイコン表示領域２００に、ビジョンプログラムのための撮像アイコン２５２、検出アイコン２５３、補正計算アイコン２５４が含まれる。オペレータは、動作プログラムにビジョンプログラムを含める場合には、アイコン表示領域２００に一覧表示されたアイコンの中から、所望のアイコンをクリックし、ドラッグアンドドロップ操作でプログラム作成領域３００に配置することができる。

図７のプログラム作成領域３００の動作プログラムの例では、撮像アイコン２５２と検出アイコン２５３とが配置されている。

以下、図８－図１０を参照してプログラム作成領域３００又は３００Ａにおいて作成するビジョンプログラムの例を説明する。

図８のビジョンプログラム６０２は、上述の「見て取る」アイコン２５１に相当する機能を表すと共に、凹状の枠の形状を有し他のアイコンを取り囲むことができるように形成された補助アイコン２５５を含む。図８の例では、補助アイコン２５５は、凹状の枠形状の両端部２５５ａ、２５５ｂの間に、直線移動を指示するアイコン２１０、対象物をつかむ命令を表すアイコン２１１、及び直線移動を指示するアイコン２１０を含んでいる。

ビジョンプログラム６０２では、２つの直線移動の命令においてビジョン補正が適用される。ビジョンプログラム６０２は、例えば、視覚センサの視野（撮影画像）内に複数の対象物があり、撮影画像内で見つかった複数の対象物をビジョン補正をかけながら順に取り上げるような動作を実現する。

図８のビジョンプログラム６０２においては、補助アイコン２５５を選択して図３等に示した詳細タブ２６２を選択することで、図６に例示したようなビジョンプログラムを作成するプログラム編集画面を表示することができる。

図９のビジョンプログラム６０３は、カメラの図形を表す補助アイコン２５６の凹状の枠の間に撮像アイコン２５２及び検出アイコン２５３が含まれたプログラムセットが２つ並べて配置されている。最後部には補正計算アイコン２５４が配置されている。図９のビジョンプログラム６０３は、次のような動作を実現する。ここでは、ロボットシステムは２台のカメラを備える場合を想定する。
（ａ１）第１のカメラで対象物の一方の端部を検出する（図９中左側の補助アイコン２５６）
（ａ２）第２のカメアで対象物のもう一方の端部を検出する（図９中右側の補助アイコン２５６）
（ａ３）補正計算アイコン２５４では、検出されたそれぞれの位置から対象物の中点の位置を求め、当該位置を対象物のとし、ロボット座標系での対象物の位置を得る。これにより、教示点を補正すべき位置が求められる。

図９のビジョンプログラム６０３では、図中左側の補助アイコン２５６によるアイコン群は第１のカメラによる動作を表すものであり、図中右側の補助アイコン２５６によるアイコン群は第２のカメラによる動作を表すものである。ビジョンプログラム６０３において、オペレータは図中左側の補助アイコン２５６を選択して詳細タブ２６２を選択して呼び出すパラメータ設定画面において、第１のカメラを起動させる命令を含める。また、オペレータは、図中右側の補助アイコン２５６を選択して詳細タブ２６２を選択して呼び出すパラメータ設定画面において、第２のカメラを起動させる命令を含める。

図１０のビジョンプログラム６０４は、初めに撮像アイコン２５２が配置され、次に検出動作に相当する補助アイコン２５７が配置され、その補助アイコン２５７の枠内に２つの検出アイコン２５３が配置されている。ビジョンプログラム６０４では、次のような動作を実現する。初めに撮像アイコン２５２により対象物を撮像する。次に、検出の補助アイコン２５７では対象物の全体の形状を検出し、補助アイコン２５７内の２つの検出アイコンにより対象物上の特徴（例えば穴）の検出を行う。これにより、穴を２つ有する対象物を検出することができる。次に補正計算アイコン２５４で対象物のロボット座標系における座標を求め位置補正用のデータとする。

以上説明したように本実施形態では、ロボットのプログラミングのための第１の種類のアイコンと、ビジョンプログラムのための第２の種類のアイコンを編集画面内のアイコン表示領域において同様に一覧表示する。また、本実施形態では、ロボットのプログラミングのアイコンをプログラム作成領域に配置する場合の操作と同じ操作で、ビジョンプログラムのアイコンをプログラム作成領域に配置する操作を行うことができる。

すなわち、本実施形態によれば、第１の種類のアイコンと第２の種類のアイコンとを共通した編集操作で編集して動作プログラムを作成することができる。したがって、本実施形態によれば、ロボットのプログラミンには慣れている一方でビジョンプログラムには慣れていない教示者であっても、違和感なくビジョンプログラムの作成を行うことを可能となる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

上述の実施形態では、ロボットの動作命令及び視覚センサによる画像処理の動作指令をアイコンとして表した場合にそれらアイコンの表示方法や操作方法を共通化した構成例であった。動作プログラムの作成において、ロボットの制御のプログラミングとビジョンプログラミングにおける命令の表示方法や入力操作の方法を共通化する手法はテキストベースのプログラミングにおいても実現し得る。

一例として下記のようなテキストベースの動作プログラム（以下、動作プログラムＦと記す）をプログラム編集装置を用いて入力することを想定する。なお、下記のプログラムリストにおいて各行の一番左の数字は行番号である。動作プログラムＦは、１台目のカメラ（カメラＡ）で撮像した画像から対象物を検出してロボットの位置を補正しながら対象物のハンドリングを行い（行番号１から行番号１０）、次に２台目のカメラ（カメラＢ）で撮像した画像から対象物を検出してロボットの位置を補正しながら対象物のハンドリングを行う（行番号１２から行番号１９）ものである。

（動作プログラムＦ）
1: チョクセンイチ[1] 2000mm/sec イチギメ ;
2: ;
3: ビジョンケンシュツ 'A' ;
4: ビジョンホセイデータシュトク 'A' ビジョンレジ[1] ジャンプラベル[100] ;
5: ;
6: !Handling ;
7: チョクセンイチ[2] 2000mm/sec ナメラカ100 ビジョンホセイ,ビジョンレジ[1] ツールホセイ,イチレジ[1] ;
8: チョクセンイチ[2] 500mm/sec イチギメビジョンホセイ,ビジョンレジ[1] ;
9: ヨビダシ HAND_CLOSE ;
10: チョクセンイチ[2] 2000mm/sec ナメラカ100 ビジョンホセイ,ビジョンレジ[1] ツールホセイ,イチレジ[1] ;
11: ;
12: ビジョンケンシュツ 'B' ;
13: ビジョンホセイデータシュトク 'B' ビジョンレジ[2] ジャンプラベル[100] ;
14: ;
15: !Handling ;
16: チョクセンイチ[2] 2000mm/sec ナメラカ100 ビジョンホセイ,ビジョンレジ[2] ツールホセイ,イチレジ[1] ;
17: チョクセンイチ[2] 500mm/sec イチギメビジョンホセイ,ビジョンレジ[2] ;
18: ヨビダシ HAND_CLOSE ;
19: チョクセンイチ[2] 2000mm/sec ナメラカ100 ビジョンホセイ,ビジョンレジ[1] ツールホセイ,イチレジ[1] ;
20:

上記動作プログラムＦにおいて、命令“チョクセンイチ[]”、“ヨビダシ HAND_CLOSE”はロボットの制御に属する命令である。具体的に、命令“チョクセンイチ[]”は、ロボットのアーム先端を移動させる命令であり、命令“ヨビダシ HAND_CLOSE”はハンドを閉じる処理を呼び出す命令である。他方、動作プログラムＦにおいて、命令“ビジョンケンシュツ”、“ビジョンホセイデータシュトク”はビジョンプログラムに属する命令である。具体的に、命令“ビジョンケンシュツ”は、カメラで撮像を行う命令であり、命令“ビジョンホセイデータシュトク”は、対象物を検出して補正のための位置を求めるための命令である。

プログラム編集装置は、動作プログラムＦの命令文を入力する編集画面において命令文のリストを例えばポップアップメニューで表示する。ポップアップメニューには例えば下記表１のような命令文のリストを含める。

プログラム編集装置は、命令文のポップアッップメニューを表示する操作が成されと命令文のポップアップメニューを表示する。そしてプログラム編集装置は、ポップアッポメニューにおいて入力装置を用いた選択操作（マウスのクリック、タッチパネル上でのタッチ操作）で選択された命令文を編集画面上のカーソルがある行に挿入する。オペレータは、このような命令文の選択挿入の動作を繰り返し、動作プログラムＦを作成する。

このようなテキストベースでの動作プログラムの作成・編集においても、ロボットの制御に関する命令文と、ビジョンプログラムの命令文が同じ表示方法で表示されており、オペレータは、ロボットの制御の命令文を選択してプログラム内に挿入する場合と同じ操作方法でビジョンプログラムの命令文を動作プログラム内に挿入することができる。したがって、このような構成の場合においても、上述の実施形態におけるアイコンを用いたプログラミングの場合と同様の効果を達成することができる。

上述の実施形態では、視覚センサにより撮像を行い撮像した画像の処理を行うことで所定の機能を実現する具体例として、対象物の位置を検出して検出した位置をロボットの動作の補正等に用いる場合の例について説明した。視覚センサにより撮像を行い撮像した画像の処理を行うことで実現される機能には、上述の例以外にも、検査、バーコード読み取り等の視覚センサを用いて実現し得る各種機能が含まれる。

例えば、図１のロボットシステム１００を、視覚センサ４１を用いて検査（外観検査等）を行うシステムとして構成する場合を想定する。この場合、図３に示したような編集画面４００のアイコン表示領域２００には、検査機能を表すアイコンを表示させる。この場合のアイコンは、検査を連想させる各種図形（例えば、カメラで対象物を撮影する状態を図案化したもの）、或いは、このような図形にさらに“検査”の文字を付加したものを用いることができる。この場合の検査機能のアイコンに対する詳細なプログラム作成画面やパラメータ設定画面では、撮像に用いるカメラの設定や、検査対象物に関する情報、合否判定基準等の設定を行う。検査結果はロボット制御装置５０に提供される。

図１のロボットシステム１０に、視覚センサ４１を用いてバーコードを読み取る機能を付加する場合には、図３に示したような編集画面４００のアイコン表示領域２００には、バーコード読み取り機能を表すアイコンを表示させる。この場合のアイコンは、バーコード読み取り機能を連想させる各種図形（例えば、カメラとバーコードを含む図形）、或いは、このような図形にさらに“バーコード読取り”の文字を付加したものを用いることができる。バーコード読み取り機能は、例えば、視覚センサで撮像された画像から画像処理によりバーコードの探索及び解読を行うことで実現しても良い。この場合のバーコード読み取り機能のアイコンに対する詳細なプログラム作成画面やパラメータ設定画面では、カメラの設定や、バーコード読み取りの画像処理に関する設定を行う。

１０ プログラム編集装置
１１ プログラム編集部
１２ 編集画面表示部
１３ 操作入力受付部
１４ プログラム生成部
１８ 入力装置
１９ 表示装置
３０ ロボット
３１ ハンド
４０ 視覚センサ制御装置
４１ 視覚センサ
５０ ロボット制御装置
１００ ロボットシステム
２００、２００Ａ アイコン表示領域
３００、３００Ａ プログラム作成領域
４００、４００Ａ 編集画面

Claims (4)

1. ロボットの動作プログラムを編集するプログラム編集装置であって、
   ロボットの制御に関する命令に対応する第１の種類のアイコン、及び、視覚センサによる撮像及び撮像した画像の処理に関する命令に対応する第２の種類のアイコンに対する編集操作を受け付けるプログラム編集部と、
   編集された前記第１の種類のアイコン及び前記第２の種類のアイコンに従って前記動作プログラムを生成するプログラム生成部と、を備え、
   前記プログラム編集部は、
   プログラム作成領域を表示する編集画面表示部と、
   前記プログラム作成領域へ前記第１の種類のアイコンを配置する操作入力を受け付ける操作入力受付部と、を備え、
   前記操作入力受付部は、前記プログラム作成領域へ前記第２の種類のアイコンを配置する操作入力を受け付けるように構成され、
   前記プログラム生成部は、前記プログラム作成領域に配置された前記第１の種類のアイコン及び前記第２の種類のアイコンに従って前記動作プログラムを生成する、
   プログラム編集装置。
2. 前記編集画面表示部は、前記第１の種類のアイコン及び前記第２の種類のアイコンの一覧を表示するアイコン表示領域を更に表示し、
   前記操作入力受付部は、前記第１の種類のアイコン及び前記第２の種類のアイコンを前記アイコン表示領域から選択して前記プログラム作成領域に配置する操作入力を受け付ける、請求項１に記載のプログラム編集装置。
3. ロボットの動作プログラムを編集するプログラム編集装置であって、
   ロボットの制御に関する命令に対応する第１の種類のアイコン、及び、視覚センサによる撮像及び撮像した画像の処理に関する命令に対応する第２の種類のアイコンに対する編集操作を受け付けるプログラム編集部と、
   編集された前記第１の種類のアイコン及び前記第２の種類のアイコンに従って前記動作プログラムを生成するプログラム生成部と、を備え、
   前記プログラム編集部は、
   ロボットの制御プログラムを生成するための第１のプログラム作成領域を表示する編集画面表示部と、
   前記第１のプログラム作成領域へ前記第１の種類のアイコンを配置する操作入力を受け付ける操作入力受付部と、を備え、
   前記編集画面表示部は、視覚センサによる撮像及び撮像した画像の処理に関するプログラムを生成するための第２のプログラム作成領域を表示し、
   前記プログラム生成部は、前記第１のプログラム作成領域に配置された前記第１の種類のアイコンに従ってロボットの制御プログラムを生成し、前記第２のプログラム作成領域に配置された前記第２の種類のアイコンに従って視覚センサによる撮像及び撮像した画像の処理に関するプログラムを生成する、
   プログラム編集装置。
4. 前記編集画面表示部は、前記第１の種類のアイコンの一覧を表示する第１のアイコン表示領域と、前記第２の種類のアイコンの一覧を表示する第２のアイコン表示領域とを更に表示し、
   前記操作入力受付部は、前記第１の種類のアイコンを前記第１のアイコン表示領域から選択して前記第１のプログラム作成領域に配置する操作入力を受け付けると共に、前記第２の種類のアイコンを前記第２のアイコン表示領域から選択して前記第２のプログラム作成領域に配置する操作入力を受け付ける、請求項３に記載のプログラム編集装置。

Images