JP7401250B2 - 画像処理装置、制御方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、制御方法およびプログラムに関する。

製品の生産や品質確認、運搬等を目的として、カメラが取り付けられたロボットが用いられている。カメラが撮影した画像を画像処理することで、例えば、作業対象であるワークの検査や測定等を行うことができる。ロボットは所定の範囲内で自由に動作できる。このため、ロボットが所定の作業範囲内でワークに対して作業を行う場合、ロボットが作業を行う作業範囲をカメラが適切に撮像できるようにロボットの撮像姿勢を決定する必要がある。

関連する技術として、特許文献１のロボット制御装置が提案されている。該ロボット制御装置は、固定的に設置され且つロボットに接続された制御装置本体と、該制御装置本体に接続された持ち運び可能な教示操作盤とを有している。そして、教示操作盤によりロボットを操作することが可能になっている。

特許第４２２１０１４号

ロボットの作業範囲をカメラが適切に撮像できるようにロボットの撮像姿勢を決定するために、例えば、ユーザによる目視の確認およびロボットの撮像姿勢の調整が繰り返し行われる。この場合、ユーザは、カメラが撮像した画像を確認し、カメラが取り付けられたロボットの傾きや位置を調整する。ユーザは、画像を確認してロボットを調整する作業を、ロボットに取り付けられたカメラが、ロボットの作業範囲を適切に撮像できるまで繰り返し行う必要があり、煩雑である。

本発明の目的は、ロボットに取り付けられた撮像装置の撮像姿勢を決定するための作業を簡略化することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、多関節のアームを有するロボットに取り付けられた撮像装置が撮像した画像を処理する画像処理装置であって、ユーザが前記ロボットを操作し、予め規定される作業範囲の境界上にある複数点の夫々に前記アームを移動させ、前記作業範囲が前記アームの可動範囲内にあるかを確認する動作の際に、前記複数点の夫々への移動後の前記アームの位置座標を夫々教示点として登録する登録手段と、前記登録された複数の教示点を示す教示点情報に基づいて、前記ロボットの作業範囲を特定する第１の特定手段と、前記特定された前記作業範囲を含むよう、前記撮像装置の撮像範囲を特定する第２の特定手段と、前記特定された前記撮像範囲に基づいて、前記ロボットの撮像姿勢を決定する決定手段と、を備えることを特徴とする。

本発明によれば、ロボットに取り付けられた撮像装置の撮像姿勢を決定するための作業を簡略化することができる。

ロボットシステムの全体構成を示す図である。 撮像姿勢を決定するまでの流れを示す図である。 画像処理装置、ロボットおよび撮像装置のハードウェア構成図である。 画像処理装置、ロボットおよび撮像装置の機能を示すブロック図である。 撮像姿勢決定画面の一例を示す図である。 撮像姿勢を記憶するための処理の流れを示すフローチャートである。 ロボットおよび撮像装置のモデル例を示す図である。 作業範囲の特定から撮像姿勢の決定までの処理の詳細な流れを示すフローチャートである。 作業範囲の特定の一例を示す図である。 撮像姿勢の決定方法の一例を示す図である。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

以下、図面を参照して、実施形態について説明する。図１は、ロボットシステム１０の全体構成を示す図である。ロボットシステム１０は、全体として、ロボット装置とも称されることがある。ロボットシステム１０は、画像処理装置１００、ロボット１１０および撮像装置１２０を有する。ロボットシステム１０の構成は、図１の例には限定されない。撮像装置１２０は、撮像範囲１６０内の電磁波情報（光情報）を画像（撮像画像）として取得するカメラである。撮像装置１２０は、ロボット１１０の所定位置に取り付けられている。図１の例では、撮像装置１２０は、ロボット１１０の先端近傍に取り付けられている。ロボット１１０における撮像装置１２０の取り付け位置と撮像装置１２０の位置との相対関係は固定されている。図１の例では、ロボット１１０は、多関節を有するアームでおり、所定の可動範囲で動作を行うことができる。ロボット１１０の位置および姿勢は、ユーザ等が手動で変更することができ、また後述する駆動部２１４が変更することができる。なお、本実施形態でいうロボット１１０の位置は、ロボット１１０のアームの先端部の位置を所定の座標系（Ｘ、Ｙ、Ｚ）で示すものとし、ロボット１１０の姿勢は、アームの先端部の姿勢を所定の座標系（ピッチ、ロール、ヨー）で示すものとする。

画像処理装置１００とロボット１１０と撮像装置１２０とは相互に通信可能に接続されており、情報の授受が可能である。作業範囲１４０は、ワークに対してロボット１１０が作業を行うことを想定して用意された領域である。ワーク１５０は、ロボット１１０が作業を行う対象であり、作業範囲１４０の内部に様々な状態（方向）で配置される。撮像装置１２０は、予め定められた撮像位置からワーク１５０の撮像画像を取得する。画像処理装置１００は、取得された撮像画像に基づいて、ワークの位置および姿勢、或いはワークの種類等を推定することができる。

画像処理装置１００は、各種の処理を行い、ロボット１１０に対して例えばワークの位置へ移動させるような制御量を送信する。ロボット１１０は、受信した制御量に基づいて、ワークの位置に移動する。画像処理装置１００は、ワーク１５０の状態に応じて制御量を変更することで、ワーク１５０の状態に応じて異なる作業をロボット１１０に実施させることができる。なお、作業範囲１４０に含まれるワーク１５０は２つ以上であってもよい。

ここで、上述した撮像姿勢について説明する、撮像姿勢は、ワーク１５０の認識などを行う際に撮像を行う際のロボット１１０の先端の位置および姿勢であり（さらにアームの関節の姿勢などを考慮してもよい）、ワーク１５０に対する作業を行う前に予め決定されるものとする。本実施形態におけるロボット１１０は、撮像を行う際には必ず撮像姿勢に移動し、同じ画角で撮像を行う。そして詳細は後述するが、カメラ座標におけるワークの位置（画像内のワークの位置）をロボット座標におけるワークの位置に変換し、ワーク１５０に対するロボット１１０の作業を可能とする。この撮像姿勢は、ワーク１５０に近いほど、つまり撮像装置１２０が作業範囲１４０の面に近い姿勢であるほど、撮像されるワークの画像１５０の分解能が高くなり、認識などの精度が向上する。一方で、撮像装置１２０を作業範囲１４０の面に近づけるほど撮像画角は狭くなり、ワーク１５０を画角内に収めることができない可能性が増える。つまり、撮像姿勢の決定においては、ワーク１５０を確実に画角内に収めることができ、且つなるべくワーク１５０を近い位置で撮影できる姿勢を決定することが好ましい。

上記を踏まえた上で、本実施形態における撮像姿勢の決定方法の概要について説明する。図２は、撮像姿勢を決定するまでの流れを示す図である。ユーザは、作業範囲１４０内のワーク１５０をロボット１１０が操作可能なような任意の位置にロボット１１０を設置する。つまり、ユーザは、作業範囲１４０がロボット１１０の可動範囲となると想定される位置にロボット１１０を設置する（図２（ａ））。ここで、本実施形態では、ロボット１１０は、ユーザが移動させることができる、例えば２０ｋｇ以下のポータブルなロボットであるものとする。ただし、ロボット１１０は、ポータブルではないロボットであってもよい。ロボット１１０の設置後、ユーザは、作業範囲１４０（ロボット作業エリア）をロボット１１０が動作可能であるかを、ロボット１１０を動作させる（例えば、作業範囲１４０の四隅に順番にアームを伸ばし、作業可能な姿勢とする）ことで確認する（図２（ｂ））。そして、本実施形態の処理により、撮像姿勢が決定される（図２（ｃ））。撮像姿勢の決定の詳細については、後述する。

図２（ｂ）に示す動作の際、ユーザは、ロボット１１０を動かした点（例えば、作業範囲１４０の四隅）を、教示点として登録することができる。画像処理装置１００は、これらの教示点から作業範囲を示す作業範囲情報を特定し、特定された作業範囲情報が示す範囲を含む撮像範囲１６０を示す情報（撮像範囲情報）を特定する。画像処理装置１００は、特定された撮像範囲情報に基づいて、ロボット１１０の撮像姿勢を決定する。つまり、作業範囲１４０に対応する範囲が撮像範囲１６０に収まるよう、撮像姿勢が自動的に決定される。これは、作業範囲１４０がちょうど収まる画角が、ワーク１５０を必ず画角内に収めることができ、且つワーク１５０を近くで撮像できる画角であるという考えに基づく。従って、ロボット１１０を繰り返し動作させて、ユーザによる目視の結果や画像処理の結果を繰り返しフィードバックすることなく、ロボット１１０の撮像姿勢を一意に決定することができる。

図３は、本実施形態の画像処理装置１００、ロボット１１０および撮像装置１２０のハードウェア構成図である。画像処理装置１００とロボット１１０と撮像装置１２０とは、相互に情報の伝送が可能なように、信号伝送部１３０により接続されている。画像処理装置１００は、画像処理機能を有したコンピュータである。画像処理装置１００は、演算装置２０１、記憶装置２０２、表示装置２０３、入力装置２０４、外部インタフェース２０５および内部バス２０６を有する。図３において、インタフェースは「Ｉ／Ｆ」と表記される。演算装置２０１は、ＣＰＵ(中央演算処理装置)やＧＰＵ（画像演算処理装置）等の演算回路で構成される。記憶装置２０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ等で構成される。表示装置２０３は、ディスプレイやプロジェクタ等である。入力装置２０４は、マウスやキーボードやタッチパネル等である。外部インタフェース２０５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＥｔｈｅｒｎｅｔ等により構成され、情報の入出力に用いられる。内部バス２０６は、画像処理装置１００の内部の各部を結ぶデータバスやアドレスバス等の制御線である。

記憶装置２０２には、実施形態の各種制御を行うプログラムが記憶されている。例えば、該プログラムを演算装置２０１が実行することで、実施形態の各種処理が実現される。これにより、画像処理装置１００は、例えば、画像処理や、ロボット１１０に対するロボット動作命令の送信、撮像装置１２０からの画像取得等を行う。また、表示装置２０３および入力装置２０４を用いて、ユーザは、各種設定や処理の実行指示等を行うことができる。

次に、ロボット１１０について説明する。ロボット１１０は、演算装置２１１、記憶装置２１２、入力装置２１３、駆動部２１４、外部インタフェース２１５および内部バス２１６を有する。駆動部２１４以外の各部は、画像処理装置１００の各部と同様であるため、説明を省略する。駆動部２１４は、アクチュエータや減速機、リンク機構等を有して構成されている。演算装置２１１は、記憶装置２１２に記憶されているプログラムを実行することで、駆動部２１４の制御や外部インタフェース２１５の応答等の各種の制御を行う。

記憶装置２１２は、ロボット１１０の制御に必要な各リンクの長さやリンク間を繋ぐ間接の可動方向、可動域等の情報を記憶している。演算装置２１１は、ロボット１１０の各関節やアクチュエータへの動作指令値から、ロボット１１０の手先（先端）の位置および姿勢を推定する。また、ロボット１１０の手先の位置および姿勢は指定することができる。演算装置２１１は、ロボット１１０について指定された手先位置の位置および姿勢からロボット１１０の各関節に対して入力する動作指令値を推定する。

また、記憶装置２１２は、ロボット１１０の位置および姿勢の情報を記憶することが可能であり、これによりロボット１１０の教示点を記憶する。ロボット１１０の位置および姿勢の情報は、入力装置２１３を用いたユーザ操作や外部から数値により入力されてもよい。また、記憶装置２１２は、ユーザ操作により、現在のロボット１１０の位置および姿勢を記憶することもできる。教示点は、ロボット座標系における原点（ロボット原点）に対するＸＹＺ直交座標やオイラー角による姿勢表現、冗長姿勢のための間接方向フラグ、各軸の関節角度等で表現されるロボット１１０の位置および姿勢を特定するために用いられる情報である。

次に、撮像装置１２０について説明する。撮像装置１２０は、外部インタフェース２２１、演算装置２２２、記憶装置２２３、撮像素子２２４および光学機器２２５を有する。撮像素子２２４および光学機器２２５以外の各部は、画像処理装置１００およびロボット１１０の各部と同様であるため、説明を省略する。撮像素子２２４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等で構成される。また、撮像素子２２４は、ＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等で構成される。光学機器２２５は、撮像装置１２０への入射光を撮像素子２２４に導く。演算装置２２２は、例えば、外部インタフェース２２１の応答や撮像素子２２４から取得された情報に基づく画像生成、光学機器２２５のフォーカスや画角変化等の光学特性の制御等を行う。

図１および図３は、画像処理装置１００とロボット１１０と撮像装置１２０とはそれぞれ異なる装置とした構成した例を示しているが、各装置は１つの装置で実現されてもよい。また、実施形態の各処理は、所定の外部装置（例えば、クラウドサーバやエッジコンピュータ等）で行われてもよい。例えば、画像処理装置１００と所定の外部装置とが通信可能であるとする。画像処理装置１００は、実施形態の処理に必要な情報を所定の外部装置に送信し、所定の外部装置は実施形態の処理を行い、処理結果を画像処理装置１００に送信する。このような構成でも、実施形態の処理は実現できる。また、実施形態の処理は、シミュレータ等の仮想環境により実現されてもよい。

次に、画像処理装置１００、ロボット１１０および撮像装置１２０の機能について説明する。図４は、画像処理装置１００、ロボット１１０および撮像装置１２０の機能を示すブロック図である。ロボット１１０は、ロボット教示部３１１、ロボット制御部３１３および駆動部３１５を有する。ロボット教示部３１１およびロボット制御部３１３の機能は、演算装置２１１が実行するプログラムにより実現される。最初に、ロボット制御部３１３について説明する。ロボット制御部３１３は、ロボット１１０の各アクチュエータの制御量を駆動部３１５に指令する。駆動部３１５は、図３の駆動部２１４に対応する。ロボット１１０の記憶装置２１２には、ロボット１１０の各リンクの長さやリンク間を繋ぐ間接の可動方向、可動域等の情報であるロボットパラメータ情報が予め記憶されている。ロボット制御部３１３は、ロボットパラメータ情報および所定の運動学的手法（順運動学や逆運動学等）を用いて、各アクチュエータの制御量とロボット１１０の手先の位置および姿勢とを相互に変換することができる。

ロボット１１０の外部インタフェース２１５に所定の入力端末が接続されている場合、ユーザは、該入力端末を操作することで、ロボット１１０を任意の位置および姿勢に移動させることができる。入力端末は、例えば、ティーチングペンダントや該ティーチングペンダントの機能を有するタブレット端末等である。ロボット制御部３１３は、入力端末に対する操作を受け付けて、ロボット１１０を任意の位置および姿勢に移動させる。

ここで、ロボット１１０の先端（アーム先端）に効果器や道具等の所定の機器が取り付けられていることがある。この場合、ロボット１１０の先端の位置および姿勢は、ロボット１１０のアームの先端に取り付けられている機器の形状により変化する。この場合、ロボット１１０の先端位置から機器の位置までの長さの分をオフセットとして加える補正が行われてもよい。また、ロボット制御部３１３は、運動学計算に使用する節の長さを変更することで、機器の先端の位置および姿勢を、ロボット１１０の手先の位置および姿勢として制御してもよい。

次に、ロボット教示部３１１について説明する。ロボット教示部３１１は、ロボット１１０の特定の位置および姿勢の情報を教示点情報（教示点を示す情報）として記憶装置２１２に記憶することができる。これにより、教示点が登録される。また、ロボット教示部３１１が、記憶装置２１２に記憶されている教示点情報を読み出すことで、ロボット制御部３１３は、読み出された教示点情報が示すロボット１１０の位置および姿勢を再現するように、ロボット１１０を移動させることができる。例えば、ユーザが手動でロボット１１０を動かして、教示点を登録する操作を行うことで、操作を行った時点のロボット１１０の位置および姿勢を教示点として登録することができる。なお、教示点の登録は、ロボット１１０の現在の位置および姿勢には限定されない。教示点の登録は、数値の入力により行われてもよいし、仮想空間におけるシミュレーションにより行われてもよい。

図４の画像処理装置１００について説明する。画像処理装置１００は、撮像装置１２０が撮影した撮像画像を取得し、画像処理を行う。また、画像処理装置１００は、撮像姿勢決定部３０１、作業範囲特定部３０３、撮像範囲特定部３０５および表示制御部３０７を有する。最初に、撮像範囲特定部３０５について説明する。撮像範囲特定部３０５は、第２の特定手段に対応する。撮像範囲特定部３０５は、記憶装置２０２に記憶されている各種情報を使用して、作業範囲１４０を含む撮像範囲１６０を特定する。以下、撮像範囲１６０を特定するために用いられる各種情報は、画像処理装置１００の記憶装置２０２に記憶されているものとして説明する。ただし、撮像範囲１６０を特定するために用いられる各種情報は外部の装置に記憶されており、画像処理装置１００は、通信により各種情報を取得してもよい。

画像処理装置１００の記憶装置２０２は、撮像装置１２０の撮像部３２１が撮像を行ったときに、視野内にある三次元空間上の点が、撮像画像上のどの位置に投影されるかの関係を推定するために用いられる各種情報を記憶している。ここで、撮像部３２１が撮像する三次元空間上の位置と撮像画像上の位置との関係は、内部パラメータと撮像部３２１の位置および姿勢により決定される外部パラメータとにより表現することができる。

外部パラメータは、駆動部３１５において接続部３７０が取り付けられたリンクまでのロボットパラメータ情報と、接続部３７０により固定されるリンクに対する撮像装置１２０の相対的な位置及び姿勢から、所定の運動学的手法により求めることができる。記憶装置２０２に記憶されている各種情報は、光学機器２２５の光学特性により決定される内部パラメータを含む。また、各種情報は、上述したロボットパラメータ情報および接続部３７０により固定されている撮像装置１２０のロボット１１０のリンクに対する座標系原点の位置および姿勢の情報を含む。接続部３７０は、例えば、ロボット１１０のリンクと撮像装置１２０とを接続する軸である。

上記各種情報は、設計値により求められてもよいし、任意の同定手法により求められてもよい。ロボットパラメータ情報は、ロボット制御部３１３と撮像範囲特定部３０５で共有する部分（外部パラメータの推定に用いられるロボットパラメータ情報等)がある。ロボットパラメータ情報は、画像処理装置１００の記憶装置２０２とロボット１１０の記憶装置２１２とのうち何れか一方に記憶されてもよいし、両方に記憶されてもよい。ロボットパラメータ情報が一方の記憶装置に記憶されている場合、画像処理装置１００またはロボット１１０が、他方の記憶装置に記憶されているロボットパラメータ情報を参照するようにしてもよい。

作業範囲特定部３０３は、ユーザが指定した複数の教示点情報を使用して作業範囲情報を生成する。作業範囲特定部３０３は、第１の特定手段に対応する。作業範囲情報は、複数の教示点により構築されるロボット教示点群またはロボット教示点群を拡張、接続または近似することにより生成される点群、面または立体情報である。作業範囲情報の詳細については後述する。ここで、画像処理装置１００の表示制御部３０７は、表示装置２０３に、図５に示されるようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の操作画面を表示する。該ＧＵＩは、作業範囲情報の生成に使用される教示点情報の入力等を行う際に用いられる。

上記ＧＵＩでは、教示点情報に関連付けられた番号を指定することができ、作業範囲特定部３０３は、指定された教示点情報に基づいて、ポリゴンメッシュや各種近似手法を用いて作業範囲情報を生成する。また、上記ＧＵＩでは、作業範囲１４０に対するマージンを任意に指定可能であり、作業範囲特定部３０３は、指定されたマージンに従って作業範囲情報を拡大または縮小する。例えば、画像処理により検出する対象のワーク１５０の特徴が、該ワーク１５０の幅の分だけ作業範囲より外側に存在する可能性がある。この場合でも、マージンの指定により、このようなワーク１５０を作業範囲内として扱うことができる。また、作業範囲特定部３０３は、検出する対象のワーク１５０のサイズ情報やロボット１１０に取り付けられる機器のサイズ等を利用して、作業範囲情報を拡大または縮小することができる。これにより、設定の手間が省かれる。

次に、撮像姿勢決定部３０１について説明する。撮像姿勢決定部３０１は、決定手段に対応する。撮像姿勢決定部３０１は、作業範囲情報と撮像範囲情報とに基づいて、ロボット１１０の撮像姿勢を決定する。ここでは、撮像姿勢決定部３０１は、作業範囲情報とロボットパラメータ情報と撮像範囲情報とに基づいて、ロボット１１０の姿勢に対して作業範囲１４０がどのように画像に投影されるかの関係を求める。これにより、撮像姿勢決定部３０１は、ロボット１１０の撮像姿勢を決定する。撮像姿勢の決定方法については、後述する。撮像姿勢は、作業範囲情報が示す範囲を撮像するために好適なロボット１１０の位置および姿勢であり、作業範囲情報が示す範囲の全体が撮像範囲１６０に含まれる状態である。前述したように、最適な撮像姿勢は、作業範囲１４０の全体が撮像範囲１６０に含まれる状態であり、且つ撮像画像の分解能が高い状態であるロボット１１０の位置および姿勢である。

撮像姿勢決定部３０１は、例えば、撮像画像に投影される作業範囲１４０の大きさと投影されない範囲の大きさとを評価指標として解析的または数値的に求めてもよい。また、撮像姿勢決定部３０１は、近似平面に投影して撮像姿勢を限定して、作業範囲１４０に対する視野の最小外接矩形を求めることで、撮像姿勢を求めてもよい。撮像姿勢決定部３０１は、任意の姿勢決定における拘束条件や解法等を選択可能なＧＵＩに入力された条件を満たした撮像姿勢を決定してもよい。

図５は、上述したＧＵＩの操作画面（撮像姿勢決定画面４００）の一例を示す図である。表示制御部３０７は、表示装置２０３に表示される画面の表示制御を行う。表示制御部３０７は、表示制御手段に対応する。ユーザは、撮像姿勢決定画面４００が表示装置２０３に表示されている状態で、入力装置２０４を操作して、各種の入力や選択を行うことができる。撮像姿勢決定画面４００は、画像表示領域４０１、第１のインタフェース４０２、実行ボタン４０３および第２のインタフェース４０４を含む。第１のインタフェース４０２および第２のインタフェース４０４は、設定項目として設けられている。

撮像姿勢決定画面４００の画面例は、図５の例には限定されない。画像表示領域４０１には、撮像装置１２０の撮像部３２１が撮像している撮像画像が表示される。図５の例では、撮像画像は、カメラ画像と表記される。第１のインタフェース４０２は、作業範囲１４０を特定するためのインタフェースである。第１のインタフェース４０２は、教示点入力部４１１、ラジオボタン４１２、マージン設定部４１３、第１のチェックボックス４１４および第２のチェックボックス４１５を含む。

教示点入力部４１１は、作業範囲情報を生成するための教示点を入力するためのボックスである。教示点入力部４１１は、入力部に対応する。ロボット１１０の記憶装置２１２には、複数の教示点情報が記憶されている。本実施形態では、複数の教示点情報にはそれぞれ番号が関連付けられて、記憶装置２１２に記憶されている。教示点入力部４１１に教示点の番号が入力されることで、作業範囲特定部３０３は、作業範囲１４０を特定することができる。図４の例では、「６」、「９」、「１０」、「１５」の番号に対応する各教示点情報により構築される領域が、作業範囲情報が示す範囲となる。教示点は、教示点入力部４１１に対して入力された番号により特定されてもよいし、リスト形式のダイアログ等の中から選択されることで特定されてもよい。教示点入力部４１１に対する教示点の番号の入力は、カンマまたはハイフンで行うことができる。ハイフンによる番号の入力の場合、複数の教示点の番号を一括して指定することが可能である。

ラジオボタン４１２は、実行ボタン４０３が押下された場合の挙動を選択するためのボタンである。図５の例では、「撮像姿勢に移動」と「教示点に登録」との２つのうち何れか１つを選択できる。「撮像姿勢に移動」が選択されている状態で実行ボタン４０３が押下されると、決定された撮像姿勢にロボット１１０が移動する。「教示点に登録」が選択されている状態で実行ボタン４０３が押下されると、ロボット１１０が移動することなく、決定された撮像姿勢が、教示点として登録される。

マージン設定部４１３は、撮像範囲１６０に対する作業範囲１４０のマージンを入力するために設けられる。初期値としては、「０」が設定されている。マージンが「０」である場合、教示点入力部４１１が占める教示点から求めた作業範囲情報が示す範囲が撮像範囲１６０となる。マージン設定部４１３には正の値および負の値を入力することができる。マージン設定部４１３に正の値が入力されると、教示点から求めた作業範囲情報が示す範囲が拡大され、この拡大された範囲が撮像範囲１６０となる。この場合、作業範囲１４０は、撮像範囲１６０の中に余裕をもって収まる可能性が高くなるが、撮像された撮像画像の分解能は低くなる。

一方、マージン設定部４１３に負の値が入力された場合、教示点から求めた作業範囲情報が示す範囲は縮小され、この縮小された範囲が撮像範囲１６０となる。この場合、作業範囲１４０は撮像範囲１６０よりも大きくなる可能性が高い。

本実施形態では、撮像範囲１６０は、ロボット１１０が作業を行う作業範囲１４０をカバーする必要がある。ここで、作業範囲１４０は、教示点に基づいて特定される。例えば、ロボット１１０が作業を行う対象であるワーク１５０が、図１のような搭載台（例えば、トレー）に搭載されている場合、トレーの縁１４０Ａは、実質的にロボット１１０の作業範囲とはならない。このとき、教示点が、トレーの縁１４０Ａに指定された場合（図２（ｂ）でユーザがトレーの縁にロボットを移動させた場合）、複数の教示点により特定される作業範囲は、実際の作業範囲１４０より広い。そこで、撮像姿勢決定画面４００では、マージン設定部４１３に対して、撮像範囲１６０を縮小させる入力が許容される。撮像範囲１６０が縮小されると、撮像された撮像画像の分解能は高くなる。

図５の撮像姿勢決定画面４００は、第１のチェックボックス４１４および第２のチェックボックス４１５を含む。第１のチェックボックス４１４は、撮像姿勢の再計算を行う際に撮像姿勢を傾けることを許容するか否かを指定するためのチェックボックスである。例えば、ロボット１１０の周囲に障害物等が存在する場合、ロボット１１０が垂直方向にのみ動くことが好ましい場合がある。このような場合、第１のチェックボックス４１４のチェックは外される。つまり、撮像姿勢を傾けることは許容されない。一方、第１のチェックボックス４１４にチェックが入っている場合には、撮像姿勢を傾けることが許容される。

上述したように、画像処理装置１００は、撮像範囲１６０が、作業範囲情報が示す範囲を含む位置および姿勢にロボット１１０を制御する。撮像姿勢を傾けることが許容されると、様々な角度から撮像装置１２０は作業範囲１４０を撮像できる。このため、撮像姿勢を傾けることが許容されていない場合と比較して、撮像姿勢を傾けることが許容されている場合の方が、作業範囲情報が示す範囲を含むような撮像範囲１６０を設定できる可能性が高くなる。

第２のチェックボックス４１５は、撮像装置１２０の撮像部３２１のズーム値を固定にするか否かを指定するためのチェックボックスである。第２のチェックボックス４１５にチェックが入っている場合は、ズーム値は固定される。ユーザによっては、ズーム値は固定されている方が好ましい場合がある。一方、ズーム値が固定されていない場合、ズーム値を変化させて撮像範囲１６０を拡大または縮小をさせることができる。これにより、作業範囲１４０を含むような撮像範囲１６０を設定できる可能性が高くなる。

実行ボタン４０３は、撮影姿勢を決定するための処理を実行するためのボタンである。上述したように第１のインタフェース４０２で、作業範囲１４０を特定するための各種の設定がされる。画像処理装置１００が、実行ボタン４０３の押下操作を受け付けると、第１のインタフェース４０２で設定された内容に応じて、作業範囲特定部３０３は、作業範囲情報を生成する。撮像姿勢決定部３０１は、生成された作業範囲情報および記憶された撮像範囲情報に基づいて、撮像姿勢を決定する。

第２のインタフェース４０４は、教示点の登録に用いられるインタフェースである。第２のインタフェース４０４は、登録ボタン４１６および移動ボタン４１７を有する。第２のインタフェース４０４では、例えば、テキストボックスにより、教示点の番号を指定することができる。図５の例では、教示点の番号が「１」に指定されている。登録ボタン４１６は、ロボット１１０の現在の位置および姿勢を教示点として登録するためのボタンである。登録ボタン４１６が押下操作されると、ロボット１１０の現在の位置および姿勢が教示点「１」に登録される。ユーザは、画像表示領域４０１に表示されているカメラ画像（撮像装置１２０が撮像している撮像画像）を確認しながら、教示点を登録することができる。ユーザは、例えば、図２（ｂ）の作業を行う際に、作業範囲１４０の四隅のそれぞれにロボット１１０の先端を移動させて、「６」、「９」、「１０」、「１５」を登録することで、作業範囲１４０に対応する教示点を登録することができる。なお、移動ボタン４１７は、指定された教示点（図５では「１」）に、ロボット１１０を移動させるためのボタンである。

撮像姿勢決定画面４００が、画像表示領域４０１、第１のインタフェース４０２、実行ボタン４０３および第２のインタフェース４０４を一括して表示することで、画面遷移の回数を低減することができる。上述したように、画像表示領域４０１には、撮像装置１２０が撮像している撮像画像が表示される。画像処理装置１００は、画像表示領域４０１に表示されているカメラ画像に、作業範囲情報が示す範囲を任意の態様で重畳して表示してもよい。本実施形態の例であれば、作業範囲１４０にほぼ重畳される形で作業範囲情報が示す範囲が表示されることになる。また、表示制御部３０７は、画像表示領域４０１に表示されているカメラ画像に、教示点を示す教示点情報を任意の態様で重畳して表示してもよい。これにより、ユーザは、作業範囲情報や教示点情報の設定ミス、或いはカメラ画像上の作業範囲１４０が所望の状態でないといった事態を素早く認識することができる。

次に、本実施形態における撮像姿勢を記憶するための処理について説明する。図６は、撮像姿勢を記憶するための処理の流れを示すフローチャートである。例えば、画像処理装置１００の外部インタフェース２０５に、タブレット端末等の入力端末が接続されている場合、ユーザは、入力端末を操作する。ユーザが入力端末を操作すると、ロボット１１０は、入力端末に対する操作に応じて動作する。前述したように、ユーザは、登録する教示点の位置および姿勢までロボット１１０を動作させて、教示点を登録する操作を行う。ロボット教示部３１１は、該操作を受け付けると、記憶装置２１２に教示点情報を記憶する。これにより、教示点が登録される（Ｓ５０１）。教示点の登録の手法は、上述の例には限定されない。例えば、ユーザが、ロボット１１０を教示点の位置および姿勢となるまで手動で動かした後に登録作業を行うことで、教示点が登録されてもよい。また、教示点の登録は、数値の入力等により行われてもよい。

次に、ユーザが、画像処理装置１００の入力装置２０４を操作して、撮像姿勢決定画面４００を表示させる操作を行うと、表示制御部３０７は、表示装置２０３に撮像姿勢決定画面４００を表示する。ユーザは、第１のインタフェース４０２に対して、作業範囲１４０を指定する操作を行う。このとき、ユーザは、少なくとも教示点入力部４１１に、教示点を入力する操作を行う。また、ユーザは、ラジオボタン４１２やマージン設定部４１３、第１のチェックボックス４１４、第２のチェックボックス４１５等の指定操作を行うこともできる。ここで、ユーザは、撮像姿勢決定画面４００を用いて、教示点の指定を直接行うこともできる。この場合、Ｓ５０１の処理とＳ５０２の処理とは一括して行うことができる。

実行ボタン４０３が押下されると、作業範囲特定部３０３は、第１のインタフェース４０２に入力された教示点に基づいて、作業範囲を特定する（Ｓ５０２）。Ｓ５０１において正しく作業範囲１４０が指定されていれば、本ステップで特定される作業範囲は作業範囲１４０と同じものとなる。そして、特定された作業範囲に対応する作業範囲情報が生成される。作業範囲情報は、実際の三次元空間における座標系で表される情報であり、撮像範囲情報は、撮像装置１２０の座標系で表される情報である。従って、上述した各種情報（内部パラメータ等）を用いて、作業範囲情報から撮像範囲情報を特定することができる。

Ｓ５０２で作業範囲が特定されると、撮像範囲特定部３０５は、作業範囲情報から撮像範囲を特定する（Ｓ５０３）。撮像範囲が特定されると、撮像姿勢決定部３０１は、特定された撮像範囲から撮像姿勢を決定する（Ｓ５０４）。Ｓ５０２～Ｓ５０４の処理の詳細については、後述する。上述したように、ラジオボタン４１２が「撮像姿勢に移動」が選択されている状態で実行ボタン４０３が押下されると、ロボット１１０は、決定された撮像姿勢に移動する。画像表示領域４０１には、撮像装置１２０が撮像した撮像画像が表示される。ユーザは、撮像画像を確認することで、決定されたロボット１１０の撮像姿勢が、ユーザの所望の撮像姿勢であるかを確認できる。

演算装置２０１は、ユーザによる第２のインタフェース４０４の登録ボタン４１６の押下操作を受け付ける、第２のインタフェース４０４で指定された教示点の番号に対応する教示点情報を記憶装置２０２に記憶させる（Ｓ５０５）。ラジオボタン４１２のうち「教示点に登録」が選択されていた状態で実行ボタン４０３が押下された場合には、Ｓ５０３およびＳ５０４の処理とＳ５０５の処理とは一括して行われてもよい。

次に、本実施形態のロボット１１０および撮像装置１２０のモデルについて説明する。図７は、ロボット１１０および撮像装置１２０のモデル例を示す図である。図７の例では、ロボット１１０は６軸のロボットであり、第５リンクＬ５に撮像装置１２０が取り付けられている。ロボット１１０の構成や撮像装置１２０の取り付け位置等は、図６の例には限定されない。図７（ａ）は、ロボット１１０および撮像装置１２０の全体のモデルを示す図である。図７（ｂ）は、モデルにおける各座標系を示す図である。ロボット座標系６０１は、ロボット１１０の座標系である。また、ロボットハンド座標系６０２は、ロボットハンドの座標系である。撮像装置座標系６０３は、撮像装置１２０の座標系である。

ここで、ロボット１１０のリンクＬ０～Ｌ６と関節Ｊ１～Ｊ６までのパラメータが既知である場合、順運動学計算によりロボット座標系６０１からロボットハンド座標系６０２までの同時変換行列_ｒＨ_ｈを求めることができる。同様に、ロボット１１０のリンクＬ０～Ｌ５’と関節Ｊ１～Ｊ５までのパラメータが既知である場合、順運動学計算によりロボット座標系６０１から撮像装置座標系６０３までの同時変換行列_ｒＨ_(c)も求めることができる。また、各種撮像装置の校正手法により、撮像面上の座標(ｕ,ｖ)と撮像装置座標系６０３上の三次元位置（ｘ,ｙ,ｚ）との対応関係を表す内部パラメータＭ_ｉを求めることができる。図７（ｃ）および図７（ｄ）は、撮像装置１２０のカメラ原点、撮像装置座標系６０３における撮像面と三次元位置との関係を示す図である。撮像面上の座標（ｕ,ｖ）と撮像装置座標系上の三次元位置（ｘ,ｙ,ｚ）との関係は、内部パラメータＭ_ｉにより、以下の数式（１）で表される。

ここでsは撮像面上の位置と画素との関係を表すスケールファクターである。そして、ロボット座標系６０１から見た位置ｐと撮像面上に投影されるｐの位置（ｕ_ｐ,ｖ_ｐ）の関係は、以下の数式（２）で表される。

次に、作業範囲１４０の特定からロボット１１０の撮像姿勢の決定までの詳細な処理の流れについて説明する。図８は、作業範囲の特定から撮像姿勢の決定までの処理の詳細な流れを示すフローチャートである。図８の処理は、ラジオボタン４１２のうち「撮像姿勢に移動」が選択されている状態で実行ボタン４０３が押下された後に開始される。ただし、一部の処理は、実行ボタン４０３が押下される前に行われてもよい。例えば、Ｓ５０２の処理（作業範囲を特定する処理）は、第１のインタフェース４０２に所定の設定がされれば、実行ボタン４０３が押下されなくても、実行することが可能である。このように、画像処理装置１００が、実行ボタン４０３が押下される前に、Ｓ５０２の処理をバックグランドで予め行っておくことで、全体の処理時間の短縮化を図ることができる。

作業範囲特定部３０３は、教示点入力部４１１に入力された教示点の番号に関連付けられている教示点情報から作業範囲情報を生成する（Ｓ７０１）。図９は、作業範囲の特定の一例を示す図である。図９（ａ）は、三次元空間における各教示点を示す図である。図９（ｂ）は、モデルにおける各教示点を示す図である。図９の例では、５つの教示点８０１～８０５が指定されている。作業範囲特定部３０３は、各教示点８０１～８０５を結ぶメッシュ面を、ドロネー三角形分割等の各種メッシュ化手法により生成する。生成されたメッシュ面が作業範囲情報となる。上述したように、マージン設定部４１３にマージンを設定することができる。マージン設定部４１３に正の値または負の値が設定された場合、作業範囲特定部３０３は、設定されたマージンに応じて作業範囲情報が示す範囲を拡大または縮小する。

ここで、教示点入力部４１１に入力された教示点が２つ以下の状態であり、マージン設定部４１３に正の値が設定された状態で、実行ボタン４０３が押下されたとする。この場合、作業範囲特定部３０３は、点または線を中心としてロボット１１０の先端方向を法線とする面方向に、指定されたマージンでメッシュ面を拡大することで、作業範囲情報を生成してもよい。作業範囲特定部３０３は、平面または高次曲面による近似を用いて、作業情報を生成してもよい。以下、作業範囲情報は三次元空間上の面情報として取り扱われる例について説明するが、指定された各教示点の群はロボット１１０の位置および姿勢の群情報のまま作業範囲情報として取り扱われてもよい。また、作業範囲情報は、指定された教示点群から生成される三次元空間上の立体情報として取り扱われてもよい。

ロボット制御部３１３は、推定された作業範囲１４０にあるワーク１５０の位置および姿勢、或いはワークの種類等に基づいて、ロボット１１０の制御量をロボット１１０に送信する。そして、ロボット１１０は、受信した制御量に基づいて、移動する。ロボット１１０の好適な撮像姿勢は、撮像範囲１６０が作業範囲１４０の全てを含み、撮像される画像の分解能が高くなるような撮像姿勢である。撮像姿勢決定部３０１は、このような条件を満たす撮像姿勢を複数抽出することがある。この場合、撮像姿勢決定部３０１は、抽出された複数の撮像姿勢のうち、撮像範囲１６０が作業範囲１４０の全てを含み、且つ画像の分解能が最も高い撮像姿勢を、撮像姿勢として決定してもよい。

上述した数式（２）により、撮像姿勢に対する作業範囲の撮像画像への投影関係は明らかである。従って、撮像姿勢決定部３０１は、撮像画像に投影される作業範囲情報の分解能を評価指標として、撮像姿勢をモンテカルロ法等に基づいた各種推定方法で求めてもよい。図１０は、本実施形態に係る撮像姿勢の決定方法の一例を示す図である。撮像姿勢決定部３０１は、撮像範囲１６０から撮像姿勢を直接的に推定するのではなく、図１０に示すように条件を指定していくことで高速に好適な撮像姿勢を決定する。本実施形態では、撮像姿勢は、作業範囲１４０を示す作業範囲情報と撮像範囲１６０を示す撮像範囲情報とに基づいて、任意の計算方法で決定される。

次に、姿勢平面の算出について説明する。撮像姿勢決定部３０１は、作業範囲に対する姿勢平面を算出する（Ｓ７０２）。図１０を参照して、作業範囲３０４に対する姿勢平面９０１を算出する方法について説明する。図１０の例の作業範囲３０４は、四角錐状の範囲であり、高さ方向の空間を持つ。撮像姿勢決定部３０１は、撮像装置１２０の撮像部３２１の目標姿勢を、姿勢平面９０１と正対するように条件付けする。これにより、撮像姿勢を推定し易くなる。「正対」は、撮像部３２１の投影モデル上の投影面と姿勢平面９０１とが平行な状態である。例えば、複数の撮像装置１２０を用いて撮像を行うステレオカメラの場合、投影面は複数になる。この場合、撮像姿勢決定部３０１は、複数の投影面の平均と姿勢平面９０１とが平行である状態を「正対」として取り扱ってもよい。

実施形態では、撮像姿勢決定部３０１は、作業範囲３０４の教示点群や面、立体情報等に対して、最尤推定法等の各種近似手法を用いて平面を近似することで姿勢平面９０１を決定する。姿勢平面９０１は、教示点を用いて近似された平面に対応する。ここで、撮像姿勢決定部３０１は、教示点情報の誤差による影響を少なくするために、外周部或いは平面度の高い教示点群に対して重み付けをして近似を行ってもよい。また、撮像姿勢決定部３０１は、作業範囲３０４が三次元空間上の面情報である場合、連続量として最尤推定法等の各種近似手法を適用して、姿勢平面９０１を決定してもよい。一方、撮像姿勢決定部３０１は、姿勢平面９０１を決定するに際して、離散化を行ってもよいし、誤差分散がガウス分布に従うものと仮定して最小二乗法を使用してもよい。これにより、処理の高速化が図られる。

次に、撮像姿勢決定部３０１は、条件を満たす撮像姿勢を探索する（Ｓ７０３）。撮像姿勢決定部３０１は、姿勢平面９０１と正対し、且つ作業範囲３０４の全てが視野に入るような撮像姿勢がロボット可動範囲９１０内に存在するかの探索をおこなう。ロボット可動範囲９１０は、ロボット１１０の可動範囲でロボットパラメータ情報に対して公知の運動学手法により決定することができる。

撮像姿勢決定部３０１は、姿勢平面９０１による条件付け、および上述した数式（２）を使用して求めた作業範囲３０４の撮像画像への投影を評価指標とする。これにより、条件付けがない探索を行う場合と比較して、高速に探索をおこなうことができる。撮像姿勢決定部３０１は、作業範囲３０４の中心位置とロボット可動範囲９１０の位置関係とを利用して探索範囲を限定してもよい。探索範囲が限定されることで、撮像姿勢決定部３０１の処理の効率化が図られる。

撮像姿勢決定部３０１は、Ｓ７０３の探索が成功したかを判定する（Ｓ７０４）。Ｓ７０３の探索が成功しなかった場合、Ｓ７０４でＮｏと判定される。この場合、撮像姿勢決定部３０１は、図５の第１のチェックボックス４１４（姿勢再計算を許容するか否かを指定するチェックボックス）のチェックが入っているかを判定する。つまり、撮像姿勢決定部３０１は、姿勢再計算を行うかを判定する（Ｓ７０４）。Ｓ７０４でＮｏと判定された場合、探索が失敗したことを示す情報が撮像姿勢決定画面４００に表示される。そして、処理は、終了する。

一方、Ｓ７０４でＹｅｓと判定された場合、撮像姿勢決定部３０１は、撮像姿勢の再計算を行う（Ｓ７０６）。つまり、撮像姿勢決定部３０１は、姿勢平面９０１の再度の探索を行う。このとき、撮像姿勢決定部３０１は、作業範囲３０４の中心位置とロボット可動範囲９１０との位置関係を利用して探索領域を限定してもよい。例えば、撮像姿勢決定部３０１は、姿勢平面９０１の法線９０２が、作業範囲３０４の中心位置から見てロボット可動範囲９１０の側に向けて傾くようなロボット１１０の姿勢を想定してもよい。そして、撮像姿勢決定部３０１は、姿勢平面９０１を傾けた状態で、姿勢再計算を行うことで、探索条件を限定しつつ、ロボット可動範囲９１０の中で条件を満たしやすい方向に探索を進めることができる。例えば、姿勢平面９０１が傾いていない状態では、Ｓ７０３の条件を満たす姿勢を検出できなかったが、姿勢平面９０１を傾けることで、Ｓ７０３の条件を満たす姿勢を検出できる場合がある。従って、姿勢平面９０１を傾けることで、Ｓ７０３の条件を満たす撮像姿勢を効率良く探索することができる。

撮像姿勢決定部３０１は、評価指標に基づいて、撮像姿勢の決定を行う（Ｓ７０７）。評価指標は、撮像条件により任意に設定することができる。例えば、撮像姿勢決定部３０１は、Ｓ７０３またはＳ７０６で探索された複数の撮像姿勢から、撮像画像の分解能が最も高い撮像姿勢を決定する。撮像姿勢決定部３０１は、探索された複数の撮像姿勢から、分解能が所定以上であり且つ撮像画像に対する作業範囲情報の投影面積が所定範囲より広い面積の撮像姿勢を決定してもよい。撮像姿勢決定部３０１は、作業範囲３０４の中心位置と撮像画像の中心との距離に基づいて、撮像姿勢を決定してもよい。撮像姿勢決定部３０１は、ロボット１１０が所定の撮像姿勢から作業範囲３０４に移動するまでにかかる時間（移動時間）やロボット１１０の可操作度等の種々の評価指標を組み合わせて、撮像姿勢を決定してもよい。

撮像姿勢決定部３０１は、探索された撮像姿勢の近傍で再探索を行い、評価指標に基づいて、撮像姿勢を決定してもよい。また、撮像姿勢決定部３０１は、再帰的な探索を行うことで、撮像姿勢を決定してもよい。このとき、評価指標を最大化する最大化問題としては、各種のアルゴリズムを適用することができる。以上により、画像処理装置１００が画像処理を行い、実際にロボット１１０がワーク１５０に対して操作を行う時間を短縮できる。また、ロボット１１０の特異な姿勢近傍での動作を避けることができる。

Ｓ７０７で決定された撮像姿勢を示す情報が撮像姿勢情報である。画像処理装置１００は、撮像姿勢情報を制御量として、ロボット１１０に送信する。ロボット制御部３１３は、駆動部３１５を制御して、決定された撮像姿勢となるようにロボット１１０を動作させる（Ｓ７０８）。ロボット１１０は、図５の撮像姿勢決定画面４００の実行ボタン４０３が押下されたときに移動する。ただし、ラジオボタン４１２で「教示点に登録」が選択されていた場合、ロボット１１０は移動することなく、教示点の登録が行われる。以上により、処理が終了する。本実施形態の処理は、図８のＳ７０１～Ｓ７０８には限定されず、作業範囲情報や撮像範囲情報等を用いた、任意の手法で、ロボット１１０の撮像姿勢が決定されてもよい。

以上のように、画像処理装置１００は、教示点が指定されると、指定された教示点に基づいて作業範囲を特定し、予め記憶されている各種情報を用いて、作業範囲を含む撮像範囲を特定する。そして、画像処理装置１００は、特定された撮像範囲からロボット１１０の撮像姿勢を決定する。これにより、確認作業および調整作業を繰り返すことなく、ロボット１１０の好適な撮像姿勢が自動的に決定されるため、撮像姿勢を決定するための作業を簡略化することができる。

以上の実施形態では、１つの作業範囲と１つの撮像範囲が特定される例について説明したが、複数の作業範囲または撮像姿勢が特定されてもよい。例えば、ロボット１１０が、第１の作業範囲Ａに置かれたワーク１５０を把持し、第１の作業範囲Ａとは異なる第２の作業範囲Ｂにある箱の中にワーク１５０を置く動作を行う場合がある。この場合、撮像姿勢決定部３０１は、ワーク１５０を把持する第１の作業範囲Ａにおける第１の撮像姿勢Ｃを決定する。同様に、撮像姿勢決定部３０１は、ワーク１５０を置く第２の作業範囲Ｂにおける第２の撮像姿勢Ｄを決定する。そして、撮像姿勢決定部３０１は、記憶装置２０２に、第１の作業範囲Ａの情報と第１の撮像姿勢Ｃの情報とを関連付けて、また第２の作業範囲Ｂの情報と第２の撮像姿勢Ｄの情報とを関連付けて、テーブル等で記憶する。これにより、１台のロボット１１０が異なる作業範囲で作業を行う場合でも、本実施形態を適用できる。

また、上述した実施形態では、ロボット１１０に撮像装置１２０が取り付けられている例について説明したが、座標系の推定が可能であれば、作業を行うロボットと撮像装置が取り付けられたロボットとは異なっていてもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１１０ ロボット
１２０ 撮像装置
１４０ 作業範囲
１６０ 撮像範囲
３０１ 撮像姿勢決定部
３０３ 作業範囲特定部
３０５ 撮像範囲特定部
３０７ 表示制御部

Claims (16)

1. 多関節のアームを有するロボットに取り付けられた撮像装置が撮像した画像を処理する画像処理装置であって、
   ユーザが前記ロボットを操作し、予め規定される作業範囲の境界上にある複数点の夫々に前記アームを移動させ、前記作業範囲が前記アームの可動範囲内にあるかを確認する動作の際に、前記複数点の夫々への移動後の前記アームの位置座標を夫々教示点として登録する登録手段と、
   前記登録された複数の教示点を示す教示点情報に基づいて、前記ロボットの作業範囲を特定する第１の特定手段と、
   前記特定された前記作業範囲を含むよう、前記撮像装置の撮像範囲を特定する第２の特定手段と、
   前記特定された前記撮像範囲に基づいて、前記ロボットの撮像姿勢を決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第２の特定手段は、前記ロボットに取り付けられている前記撮像装置の位置と前記撮像装置が撮像する画角とに基づいて、前記撮像装置の撮像範囲を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記画像の分解能が最も高い前記ロボットの撮像姿勢を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の特定手段は、前記撮像装置が撮像している画像および前記作業範囲を特定するための設定項目を含む画面が表示装置に表示されている状態で、前記作業範囲の特定に用いられる前記教示点の指定をユーザより受け付けることを特徴とする請求項１乃至３のうち何れか１項に記載の画像処理装置。
5. 前記画像に、前記作業範囲を示す情報が重畳して表示されることを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の特定手段は、前記撮像範囲に対する前記作業範囲のマージンの指定をユーザより受け付けることを特徴とする請求項１乃至５のうち何れか１項に記載の画像処理装置。
7. 前記撮像範囲より前記作業範囲を広く指定することができることを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記ロボットの撮像姿勢を決定する際に、前記ロボットの姿勢を傾けることを許容するかの指定をユーザより受け付けることを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理装置。
9. 前記第２の特定手段は、前記教示点を用いて近似された平面と正対し、且つ前記作業範囲を含む撮像範囲を探索することを特徴とする請求項１乃至８のうち何れか１項に記載の画像処理装置。
10. 前記第２の特定手段は、前記ロボットの姿勢を傾けることが許容されており、且つ前記探索が成功しなかった場合、前記平面を傾けて、再度の探索を行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記第２の特定手段は、前記作業範囲の中心位置と前記ロボットの位置関係とに基づいて、前記探索を行う範囲を限定することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記決定手段は、前記ロボットの移動時間と前記ロボットの可操作度とのうち何れか一方または両方を用いて、前記ロボットの撮像姿勢を決定することを特徴とする請求項１乃至１１のうち何れか１項に記載の画像処理装置。
13. 前記第１の特定手段は、前記作業範囲として、第１及び第２の作業範囲を特定し、
    前記決定手段は、
    前記第１の作業範囲を含むように前記第２の特定手段により特定された前記撮像装置の撮像範囲に基づいて、前記ロボットの第１の撮像姿勢を決定し、
    前記第２の作業範囲を含むように前記第２の特定手段により特定された前記撮像装置の撮像範囲に基づいて、前記ロボットの第２の撮像姿勢を決定し、
    前記第１の作業範囲と前記第１の撮像姿勢を関連付け、且つ前記第２の作業範囲と前記第２の撮像姿勢を関連付けて記憶装置に記憶することを特徴とする請求項１乃至１２のうち何れか１項に記載の画像処理装置。
14. 前記作業範囲には少なくとも１つのワークが含まれ、
    前記決定手段により決定された撮像姿勢で前記撮像装置が撮像した画像に基づいて前記ワークの位置、姿勢、種類の少なくとも１つを推定することを特徴とする請求項１乃至１３のうち何れか一方に記載の画像処理装置。
15. 多関節のアームを有するロボットに取り付けられた撮像装置が撮像した画像を処理する画像処理装置を制御する制御方法であって、
    ユーザが前記ロボットを操作し、予め規定される作業範囲の境界上にある複数点の夫々に前記アームを移動させ、前記作業範囲が前記アームの可動範囲内にあるかを確認する動作の際に、前記複数点の夫々への移動後の前記アームの位置座標を夫々教示点として登録する工程と、
    前記登録された複数の教示点を示す教示点情報に基づいて、前記ロボットの作業範囲を特定する工程と、
    前記特定された前記作業範囲を含むよう、前記撮像装置の撮像範囲を特定する工程と、
    前記特定された前記撮像範囲に基づいて、前記ロボットの撮像姿勢を決定する工程と、
    を備えることを特徴とする制御方法。
16. 請求項１乃至１４のうち何れか１項に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。

Images