JP6859967B2 - コンベアトラッキングシステムおよびキャリブレーション方法 - Google Patents

Description

本発明は、コンベアトラッキングシステムにおけるキャリブレーションに関する。

ファクトリーオートメーション（ＦＡ）分野においては、省力化のため、画像処理を用いて各種の工程を制御する技術が多用されている。このような画像処理技術の適用例の一つとして、ベルトコンベア等の搬送装置によってワークを搬送するとともに、その搬送中のワークをロボットにより、追跡（トラッキング）およびピックアップするような作業工程がある。このような作業工程は、コンベアトラッキング等と称される。

このコンベアトラッキングの技術においては、カメラを用いて搬送装置上のワークを撮像し、その撮像によって得られた画像に対して、画像処理装置を用いてパターンマッチングあるいは２値化処理などの画像計測を行うことで、各ワークの位置を特定する。そして、この特定された各ワークの位置に基づいて、ロボットが各ワークを追跡およびピックアップする。

通常、カメラ画像に対する画像計測によって特定されるワークの位置は、カメラ画像を基準とした座標系（以下、「カメラ座標系」とも称す。）の座標値であり、そのままではロボットの制御には用いることができない。そこで、カメラ座標系において算出された座標値を、ロボットを制御するための座標系（以下、「ロボット座標系」とも称す。）上の座標値に変換する処理が必要となる。

このようなカメラ座標系の座標値とロボット座標系の座標値とを対応付ける関係は、キャリブレーションと呼ばれる操作によって決定される。例えば、特開２０１２−１８７６５１号公報（特許文献１）は、キャリブレーション用のパターンを含むシートを用いて、撮像部の撮像範囲内の座標値を移動機械の座標系の座標値に変換するためのパラメータセットを算出する方法を開示している。

特開２０１２−１８７６５１号公報 特開２００９−２９０８５２号公報

特許文献１に開示される方法においては、ロボットのハンド先端をキャリブレーション用のパターン上に正確に位置決めする必要がある。ロボットのハンド先端をパターン上に正確に位置決めするためには、ある程度の経験が必要である。経験の乏しいユーザでも正確にキャリブレーションをできるように、例えば、特開２００９−２９０８５２号公報（特許文献２）に開示されるような技術を用いて、ロボットのハンド先端がいずれの位置にあるのかをカメラで撮像することで計測するようにしてもよい。

しかしながら、キャリブレーションのために新たにカメラを設けることは現実的ではなく、また、新たに設けたカメラ自体のキャリブレーションも必要になってくる。

そこで、ロボット操作の経験の少ないユーザであっても、正確にキャリブレーションが可能な手法を提供することを一つの目的としている。

本開示の一例によれば、コンベアトラッキングシステムが提供される。コンベアトラッキングシステムは、ワークを搬送する搬送装置と、搬送装置に関連付けて配置され、搬送装置により搬送されるワークをピックアップするロボットと、搬送装置の搬送経路に撮像視野を有する撮像部と、撮像部により撮像された画像に対する画像計測を実行する視覚センサと、視覚センサによる画像計測結果に基づいて、予め算出されたパラメータセットを用いて、ロボットに対する動作指令を生成する制御装置と、パラメータセットの算出処理に用いられる、タッチパネルを有するモバイルデバイスとを含む。モバイルデバイスは、予め定められた位置に１または複数のパターンを表示する手段と、１または複数のパターンが表示された状態でタッチされたことに応じて、当該タッチされたタッチ位置を示す情報を制御装置へ送信する手段とを含む。制御装置は、モバイルデバイスが１または複数のパターンが表示された状態で撮像視野に配置されたときの視覚センサによる画像計測結果と、モバイルデバイスがロボットによりタッチされたときのタッチ位置と、モバイルデバイスが撮像視野に配置された状態の位置とロボットによりタッチされたときの位置との間の距離とに基づいて、パラメータセットを算出する手段を含む。

この開示によれば、モバイルデバイスにおいて、１または複数のパターンが表示される位置と、実際にロボットによりタッチされたタッチ位置とを検出することができるので、ユーザの操作スキルが低い場合であっても、その位置ずれを補正した上で、キャリブレーション用のパラメータセットを算出できる。

上述の開示において、モバイルデバイスは、撮像視野に配置されて撮像部により撮像された後に、ロボットによるタッチ動作を受けるようにしてもよい。

この開示によれば、搬送装置においてワークに代えて、モバイルデバイスを搬送することで、キャリブレーション用のパラメータセットを算出できる。

上述の開示において、制御装置は、モバイルデバイスに表示された１または複数のパターンのうち１つのパターンとタッチ位置とのずれ量にさらに基づいて、パラメータセットを算出するようにしてもよい。

この開示によれば、操作スキルの乏しいユーザであっても、誤差の少ないキャリブレーションを実現できる。

上述の開示において、制御装置は、ずれ量を、モバイルデバイスの搬送装置に対する方向に基づいて補正した上で、パラメータセットを算出するようにしてもよい。

この開示によれば、モバイルデバイスが搬送装置に対して傾いて配置されていたとしても、適切にパラメータセットを算出できる。

上述の開示において、モバイルデバイスは、ロボットによるタッチ位置に応じて、少なくとも１つのパターンを表示し、ロボットによるタッチ動作を受けた後に、撮像視野に配置されてもよい。

この開示によれば、タッチ位置に応じた位置にパターンを表示できるので、パターンとタッチ位置とのずれ量の発生が生じないため、キャリブレーションの誤差を低減できる。

上述の開示において、モバイルデバイスは、複数のパターンを表示するとともに、当該複数のパターンのうち、タッチすべきパターンを他のパターンとは異なる態様で表示する。

この開示によれば、経験の少ないユーザであっても、操作ミスなくキャリブレーションを実現できる。

上述の開示において、モバイルデバイスは、１または複数のパターンとともに、タッチ位置を表示してもよい。

この開示によれば、実際にロボットを操作して、モバイルデバイスをタッチした位置をユーザは確認できるので、ユーザは、自身の操作の正確性などを客観的に把握することができ、それによって操作スキルを向上させることができる。

上述の開示において、モバイルデバイスは、制御装置により算出されたパラメータセットの精度を表示してもよい。

この開示によれば、キャリブレーション用のパラメータセットが算出された後、ユーザは、その算出されたパラメータセットの精度を把握できるので、キャリブレーションのやり直しの必要性を客観的に把握できる。

上述の開示において、制御装置とモバイルデバイスとの間は、ワイヤレス通信でデータを遣り取りするようにしてもよい。

この開示によれば、モバイルデバイスを搬送装置上に配置した状態で、一連のキャリブレーションの手順を完結できる。

本開示の別の一例によれば、コンベアトラッキングシステムにおけるキャリブレーション方法が提供される。コンベアトラッキングシステムは、ワークを搬送する搬送装置と、搬送装置に関連付けて配置され、搬送装置により搬送されるワークをピックアップするロボットと、搬送装置の搬送経路に撮像視野を有する撮像部と、撮像部により撮像された画像に対する画像計測を実行する視覚センサと、視覚センサによる画像計測結果に基づいて、予め算出されたパラメータセットを用いて、ロボットに対する動作指令を生成する制御装置とを含む。キャリブレーション方法は、タッチパネルを有するモバイルデバイスのディスプレイの予め定められた位置に１または複数のパターンを表示するステップと、モバイルデバイスのディスプレイに１または複数のパターンが表示された状態で撮像視野に配置するとともに、視覚センサにより、モバイルデバイスを撮像して得られた画像に対する画像計測結果を取得するステップと、モバイルデバイスのディスプレイに１または複数のパターンが表示された状態でロボットによりモバイルデバイスがタッチされたときのタッチ位置を取得するステップと、画像計測結果と、タッチ位置と、モバイルデバイスが撮像視野に配置された状態の位置とロボットによりタッチされたときの位置との間の距離とに基づいて、パラメータセットを算出するステップとを含む。

この開示によれば、モバイルデバイスにおいて、１または複数のパターンが表示される位置と、実際にロボットによりタッチされたタッチ位置とを検出することができるので、ユーザの操作スキルが低い場合であっても、その位置ずれを補正した上で、キャリブレーション用のパラメータセットを算出できる。

本発明によれば、ロボット操作の経験の少ないユーザであっても、正確にキャリブレーションが可能な手法を提供できる。

本実施の形態に係るコンベアトラッキングシステムの全体構成を示す概略図である。 本実施の形態に係るコンベアトラッキングシステムにおけるキャリブレーション処理の一例を説明するための図である。 本実施の形態に係るコンベアトラッキングシステムに含まれるワークの位置特定に係る装置のハードウェア構成の一例を示す模式図である。 本実施の形態に係るコンベアトラッキングシステムに含まれるワークのピックアップに係る装置のハードウェア構成の一例を示す模式図である。 本実施の形態に係るコンベアトラッキングシステムにおいて使用されるモバイルデバイスのハードウェア構成の一例を示す模式図である。 本実施の形態に係るコンベアトラッキングシステムにおける座標変換およびトラッキングを説明するための図である。 本実施の形態に係るキャリブレーション処理（その１）を説明するための模式図である。 本実施の形態に係るキャリブレーション処理（その１）の処理手順を示すフローチャートである。 図８のステップＳ９の処理手順を示すフローチャートである。 図９に示すキャリブレーションに係るパラメータセットの算出処理を説明するための図である。 本実施の形態に係るキャリブレーション処理（その２）を説明するための模式図である。 本実施の形態に係るキャリブレーション処理（その２）の処理手順を示すフローチャートである。 本実施の形態に係るモバイルデバイスにおいて提供されるユーザインターフェイス画面の一例を示す図である。 本実施の形態に係るモバイルデバイスにおいて提供されるユーザインターフェイス画面の別の一例を示す図である。 本実施の形態に係るモバイルデバイスにおいて提供されるユーザインターフェイス画面のさらに別の一例を示す図である。 本実施の形態に係るモバイルデバイスにおいて提供されるユーザインターフェイス画面のさらに別の一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．適用例＞
まず、図１および図２を参照して、本発明が適用される場面の一例について説明する。

図１は、本実施の形態に係るコンベアトラッキングシステム１の全体構成を示す概略図である。図１を参照して、コンベアトラッキングシステム１は、ワークＷを搬送する搬送装置の一例であるコンベア１０を含む。コンベア１０は、駆動ローラ１２および１４によって回転駆動され、紙面左側から任意のタイミングで供給されるワークＷを紙面右側へ順次搬送する。

コンベア１０の近傍に配置されたロボット３００がコンベア１０上のワークＷをピックアップして、図示しない別のラインなどへ配置する（ピックアンドプレイス動作）。ロボット３００は、コンベア１０に関連付けて配置され、コンベア１０により搬送されるワークＷをピックアップする。ロボット３００は、ワークＷをピックアップする際に、ワークＷの向きを予め指定された方向に揃えることもある。典型的には、ワークＷは、お菓子等の食品や各種の錠剤等が想定される。

コンベア１０の搬送経路に撮像視野を有する撮像部であるカメラ２５０が配置される。カメラ２５０の撮像視野はコンベア１０の上流側に設定される。カメラ２５０により撮像された画像は視覚センサ２００へ出力される。図１には、視覚センサ２００とカメラ２５０とが互いに独立した構成例を示すが、両者を一体化した構成を採用してもよい。

視覚センサ２００は、カメラ２５０により撮像された画像に対する画像計測を実行する。本実施の形態においては、視覚センサ２００は、カメラ２５０により順次撮像される画像に対して、パターンマッチング等の画像計測処理を行うことで、コンベア１０上の各ワークＷの位置（より具体的には、重心位置）を計測する。

コンベア１０にはエンコーダ４５０が設けられており、エンコーダ４５０は、コンベア１０の移動量に応じてパルス信号を出力する。エンコーダ４５０からのパルス信号は、カウンタ４００によって受信され、コンベア１０の移動量を示す値、および／または、移動速度を示す値を算出する。

制御装置の一例であるＰＬＣ（プログラマブルコントローラ）１００がコンベアトラッキングシステム１における処理を統括する。ＰＬＣ１００は、フィールドネットワーク１８を介して、視覚センサ２００およびカウンタ４００に接続されている。

ＰＬＣ１００は、視覚センサ２００による画像計測結果に基づいて、予め算出されたパラメータセットを用いて、ロボット３００に対する動作指令を生成する。より具体的には、ＰＬＣ１００は、視覚センサ２００により計測される各ワークＷの位置、および、カウンタ４００によって算出されるコンベア１０の移動量を示す値（および／または、移動速度を示す値）を取得する。ＰＬＣ１００は、コンベア１０上に存在する各ワークＷの位置をコンベア１０の移動に応じて適宜更新し、更新後の各ワークＷの位置に基づいて、ロボット３００に対して動作指令を出力する。

ロボット３００は、ＰＬＣ１００からの動作指令に従って、コンベア１０上の対象となるワークＷをピックアップし、指定された位置へ移動および配置する。図１には、典型例として、パラレルロボットを図示するが、これに限らず、スカラロボットや垂直多関節ロボットなどを用いてもよい。

ロボットコントローラ３５０は、ＰＬＣ１００からの動作指令を受けて、当該受信した動作指令に従って、ロボット３００を構成する各軸を駆動する。ロボットコントローラ３５０は、情報系ネットワーク２０を介してＰＬＣ１００と接続されている。

ロボットコントローラ３５０には、ロボット３００を手動操作するためのティーチングペンダント３８０が接続されている。ユーザがティーチングペンダント３８０を操作することで、ロボット３００はユーザの操作（教示）に応じて動作する。

情報系ネットワーク２０には、ＰＬＣ１００およびロボットコントローラ３５０に加えて、ＨＭＩ（Human Machine Interface）７００が接続されていてもよい。ＨＭＩ７００は、ＰＬＣ１００などが管理する情報をユーザへ提示するとともに、ユーザからの操作を受付けてＰＬＣ１００へ出力する。

ＰＬＣ１００には、ＰＬＣ１００で実行されるユーザプログラムのソースコード編集、オブジェクトコード変換、デバッギングなどを行うためのサポート装置６００が接続可能になっている。

図１に示すように、コンベアトラッキングシステム１においては、カメラ２５０の撮像視野を基準とする座標系（以下、「カメラ座標系」とも称す。）が定義される。カメラ座標系は、カメラ２５０により撮像される画像の頂点を基準とした２次元座標系とすることができる。図１に示す例では、画像の左上を基準としたＸｃ軸−Ｙｃ軸の座標系が規定されている。すなわち、カメラ２５０が撮像視野を撮像することで出力される画像に対して、パターンマッチングなどによりワークＷの位置を計測する場合、その計測されたワークＷの位置は、カメラ座標系（Ｘｃ軸−Ｙｃ軸の座標系）の座標値として出力される。

また、コンベアトラッキングシステム１においては、ロボット３００のハンド先端（ピッキング）位置を規定する座標系（以下、「ロボット座標系」とも称す。）が定義される。図１に示す例では、コンベア１０の搬送面と平行な面に沿ってＸｒｂ軸およびＹｒｂ軸が規定されており、Ｘｒｂ軸はコンベア１０の搬送方向と平行であり、Ｙｒｂ軸はコンベア１０の搬送方向と直交しているとする。また、コンベア１０の搬送面に直交する方向にＺｒｂ軸が規定される。したがって、ロボット座標系は、Ｘｒｂ軸、Ｙｒｂ軸、Ｚｒｂ軸の３軸で構成されることになる。但し、カメラ座標系を構成するＸｃ軸およびＹｃ軸についても、コンベア１０の搬送面と平行であるので、カメラ座標系とロボット座標系との間のキャリブレーションは、カメラ座標系のＸｃ軸およびＹｃ軸とロボット座標系のＸｒｂ軸およびＹｒｂ軸との関係のみに着目すればよい。

本実施の形態に係るキャリブレーションは、カメラ座標系の座標値とロボット座標系の座標値との間の相互変換を実現するためのパラメータセットを決定することを含む。

図２は、本実施の形態に係るコンベアトラッキングシステム１におけるキャリブレーション処理の一例を説明するための図である。図２を参照して、本実施の形態においては、タッチパネルを有するモバイルデバイス５００を用いてキャリブレーションを実施する。モバイルデバイス５００は、タッチパネルを有しており、タッチパネルによる検出結果などを用いて、パラメータセットを算出する。モバイルデバイス５００としては、例えば、タブレット、ノートパソコン、スマートフォンなどが想定される。

具体的には、モバイルデバイス５００のタッチパネルに予め規定されたキャリブレーション用の１または複数のパターン５５０を表示するとともに、カメラ２５０の撮像視野にモバイルデバイス５００を配置する。このように、モバイルデバイス５００は、予め定められた位置に１または複数のパターンを表示する機能を有している。

この状態において、カメラ２５０により撮像される画像に対して、視覚センサ２００がパターン５５０の位置を計測し、その計測した位置（カメラ座標系の座標値）がＰＬＣ１００へ送信される。

モバイルデバイス５００とＰＬＣ１００との間は、ワイヤレス通信でデータが遣り取りすることが好ましい。具体的には、ＰＬＣ１００にモバイルデバイス５００とワイヤレス通信するためのインターフェイスを設けてもよい。あるいは、フィールドネットワーク１８または情報系ネットワーク２０にモバイルデバイス５００とワイヤレス通信するためのインターフェイスを配置して、ＰＬＣ１００が当該インターフェイスを介して、モバイルデバイス５００とデータを遣り取りするようにしてもよい。

続いて、モバイルデバイス５００は、コンベア１０上を予め定められた距離Ｌだけ下流側に移動する。このとき、モバイルデバイス５００のタッチパネルに表示されているキャリブレーション用のパターン５５０は同一に維持される。そして、ユーザがロボット３００を操作して、ロボット３００のハンド先端をモバイルデバイス５００のタッチパネルに表示される各パターン５５０に位置決めする。

このとき、モバイルデバイス５００は、ロボット３００のハンド先端がタッチパネル上のどこに位置決めされているかを検出できる。モバイルデバイス５００は、タッチパネル上のロボット３００のハンド先端が位置決めされた位置（ロボット座標系の座標値）をＰＬＣ１００へ送信する。このように、モバイルデバイス５００は、１または複数のパターン５５０が表示された状態でタッチされたことに応じて、当該タッチされたタッチ位置を示す情報をＰＬＣ１００へ送信する機能を有している。

ＰＬＣ１００は、エンコーダ４５０およびカウンタ４００を介して、コンベア１０が移動した距離Ｌ（あるいは、距離Ｌに相当するカウント数）を取得できる。

ＰＬＣ１００は、パターン５５０の位置（カメラ座標系の座標値）と、モバイルデバイス５００が移動した距離Ｌと、モバイルデバイス５００が検出したハンド先端の位置（ロボット座標系の座標値）とを用いて、キャリブレーションに係るパラメータセットを決定する。

このように、ＰＬＣ１００は、モバイルデバイス５００が１または複数のパターンが表示された状態で撮像視野に配置されたときの視覚センサ２００による画像計測結果と、モバイルデバイス５００がロボット３００によりタッチされたときのタッチ位置と、モバイルデバイス５００が撮像視野に配置された状態の位置とロボット３００によりタッチされたときの位置との間の距離Ｌとに基づいて、パラメータセットを算出する。

後述するように、カメラ２５０によるモバイルデバイス５００の撮像と、ロボット３００によるモバイルデバイス５００のタッチとは、いずれの順序で実施してもよい。以下の説明においては、モバイルデバイス５００の撮像を先に実施する例と、ロボット３００によるモバイルデバイス５００のタッチを先に実施する例とをそれぞれ説明する。

本実施の形態においては、カメラ座標系の計測結果（座標値）をロボット座標系に変換するためのパラメータセットの決定、および、当該パラメータセットを用いたカメラ座標系とロボット座標系との間の座標変換演算をＰＬＣ１００で実施する。このような構成を採用することで、コンベアトラッキングにおいて必要な演算をＰＬＣ１００にて一括して実行できる。

＜Ｂ．ハードウェア構成＞
次に、本実施の形態に係るコンベアトラッキングシステム１を構成する各装置のハードウェア構成について説明する。

（ｂ１：ＰＬＣ１００）
図３は、本実施の形態に係るコンベアトラッキングシステム１に含まれるワークＷの位置特定に係る装置のハードウェア構成の一例を示す模式図である。図３を参照して、ＰＬＣ１００は、一種のコンピュータであり、各種プログラムをプロセッサで実行することで、各種処理を実現する。

ＰＬＣ１００は、プロセッサ１０２と、メインメモリ１０４と、フィールドネットワークインターフェイス１０６と、ワイヤレスネットワークインターフェイス１０８と、ローカル通信インターフェイス１１０と、情報系ネットワークインターフェイス１１２と、ストレージ１２０とを含む。これらのコンポーネントはバス１４０に接続される。

プロセッサ１０２は、ストレージ１２０などに格納されているプログラムをメインメモリ１０４に読み出して実行する。プロセッサ１０２は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などで構成される。プロセッサ１０２としては、複数のコアを有する構成を採用してもよいし、プロセッサ１０２を複数配置してもよい。

メインメモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性記憶装置などで構成される。

フィールドネットワークインターフェイス１０６は、フィールドネットワーク１８を介して、視覚センサ２００およびカウンタ４００との間でデータを遣り取りするコントローラである。フィールドネットワーク１８としては、ＥｔｈｅｒＣＡＴ（登録商標）などの定周期ネットワークを採用することが好ましい。

ワイヤレスネットワークインターフェイス１０８は、ワイヤレス通信でモバイルデバイス５００との間でデータを遣り取りするコントローラである。ワイヤレス通信としては、例えば、ＩＥＥＥ８０２．１１に従う無線ＬＡＮ（Local Area Network）やＢｌｕｅｔｏｏｔｈ（登録商標）などを用いることができる。

ローカル通信インターフェイス１１０は、サポート装置６００などとの間でデータを遣り取りするコントローラである。ローカル通信としては、例えば、ＵＳＢ（Universal Serial Bus）などを用いることができる。

情報系ネットワークインターフェイス１１２は、情報系ネットワーク２０を介して、ロボットコントローラ３５０およびＨＭＩ７００などとの間でデータを遣り取りするコントローラである。情報系ネットワーク２０としては、例えば、一般的なネットワークプロトコルであるイーサネット（登録商標）やＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）などを用いることができる。

ストレージ１２０は、ＰＬＣ１００において実行されるプログラムや各種データを不揮発的に格納する。ストレージ１２０は、例えば、フラッシュメモリやハードディスクなどの不揮発性記憶装置などで構成される。

図３に示す構成においては、ストレージ１２０には、ＰＬＣシステムモジュール１２２と、ユーザプログラム１２４と、トラッキングプログラム１２６と、キャリブレーションパラメータ１２８と、キャリブレーションプログラム１３０と、ロボット位置指令生成プログラム１３２とを含む。

ＰＬＣシステムモジュール１２２は、ライブラリなどを含んでおり、ユーザプログラム１２４が実行されることで実現される基本的な制御機能を提供する。ユーザプログラム１２４は、ＰＬＣ１００の制御対象に応じて、任意に作成されるプログラムであり、シーケンスプログラムおよびモーションプログラムなどを含む。

トラッキングプログラム１２６は、コンベアトラッキングを実現するためのワークＷの位置を逐次更新するような処理を実現するためのコードを含む。トラッキングプログラム１２６が実行されることで、メインメモリ１０４に各ワークＷの位置を管理するトラッキングレコード１０５が生成される。キャリブレーションパラメータ１２８は、後述するような手順によって決定される、キャリブレーションに係るパラメータセットである。キャリブレーションプログラム１３０は、後述するような手順を実現するためのコードを含む。ロボット位置指令生成プログラム１３２は、トラッキングプログラム１２６の実行により管理される各ワークＷの位置に基づいて、ロボット３００に対して必要な指令（例えば、ワーク追従速度、ピックアップ動作の開始位置、ワークＷの移動先など）を生成する。

図３には、プロセッサ１０２がプログラムを実行することで必要な処理が提供される構成例を示したが、これらの提供される処理の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。

（ｂ２：視覚センサ２００およびカメラ２５０）
図３を参照して、視覚センサ２００は、一種のコンピュータであり、カメラ２５０により順次撮像される画像に対して、パターンマッチング等の画像計測処理を行うことで、コンベア１０上の各ワークＷの位置を計測する。

より具体的には、視覚センサ２００は、物体認識エンジン２０２と、カメラインターフェイス２０４と、フィールドネットワークインターフェイス２０６とを含む。

物体認識エンジン２０２は、カメラ２５０からの入力画像に対してパターンマッチング等の画像計測処理を行う。物体認識エンジン２０２は、認識されたワークの位置として、カメラ座標系の座標値（Ｘｃｉ，Ｙｃｉ）を出力する。カメラインターフェイス２０４は、カメラ２５０からの画像を取得し、カメラ２５０に対して各種設定を与える。フィールドネットワークインターフェイス２０６は、フィールドネットワーク１８を介して、ＰＬＣ１００との間でデータ（この例では、ワークＷの座標値）を遣り取りするコントローラである。

視覚センサ２００は、プロセッサがプログラムを実行することで実現されてもよいし、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

カメラ２５０は、レンズや絞りなどの光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの受光素子とを含む。カメラ２５０は、視覚センサ２００からの指令に従って撮像するとともに、その撮像によって得られた画像を視覚センサ２００へ出力する。

（ｂ３：ロボット３００およびロボットコントローラ３５０）
図４は、本実施の形態に係るコンベアトラッキングシステム１に含まれるワークＷのピックアップに係る装置のハードウェア構成の一例を示す模式図である。図４を参照して、ロボットコントローラ３５０は、ロボット３００を構成するモータ３１０−１，３１０−２，・・・，３１０−ｎを駆動することで、ロボット３００に指定された動作を行わせる。

ロボットコントローラ３５０は、情報系ネットワークインターフェイス３５２と、位置コントローラ３５４と、ドライバ３５６−１，３５６−２，・・・，３５６−ｎとを含む。

情報系ネットワークインターフェイス３５２は、情報系ネットワーク２０を介して、ＰＬＣ１００との間でデータ（この例では、動作指令）を遣り取りするコントローラである。位置コントローラ３５４は、ＰＬＣ１００からの動作指令に従って、ドライバ３５６−１，３５６−２，・・・，３５６−ｎに対して位置指令（例えば、移動量に応じた数のパルス）を出力する。ドライバ３５６−１，３５６−２，・・・，３５６−ｎは、位置コントローラ３５４からの指令に従って、ロボット３００のモータ３１０−１，３１０−２，・・・，３１０−ｎを駆動するための電力信号を発生する。

ロボットコントローラ３５０は、プロセッサがプログラムを実行することで実現されてもよいし、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

（ｂ４：カウンタ４００およびエンコーダ４５０）
再度図４を参照して、カウンタ４００は、エンコーダ４５０から出力されるパルス信号をカウントすることで、エンコーダ４５０の検出対象（本実施の形態においては、コンベア１０）の移動量を検出する。

より具体的には、カウンタ４００は、パルスカウンタ４０２と、演算処理部４０４と、フィールドネットワークインターフェイス２０６とを含む。

パルスカウンタ４０２は、カウンタ４００からのパルス信号の入力を受けて、その立上りまたは立下りの発生回数を積算する。演算処理部４０４は、パルスカウンタ４０２によるカウント数に所定の係数を乗じて、検出対象（コンベア１０）の移動量を算出する。あるいは、演算処理部４０４は、パルスカウンタ４０２によるカウント数をそのまま出力することもできる。フィールドネットワークインターフェイス４０６は、フィールドネットワーク１８を介して、ＰＬＣ１００との間でデータ（この例では、カウント数）を遣り取りするコントローラである。

（ｂ５：モバイルデバイス５００）
図５は、本実施の形態に係るコンベアトラッキングシステム１において使用されるモバイルデバイス５００のハードウェア構成の一例を示す模式図である。図５を参照して、モバイルデバイス５００は、プロセッサ５０２と、メインメモリ５０４と、ストレージ５１０と、ワイヤレスネットワークインターフェイス５１６と、タッチパネル５２０とを含む。これらのコンポーネントはバス５１８に接続される。

プロセッサ５０２は、ストレージ５１０に格納されているＯＳ（Operating System）５１２およびキャリブレーションアプリ５１４などのプログラムをメインメモリ５０４に読み出して実行する。プロセッサ５０２は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵなどで構成される。プロセッサ５０２としては、複数のコアを有する構成を採用してもよいし、プロセッサ５０２を複数配置してもよい。メインメモリ５０４は、例えば、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ５１０は、例えば、フラッシュメモリやハードディスクなどの不揮発性記憶装置などで構成される。

ワイヤレスネットワークインターフェイス５１６は、ワイヤレス通信でＰＬＣ１００などとの間でデータを遣り取りするコントローラである。

タッチパネル５２０は、外部からのタッチ操作を受けて、そのタッチされた位置を検出する。タッチパネル５２０は、各種情報を表示するためのディスプレイ５２２と、タッチ位置を検出するための位置検出デバイス５２４とを含む。なお、位置検出デバイス５２４としては、静電容量式、感圧式、超音波式などの公知のデバイスを用いることができる。

キャリブレーションアプリ５１４は、後述するような、キャリブレーション用のパターンをディスプレイ５２２に表示するとともに、ロボット３００などによりタッチされた位置を検出して、ＰＬＣ１００へ送信するような処理を実現する。

（ｂ６：サポート装置６００）
サポート装置６００は、ＰＬＣ１００で実行されるユーザプログラムのソースコード編集、オブジェクトコード変換、デバッギングなどの機能を提供する。典型的には、サポート装置６００は、公知のアーキテクチャに従う汎用コンピュータでサポートプログラムを実行することで実現される。汎用コンピュータのハードウェア構成については公知であるので、詳細な説明は行わない。

（ｂ７：ＨＭＩ７００）
ＨＭＩ７００は、ＰＬＣ１００などが管理する情報をユーザへ提示するとともに、ユーザからの操作を受付けてＰＬＣ１００へ出力する。典型的には、ＨＭＩ装置７００は、公知のアーキテクチャに従う汎用コンピュータでサポートプログラムを実行することで実現される。汎用コンピュータのハードウェア構成については公知であるので、詳細な説明は行わない。

＜Ｃ．座標変換およびキャリブレーション＞
次に、本実施の形態に係るコンベアトラッキングシステム１における座標変換およびそれに向けられたキャリブレーションについて説明する。

図６は、本実施の形態に係るコンベアトラッキングシステム１における座標変換およびトラッキングを説明するための図である。図６（Ａ）を参照して、カメラ２５０の撮像視野に設定されたカメラ座標系（Ｘｃ軸−Ｙｃ軸の座標系）において、ワークＷの位置が計測されたとする。この計測された位置は、カメラ座標系の座標値（Ｘｃ１，Ｙｃ１）と示すことができる。カメラ座標系の座標値（Ｘｃ１，Ｙｃ１）をロボット座標系（Ｘｒｂ軸−Ｙｒｂ軸の座標系）の座標値（Ｘｒｂ１，Ｙｒｂ１）として表現する処理が座標変換である。本実施の形態に係る座標変換は、カメラ座標系の座標値（Ｘｃ１，Ｙｃ１）をロボット座標系の座標値（Ｘｒｂ１，Ｙｒｂ１）に変換する処理に加えて、その逆変換の処理も含み得る。

座標変換の一例として、例えば、以下の（１−１）式および（１−２）式に示される、な変換式を用いることができる。

Ｘｒｂ１＝Ａ・Ｘｃ１＋Ｂ・Ｙｃ１＋Ｃ ・・・（１−１）
Ｙｒｂ１＝Ｄ・Ｘｃ１＋Ｅ・Ｙｃ１＋Ｆ ・・・（１−２）
上式において、係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆがキャリブレーションに係るパラメータセットに相当する。

なお、座標変換式としては、上述したような変換式に限られずに、任意の変換式を用いることができる。キャリブレーションに係るパラメータセットは、用いられる変換式に応じたものとなる。

図６（Ｂ）を参照して、ワークＷがコンベア１０上を搬送されると、その搬送された距離だけ位置が変化することになるので、コンベア１０の単位カウント数当たりの移動量（移動速度）をカメラ座標系（Ｘｃ軸−Ｙｃ軸の座標系）の各成分で表現したものをｄＸ，ｄＹとすると、任意の時刻ｔにおけるワークＷの位置は、以下の（２−１）式および（２−２）式に示される換算式に従って算出できる。

Ｘｒｂ１（ｔ）＝Ｘｒｂ１（０）＋ｄＸ・Ｅｎｃ（ｔ） ・・・（２−１）
Ｙｒｂ１（ｔ）＝Ｙｒｂ１（０）＋ｄＹ・Ｅｎｃ（ｔ） ・・・（２−１）
但し、Ｅｎｃ（ｔ）は、ワークＷの位置が計測されたタイミング（時刻ｔ０）におけるカウント数からのカウント数の増分を示す。

コンベアトラッキングシステム１においては、ＰＬＣ１００は、視覚センサ２００により任意のワークＷの位置が計測されたタイミングにおけるカウント数を当該ワークＷの初期カウント数として保持する。そして、ＰＬＣ１００は、各ワークＷについてのカウント数の増分に基づいて、各ワークＷの位置を逐次更新（すなわち、トラッキング）する。

ＰＬＣ１００は、コンベア１０による搬送によって、逐次更新される各ワークＷの位置に基づいて、ロボット３００に対して動作指令を出力する。

本実施の形態に係るコンベアトラッキングシステム１における処理を概略すると以下のようになる。

搬送対象であるワークＷは、コンベア１０の上流側から順次搬送される。コンベア１０の上流側に配置されたカメラ２５０によりワークＷを撮像することで、視覚センサ２００が搬送対象となるワークＷの位置（通常は、ワークＷの重心位置）を計測する。ＰＬＣ１００は、視覚センサ２００により計測されたワークＷの位置（カメラ座標系の座標値）をロボット座標系の座標値に変換するとともに、コンベア１０の移動量に応じて、各ワークＷの位置を順次更新するともに、ロボット３００に対して動作指令を与える。

ロボット３００は、ＰＬＣ１００からの動作指令に従って、所定のトラッキング範囲（動作範囲）内に入来するワークＷを順番にピックアップおよび搬送する。

本実施の形態に係るコンベアトラッキングシステム１においては、タッチパネルを有するモバイルデバイス５００を用いてキャリブレーションを実施する。以下、キャリブレーションの手順などについて説明する。

＜Ｄ．キャリブレーション処理（その１）＞
まず、キャリブレーション処理（その１）について説明する。このキャリブレーション処理（その１）においては、従来のキャリブレーション用のパターンを含むシートに代えて、モバイルデバイス５００を用いる。

（ｄ１：概略）
図７は、本実施の形態に係るキャリブレーション処理（その１）を説明するための模式図である。図８は、本実施の形態に係るキャリブレーション処理（その１）の処理手順を示すフローチャートである。

図７および図８を参照して、まず、モバイルデバイス５００をキャリブレーション用の１または複数のパターン５５０を表示する状態のセットし（ステップＳ１）、その状態でモバイルデバイス５００をカメラ２５０の撮像視野のコンベア１０上に配置する（ステップＳ２）。

続いて、カメラ２５０により、１または複数のパターン５５０を表示するモバイルデバイス５００を撮像する（ステップＳ３）とともに、視覚センサ２００が撮像された画像に対してパターンマッチングなどを行うことで各パターン５５０の位置（例えば、中心位置または重心位置）を計測する（ステップＳ４）。

その後、コンベア１０を駆動して、モバイルデバイス５００をトラッキング範囲（ロボット３００の動作範囲）内に搬送する（ステップＳ５）。そして、ユーザは、ティーチングペンダント３８０などを用いて、ロボット３００のハンド先端３２０をモバイルデバイス５００上に表示されているパターン５５０に位置決めする（ステップＳ６）。このように、モバイルデバイス５００は、撮像視野に配置されてカメラ２５０により撮像された後に、ロボット３００によるタッチ動作を受ける。

モバイルデバイス５００は、ロボット３００のハンド先端３２０が位置決めされた位置を検出し、その位置を示す情報をＰＬＣ１００へ送信する（ステップＳ７）。

そして、予め定められた数のパターン５５０に位置決めが行われたか否かが判断される（ステップＳ８）。予め定められた数のパターン５５０に位置決めが行われていなければ（ステップＳ８においてＮＯ）、ステップＳ６以下の処理が繰返される。予め定められた数のパターン５５０に位置決めが行われていれば（ステップＳ８においてＹＥＳ）、ステップＳ９以下の処理が実行される。

なお、ロボット３００のハンド先端３２０の位置決め先は、１つのパターン５５０だけであってもよいが、３つのパターン５５０について位置決めすることが好ましい。

ＰＬＣ１００は、（１）モバイルデバイス５００のディスプレイに表示されるパターン５５０の位置計測結果、（２）モバイルデバイス５００のディスプレイ上における各パターン５５０の表示位置、（３）モバイルデバイス５００において検出されたハンド先端３２０の位置、（４）ロボット３００のティーチング結果（ロボット座標系のハンド先端３２０の位置）、（５）コンベア１０の移動量、に基づいて、キャリブレーションに係るパラメータセットを算出する（ステップＳ９）。そして、ＰＬＣ１００は、算出したパラメータセットを格納する（ステップＳ１０）。以上のような手順によってキャリブレーションは完了する。

（ｄ２：パラメータセットの算出）
次に、図８のステップＳ９に示されるキャリブレーションに係るパラメータセットを算出するより詳細な手順について説明する。

図９は、図８のステップＳ９の処理手順を示すフローチャートである。図１０は、図９に示すキャリブレーションに係るパラメータセットの算出処理を説明するための図である。図９に示される各ステップは、典型的には、ＰＬＣ１００のプロセッサ１０２がキャリブレーションプログラム１３０（図３参照）を実行することで実現される。

図９を参照して、ＰＬＣ１００は、（１）モバイルデバイス５００のディスプレイに表示されるパターン５５０の位置計測結果に基づいて、モバイルデバイス５００のコンベア１０に対する傾きθｔを算出する（ステップＳ９１）。なお、モバイルデバイス５００のコンベア１０に対する傾きθｔの処理は、視覚センサ２００によって実行されてもよい。この場合、ＰＬＣ１００は、モバイルデバイス５００のコンベア１０に対する傾きθｔを視覚センサ２００から取得することになる。

図１０に示すように、モバイルデバイス５００のコンベア１０に対する傾きθｔは、視覚センサ２００がモバイルデバイス５００を撮像することで計測される各パターン５５０の位置関係に基づいて、コンベア１０に対するモバイルデバイス５００の傾きとして算出される。

なお、位置決め先のパターン５５０のカメラ座標系の座標値（Ｘｃ１，Ｙｃ１）も併せて取得される。

再度図９を参照して、ＰＬＣ１００は、続いて、（２）モバイルデバイス５００のディスプレイ上における各パターン５５０の表示位置（モバイルデバイス５００のディスプレイ上の座標値）と、（３）モバイルデバイス５００において検出されたハンド先端３２０の位置（モバイルデバイス５００におけるディスプレイ上の座標値）とに基づいて、位置決め先のパターン５５０からのずれ量を算出する（ステップＳ９２）。算出されるずれ量は、モバイルデバイス５００のディスプレイにおける座標値の差として規定される。後述の処理のために、モバイルデバイス５００のディスプレイの表示領域に沿って規定される２つの軸成分の組合せとして規定される（図１０中のｄｉｆｆ＿ｘおよびｄｉｆｆ＿ｙ）。

より具体的には、図１０に示すように、モバイルデバイス５００は、ディスプレイ上のいずれの位置にパターン５５０を表示しているのかを知っているので、位置決め先のパターン５５０のディスプレイ上における座標値（Ｘｄ１’，Ｙｄ１’）をＰＬＣ１００へ知らせることができる。また、モバイルデバイス５００は、ロボット３００のハンド先端３２０がモバイルデバイス５００に触れたディスプレイ上における座標値（Ｘｄ１，Ｙｄ１）をＰＬＣ１００へ知らせることができる。

ＰＬＣ１００は、モバイルデバイス５００に表示された１または複数のパターン５５０のうち１つの位置決め先のパターン５５０とタッチ位置とのずれ量にさらに基づいて、パラメータセットを算出する。

より具体的には、ＰＬＣ１００は、モバイルデバイス５００から取得するずれ量を、モバイルデバイス５００のコンベア１０に対する方向に基づいて補正した上で、パラメータセットを算出する。以下、この処理手順について示す。

ＰＬＣ１００は、位置決め先のパターン５５０の座標値（Ｘｄ１’，Ｙｄ１’）とハンド先端３２０の座標値（Ｘｄ１，Ｙｄ１）とに基づいて、位置決め先のパターン５５０とハンド先端３２０とを結ぶ、ずれ量ベクトルｄｉｆｆ＿Ｌ（ｄｉｆｆ＿ｘ，ｄｉｆｆ＿ｙ）を算出する。また、ＰＬＣ１００は、モバイルデバイス５００のディスプレイに対する、ずれ量ベクトルｄｉｆｆ＿Ｌの傾きθ１（＝ａｔａｎ（ｄｉｆｆ＿ｙ／ｄｉｆｆ＿ｘ）［ｒａｄ］）を算出する。

再度図９を参照して、ＰＬＣ１００は、ステップＳ９１において算出した傾きθｔに基づいて、ステップＳ９２において算出したずれ量を、ロボット座標系におけるずれ量に変換する（ステップＳ９３）。

より具体的には、図１０に示すように、ＰＬＣ１００は、傾きθｔおよび傾きθ１を用いて、位置決め先のパターン５５０とハンド先端３２０との間のずれ量ベクトル（ΔＸｒｂ１，ΔＹｒｂ１（ロボット座標系））を、以下の（３−１）式および（３−２）式に示される関係式に従って算出する。

ΔＸｒｂ１＝ｋ×ｄｉｆｆ＿Ｌ×ｃｏｓ（θｔ＋θ１） ・・・（３−１）
ΔＹｒｂ１＝ｋ×ｄｉｆｆ＿Ｌ×ｓｉｎ（θｔ＋θ１） ・・・（３−２）
但し、係数ｋは、モバイルデバイス５００のディスプレイの画素値の大きさをロボット座標系の大きさに適合させるための補正係数であり、ディスプレイの大きさおよび解像度などに基づいて、予め取得されている。

再度図９を参照して、ＰＬＣ１００は、ロボット座標系におけるずれ量に用いて、（４）ロボット３００のティーチング結果（Ｘｒｂ１，Ｙｒｂ１）を補正することで、位置決め先のパターン５５０のロボット座標系を算出する（ステップＳ９４）。また、ＰＬＣ１００は、（５）コンベア１０の移動量に基づいて、位置決め先のパターン５５０のロボット座標系における移動量を算出する（ステップＳ９５）。そして、ＰＬＣ１００は、（１）モバイルデバイス５００のディスプレイに表示されるパターン５５０の位置計測結果（カメラ座標系の座標値）を変換して得られるロボット座標系の座標値と、ステップＳ９５において算出した移動量とを用いて、位置決め先のパターン５５０についての、キャリブレーションに係る関係式を決定する（ステップＳ９６）。ステップＳ９６において決定される関係式は、変換関数Ｆｘ，Ｆｙを用いて、以下の（４−１）式および（４−２）式のようになる。

Ｘｒｂ１’＝Ｆｘ（Ｘｃ１）＋ｄＸ・Ｅｎｃ
＝Ｘｒｂ１＋ｋ×ｄｉｆｆ＿Ｌ×ｃｏｓ（θｔ＋θ１）
＝Ｘｒｂ１＋ΔＸｒｂ１ ・・・（４−１）
Ｙｒｂ１’＝Ｆｘ（Ｙｃ１）＋ｄＹ・Ｅｎｃ
＝Ｙｒｂ１＋ｋ×ｄｉｆｆ＿Ｌ×ｓｉｎ（θｔ＋θ１）
＝Ｙｒｂ１＋ΔＹｒｂ１ ・・・（４−２）
但し、Ｅｎｃは、モバイルデバイス５００を移動させた際にカウントされたカウント数を示す。

再度図９を参照して、ＰＬＣ１００は、位置決め先のパターン５５０のすべてについて、キャリブレーションに係るパラメータセットの算出が完了したか否かを判断する（ステップＳ９７）。キャリブレーションに係るパラメータセットの算出が完了していない位置決め先のパターン５５０が残っている場合（ステップＳ９７においてＮＯ）、ＰＬＣ１００は、別の位置決め先のパターン５５０について、ステップＳ９２以下の処理を繰返す。

一方、すべての位置決め先のパターン５５０について、キャリブレーションに係るパラメータセットの算出が完了している場合（ステップＳ９７においてＹＥＳ）、ＰＬＣ１００は、ステップＳ９６において決定した、位置決め先のパターン５５０毎の関係式（上述の（４−１）式および（４−２）式）に基づいて、キャリブレーションに係るパラメータセットを算出する（ステップＳ９８）。このパラメータセットの算出は、連立一次方程式を解くことになる。

以上のような処理によって、キャリブレーションに係るパラメータセットの算出が完了し、処理は図８のステップＳ１０に戻る。

＜Ｅ．キャリブレーション処理（その２）＞
次に、キャリブレーション処理（その２）について説明する。このキャリブレーション処理（その２）においては、先に、ロボット３００のハンド先端３２０の位置をモバイルデバイス５００により検出した上で、検出された位置をカメラ２５０により撮像することで、キャリブレーションに係るパラメータセットを算出する。

（ｅ１：概略）
図１１は、本実施の形態に係るキャリブレーション処理（その２）を説明するための模式図である。図１２は、本実施の形態に係るキャリブレーション処理（その２）の処理手順を示すフローチャートである。

図１１および図１２を参照して、まず、モバイルデバイス５００をトラッキング範囲（ロボット３００の動作範囲）内に配置する（ステップＳ１１）。そして、ユーザは、ティーチングペンダント３８０などを用いて、ロボット３００のハンド先端３２０をモバイルデバイス５００上の任意の位置にタッチさせる（ステップＳ１２）。モバイルデバイス５００は、ロボット３００のハンド先端３２０が位置決めされた位置を検出し、その位置にパターン５５０を表示する（ステップＳ１３）。

その後、コンベア１０を逆方向に駆動して、モバイルデバイス５００をカメラ２５０の撮像視野に搬送する（ステップＳ１４）。続いて、カメラ２５０により、パターン５５０を表示するモバイルデバイス５００を撮像する（ステップＳ１５）とともに、視覚センサ２００が撮像された画像に対してパターンマッチングなどを行うことでパターン５５０の位置（例えば、中心位置または重心位置）を計測する（ステップＳ１６）。

このように、モバイルデバイス５００は、ロボット３００によるタッチ位置に応じて、少なくとも１つのパターン５５０を表示する。そして、モバイルデバイス５００は、ロボット３００によるタッチ動作を受けた後に、撮像視野に配置される。この撮像視野に配置されたモバイルデバイス５００をカメラ２５０により撮像することで取得される画像計測結果に基づいて、パラメータセットが算出される。

ＰＬＣ１００は、（１）モバイルデバイス５００のディスプレイに表示されるパターン５５０の位置計測結果、（２）モバイルデバイス５００において検出されたハンド先端３２０の位置、（３）ロボット３００のティーチング結果（ロボット座標系のハンド先端３２０の位置）、（４）コンベア１０の移動量、に基づいて、キャリブレーションに係るパラメータセットを算出する（ステップＳ１７）。そして、ＰＬＣ１００は、算出したパラメータセットを格納する（ステップＳ１８）。以上のような手順によってキャリブレーションは完了する。

（ｅ２：パラメータセットの算出）
次に、図１０のステップＳ１７に示されるキャリブレーションに係るパラメータセットを算出するより詳細な手順について説明する。

図１０を参照して、モバイルデバイス５００は、ロボット３００のハンド先端がタッチパネルにタッチした位置を検出するとともに、その検出した位置にパターン５５０を表示する。ロボット３００のティーチング結果（Ｘｒｂ１，Ｙｒｂ１）は、表示されるパターン５５０と対応するものとなる。

その後、モバイルデバイス５００をカメラ２５０の撮像視野まで移動させることになるが、この移動量Ｅｎｃ（モバイルデバイス５００を移動させた際にカウントされたカウント数）も既知である。

モバイルデバイス５００をカメラ２５０の撮像視野に配置した状態で、視覚センサ２００がモバイルデバイス５００を撮像することでパターン５５０の位置（Ｘｃ１，Ｙｃ１）を取得できる。

最終的には、変換関数Ｆｘ，Ｆｙを用いて、以下の（５−１）式および（５−２）式のようになる。

Ｆｘ（Ｘｃ１）＋ｄＸ・Ｅｎｃ＝Ｘｒｂ１ ・・・（５−１）
Ｆｙ（Ｘｃ１）＋ｄＹ・Ｅｎｃ＝Ｙｒｂ１ ・・・（５−２）
ＰＬＣ１００は、この（５−１）式および（５−２）式に基づいて、キャリブレーションに係るパラメータセットを算出する。

＜Ｆ．ユーザインターフェイス＞
次に、本実施の形態に係るモバイルデバイス５００において提供されるユーザインターフェイスの一例について説明する。

（ｆ１：タッチ位置への誘導）
モバイルデバイス５００においては、１または複数のパターン５５０のうち、タッチすべきパターン５５０を他のパターン５５０とは異なる態様で表示するようにしてもよい。

図１３は、本実施の形態に係るモバイルデバイス５００において提供されるユーザインターフェイス画面の一例を示す図である。図１３を参照して、モバイルデバイス５００のディスプレイには、キャリブレーション用の１または複数のパターン５５０が表示される。これらのパターン５５０の表示に加えて、キャリブレーションの各段階において、ロボット３００のハンド先端３２０を位置決めすべきパターン５５０が強調表示されるようにしてもよい。すなわち、位置決め先のパターン５５０には、位置決め先であることを示す強調表示５６０が付加される。

ユーザは、このような強調表示５６０に従って、ロボット３００のハンド先端３２０を位置決めする。ロボット３００のハンド先端３２０を複数のパターン５５０に順次位置決めしなければならない場合には、強調表示５６０の表示位置が順次切替わることになる。

いずれのパターン５５０をロボット３００のハンド先端３２０でタッチすればよいかを示す強調表示５６０を用いることで、ユーザによるキャリブレーションの操作の煩雑さを低減できる。すなわち、ユーザが間違ったパターン５５０をハンド先端３２０でタッチするような事態を回避できる。

これにより、経験の乏しいユーザであっても、適切にキャリブレーションを実行できる。

（ｆ２：タッチ位置の確認）
モバイルデバイス５００においては、１または複数のパターン５５０とともに、実際にタッチされたタッチ位置を表示するようにしてもよい。

図１４は、本実施の形態に係るモバイルデバイス５００において提供されるユーザインターフェイス画面の別の一例を示す図である。図１４を参照して、モバイルデバイス５００のディスプレイには、キャリブレーション用の１または複数のパターン５５０が表示される。これらのパターン５５０の表示に加えて、ロボット３００のハンド先端３２０が位置決めされて、モバイルデバイス５００がハンド先端３２０のタッチが検出された位置を示すタッチ位置表示５７０が提供されてもよい。

図１４には、一例として、円形のタッチ位置表示５７０を例示するが、点、楕円、多角形、星形、波紋などの任意の形状を用いてもよい。また、タッチ位置表示５７０の表示色についても任意の色を採用することができ、視認性を高めるために、点滅や表示色の変化などを採用してもよい。

ユーザは、ロボット３００のハンド先端３２０を位置決めした後、タッチ位置表示５７０を参照することで、位置決め先のパターン５５０に正しく位置決めできているのかを確認することができる。また、位置決め先のパターン５５０と実際にタッチされた位置であるタッチ位置表示５７０との差を認識することで、ロボット３００のクセや傾向を見出すことができ、キャリブレーションのためのロボット３００の操作スキルを向上させることができる。

（ｆ３：キャリブレーション精度の表示）
本実施の形態に係るキャリブレーションにおいては、パラメータセットの算出過程における回帰式からのずれなどに基づいて、キャリブレーション精度を算出できる。このキャリブレーション精度は、典型的には、ＰＬＣ１００において算出される。ＰＬＣ１００において算出されるキャリブレーション精度をモバイルデバイス５００へ送信されてもよい。このような構成を採用した場合には、モバイルデバイス５００を介して、キャリブレーション精度をユーザへ通知できる。

すなわち、モバイルデバイス５００においては、ＰＬＣ１００により算出されたパラメータセットの精度を表示するようにしてもよい。

本実施の形態に係るコンベアトラッキングシステム１においては、モバイルデバイス５００により検出されたタッチ位置がワイヤレス通信などによりＰＬＣ１００へ送信される。そして、ＰＬＣ１００においてキャリブレーションに係るパラメータセットが算出されるとともに、その算出されたキャリブレーションのキャリブレーション精度についても算出される。そして、その算出されたキャリブレーション精度がモバイルデバイス５００へ戻されることによって、ユーザは、キャリブレーションの操作を行った結果を即座に確認することができ、もし、十分なキャリブレーション精度が得られていないと判断した場合には、キャリブレーションの操作を即座にやり直すことができる。

図１５は、本実施の形態に係るモバイルデバイス５００において提供されるユーザインターフェイス画面のさらに別の一例を示す図である。図１５を参照して、モバイルデバイス５００のディスプレイには、ＰＬＣ１００から受信したキャリブレーション精度の数値が表示（数値表示５８０）されるとともに、キャリブレーションのやり直しを問い合わせるメッセージ５８２も表示される。

このようなメッセージ５８２に対して、ユーザは、キャリブレーションをやり直す場合には、「はい」のボタン５８４を選択し、そうでない場合には、「いいえ」のボタン５８６を選択する。

あるいは、キャリブレーション精度が予め定められた値に到達していない場合には、キャリブレーションをやり直す旨をユーザに指示するようにしてもよい。

このように、本実施の形態に係るモバイルデバイス５００によれば、キャリブレーションの操作を行うと、即座にキャリブレーション精度を確認できるので、キャリブレーションを適切に行えたか否かを確実に判断できる。また、キャリブレーションを適切に行った場合の原因などをユーザ自身で考えることで、キャリブレーションのためのロボット３００の操作スキルを向上させることができる。

（ｆ４：ロボット操作支援）
本実施の形態に係るコンベアトラッキングシステム１においては、モバイルデバイス５００において、表示されているパターン５５０の位置と実際にハンド先端３２０がタッチされた位置との差を算出できるので、その算出される差に基づいて、ユーザによるキャリブレーション操作のクセや傾向を取得できる。このようなユーザのクセや傾向に応じて、ユーザに対して、ロボット３００の操作方法を支援するようにしてもよい。

図１６は、本実施の形態に係るモバイルデバイス５００において提供されるユーザインターフェイス画面のさらに別の一例を示す図である。図１６を参照して、モバイルデバイス５００のディスプレイには、例えば、取得されたユーザによるキャリブレーション操作のクセや傾向の内容とともに、そのクセや傾向に応じたガイダンスを含む支援メッセージ５９０を表示してもよい。

具体的には、支援メッセージ５９０には、ユーザ操作の傾向とともに、ユーザがロボット３００のハンド先端３２０を操作するためのコツのようなものを提示する。このような支援メッセージ５９０をユーザに提示することで、例えば、ユーザがキャリブレーションをやり直すような場合には、ロボット３００のハンド先端３２０をより適切に位置決めできるようになる。このような支援メッセージ５９０をユーザへ提示することで、キャリブレーションのためのロボット３００の操作スキルを向上させることができる。

＜Ｇ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
ワーク（Ｗ）を搬送する搬送装置（１０）と、
前記搬送装置に関連付けて配置され、前記搬送装置により搬送されるワークをピックアップするロボット（３００）と、
前記搬送装置の搬送経路に撮像視野を有する撮像部（２５０）と、
前記撮像部により撮像された画像に対する画像計測を実行する視覚センサ（２００）と、
前記視覚センサによる画像計測結果に基づいて、予め算出されたパラメータセットを用いて、前記ロボットに対する動作指令を生成する制御装置（１００）と、
前記パラメータセットの算出処理に用いられる、タッチパネル（５２０）を有するモバイルデバイス（５００）とを備え、
前記モバイルデバイスは、
予め定められた位置に１または複数のパターン（５５０）を表示する手段（５２０）と、
前記１または複数のパターンが表示された状態でタッチされたことに応じて、当該タッチされたタッチ位置を示す情報を前記制御装置へ送信する手段（５１６）とを含み、
前記制御装置は、
前記モバイルデバイスが前記１または複数のパターンが表示された状態で前記撮像視野に配置されたときの前記視覚センサによる画像計測結果と、前記モバイルデバイスが前記ロボットによりタッチされたときの前記タッチ位置と、前記モバイルデバイスが前記撮像視野に配置された状態の位置と前記ロボットによりタッチされたときの位置との間の距離とに基づいて、前記パラメータセットを算出する手段（１３０）を含む、コンベアトラッキングシステム。
［構成２］
前記モバイルデバイスは、前記撮像視野に配置されて前記撮像部により撮像された後に、前記ロボットによるタッチ動作を受ける、構成１に記載のコンベアトラッキングシステム。
［構成３］
前記制御装置は、前記モバイルデバイスに表示された前記１または複数のパターンのうち１つのパターンと前記タッチ位置とのずれ量にさらに基づいて、前記パラメータセットを算出する、構成１または２に記載のコンベアトラッキングシステム。
［構成４］
前記制御装置は、前記ずれ量を、前記モバイルデバイスの前記搬送装置に対する方向に基づいて補正した上で、前記パラメータセットを算出する、構成３に記載のコンベアトラッキングシステム。
［構成５］
前記モバイルデバイスは、
前記ロボットによるタッチ位置に応じて、少なくとも１つのパターンを表示し、
前記ロボットによるタッチ動作を受けた後に、前記撮像視野に配置される、構成１に記載のコンベアトラッキングシステム。
［構成６］
前記モバイルデバイスは、前記１または複数のパターンのうち、タッチすべきパターンを他のパターンとは異なる態様（５６０）で表示する、構成１〜５のいずれか１項に記載のコンベアトラッキングシステム。
［構成７］
前記モバイルデバイスは、前記１または複数のパターンとともに、前記タッチ位置（５７０）を表示する、構成１〜６のいずれか１項に記載のコンベアトラッキングシステム。
［構成８］
前記モバイルデバイスは、前記制御装置により算出されたパラメータセットの精度（５８０）を表示する、構成１〜７のいずれか１項に記載のコンベアトラッキングシステム。
［構成９］
前記制御装置と前記モバイルデバイスとの間は、ワイヤレス通信でデータを遣り取りする、構成１〜８のいずれか１項に記載のコンベアトラッキングシステム。
［構成１０］
コンベアトラッキングシステム（１）におけるキャリブレーション方法であって、
前記コンベアトラッキングシステムは、
ワーク（Ｗ）を搬送する搬送装置（１０）と、
前記搬送装置に関連付けて配置され、前記搬送装置により搬送されるワークをピックアップするロボット（３００）と、
前記搬送装置の搬送経路に撮像視野を有する撮像部（２５０）と、
前記撮像部により撮像された画像に対する画像計測を実行する視覚センサ（２００）と、
前記視覚センサによる画像計測結果に基づいて、予め算出されたパラメータセットを用いて、前記ロボットに対する動作指令を生成する制御装置（１００）とを備え、
前記キャリブレーション方法は、
タッチパネルを有するモバイルデバイスのディスプレイの予め定められた位置に１または複数のパターンを表示するステップ（Ｓ１）と、
前記モバイルデバイスのディスプレイに前記１または複数のパターンが表示された状態で前記撮像視野に配置するとともに、前記視覚センサにより、前記モバイルデバイスを撮像して得られた画像に対する画像計測結果を取得するステップ（Ｓ２〜Ｓ４）と、
前記モバイルデバイスのディスプレイに前記１または複数のパターンが表示された状態で前記ロボットにより前記モバイルデバイスがタッチされたときのタッチ位置を取得するステップ（Ｓ５〜Ｓ７）と、
前記画像計測結果と、前記タッチ位置と、前記モバイルデバイスが前記撮像視野に配置された状態の位置と前記ロボットによりタッチされたときの位置との間の距離とに基づいて、前記パラメータセットを算出するステップ（Ｓ９）とを備える、コンベアトラッキングシステムにおけるキャリブレーション方法。

＜Ｈ．まとめ＞
本実施の形態に係るようなコンベアトラッキングを運用するにあたっては、カメラ座標系とロボット座標系との間の変換を行うためのパラメータセットをキャリブレーションにより算出する必要がある。

従来のキャリブレーション方法としては、キャリブレーション用のパターンを含むシートをコンベア上に配置するとともに、カメラで撮像することで、パターンの重心位置をカメラ座標系の座標値として取得する。そして、コンベアを動作させて、ロボットがワークをピックアップする位置までキャリブレーション用のパターンを移動する。そして、ロボットのハンド先端をキャリブレーション用の各パターンの重心位置に位置決めすることで、その位置（ロボット座標系の座標値）を教示する。最終的に、カメラ座標系の座標値（カメラによる計測結果）と、ロボット座標系の座標値（ロボットの教示結果）と、コンベアの移動距離とに基づいて、パラメータセットを算出する。このとき、ロボットの教示は少なくとも３点が必要となる。

上述したような従来の手法では、ロボットの教示位置をキャリブレーション用のパターンに正しく位置合わせしなければ、座標変換式は誤差を含んだものとなる。このような誤差を含んだ座標変換式を用いて、ピックアップ動作を行うための指令を生成すると、ロボットがワークを吸着や把持するのを失敗することになる。

これに対して、本実施の形態においては、タッチパネルを有するモバイルデバイス５００を用いて、モバイルデバイス５００のディスプレイにキャリブレーション用のパターンを表示した状態で、モバイルデバイス５００をカメラで撮像することで、各パターンの重心位置を取得する。

また、モバイルデバイス５００をロボット３００のハンド先端３２０でタッチすることで、そのときの教示位置とモバイルデバイス５００のディスプレイに表示されているキャリブレーション用のパターンの位置とを取得する。これらのモバイルデバイス５００により取得される情報をＰＬＣ１００へ送信することで、ＰＬＣ１００において、キャリブレーション用のパラメータセットを算出する。

本実施の形態によれば、ロボット３００に対する教示位置（ロボット座標系の座標値）と、そのときに実際にモバイルデバイス５００が検出した座標値との情報を取得できるので、教示位置の誤差を補正することができる。これによって、従来のキャリブレーション用のパターンを含むシートを用いる場合に比較して、キャリブレーションの精度を高めることができる。

また、本実施の形態によれば、従来の方法において要求されていた、ロボットを少なくとも３点の位置に教示しなければならないとの制約を緩和でき、これによって、キャリブレーションに要する時間を短縮できる。

本実施の形態においては、モバイルデバイス５００に、実際にタッチされた位置や、算出されたパラメータセットのキャリブレーション精度などを表示できるので、キャリブレーションに係るユーザの操作性を高めることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ コンベアトラッキングシステム、１０ コンベア、１２ 駆動ローラ、１８ フィールドネットワーク、２０ 情報系ネットワーク、１００ ＰＬＣ、１０２，５０２ プロセッサ、１０４，５０４ メインメモリ、１０５ トラッキングレコード、１０６，２０６，４０６ フィールドネットワークインターフェイス、１０８，５１６ ワイヤレスネットワークインターフェイス、１１０ ローカル通信インターフェイス、１１２，３５２ 情報系ネットワークインターフェイス、１２０，５１０ ストレージ、１２２ ＰＬＣシステムモジュール、１２４ ユーザプログラム、１２６ トラッキングプログラム、１２８ キャリブレーションパラメータ、１３０ キャリブレーションプログラム、１３２ ロボット位置指令生成プログラム、１４０，５１８ バス、２００ 視覚センサ、２０２ 物体認識エンジン、２０４ カメラインターフェイス、２５０ カメラ、３００ ロボット、３１０ モータ、３２０ ハンド先端、３５０ ロボットコントローラ、３５４ 位置コントローラ、３５６ ドライバ、３８０ ティーチングペンダント、４００ カウンタ、４０２ パルスカウンタ、４０４ 演算処理部、４５０ エンコーダ、５００ モバイルデバイス、５１４ キャリブレーションアプリ、５２０ タッチパネル、５２２ ディスプレイ、５２４ 位置検出デバイス、５５０ パターン、５６０ 強調表示、５７０ タッチ位置表示、５８０ 数値表示、５８２ メッセージ、５８４，５８６ ボタン、５９０ 支援メッセージ、６００ サポート装置、７００ ＨＭＩ装置、Ｅｎｃ 移動量、Ｆｘ，Ｆｙ 変換関数、Ｌ 距離、Ｗ ワーク。

Claims (9)

1. ワークを搬送する搬送装置と、
   前記搬送装置に関連付けて配置され、前記搬送装置により搬送されるワークをピックアップするロボットと、
   前記搬送装置の搬送経路に撮像視野を有する撮像部と、
   前記撮像部により撮像された画像に対する画像計測を実行する視覚センサと、
   前記視覚センサによる画像計測結果に基づいて、予め算出されたパラメータセットを用いて、前記ロボットに対する動作指令を生成する制御装置と、
   前記パラメータセットの算出処理に用いられる、タッチパネルを有するモバイルデバイスとを備え、
   前記モバイルデバイスは、
   予め定められた位置に１または複数のパターンを表示する手段と、
   前記１または複数のパターンが表示された状態でタッチされたことに応じて、当該タッチされたタッチ位置を示す情報を前記制御装置へ送信する手段とを含み、
   前記制御装置は、
   前記モバイルデバイスが前記１または複数のパターンが表示された状態で前記撮像視野に配置されたときの前記視覚センサによる画像計測結果と、前記モバイルデバイスが前記ロボットによりタッチされたときの前記タッチ位置と、前記モバイルデバイスが前記撮像視野に配置された状態の位置と前記ロボットによりタッチされたときの位置との間の距離と、前記モバイルデバイスに表示された前記１または複数のパターンのうち１つのパターンと前記タッチ位置とのずれ量とに基づいて、前記パラメータセットを算出する手段を含む、コンベアトラッキングシステム。
2. 前記モバイルデバイスは、前記撮像視野に配置されて前記撮像部により撮像された後に、前記ロボットによるタッチ動作を受ける、請求項１に記載のコンベアトラッキングシステム。
3. 前記制御装置は、前記ずれ量を、前記モバイルデバイスの前記搬送装置に対する方向に基づいて補正した上で、前記パラメータセットを算出する、請求項１または２に記載のコンベアトラッキングシステム。
4. 前記モバイルデバイスは、
   前記ロボットによるタッチ位置に応じて、少なくとも１つのパターンを表示し、
   前記ロボットによるタッチ動作を受けた後に、前記撮像視野に配置される、請求項１〜３のいずれか１項に記載のコンベアトラッキングシステム。
5. 前記モバイルデバイスは、複数の前記パターンを表示するとともに、当該複数のパターンのうち、タッチすべきパターンを他のパターンとは異なる態様で表示する、請求項１〜４のいずれか１項に記載のコンベアトラッキングシステム。
6. 前記モバイルデバイスは、前記１または複数のパターンとともに、前記タッチ位置を表示する、請求項１〜５のいずれか１項に記載のコンベアトラッキングシステム。
7. 前記モバイルデバイスは、前記制御装置により算出されたパラメータセットの精度を表示する、請求項１〜６のいずれか１項に記載のコンベアトラッキングシステム。
8. 前記制御装置と前記モバイルデバイスとの間は、ワイヤレス通信でデータを遣り取りする、請求項１〜７のいずれか１項に記載のコンベアトラッキングシステム。
9. コンベアトラッキングシステムにおけるキャリブレーション方法であって、
   前記コンベアトラッキングシステムは、
   ワークを搬送する搬送装置と、
   前記搬送装置に関連付けて配置され、前記搬送装置により搬送されるワークをピックアップするロボットと、
   前記搬送装置の搬送経路に撮像視野を有する撮像部と、
   前記撮像部により撮像された画像に対する画像計測を実行する視覚センサと、
   前記視覚センサによる画像計測結果に基づいて、予め算出されたパラメータセットを用いて、前記ロボットに対する動作指令を生成する制御装置とを備え、
   前記キャリブレーション方法は、
   タッチパネルを有するモバイルデバイスのディスプレイの予め定められた位置に１または複数のパターンを表示するステップと、
   前記モバイルデバイスのディスプレイに前記１または複数のパターンが表示された状態で前記撮像視野に配置するとともに、前記視覚センサにより、前記モバイルデバイスを撮像して得られた画像に対する画像計測結果を取得するステップと、
   前記モバイルデバイスのディスプレイに前記１または複数のパターンが表示された状態で前記ロボットにより前記モバイルデバイスがタッチされたときのタッチ位置を取得するステップと、
   前記画像計測結果と、前記タッチ位置と、前記モバイルデバイスが前記撮像視野に配置された状態の位置と前記ロボットによりタッチされたときの位置との間の距離と、前記モバイルデバイスに表示された前記１または複数のパターンのうち１つのパターンと前記タッチ位置とのずれ量とに基づいて、前記パラメータセットを算出するステップとを備える、コンベアトラッキングシステムにおけるキャリブレーション方法。

Images