JP6579498B2 - 自動化装置及び位置検出装置 - Google Patents

Description

開示の実施形態は、自動化装置、及び位置検出装置に関する。

特許文献１には、コンベヤにより運搬される物体に対してロボットが作業を行うロボットシステムにおいて、コンベヤ上での物体の位置を定義するための座標系として、ロボットのベース座標系に対し所定の関係を有するコンベヤ座標系を設定する方法が開示されている。

特開２０１７−４７５１１号公報

しかしながら、上記従来技術のように本来個別に設定されているロボットの座標系と他の機械座標系との間の座標間補正には熟練した技術や高い専門知識、また特殊な治具や多数の作業工程が必要であり非常に煩雑となっていた。

本発明はこのような問題点に鑑みてなされたものであり、機構に対する補正作業等が不要な自動化装置、及び位置検出装置を提供することを目的とする。

上記課題を解決するため、本発明の一の観点によれば、作業可能な空間範囲内に設定された自機械座標系の任意の位置に存在するワークに対して所定作業が可能な機構と、前記自機械座標系に対して任意かつ既知である設置位置と設置姿勢に可動な構成であって、前記ワークを含む対象環境の２次元画像を光学的に撮像するカメラと、前記カメラの設置位置と設置姿勢を反映した機械学習プロセスでの学習内容に基づく前記２次元画像の画像認識により前記自機械座標系中における前記ワークの現在位置情報を検出可能な位置検出部と、前記自機械座標系中で移動する同一のワークに対して前記位置検出部が異なる検出タイミングで検出した複数の現在位置情報に基づいて前記機構の作業位置を指令する作業制御部と、を有する自動化装置が適用される。
また本発明の別の観点によれば、所定の自機械座標系に対して任意かつ既知である設置位置と設置姿勢に可動な構成であって、前記自機械座標系の任意の位置に存在するワークを含む対象環境の２次元画像を光学的に撮像するカメラと、前記カメラの設置位置と設置姿勢を反映した機械学習プロセスでの学習内容に基づく前記２次元画像の画像認識により前記自機械座標系中における前記ワークの現在位置情報を検出可能な位置検出部と、を有する位置検出装置が適用される。

本発明によれば、機構に対する補正作業等が不要となる。

実施形態の自動化装置の概略的なシステムブロック構成の一例を表す図である。 コントローラが備える位置制御部及び作業制御部のソフトウェアブロック図の一例を表す図である。 カメラが撮像した画像情報の一例を表す図である。 ワークの直線等速度移動の動作規則を表す図である。 移動先算出部が算出するワークの移動先位置と到達タイミングを表す図である。 現在位置情報の検出に失敗した場合の対処手法を説明する図である。 ワークの搬送方向がカメラ座標系に傾斜している場合の画像情報の一例を表す図である。 外観形状と動作規則がそれぞれ異なる複数のワークを撮像した場合の画像情報の一例を表す図である。 現在位置情報をそのまま作業位置指令として出力する場合の作業機構の動作の一例を表す図である。 センサ位置検出部が実装するニューラルネットワークモデル概略図の一例を表す図である。 カメラの多様な設置位置と設置姿勢の例を表す図である。 自機械座標系におけるワークの現在位置情報を出力可能なニューラルネットワークモデル概略図の一例を表す図である。

以下、実施の形態について図面を参照しつつ説明する。

＜自動化装置の概略構成＞
図１は、本実施形態の自動化装置の概略的なシステムブロック構成の一例を表している。本実施形態の例に示す自動化装置は、ベルトコンベアで搬送移動される複数のワークに対し、それぞれの上面に個別にスタンプで押印するシステムである。図１において自動化装置１は、作業機構２と、カメラ３と、コントローラ４とを有している。

作業機構２は、図示する本実施形態の例では、３つの垂直回転軸と１つの垂直昇降軸を備えたマニプレータアーム（スカラ機構、水平多軸型機構）である。そのアーム先端部には、ワークＷの表面に製造年月日などの所定の印字内容を押印可能なスタンプで構成されたエンドエフェクタ２１が装着されている。図示する例では、ワークＷはその軸方向を鉛直方向に向けて載置された円筒形状の缶であり、エンドエフェクタ２１のスタンプは当該ワークＷの円形上平面より外径が少し小さい円形状のスタンプである。

当該作業機構２に実行させる作業は、上記ワークＷの円形上平面の表面におよそ同軸的な配置でスタンプ２１を押印させることである。このため、作業機構２が実行する作業内容としては、作業対象であるワークＷの円形上平面の中心位置を作業位置とし、その作業位置に対して円形のスタンプ２１の中心位置（アーム先端部の基準位置）を水平方向で合わせるようアームを移動させた後、スタンプ２１を降下させて押印する作業を行う。この作業は、当該作業機構２の機械的構造により規定される作業可能空間範囲（特に図示せず）内で行われるものであり、その制御は、作業可能空間範囲内で当該作業機構２の機械的配置を基準に設定された３軸直交座標の機械座標系ＸＹＺ（以下において「自機械座標系ＸＹＺ」という）上における座標位置の演算処理に基づいて行われる。

また、本実施形態の例では、当該作業機構２の基台２２にキャスター２３が設けられており、作業機構２全体が例えばユーザの手作業などによって任意の位置に移動可能な構成となっている。なお、ワークＷを搬送移動させるベルトコンベア５については、上記作業機構２とは別体で構成されてあらかじめ作業現場の床面に固定的に設置（搬送可能な構成で固定設置したものでもよい）されたものであり、そのベルトの搬送方向、搬送速度、搬送高さも含めた機械的、制御的な仕様については未知のものであるとする。

カメラ３は、この例では光学的に２次元ピクセル列の画像情報（検知情報）を撮像可能なセンサである。このカメラ３は、上記作業機構２の作業可能空間範囲を上方から鉛直方向に見下ろす位置と姿勢で作業機構２に固定されており、その作業可能空間範囲の全体又は少なくとも一部を撮像可能となっている。

コントローラ４は、上記カメラ３で撮像した画像情報に基づいて、作業機構２の作業に関する各種処理を行い作業機構２に駆動電力を供給する。このコントローラ４は、位置検出部４１と、作業制御部４１と、モーション制御部４３と、サーボアンプ４４とを有している。

位置検出部４１は、本実施形態の例では、上記カメラ３で撮像した画像情報を画像認識することで、その時点で上記作業機構２の作業可能空間範囲内に存在するワークＷの現在位置情報を検出する。本実施形態の例において、このワークＷの現在位置情報は、当該ワークＷに対して作業機構２が目的としている作業（この例の押印作業）を実行し得る作業基準点の位置（つまり上記作業位置と成り得る位置）に設定されている。つまり本実施形態の例では、円筒形状にあるワークＷにおいてその円形上平面の表面中心点の位置が当該ワークＷの現在位置情報として検出される。そして当該位置検出部４１は、この現在位置情報を自機械座標系ＸＹＺ上の座標位置（上記ＸＹＺ座標系の各軸上の数値情報）として出力する。

なお、ワークＷの現在位置情報の設定は、作業機構２が実行する作業内容によって変わり得るものであり、例えば把持作業を行う場合には当該ワークＷの重心位置等が適切となり、また例えば吹き付け塗装作業を行う場合には当該ワークＷの塗装箇所表面から所定距離離間した位置が適切となる（特に図示せず）。このため、作業機構２の作業内容によっては、ワークＷの現在位置情報は実物理世界における当該ワークＷの表面又は占積空間内に限られず、当該ワークＷの占積空間の外に設定されてもよい。もしくは、ワークＷの表面又は占積空間内にその存在基準となる現在位置情報を設定し、それに対して所定の位置関係にある作業基準点を別途設定してもよい。

また当該位置検出部４１は、画像情報内に複数のワークＷが撮像されている場合には、それぞれのワークＷの現在位置情報を個別に検出する。なお、この位置検出部４１における内部処理構成については、後の図２において詳述する。

作業制御部４２は、上記位置検出部４１で検出されたワークＷの現在位置情報に基づいて、上記作業機構２のエンドエフェクタ２１（スタンプ）を移動して作業を実行させる位置（作業位置）としての作業位置指令を出力する。この作業位置指令もまた、自機械座標系ＸＹＺ上の座標位置（上記ＸＹＺ座標系の各軸上の数値情報）として出力される。なお、この作業制御部４２における内部処理構成についても、後の図２において詳述する。

モーション制御部４３は、上記作業制御部４２から入力された作業位置指令に基づいて、作業機構２のエンドエフェクタ２１を当該作業位置指令の位置に移動させるために必要となる作業機構２の各駆動軸モータ（図示省略）の目標回転角度等を演算し、対応するモータ位置指令を出力する。このような目標回転角度の演算は、公知のいわゆる逆キネマティック演算の手法により行えばよく、ここではその詳細な説明を省略する。

サーボアンプ４４は、上記モーション制御部４３から入力されたモータ位置指令に基づいて、作業機構２の各駆動軸モータ（図示省略）を駆動制御する駆動電力の給電制御を行う。

なお、当該コントローラ４は、その全体が作業機構２の基台２２内部に収納されて一体に移動可能としてもよいし、全体又は一部が作業機構２の筐体外に設けられて可撓性ケーブル等を介して情報送受可能に接続されてもよい。

＜本実施形態の特徴＞
現在利用されている一般的な自動化装置は、予め機構の機械的配置を基準に設定された自機械座標系ＸＹＺ上の任意の座標位置まで所定作業を実行するエンドエフェクタを移動させる（さらに任意の姿勢方向に向かせる）よう数値制御される。

しかし工場などの実作業現場では、作業機構２（とそのエンドエフェクタ２１）に作業させる対象のワークＷが、本実施形態の例のように作業機構２と別体に構成されたベルトコンベア５上で搬送移動される等のように、上記自機械座標系ＸＹＺとは無関係に設定された他の機械の機械座標系（以下において「他機械座標系」という；特に図示せず）上における所定の動作規則（モーション）で移動する場合が多くある。

このため、作業機構２を作業現場に設置する際には、ワークＷの移動基準となる他機械座標系と当該作業機構２の自機械座標系ＸＹＺとの間の配置誤差を機械的又は座標演算的に補正（較正）する必要があり、さらに作業機構２に対して上記所定動作規則に基づくワークＷの移動に対応した目標位置指定作業が必要となっていた。しかしながら、このような座標間補正や目標位置指定作業には熟練した技術や高い専門知識、また特殊な治具や多数の作業工程が必要であり非常に煩雑となっていた。また一方、近年では本実施形態の例の作業機構２のようにそれ自体が移動可能に構成され、多様な作業現場への設置と撤去を高い頻度で繰り返す利用方法が提案されており、どのような作業現場でも容易に作業を開始できる汎用性、適応性が要望されていた。

これに対し本実施形態では、作業可能空間範囲内に設定された自機械座標系ＸＹＺの任意の位置に存在するワークＷに対して所定作業が可能な作業機構２と、自機械座標系ＸＹＺに存在するワークＷを光学的に検知するカメラ３と、カメラ３の検知情報（画像情報）に基づいて、その時点の自機械座標系ＸＹＺ中におけるワークＷの現在位置情報を検出可能な位置検出部４１と、自機械座標系ＸＹＺ中で移動する同一のワークＷに対して位置検出部４１が異なる検出タイミングで検出した複数の現在位置情報に基づいて作業機構２の作業位置を指令する作業制御部４２と、を有している。

これにより、作業制御部４２は、位置検出部４１が検出した複数の現在位置情報に基づいて自機械座標系ＸＹＺにおけるワークＷの移動動作に対応した作業機構２の作業位置を指令でき、当該作業機構２のエンドエフェクタ２１等にその作業位置でワークＷを捕捉させることができる。これは、ワークＷの移動に関してその所定動作規則を自動的に認識するだけであり、外部の他機械座標系との間の配置誤差を考慮する必要がない。このため、作業機構２に対する所定動作規則に対応した上記目標位置指定作業や座標間補正の作業を不要とし、ワークＷが移動する作業環境への作業機構２の適応性を向上させることができる。以上の機能を実現するために必要な手法について、以下に順次説明する。

＜位置検出部と作業制御部の詳細構成＞
図２は、上記コントローラ４が備える位置制御部及び作業制御部４２のソフトウェアブロックの一例を表している。この図２において、位置検出部４１は、センサ位置検出部４１１と、座標変換部４１２とを備えている。

上記カメラ３は、作業機構２の本体とは別体で構成された光学センサであり、撮像する画像情報（この例のワークを含む対象環境の２次元画像）は当該カメラ３に独自に設定されたカメラ座標系ＸｃＹｃ（センサ座標系）上の２次元ピクセル列データとして取得される。

そこでセンサ位置検出部４１１は、カメラ３が撮像した画像情報に基づいて、その画像情報内に撮像されているワークＷの現在位置情報を当該カメラ３に個別に設定されたカメラ座標系ＸｃＹｃにおける位置情報として検出する。このセンサ位置検出部４１１の内部処理については、公知の画像認識アルゴリズムを適用すればよく、ここではその詳細な説明を省略する。（そのうち、深層学習による機械学習プロセスで学習したニューラルネットワークを適用する場合の具体例については、後に詳述する。）

そして座標変換部４１２は、上記センサ位置検出部４１１が検出したカメラ座標系ＸｃＹｃにおけるワークＷの現在位置情報を、カメラ３の位置と姿勢に基づいて自機械座標系ＸＹＺにおける現在位置情報に変換して出力する。なお本実施形態の例では、自機械座標系ＸＹＺにおけるカメラ３の設置位置（Ｃｐ（Ｘｐ、Ｙｐ、Ｚｐ）：図１参照）と、その撮像方向を含む設置姿勢（Ｄｃ：図１参照）は既知の値で固定されている。これにより、当該座標変換部４１２における処理内容は、公知の線形写像の手法によってカメラ座標系ＸｃＹｃから自機械座標系ＸＹＺへの座標変換を行えばよく、ここではその詳細な説明を省略する。

そして本実施形態では、上記カメラ３が所定の時間間隔で周期的に画像情報を撮像し、上記位置検出部４１はその撮像周期に対応した異なる検出タイミングで、移動する同一のワークＷについての複数の現在位置情報を時系列的に検出する。

また図２において、作業制御部４２は、ベクトル算出部４２１と、移動先算出部４２２とを備えている。

ベクトル算出部４２１は、上記位置検出部４１が検出した複数の現在位置情報に基づいて、自機械座標系ＸＹＺ中で移動する当該ワークＷの単位時間当たりの移動速度ベクトルを算出する。この移動速度ベクトルは、ワークＷの移動方向も含む情報であり、自機械座標系ＸＹＺ上の数値情報として出力される。

そして移動先算出部４２２は、同一のワークＷに対応して検出された複数の現在位置情報のうちのいずれか１つを基点として、算出された移動速度ベクトルに基づき当該ワークＷの移動先位置を算出する。この移動先位置は、すなわち将来的に当該ワークＷが通過する移動経路上の１点の位置であり、移動先算出部４２２は当該ワークＷが当該移動先位置に到達する到達タイミングも併せて算出する。

そして作業制御部４２は、自機械座標系ＸＹＺにおける上記移動先位置を作業位置指令として出力する一方、特に図示しない別途の制御経路を介して作業機構２のエンドエフェクタ２１の作業を上記到達タイミングで開始させる。本実施形態の例においては、エンドエフェクタ２１の作業がすなわちスタンプを降下させて押印する作業であるため、上記到達タイミングをエンドエフェクタ２１の作業開始タイミングとしてスカラ機構の昇降軸に対し降下動作指令を出力することになる。

＜作業制御内容の具体例＞
ここで、図３〜図７を参照しつつ、作業制御部４２における作業制御内容を具体的に説明する。なお以下の図３〜図６においては、説明を簡略化する便宜上、自機械座標系ＸＹＺのＸ軸方向とカメラ座標系ＸｃＹｃのＸｃ軸方向とベルトコンベア５の搬送方向が全て一致しつつ、ベルトコンベア５を真上から見下ろす位置、姿勢でカメラ３が固定されているものとし、またベルトコンベア５の搬送面（ベルト上面）の床面からの高さ寸法（自機械座標系ＸＹＺにおける搬送面の高さ位置、搬送面とカメラ位置との間の離間距離）が既知であることを前提として説明する。これにより、自機械座標系ＸＹＺにおけるワークＷの移動に関しては、Ｘ軸上の座標値で一元化して単純に扱うことができる。また画像情報の図示においては、必要に応じて現在時刻で撮像された画像（現在画像）と併せ、過去に撮像された画像（過去画像）や将来的に撮像される画像（将来画像）も重複して表示するものとする。

図３は、カメラ３が撮像した画像情報の一例を表している。この図示する例において、ベルトコンベア５はワークＷを左から右へ向かう方向（カメラ座標系ＸｃＹｃのＸｃ軸正方向）に直線的に等速度で搬送し、カメラ３はその移動する同一のワークＷを所定周期で撮像する。このため、最初の画像情報中では左端に位置しているワークＷ（図中の実線で表される現在画像）が、その後に順次撮像される画像情報中では右方向で等間隔な配置で撮像される（図中の破線で表される将来画像）。

このようなワークＷの直線等速度移動の動作規則（モーション）は図４のように表せる。この図４おいて、最初（Ｔ０）に最も左端のＰｏｓ０の位置（図中の点線で表される過去画像）で撮像されたワークＷは、その後カメラ３の撮像時間間隔ΔＴの経過後（Ｔ１）にＰｏｓ１の位置（図中の実線で表される現在画像）で撮像され、その後に順次Ｐｏｓ２、・・・、ＰｏｓＮの位置（図中の破線で表される将来画像）で撮像される（Ｔ２、・・・、ＴＮ）。上記センサ位置検出部４１１では、撮像された各画像情報それぞれにおいてワークＷの外観を画像認識し、カメラ座標系ＸｃＹｃ中におけるそれらの現在位置情報（この例のワークＷの中心位置）を検出する。そして上記座標変換部４１２がカメラ座標系ＸｃＹｃの各現在位置情報を自機械座標系ＸＹＺの各現在位置情報に変換する。

作業制御部４２のベクトル算出部４２１は、２つ目の画像情報からＰｏｓ１の現在位置情報が検出された時点Ｔ１（現在時刻）で、直前Ｔ０のＰｏｓ０の現在位置情報との差分から移動速度ベクトルＶを算出する。この例では自機械座標系ＸＹＺにおけるＰｏｓ１のＸ軸座標位置からＰｏｓ０のＸ軸座標位置を差し引いた位置偏差ベクトルが移動速度ベクトルＶとなる。この移動速度ベクトルＶは、カメラ３の撮像時間間隔ΔＴ（センサの検知周期）を単位時間とした当該ワークＷの移動速度と移動方向を表している。なお、この移動速度ベクトルＶは、２つ目以降の現在位置情報が検出された際に算出することができ、最新の現在位置情報からその直前の現在位置情報を差し引いた位置偏差ベクトルから求めることができる。

また、移動速度ベクトルＶの単位時間については、上述したカメラ撮像時間間隔ΔＴに限られず、それよりも一般的に時間間隔が短い作業制御部４２の制御サイクル（作業制御部の制御周期）Δｔを移動速度ベクトルＶ′の単位時間としてもよい。この場合には、上記位置偏差ベクトルを単位時間比（ΔＴ／Δｔ）で割ることで算出できる。

そして上記移動先算出部４２２は、図５に示すように、現在時刻Ｔ１からカメラ撮像時間間隔ΔＴが経過した時点Ｔ２を到達タイミングとして、現在時刻のＰｏｓ１の現在位置情報に上記移動速度ベクトルＶを加算したＰｏｓ２の位置にワークＷが到達することを予測し、対応する作業位置指令を出力する。なお、その時点（現在時刻Ｔ１）における作業機構２のエンドエフェクタ２１の位置とその移動可能速度を考慮して、上記到達タイミングＴ２までに上記のＰｏｓ２の位置へエンドエフェクタ２１を移動させることができないと判断した場合には、それ以降で間に合うと判断できるＰｏｓＮの位置とその到達タイミングＴＮに対応する作業位置指令を出力する。この場合には、時間間隔の短い作業制御部４２の制御サイクルΔｔを単位時間とした移動速度ベクトルＶ′を用いて作業位置指令を出力することで、制御精度が向上するとともに作業開始までの時間を短縮化できる。

また、図６に示すように、ワークＷの上方に作業機構２のアームが重複することでカメラ３がワークＷを撮像できず、その時点のワークＷの現在位置情報の検出に失敗する場合がある。この場合には、それ以前に同一のワークＷに対して検出に成功した他の複数の現在位置情報と、それらに基づいて算出した移動速度ベクトルＶとを用いて移動先位置とその到達タイミングを算出すればよい。例えば、図６中における現在時刻Ｔ２のＰｏｓ２の位置でワークＷ（図中の一点鎖線で表される現在消失画像）を撮像できなかった場合でも、それ以前のＰｏｓ０とＰｏｓ１の間の位置偏差ベクトルから求めた移動速度ベクトルＶを用いて、現在位置情報を検出できた直近のＰｏｓ１を基点として移動先位置と到達タイミングを算出できる。具体的には、Ｐｏｓ１の位置に移動速度ベクトルＶを例えば２回加算した位置を移動先位置とし、現在時刻Ｔ２から単位時間（カメラ撮像時間間隔ΔＴ）だけ経過した時点（Ｔ３）を到達タイミングとすればよい。なお、上記の原因でワークＷの現在位置情報の検出に失敗したこと自体は、自機械座標系ＸＹＺにおける作業機構２のアームの位置とそれまでに予測されたワークＷの位置との間の配置関係から容易に認知できる。しかし、それ以外の外的な要因（例えば瞬間的にカメラ３の撮像方向が遮られる等）による場合でも、上記の対処手法でワークＷの移動先位置と到達タイミングを算出できる。

以上に説明した作業制御内容は、自機械座標系ＸＹＺのＸ軸方向とカメラ座標系ＸｃＹｃのＸｃ軸方向とベルトコンベア５の搬送方向が全て一致していることを前提としていた。しかしながら、実際の作業現場（特に本実施形態の例のように作業機構２自体が移動可能な構成である場合）では、例えば図７の画像情報例に示すように、ベルトコンベア５の搬送方向が自機械座標系ＸＹＺ及びカメラ座標系ＸｃＹｃに対して傾斜している場合の方が多い（図７に示す例では自機械座標系ＸＹＺとカメラ座標系ＸｃＹｃのＸ，Ｙ各軸方向が一致）。しかしこの場合でも、移動速度ベクトルＶをＸ軸方向とＹ軸方向の各成分Ｖｘ、Ｖｙで併せて算出することで、上記と同様の手法によりワークＷの移動先位置と到達タイミングを算出し、対応する作業位置指令を出力できる。

また、自機械座標系ＸＹＺとカメラ座標系ＸｃＹｃとの間が傾斜する配置関係である場合であっても（特に図示せず）、自機械座標系ＸＹＺ中におけるカメラ３の設置位置（Ｃｐ（Ｘｐ、Ｙｐ、Ｚｐ）：図１参照）と、その撮像方向を含む設置姿勢（Ｄｃ：図１参照）が既知であれば、座標変換部４１２がその設置位置Ｃｐと設置姿勢Ｄｃを反映して座標変換を行うことで、自機械座標系ＸＹＺにおけるワークＷの現在位置情報を検出できる。またカメラ３の設置位置Ｃｐと設置姿勢Ｄｃが可動な構成であっても、エンコーダやリニアスケールなどのセンサにより自機械座標系ＸＹＺにおけるカメラ３の設置位置Ｃｐと設置姿勢Ｄｃを検出できれば、同様にそれらを反映した座標変換が可能である（特に図示せず）。

なお、ベルトコンベア５の搬送面（ベルト上面）の床面からの高さ寸法（自機械座標系ＸＹＺにおける搬送面の高さ位置、搬送面とカメラ位置との間の離間距離）が未知である場合に対しては、例えばカメラ３に別途設けたレーザースキャナ（特に図示せず）等で搬送面とカメラ位置との間の離間距離を検出し、それに基づいて座標変換部４１２で自機械座標系ＸＹＺにおけるワークＷの高さ位置（Ｚ軸方向座標位置）も含めた現在位置情報を検出すればよい。

また、画像情報中に複数のワークＷが撮像されている場合には、位置検出部４１が各ワークＷを個別に識別してそれぞれの現在位置情報を検出し、作業制御部４２が各ワークＷのそれぞれに対して順に作業位置指令を出力すればよい（特に図示せず）。

＜本実施形態による効果＞
以上説明したように、本実施形態の自動化装置１は、カメラ３が撮像した画像情報に基づいて、その時点の自機械座標系ＸＹＺ中におけるワークＷの現在位置情報を検出可能な位置検出部４１と、自機械座標系ＸＹＺ中で移動する同一のワークＷに対して位置検出部４１が異なる検出タイミングで検出した複数の現在位置情報に基づいて作業機構２の作業位置指令を出力する作業制御部４２と、を有している。

これにより、作業制御部４２は、位置検出部４１が検出した複数の現在位置情報に基づいて自機械座標系ＸＹＺにおけるワークＷの移動動作に対応した作業機構２の作業位置を指令でき、当該作業機構２のエンドエフェクタ２１（スタンプ）等にその作業位置でワークＷを捕捉させることができる。これは、ワークＷの移動に関してその動作規則を自動的に認識するだけであり、外部の他機械座標系（例えばベルトコンベア５に設定された機械座標系）との間の配置誤差を考慮する必要がない。このため、作業機構２に対するワークＷの動作規則に対応した目標位置指定作業や座標間補正の作業を不要とし、ワークＷが移動する作業環境への適応性を向上させることができる。

なお、本実施形態ではワークＷの個体ごとにその動作規則（モーション：移動方向、移動速度、移動タイミング）を認識できるため、例えば図８に示すように、個別に異なる動作規則で作業機構２の作業可能空間範囲を通過する複数のワークＷに対しても、作業機構２がそれぞれのワークＷを捕捉することができる。また図示するように、それぞれ外観形状が異なる複数のワークＷに対しても、予め位置検出部４１に各ワークＷの外観形状を登録（学習）しておくことで、当該位置検出部４１が各ワークＷを個別に画像認識しそれらの現在位置情報を検出させることができる。

また、本実施形態では特に、作業制御部４２は、位置検出部４１が同一のワークＷに対して異なる検出タイミングで検出した複数の現在位置情報に基づいて自機械座標系ＸＹＺ中で移動する当該ワークＷの単位時間当たりの移動速度ベクトルＶを算出するベクトル算出部４２１と、いずれかの現在位置情報を基点として移動速度ベクトルＶに基づき当該ワークＷの移動先位置を算出する移動先算出部４２２と、を有しており、算出した移動先位置を作業機構２の作業位置として指令する。これにより、その時点の移動速度ベクトルＶに基づいてワークＷが将来的に移動する経路上の移動先位置を予測でき、その移動先位置に作業機構２のエンドエフェクタ２１等を移動させてワークＷを捕捉させることができる。

また、本実施形態では特に、移動先算出部４２２は、ワークＷの移動先位置への到達タイミングも算出し、作業制御部４２は、到達タイミングを作業機構２（エンドエフェクタ２１）の作業開始タイミングとして指令する。これにより、移動するワークＷに対するエンドエフェクタ２１等での印刷処理、把持動作、又は加工処理などといった瞬時的な同期作業も正確なタイミングで行うことができる。

また、本実施形態では特に、移動先算出部４２２は、位置検出部４１がワークＷの現在位置情報の検出に失敗した場合でも、検出に成功した他の現在位置情報を基点として移動先位置を予測する。これにより、例えばワークＷに作業機構２の一部が重なるなどによりカメラ３が一時的にワークＷを見失った場合でも、他の現在位置情報で補完して移動先位置を予測できる。

また、本実施形態では特に、ベクトル算出部４２１は、カメラ３のカメラ撮像時間間隔ΔＴを単位時間として移動速度ベクトルＶを算出する。これにより、ワークＷの現在位置情報の検出周期で移動先位置や到達タイミングを算出でき、エンドエフェクタ２１等でのワークＷの捕捉も同じタイミングでカメラ３の撮像により確認できる。

また、本実施形態では特に、ベクトル算出部４２１は、作業制御部４２の制御周期を単位時間として算出してもよい。この場合には、カメラ３のカメラ撮像時間間隔ΔＴより比較的短い制御周期で移動速度ベクトルＶを算出でき、高い分解精度で移動先位置（例えば上記図５中のｔ５、ｔ６、ｔ７などの時点の位置）や到達タイミングを算出できる。

また、本実施形態では特に、センサとして、ワークＷを含む対象環境の２次元画像を光学的に撮像するカメラ３を有している。これにより、２次元画像に基づく画像認識で現在位置情報の検出が可能となる。

なお、カメラ３については、低歪の広角レンズを備えた高解像度カメラを利用することで、より広い視野角で比較的遠方に位置するワークＷでもその存在と現在位置情報を迅速に検出できるため好適である。

また、本実施形態では特に、位置検出部４１は、２次元画像に基づく画像認識により自機械座標系ＸＹＺにおけるワークＷの現在位置情報を検出する。これにより、多様な外観（形状、色、模様）のワークＷにも柔軟に対応してその位置や姿勢を検知できる。

また、本実施形態では特に、カメラ３は、自機械座標系ＸＹＺにおける設置位置Ｃｐと設置姿勢Ｄｃが既知（既知であれば可動式でも可能）であり、位置検出部４１は、カメラ３が撮像した画像情報に基づいてカメラ３に個別に設定されたカメラ座標系ＸＹＺにおける現在位置情報を検出するセンサ位置検出部４１１と、カメラ座標系ＸｃＹｃにおける現在位置情報を、カメラ３の設置位置Ｃｐと設置姿勢Ｄｃに基づいて自機械座標系ＸＹＺにおける現在位置情報に変換する座標変換部４１２とを有している。これにより、カメラ３のカメラ座標系ＸｃＹｃから自機械座標系ＸＹＺへの座標変換処理も自動的に行い、カメラ３の画像情報から作業機構２の作業制御に利用可能なワークＷの現在位置情報を容易に検出できる。

また、本実施形態では特に、作業機構２は、その全体が移動可能に構成され、自機械座標系ＸＹＺは、作業機構２の機械的配置を基準に設定されている。これにより、多様な作業現場への作業機構２の任意な設置と撤去を簡易に行うことができ、このような汎用性の高い作業機構２の利用形態に対して本実施形態の作業機構制御の適用が特に好適である。

＜変形例＞
なお、以上説明した実施形態は、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。

＜変形例１：現在位置情報をそのまま作業位置として追従制御する場合＞
上記実施形態では、同一のワークＷに対して時系列的に得られた複数の現在位置情報から当該ワークＷの動作規則に相当する移動速度ベクトルＶを求め、それに基づいて予測される当該ワークＷの将来的な移動先位置と到達タイミングを作業機構２の作業位置指令として出力していたが、これに限られない。例えば、作業制御部４２は、位置検出部４１が検出した現在位置情報をそのまま作業機構２の作業位置として逐次指令してもよい。この場合でも、図９に示すように、作業機構２は同一のワークＷに対して逐次検出された現在位置情報をそのまま追従するようエンドエフェクタ２１等を移動させることができ、その結果作業機構２のエンドエフェクタ２１にワークＷを捕捉させることができる。

＜変形例２：時間変化する移動速度や移動方向にも対応する場合＞
上記実施形態では、ベルトコンベア５での搬送によりワークＷが直線等速度の動作規則で移動する場合への適用例を説明したが、他にもワークＷの動作規則が時間変化する場合にも適用できる。この場合には、時系列的に連続する２つ以上の移動速度ベクトルＶを算出し、それらの間の時間変化率を推定して将来的に現れる移動速度ベクトルＶを算出し、それに基づいた移動先位置（移動軌跡）と到達タイミングを算出すればよい。具体的には、ベクトル算出部４２１が、移動速度ベクトルＶの時間変化率も算出し、移動先算出部４２２が、それまでに検出されたいずれかの現在位置情報を基点とし移動速度ベクトルＶと時間変化率に基づいて移動先位置と到達タイミングを算出すればよい。これにより、例えば自由落下や円周軌道などのような移動速度や移動方向が時間変化するワーク移動の動作規則も自動的に認識でき、それに対応した作業機構２の捕捉制御が可能となる（特に図示せず）。

＜変形例３：センサとして距離測定センサを有する場合＞
上記実施形態では、ワークＷの存在自体を検知するためのセンサとして２次元画像を撮像するカメラ３を備えていたが、これに限られない。他にも、特に図示しないが、検知情報として当該ワークＷを含む対象環境の外周表面における計測点との離間距離を計測するレーザースキャナや超音波センサなどの距離測定センサをセンサとして備えてもよい。この場合、レーザースキャナ又は超音波センサが作業機構２の作業可能空間範囲内（自機械座標系ＸＹＺ）を走査して多数の計測点との離間距離を計測し、それらの離間距離データの集合から特定の形状にあるワークＷの現在位置情報を検出する。これにより、カメラ３より簡易な構成で、また比較的暗い周囲環境でもワークＷの現在位置情報の検出が可能となる。なお、上述したようにカメラ３と併用して、自機械座標系ＸＹＺにおける当該カメラ３とワークＷとの間の相対的な配置関係の検出に利用してもよい。

＜変形例４：位置検出を深層学習で行う場合＞
上記実施形態におけるセンサ位置検出部４１１の画像認識処理を、深層学習による機械学習プロセスで学習したニューラルネットワークＷで実装する場合の具体的な一例を以下に説明する。図１０は、センサ位置検出部４１１が実装するニューラルネットワークモデル概略図の一例を表している。

図１０に示すセンサ位置検出部４１１のモデル概略図では、カメラ３から入力された２次元ピクセル列データである画像情報に対して、予め学習した特定のワークＷの外観形状を認識し、さらにカメラ座標系ＸｃＹｃ（画像情報の座標系）において予め学習した当該ワークＷの作業基準点となる現在位置情報を出力するよう設計、調整されている。その出力される現在位置情報は、機械学習プロセス（深層学習）での学習内容に基づくものであり、当該画像情報中に含まれているワークＷの外観（形状、姿勢）に対応して適切に作業（上記実施形態の例のスタンプ押印）を遂行できると推定した作業位置である。すなわち、このセンサ位置検出部４１１のニューラルネットワークは、画像情報に含まれるワークＷの外観形状パターンと現在位置情報（作業可能位置）との相関を表す特徴量を学習している。

以上の基本仕様にあるニューラルネットワークにおいては、例えば入力層の直近をいわゆる畳み込み層とプーリング層の組み合わせである畳み込みニューラルネットワーク（特に図示せず）で構成することで柔軟なパターンの認識が可能となる。また例えば、出力層の直近を最適値演算に適した全結合層（特に図示せず）で構成することも好適である。

このニューラルネットの学習手法としては、いわゆる教師あり学習と強化学習のいずれによっても行うことが可能である。例えば教師あり学習を行う場合には、ワークＷをカメラ座標系ＸｃＹｃ中の既知の位置に配置した画像情報（実撮像画像でもよいしコンピュータ上のシミュレーション画像でもよい）を入力データとし、その既知のワーク位置を出力データとした組み合わせの教師データを用いればよい。このような教師データを多数用いて、各ニューラルネットワークの入力層と出力層の間の関係性が成立するよう各ノードどうしをつなぐ各エッジの重み係数を調整するいわゆるバックプロパゲーション処理（誤差逆伝搬処理）により学習を行う。なお、このようなバックプロパゲーションの他にも、いわゆる積層オートエンコーダ、ドロップアウト、ノイズ付加、及びスパース正則化などの公知の多様な学習手法を併用して処理精度を向上させてもよい。

また強化学習を行う場合には、ランダムな位置に配置されたワークＷに対して作業機構２にランダムな作業位置で作業をさせた際の誤差量（評価値）を検出し、その誤差量が少なくなるように（将来的に評価値に基づく報酬が最大に得られるように）ニューラルネットワークのバックプロパゲーション処理を行う。作業位置のランダム性を逐次調整しながらこのような学習作業を繰り返すことで、センサ位置検出部４１１のニューラルネットワークはワークＷのパターン認識とそれに対する適切な作業位置、つまり現在位置情報を出力するための特徴量を学習できる。このような強化学習は、いわゆる公知のＱ学習アルゴリズムを用いればよく、ここではその詳細な説明を省略する。

なお、センサ位置検出部４１１の処理アルゴリズムは、図示したニューラルネットワークを用いた深層学習（ディープラーニング）によるもの以外にも、例えばサポートベクトルマシンやベイジアンネットワーク等を利用した他の処理アルゴリズム（特に図示せず）を適用してもよい。

また以上のセンサ位置検出部４１１の学習は、図１１に示すように、ワークＷに対して上方から見下ろす設置位置Ｃｐ１（Ｘｐ１、Ｙｐ１、Ｚｐ１）と設置姿勢Ｄｃ１のカメラ３で撮像した画像情報に限られず、ワークＷに対して傾斜した設置位置Ｃｐ２（Ｘｐ２、Ｙｐ２、Ｚｐ２）と設置姿勢Ｄｃ２のカメラ３で撮像した画像情報も併せて学習してもよい。これにより、任意の設置位置Ｃｐと設置姿勢Ｄｃにあるカメラ３で撮像した画像情報でも良好な精度でワークＷの現在位置情報を出力できる。この場合にも、カメラ３の設置位置Ｃｐと設置姿勢Ｄｃが既知であれば、座標変換部４１２で自機械座標系ＸＹＺでの現在位置情報を出力できる。

また、図１２に示すように、画像情報と併せてカメラ３の設置位置Ｃｐと設置姿勢Ｄｃを併せたカメラ位置姿勢情報を入力することで、自機械座標系ＸＹＺにおけるワークＷの現在位置情報を直接出力できるようセンサ位置検出部４１１のニューラルネットワーク（図中では略記）を設計、調整してもよい。この場合には、位置検出部４１における座標変換部４１２を省略できる。

上記実施形態の自動化装置１は、以上のようにセンサ位置検出部４１１に対して、事前に作業対象であるワークＷの外観形状とその基準点位置（現在位置情報、作業位置）を予め学習（登録）させるだけで、他の搬送機械等の他機械座標系に対する配置関係を考慮せずとも移動するワークＷの捕捉が可能となる。

以上説明したように、本変形例の自動化装置１は、カメラ３は、自機械座標系ＸＹＺにおける設置位置Ｃｐと設置姿勢Ｄｃが既知であり、位置検出部４１は、カメラ３の設置位置Ｃｐと設置姿勢Ｄｃを反映した機械学習プロセス（例えば深層学習）での学習内容に基づいて画像認識する。これにより、複雑で人為的なアルゴリズム設計によらず、学習データ（訓練データ）やシミュレーションなどでの学習によって、自機械座標系ＸＹＺにおけるカメラ３の設置位置Ｃｐと設置姿勢Ｄｃを反映したワークＷの外観認識と現在位置情報を高い精度で検出可能となる。また、特に深層学習等での画像認識では、カメラ座標系ＸＹＺからの座標変換処理を経ることなく、２次元画像から直接的に自機械座標系ＸＹＺにおけるワークＷの３次元座標位置として現在位置情報を検出できる。

＜変形例５：その他＞
上記実施形態及び各変形例では、作業機構２としてスカラ機構を適用していたが、これに限られない。他にも、特に図示しない垂直多軸機構や直交座標機構、パラレルリンク機構を適用してもよい。

なお、以上の説明において、「垂直」「平行」「平面」等の記載がある場合には、当該記載は厳密な意味ではない。すなわち、それら「垂直」「平行」「平面」とは、設計上、製造上の公差、誤差が許容され、「実質的に垂直」「実質的に平行」「実質的に平面」という意味である。

また、以上の説明において、外観上の寸法や大きさ、形状、位置等が「同一」「同じ」「等しい」「異なる」等の記載がある場合は、当該記載は厳密な意味ではない。すなわち、それら「同一」「等しい」「異なる」とは、設計上、製造上の公差、誤差が許容され、「実質的に同一」「実質的に同じ」「実質的に等しい」「実質的に異なる」という意味である。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１ 自動化装置
２ 作業機構
３ カメラ（センサ）
４ コントローラ
５ ベルトコンベア
２１ エンドエフェクタ
４１ 位置検出部
４２ 作業制御部
４３ モーション制御部
４４ サーボアンプ
４１１ センサ位置検出部
４１２ 座標変換部
４２１ ベクトル算出部
４２２ 移動先算出部
Ｖ、Ｖ′ 移動速度ベクトル
Ｗ ワーク

Claims (11)

1. 作業可能な空間範囲内に設定された自機械座標系の任意の位置に存在するワークに対して所定作業が可能な機構と、
   前記自機械座標系に対して任意かつ既知である設置位置と設置姿勢に可動な構成であって、前記ワークを含む対象環境の２次元画像を光学的に撮像するカメラと、
   前記カメラの設置位置と設置姿勢を反映した機械学習プロセスでの学習内容に基づく前記２次元画像の画像認識により前記自機械座標系中における前記ワークの現在位置情報を検出可能な位置検出部と、
   前記自機械座標系中で移動する同一のワークに対して前記位置検出部が異なる検出タイミングで検出した複数の現在位置情報に基づいて前記機構の作業位置を指令する作業制御部と、
   を有することを特徴とする自動化装置。
2. 前記作業制御部は、
   前記位置検出部が検出した前記現在位置情報を前記機構の作業位置として逐次指令することを特徴とする請求項１記載の自動化装置。
3. 前記作業制御部は、
   前記位置検出部が同一のワークに対して異なる検出タイミングで検出した複数の現在位置情報に基づいて前記自機械座標系中で移動する当該ワークの単位時間当たりの移動速度ベクトルを算出するベクトル算出部と、
   いずれかの前記現在位置情報を基点として前記移動速度ベクトルに基づき当該ワークの移動先位置を算出する移動先算出部と、
   を有し、
   前記移動先位置を前記機構の作業位置として指令することを特徴とする請求項１記載の自動化装置。
4. 前記移動先算出部は、
   前記ワークの前記移動先位置への到達タイミングも算出し、
   前記作業制御部は、
   前記到達タイミングを前記機構の作業開始タイミングとして指令することを特徴とする請求項３記載の自動化装置。
5. 前記ベクトル算出部は、
   前記移動速度ベクトルの時間変化率も算出し、
   前記移動先算出部は、
   いずれかの前記現在位置情報を基点とし前記移動速度ベクトルと前記時間変化率に基づいて前記移動先位置と当該ワークの前記移動先位置への到達タイミングを算出することを特徴とする請求項４記載の自動化装置。
6. 前記移動先算出部は、
   前記位置検出部が前記ワークの現在位置情報の検出に失敗した場合でも、検出に成功した他の現在位置情報を基点として前記移動先位置を予測することを特徴とする請求項３乃至５のいずれか１項に記載の自動化装置。
7. 前記ベクトル算出部は、前記カメラの撮像周期を前記単位時間として算出することを特徴とする請求項３乃至６のいずれか１項に記載の自動化装置。
8. 前記ベクトル算出部は、前記作業制御部の制御周期を前記単位時間として算出することを特徴とする請求項３乃至６のいずれか１項に記載の自動化装置。
9. 前記カメラは、
   低歪の広角レンズを備えた高解像度カメラであることを特徴とする請求項１乃至８のいずれか１項に記載の自動化装置。
10. 前記機構は、その全体が移動可能に構成され、
    前記自機械座標系は、前記機構の機械的配置を基準に設定されていることを特徴とする請求項１乃至９のいずれか１項に記載の自動化装置。
11. 所定の自機械座標系に対して任意かつ既知である設置位置と設置姿勢に可動な構成であって、前記自機械座標系の任意の位置に存在するワークを含む対象環境の２次元画像を光学的に撮像するカメラと、
    前記カメラの設置位置と設置姿勢を反映した機械学習プロセスでの学習内容に基づく前記２次元画像の画像認識により前記自機械座標系中における前記ワークの現在位置情報を検出可能な位置検出部と、
    を有することを特徴とする位置検出装置。

Images