WO2024252564A1 - ロボット制御装置及び画像処理システム - Google Patents

Abstract

画像データを取得可能な第１取得部と、画像データを前処理する前処理部と、画像データ又は前処理された画像データを１つ以上の外部機器に出力可能な出力部と、画像データ又は前処理された画像データに対する１つ以上の外部機器による検出処理の実行結果としての検出結果を取得する第２取得部と、を備えるロボット制御装置である。

Description

ロボット制御装置及び画像処理システム

　本開示は、ロボット制御装置及び画像処理システムに関する。

　対象物の位置を視覚センサで検出し、検出結果に基づいてロボットにより対象物を取り出す作業を実行可能なロボットシステムが知られている。これに関連し、例えば、特許文献１は、ロボットシステムにおいて用いられる画像処理装置であって、視覚センサを接続可能に構成されると共に、視覚センサで撮像された画像から対象物を検出する機能を有する画像処理装置を記載する。

特開２０２０－０３０６８１号公報

　ロボットシステムに検出処理のような画像処理機能を備えさせるための構成として、専用の画像処理装置を配備する構成や、ロボット制御装置に画像処理機能を持たせる構成があり得る。しかしながら、ロボットシステムに専用の画像処理装置を配備することはコストの増加を招き、また、配置スペースを必要とする。ロボット制御装置に画像処理機能を持たせる構成に関しては、一般にロボット制御装置はロボットの制御を優先する必要があるという制限や、処理能力の観点で大規模な画像処理の演算を行うには好適ではない場合がある。ロボットシステムにおける機器構成の複雑化を抑制しつつも、画像処理を効率的かつ確実に実行することを可能とする技術が求められている。

　本開示の一態様は、画像データを取得可能な第１取得部と、前記画像データを前処理する前処理部と、前記画像データ又は前記前処理された画像データを１つ以上の外部機器に出力可能な出力部と、前記画像データ又は前記前処理された画像データに対する前記１つ以上の外部機器による検出処理の実行結果としての検出結果を取得する第２取得部と、を備えるロボット制御装置である。

　添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るロボット制御装置を備えるロボットシステムと、外部機器としてのサーバとを含む画像処理システムの機器構成を表す図である。 ロボット制御装置及びサーバに関する機能ブロック図である。 ロボット制御装置による検出結果を取得するための処理の一例を表すフローチャートである。 画像処理システムの他の機器構成例を示す図である。 外部機器としてのロボット制御装置が備える機能の機能ブロック図である。

　次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

　図１は一実施形態に係るロボット制御装置２０を備えるロボットシステム１００と、外部機器としてのサーバ９０とを含む画像処理システム２００の機器構成を表す図である。図１に示すように画像処理システム２００は、ロボット制御装置２０を備えるロボットシステム１００に対して外部機器としてのサーバ９０がネットワーク８０を介して接続されたシステムとして構成されている。

　図１に示すように、ロボットシステム１００は、ロボット制御装置２０と、ロボット制御装置２０により制御されるロボット１０と、ロボット制御装置２０に接続された教示操作盤３０と、ロボット制御装置２０に接続された視覚センサ４０とを備える。ロボットシステム１００は、視覚センサ４０により撮像された画像に基づき、対象物の検出、判定等の画像処理を実行し、それらの結果基づいてロボット１０により対象物のハンドリングを行うように構成されている。ロボット制御装置２０は、視覚センサ４０を制御して対象物を撮像した画像を取得する機能を有すると共に、撮像画像に基づく画像データをサーバ９０に出力して検出等の画像処理を実行させその結果（検出結果等）を取得する機能を有する。

　ロボットシステム１００において、ロボット制御装置２０は、ロボット制御装置２０内にロードされた動作プログラム或いは教示操作盤３０からの指令に従ってロボット１０の動作を制御する。ロボット制御装置２０は、視覚センサ４０を制御する機能に加え、視覚センサで撮像された画像に対する検出等の画像処理を行う機能を備えていてもよい。ロボット制御装置２０は、プロセッサ２１、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、記憶部２２、操作部、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしてのハードウェア構成を有していても良い（図２参照）。

　教示操作盤３０は、ロボット１０の動作プログラムの教示（プログラム作成）、視覚センサ４０による撮像及び画像処理に係わる教示、視覚センサ４０で撮像された画像の表示、その他各種設定を行うための操作端末として用いられる。教示操作盤３０として、タブレット端末等の情報処理装置が用いられてもよい。教示操作盤３０は、プロセッサ、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、記憶装置、操作部、表示部３１、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしてのハードウェア構成を有していても良い。

　ロボット１０は、本実施形態では垂直多関節ロボットであるが、作業目的に応じてパラレルリンクロボット、双腕型ロボット等の他の種類のロボットが用いられても良い。ロボット１０は、手首部に取り付けられたエンドエフェクタによって所望の作業を実行することができる。例えば、ロボット１０は、ハンド（不図示）を搭載し、視覚センサ４０の撮像画像から検出された対象物の検出位置に基づき対象物に対する取り出し等を実行することができる。視覚センサ４０による検出等の対象（すなわち、ロボット１０によるハンドリングの対象）としての対象物は、機械部品、食品類、医薬品類等、様々なものがあり得る。また、対象物は箱のような立体物である場合もある。

　視覚センサ４０は、２次元画像を撮像する２次元カメラであっても、或いは、距離画像を取得可能な３次元カメラであってもよい。３次元カメラとして、光飛行時間方式により距離画像を撮像するＴＯＦ（Time of Flight）カメラ、或いは、２台のカメラを含むステレオカメラ等を用いることができる。視覚センサ４０は、図１に示すように作業空間内に固定設置されていてもよく、或いはロボット１０の所定の可動部位（アーム先端部等）に搭載されていてもよい。視覚センサ４０は、キャリブレーション済みであり、作業空間内での視覚センサ４０の位置はロボット制御装置２０において既知である。ロボット制御装置２０は、キャリブレーションデータを用いることにより、視覚センサ４０により撮像した画像上で検出された位置を、作業空間に設定した座標系（ロボット座標系等）上の位置として求めることができる。キャリブレーションデータ（視覚センサ４０の位置情報等）は、ロボット制御装置２０の記憶部２２（図２参照）に格納されている。

　サーバ９０は、ロボット制御装置２０から送られてくる画像データに対して検出等の画像処理を実行する機能を提供することができる。サーバ９０は、プロセッサ、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、記憶装置、操作部、表示部、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしてのハードウェア構成を有していても良い。

　図２は、ロボット制御装置２０及びサーバ９０に関する機能ブロック図である。図２に示すように、ロボット制御装置２０は、動作制御部１２１と、視覚センサ制御部１２２と、画像取得部（第１取得部）１２３と、前処理部１２４と、出力部１２５と、検出部１２６と、検出結果取得部（第２取得部）１２７と、比較統合部１２８とを備える。これらの機能ブロックは、ロボット制御装置２０のプロセッサ２１がソフトウェアを実行することで実現されるものであってもよい。

　図２には、ロボット制御装置２０内に備えられる記憶部２２も図示している。記憶部２２は、例えば、不揮発性メモリ或いはハードディスク装置等からなる記憶装置である。記憶部２２には、ロボット１０を制御するロボットプログラム、視覚センサ４０により撮像された画像に基づきワークの検出等の画像処理を行うプログラム（検出プログラム等）、キャリブレーションデータ、対象物のモデルデータ、各種設定情報等が格納されている。

　動作制御部１２１は、ロボットプログラムにしたがって、或いは教示操作盤３０からの指令に従ってロボット１０の動作を制御する。ロボット制御装置２０は、動作制御部１２１が生成する各軸に対する指令に従ってロボット１０の各軸のサーボモータに対するサーボ制御を実行するサーボ制御部（不図示）を備えている。

　視覚センサ制御部１２２は、視覚センサ４０を制御する機能を有する。視覚センサ制御部１２２は、例えば、検出プログラムに記述された指令に従って視覚センサ４０による撮像を制御する。

　画像取得部１２３は、視覚センサ４０が撮像した画像を取得する機能を有する。視覚センサ４０により撮像される画像は、２次元画像或いは距離画像である。

　前処理部１２４は、視覚センサ４０により撮像された画像に対して検出等の画像処理を効率よく実行するための前処理を実行する。前処理部１２４は、予め指定された教示内容にしたがって前処理を実行することができる。教示内容は、例えば、作業者が教示操作盤３０を介して入力したものであってもよい。前処理は、例えば、画像の縮小、背景の除去、トリミングの一つ以上を含んでいてもよい。

　画像の縮小は、撮像画像を縮小して解像度（画素数）を低下させる処理である。

　背景の除去は、撮像画像上で対象物が配置されない背景領域を除去する処理である。例えば、対象物がコンテナ内に置かれた状態でロボットシステム１００に供給される場合に、前処理部１２４は、コンテナのモデルデータに基づいて画像上でのコンテナの輪郭を検出し、コンテナ以外の部分を画像から除去するようにしてもよい。或いは、前処理部１２４は、撮像画像上で作業者がコンテナの領域（輪郭）を指定する操作を受け付け、指定されたコンテナンの領域以外の部分を画像から除去するようにしてもよい。

　視覚センサ４０として距離画像を取得可能な３次元カメラが用いられる場合、前処理部１２４は、例えば、距離画像中で高さが一定値以下（又は一定値以上）の領域を背景とみなして画像から除去するようにしてもよい。例えば、対象物が段ボール箱のような立体物である場合、前処理部１２４は、画像内で高さが一定値以下の領域を床面（背景）とみなして画像から除去することができる。

　トリミングは、例えば、作業者が撮像画像上で対象物が配置されない領域を指定し、指定された領域を撮像画像から取り除くことで実現され得る。前処理部１２４は、作業者が撮像画像上でこのような不要部分を指定する操作を受け付け、撮像画像から不要部分を取り除く処理を行うように構成されていてもよい。

　これらの前処理により、検出等の画像処理にかかる負荷を軽減し処理時間を短縮することができる。また、このように前処理された画像データをサーバ９０に転送して画像処理を実行させる構成とする場合、画像データの転送時間を短縮することが可能となる。

　前処理部１２４は、作業者が、上述のような教示内容を入力するためのユーザインタフェースを提供する機能を有していてもよい。ユーザインタフェースは、教示操作盤３０の表示部３１に提示されてもよい。ユーザインタフェースに対する入力操作は、教示操作盤３０の操作部を介して受け付けられてもよい。前処理部１２４は、前処理が施された画像データを出力部１２５及び検出部１２６に提供する。

　前処理部１２４による前処理は、視覚センサ４０から得られる撮像画像（画像データ）を複数の領域に分割する処理を含んでいてもよい。例えば、前処理部１２４は、視覚センサ４０から得られる画像データを２つの領域である第１画像部分と第２画像部分に分割し、検出部１２６は第１画像部分について検出処理を実行し、出力部１２５は第２画像部分をサーバ９０に送信し第２画像部分について検出処理を実行させる。検出結果取得部１２７は、サーバ９０から第２画像部分についての検出結果を取得する。この場合、ロボット制御装置２０（比較統合部１２８）は、検出部１２６による第１画像部分に対する検出結果とサーバ９０による第２画像部分に対する検出結果とを統合して最終的な検出結果を得ることができる。

　出力部１２５は、前処理部１２４により前処理が施された画像データを、サーバ９０に対して出力する。ロボット制御装置２０とサーバ９０との接続は、有線又は無線のＬＡＮ（ローカルエリアネットワーク）、或いは、インターネット等の商用ネットワークを介した接続であってもよい。サーバ９０は、いわゆるクラウドコンピューティングによる処理機能を提供するものであってもよい。出力部１２５は、ネットワーク８０を介して画像データをサーバ９０に送り、画像データに対する検出処理をサーバ９０に実行させる。

　出力部１２５は、例えば、画像データと検出処理のリクエストとを含む送信データをサーバ９０に転送する機能を有するように構成される。この場合、出力部１２５は、前処理部１２４により画像データが生成される任意のタイミングで送信データをサーバ９０に対して送信することができる。

　検出部１２６は、前処理が施された画像データに対して検出処理を実行する機能を有する。検出部１２６は、画像データから抽出された画像特徴と、作業者により教示されたモデルデータ（モデル特徴）とのパターンマッチングを行うことにより対象物の検出を行う。画像特徴は、例えばエッジ特徴である。検出部１２６は、検出処理の結果を出力する。検出結果には、例えば、検出の所要時間、対象物の検出位置姿勢、検出数、検出スコア、コントラスト、歪み、角度、サイズ等の情報が含まれる。ここで、検出スコアとは、パターンマッチングの一致度としての評価値である。検出数とは、１回の検出処理で検出された対象物の数を表す。コントラストは、画像上の対象物の輪郭の背景に対するコントラストを表す。歪は、画像上の対象物のワークモデルに対する歪みの度合いを表す。角度は、画像上の対象物のワークモデルに対する回転方向のずれを表す。サイズは、画像上の対象物のサイズのワークモデルのサイズに対する相違（比率）を表す。検出部１２６は、検出結果の情報を比較統合部１２８に提供する。

　図２に示すように、サーバ９０は、画像データ受付部１９１と、検出処理部１９２と、検出結果出力部１９３とを備える。画像データ受付部１９１は、ロボット制御装置２０の出力部１２５からの画像データを受け付ける。画像データ受付部１９１は、ロボット制御装置２０の出力部１２５から任意のタイミングで到来する画像データの送信リクエストを受け付けることができるように構成されている。画像データ受付部１９１は、出力部１２５からの送信データ（例えば、画像データ及び検出処理のリクエスト）を確認し、画像データを検出処理部１９２に提供する。

　検出処理部１９２は、受け取った画像データに対して検出処理を実行する。検出処理に必要となる検出プログラム、モデルデータ等の各種データは、予めサーバ９０に保存されている。検出処理部１９２は、画像データから抽出された画像特徴とモデルデータ（モデル特徴）とのパターンマッチングを行うことにより検出を行う機能を有する。検出結果には、例えば、検出の所要時間、対象物の検出位置姿勢、検出数、検出スコア、コントラスト、歪み、角度、サイズ等の情報が含まれる。

　検出結果出力部１９３は、検出処理部１９２による検出結果をロボット制御装置２０に送出する。検出結果出力部１９３は、検出処理部１９２による検出結果が出たタイミングで検出結果をロボット制御装置２０に送信することができる。

　ロボット制御装置２０の検出結果取得部１２７は、サーバ９０の検出結果出力部１９３からの検出結果を取得する。検出結果取得部１２７は、任意のタイミングで到来する検出結果出力部１９３からの送信データを受け付けることができるように構成されている。検出結果取得部１２７は、受け取った検出結果を比較統合部１２８に提供する。

　比較統合部１２８は、ロボット制御装置２０内の検出部１２６による検出結果と、サーバ９０の検出処理部１９２による検出結果とについて、比較又は統合の少なくともいずれかを行うことにより最終的な検出結果を得る機能を有する。比較統合部１２８による最終的な検出結果を決定する機能は、２つの検出結果を比較しいずれかの検出結果を選択的に用いるタイプの決定方法と、２つの検出結果を統合して用いるタイプの決定方法とを含む。比較統合部１２８は、例えば、以下で示す機能の１以上を備えるように構成される。

（２つの検出結果を比較しいずれかの検出結果を選択的に用いるタイプの決定方法）
（F11）２つの検出結果のうち検出時間の早い方の検出結果を採用する機能。
この機能は、ロボット制御装置２０とサーバ９０とで検出処理を実行した場合に先に得られた検出結果を選択することで全体的な作業時間を短縮するための機能である。例えば、比較統合部１２８は、ロボット制御装置２０において検出部１２６で検出を開始すると共に、前処理後の画像データをサーバ９０側に送信した後、先に得られた方の検出結果を採用する形でこの機能を実現してもよい。

（F12）２つの検出結果のうち検出スコアが高い方の検出結果を採用する機能。
一般に、誤検出（対象物でない画像特徴を対象物と誤判定すること）となる検出結果は検出スコアが低いという傾向がみられる。したがって、検出スコアが高い方の検出結果を採用することで適正な検出結果を採用し得る。

　なお、２つの検出結果の比較に基づきいずれかの検出結果を選択的に用いる場合の機能には、上記の例以外にも様々な例があり得る。例えば、検出位置、検出サイズ、検出歪み、又は検出角度を用いた比較に基づく選択もあり得る。例えば、検出位置を用いて比較を行う場合に関して、作業空間に供給される対象物の配置場所が一定であるような動作環境においては、予め検出位置の基準値を保持しておくことで、２つの検出位置を対比して基準値に近い方を採用するといったやり方をとってもよい（機能（F13））。この場合、基準値として、ロボットシステム１００において検出をある程度の回数実行することで得られる統計値（平均値、最頻値等）、或いは対象物の配置位置の設計値を用いてもよい。検出サイズに関しては、検出サイズがワークモデルのサイズに近い方（１００％に近い方）の検出結果を採用するというやり方をとってもよい（機能（F14））。検出歪みに関しては、検出歪みの度合いが小さい方の検出結果を採用するというやり方をとってもよい（機能（F15））。検出角度に関しては、ワークモデルに対する検出角度のずれが小さい方の検出結果を採用するというやり方をとってもよい（機能（F16））。これら機能（F13）から機能（F16）によっても、より適正であると考えられる検出結果を採用し得る。

　（２つの検出結果を統合して用いるタイプの決定方法）
（F21）２つの検出結果が互いに補完し合うように２つの検出結果を統合する機能。
本機能は、一方の検出処理のみでしか検出できなかった対象物があるような状況であっても２つの検出結果を統合することでより適正な検出結果を得る決定方法である。例えば、検出すべき対象物が５つある（Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５）状況で、一方の検出処理（第１検出処理）では３つの対象物（Ｗ１、Ｗ２、Ｗ３）が検出でき、他方の検出処理（第２検出処理）では４つの対象物（Ｗ２、Ｗ３、Ｗ４、Ｗ５）が検出できているとする。比較統合部１２８は、第１検出処理の結果としての（Ｗ１、Ｗ２、Ｗ３）の検出位置情報と、第２検出処理の結果としての（Ｗ２、Ｗ３、Ｗ４、Ｗ５）の検出位置情報とから、
・Ｗ２及びＷ３は、第１検出処理及び第２検出処理の双方で検出できていること、
・第１検出処理では第２検出処理で検出できなかったＷ１を検出できていること、
・第２検出処理では第１検出処理では検出できなかったＷ４、Ｗ５を検出できていること、
を把握することができる。なお、この場合、比較統合部１２８は、２つの検出結果における位置の相違が所定の閾値以下である場合に同じ対象物を検出していると判断し、位置の相違が所定の閾値を超える場合に異なる対象物を検出していると判断するようにしてもよい。上記例の場合、比較統合部１２８は、第１検出処理の検出結果と第２検出処理の検出結果とを統合することで、５つの対象物（Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５）を正しく検出したという最終的な検出結果を得ることができる。

（F22）異なる画像データ部分に対してそれぞれ実行した検出結果を統合する機能。
この機能は、前処理部１２４が、視覚センサ４０からの画像データを複数の領域に分割する処理を実行する場合に有効な機能である。例えば、前処理部１２４が、視覚センサ４０による画像データを２つの部分（第１画像部分及び第２画像部分）に分割し、ロボット制御装置２０の検出部１２６が第１画像部分について検出処理を実行し、サーバ９０の検出処理部１９２が第２画像部分について検出処理を実行する。この場合、比較統合部１２８は、それぞれの検出結果をまとめることで、視覚センサ４０からの画像データ全体に対する検出結果を得ることができる。この機能により、画像処理の負荷を分散し、検出処理に要する全体的な時間を短縮することが可能となる。

　なお、ここでは、視覚センサ４０からの撮像画像を２つの領域に分割して２つの装置（ロボット制御装置２０と外部機器としてのサーバ９０）でそれぞれ異なる部分画像に対して検出処理を行う場合の例を示した。撮像画像を３つ以上の領域に分割し、それぞれの部分画像に対する検出処理を３つ以上の装置でそれぞれ分担する構成とすることも可能である。例えば、ロボット制御装置２０と、ロボット制御装置２０に接続された２つ以上の外部機器で、３つ以上の部分画像に対する検出処理を分担するようにしてもよい。

　視覚センサ４０からの撮像画像を分割して複数の装置で画像処理を分担する場合、画像の分割のやり方として、撮像画像を装置の台数で均等に分割するやり方や、複数の装置それぞれの処理能力に比例する形で部分画像の大きさを設定するやり方があり得る。前者のやり方を採用する場合、前処理部１２４は、撮像画像を装置の台数で均等に自動分割する機能を備えていてもよい。後者のやり方を採用する場合、前処理部１２４は、各装置の処理能力の情報の指定を作業者から受け付け、当該情報に基づいて、撮像画像を複数の装置それぞれの処理能力に比例する大きさの部分画像に分割するように構成されていてもよい。後者のやり方を採用することで、画像処理の全体的な処理時間をいっそう短縮すること可能となる。

　図３は、ロボット制御装置２０による検出結果を取得するための処理（以下、検出結果取得処理とも記載する）の一例を表すフローチャートである。本処理は、プロセッサ２１による制御の下で実行される。はじめに、視覚センサ制御部１２２の制御により、視覚センサ４０は対象物を撮像する（ステップＳ１）。次に、前処理部１２４は、指定された教示内容にしたがって撮像画像に対して前処理を実行する（ステップＳ２）。上述したように、前処理には、画像の縮小、背景の除去、トリミング、画像の分割等が含まれ得る。

　次に、ロボット制御装置２０において、検出部１２６は、前処理後の画像データに対して検出処理を実行する（ステップＳ３）。それと同時に、出力部１２５は、前処理後の画像データを外部機器（サーバ９０）に送信し、検出処理を依頼する（ステップＳ４）。そして、検出結果取得部１２７は、外部機器（サーバ９０）から検出結果を受け取る（ステップＳ５）。

　次に、比較統合部１２８は、ロボット制御装置２０内の検出部１２６による検出結果と、サーバ９０の検出処理部１９２による検出結果とについて、比較又は統合の少なくともいずれかを行うことにより最終的な検出結果を得る（ステップＳ６）。ここでの、比較又は統合には、上述した機能（F11）から（F16）、（F21）、及び（F22）の１以上が含まれ得る。

　このように得られた検出結果としての対象物の位置情報は動作制御部１２１に提供され、ロボット１０の制御における位置補正に用いられる。

　このように本実施形態に係るロボット制御装置２０は、ロボット制御装置２０に接続された視覚センサ４０で撮像した画像の画像データを外部機器に出力するためのインタフェースを備える構成となっている。この構成により、ロボット制御装置２０は、外部機器に検出処理を行わせるために画像データを外部機器に出力することができる。そして、ロボット制御装置２０は、外部機器が実行した検出処理の結果全体としての情報（検出の所要時間、対象物の検出位置姿勢、検出数、検出スコア、コントラスト、歪み、角度、サイズ等を含む）を受け取るインタフェースとしての機能も有する。一般にロボット制御装置２０の計算リソースは、ロボットの制御を優先する必要性からの制約を受ける。したがって、ロボット制御装置２０が上記構成を有することは、視覚センサが接続されたロボット制御装置２０が検出処理の実行を外部機器に委ねる形で効率的に実現し、ロボットシステムによる作業全体の効率を向上させることを可能にする。したがって、上述した構成によれば、ロボット制御装置２０は、検出部１２６が動作制限を受けている状況でも検出処理を遂行することができる。また、上記構成によれば、ロボット制御装置２０は、検出部１２６としての機能を備えていない場合でも、検出処理を遂行することができる。

　上述した実施形態によれば、ロボット制御装置２０は、一般にかなりの計算負荷を伴う検出等の画像処理をサーバなどの高度な計算リソース（プロセッサ処理能力、メモリ性能等）を持つ外部機器に委ねることができるため、全体的な処理効率を高めることができる。また、この場合において、ロボット制御装置２０は、画像縮小等を含む前処理後の画像データを外部機器に転送できる構成であるため、外部機器への転送時間を減少させ、また、全体的な処理効率を高めることができる。

　上述した実施形態では、ロボット制御装置２０自身も検出処理を実行できる構成であるため、外部機器との通信における遅延や中断が生じた場合でも、ロボットシステムにおける作業の中断を招くことはない。また、ロボット制御装置２０は、ロボット制御装置２０による検出結果と外部機器による検出結果とを比較又は統合して最終的な検出結果を得ることができる。この場合において、ロボット制御装置２０は、ロボット制御装置２０の検出結果と外部機器による検出結果とを比較してより高い精度の検出結果を選択して用いることができる。また、ロボット制御装置２０は、ロボット制御装置２０の検出結果と外部機器による検出結果とを互いに補完し合うように統合することで検出結果としての情報をいっそう充実化することができる。

　外部機器は、上述の実施形態のように、サーバである以外にも、画像処理機能を有する様々な機器を用いることができる。例えば、画像処理専用機器や汎用のパーソナルコンピュータが外部機器として用いられてもよい。

　また、外部機器は複数台であってもよい。外部機器が複数台である場合には、ロボット制御装置２０は、複数台の外部機器に前処理後の画像データを送出し、それぞれの外部機器に検出処理を実行させる。そして、ロボット制御装置２０は、ロボット制御装置２０における検出結果と、複数台の外部機器の検出結果とを比較又は統合して最終的な検出結果を取得することができる。例えば、ロボット制御装置２０は、複数の検出結果のうち、以下の選択基準（ｒ１）から（ｒ６）のいずれかを満たすものを最終的な検出結果として決定してもよい。
（ｒ１）検出時間が最も短い。
（ｒ２）検出スコアが最も高い。
（ｒ３）検出位置が基準値に最も近い。
（ｒ４）検出サイズがモデルデータに最も近い。
（ｒ５）検出歪みの度合いが最も小さい。
（ｒ６）検出角度のずれが最も小さい。

　例えば、工場内の生産ラインで複数のロボットが稼働しているような環境にある場合、ロボット制御装置２０が外部機器として他のロボット制御装置を利用するようなシステム構成例もあり得る。図４は、このような場合のシステム構成例を示す図である。図４に示すように、画像処理システム２００Ａは、上述したロボットシステム１００に対して、ロボット制御装置２０Ａ及び２０Ｂが工場内のネットワークを介して接続された構成である。ロボット制御装置２０Ａ及び２０Ｂは、それぞれロボット１０Ａ及び１０Ｂを制御する。画像処理システム２００Ａにおいてロボット制御装置２０は、ロボット制御装置２０Ａ及び２０Ｂを外部機器として使用することができる。

　図５は、ロボット制御装置２０Ａ及び２０Ｂの各々が有する機能のうち画像処理に係わる機能に関する機能ブロック図である。ロボット制御装置２０Ａ及び２０Ｂの各々は、図５に示すように画像データ受付部１９１Ａと、検出処理部１９２Ａと、検出結果出力部１９３Ａとを備える。画像データ受付部１９１Ａは、ロボット制御装置２０の出力部１２５から画像データを受け付ける機能を有する。検出処理部１９２Ａは、受け取った画像データに対して検出処理を実行する。検出結果出力部１９３Ａは、検出結果をロボット制御装置２０に送出する機能を有する。

　図４に示す構成において、ロボット制御装置２０の出力部１２５は、前処理後の画像データをロボット制御装置２０Ａ及び２０Ｂに送出して、ロボット制御装置２０Ａ及び２０Ｂのそれぞれに画像データに対する検出処理を実行させる。そして、ロボット制御装置２０の検出結果取得部１２７は、ロボット制御装置２０Ａ及び２０Ｂそれぞれからの検出結果を受け取る。ロボット制御装置２０の比較統合部１２８は、ロボット制御装置２０Ａの検出結果と、ロボット制御装置２０Ａ及び２０Ｂによる検出結果とを上述したように比較又は統合することで最終的な検出結果を得ることができる。

　この場合の、比較統合部１２８による比較又は統合の機能には、上述した機能（F11）から（F16）、（F21）、及び（F22）の１以上に基づく機能が含まれ得る。すなわち、比較統合部１２８は、上述した選択基準（ｒ１）から（ｒ６）のいずれかを用いることで、ロボット制御装置２０、２０Ａ及び２０Ｂによる検出結果のうち最も高い精度の検出結果を選択して用いることができる。また、ロボット制御装置２０は、ロボット制御装置２０、２０Ａ及び２０Ｂによる検出結果を互いに補完し合うように統合することもできる。

　したがって、画像処理システム２００の上記構成によれば、既存の生産設備を利用してロボットシステム１００における作業全体の効率化を実現することができる。なお、図４では、外部機器としてロボット制御装置が２台の場合の例を示しているが、外部機器としてのロボット制御装置は１台であってもよく、或いは３台以上であってもよい。

　以上説明したように、各実施形態の構成によれば、ロボットシステムにおける機器構成の複雑化を抑制しつつも、検出等の画像処理を効率的かつ確実に実行することが可能となる。

　上述した実施形態の画像処理システム２００では、ロボット制御装置２０（出力部１２５）は、前処理を施した画像データを外部機器（サーバ９０）に出力して検出処理を実行させる構成となっているが、ロボット制御装置２０（出力部１２５）は前処理を施していない画像データ（すなわち、視覚センサ４０が撮像した画像データ）をそのまま外部機器に送り検出処理を実行させてもよい。この場合においても、比較統合部１２８による上述した比較又は統合によるメリットを実現することができる。

　図２に示した機能ブロック図の機能配分は例示であり、機能配置については様々な変形例を構成することができる。例えば、教示操作盤３０としての機能は、ロボット制御装置２０と一体のものと定義することもできる。図２において、ロボット制御装置２０に配置されている機能の一部を教示操作盤３０内に配置する構成例もあり得る。

　上述の実施形態の構成はロボット制御装置のみでなく、各種産業機械を制御する制御装置の機能として適用することができる。

　図２に示したロボット制御装置２０の機能ブロックは、ロボット制御装置２０の１又は複数のプロセッサが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。

　上述した実施形態における検出結果取得処理等の各種の処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

　本開示について詳述したが、本開示は上述した個々の実施形態に限定されるものではない。これらの実施形態は、本開示の要旨を逸脱しない範囲で、または、特許請求の範囲に記載された内容とその均等物から導き出される本開示の趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除等が可能である。また、これらの実施形態は、組み合わせて実施することもできる。例えば、上述した実施形態において、各動作の順序や各処理の順序は、一例として示したものであり、これらに限定されるものではない。また、上述した実施形態の説明に数値又は数式が用いられている場合も同様である。

　上記実施形態および変形例に関し更に以下の付記を記載する。
　（付記１）
　画像データを取得可能な第１取得部（１２３）と、
　前記画像データを前処理する前処理部（１２４）と、
　前記画像データ又は前記前処理された画像データを１つ以上の外部機器（９０）に出力可能な出力部（１２５）と、
　前記画像データ又は前記前処理された画像データに対する前記１つ以上の外部機器による検出処理の実行結果としての検出結果を取得する第２取得部（１２７）と、
を備えるロボット制御装置（２０）。
　（付記２）
　前記前処理された画像データに基づいて検出処理を実行する検出部（１２６）と、
　前記検出部による検出結果と前記１つ以上の外部機器による検出結果について、比較又は統合の少なくともいずれかを行うことにより最終的な検出結果を得る比較統合部（１２８）とを更に備える、付記１に記載のロボット制御装置（２０）。
　（付記３）
　前記比較統合部（１２８）は、検出結果としての検出スコア、検出時間、検出位置、検出サイズ、検出歪み、又は検出角度のうち少なくともいずれかについて、前記検出部（１２６）の検出結果と前記１つ以上の外部機器（９０）の検出結果とを比較することに基づき前記最終的な検出結果を得る、付記２に記載のロボット制御装置（２０）。
　（付記４）
　前記比較統合部（１２８）は、前記検出部（１２６）の検出結果又は前記１つ以上の外部機器の検出結果のうち、前記検出時間が最も短い、前記検出スコアが最も高い、検出位置が所定の基準値に最も近い、検出サイズがモデルデータに最も近い、検出歪みの度合いが最も小さい、又は、検出角度のずれが最も小さい、のいずれかの選択基準を満たす検出結果を前記最終的な検出結果として選択する、付記３に記載のロボット制御装置（２０）。
　（付記５）
　前記比較統合部（１２８）は、前記検出部（１２６）の検出結果と前記１つ以上の外部機器（９０）の検出結果とを互いに補完し合うように統合することで前記最終的な検出結果を得る、付記２に記載のロボット制御装置（２０）。
　（付記６）
　前記前処理は、前記画像データを複数の部分に分割する処理を含み、
　前記比較統合部（１２８）は、前記検出部（１２６）と前記１つ以上の外部機器（９０）とがそれぞれ前記分割された前記画像データの異なる部分について前記検出処理を実行した場合のそれぞれの検出結果を統合して前記最終的な検出結果を得る、付記２に記載のロボット制御装置（２０）。
　（付記７）
　前記前処理は、前記画像データの縮小、背景の除去、又はトリミングの少なくともいずれかを含む、付記１から６のいずれか一項に記載のロボット制御装置（２０）。
　（付記８）
　前記前処理部（１２４）は、作業者により指定された教示内容に従って前記前処理を実行する、付記１から７のいずれか一項に記載のロボット制御装置（２０）。
　（付記９）
　前記最終的な検出結果に基づいてロボットを制御する動作制御部（１２１）を備える、付記２から６のいずれか一項に記載のロボット制御装置（２０）。
　（付記１０）
　前記検出結果に基づいてロボットを制御する動作制御部（１２１）を備える、付記１に記載のロボット制御装置（２０）。
　（付記１１）
　前記１つ以上の外部機器（９０）は、
　前記ロボット制御装置（２０）より高度な計算リソースを有する１つ以上のサーバ、
　１つ以上の画像処理専用機器、
　１つ以上のコンピュータ、又は、
　１つ以上の制御装置、のいずれかを含む、付記１から１０のいずれか一項に記載のロボット制御装置（２０）。
　（付記１２）
　対象物を撮像し画像データを生成する視覚センサ（４０）と、
　検出処理を実行可能な１つ以上の外部機器（９０）と、
　前記視覚センサから前記画像データを取得可能な第１取得部（１２３）と、
　前記画像データを前処理する前処理部（１２４）と、
　前記画像データ又は前記前処理された画像データを前記１つ以上の外部機器に出力可能な出力部（１２５）と、
　前記画像データ又は前記前処理された画像データに対する前記１つ以上の外部機器による検出処理の実行結果としての検出結果を取得する第２取得部（１２７）と、
を備える画像処理システム（２００）。

　１０、１０Ａ、１０Ｂ　　ロボット
　２０、２０Ａ、２０Ｂ　　ロボット制御装置
　２１　　プロセッサ
　２２　　記憶部
　３０　　教示操作盤
　３１　　表示部
　４０　　視覚センサ
　８０　　ネットワーク
　９０　　サーバ
　１００　　ロボットシステム
　１２１　　動作制御部
　１２２　　視覚センサ制御部
　１２３　　画像取得部
　１２４　　前処理部
　１２５　　出力部
　１２６　　検出部
　１２７　　検出結果取得部
　１２８　　比較統合部
　１９１　　画像データ受付部
　１９２　　検出処理部
　１９３　　検出結果出力部
　２００、２００Ａ　　画像処理システム

Claims (12)

1. 　画像データを取得可能な第１取得部と、
   　前記画像データを前処理する前処理部と、
   　前記画像データ又は前記前処理された画像データを１つ以上の外部機器に出力可能な出力部と、
   　前記画像データ又は前記前処理された画像データに対する前記１つ以上の外部機器による検出処理の実行結果としての検出結果を取得する第２取得部と、
   を備えるロボット制御装置。
2. 　前記前処理された画像データに基づいて検出処理を実行する検出部と、
   　前記検出部による検出結果と前記１つ以上の外部機器による検出結果について、比較又は統合の少なくともいずれかを行うことにより最終的な検出結果を得る比較統合部とを更に備える、請求項１に記載のロボット制御装置。
3. 　前記比較統合部は、検出結果としての検出スコア、検出時間、検出位置、検出サイズ、検出歪み、又は検出角度のうち少なくともいずれかについて、前記検出部の検出結果と前記１つ以上の外部機器の検出結果とを比較することに基づき前記最終的な検出結果を得る、請求項２に記載のロボット制御装置。
4. 　前記比較統合部は、前記検出部の検出結果又は前記１つ以上の外部機器の検出結果のうち、
   前記検出時間が最も短い、
   前記検出スコアが最も高い、
   前記検出位置が所定の基準値に最も近い、
   前記検出サイズがモデルデータに最も近い、
   前記検出歪みの度合いが最も小さい、又は、
   前記検出角度のずれが最も小さい、
   のいずれかの選択基準を満たす検出結果を前記最終的な検出結果として選択する、請求項３に記載のロボット制御装置。
5. 　前記比較統合部は、前記検出部の検出結果と前記１つ以上の外部機器の検出結果とを互いに補完し合うように統合することで前記最終的な検出結果を得る、請求項２に記載のロボット制御装置。
6. 　前記前処理は、前記画像データを複数の部分に分割する処理を含み、
   　前記比較統合部は、前記検出部と前記１つ以上の外部機器とがそれぞれ前記分割された前記画像データの異なる部分について前記検出処理を実行した場合のそれぞれの検出結果を統合して前記最終的な検出結果を得る、請求項２に記載のロボット制御装置。
7. 　前記前処理は、前記画像データの縮小、背景の除去、又はトリミングの少なくともいずれかを含む、請求項１から６のいずれか一項に記載のロボット制御装置。
8. 　前記前処理部は、作業者により指定された教示内容に従って前記前処理を実行する、請求項１から７のいずれか一項に記載のロボット制御装置。
9. 　前記最終的な検出結果に基づいてロボットを制御する動作制御部を備える、請求項２から６のいずれか一項に記載のロボット制御装置。
10. 　前記検出結果に基づいてロボットを制御する動作制御部を備える、請求項１に記載のロボット制御装置。
11. 　前記１つ以上の外部機器は、
    　前記ロボット制御装置より高度な計算リソースを有する１つ以上のサーバ、
    　１つ以上の画像処理専用機器、
    　１つ以上のコンピュータ、又は、
    　１つ以上の制御装置、のいずれかを含む、請求項１から１０のいずれか一項に記載のロボット制御装置。
12. 　対象物を撮像し画像データを生成する視覚センサと、
    　検出処理を実行可能な１つ以上の外部機器と、
    　前記視覚センサから前記画像データを取得可能な第１取得部と、
    　前記画像データを前処理する前処理部と、
    　前記画像データ又は前記前処理された画像データを前記１つ以上の外部機器に出力可能な出力部と、
    　前記画像データ又は前記前処理された画像データに対する前記１つ以上の外部機器による検出処理の実行結果としての検出結果を取得する第２取得部と、
    を備える画像処理システム。

Images