WO2024142159A1 - 制御装置、ロボットシステム、物体有無判定方法、及びプログラム - Google Patents

Abstract

視覚センサにより撮像された距離画像を取得する画像取得部と、距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する判定部と、を備える制御装置である。

Description

制御装置、ロボットシステム、物体有無判定方法、及びプログラム

　本開示は、産業用ロボットの制御装置、ロボットシステム、物体有無判定方法、及びプログラムに関する。

　視覚センサによりワークを検出することで、不定の位置に配置されたワーク（バラ積みワーク等）をロボットにより取り出し、作業台や搬送装置等に載置するワーク取り出し作業を実行するロボットシステムが知られている。

　例えば特許文献１は、溶断等で得られた板状金属のワークにグラインダ仕上げを施す際のワーク移送用のハンドリングシステムを記載する。

　特許文献２は、ワークに対し所定の作業を行うロボットシステムに備えられる監視装置について記載する。この監視装置は、三次元カメラを備え、このカメラからワーク表面に設定した複数の測定点までの距離に基づき、制限領域内に物体が存在しているか否かを判定する。

特開２００７－０２１６３５号公報 特開２０１８－１９５９５９号公報

　ワークの取り出しや移送等のハンドリングを行うロボットシステムでは、例えば、何らかの要因によりワークを配置すべき場所に一つ前の動作により置いたワークが存在したままとなるといった状況が発生する場合がある。このような状況が発生した場合、ロボットがワークを置こうとした際にワーク同士が干渉することによる不具合（生産サイクルの停止等）を招く可能性が生じる。

　検査対象の場所に物があるか否かを検出できるようにし、それによりロボットによるワークのハンドリング作業における不具合の検出や不具合の未然の防止を確実に行うことを可能とする技術が望まれている。

　本開示の一態様は、視覚センサにより撮像された距離画像を取得する画像取得部と、前記距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する判定部と、を備える制御装置である。

　添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るロボット制御装置を含むロボットシステムの機器構成を表す図である。 ロボット制御装置及び視覚センサ制御部の機能ブロック図である。 ３次元カメラにより取得される距離画像を説明するための図である。 検索範囲設定部による検索範囲の設定機能の第１の例を説明するための図である。 検索範囲設定部による検索範囲の設定機能の第２の例を説明するための図である。 検索範囲設定部による検索範囲の設定機能の第３の例を説明するための図である。 検索範囲設定部による検索範囲の設定機能の第４の例を説明するための図である。 撮像範囲及び検索範囲について説明するための図である。 図８に例示した第１の検索範囲についてのヒストグラムを表す図である。 図８に例示した第２の検索範囲についてのヒストグラムを表す図である。 ロボット制御装置により実行される物体有無判定機能を一般的に表現した場合のフローチャートである。 ロボット制御装置により実行される物体有無判定処理の具体的な動作を表すフローチャートである。 ワーク移送処理に物体有無判定処理を適用した場合のフローチャートである。 載置面に何も置かれていない状況で視覚センサが距離画像を撮像する状態、及びその際に取得される距離画像のヒストグラムを示す図である。 載置面にワークが置かれている状態で視覚センサが距離画像を撮像する状態、及びその際に取得される距離画像のヒストグラムを示す図である。 閾値を設定するためのグラフィカルユーザインタフェースの例を示す図である。 バラ積みワークの取出し処理に物体有無判定処理を適用した場合のフローチャートである。 コンテナ内に多くのワークが存在する状態で視覚センサが距離画像を撮像する状況、及びその際に取得された距離画像のヒストグラムを示す図である。 コンテナ内に何も物がない状態で視覚センサが距離画像を撮像する状況、及びその際に取得された距離画像のヒストグラムを示す図である。 コンテナ内に一つのワークが残っている状態で視覚センサが距離画像を撮像する状況、及びその際に取得された距離画像のヒストグラムを示す図である。

　次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

　図１は一実施形態に係るロボット制御装置５０を含むロボットシステム１００の機器構成を表す図である。図１に示すように、ロボットシステム１００は、アーム先端部にハンド３３を搭載したロボット１０と、ロボット１０を制御するロボット制御装置５０と、ロボット制御装置５０に接続された教示操作盤４０と、ロボット１０のアーム先端部に取り付けられた視覚センサ７０と、視覚センサ７０を制御する視覚センサ制御装置２０とを備える。ロボットシステム１００は、例えば、視覚センサ７０により作業台２上の対象物１の検出を行い、ロボット１０に搭載したハンド３３で対象物１のハンドリングを行うことができる。ロボットシステム１００は、更に、視覚センサ７０で撮像した距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定できるように構成されている。

　ロボットシステム１００には、更に、実行履歴データその他の情報を保存するための記憶装置８０が備えられていても良い。記憶装置８０は、例えば、ロボット制御装置５０に接続された外部メモリである。或いは、記憶装置８０は、ロボット制御装置５０にネットワーク接続されたストレージデバイス、外部コンピュータ等であっても良い。なお、図１では、ロボットシステム１００が、記憶装置８０として独立した装置を備える場合の構成を示しているが、記憶装置８０としての機能がロボット制御装置５０或いは教示操作盤４０内に搭載されていても良い。記憶装置８０が教示操作盤４０に接続される構成例も有り得る。

　ロボット１０は、本実施形態では垂直多関節ロボットであるが、作業目的に応じてパラレルリンクロボット、双腕型ロボット等の他の種類のロボットが用いられても良い。ロボット１０は、手首部に取り付けられたエンドエフェクタによって所望の作業を実行することができる。図１では、エンドエフェクタとしてのハンド３３が用いられている例を示している。

　視覚センサ７０は、濃淡画像やカラー画像を撮像する２次元カメラとしての機能と、距離画像を取得する３次元カメラとしての機能を有するものとする。ロボットシステム１００には、複数台の視覚センサが配置されていても良い。３次元カメラとして、例えば、光飛行時間方式により距離画像を撮像するＴＯＦ（Time of Flight）カメラ、或いは、２台のカメラを含むステレオカメラを用いることができる。なお、図１では、視覚センサ７０がロボット１０に搭載される構成例を示しているが、視覚センサ７０は作業空間内に固定される固定カメラであっても良い。

　視覚センサ制御装置２０は、対象物のモデルパターンを保持しており、撮影画像中の対象物の画像とモデルパターンとのパターマッチングにより対象物を検出する画像処理を実行することができる。なお、視覚センサ７０はキャリブレーション済みであるものとし、視覚センサ制御装置２０は、視覚センサ７０とロボット１０との相対位置関係を定義したキャリブレーションデータを保有しているものとする。これにより、視覚センサ７０で撮像した２次元画像上の位置を、作業空間に固定した座標系（ロボット座標系等）上の位置に変換することができる。

　図１では、視覚センサ制御装置２０はロボット制御装置５０とは別の装置として構成されているが、視覚センサ制御装置２０としての機能がロボット制御装置５０内に搭載されていても良い。

　ロボット制御装置５０は、動作プログラム或いは教示操作盤４０からの指令に従ってロボット１０の動作を制御する。ロボット制御装置５０は、プロセッサ５１（図２）、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、記憶装置、操作部、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしてのハードウェア構成を有していても良い。

　教示操作盤４０は、ロボット１０の教示（プログラム作成）や各種設定を行うための操作端末として用いられる。教示操作盤４０として、タブレット端末等により構成された教示装置を用いても良い。教示操作盤４０は、プロセッサ、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、記憶装置、操作部、表示部４１（図２）、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしてのハードウェア構成を有していても良い。表示部４１（図２）は、例えば、液晶ディスプレイを有する。

　視覚センサ制御装置２０は、プロセッサ、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、記憶装置、操作部、表示部、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしてのハードウェア構成を有していても良い。

　図２は、ロボット制御装置５０及び視覚センサ制御装置２０の機能ブロック図を示している。図２に示すように、ロボット制御装置５０は、動作制御部１５１、画像取得部１５２、ヒストグラム作成部１５３、判定部１５４、閾値設定部１５５、撮像範囲設定部１５６、検索範囲設定部１５７、履歴画像保存部１５８、ワーク取出し実行部１５９、及びワーク移送実行部１６０を備えている。これらの機能ブロックは、ロボット制御装置５０のプロセッサ５１がソフトウェアを実行することで実現されるものであっても良い。ロボット制御装置５０は、更に、記憶部１６１を備える。

　記憶部１６１は、例えば、不揮発性メモリ或いはハードディスク装置等からなる記憶装置である。記憶部１６１には、ロボット１０を制御するロボットプログラム、視覚センサ７０により撮像された画像に基づきワークの検出等の画像処理を行うプログラム（ビジョンプログラム）、各種設定情報等が格納されている。

　動作制御部１５１は、ロボットプログラムにしたがって、或いは教示操作盤４０からの指令に従ってロボットの動作を制御する。ロボット制御装置５０は、動作制御部１５１が生成する各軸に対する指令に従って各軸のサーボモータに対するサーボ制御を実行するサーボ制御部（不図示）を備えている。

　画像取得部１５２は、視覚センサ７０が撮像した距離画像や２次元画像を視覚センサ制御装置２０から取得する機能を有する。

　ヒストグラム作成部１５３は、取得された距離画像中の各点の距離情報に関する度数分布であるヒストグラム作成する機能を提供する。ヒストグラム作成部１５３は、作成したヒストグラムを表示画面（例えば教示操作盤４０の表示部４１）に表示する機能を更に備えていても良い。

　判定部１５４は、画像取得部１５２により取得された距離画像に基づき、所定の入力情報によって指定された範囲内に物が置かれているか否かを判定する機能を提供する。ここで、所定の入力情報によって指定される範囲は、判定部１５４が判定のために検索を行う検索範囲、或いは、視覚センサ７０の撮像範囲であり得る。例示として、判定部１５４は、ヒストグラム作成部１５３により作成されたヒストグラムに基づいて、指定された検索範囲内の検査対象面に物が置かれているか否かを判定するように構成されていても良い。

　閾値設定部１５５は、ヒストグラム上の検査対象面の距離情報と、検査対象面における他の物体の距離情報とを識別するための閾値を設定するための機能を提供する。閾値設定部１５５は、視覚センサ７０により撮像される距離画像に基づいて閾値を自動的に設定する機能を有していても良い。閾値設定部１５５は、ＵＩ（ユーザインタフェース）画面を介して閾値の設定を受け付けるように構成されていても良い。或いは、閾値設定部１５５は、外部装置から閾値の入力を受け付けるように構成されていても良い。閾値設定部１５５は、ロボットプログラム（ワーク取出しプログラム、ワーク移送プログラム、ビジョンプログラムなど）に記述された閾値設定に関する情報（閾値を定義する変数等）にしたがって閾値を設定しても良い。

　撮像範囲設定部１５６は、視覚センサ７０が距離画像を撮像する際の撮像範囲を設定するための機能を提供する。撮像範囲設定部１５６は、ＵＩ画面を介して撮像範囲の指定を受け付けるように構成されていても良い。撮像範囲設定部１５６は、外部装置から撮像範囲の入力を受け付けるように構成されていても良い。撮像範囲設定部１５６は、ロボットプログラム（ワーク取出しプログラム、ワーク移送プログラム、ビジョンプログラムなど）に記述された撮像範囲の指定に関する情報（撮像範囲を定義する変数等）にしたがって撮像範囲（大きさ、位置等）を設定しても良い。撮像範囲設定部１５６は、視覚センサ７０（視覚センサ制御装置２０）に対し、設定された撮像範囲で撮像を行うよう指令する信号を送出する。また、撮像範囲設定部１５６は、撮像範囲の移動のためにロボット１０の位置姿勢の変更を行う場合には、動作制御部１５１に対してロボット１０の位置姿勢を変更する指令を送出する。

　検索範囲設定部１５７は、判定部１５４が作業空間に物が置かれているか否かを判定する際に検索を行う検索範囲を、所定の入力情報に基づき設定する機能を提供する。所定の入力情報は、例えば、ロボットプログラムに記述された検索範囲の指定に関する情報（検索範囲を定義する変数等）、ＵＩ（ユーザインタフェース）を介して入力された設定情報、外部装置より入力された情報等であり得る。検索範囲設定部１５７による検索範囲の設定の詳細については後述する。

　履歴画像保存部１５８は、視覚センサ７０によるワークの検出処理等が実行された際の履歴画像を含む履歴情報を例えば記憶装置８０に保存する機能を提供する。

　記憶部１６１には、ロボット１０にバラ積みされたワークの取り出し作業を実行させるためのワーク取出しプログラムや、ロボット１０にワークを取り出して別の場所に移送させるためのワーク移送プログラムが保存されている。ワーク取出し実行部１５９は、プロセッサ５１がワーク取出しプログラムを実行することで実現される機能ブロックである。ワーク取出し実行部１５９は、動作制御部１５１や視覚センサ制御装置２０と連携してバラ積みワークの取り出し動作を実行する。ワーク移送実行部１６０は、プロセッサ５１がワーク移送プログラムを実行することで実現される機能ブロックである。ワーク移送実行部１６０は、動作制御部１５１や視覚センサ制御装置２０と連携してワークの移送動作を実行する。

　視覚センサ制御装置２０は、画像処理部１２１と記憶部１２２とを備える。記憶部１２２は、例えば不揮発性メモリからなる記憶装置である。記憶部１２２は、距離画像の生成に用いられる各種設定、キャリブレーションデータ、ワークのモデルデータ等の画像処理に必要な各種データを記憶する。画像処理部１２１は、ワークの検出処理等の各種画像処理を実行する。

　視覚センサ７０の３次元カメラとしての機能により取得される距離画像について図３を参照して説明する。図３は、床面９０上に置かれた高さの異なる三つのワークＷ１、Ｗ２、Ｗ３を視覚センサ７０により撮像する状態と、撮像された距離画像Ｍ１を示している。距離画像は、撮像範囲内のものの高さによって明るさが変わる画像である。すなわち、距離画像は、カメラからの距離によって点の明るさが変わる点群を表したものとなっている。距離画像Ｍ１の場合、高さが高いほど白に近い色となり、高さが低いほど黒に近い色で各点が表示される。そのため、距離画像Ｍ１では、ワークＷ１に対応する部分（点群）の明るさが最も明るい色で表示され、ワークＷ２に対応する部分(点群）が次に明るい色で表示され、ワークＷ３に対応する部分（点群）が次に明るい色で表示され、床面９０に対応する部分（点群）が最も暗い色で表示される。

　検索範囲設定部１５７による検索範囲の設定機能の詳細について図４から図７を参照して説明する。検索範囲設定部１５７による検索範囲の設定機能は以下の（Ｆ１）から（Ｆ４）を含む。
（Ｆ１）撮像された画像上で指定された検索範囲を、実作業空間上に定めた範囲として設定する機能。
（Ｆ２）撮像された画像上で指定された検索範囲を、視覚センサの撮像範囲に対応付けて設定する機能。
（Ｆ３）実空間上に検索範囲を設定する機能。
（Ｆ４）実空間上で指定された検索範囲を、視覚センサの撮像範囲に対応付けて設定する機能。

　上記機能（Ｆ１）及び（Ｆ２）では、検索範囲設定部１５７は、検索範囲を画像上の範囲として指定する入力を受け付ける。例示として、検索範囲設定部１５７は、検索範囲を画像上の範囲として指定するための入力手法として、
（ａ１）検索範囲を画像上の座標に準拠した数値情報として指定する手法と、
（ａ２）ＧＵＩ（グラフィカルユーザインタフェース）上で検索範囲を指定する入力手法と、を受け付け可能に構成される。

　上記指定手法（ａ１）では、検索範囲設定部１５７は、例えば図４左側に示すように、検索範囲Ｅ１１を距離画像Ｍ１１上の座標に準拠した数値情報として指定する入力を受け付ける。図４左側の例では、検索範囲Ｅ１１の位置として、距離画像Ｍ１１の左上隅を原点とする座標系における、左上角の座標値（（ｘ，ｙ）=（５，２））とｘ軸及びｙ軸方向の幅（Δｘ＝２０，Δｙ＝１０）が指定されている。なお、ここでは検索範囲を矩形の領域とし、数値情報として検索範囲の位置とサイズを指定する場合の例を示したが、検索範囲は矩形に限られず、円形、多角形等の他の形状として指定されても良い。他の形状として指定される場合には、数値情報として例えば幾何学中心、外径、頂点位置等を指定する情報が利用されても良い。検索範囲設定部１５７は、このような画像上の座標に準拠した数値情報による検索範囲の指定を、例えば、ロボットプログラムからの入力として受け付けても良く、或いは、ＵＩ上で数値情報値を入力するユーザ操作を受け付けても良い。なお、このようなＵＩ画面は、教示操作盤４０の表示部４１上に提供されるものであっても良い。

　上記指定手法（ａ２）では、検索範囲設定部１５７は、例えば図５左側に例示すように、距離画像Ｍ１１上で検索範囲を示す矩形の枠線の位置、大きさを指定することのできるＧＵＩを提供する。このようなＧＵＩは、例えば、教示操作盤４０の表示部４１に表示されても良い。操作者は、マウス操作やタッチ操作によりカーソルＣ１を移動させることで検索範囲Ｅ１１を示す枠の位置及びサイズを指定することができる。なお、ここでは検索範囲を矩形の領域としてＧＵＩ上で設定する場合の例を示したが、検索範囲は円形、多角形等の他の形状としてＧＵＩ上で設定されても良い。指定方法（ａ２）では、操作者は直感的な操作により検索範囲を指定することができる。

　検索範囲設定部１５７は、上記指定手法（ａ１）及び（ａ２）を同時に適用した形態での検索範囲の指定を受け付けるように構成されていても良い。この場合、検索範囲設定部１５７は、例えば、操作者がＧＵＩ上で検索範囲を設定し、その後に数値情報により検索範囲を厳密に設定するという手順での指定を受け付ける。

　上記機能（Ｆ１）について図４を参照して説明する。ここでは、例示として、検索範囲を指定する手法としては上記指定手法（ａ１）が用いられるものとする。図４左側に示す距離画像Ｍ１１は、作業空間内の設置面９２上のワークＷ１－Ｗ３が配置された領域（撮像範囲Ｒ１１）の距離画像である。指定手法（ａ１）により画像上で検索範囲Ｅ１１が指定されると、検索範囲設定部１５７は、図４右側に示すように、画像上で指定された検索範囲Ｅ１１を実空間上に定めた検索範囲（図４右側において同一の符号Ｅ１１を付して示す）として設定する。この場合、検索範囲設定部１５７は、キャリブレーションデータ等を用いることで画像上の検索範囲に対応する実空間上の検索範囲の位置に変換することができる。

　本機能（Ｆ１）では、検索範囲設定部１５７は、上述のような指定手法（ａ１）或いは（ａ２）により指定された検索範囲を実空間上に固定された範囲として定める。したがって、視覚センサ７０の位置や姿勢に変動があった場合でも検索範囲は実空間に固定されたままとすることができる。

　判定部１５４は、距離画像に基づき、実空間上の検索範囲Ｅ１１に対応する範囲を判定の対象として、物が置かれているか否かの判定を行う。検索範囲が実空間に固定された範囲として設定されるため、視覚センサ７０の位置や姿勢が変化し撮像範囲が移動した場合でも、実空間上の固定した範囲を判定の対象とすることが可能となる。本機能（Ｆ１）は、ロボットによる作業場所が所定の位置に決まっているような場合に有効な機能となる。

　上記機能（Ｆ２）について図５を参照して説明する。ここでは、例示として、検索範囲を指定する手法としては上記指定手法（ａ２）が用いられるものとする。画像上で検索範囲Ｅ１１が指定されると、検索範囲設定部１５７は、図５右側に示すように、検索範囲Ｅ１１を、撮像画像Ｍ１１の撮像範囲Ｒ１１に対して対応付けた範囲として設定する。すなわち、検索範囲設定部１５７は、検索範囲Ｅ１１を、撮像範囲Ｒ１１に対して位置が固定された範囲として設定する（図５の右側参照）。したがって、視覚センサ７０の位置或いは姿勢が変化して撮像範囲Ｒ１１が移動した場合、検索範囲Ｅ１１は撮像範囲Ｒ１１に追随して移動する。

　本機能の場合、判定部１５４は、撮像された距離画像Ｍ１１に対して設定された検索範囲Ｅ１１を判定の対象として、物が置かれているか否かの判定を行う。検索範囲が撮像範囲に紐づけて設定されているため、撮像画像上における判定対象の範囲を常に固定することができる。

　上記機能（Ｆ３）及び（Ｆ４）では、検索範囲設定部１５７は、検索範囲を実作業空間上での範囲として指定する入力を受け付ける。例示として、検索範囲設定部１５７は、検索範囲を実空間上での範囲として指定する手法として、
（ｂ１）ロボットをタッチアップ操作して実空間上で検索範囲を指定する手法と、
（ｂ２）ロボットプログラム或いはユーザ設定等の入力源から実空間上の位置情報として検索範囲を指定する手法と、を受け付け可能に構成される。

　上記機能（Ｆ３）について図６を参照し説明する。ここでは、指定手法（ｂ１）が用いられる場合を例示する。図６左側に示すように、本機能（Ｆ３）では、操作者はロボット１０を操作して作業空間内の複数の点を、ロボット１０のアーム先端に取り付けたタッチアップピン３５によりタッチアップする操作を行うことで検索範囲の指定を行う。図６左側に示す例では、作業空間内の設置面９２上に、検索範囲の四隅の位置に対応する４つの点３０１、３０２、３０２、３０４がタッチアップ操作により指定されている。タッチアップ操作により、４つの点３０１－３０４の三次元位置が得られる。

　この場合、図６右側に示すように、検索範囲設定部１５７は、４つの点３０１－３０４を四隅とする矩形の範囲を、実空間上の検索範囲Ｅ１２として設定する。本機能（Ｆ３）では、検索範囲Ｅ１２は、実空間内に固定された範囲として設定される。操作者は、作業空間内の所望の位置に検索範囲を設定することができる。

　判定部１５４は、距離画像における実空間上の検索範囲Ｅ１２に対応する範囲を判定の対象として、物が置かれているか否かの判定を行う。なお、判定部１５４は、画像上での判定等の画像処理を行う場合には、キャリブレーションデータ等に基づき、実空間上の位置として指定された検索範囲Ｅ１２に対応する画像上の検索範囲を得るようにする。本例では、検索範囲が実空間に定められているため、視覚センサ７０の位置や姿勢が変化し撮像範囲が移動した場合でも、実空間上の固定した範囲を判定の対象とすることが可能となる。本機能（Ｆ３）は、ロボットによる作業場所が所定の位置に決まっているような場合に有効な機能となる。

　上記機能（Ｆ４）について図７を参照し説明する。ここでは、上記指定手法（ｂ１）が用いられる場合を例示する。操作者は、上述の機能（Ｆ３）の場合と同様に、ロボットをタッチアップ操作して実空間上に複数の点を指定する（図７左側参照）。これにより、検索範囲の四隅の位置を表す３次元座標値が取得される。

　検索範囲設定部１５７は、タッチアップ操作により指定された実空間上の検索範囲Ｅ１２を、視覚センサ７０の撮像範囲Ｒ１１に対応付けた検索範囲（図７右側において同一のＥ１２を付して示す）として設定する。したがって、本機能の場合には、検索範囲Ｅ１２は撮像範囲Ｒ１１を基準とした位置として設定され、視覚センサの位置或いは姿勢が変化して撮像範囲Ｒ１１が移動した場合でも、検索範囲をそれに追随して移動する。すなわち、撮像画像上での検索範囲の位置を常に固定することができる。

　本機能の場合、判定部１５４は、撮像範囲Ｒ１１の距離画像に対して設定された検索範囲Ｅ１２を判定の対象として、物が置かれているか否かの判定を行う。検索範囲が撮像範囲に紐づけて設定されているため、撮像画像上における判定対象の範囲を常に固定することができる。

　以上説明したように、本実施形態によれば、検索範囲の指定は、画像上の範囲として指定することもでき、また、実空間上の範囲として指定することもできる。したがって、操作者は、作業内容や、作業空間の環境条件等を含む様々な条件に応じて状況に応じて適切な検索範囲の指定を行うことができる。また、上述したように、検索範囲を指定するための入力手法として、ロボットプログラムから指定する手法、ＵＩを介したユーザ入力により指定する手法、ロボットをタッチアップ操作することで指定する手法等、が可能となっている。このように、本実施形態は、検索範囲の指定手法に関する高い自由度を提供することができる。

　判定部１５４は、距離画像に基づき、以上のように設定された検索範囲を判定の対象として、物が置かれているか否かの判定を行う。判定部１５４が、検索範囲に物が置かれているか否かを判定する処理の具体例として、以下では、ヒストグラム作成部１５３が距離画像から作成した同数分布（ヒストグラム）に基づき検査対象面に物が置かれているか否かを判定する動作を行う場合について説明する。物が置かれているかを判定する手法として、ここで例示する度数分布（ヒストグラム）を用いる以外の手法が用いられても良い。

　ヒストグラム作成部１５３は、距離画像Ｍ１のように距離に応じて明るさが変化する画像について距離（明るさ）を変量とするヒストグラムを作成する。ヒストグラム作成部１５３は、ヒストグラムを作成する場合において、距離画像上で検索範囲設定部１５７の機能により設定された検索範囲内で点群を検索してヒストグラムを作成するように構成されていても良い。図３のように取得された距離画像Ｍ１を例に説明する。図８に示すように、距離画像Ｍ１上で検索範囲Ｅ１が指定されているものとする。この場合にヒストグラム作成部１５３により作成されたヒストグラム２０１を図９に示す。図９のヒストグラム２０１において、横軸（変量）は点の明るさを示し、縦軸は点の数の和（度数）を示している。検索範囲Ｅ１では、床面９０の割合が最も多いため、最も暗い点群として表される床面９０の度数が最も高く表れている。それぞれ異なる高さを有するワークＷ１、Ｗ２、Ｗ３は、その上面が同じ面積を有する。そのため、ワークＷ１、Ｗ２、Ｗ３を表すそれぞれの明るさの点群の度数は同じとなっている。

　図９を参照すると、検査対象面として床面９０の明るさを特定することで、床面９０上に床面９０とは異なる高さの物が置かれているか否かを判定できることを理解することができる。図９の例の場合には、床面９０とは異なる明るさの点群が３か所に分布していることから、床面９０の上に高さの異なる３つのワークＷ１、Ｗ２、Ｗ３が置かれていることを判定することができる。検査対象面（床面９０）の明るさの特定に関しては、ユーザ入力により検査対象面の明るさ（検査対象面の明るさであるか否かを判定するための閾値）を設定するようにしても良い。検査対象面の明るさ（検査対象面の明るさであるか否かを判定するための閾値）を、判定部１５４において自動設定するようにしても良い。検査対象面の明るさ（検査対象面の明るさであるか否かを判定するための閾値）を設定するやり方の詳細については後述する。

　図８に示すように、距離画像Ｍ１上で検索範囲Ｅ２が指定されている場合を考慮する。この場合にヒストグラム作成部１５３により作成されたヒストグラム２０２を図１０に示す。検索範囲Ｅ２は床面９０のみを含む領域であるため、ヒストグラム２０２において、度数を有する明るさは一種類のみとなり、また、その度数も検索範囲Ｅ１の場合と比較して低くなっている。

　検索範囲Ｅ１のように撮像範囲Ｒ１内で広い検索範囲をすることで広い範囲についてヒストグラムを得ることができ、広い範囲内での物の存在の有無を確認することができる。他方、検索範囲Ｅ２のように比較的狭い検索範囲を指定することは、限定された領域について高速に物の有無を判定することが望まれる場合に有用となる。また、検索範囲を比較的狭い範囲に限定するとヒストグラムに外れ値が含まれるような可能性を低減することが可能となる。

　図８には、視覚センサ７０による撮像範囲Ｒ１も示されている。撮像範囲設定部１５６は、視覚センサ７０の撮像可能範囲内において、撮像範囲の大きさ・位置の指定を受け付ける。撮像範囲設定部１５６は、図８に示すような画面上で撮像範囲を表す矩形の画像の大きさ、位置の少なくともいずれかを設定するためのグラフィカルユーザインタフェースを提供するように構成されていても良い。このようなユーザインタフェースは、教示操作盤４０の表示部４１上に提供されるものであっても良い。

　ヒストグラム作成部１５３は、上述のように指定された範囲（撮像範囲或いは検索範囲）について作成されたヒストグラム（ヒストグラム２０１、２０２等）を、教示操作盤４０の操作部に対する所定の操作に応じて、例えば教示操作盤４０の表示部４１に表示する機能を備えていても良い。なお、ヒストグラム作成部１５３は、指定された範囲（撮像範囲或いは検索範囲）内の距離情報を、数値情報（ヒストグラムを表す数値テーブル）により例えば記憶部１６１に保存し、教示操作盤４０の操作部に対する所定の操作に応じて、例えば教示操作盤４０の表示部４１に表示する機能を備えていても良い。

　上述したように、ロボット制御装置５０は、所定の入力情報により指定された検索範囲内において、物が置かれているか否かを判定する機能を有する。図１１は、判定部１５４によるこのような機能（物体有無判定処理）をより一般的に記述したフローチャートである。なお、本処理は、プロセッサ５１による制御の下で実行される。図１１に示すように、画像取得部１５２は、視覚センサ７０により撮像された距離画像を取得する（ステップＳ１）。次に、判定部１５４は、距離画像に基づき、所定の入力情報に基より指定された検索範囲内に物が置かれているか否かを判定する（ステップＳ２）。

　本実施形態では、ロボット制御装置５０は、上述したようなヒストグラムに基づき、検査対象面（ヒストグラム２０１の場合には床面９０）上に物が置かれているか否かを判定することができるように構成される。図１２は、ロボット制御装置５０（プロセッサ５１）により実行される物体有無判定処理の具体的な動作例を表すフローチャートである。はじめに、画像取得部１５２は、視覚センサ７０から検査対象面を含む撮像範囲を撮像した距離画像を取得する（ステップＳ１０１）。次に、ヒストグラム作成部１５３は、距離画像中の明るさのヒストグラムを作成する（ステップＳ１０２）。ヒストグラムは、上述のように設定された検索範囲内について作成するようにしても良い。そして、判定部１５４は、距離画像中の明るさに関するヒストグラムに基づいて、検索範囲内の検査対象面に物が置かれているか否かを判定する（ステップＳ１０３）。

　以下、図１２の物体有無判定処理をロボット１０によるワークのハンドリング作業に適用する実施例を二例挙げ、物体有無判定処理の詳細な内容を説明する。

　第１の実施例は、ワーク移送実行部１６０によるワークの移送作業に物体有無判定処理を適用した場合の動作例である。図１３は、ワーク移送処理に物体有無判定処理を適用した場合のフローチャートである。本処理は、ロボット制御装置５０のプロセッサ５１による制御の下で実行される。

　ワーク移送実行部１６０は、ロボット１０によりベルトコンベヤ等の供給装置からワークを取り出す（ステップＳ１１）。ワーク移送実行部１６０は、ワークの移送先（搬送装置、作業台等）にワークを置くに当たり、移送先に物が置かれていないことを確認するために、物体有無判定処理を実行する（ステップＳ１２）。なお、本例において、ロボット１０がワークを移送先に置く動作は、移送先に物（障害物）が無いことを前提として教示されているものとする。

　ステップＳ１２で実行される物体有無判定処理の具体例について図１４及び図１５を参照して説明する。図１４は、移送先の載置面９１に何も置かれていない状況で視覚センサ７０が距離画像を撮像する状態を示すと共に、その際に取得された距離画像のヒストグラム２１１を示している。図１５は、載置面９１にワークＷ５が置かれている状態で視覚センサ７０が距離画像を撮像する状態を示すと共に、その際に取得されるヒストグラム２１２を示している。

　ロボット制御装置５０は、載置面９１に何も置かれていない状態で取得されたヒストグラム２１１を予め取得して記憶部１６１に保存しておいても良い。判定部１５４は、予め保存されているヒストグラム２１１と、ワーク移送処理実行時にステップＳ１２において取得した距離画像のヒストグラム２１２との対比により、載置面９１に物が置かれているか否かを判定することができる。

　図１４のヒストグラム２１１中に示すように、閾値設定部１５５は、距離画像中に載置面９１の高さ（明るさ）以外の高さ（明るさ）の度数が存在するか否かを判定するための閾値を設定する機能を提供する。ここで閾値とは、例えば、図１４に示されているように、載置面９１の高さ（明るさ）を基準として、この基準の高さ（明るさ）を含む範囲を定めるための上限値Ｋ１及び下限値Ｋ２として設定されても良い。判定部１５４は、この上限値Ｋ１と下限値Ｋ２で定められる範囲の外部の明るさの点群の存在が認められる場合に、載置面９１に物が置かれていると判定することができる。

　この閾値（上限値Ｋ１、下限値Ｋ２）は、ユーザにより設定されても良く、閾値設定部１５５により自動設定されても良い。閾値設定部１５５は、閾値（上限値Ｋ１及び下限値Ｋ２）の自動設定を、以下の手順、
ｒ１）予め保存されているヒストグラム２１１において度数を有する明るさを、載置面９１の明るさであると特定し、
ｒ２）載置面９１の明るさに所定のマージンをプラスした明るさを上限値Ｋ１とし、載置面９１の明るさから所定のマージンを減じた明るさを下限値Ｋ２と設定する、
により行っても良い。

　なお、ここでは、閾値設定部１５５が、予め検査対象面にものが無い状態で取得した距離画像に基づき閾値を自動設定する手法について説明した。それ以外の手法として、例えば、検査対象面の状況によっては、
（ｄ１）検査時の距離画像中で最も度数が多い、或いは、
（ｄ２）検査時の距離画像中で最も度数が多く且つ最も暗い
という条件を満たす点群について検査対象面であると判定するアルゴリズムを採用しても良い。アルゴリズム（ｄ１）は、検査対象面に基本的にものがあまり置かれていない場合が多いと想定されるような状況において有効である。アルゴリズム（ｄ２）は、検査対象面に基本的にものがあまり置かれていない場合が多く、且つ、検査対処面が床面等の撮像範囲内（或いは検索範囲内）で最も低い位置にある場合に有効である。

　閾値設定部１５５が、閾値（上限値Ｋ１、下限値Ｋ２）のユーザ設定を受け付ける場合には、図１６に示すようなグラフィカルユーザインタフェース画面（ＧＵＩ画面３５０）を教示操作盤４０の表示部４１に提供しても良い。図１６に示すＧＵＩ画面３５０は、検査対象面に物がない状態で撮像された距離画像に基づき、ヒストグラム作成部１５３が作成したヒストグラムを表示すると共に、当該画面上で閾値の設定を受け付けるように構成さている。図１６に示すＧＵＩ画面３５０は、検査対象面の明るさＮ１を挟んで閾値の上限値Ｋ１と下限値Ｋ２とを、数値入力欄３５１、３５２に入力できるように構成されている。ユーザは、数値入力欄３５１、３５２に所望の閾値の上限値Ｋ１と下限値Ｋ２とを設定することができる。このように、検査対象面のヒストグラムが表示された画面上で閾値の設定を行うことができるようにすることにより、ユーザは、ヒストグラムを参考に閾値の設定を直感的に行うことができる。

　検査時において（すなわち、ステップＳ１２での物体有無判定処理において）、図１５に示すように載置面９１にワークＷ５が残っている状況を想定する。この場合、図１５右側に示すようなヒストグラム２１２が生成される。そして、判定部１５４は、閾値の上限値Ｋ１を超える明るさの点群の存在（すなわち、ワークＷ５の存在）を特定する。この場合、ステップＳ１３において、検査対象面に物が置かれていると判定されることとなり（Ｓ１３：ＹＥＳ）、ワークを置く作業は中断され、処理はステップ１５に進む。

　他方、ステップＳ１３において検査対象面に物が置かれていないと判定される場合には（Ｓ１３：ＮＯ）、ワーク移送実行部１６０は、載置面９１にワークを置く作業を実行する（ステップＳ１４）。そして、ワーク移送実行部１６０は、次のワークを取り出し移送する作業を継続しても良い。

　ステップＳ１５では、履歴画像保存部１５８は、ワークＷ５が載置面９１上に残った状態を視覚センサ７０の２次元カメラ機能により撮像した２次元画像を履歴画像として、他の履歴情報と共に記憶装置８０に保存する。そして、ワーク移送実行部１６０は、本処理を終了させる。

　このように、本実施形態に係るワーク移送処理によれば、ワークを置く場所に何にもないことが確実に検出されるため、ワークを置く動作の安全性を向上させることができる。仮にワーク置く場所に何か物（障害物）がある場合には、ロボットによりワークを置く作業を中断することができる。よって、ロボットが、ワークが置かれている場所にワークを置く動作を行いワーク同士が干渉することによる不具合の発生（生産サイクルの停止等）を未然に防ぐことができる。したがって、本実施形態によれば、ワーク移送処理を、よりいっそう安全に且つスムーズに行うことが可能となる。

　ステップＳ１５で保存された履歴画像は、載置面９１にワークＷ５が残った状況の把握や、要因の解析等するために利用することができる。また、それにより、必要な対策を講じることも可能となる。

　ワーク移送処理が行われる間、ヒストグラム作成部１５３は、視覚センサ７０により取得された距離画像に基づくヒストグラムを、所定のユーザ操作に応じて表示画面（表示部４１）に表示するように構成されていても良い。ワーク移送処理において、判定部１５４は、設定された範囲（撮像範囲或いは検索範囲）内の検査対象面において物が置かれているか否かを判定しても良い。

　物体有無判定処理をロボット１０によるワークのハンドリング作業に適用する第２の実施例について説明する。第２の実施例は、ワーク取出し実行部１５９によるバラ積みワークの取出し処理に物体有無判定処理を適用した場合の動作例である。図１７は、バラ積みワークの取出し処理に物体有無判定処理を適用した場合のフローチャートである。本処理は、ロボット制御装置５０のプロセッサ５１による制御の下で実行される。ここでは、図１８及び図１９に示すように床面９０上のコンテナ９５内にバラ積みされたワークＷ６（一部のワークのみに符号を付している）を取り出す作業が実行されるものとする。

　ワーク取出し実行部１５９は、記憶部１６１に格納されたワーク取出しプログラムにしたがって、バラ積みワークの取出し処理を実行する（ステップＳ２１）。そして、ワーク取出し実行部１５９は、バラ積みワークの取り出しが完了したか否かを、所定の完了判定条件により判定する（ステップＳ２２）。所定の完了判定条件は、例えば、視覚センサ７０によりコンテナ９５内を撮像した２次元画像に基づきワークＷ６の検出処理を実行した検出結果としてワークＷ６が検出されないことである。ワークの取り出しが完了していないと判定される場合（Ｓ２２：ＮＯ）、ワークの取り出し処理が継続する。

　ワーク取出し実行部１５９によりワークの取り出し処理が完了したとの判定が下った場合（Ｓ２２：ＹＥＳ）、物体有無判定処理が実行される（ステップＳ２３）。本物体有無判定処理では、コンテナ９５内にワークＷ６が残っているか否かが判定されることとなる。

　ステップＳ２３で実行される物体有無判定処理に関して図１８から図２０を参照して説明する。図１８は、コンテナ９５内に多くのワークＷ６が存在する状態で視覚センサ７０が距離画像を撮像する状況、及びその際に取得された距離画像のヒストグラム２２１を示している。図１９は、コンテナ９５内に何も物がない状態で視覚センサ７０が距離画像を撮像する状況、及びその際に取得された距離画像のヒストグラム２２２を示している。図２０は、コンテナ９５内に一つのワークＷ６が残っている状態で視覚センサ７０が距離画像を撮像する状況、及びその際に取得された距離画像のヒストグラム２２３を示している。

　なお、本実施例においては、図１９のようにコンテナ９５内に物が何もない状況で撮像されたヒストグラム２２２が予め記憶部１６１に保存されているものとする。閾値設定部１５５は、このヒストグラム２２２に基づきコンテナ９５の底面９５ａの高さ（明るさ）を特定し、この明るさを基準とする閾値の上限値Ｋ１と下限値Ｋ２とを決定するものとする。底面９５ａの明るさの特定及び閾値（上限値Ｋ１及び下限値Ｋ２）の設定は、上述の手順（ｒ１）及び(ｒ２)にしたがって行うことができる。なお、図１８に示すように、コンテナ９５内に多くのワークＷ６が存在する状況では、ヒストグラム２２１には、底面９５ａを基準とする閾値の上限値Ｋ１と下限値Ｋ２で定められる範囲を超える明るさの領域に多くの点群が分布することとなる。他方、図１９に示すように、コンテナ内にワークＷ６が残っていない状況では、底面９５ａを基準とする閾値の上限値Ｋ１と下限値Ｋ２で定められる範囲を超える明るさの領域に度数を有する点群は存在しない。

　物体有無判定処理の結果、閾値の上限値Ｋ１と下限値Ｋ２で定められる範囲を超える明るさを有する点群が存在しない場合、検査対象面としての底面９５ａに物がないと判定される（Ｓ２４：ＮＯ）。この場合、バラ積みワークの取出しは適切に終了していることとなり、本処理を終了する。

　物体有無判定処理が実行される際のコンテナ９５内の状況が、図２０に示すようにワークＷ６が残った状況であるとする。この場合、判定部１５４は、図２０に示されるヒストグラム２２３により検査対象面における物体の有無を判定する。ヒストグラム２２３では、閾値の上限値Ｋ１と下限値Ｋ２で定められる範囲を超える明るさの領域に点群の分布が認められる。したがって、この場合、判定部１５４は、検査対象面である底面９５ａに物があると判定する（Ｓ２４：ＹＥＳ）。

　この場合（Ｓ２４：ＹＥＳ）、履歴画像保存部１５８は、ワークＷ６が底面９５ａに残った状態を視覚センサ７０の２次元カメラ機能により撮像した２次元画像を履歴画像として、他の履歴情報と共に記憶装置８０に保存する（ステップＳ２５）。そして、ワーク取出し実行部１５９は、本処理を終了させる。

　以上のように、本実施形態に係るワーク取出し処理によれば、コンテナ内にワークが残っている状態でロボット制御装置がワーク取出し完了判定を下すという不具合を確実に検出することができる。

　ステップＳ２５で保存された履歴画像は、ワークＷ６が残った状態でワーク取出し実行部１５９により取出し完了判定が下った要因を解析するために利用することができる。例えば、図２０に例示したように、ワークＷ６の一側面がコンテナ９５の内側面に密着して残っているような状況では、２次元画像に対しパターンマッチングを適用した検出処理ではワークＷ６を良好に検出できないことも想定され得る。他方、上述の通り、物体有無判定処理による判定によればワークＷ６の存在を適切に判定することができる。したがって、図２０に示すようにワークＷ６が残存する状況を履歴画像として保存するようにすることで、上記要因を解析し、必要な対策を講じることも可能となる。

　なお、上述の第２の実施例では、コンテナ９５の側面が計測されないように撮像範囲或いは検索範囲が予め調整されていても良い。このように撮像範囲或いは検索範囲を設定することで、ヒストグラムには、コンテナ９５の底面９５ａとワークＷ６（ワークＷ６が存在する場合）による高さのみの度数が現れるようになり、物体有無判定をより良好に行うことが可能となる。

　以上説明したように、本実施形態によれば、検査対象の場所に物が置かれているか否かを確実に判定することが可能となり、ロボットによるワークのハンドリング作業における不具合の発生の未然の防止や不具合の発生の検出を確実に行うことが可能となる。

　上述した実施形態において図２に示した機能ブロック図における機能の配置は例示であり、機能の配置については様々な変形例を構成し得る。例えば、ロボット制御装置５０に配置した機能ブロックの一部（例えば、閾値設定部１５５、撮像範囲設定部１５６、及び検索範囲設定部１５７）を教示操作盤４０側に配置するような構成例も有り得る。

　教示操作盤４０としての機能（ユーザインタフェースとしての表示部や操作部の機能等）をロボット制御装置５０としての機能に含めてロボット制御装置と定義しても良い。

　上述の実施形態では、判定部１５４が距離画像のヒストグラムを用いて検索範囲内に物が置かれているか否かを判定する動作例を説明したが、判定部が検索範囲内に物が置かれているか否かを判定する動作例はこれに限られない。例えば、判定部１５４は、距離画像中の各点の距離データを用いて、指定された検索範囲に物が置かれているか否かを判定しても良い。この場合には、例えば、検索範囲内の基準面の高さを基準として特定の高さを有する物体の存在が認められる場合に、検索範囲内に（基準面上に）物が置かれていると判定しても良い。なお、判定部をこのような構成とする場合には、ヒストグラムによる判定に係わる機能（ヒストグラム作成部１５３及び閾値設定部１５５）は省略することができる。

　図２に示したロボット制御装置や視覚センサ制御装置の機能ブロックは、これらの装置のプロセッサが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。

　上述の物体有無判定処理（図１１、図１２）は、各種情報処理装置上で実行することが可能である。

　上述した実施形態における物体有無判定処理（図１１、図１２）、ワーク移送処理（図１３）、ワーク取出し処理（図１７）等の各種の処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

　本開示について詳述したが、本開示は上述した個々の実施形態に限定されるものではない。これらの実施形態は、本開示の要旨を逸脱しない範囲で、または、特許請求の範囲に記載された内容とその均等物から導き出される本開示の趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除等が可能である。また、これらの実施形態は、組み合わせて実施することもできる。例えば、上述した実施形態において、各動作の順序や各処理の順序は、一例として示したものであり、これらに限定されるものではない。また、上述した実施形態の説明に数値又は数式が用いられている場合も同様である。

　上記実施形態および変形例に関し更に以下の付記を記載する。
　（付記１）
　視覚センサ（７０）により撮像された距離画像を取得する画像取得部（１５２）と、前記距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する判定部（１５４）と、を備える制御装置（５０）。
　（付記２）
　前記所定の入力情報により指定された前記範囲を検索範囲として設定する検索範囲設定部（１５７）を更に備える、付記１に記載の制御装置（５０）。
　（付記３）
　前記所定の入力情報は、前記検索範囲を画像上の範囲として指定する情報である、付記２に記載の制御装置（５０）。
　（付記４）
　前記所定の入力情報は、前記検索範囲を実空間上の範囲として指定する情報である、付記２に記載の制御装置（５０）。
　（付記５）
　前記所定の入力情報は、ロボットプログラムに記述されている、付記１から４のいずれか一項に記載の制御装置（５０）。
　（付記６）
　前記所定の入力情報は、ユーザインタフェースを介して入力された情報である付記１から４のいずれか一項に記載の制御装置（５０）。
　（付記７）
　前記検索範囲設定部（１５７）は、実空間上に定めた範囲として前記検索範囲を設定する、付記２から４のいずれか一項に記載の制御装置（５０）。
　（付記８）
　前記検索範囲設定部（１５７）は、前記視覚センサ（７０）の撮像範囲に対応付けた範囲として前記検索範囲を設定する、付記２から４のいずれか一項に記載の制御装置（５０）。
　（付記９）
　前記画像上の範囲は、当該画像上の座標に準拠する数値情報として表されている、付記３に記載の制御装置（５０）。
　（付記１０）
　前記検索範囲設定部（１５７）は、前記画像上の範囲をグラフィカルな操作により指定するためのグラフィカルユーザインタフェースを提供する、付記３に記載の制御装置（５０）。
　（付記１１）
　前記検索範囲設定部（１５７）は、ロボット（１０）に実空間上の複数の点をタッチアップさせる動作を実行させることにより得られる前記複数の点の３次元座標を、前記検索範囲を実空間上の範囲として指定する情報として取得する、付記４に記載の制御装置（５０）。
　（付記１２）
　前記所定の入力情報により指定された範囲を、前記視覚センサ（７０）が撮像する前記撮像範囲として設定するための撮像範囲設定部（１５６）を更に備え、前記撮像範囲設定部（１５６）は、前記視覚センサ（７０）に対し、設定された前記撮像範囲で前記視覚センサが撮像を行うよう指令する信号を送出する、付記１に記載の制御装置（５０）。
　（付記１３）
　前記判定部（１５４）は、指定された前記範囲内において検査対象面に物が置かれているか否かを判定する、付記１から１２のいずれか一項に記載の制御装置（５０）。
　（付記１４）
　前記判定部（１５４）は、取得された前記距離画像中の各点の距離情報に関する度数分布に基づいて、前記検査対象面に物が置かれているか否かを判定する、付記１３に記載の制御装置（５０）。
　（付記１５）
　前記度数分布における前記検査対象面の距離情報と、前記検査対象面における他の物体の距離情報とを識別するための閾値を設定するための閾値設定部（１５５）を更に備え、前記判定部（１５４）は前記閾値を用いて前記検査対象面に物が置かれているか否かを判定する、付記１４に記載の制御装置（５０）。
　（付記１６）
　前記閾値設定部（１５５）は、前記検査対象面に物が置かれていない状況において得られた距離画像の各点の距離情報に関する度数分布に基づいて前記閾値を設定する、付記１５に記載の制御装置（５０）。
　（付記１７）
　前記閾値設定部（１５５）は、ユーザ操作による前記閾値の設定を受け付けるユーザインタフェースを提供するように構成されている、付記１５に記載の制御装置（５０）。
　（付記１８）
　前記ユーザインタフェースは、前記距離画像の度数分布を表す画像を含むグラフィカルユーザインタフェースとして構成されている、付記１７に記載の制御装置（５０）。
　（付記１９）
　前記閾値設定部（１５５）は、ロボットプログラムに記述された閾値情報にしたがい前記閾値を設定する、付記１５に記載の制御装置（５０）。
　（付記２０）
　取得された前記距離画像中の各点の距離情報に基づき前記度数分布を表す画像を生成し表示画面に表示するヒストグラム作成部（１５３）を更に備える、付記１４から１９のいずれか一項に記載の制御装置（５０）。
　（付記２１）
　前記ヒストグラム作成部（１５３）は、前記距離画像中の指定された範囲で前記度数分布を表す画像を生成するように構成されている、付記２０に記載の制御装置（５０）。
　（付記２２）
　ロボット（１０）により供給装置からワークを取り出し所定の載置面に置くワーク移送作業を実行するためのワーク移送実行部（１６０）を更に備え、
　前記判定部（１５４）は、前記ワーク移送実行部（１６０）が前記ワークを前記載置面に置く前に、前記載置面を撮像した距離画像に基づき、前記載置面に物があるか否かを判定する、付記１４から２１のいずれか一項に記載の制御装置（５０）。
　（付記２３）
　ロボット（１０）により容器内にバラ積みされたワークを取り出す取出し作業を実行するためのワーク取出し実行部（１５９）を更に備え、前記判定部（１５４）は、前記ワーク取出し実行部（１５９）が所定の完了判定条件に基づきワークの取出しの完了判定を下した際に、前記容器の底面を撮像した距離画像に基づいて、前記容器の底面に物があるか否かを判定する、付記１４から２１のいずれか一項に記載の制御装置（５０）。
　（付記２４）
　前記判定部（１５４）により物があると判定された場合に履歴画像を保存する履歴画像保存部（１５８）を更に備える、付記２２又は２３に記載の制御装置（５０）。
　（付記２５）
　前記距離画像は、各点の前記距離情報を明るさにより表す画像であり、前記度数分布は、前記距離画像の各点の明るさの分布を表す、付記１４から２４のいずれか一項に記載の制御装置。
　（付記２６）
　ロボット（１０）と、視覚センサ（７０）と、付記１から２５のいずれか一項に記載の制御装置（５０）と、を具備し、前記制御装置（５０）は前記ロボット（１０）を制御する、ロボットシステム（１００）。
　（付記２７）
　情報処理装置上で実行される方法であって、
　視覚センサ（７０）により撮像された距離画像を取得し、
　前記距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する、物体有無判定方法。
　（付記２８）
　コンピュータのプロセッサに、
　視覚センサ（７０）により撮像された距離画像を取得する手順と、
　前記距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する手順と、
を実行させるためのプログラム。

　１０　　ロボット
　２０　　視覚センサ制御装置
　３３　　ハンド
　４０　　教示操作盤
　５０　　ロボット制御装置
　５１　　プロセッサ
　７０　　視覚センサ
　８０　　記憶装置
　９０　　床面
　９１　　載置面
　９５　　コンテナ
　９５ａ　　底面
　１００　　ロボットシステム
　１２１　　画像処理部
　１２２　　記憶部
　１５１　　動作制御部
　１５２　　画像取得部
　１５３　　ヒストグラム作成部
　１５４　　判定部
　１５５　　閾値設定部
　１５６　　撮像範囲設定部
　１５７　　検索範囲設定部
　１５８　　履歴画像保存部
　１５９　　ワーク取出し実行部
　１６０　　ワーク移送実行部
　１６１　　記憶部
　３５０　　ＧＵＩ画面

Claims (28)

1. 　視覚センサにより撮像された距離画像を取得する画像取得部と、
   　前記距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する判定部と、
   を備える制御装置。
2. 　前記所定の入力情報により指定された前記範囲を検索範囲として設定する検索範囲設定部を更に備える、請求項１に記載の制御装置。
3. 　前記所定の入力情報は、前記検索範囲を画像上の範囲として指定する情報である、請求項２に記載の制御装置。
4. 　前記所定の入力情報は、前記検索範囲を実空間上の範囲として指定する情報である、請求項２に記載の制御装置。
5. 　前記所定の入力情報は、ロボットプログラムに記述されている、請求項１から４のいずれか一項に記載の制御装置。
6. 　前記所定の入力情報は、ユーザインタフェースを介して入力された情報である請求項１から４のいずれか一項に記載の制御装置。
7. 　前記検索範囲設定部は、実空間上に定めた範囲として前記検索範囲を設定する、請求項２から４のいずれか一項に記載の制御装置。
8. 　前記検索範囲設定部は、前記視覚センサの撮像範囲に対応付けた範囲として前記検索範囲を設定する、請求項２から４のいずれか一項に記載の制御装置。
9. 　前記画像上の範囲は、当該画像上の座標に準拠する数値情報として表されている、請求項３に記載の制御装置。
10. 　前記検索範囲設定部は、前記画像上の範囲をグラフィカルな操作により指定するためのグラフィカルユーザインタフェースを提供する、請求項３に記載の制御装置。
11. 　前記検索範囲設定部は、ロボットに実空間上の複数の点をタッチアップさせる動作を実行させることにより得られる前記複数の点の３次元座標を、前記検索範囲を実空間上の範囲として指定する情報として取得する、請求項４に記載の制御装置。
12. 　前記所定の入力情報により指定された範囲を、前記視覚センサが撮像する撮像範囲として設定するための撮像範囲設定部を更に備え、
    　前記撮像範囲設定部は、前記視覚センサに対し、設定された前記撮像範囲で前記視覚センサが撮像を行うよう指令する信号を送出する、請求項１に記載の制御装置。
13. 　前記判定部は、指定された前記範囲内において検査対象面に物が置かれているか否かを判定する、請求項１から１２のいずれか一項に記載の制御装置。
14. 　前記判定部は、取得された前記距離画像中の各点の距離情報に関する度数分布に基づいて、前記検査対象面に物が置かれているか否かを判定する、請求項１３に記載の制御装置。
15. 　前記度数分布における前記検査対象面の距離情報と、前記検査対象面における他の物体の距離情報とを識別するための閾値を設定するための閾値設定部を更に備え、
    　前記判定部は前記閾値を用いて前記検査対象面に物が置かれているか否かを判定する、請求項１４に記載の制御装置。
16. 　前記閾値設定部は、前記検査対象面に物が置かれていない状況において得られた距離画像の各点の距離情報に関する度数分布に基づいて前記閾値を設定する、請求項１５に記載の制御装置。
17. 　前記閾値設定部は、ユーザ操作による前記閾値の設定を受け付けるユーザインタフェースを提供するように構成されている、請求項１５に記載の制御装置。
18. 　前記ユーザインタフェースは、前記距離画像の度数分布を表す画像を含むグラフィカルユーザインタフェースとして構成されている、請求項１７に記載の制御装置。
19. 　前記閾値設定部は、ロボットプログラムに記述された閾値情報にしたがい前記閾値を設定する、請求項１５に記載の制御装置。
20. 　取得された前記距離画像中の各点の距離情報に基づき前記度数分布を表す画像を生成し表示画面に表示するヒストグラム作成部を更に備える、請求項１４から１９のいずれか一項に記載の制御装置。
21. 　前記ヒストグラム作成部は、前記距離画像中の指定された範囲で前記度数分布を表す画像を生成するように構成されている、請求項２０に記載の制御装置。
22. 　ロボットにより供給装置からワークを取り出し所定の載置面に置くワーク移送作業を実行するためのワーク移送実行部を更に備え、
    　前記判定部は、前記ワーク移送実行部が前記ワークを前記載置面に置く前に、前記載置面を撮像した距離画像に基づき、前記載置面に物があるか否かを判定する、請求項１４から２１のいずれか一項に記載の制御装置。
23. 　ロボットにより容器内にバラ積みされたワークを取り出す取出し作業を実行するためのワーク取出し実行部を更に備え、
    　前記判定部は、前記ワーク取出し実行部が所定の完了判定条件に基づきワークの取出しの完了判定を下した際に、前記容器の底面を撮像した距離画像に基づいて、前記容器の底面に物があるか否かを判定する、請求項１４から２１のいずれか一項に記載の制御装置。
24. 　前記判定部により物があると判定された場合に履歴画像を保存する履歴画像保存部を更に備える、請求項２２又は２３に記載の制御装置。
25. 　前記距離画像は、各点の前記距離情報を明るさにより表す画像であり、
    　前記度数分布は、前記距離画像の各点の明るさの分布を表す、
    請求項１４から２４のいずれか一項に記載の制御装置。
26. 　ロボットと、
    　視覚センサと、
    　請求項１から２５のいずれか一項に記載の制御装置と、を具備し、
    　前記制御装置は前記ロボットを制御する、ロボットシステム。
27. 　情報処理装置上で実行される方法であって、
    　視覚センサにより撮像された距離画像を取得し、
    　前記距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する、物体有無判定方法。
28. 　コンピュータのプロセッサに、
    　視覚センサにより撮像された距離画像を取得する手順と、
    　前記距離画像に基づき、所定の入力情報により指定された範囲内に物が置かれているか否かを判定する手順と、
    を実行させるためのプログラム。

Images