JP2024072429A - 画像処理装置、画像処理方法、ロボットシステム、物品の製造方法、撮像装置、撮像装置の制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 ワークの位置または姿勢の取得に要する処理時間を低減する。
【解決手段】 ワークを撮像する撮像部により前記ワークの画像の処理する画像処理装置であって、処理部が、前記画像において第１密度の点群を設定し、前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、ことを特徴とする画像処理装置を採用した。
【選択図】 図４

Description

本発明は、ロボット及び画像処理に関するものである。

生産ラインにおいて、カメラや認識アルゴリズムを用いたロボットによるロボットビジョンを用いた作業の自動化が模索されている。ロボットビジョンの分野では認識対象とするワークの位置姿勢を精密に推定するために、ワークの三次元の点群情報を取得する三次元測定装置が広く用いられている。しかし、これらの三次元測定装置では、測定領域内の点群情報をすべて算出（取得）するまでワークの位置姿勢推定の処理が開始できないため、全体の処理時間が長くなる傾向にある。

処理時間を短縮する手段の例として、下記特許文献１には、カラー画像を用いてワークの存在する領域を抽出し、その領域に存在する距離分布情報を用いてワークの位置姿勢推定を実行することで、位置姿勢推定の処理時間を低減する手法が記載されている。また、下記特許文献２には、二次元画像から求められた二次元位置情報または三次元空間上の視線を用いて三次元点群の領域を制限し、制限された点群からワークの位置姿勢推定を実行することで位置姿勢推定の処理時間を低減する手法が記載されている。

特開２０１８－１２８８９７号公報 特開２０１３－１０１０４５号公報

しかしながら、特許文献１および特許文献２の手法では、一度、測定領域全体に対して三次元測定を実行した後に対象領域を抽出し、その後、ワークの位置姿勢推定を開始している。そのため、ワークの三次元の点群情報を取得する三次元測定そのものの処理に要する時間については短縮することができておらず、ワークの位置または姿勢の取得にかかる処理時間のさらなる短縮の余地がある。

本発明は、ワークの位置または姿勢の取得に要する処理時間を低減する。

本発明は、ワークを撮像する撮像部により前記ワークの画像の処理する画像処理装置であって、処理部が、前記画像において第１密度の点群を設定し、前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、ことを特徴とする画像処理装置を採用した。

本発明によれば、ワークの位置または姿勢の取得に要する処理時間を低減することができる。

実施形態におけるロボットシステム２００の概略図である。 実施形態における画像処理装置２０１の概略図である。 実施形態における画像処理装置２０１とロボットコントローラ２１０の制御ブロック図である。 実施形態における制御フローチャートである。 実施形態における制御フローチャートである。 実施形態における制御フローチャートである。 実施形態における効果を説明するための図である。 実施形態における表示形態の例図である。 実施形態における表示形態の例図である。 実施形態における表示形態の例図である。 実施形態における表示形態の例図である。 実施形態における表示形態の例図である。 実施形態における制御フローチャートである。 実施形態における制御フローチャートである。

以下、添付図面に示す実施形態を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施形態はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。なお以下の図面において、図中の矢印Ｘ、Ｙ、Ｚはロボットシステムの全体の座標系を示す。一般に、ＸＹＺ３次元座標系は、設置環境全体のワールド座標系を示す。その他、制御の都合などによって、ロボットハンド、指部、関節などに関して適宜ローカル座標系を用いる場合がある。

（第１の実施形態）
図１は、第１実施形態に係るロボットシステム２００の概略構成を示す説明図である。ロボットシステム２００は、ロボット（ロボットマニピュレータ）２０２と、画像処理装置２０１と、制御装置の一例であるロボットコントローラ２１０と、撮像装置と、を備える。ロボット２０２は、産業用ロボットであり、生産ラインに配置され、物品の製造に用いられる。

ロボット２０２は、マニピュレータであり、ロボットハンド２１１を備えている。ロボット２０２の周囲には、上部が開口した容器２０７と、載置台２０８とが配置される。容器２０７内には、複数のワーク２０６がばら積みされる。各ワーク２０６は、例えば部品である。容器２０７内の複数のワーク２０６が１つずつロボット２０２によって保持され、載置台２０８上の所定位置へと搬送される。複数のワーク２０６は、互いに同一の形状、同一の大きさ、同一の色であり、容器２０７内にランダムに配置される。

ロボット２０２とロボットコントローラ２１０とは、通信可能に配線で接続されている。ロボットコントローラ２１０と画像処理装置２０１とは、通信可能に配線で接続されている。また撮像部２０３、２０４からなるステレオカメラと照射部２０５と画像処理装置２０１とは、通信可能に有線接続又は無線接続されている。

ロボット２０２は、ロボットアーム２１２と、ロボットハンド２１１、即ち保持機構の一例であるロボットハンドと、を有する。ロボットアーム２１２は、垂直多関節のロボットアームである。ロボットハンド２１１は、ロボットアーム２１２に支持されている。

ロボットハンド２１１は、ロボットアーム２１２の所定部位、例えばロボットアーム２１２の先端部に取り付けられている。ロボットハンド２１１は、ワーク２０６を保持可能に構成されている。なお、保持機構がロボットハンである場合について説明するが、これに限定するものではなく、例えば保持機構がワークを吸着することによってワークを保持可能な吸着機構であってもよい。本実施形態では、ロボットハンド２１１は、ワークＷを把持可能に構成されている。

以上の構成により、ロボットアーム２１２によりロボットハンド２１１を任意の位置に動作させ、所望の作業を行わせることができる。例えば、材料としてワーク２０６と他のワークとを用い、ワーク２０６と他のワークとを組み付ける処理を行うことで、成果物として組付けワークを製造することができる。以上によりロボット２０２によって物品の製造を行うことができる。なお本実施形態ではロボット２０２によるワークの組付けによる物品の製造を例に取り説明したがこれに限られない。例えば、ロボットアーム２１２のエンドエフェクタとして切削工具や研磨工具などのツールを設け、ワークを加工することで物品の製造を行っても構わない。

また、ロボット２０２には、互いに光学的に校正された撮像部２０３、２０４からなるステレオカメラが搭載され、ステレオカメラの共通視野内に任意のパターンを照射する照射部２０５が設置されている。撮像部２０３、２０４および照射部２０５は画像処理装置２０１と接続されている。そして、画像処理装置２０１は照射部２０５の照射パターンの設定、撮像部２０４、２０５の各種パラメータの設定および撮像データの受信を行うとともに、三次元点群の算出処理および対象ワークの位置およびまたは姿勢の推定処理を行う。

図１では撮像部２０３、２０４および照射部２０５をロボット２０２に設置しているが、容器２０７上空の俯瞰位置２０９に別のカメラを設置してワーク２０６のおよその位置を測定し、ロボット２０２の移動に用いてもよい。また、俯瞰位置２０９からの測定手段は二次元画像、三次元点群によるものを問わない。また、撮像部２０３、２０４および照射部２０５を俯瞰位置２０９に固定してもよい。その場合、ロボット２０２が載置台２０８上空に移動している間に撮像およびワーク認識が可能であるため、サイクルタイムの面で有利である。

ただし、ロボット２０２上に設置した場合と比較して、撮像部のレンズ先端からワーク表面までのワークディスタンスが長くなるため、同じ焦点距離のレンズを使用すると視野は広がる一方、空間分解能は低下し、ワークの認識精度は低下する。あるいは、撮像部２０３、２０４および照射部２０５を、ロボット２０２上と俯瞰位置２０９の２カ所に設置し、それぞれの位置から三次元測定を実施してワークの位置およびまたは姿勢を推定する方式としてもよい。

照射部２０５は任意のパターンを照射できるものであれば方式は問わず、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタや液晶プロジェクタ、あるいはパターンを描画したマスクを用いてパターン光を投影する装置でもよい。撮像部２０４、２０５としてはカメラを用いるが、取得画像はモノクロ画像、カラー画像を問わない。また、照射、撮像する光は可視光に限定されるものではなく、例えば赤外光を照射、撮像することで、可視光による外乱の影響を回避する実施形態も可能である。

撮像部２０４、２０５は、ロボット２０２の所定部位、例えばロボットハンド２１１に取り付けられることで、ロボット２０２に支持されている。撮像部２０４、２０５の撮像位置、即ち撮像部２０４、２０５に撮像される撮像領域は、ロボット２０２の姿勢に応じて自在に変えることができる。具体的には、撮像部２０４、２０５は、ロボット２０２の動作によって、容器２０７にばら積みされた複数のワーク２０６に対して、撮像部２０４、２０５よりも近接した位置に移動可能である。そして、撮像部２０４、２０５は、ロボット２０２の動作によって、複数のワーク２０６のうち、ロボット２０２に保持させる対象物であるワーク２０６の上空に移動可能である。

画像処理装置２０１は、第１実施形態ではコンピュータで構成されている。画像処理装置２０１は、撮像部２０３、２０４、照射部２０５に撮像指令を送って撮像部２０３、２０４に撮像を行わせることができる。画像処理装置２０１は、撮像部２０３、２０４によって生成された画像を取得可能に構成されており、取得した画像を処理可能に構成されている。図２は、第１実施形態に係る画像処理装置２０１の説明図である。画像処理装置２０１は、本体２０１ａと、本体２０１ａに接続された表示装置（表示部）の一例であるディスプレイ２０１ｂと、本体２０１ａに接続された入力装置の一例であるキーボード２０１ｃ及びマウス２０１ｄと、を有する。ここで、画像処理装置２０１としては例えばロボット外部のパーソナルコンピュータを用いて、モニタに情報を表示してキーボードやマウスなどの入力装置を介して操作することを例に取り説明した。しかしながら、プロセッサおよび記憶部をロボット内部または外部に備えて一体としてもよい。

図３は、第１実施形態に係る画像処理装置２０１、ロボットコントローラ２１０におけるコンピュータシステムのブロック図である。画像処理装置２０１の本体２０１ａは、プロセッサの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１ｅを備える。ＣＰＵ２０１ｅは、画像処理部の一例である。また、本体２０１ａは、記憶部として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０１ｆ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１ｇ、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０１ｈを備える。また、本体２０１ａは、記録ディスクドライブ２０１ｊ、及び入出力インタフェースであるインタフェース２０１ｋを備える。ＣＰＵ２０１ｅ、ＲＯＭ２０１ｆ、ＲＡＭ２０１ｇ、ＨＤＤ２０１ｈ、記録ディスクドライブ２０１ｊ、及びインタフェース２０１ｋは、互いに通信可能にバスで接続されている。

ＲＯＭ２０１ｆには、コンピュータの動作に関する基本プログラムが格納されている。ＲＡＭ２０１ｇは、ＣＰＵ２０１ｅの演算処理結果等、各種データを一時的に記憶する記憶装置である。ＨＤＤ２０１ｈには、ＣＰＵ２０１ｅの演算処理結果や外部から取得した各種データ等が記録されると共に、ＣＰＵ２０１ｅに、各種処理を実行させるためのプログラム２０１ｍが記録されている。プログラム２０１ｍは、ＣＰＵ２０１ｅが実行可能なアプリケーションソフトウェアである。

ＣＰＵ２０１ｅは、ＨＤＤ２０１ｈに記録されたプログラム２０１ｍを実行することで、後述する画像処理を実行することが可能となる。記録ディスクドライブ２０１ｊは、記録ディスク２０１ｉに記録された各種データやプログラム等を読み出すことができる。

なお、第１実施形態では、コンピュータによって読み取り可能な非一時的な記録媒体がＨＤＤ２０１ｈであり、ＨＤＤ２０１ｈにプログラム２０１ｍが記録されているが、これに限定するものではない。プログラム２０１ｍは、コンピュータによって読み取り可能な非一時的な記録媒体であれば、いかなる記録媒体に記録されていてもよい。プログラム２０１ｍをコンピュータに供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性メモリ等を用いることができる。またＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いても構わない。

ロボットコントローラ２１０は、プロセッサの一例であるＣＰＵ２１０ｅを備える。ＣＰＵ２１０ｅは、制御部の一例である。また、ＣＰＵ２１０ｅは、記憶部として、ＲＯＭ２１０ｆ、ＲＡＭ２１０ｇ、及びＨＤＤ２１０ｈを備える。また、ロボットコントローラ２１０は、記録ディスクドライブ２１０ｊ、及び入出力インタフェースであるインタフェース２１０ｋを備える。ＣＰＵ２１０ｅ、ＲＯＭ２１０ｆ、ＲＡＭ２１０ｇ、ＨＤＤ２１０ｈ、記録ディスクドライブ２１０ｊ、及びインタフェース２１０ｋは、互いに通信可能にバスで接続されている。

ＲＯＭ２１０ｆには、コンピュータの動作に関する基本プログラムが格納されている。ＲＡＭ２１０ｇは、ＣＰＵ２１０ｅの演算処理結果等、各種データを一時的に記憶する記憶装置である。ＨＤＤ２１０ｈには、ＣＰＵ２１０ｅの演算処理結果や外部から取得した各種データ等が記録されると共に、ＣＰＵ２１０ｅに、各種処理を実行させるためのプログラム２１０ｍが記録（格納）されている。プログラム２１０ｍは、ＣＰＵ２１０ｅが実行可能なアプリケーションソフトウェアである。

ＣＰＵ２１０ｅは、ＨＤＤ２１０ｈに記録されたプログラム２１０ｍを実行することで制御処理を実行し、図１のロボット２０２の動作を制御することが可能となる。記録ディスクドライブ２１０ｊは、記録ディスク２１０ｉに記録された各種データやプログラム等を読み出すことができる。

なお、本実施形態では、コンピュータによって読み取り可能な非一時的な記録媒体がＨＤＤ２１０ｈであり、ＨＤＤ２１０ｈにプログラム２１０ｍが記録されているが、これに限定するものではない。プログラム２１０ｍは、コンピュータによって読み取り可能な非一時的な記録媒体であれば、いかなる記録媒体に記録されていてもよい。プログラム２１０ｍをコンピュータに供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性メモリ等を用いることができる。またＳＳＤを用いても構わない。

なお、本実施形態では、画像処理及び制御処理を複数のコンピュータ、即ち複数のＣＰＵ２０１ｅ，２１０ｅで実行するが、これに限定するものではない。画像処理及び制御処理を１つのコンピュータ、即ち１つのＣＰＵで実行するようにしてもよい。この場合、１つのＣＰＵが画像処理部及び制御部として機能するように構成すればよい。

ＣＰＵ２０１ｅは、プログラム２０１ｍを実行することにより、複数のワーク２０６が存在する領域を、撮像部２０３、２０４、照射部２０５を用いて撮像させ、その撮像により得られた画像から取出し可能なワーク２０６を検出するよう機能する。即ち、ＣＰＵ２０１ｅは、取出し可能なワーク２０６に対応するワーク画像を含む所定領域を特定するよう機能する。以下、この所定領域を探索領域と呼ぶ。また、ＣＰＵ２５１は、プログラム２６１を実行することにより、探索領域に対応する実空間の領域をカメラ４０２に撮像させ、画像処理の一例であるパターンマッチング処理によってワークＷの位置及び姿勢を計測するよう機能する。

ＣＰＵ２１０ｅは、プログラム２１０ｍを実行することにより、ロボット２０２を制御して、撮像部２０３、２０４、照射部２０５を実空間の所定位置へ移動させるよう機能する。また、ＣＰＵ２１０ｅは、プログラム２１０ｍを実行することにより、ＣＰＵ２１０ｅにより計測されたワーク２０６を保持する位置へロボットハンド２１１を移動させるよう機能する。また、ＣＰＵ２１０ｅは、プログラム２１０ｍを実行することにより、ロボットハンド２１１にワーク２０６を保持させ、載置台２０８へワーク２０６を移載させるよう機能する。

次に本実施形態における大まかな制御フローについて述べる。図４は本実施形態における大まかな制御フローチャートである。なお本実施形態における制御フローは、画像処理装置２０１が有するＣＰＵ２０１ｅ、ロボットコントローラ２１０が有するＣＰＵ２１０ｅが各処理を実行し、互いに通信することで実行されるものとする。本実施形態の処理フローは、第１密度の点群の生成およびモデルとのマッチングを行う第１段階と、第２密度の点群の生成およびモデルとのマッチングを行う第２段階に分けられる。

図４より、第一段階では、ステップＳ１００において、撮像部２０３、２０５、照射部２０５を用いて取得した画像データを取得する。そして、ステップＳ１０１において取得した画像データに基づき第１密度の点群を生成する。そしてＳ１０２では、ステップＳ１０１で得られた第１密度の点群を用いて、対象ワークのおおよその位置およびまたは姿勢を推定する概略マッチングを実行する。

続く第２段階では、ステップＳ１０３において、ステップＳ１０２で推定した対象ワークのおおよその位置およびまたは姿勢に基づき、画像データにおいて対象ワークを含む領域を制限（抽出）する。そしてステップＳ１０４において、ステップＳ１０３で制限した領域において、第１密度よりも高密度な第２密度の点群を生成する。その後ステップＳ１０５において第２密度の点群を用いて対象ワークの詳細な位置およびまたは姿勢を推定する詳細マッチングを実行する。そしてステップＳ１０６にて、ステップＳ１０５の詳細マッチングの結果に基づき、対象ワークの位置およびまたは姿勢推定結果を取得する。

ここで、第１密度の点群とは、点群を構成する点同士の間隔が大きい比較的低密度な点群であり、第２密度の点群とは、第１密度よりも間隔の小さい高密度の点群を指す。また、本実施形態におけるマッチングとは、ワークの既知のＣＡＤモデルから作成した基準モデルと、画像データに基づく点群等の取得データを照合し、その一致度が高くなる位置およびまたは姿勢を算出することを指す。また、マッチングの際に三次元点群のエッジ情報を抽出してワークの特徴を捉え、誤マッチングの可能性を軽減してもよい。あるいは、左右いずれかの撮像部から取得した二次元画像のエッジ情報を用いることによってワークの特徴を捉え、誤マッチングの可能性を軽減してもよい。

また本実施形態では、ある撮像部からの取得画像中の画素値と別の撮像部からの取得画像中の画素値、あるいは照射画像中の画素値を対応点付けして三角測量の原理で点群を生成する。その際に、低密度の点群に基づき対象ワークのおおよその位置およびまたは姿勢を推定し対象ワークが存在する領域を抽出する。そして抽出した領域で高密度の点群に基づく詳細なマッチングを行うことで、対象ワークの位置およびまたは姿勢を取得する際の計算量を低減する。したがって、撮像部と照射部の組み合わせは、図１の２つの撮像部と１つの照射部に限定されるものではなく、互いに校正された１つの撮像部と１つの照射部、あるいは互いに校正された複数の撮像部と複数の照射部として実施しても構わない。

図５は本実施形態における詳細な制御フローチャートである。お本実施形態における制御フローは、画像処理装置２０１が有するＣＰＵ２０１ｅ、ロボットコントローラ２１０が有するＣＰＵ２１０ｅが各処理を実行し、互いに通信することで実行されるものとする。本実施形態では三次元点群の生成にグレイコードパターンを用いた空間コード化法を実行するものとし、撮像と点群生成のステップを分割する。

図５より、第１段階として、ステップＳ３００において、ロボット２０２を制御して、照射部２０５からグレイコードパターンをワーク２０６に照射する。次にステップＳ３０１において各パターン照射時におけるワーク２０６の画像を左右の撮像部２０３、２０４より取得する。そしてステップＳ３０２にて、設定されたパターンの撮影が全て完了するまで画像の取得を繰り返す。この際、全てのグレイコードパターンを照射するのではなく、例えば、最終的に計１６パターンを照射するのであればここでは１２パターンを照射するといったように、第１密度の点群を生成するのに必要とするパターンを照射する。

次にステップＳ３０３において、一般的な空間コード化法の手法に従い、取得した左右の画像を明暗で二値化して最上位ビットから順に二進数で表現することで、左右のコード画像をそれぞれ１枚ずつ生成する。本実施形態ではネガポジ反転したパターンを照射し、二値化処理の際に撮影画像の差分をとることで明暗の境界を強調し、最終的に計１６枚の撮影画像から８ビットのコード画像を生成する場合を例にとる。したがって第１段階では、１２パターンの撮影画像から上位６ビットが入力されたコード画像が得られる。ただし、反転画像を用いずに、最終的に計８パターンの各撮影画像と、パターンを照射していない撮影画像との差分から８ビットのコード画像を生成する実施形態も可能である。

コード画像が得られた後、ステップＳ３０４において、コード画像中の画素値が変化する境界を抽出して左右画像を対応点付けし、三角測量の原理で測距することで第１密度の比較的低密度な点群を生成する。

次にステップＳ３０５において、ワーク２０６の既知のＣＡＤモデルから作成した基準モデルを取得点群に対して照合し、対象とするワーク２０６の三次元の位置およびまたは姿勢を算出する。これにより、第１段階におけるマッチング結果を取得し、概略マッチング結果とする。この第１段階が完了した時点で、対象とするワーク２０６のおおよその位置およびまたは姿勢が算出される。また、三次元の点群情報を用いているため、画面奥行き方向や、各軸回りの回転方向について、二次元画像を用いた場合と比較して高精度な位置およびまたは姿勢を推定が可能となる。

次に第二段階として、ステップＳ３０６において、第１段階で使用しなかったパターンをワーク２０６に照射し、ステップＳ３０７において左右の撮像部より画像を取得する。本実施形態では、ステップＳ３０８より、ステップＳ３０６、３０７操作を残る４パターンの照射と撮像が完了するまで繰り返す。

４パターンの取得画像をステップＳ３０９において二値化し、第１段階で生成したステップＳ３０４の残る下位ビットに入力することで重畳すると、第１段階よりも細かい、８ビットの左右のコード画像が生成される。

次にステップＳ３１０では、第１段階におけるマッチング結果を用いて、対象とするワーク２０６が存在すると推定される領域を絞り込む。そして、ステップＳ３１１において、絞り込んだ領域において、左右のコード画像の視差を用いて第１密度の点群よりも高密度な第２密度の三次元点群を生成する。この際、第１密度の点群を算出する際に用いなかった画素値の境界でのみ測距処理を行うことで、第１段階と重複した算出処理を避けることができる。つまり概略マッチングにより特定された領域に基づく三次元空間を、詳細マッチングを施す探索範囲として制限する。このようにして、対象とするワーク２０６が存在すると推定される領域に対しては、第１密度の点群に付加して高密度な第２密度の点群が生成される。

そしてステップＳ３１２にて、得られた第２密度の生成点群に対してワーク２０６の基準モデルを照合する詳細マッチングを行い、概略マッチング結果を修正する。この算出の際は、対象となるワーク２０６の位置およびまたは姿勢の推定値の初期値として第１段階の概略マッチング結果を設定することで、詳細マッチングにおける計算量を低減する。

ここで、図６を用いて本実施形態と比較例との比較結果について詳述する。図６は、本実施形態を用いない場合の空間コード化法を用いた制御フローチャートの一例を示している。第１段階、第２段階を分けずに三次元測定を行う場合には、図６より、ステップＳ４００、ステップＳ４０１およびステップＳ４０２において、パターンを対象ワークに対して照射し、画像を取得する操作をすべてのパターン分が完了するまで繰り返す。

次にステップＳ４０３において、取得した左右の画像から左右のコード画像をそれぞれ１枚ずつ生成し、すべての照射パターンを用いたコード化画像が生成される。その後、図５と同様にステップＳ４０４において点群を生成することで、撮影領域全体（画像データ全体）で高密度の点群が生成される。

この高密度の点群すべてを用いて位置およびまたは姿勢の推定を行うと処理時間が長くなるため、Ｓ４０５で一度点群に対してサンプリング処理を行って概略マッチングを実行する。そしてステップＳ４０６にて、ステップＳ４０５によるマッチング結果を初期値として、すべての点群（サンプリングを施していない点群）を用いたマッチングを行い、対象ワークの位置およびまたは姿勢推定結果を得る。

図７は、本実施形態と比較例との比較結果の詳細を示す図である。図７より、パターンの照射および撮像、画像のコード化の部分においては、処理時間に差はない。一方で、点群生成とマッチングについては処理時間に差が生じており、本実施形態の方が、処理時間が短縮されていることが分かる。これには以下の３つの要因がある。

１つ目の要因は、本実施形態では、概略マッチング結果を用いてワークが存在すると推定される領域で高密度の点群の生成を限定しているためである。そのため、計算対象の画素が減少し、かつ測距を行う奥行き方向の範囲についても制限できる。

２つ目の要因は、本実施形態では、詳細マッチングの際、高密度の点群はワークの存在する領域とその周辺に存在するため、計算処理の負担が軽減されるためである。

３つ目の要因は、本実施形態では、第１段階で低密度な点群を生成することで、点群のサンプリング処理を行わなくてよいためである。

また、本実施形態の制御フローにおいてさらに処理時間を短縮する手法としては、第２段階における撮像の際、概略マッチング結果をもとに、撮像部がワークの存在する領域に対応する一部の画素を読み出すことも考えられる。この場合は、画像１枚当たりの転送時間が減るため、撮像に要する時間についても低減できる。

図８は本実施形態における照射部２０５による照射パターンの設定画面８００を示した図である。図８より、設定画面８００には、照射パターン設定表示領域８０１が表示され、照射パターン設定表示領域８０１には、照射パターン表示領域８０２、８０３、パラメータ設定領域８０４が表示される。照射パターン表示領域８０２には、ユーザーが設定した、第１段階において照射する照射パターンが表示され、照射パターン表示領域８０３には、ユーザーが設定した、第２段階において照射する照射パターンが表示される。

パラメータ設定領域８０４には、パラメータ入力領域８０５、８０６、項目選択領域８０７が表示される。項目選択領域８０７はクリックすると、各種項目を選択できるプルダウンメニューが表示され、設定したい項目を選択できるようになっている。図８の例では、「照射パターン選択」の項目が設定されている。パラメータ入力領域８０５では第１段階において照射する照射パターンの数を選択でき１０が設定されている。パラメータ入力領域８０６では第２段階において照射する照射パターンの数を選択でき６が設定されている。図８で示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）によって、ユーザーは第１段階、第２段階の照射パターンを視覚的に把握でき、各段階でどのような照射パターンを照射するのか容易に確認、設定することができる。

図９は本実施形態における照射部２０５による照射パターンの詳細を確認するために詳細表示領域９０１を示した図である。項目選択領域８０７においてプルダウンメニューより「照射パターン表示」を選択することで、図９で示す表示に更新される。詳細表示領域９０１には、照射パターン個別表示領域９０２、照射パターン選択領域９０３が表示される。照射パターン選択領域９０３では、各照射パターンに対応するインデックス番号を選択でき、図９の例ではインデックス番号２が選択され、インデックス番号２に対応する照射パターンが拡大されて照射パターン個別表示領域９０２に表示されている。スピンボタン９０３ａにより、インデックス番号を送ったり、戻したりすることができる。図９で示すＧＵＩによって、指定したインデックス番号に対応したパターンが個別に表示され、ユーザーはパターン照射時の空間分割数を視覚的に確認することができる。

図１０は本実施形態における照射パターンを照射した際に撮像された撮像画像を確認するための撮像画像確認画面１０００を示した図である。図１０より、撮像画像確認画面１０００には、撮像画像表示領域１００１が表示される。撮像画像表示領域１００１には、詳細表示領域１００２、撮像画像選択領域１００３、項目選択領域１００４が表示される。項目選択領域１００４はクリックすると、各種項目を選択できるプルダウンメニューが表示され、設定したい項目を選択できるようになっている。図１０の例では、「撮像画像表示」の項目が設定されている。

撮像画像選択領域１００３では、各照射パターンに対応するインデックス番号を選択でき、図１０の例ではインデックス番号２が選択され、インデックス番号２に対応する照射パターンが照射された際に撮像された撮像画像が詳細表示領域１００２に表示される。スピンボタン１００３ａにより、インデックス番号を送ったり、戻したりすることができる。図９で示すＧＵＩによって、撮影画像中のワークとパターンの細かさが視覚的に確認できるため、第１段階及び第２段階において何枚のパターン画像を使用するべきかを決定する際に用いることができる。例えば、ワークサイズが大きい場合には第１段階の照射パターンを粗くするなど、対象ワークの特徴に応じた照射パターンの設定が可能となる。

図１１は本実施形態における領域を絞った際の結果を確認するための領域結果確認画面１１００を示した図である。領域結果確認画面１１００には、領域確認表示１１０１が表示される。領域確認表示１１０１には、領域結果表示１１０２が表示される。

領域結果表示１１０２では、第１段階のマッチング（概略マッチング）において生成された点群情報により、どの程度領域を絞ったのかを表示する。領域結果表示１１０２には、第１段階のマッチングにおいて取得された三次元点群の情報を表示する三次元点群表示領域１１０３が表示される。そして三次元点群表示領域１１０３において、ワークの概略マッチングにより絞った領域結果１１０４が表示される。本実施形態では、領域結果１１０４を矩形で表示するがこれに限らず、円形、三角形、星形、ワーク形状近似等、種々の形状を使用して構わない。本実施形態では、三次元点群表示領域１１０３上に領域結果１１０４が重ねて表示される。

図１１で示すＧＵＩによって、絞った領域の結果を三次元点群上にグラフィカルに表示することができる。これにより、ユーザーは概略マッチングによる領域の抽出を視覚的に確認でき、照射パターンの分割数の調整、各段階における密度の調整が必要か否かを容易に判断することができる。

図１２は本実施形態におけるマッチング結果を確認するためのマッチング結果確認画面１２００を示した図である。マッチング結果確認画面１２００には、マッチング結果確認領域１２０１が表示される。マッチング結果確認領域１２０１には、マッチング結果表示領域１２０２、１２０３が表示される。

第１段階のマッチング結果は、マッチング結果表示領域１２０２から確認できる。マッチング結果表示領域１２０２には、第１段階のマッチング（概略マッチング）において取得された三次元点群の情報を表示する三次元点群表示領域１２０４、二次元画像１２０５が表示される。そして三次元点群表示領域１２０４、二次元画像１２０５において、ワークの概略マッチング結果１２０６が表示される。本実施形態では、三次元点群表示領域１２０４および二次元画像１２０５上に概略マッチング結果１２０６が重ねて表示される。

第２段階のマッチング結果は、マッチング結果表示領域１２０３から確認できる。マッチング結果表示領域１２０３には、第２段階のマッチング（詳細マッチング）において取得された三次元点群の情報を表示する三次元点群表示領域１２０７、二次元画像１２０８が表示される。そして三次元点群表示領域１２０７、二次元画像１２０８において、ワークの詳細マッチング結果１２０９が表示される。本実施形態では、三次元点群表示領域１２０７および二次元画像１２０８上に詳細マッチング結果１２０９が重ねて表示される。なお本実施形態では、三次元点群表示領域１２０７において、高密度の点群生成を行った領域が判別できるよう、領域結果１１０４部分の密度（第２密度）を周りの密度（第１密度）と異ならせて表示している。

図１２で示すＧＵＩによって、マッチング結果を三次元点群および二次元画像上にグラフィカルに表示することができる。これにより、ユーザーはマッチング結果とワークとのずれを視覚的に確認でき、照射パターンの分割数の調整が必要か否かを容易に判断することができる。

以上本実施形態によれば、低密度の点群に基づき対象ワークのおおよその位置およびまたは姿勢を推定し対象ワークが存在する領域を抽出する。そして抽出した領域で高密度の点群に基づく詳細なマッチングを行う。これにより、マッチングにかかる領域を絞ることができるので、対象ワークの位置およびまたは姿勢を取得する際の計算量を低減でき、対象ワークの位置およびまたは姿勢の推定（取得）にかかる処理時間を短縮することが可能となる。また、詳細マッチングにおける点群生成においては、絞った領域で点群を生成する。よって、点群生成における処理時間も短縮でき、もって対象ワークの位置およびまたは姿勢の推定（取得）にかかる処理時間を短縮することが可能となる。また第２密度の点群の生成は、第１密度の点群に付加して生成するので、第２密度の点群の生成にかかる処理時間を短縮できる。また各ＧＵＩにより、照射パターンの設定や各段階における密度の設定をユーザーに容易に行わせることができ、マッチング結果の把握も容易に行わせることができる。

（第２の実施形態）
次に第２の実施形態について詳述する。本実施形態では先に画像をまとめて取得し、点群生成を２つの段階に分割する。以下では、上述の実施形態とハードウェア的な構成、および表示画面の構成などのうち基本的な部分は同じであるものとし、その詳細な説明は省略する。また、以下の実施形態において、同一ないし実質的に同一となる部材には同一の参照符号を用い、その詳細な説明は省略するものとする。

図１３より、まずステップＳ６００においてパターンを繰り返し照射し、ステップＳ６０１にて撮像する操作を行い、ステップＳ６０２により、すべてのワークに対して繰り返す。得られた画像の処理については、第１の実施形態と同様に分割する。第１の実施形態と同様に、最終的に使用する計１６パターンの撮影画像のうち、ここでは１２パターン分の画像を先行して使用する。

次にステップＳ６０３において得られた１２パターンの画像に基づき第１のコード画像を作成し、ステップＳ６０４において点群生成を行い、ステップＳ６０５において概略マッチングを行う。ここまでが第１段階である。

続く第２段階では、残る４パターン分の撮影画像を用いてステップＳ６０６においてコード画像を作成し、ステップＳ６０７で第１段階の概略マッチング結果を用いて領域制限を行う。そして、ステップＳ６０８において第２密度での点群生成を行い、ステップＳ６０９にて詳細マッチングを実行し、対象ワークの位置およびまたは姿勢を取得する。

図１４は、本実施形態と比較例との比較結果の詳細を示す図である。図１４より、各処理時間の合計は、図７で示した第１の実施形態の効果と等しい。本実施形態は第１の実施形態と処理の順番を入れ替えているが、処理時間短縮に寄与する部分については同様の操作を行っている。したがって、全体の処理時間は、撮影のタイミングを分割しない場合であっても、第１の実施形態と同様の効果が得られる。

以上本実施形態では、点群生成・マッチングを第１段階、第２段階に分割することで、対象ワークの位置およびまたは姿勢に関する情報の取得にかかる全体の処理時間を短縮できる。また、ここではグレイコードを用いた空間コード化法による手法を示したが、本実施形態のように撮影画像の処理を分割するのであれば、ランダムドットパターンを用いたブロックマッチングによる点群生成であってもよい。その場合、使用する画素を間引いて第１段階の点群とすれば、点群生成を第１段階と第２段階に分割したフローを実現できる。また、上述の種々の実施形態および変形例を本実施形態およびまたは本変形例と組み合わせて実施しても構わない。

（その他の実施形態）
以上述べた実施形態の処理手順は具体的には各ＣＰＵにより実行されるものである。従って上述した機能を実行可能なソフトウェアのプログラムを記録した記録媒体を読み出して実行するように構成することもできる。この場合、記録媒体から読み出されたプログラム自体が上述した各実施形態の機能を実現することになり、プログラム自体およびそのプログラムを記録した記録媒体は本発明を構成することになる。

また、各実施形態では、コンピュータで読み取り可能な記録媒体が各ＲＯＭ或いは各ＲＡＭ或いは各フラッシュＲＯＭであり、ＲＯＭ或いはＲＡＭ或いはフラッシュＲＯＭにプログラムが格納される場合について説明した。しかしながら本発明はこのような形態に限定されるものではない。本発明を実施するためのプログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。また画像処理装置２０１の機能を搭載した撮像装置により実施しても構わない。

また上述した種々の実施形態では、ロボットアーム２１２が複数の関節を有する多関節ロボットアームを用いた場合を説明したが、関節の数はこれに限定されるものではない。ロボットアームの形式として、垂直多軸構成を示したが、水平多関節型、パラレルリンク型、直交ロボットなど異なる形式の関節においても上記と同等の構成を実施することができる。

また上述した種々の実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。

なお本発明は、上述した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。また、上述の種々の実施形態および変形例を組み合わせて実施しても構わない。

また本実施形態の開示は、以下の構成および方法を含む。

（構成１）
ワークを撮像する撮像部により前記ワークの画像の処理する画像処理装置であって、
処理部が、
前記画像において第１密度の点群を設定し、
前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
ことを特徴とする画像処理装置。

（構成２）
構成１に記載の画像処理装置において、
前記処理部は、
前記領域において取得されている前記第１密度にさらに密度を有する点群を付加することで、前記領域において前記第２密度の点群を設定する、
ことを特徴とする画像処理装置。

（構成３）
構成１または２に記載の画像処理装置において、
前記処理部は、
前記ワークに関するモデルと前記第１密度の点群とをマッチングすることで前記領域を特定する、
ことを特徴とする画像処理装置。

（構成４）
構成３に記載の画像処理装置において、
前記処理部は、
前記モデルと前記第２密度の点群とをマッチングし、前記第１密度の点群に基づくマッチングの結果を修正することで前記ワークの位置または姿勢に関する情報を取得する、
ことを特徴とする画像処理装置。

（構成５）
構成３または４にいずれか１項に記載の画像処理装置において、
前記処理部は、
前記第１密度の点群または前記第２密度の点群を設定する際、前記画像と三角測量に基づき設定する、
ことを特徴とする画像処理装置。

（構成６）
構成５に記載の画像処理装置において、
前記第１密度の点群と前記第２密度の点群は三次元点群であり、
前記処理部は、
前記第１密度の点群と前記第２密度の点群と前記モデルと前記ワークの三次元のエッジ情報と、を用いてマッチングを行う、
ことを特徴とする画像処理装置。

（構成７）
構成６に記載の画像処理装置において、
前記第２密度の点群を設定する際に使用する画素および視差の探索範囲を前記領域に基づく三次元空間に制限する、
ことを特徴とする画像処理装置。

（構成８）
構成１から７のいずれか１項に記載の画像処理装置において、
前記領域に基づき、前記第２密度の点群を設定する際の前記画像を取得する際に、前記撮像部における撮像領域を前記領域に制限する、
ことを特徴とする構成６に記載の画像処理装置。

（構成９）
構成１から８のいずれか１項に記載の画像処理装置において、
前記画像の一部の画素に基づき前記第１密度の点群を設定する、
ことを特徴とする画像処理装置。

（構成１０）
構成１から９のいずれか１項に記載の画像処理装置において、
前記処理部は表示部に、
前記ワークと前記領域とにかかる情報を表示する、
ことを特徴とする画像処理装置。

（構成１１）
構成１から１０のいずれか１項に記載の画像処理装置において、
前記処理部は表示部に、
前記第１密度の点群と前記第２密度の点群とにかかる情報を表示する、
ことを特徴とする画像処理装置。

（構成１２）
構成１１に記載の画像処理装置において、
前記処理部は、前記領域において前記第２密度の点群を表示する、
ことを特徴とする画像処理装置。

（構成１３）
構成１から１２のいずれか１項に記載の画像処理装置において、
前記処理部は表示部に、
前記第１密度の点群に基づく前記ワークの位置または姿勢にかかる情報と、前記第２密度の点群に基づく前記ワークの位置または姿勢にかかる情報と、を表示する、
ことを特徴とする画像処理装置。

（構成１４）
構成１から１３のいずれか１項に記載の画像処理装置において、
前記処理部は表示部に、
前記画像を二次元で表示する共に、前記画像に前記第１密度の点群または前記第２密度の点群を重畳した画像を表示する、
ことを特徴とする画像処理装置。

（構成１５）
構成１から１４のいずれか１項に記載の画像処理装置において、
前記処理部は、
照射部により前記ワークに照射パターンを照射して前記撮像部により前記画像を取得する、
ことを特徴とする画像処理装置。

（構成１６）
構成１５に記載の画像処理装置において、
前記撮像部は、前記照射部と光学的に校正されている、
ことを特徴とする画像処理装置。

（構成１７）
構成１５または１６に記載の画像処理装置において、
前記処理部は表示部に、
前記照射パターンを選択できるように表示し、かつ選択した前記照射パターンをグラフィカルに表示する、
ことを特徴とする画像処理装置。

（構成１８）
構成１５から１７のいずれか１項に記載の画像処理装置において、
前記処理部は表示部に、
前記照射パターンを前記ワークに照射した際の前記画像を表示する、
ことを特徴とする画像処理装置。

（構成１９）
構成１５から１８のいずれか１項に記載の画像処理装置において、
前記処理部は表示部に、
前記照射パターンの空間分割数をユーザーが任意に指定できる設定領域を表示する、
ことを特徴とする画像処理装置。

（構成２０）
構成１から１９のいずれか１項に記載の画像処理装置に基づき動作が制御されるロボットを備えたロボットシステム。

（方法２１）
構成２０に記載のロボットシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。

（方法２２）
ワークを撮像する撮像部により前記ワークの画像の処理する画像処理方法であって、
前記画像において第１密度の点群を設定し、
前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
ことを特徴とする画像処理方法。

（構成２３）
ワークを撮像し、前記ワークの画像の処理を実行可能な撮像装置であって、
処理部が、
前記画像において第１密度の点群を設定し、
前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
ことを特徴とする撮像装置。

（方法２４）
ワークを撮像し、前記ワークの画像の処理を実行可能な撮像装置の制御方法であって、
前記画像において第１密度の点群を設定し、
前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
ことを特徴とする制御方法。

（構成２５）
方法２２に記載の画像処理方法、または方法２４に記載の制御方法をコンピュータにより実行可能なプログラム。

（構成２６）
構成２５に記載のプログラムを格納した、コンピュータで読み取り可能な記録媒体。

２００ ロボットシステム
２０１ 画像処理装置
２０２ ロボット（ロボットマニピュレータ）
２０３、２０４ 撮像部
２０５ 照射部
２０６ ワーク
２０７ 容器
２０８ 載置台
２０９ 俯瞰位置
２１０ ロボットコントローラ
２１１ ロボットハンド
２１２ ロボットアーム
８００ 照射パターン設定画面
８０１ 照射パターン設定表示領域
８０２、８０３ 照射パターン表示領域
８０４ パラメータ設定領域
８０５、８０６ パラメータ入力領域
８０７ 項目選択領域
９０１ 詳細表示領域
９０２ 照射パターン個別表示領域
９０３ 照射パターン選択領域
９０３ａ、１００３ａ スピンボタン
１０００ 撮像画像確認画面
１００１ 撮像画像表示領域
１００２ 詳細表示領域
１００３ 撮像画像選択領域
１００４ 項目選択領域
１１００ 領域結果確認画面
１１０１ 領域確認表示
１１０２ 領域結果表示
１１０３ 三次元点群表示領域
１１０４ 領域結果
１２００ マッチング結果確認画面
１２０１ マッチング結果確認領域
１２０２、１２０３ マッチング結果表示領域
１２０４ 三次元点群表示領域
１２０５ 二次元画像
１２０６ 概略マッチング結果
１２０７ 三次元点群表示領域
１２０８ 二次元画像
１２０９ 詳細マッチング結果

Claims (26)

1. ワークを撮像する撮像部により前記ワークの画像の処理する画像処理装置であって、
   処理部が、
   前記画像において第１密度の点群を設定し、
   前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
   前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記処理部は、
   前記領域において取得されている前記第１密度にさらに密度を有する点群を付加することで、前記領域において前記第２密度の点群を設定する、
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記処理部は、
   前記ワークに関するモデルと前記第１密度の点群とをマッチングすることで前記領域を特定する、
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記処理部は、
   前記モデルと前記第２密度の点群とをマッチングし、前記第１密度の点群に基づくマッチングの結果を修正することで前記ワークの位置または姿勢に関する情報を取得する、
   ことを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記処理部は、
   前記第１密度の点群または前記第２密度の点群を設定する際、前記画像と三角測量に基づき設定する、
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記第１密度の点群と前記第２密度の点群は三次元点群であり、
   前記処理部は、
   前記第１密度の点群と前記第２密度の点群と前記モデルと前記ワークの三次元のエッジ情報と、を用いてマッチングを行う、
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記第２密度の点群を設定する際に使用する画素および視差の探索範囲を前記領域に基づく三次元空間に制限する、
   ことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記領域に基づき、前記第２密度の点群を設定する際の前記画像を取得する際に、前記撮像部における撮像領域を前記領域に制限する、
   ことを特徴とする請求項６に記載の画像処理装置。
9. 請求項１に記載の画像処理装置において、
   前記画像の一部の画素に基づき前記第１密度の点群を設定する、
   ことを特徴とする画像処理装置。
10. 請求項１に記載の画像処理装置において、
    前記処理部は表示部に、
    前記ワークと前記領域とにかかる情報を表示する、
    ことを特徴とする画像処理装置。
11. 請求項１に記載の画像処理装置において、
    前記処理部は表示部に、
    前記第１密度の点群と前記第２密度の点群とにかかる情報を表示する、
    ことを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置において、
    前記処理部は、前記領域において前記第２密度の点群を表示する、
    ことを特徴とする画像処理装置。
13. 請求項１に記載の画像処理装置において、
    前記処理部は表示部に、
    前記第１密度の点群に基づく前記ワークの位置または姿勢にかかる情報と、前記第２密度の点群に基づく前記ワークの位置または姿勢にかかる情報と、を表示する、
    ことを特徴とする画像処理装置。
14. 請求項１に記載の画像処理装置において、
    前記処理部は表示部に、
    前記画像を二次元で表示する共に、前記画像に前記第１密度の点群または前記第２密度の点群を重畳した画像を表示する、
    ことを特徴とする画像処理装置。
15. 請求項１に記載の画像処理装置において、
    前記処理部は、
    照射部により前記ワークに照射パターンを照射して前記撮像部により前記画像を取得する、
    ことを特徴とする画像処理装置。
16. 請求項１５に記載の画像処理装置において、
    前記撮像部は、前記照射部と光学的に校正されている、
    ことを特徴とする画像処理装置。
17. 請求項１５に記載の画像処理装置において、
    前記処理部は表示部に、
    前記照射パターンを選択できるように表示し、かつ選択した前記照射パターンをグラフィカルに表示する、
    ことを特徴とする画像処理装置。
18. 請求項１５に記載の画像処理装置において、
    前記処理部は表示部に、
    前記照射パターンを前記ワークに照射した際の前記画像を表示する、
    ことを特徴とする画像処理装置。
19. 請求項１５に記載の画像処理装置において、
    前記処理部は表示部に、
    前記照射パターンの空間分割数をユーザーが任意に指定できる設定領域を表示する、
    ことを特徴とする画像処理装置。
20. 請求項１に記載の画像処理装置に基づき動作が制御されるロボットを備えたロボットシステム。
21. 請求項１から２０のいずれか１項に記載のロボットシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。
22. ワークを撮像する撮像部により前記ワークの画像の処理する画像処理方法であって、
    前記画像において第１密度の点群を設定し、
    前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
    前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
    ことを特徴とする画像処理方法。
23. ワークを撮像し、前記ワークの画像の処理を実行可能な撮像装置であって、
    処理部が、
    前記画像において第１密度の点群を設定し、
    前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
    前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
    ことを特徴とする撮像装置。
24. ワークを撮像し、前記ワークの画像の処理を実行可能な撮像装置の制御方法であって、
    前記画像において第１密度の点群を設定し、
    前記第１密度の点群に基づき前記ワークが存在する領域を特定し、前記領域において前記第１密度よりも高い第２密度の点群を設定し、
    前記第２密度の点群に基づき前記ワークの位置または姿勢に関する情報を取得する、
    ことを特徴とする制御方法。
25. 請求項２２に記載の画像処理方法、または請求項２４に記載の制御方法をコンピュータにより実行可能なプログラム。
26. 請求項２５に記載のプログラムを格納した、コンピュータで読み取り可能な記録媒体。

Images