JP7328437B2 - ３次元点の位置情報を生成する三次元測定装置 - Google Patents

Description

本発明は、３次元点の位置情報を生成する三次元測定装置に関する。

視覚センサにて画像を撮像し、得られた画像に基づいて対象物の３次元の位置を検出する測定装置が知られている。３次元の位置を検出する測定装置としては、レーザ距離計を所定の範囲に走査して位置を検出する装置および２台のカメラにて画像を撮像して三角測量の原理に基づいて位置を検出する装置などが知られている（例えば、特開２００８－２６４９４７号公報および特開２００６－２５８４８６号公報を参照）。

また、３次元の位置を検出する測定装置としては、光源から光を発した後に、対象物の表面にて反射した光を受光素子で受光する距離カメラが知られている（例えば、国際公開第２０１８／０４２８０１号を参照）。距離カメラは、受光素子の画素ごとに、光の飛行時間と光の速さとに基づいて対象物までの距離を検出する。

例えば、距離カメラは、所定の周期で強度を変調した光を対象物に向けて照射する。距離カメラは、光源から発した光と反射光との位相差に基づいて、距離カメラから対象物までの距離を算出する。この測定方式は、光飛行時間方式と呼ばれている。距離カメラは、画素ごとに取得した距離に応じて、色または濃度が変化した距離画像を生成することができる。

特開２００８－２６４９４７号公報 特開２００６－２５８４８６号公報 国際公開第２０１８／０４２８０１号

光移行時間方式にて画像を撮像する距離カメラでは、画素ごとに距離カメラから対象物までの距離を算出する。この結果、対象物の表面に画素に対応する３次元点を設定することができる。３次元点の位置は、対象物の表面の位置に対応する。

距離カメラの受光素子は、対象物の表面にて反射する１つの経路にて進行する光を受光することが好ましい。ところが、対象物の形状によっては、光源から発せられた光が、複数の位置にて反射して距離カメラに戻る場合がある。例えば、光は、所望の位置とは異なる位置にて反射した後に所望の位置にて反射して距離カメラに戻る場合がある。受光素子は、複数の経路にて反射した光を受光する場合がある。このような複数の経路は、マルチパスと称されている。

受光素子が複数の経路を進行する光を受光すると、距離カメラにて検出される対象物までの距離が長くなる。それぞれの画素において検出される対象物までの距離は、光の反射の形態により変化する。この結果、距離カメラは、対象物の表面に設定される３次元点を正しい位置に設定できない場合がある。例えば、一部の画素にて検出される対象物までの距離が長くなるために、対象物の表面が平面であるにも関わらず、表面が凹んだ形状にて検出される場合がある。このように、マルチパスにて反射光が受光されると、距離カメラは対象物の表面における３次元点の位置を正確に検出できなくなるために、マルチパスの影響を低減することが好ましい。

本開示の三次元測定装置は、光の飛行時間に基づいて物体の表面の３次元点の位置情報を取得する距離カメラと、距離カメラにて取得された３次元点の位置情報を処理する処理装置とを備える。距離カメラは、物体に対する距離カメラの複数の相対的な位置および姿勢において、３次元点の位置情報を取得する。処理装置は、物体の表面に対応する３次元点の位置を評価するための複数の評価領域を物体に対して設定する設定部を含む。処理装置は、それぞれの評価領域において、評価領域内に検出された３次元点のうち、予め定められた基準平面、基準点、または基準線に最も近い３次元点を特定する特定部を含む。処理装置は、特定部により評価領域ごとに特定された複数の３次元点に基づいて、距離カメラにて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する生成部を含む。

本開示の態様によれば、マルチパスの影響を低減する三次元測定装置を提供することができる。

実施の形態における第１のロボット装置の側面図である。 第１のロボット装置のブロック図である。 実施の形態における第１のワークの斜視図である。 マルチパスにて反射光を受光する時のカメラとワークの部分断面図である。 カメラの受光素子の画素において受光する光の位相を説明する概略図である。 マルチパスによる受光が生じない時に得られるワークの距離画像である。 マルチパスによる受光が生じた時の距離画像である。 第１のロボット装置の制御を説明するフローチャートである。 カメラの第１の位置にて第１の距離画像を撮像する時のカメラおよびワークの部分断面図である。 カメラの第２の位置にて第２の距離画像を撮像する時のカメラおよびワークの部分断面図である。 第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時の３次元点の位置を説明するワークの断面図である。 評価領域が配置される評価範囲を説明するカメラおよびワークの斜視図である。 第１のロボット装置における評価領域の斜視図である。 特定部により特定された３次元点を説明するワークの断面図である。 評価領域の大きさを説明するカメラの受光素子および光学中心の斜視図である。 距離画像を撮像する時のカメラの位置を説明する図である。 実施の形態における第２のワークの斜視図である。 実施の形態における第３のワークおよびテーブルの斜視図である。 実施の形態における第２のロボット装置の側面図である。 第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時の３次元点の位置を説明するカメラおよびワークの部分断面図である。 実施の形態における検査装置の側面図である。 実施の形態における検査装置のブロック図である。 実施の形態の第３のロボット装置において、第１の距離画像を撮像する時のワークおよびカメラの部分断面図である。 第３のロボット装置において、第２の距離画像を撮像する時のワークおよびカメラの部分断面図である。 第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時の３次元点の位置を説明するカメラおよびワークの部分断面図である。 第３のロボット装置において、評価領域が配置される評価範囲を説明するカメラおよびワークの斜視図である。 第３のロボット装置における評価領域の斜視図である。 第３のロボット装置において、特定部により特定された３次元点を説明するワークの断面図である。 第３のロボット装置において、評価領域の大きさを説明する受光素子および光学中心の斜視図である。 第３のロボット装置において、複数の距離画像を撮像する時のカメラの向きを説明する斜視図である。 実施の形態における第４のロボット装置のカメラおよびワークの側面図である。 実施の形態における第５のロボット装置のカメラおよびワークの部分断面図である。 第５のロボット装置において、評価領域が配置される評価範囲を説明するカメラおよびワークの斜視図である。 第５のロボット装置における評価領域の斜視図である。

図１から図３４を参照して、実施の形態における三次元測定装置について説明する。本実施の形態の三次元測定装置は、光の飛行時間に基づいて物体の表面の３次元点の位置情報を取得する距離カメラを備える。三次元測定装置は、複数の位置および姿勢にて取得された３次元点の位置情報に基づいて、ワークの表面に対応する３次元点の位置情報を生成する。本実施の形態では、それぞれのロボット装置および検査装置が三次元測定装置として機能する。

図１は、本実施の形態における第１のロボット装置の側面図である。図２は、本実施の形態における第１のロボット装置のブロック図である。図１および図２を参照して、ロボット装置３は、ワーク６２を把持するハンド５と、ハンド５を移動するロボット１とを備える。ロボット装置３は、ロボット装置３を制御する制御装置２を備える。また、ロボット装置３は、ワーク６２を載置する架台６１を備える。

ハンド５は、ワーク６２を把持したり解放したりするエンドエフェクタである。本実施の形態のハンド５は、ワーク６２の表面６３ａを吸着により把持する吸着ハンドである。ロボット１に取り付けられるエンドエフェクタとしては、この形態に限られず、ロボット装置３が行う作業に応じた任意の作業ツールを採用することができる。例えば、エンドエフェクタとして、溶接を実施する作業ツールまたはシール材をワークの表面に塗布する作業ツール等を採用することができる。すなわち、本実施の形態の三次元測定装置は、任意の作業を行うロボット装置に適用することができる。または、ロボット１に作業ツールを取り付けずに、カメラ３１をロボット１に取り付けても構わない。

本実施の形態のロボット１は、複数の関節部１８を含む多関節ロボットである。ロボット１は、上部アーム１１と下部アーム１２とを含む。下部アーム１２は、旋回ベース１３に支持されている。旋回ベース１３は、ベース１４に支持されている。ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、ハンド５を固定するフランジ１６を含む。ロボット１の構成部材は、予め定められた駆動軸の周りに回転するように形成される。ロボットとしては、この形態に限られず、作業ツールまたはワークを移動可能な任意のロボットを採用することができる。

ロボット装置３は、物体としてのワーク６２の表面に対応する３次元点の位置情報を取得する距離カメラとして、カメラ３１を備える。本実施の形態のカメラ３１は、光の飛行時間に基づいて３次元点の位置情報を取得するＴＯＦ（Time of Flight）カメラである。ＴＯＦカメラは、二次元的に配列された複数の画素を有する受光素子を含む。受光素子は、例えばＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等を含む。

第１のロボット装置３においては、カメラ３１は、ロボット１にて支持されている。カメラ３１は、支持部材３５を介してフランジ１６に固定されている。カメラ３１は、ハンド５と共に移動する。カメラ３１は、ワーク６２においてハンド５にて把持する部分を撮像できるように配置されている。

カメラ３１は、物体の表面に対応する３次元点の位置情報を距離画像または三次元マップの形式にて取得することができる。距離画像とは、画像により三次元点の位置情報を表現したものである。距離画像では、それぞれの画素の濃さ又は色により、物体の表面の位置またはカメラ３１からの距離を表している。一方で、三次元マップとは、測定された３次元点の座標値（ｘ，ｙ，ｚ）の集合として３次元情報を表現したものである。本実施の形態の形態では、３次元点の位置情報として距離画像を例に取り上げて説明する。

本実施の形態のロボット１は、上部アーム１１等の構成部材を駆動するロボット駆動装置２１を含む。ロボット駆動装置２１は、上部アーム１１、下部アーム１２、旋回ベース１３、およびリスト１５を駆動するための複数の駆動モータを含む。ハンド５は、ハンド５を駆動するハンド駆動装置２２を含む。本実施の形態のハンド駆動装置２２は、空気圧によりハンド５を駆動する。ハンド駆動装置２２は、吸着パッドの内部の空間を減圧するためのポンプおよび電磁弁等を含む。

制御装置２は、ロボット１およびハンド５を制御する。制御装置２は、プロセッサとしてのＣＰＵ（Central Processing Unit）を含む演算処理装置（コンピュータ）を備える。演算処理装置は、ＣＰＵにバスを介して互いに接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。本実施の形態のロボット１は、動作プログラム４１に基づいてワーク６２を自動的に搬送する。ロボット駆動装置２１およびハンド駆動装置２２は、制御装置２により制御されている。

制御装置２は、ロボット装置３の制御に関する情報を記憶する記憶部４２を含む。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。制御装置２には、ロボット１の動作を行うために予め作成された動作プログラム４１が入力される。動作プログラム４１は、記憶部４２に記憶される。

制御装置２は、動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４４に送出する。ロボット駆動部４４は、駆動モータを駆動する電気回路を含み、動作指令に基づいてロボット駆動装置２１に電気を供給する。また、動作制御部４３は、ハンド駆動装置２２を駆動する動作指令をハンド駆動部４５に送出する。ハンド駆動部４５は、ポンプ等を駆動する電気回路を含み、動作指令に基づいてポンプ等に電気を供給する。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。

ロボット１は、ロボット１の位置および姿勢を検出するための状態検出器を含む。本実施の形態における状態検出器は、ロボット駆動装置２１の各駆動軸の駆動モータに取り付けられた位置検出器２３を含む。位置検出器２３の出力により、ロボット１の位置および姿勢が検出される。状態検出器としては、駆動モータに取り付けられた位置検出器に限られず、ロボット１の位置および姿勢の検出が可能な任意の検出器を採用することができる。

本実施の形態のロボット装置３には、ロボット１の位置および姿勢が変化した時に不動のワールド座標系７１が設定されている。図１に示す例では、ロボット１のベース１４に、ワールド座標系７１の原点が配置されている。ワールド座標系７１は基準座標系とも称される。ワールド座標系７１では、原点の位置が固定され、更に、座標軸の向きが固定されている。ロボット１の位置および姿勢が変化してもワールド座標系７１の位置および姿勢は変化しない。ワールド座標系７１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。

また、ロボット装置３には、作業ツールの任意の位置に設定された原点を有するツール座標系７２が設定されている。ツール座標系７２は、ハンド５と共に位置および姿勢が変化する座標系である。本実施の形態では、ツール座標系７２の原点は、ツール先端点に設定されている。ツール座標系７２の原点は、フランジ１６の回転軸上に配置されている。ツール座標系７２は、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。ツール座標系７２は、Ｘ軸の周りのＷ軸、Ｙ軸の周りのＰ軸、およびＺ軸の周りのＲ軸を有する。

ロボット１の位置および姿勢が変化すると、ツール座標系７２の原点の位置および姿勢が変化する。例えば、ロボット１の位置は、ツール先端点の位置（ツール座標系７２の原点の位置）に対応する。また、ロボット１の姿勢は、ワールド座標系７１に対するツール座標系７２の姿勢に対応する。

更に、ロボット装置３では、カメラ３１に対してカメラ座標系７３が設定されている。カメラ座標系７３は、カメラ３１と共に位置および姿勢が変化する座標系である。本実施の形態のカメラ座標系７３の原点は、カメラ３１の光学中心に設定されている。カメラ座標系７３は、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。本実施の形態のカメラ座標系７３は、Ｚ軸がカメラ３１の光軸と重なるように設定されている。

本実施の形態のロボット装置３は、ワーク６２を検出する三次元測定装置として機能する。三次元測定装置は、カメラ３１と、カメラ３１にて取得された３次元点の位置情報を処理する処理装置を含む。制御装置２は、３次元点の位置情報を処理する処理部５１を含む。処理部５１は、処理装置として機能する。処理部５１は、カメラ３１から３次元点の位置情報を取得する位置取得部５２を含む。処理部５１は、カメラ３１に対する３次元点の位置情報を、ワーク６２に対する３次元点の位置情報に変換する変換部５３を含む。処理部５１は、ワーク６２の表面に対応する３次元点の位置を評価するための複数の評価領域をワーク６２に対して設定する設定部５６を含む。処理部５１は、３次元点の位置を評価する評価領域において、基準となる基準平面、基準点、または基準線に最も近い３次元点を特定する特定部５４を含む。処理部５１は、カメラ３１にて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する生成部５５を含む。

処理部５１は、合成後の３次元点の位置情報に基づいて、ロボット１を駆動する動作指令を生成する動作指令部５８を含む。また、処理部５１は、カメラ３１に画像を撮像する指令を送出する撮像制御部５７を含む。

上記の処理部５１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、位置取得部５２、変換部５３、設定部５６、特定部５４、および生成部５５のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。また、動作指令部５８および撮像制御部５７は、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。

ロボット装置３は、ワーク６２およびカメラ３１のうち一方を移動して、ワーク６２に対するカメラ３１の相対的な位置を変更する移動装置を備える。第１のロボット装置３では、ロボット１がカメラ３１を移動する移動装置として機能する。

図３に、本実施の形態における第１のワークの斜視図を示す。本実施の形態の第１のワーク６２は、板状に形成された板状部６３と、板状部６３から立設する壁部６４とを含む。板状部６３は、平面状の表面６３ａを有する。壁部６４は、表面６３ａの端部に配置されている。ワーク６２は、表面６３ａがハンド５にて把持される。

図１から図３を参照して、第１のロボット装置３は、ハンド５がワーク６２を把持する前に、カメラ３１にてワーク６２の距離画像を撮像する。撮像制御部５７は、カメラ３１に画像を撮像する指令を送出する。ロボット装置３は、カメラ３１の複数の位置にて画像を撮像する。処理部５１は、カメラ３１にて撮像された複数の画像に基づいて、ワーク６２の表面６３ａの位置を検出する。

動作指令部５８は、ワーク６２の表面６３ａの位置に基づいて、ハンド５にて表面６３ａを把持できるように、ロボット１の動作指令を生成する。動作指令部５８は、動作制御部４３に動作指令を送出する。動作制御部４３は、動作指令に基づいてロボット１の位置および姿勢を変更した後に、ハンド５にてワーク６２を把持する。そして、ロボット１は、動作プログラム４１に基づいて、ワーク６２を目標位置まで搬送する。

次に、カメラ３１がマルチパスにて反射光を受光した場合の影響について説明する。図４は、マルチパスの影響を説明するカメラおよびワークの部分断面図である。カメラ３１は、ワーク６２の表面６３ａの位置を検出する。カメラ３１は、距離画像を撮像可能な撮像領域３１ａを有する。カメラ３１の光源から矢印１０１に示すように、光が出射される。ワーク６２の表面６３ａにて反射した光は、矢印１０２に示すようにカメラ３１の受光素子に向かって戻る。受光素子が矢印１０１および矢印１０２に示す経路にて反射する光のみを受光する場合には、ワーク６２の表面６３ａの正確な位置を検出することができる。

ところが、光源から出射された光は、矢印１０３に示すように壁部６４で反射して表面６３ａに向かう場合が有る。この後に、光は、矢印１０２に示すように受光素子に戻る。このように、光源の光は、矢印１０１に示す経路および矢印１０３に示す経路を含む複数の経路にて進行して受光素子に戻る。すなわち、受光素子は、マルチパスにて戻る光を受光する。複数回にて反射した光が含まれると、受光素子にて検出される光の飛行時間が長く検出されてしまう。なお、図４では説明のために２つの経路が示されているが、実際には、壁部６４の様々な位置において反射した光が表面６３ａに向かうために、受光素子は、多くの経路にて進行する光を受光する場合が有る。

図５に、カメラからワークまでの距離を測定する方法の説明図を示す。図４および図５を参照して、第１の経路は、矢印１０１，１０２にて示される経路に相当する。第２の経路は、矢印１０３，１０２にて示される経路に相当する。

第１の経路の図を参照して、本実施の形態のカメラ３１は、光の飛行時間を測定する方法として、光源から出射された光に対する反射光の位相の遅れを検出している。カメラ３１は、光源から出射する光に対して互いに位相の異なる複数のタイミングにて撮像を行っている。図５に示す例では、４種類の撮像タイミング（０°、９０°、１８０°および２７０°）にて撮像を繰り返している。図５には、受光素子の１つの画素における受光量Ｑ１，Ｑ２，Ｑ３，Ｑ４が示されている。この時の画素に対応する物体までの距離Ｌは、例えば次の式（１）から算出することができる。式（１）において、ｃは光速であり、ｆは光源から出射される光の変調周波数である。

第２の経路の図を参照して、光の経路が長くなると、光源から出射される光を受光する時期は、第１の経路における光を受光する時期よりも遅くなる。４種類の撮像タイミングにおいて受光される受光量Ｑ１，Ｑ２，Ｑ３，Ｑ４は、第１の経路と異なっている。例えば、撮像タイミングが０°においては、第２の経路における受光量Ｑ１は、第１の経路における受光量Ｑ１よりも小さくなる。上記の式（１）により距離Ｌを算出すると、それぞれの画素に対応する距離Ｌは、第１の経路における距離Ｌよりも長くなる。

受光素子がマルチパスにて反射する光を受光する場合には、例えば、受光素子は第１の経路にて進行する光と第２の経路にて進行する光とを同時に受光する。すなわち、受光素子は、第１の経路における受光量と第２の経路における受光量とを合算した受光量を検出する。この結果、マルチパスにて反射する光を受光した場合には、距離Ｌが第１の経路に対応する距離よりも長くなる。特に、距離は、第１の経路を進行する光に対応する距離と、第２の経路を進行する光に対応する距離との間の距離になる。１つの画素に対応して検出される３次元点８１は、表面６３ａから離れた位置にて検出される。それぞれの画素ごとに３次元点８１が検出される。複数の３次元点８１を含む検出面７６は、実際の表面６３ａとは異なる形状になる。

図６に、マルチパスの影響がない時の距離画像の例を示す。図７に、マルチパスの影響が生じた時の距離画像の例を示す。図６および図７には、参考のために、ワーク６２の形状が破線にて示されている。本実施の形態における距離画像では、色が濃くなるほどカメラ３１からの距離が遠くなる。図６を参照して、距離画像８６においては、ワーク６２の板状部６３の表面の全体に亘って、ほぼ同じ濃さになる。壁部６４の表面においては、カメラ３１に近くなるほどを色が薄くなる。図７を参照して、距離画像８７は、マルチパスにて光を受光している。板状部６３の表面において、壁部６４の近傍では色が濃くなる領域が生じている。このような距離画像に基づいて、板状部６３の表面の位置を検出しても、正確な位置を検出できない場合がある。この結果、ロボット装置３は、ワーク６２を把持する制御を失敗する場合が生じる。本実施の形態における三次元測定装置は、このようなマルチパスによる影響を低減する制御を実施する。

図８に、三次元測定装置としての第１のロボット装置の制御を説明するフローチャートを示す。第１のロボット装置３においては、カメラ３１の位置を変更しながら複数の距離画像を撮像する。複数の位置にて得られた距離画像を合成することにより、マルチパスを低減した距離画像を生成する。

ステップ１１１においては、制御装置２がカメラ３１を予め定められた第１の位置に配置した後に、撮像制御部５７はカメラ３１にて第１の距離画像を撮像する。図９に、カメラを第１の位置に配置した時のカメラおよびワークの部分断面図を示す。ワーク６２に対するカメラ３１の相対的な位置は予め定められている。第１のロボット装置３では、カメラ３１は予め定められた移動平面７８に沿って平行移動するように、ロボット１が位置および姿勢を変更する。例えば、カメラ３１は、カメラ３１の光学中心が移動平面７８に配置されるように移動する。カメラ３１は、移動平面７８に沿った位置に配置される。第１のロボット装置３では、カメラ３１の姿勢は、一定に維持される。

ロボット１は、カメラ３１を第１の位置Ｐ３１ａに配置する。カメラ３１の撮像領域３１ａの内部にワーク６２の検出する部分の少なくとも一部が配置されるように、カメラ３１が配置されることが好ましい。すなわち、カメラ３１にて撮像される画像に、ワーク６２の検出する部分が含まれることが好ましい。

カメラ３１は、それぞれの画素ごとに３次元点８１の位置情報を検出する。図９では、ワーク６２を１つの面で切断した時の断面形状に対する３次元点８１が示されている。カメラ３１から出力される３次元点８１の位置情報は、カメラ座標系７３にて表現されている。例えば、３次元点８１の位置情報は、カメラ座標系７３におけるＸ軸の座標値、Ｙ軸の座標値、およびＺ軸の座標値にて表されている。カメラ３１にて受光する光にはマルチパスの影響が生じるために、３次元点８１の位置は、板状部６３の表面６３ａから離れる場合がある。

図２を参照して、処理部５１の位置取得部５２は、カメラ３１からワーク６２の第１の距離画像を取得する。また、位置取得部５２は、位置検出器２３から第１の距離画像を撮像した時のロボット１の位置および姿勢を取得する。位置取得部５２は、第１の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。

図８を参照して、ステップ１１２においては、制御装置２は、ロボット１の位置および姿勢を変更してカメラ３１を移動する。図１０に、カメラを第２の位置に配置した時のカメラおよびワークの部分断面図を示す。ロボット１は、矢印１０４に示すように移動平面７８に沿ってカメラ３１を移動する。ロボット１は、移動平面７８に沿って２次元的にカメラ３１を移動する。カメラ３１は、第２の位置Ｐ３１ｂに配置される。

図８を参照して、ステップ１１３において、撮像制御部５７は、カメラ３１にてワーク６２の第２の距離画像を撮像する。図２を参照して、位置取得部５２は、カメラ３１からワーク６２の第２の距離画像を取得する。また、位置取得部５２は、位置検出器２３から第２の距離画像を撮像した時のロボット１の位置および姿勢を取得する。位置取得部５２は、第２の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。

図１０を参照して、カメラ３１は、第２の位置Ｐ３１ｂにて撮像することにより、３次元点８２を検出する。受光素子は、矢印１０１，１０２にて示される経路を進行する光の他に、矢印１０３，１０２にて示される経路を進行する光を受光する。３次元点８２の位置に対しても、マルチパスの影響が生じている。ところが、撮像領域３１ａに含まれる壁部６４の領域が小さくなる。このために、３次元点８２の位置は、第１の位置Ｐ３１ａに配置されたカメラ３１にて取得された３次元点８１の位置よりも、マルチパスの影響が小さくなっている。板状部６３の表面６３ａに近い３次元点８２が得られている。

図８を参照して、ステップ１１４において、処理部５１は、予め定められたカメラ３１の全ての位置において撮像を行ったか否かを判定する。ステップ１１４において、カメラ３１にて撮像を行う位置が残っている場合には、制御はステップ１１２に移行する。そしてステップ１１２からステップ１１４の制御を繰り返す。

ステップ１１４において、カメラ３１の全ての位置にて撮像を行っている場合には、制御はステップ１１５に移行する。ここでの例では、カメラ３１は、２か所の位置にて撮像を行う。カメラ３１の全ての位置にて撮像を行っているために、制御は、ステップ１１５に移行する。なお、本実施の形態においては、カメラは、２か所の位置において撮像しているが、この形態に限られない。カメラは、３箇所以上の位置にて撮像しても構わない。

図２および図８を参照して、ステップ１１５において、処理部５１の変換部５３は、カメラ３１の複数の位置Ｐ３１ａ，Ｐ３１ｂにて撮像された距離画像を変換する。変換部５３は、カメラ３１に対する３次元点の位置情報を、ワーク６２に対する位置情報に変換する。変換部５３は、カメラ座標系７３にて表現されている３次元点の位置情報を、ワールド座標系７１にて表現されている３次元点の位置情報に変換する。この時に、変換部５３は、それぞれの位置Ｐ３１ａ，Ｐ３１ｂにて撮像された距離画像を、ロボット１の位置および姿勢に基づいて変換する。それぞれの第１の距離画像および第２の距離画像における３次元点８１，８２の位置は、ワールド座標系７１の座標値にて表現される。

次に、ステップ１１６において、処理部５１の特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点のうち、ワーク６２の表面６３ａに近い３次元点を特定する。

図１１に、第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時のワークの部分断面図を示す。特定部５４は、１つのワーク６２の表面に対して、全ての距離画像に含まれる３次元点を配置する。ここでの例では、特定部５４は、ワーク６２の表面に対して、第１の距離画像における３次元点８１および第２の距離画像における３次元点８２を配置する。ワーク６２の表面６３ａに対応する複数の３次元点８１，８２が配置される。

図１２に、第１のロボット装置において、評価領域を配置する評価範囲を説明するカメラおよびワークの斜視図を示す。図１３に、第１のロボット装置における評価領域の斜視図を示す。図１２および図１３を参照して、ワーク６２の表面６３ａおよび表面６３ａの近傍には、複数の３次元点８１，８２が配置されている。処理部５１の設定部５６は、３次元点８１，８２の評価を行う範囲である評価範囲９１を設定する。設定部５６は、ワーク６２の表面６３ａに対応する３次元点８１，８２の位置を評価するために、複数の評価領域９２をワーク６２に対して設定する。評価範囲９１は、複数の評価領域９２を含む。

本実施の形態では、評価領域９２および評価範囲９１は予め設定されて、記憶部４２に記憶されている。設定部５６は、記憶部４２から評価領域９２および評価範囲９１を取得して、ワーク６２に対して評価領域９２および評価範囲９１を設定する。評価範囲９１は、ワーク６２の評価を行う部分を含むように形成されることが好ましい。本実施の形態では、評価範囲９１は、ワーク６２の評価を行う表面６３ａを含むように設定されている。また、本実施の形態では、評価範囲９１は、ワーク６２を含むように設定されている。

本実施の形態の評価領域９２は、評価範囲９１を複数に区切った領域である。また、３次元点８１，８２の位置を評価するために、基準平面が設定されている。基準平面は、任意の平面を採用することができる。基準平面は、移動平面７８または移動平面７８に平行な面であることが好ましい。第１のロボット装置３においては、移動平面７８が基準平面に設定されている。

本実施の形態の評価領域は、基準平面等の基準から延びる領域が採用されている。評価領域９２は、移動平面７８から垂直な方向に延びるように形成されている。本実施の形態の評価領域９２は、直方体状に形成されている。評価領域は、この形態に限られず、基準平面に対して傾斜する方向に延びていても構わない。また、評価領域は、任意の形状を採用することができる。例えば、評価領域は、任意の多角形の形状を有することができる。

特定部５４は、３次元点８１，８２の位置に基づいて、それぞれの評価領域９２に含まれる３次元点８１，８２を検出する。ここで、前述の通りにマルチパスの影響が生じると、カメラ３１から３次元点までの距離が長くなる。このために、基準平面としての移動平面７８から３次元点までの距離が短いほど、マルチパスの影響が小さいと判断することができる。

特定部５４は、評価領域９２の内部に配置された複数の３次元点８１，８２のうち、移動平面７８に最も近い３次元点を特定する。特定部５４は、移動平面７８からそれぞれの３次元点８１，８２までの距離を算出する。図１３に示す例では、２つの３次元点８１よりも１つの３次元点８２の方が移動平面７８に近い。このため、特定部５４は、３次元点８２を特定する。そして、特定部５４は、２つの３次元点８１を３次元点の集合から除外する制御を実施する。このように、特定部５４は、それぞれの評価領域９２ごとに、１つの基準平面に最も近い３次元点を特定する制御を実施する。

図１４に、特定部にて特定された後の３次元点の位置を示すワークの断面図を示す。図１１に示す複数の３次元点８１，８２から、それぞれの評価領域９２において移動平面７８に最も近い３次元点８１，８２が抽出されている。このように、特定部５４にて３次元点８１，８２を特定することにより、表面６３ａに近い３次元点を残すことができる。すなわち、マルチパスの影響の小さい３次元点を残すことができる。

ここで、壁部６４の表面に残存する３次元点８１は、表面６３ａに対応する３次元点とは異なる。このために、特定部５４は、壁部６４における３次元点を削除する制御を行っても構わない。例えば、表面６３ａの凡その位置を予め定めることができる。特定部５４は、表面６３ａの位置から予め定められた範囲を逸脱する３次元点を削除する制御を行うことができる。

図８を参照して、ステップ１１７において、処理部５１の生成部５５は、特定部５４にて特定された複数の３次元点８１，８２に基づいて、複数の３次元点の位置情報を合成した３次元点の位置情報を生成する。例えば、生成部５５は、特定部５４にて特定された全ての３次元点にて距離画像を生成することができる。または、生成部５５は、３次元マップの形式にて３次元点の位置情報を生成しても構わない。このように、処理部５１は、カメラ３１の複数の位置にて撮像した３次元点の位置情報に基づいて、マルチパスの影響の少ない３次元点の位置情報を生成することができる。

図２を参照して、処理部５１の動作指令部５８は、３次元点の位置情報に基づいて、ワーク６２の表面６３ａの形状および位置を検出することができる。そして、動作指令部５８は、表面６３ａの位置および形状に基づいて、ハンド５を配置すべき位置および姿勢を動作制御部４３に送出する。動作制御部４３は、ロボット１およびハンド５の位置および姿勢を制御する。このように、ワーク６２の位置を検出して、ロボット装置３にてワーク６２を搬送することができる。

図１５に、本実施の形態における評価領域の大きさを説明する受光素子および光学中心の斜視図を示す。評価領域９２は、任意の大きさにて設定することができる。しかしながら、評価領域９２の内部には、少なくとも１つの３次元点が含まれることが好ましい。また、評価領域９２が大きすぎると、特定部５４により特定される３次元点の数が少なくなる。

図１５に示す例では、受光素子９６に対して仮想面９７が設定される。仮想面９７は、受光素子９６に平行な平面である。また、仮想面９７は、カメラ３１の光学中心３１ｃから距離ｄにて離れた距離である。距離ｄは、カメラ３１からワーク６２の表面６３ａまでの距離である。距離ｄは、凡その距離であれば、正確な距離でなくても構わない。仮想面９７において、受光素子９６に含まれる１つの画素９９から光学中心３１ｃに対して点対称の領域９７ａを算出する。領域９７ａの大きさを、評価領域９２の大きさに設定することができる。すなわち、ワーク６２の表面６３ａにおいて、１つの画素に対応する大きさにて評価領域９２を設定することができる。

なお、本実施の形態の処理部５１の設定部５６は、予め定められた評価領域を設定しているが、この形態に限られない。設定部は、評価領域の大きさまたは形状を変更可能に形成されていても構わない。例えば、設定部は、ワークの形状を検出して、ワークの形状に対応した形状および大きさの評価領域を設定することができる。また、設定部は、ワークの形状に基づいて、互いに形状および大きさが異なる複数の種類の設定領域を１つのワークに対して設定しても構わない。

図１６に、ワークに対してカメラを配置する時のカメラの位置を説明する撮像領域の斜視図および平面図を示す。カメラ３１にて距離画像を撮像する時に、カメラ３１は、ワーク６２の対象となる部分の少なくとも一部を含むように、任意の位置に配置することができる。矢印１０８は、カメラ３１を位置Ｐ３１ａに配置した時のカメラ３１の光軸を示している。ここでの例では、位置Ｐ３１ａは、ワーク６２の表面６３ａの中央部の真上に配置されている。

図１６に示す例においては、移動平面７８から距離ｄにて離れた仮想面９７が設定されている。仮想面９７における撮像領域３１ａを算出する。仮想面９７において撮像領域３１ａは、四角形の形状を有する。そして、撮像領域３１ａの四角形の幅Ｗおよび高さＨに対して、予め定められた定数を乗算した領域９７ｂを設定する。ここでの例では、幅Ｗおよび高さＨに対して、０．６を乗算した領域９７ｂが設定されている。そして、領域９７ｂの角に対応する位置に、矢印１０９に示す光軸が配置されるように、カメラ３１の位置Ｐ３１ｃを設定することができる。すなわち、カメラの画角に対して、予め定められた割合の画角の頂点に光軸が配置されるように、カメラ３１を配置することができる。カメラ３１は、移動平面７８に沿って複数の位置Ｐ３１ａ，Ｐ３１ｃに配置される。

または、カメラが配置される位置としては、ワークが配置される領域の端部に光軸が配置される位置を採用することができる。または、予め定められた領域を等分に分割した位置に光軸が配置されるように、カメラを配置しても構わない。

上記の実施の形態においては、板状部の表面に立設する壁部を有するワークを例に取りあげて説明しているが、この形態に限られない。本実施の形態における三次元測定装置は、マルチパスによる受光が生じる任意の物体の測定に適用することができる。

図１７に、本実施の形態における第２のワークの斜視図を示す。第２のワーク６６の上面には、溝部６６ａが形成されている。溝部６６ａの底面を検出する場合に、溝部６６ａの側面で光が反射してマルチパスによる受光が生じる場合が有る。このような凹部を有するワークの表面を検出する時に、本実施の形態における三次元測定装置を採用することができる。

なお、ワーク６６が溝部６６ａを有する時には、溝部６６ａの壁面の位置に光軸が配置されるように、カメラを配置して距離画像を撮像することが好ましい。または、移動平面において溝部６６ａの幅ＷＧに対応する間隔にて、カメラの複数の撮像位置を設定することが好ましい。この制御を行うことにより、溝部の底面を検出する際に生じるマルチパスの影響をより確実に低減することができる。

図１８に、本実施の形態における第３のワークおよびテーブルの斜視図を示す。第３のワーク６７では、表面６７ａの断面形状が波形に形成されている。このような、凹部および凸部を有する表面６７ａを検出する場合にも、マルチパスによる受光が発生する場合が有る。

さらに、マルチパスによる受光は、ワークの周りに配置されている物によって生じる場合がある。図１８に示す例においては、ワーク６７は、テーブル６８に載置されている。テーブル６８には、柱となる棒状部材６９が固定されている。ワーク６７は、棒状部材６９の近傍に配置されている。カメラ３１にて表面６７ａを検出する場合に、棒状部材６９の表面で反射した光が表面６７ａに向かうことにより、マルチパスによる受光が生じる場合がある。このテーブル６８を含む装置を用いてワーク６７の表面６７ａを検出する場合にも、本実施の形態における三次元測定装置にて測定することにより、マルチパスの影響を低減した３次元点の位置情報を取得することができる。本実施の形態の三次元測定装置は、マルチパスがどのように生じるか分からない場合であっても、マルチパスを低減した３次元点の位置情報を生成することができる。

図１９に、本実施の形態における第２のロボット装置の側面図を示す。第２のロボット装置４においては、ロボット１は、ハンド５を介してワーク６２を支持している。カメラ３１は、架台６５に固定されている。第２のロボット装置４では、ロボット１がワーク６２を移動する移動装置として機能する。ロボット１がワーク６２を移動することにより、ワーク６２に対するカメラ３１の相対的な位置が変化する。第２のロボット装置４においても、ワーク６２の表面６３ａを検出する。

第２のロボット装置４は、三次元測定装置として機能する。三次元測定装置は、例えば、ハンド５に対するワーク６２の位置を検出することができる。三次元測定装置は、ワーク６２の把持のずれを検出することができる。または、三次元測定装置は、例えば、ワーク６２の表面６３ａの形状を検出することができる。または、三次元測定装置は、ワーク６２の寸法の検査を実施することができる。

ロボット１は、ワーク６２を予め定められた移動平面７８に沿って移動する。ロボット１は、ワーク６２の姿勢を一定に維持しながら、ワーク６２を平行移動する。移動平面７８は、例えば、水平方向に延びる面である。制御装置２は、ツール座標系７２の原点が移動平面７８上を移動するように、ロボット１の位置および姿勢を変更する。また、制御装置２は、ツール座標系７２のＺ軸が予め定められた方向に向くようにロボット１の姿勢を制御する。

カメラ３１は、ワーク６２の複数の位置において距離画像を撮像する。図１９に示す例では、ワーク６２が第１の位置Ｐ６２ａに配置された状態で、カメラ３１は、第１の距離画像を撮像する。また、ワーク６２が第２の位置Ｐ６２ｂに配置された状態で、カメラ３１は、第２の距離画像を撮像する。それぞれの第１の距離画像および第２の距離画像において、ワーク６２の表面６３ａに対応する３次元点の位置は、カメラ座標系７３にて表現されている。

図２および図１９を参照して、処理部５１の位置取得部５２は、距離画像を取得するとともに、距離画像を撮像した時のロボット１の位置および姿勢を取得する。位置取得部５２は、距離画像をロボット１の位置および姿勢と組み合わせて記憶部４２に記憶する。

ワーク６２の複数の位置Ｐ６２ａ，Ｐ６２ｂおいて撮像が終了した後に、処理部５１は、複数の距離画像を合成した３次元の位置情報を生成する。変換部５３は、ロボット１の位置および姿勢に基づいて、カメラ座標系７３にて表現されている３次元点の位置情報を、ツール座標系７２によって表現される３次元点の位置情報に変換する。

図２０に、複数の位置に対応する距離画像に含まれる複数の３次元点をワークに配置した時のワークおよびカメラの部分断面図を示す。特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点をワーク６２に配置する。ワーク６２の表面６３ａおよび表面６３ａの近傍には、第１の距離画像に含まれる３次元点８１と、第２の距離画像に含まれる３次元点８２が示されている。それぞれの３次元点８１，８２は、ツール座標系７２にて表現されている。

図２および図２０を参照して、特定部５４は、ワーク６２を一つの位置に配置したときの３次元点８１，８２の位置を算出する。例えば、ワーク６２を第１の位置Ｐ６２ａに配置した時の３次元点８１，８２の位置を算出する。更に、特定部５４は、ロボット１の位置および姿勢に基づいて、ツール座標系７２にて表現された３次元点の位置情報をワールド座標系７１にて表現された３次元点の位置情報に変換する。特定部５４が３次元点８１，８２を特定するための基準平面７９は予め定められている。第２のロボット装置４では、カメラ３１の光学中心３１ｃを通る基準平面７９が定められている。ここでの例では、基準平面７９は、移動平面７８に平行な面である。

また、第１のロボット装置３と同様に、ワーク６２の表面６３ａを含むように評価範囲が予め定められている。評価範囲の内部には、基準平面７９から垂直な方向に延びる複数の評価領域が予め定められている（図１２および図１３を参照）。そして、特定部５４は、それぞれの評価領域において基準平面７９に最も近い３次元点を特定する。生成部５５は、特定部５４にて特定された３次元点に基づいて合成後の３次元点の位置情報を生成することができる。

その他の第２のロボット装置の構成、作用、および効果については、第１のロボット装置と同様であるのでここでは説明を繰り返さない。

第１のロボット装置および第２のロボット装置においては、カメラまたはワークを平行移動しているが、この形態に限られない。カメラおよびワークの両方を平行移動しても構わない。例えば、移動平面に沿う方向に、カメラおよびワークを互いに反対方向に平行移動しても構わない。また、カメラおよびワークの移動は、移動平面に沿った平行移動に限られず、移動平面から逸脱する位置にて撮像を行っても構わない。例えば、移動平面上に障害物が存在する場合には、移動平面から離れた位置にカメラまたはワークを配置して撮像しても構わない。

カメラまたはワークを移動する移動装置としては、ロボットに限られず、カメラまたはワークを移動できる任意の装置を採用することができる。例えば、ワークを搬送するコンベヤを備える装置、ワークまたはカメラを互いに直交するＸ軸、Ｙ軸、およびＺ軸の方向に移動する装置、または、ワークまたはカメラを一つの方向に移動するシリンダを備える装置などを移動装置として採用することができる。

図２１に、本実施の形態における検査装置の側面図を示す。図２２に、本実施の形態における検査装置のブロック図を示す。検査装置７は、三次元測定装置として機能する。三次元測定装置は、前述のロボット１などの移動装置を備えていなくても構わない。図２１および図２２を参照して、検査装置７は、複数の距離カメラとして、第１のカメラ３１および第２のカメラ３２を備える。それぞれのカメラ３１，３２は、ＴＯＦカメラである。

カメラ３１，３２は、支持部材３５により支持されている。カメラ３１，３２は、配置平面７５に沿って、互いに離れた位置に固定されている。カメラ３１，３２の位置は、予め定められている。カメラ３１，３２は、互いに異なる位置からワーク６２を撮像するように配置されている。それぞれのカメラ３１，３２は、光学中心３１ｃ，３２ｃが配置平面７５上に配置されている。また、それぞれのカメラ３１，３２は、光軸が予め定められた方向を向くように配置されている。すなわち、カメラ３１，３２の姿勢は互いに同じである。ワーク６２は、架台６１に載置されている。このように、ワーク６２よびカメラ３１，３２の両方が予め定められた位置に固定されている。

検査装置７において、基準座標系としてのワールド座標系７１が設定されている。図２１に示す例では、架台６１の表面に原点が配置されるように、ワールド座標系７１が設定されている。また、それぞれのカメラ３１，３２には、カメラ座標系が設定されている。それぞれのカメラ座標系は、カメラ３１，３２の光学中心が原点になり、Ｚ軸が光軸と重なるように設定されている。

検査装置７は、ＣＰＵを含む演算処理装置から構成されている制御装置８を備える。制御装置８は、第１のロボット装置３の制御装置２と同様の記憶部４２と処理部５１とを含む（図２を参照）。処理部５１は、カメラ３１，３２を制御する撮像制御部５７を含む。処理部５１は、カメラ３１，３２にて取得された距離画像を処理するために、位置取得部５２、変換部５３、設定部５６、特定部５４、および生成部５５を含む。

図２１および図２２に示す三次元測定装置は、本実施の形態における第１のロボット装置３において、ロボット１がカメラ３１の撮像位置を変更する代わりに、複数のカメラ３１，３２が配置されている。そして、位置が互いに異なる複数のカメラ３１，３２にて複数の距離画像を撮像する。例えば、第１のカメラ３１は、第１の距離画像を撮像し、第２のカメラ３２は、第２の距離画像を撮像する。

記憶部４２には、カメラ３１，３２の位置が予め記憶されている。記憶部４２は、カメラ３１およびカメラ３２にて撮像された距離画像を記憶する。変換部５３は、カメラ３１，３２に対する３次元点の位置情報を、ワーク６２に対する位置情報に変換する。ここでの例では、変換部５３は、それぞれのカメラ３１，３２のカメラ座標系にて検出された３次元点の位置情報を、ワールド座標系７１における３次元点の位置情報に変換する。

検査装置７においては、基準平面が予め定められている。ここでの例では、基準平面は、配置平面７５と同一の平面が採用されている。なお、基準平面は、任意の平面を採用することができる。例えば、基準平面は、配置平面７５に平行な面であっても構わない。

設定部５６は、評価範囲および評価領域を設定する。ここでの例では、３次元点の位置を評価する評価範囲および評価領域は、予め定められている。例えば、評価範囲は、評価を行うワーク６２の表面６３ａを含むように設定される。評価領域は、評価範囲を複数に分割することにより設定される。評価領域は、第１のロボット装置３と同様に、基準平面となる配置平面７５に対して垂直な方向に延びる直方体状の領域にて構成することができる。特定部５４は、それぞれの評価領域において、配置平面７５から最も距離が小さな３次元点を特定することができる。生成部５５は、特定部５４にて特定された３次元点に基づいて、合成後の３次元点の位置情報を生成することができる。

制御装置８は、合成後の３次元点の位置情報に基づいて、ワーク６２の表面の検査を行うことができる。例えば、制御装置８は、予め定められた判定値に基づいてワークの外縁の寸法の検査を実施することができる。または、ワークの表面に凹部または凸部が形成されている場合には、凹部または凸部の形状の検査を実施することができる。

図２１および図２２に示す例では、２つのカメラが配置されているが、この形態に限られない。三次元測定装置は、３つ以上のカメラを備えていても構わない。三次元測定装置は、複数のカメラにて撮像した距離画像を合成することができる。検査装置のその他の構成、作用および効果については、本実施の形態における第１のロボット装置および第２のロボット装置と同様であるので、ここでは説明を繰り返さない。

図２３に、本実施の形態における第３のロボット装置におけるカメラおよびワークの部分断面図を示す。第３のロボット装置の構成は、第１のロボット装置と同様である（図１を参照）。第３のロボット装置は、ワーク６２に対するカメラ３１の相対的な姿勢を変更する回転装置を備える。ロボット１は、回転装置として機能する。

第３のロボット装置では、ワーク６２に対するカメラ３１の相対的な姿勢を変更して、カメラ３１が３次元点の位置情報を取得する。ロボット１は、予め定められた中心点としてのカメラ３１の光学中心３１ｃの周りにカメラ３１を回転する。カメラ３１は、予め定められた複数の相対的な姿勢において距離画像を撮像する。

図２および図２３を参照して、カメラ３１は、第１の姿勢Ｒ３１ａにおいて第１の距離画像を撮像する。ワーク６２の表面６３ａおよび壁部６４の表面に対応する３次元点８１の位置情報が取得される。位置取得部５２は、第１の距離画像と共に、第１の距離画像を撮像した時のロボット１の位置および姿勢を取得する。記憶部４２は、第１の距離画像と組み合わせてロボット１の位置および姿勢を記憶する。この時の３次元点の位置情報は、カメラ座標系にて表現されている。

図２４に、カメラが第２の姿勢に配置された時のカメラおよびワークの部分断面図を示す。ロボット１が位置および姿勢を変更することにより、カメラ３１は、光学中心３１ｃを回転中心として回転する。カメラ３１は、第２の姿勢Ｒ３１ｂにおいて、第２の距離画像を取得する。ここでの例では、壁部６４がカメラ３１の撮像領域３１ａの外側に配置されている。このために、第２の距離画像では、ワーク６２の表面６３ａに配置された３次元点８２の位置情報が取得されている。記憶部４２は、第２の距離画像と第２の距離画像を撮像した時のロボット１の位置および姿勢とを組み合わせて記憶する。この時の３次元点の位置情報は、カメラ座標系にて表現されている。

本実施の形態においては、カメラ３１の２つの姿勢Ｒ３１ａ，Ｒ３１ｂにおいて距離画像を撮像しているが、この形態に限られない。カメラ３１の３つ以上の姿勢にて、距離画像を撮像しても構わない。カメラ３１の全ての姿勢において撮像が終了した後に、変換部５３は、３次元点８１，８２の位置をカメラ座標系７３からワールド座標系７１に変換する。

図２５に、カメラの複数の姿勢にて取得された３次元点をワークに配置したときのカメラおよびワークの部分断面図を示す。特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点８１，８２をワーク６２に配置する。

図２６に、３次元点の位置を評価するための評価範囲の斜視図を示す。図２７に、３次元点の位置を評価する評価領域の斜視図を示す。図２６および図２７を参照して、設定部５６は、評価範囲および評価領域を設定する。第３のロボット装置においては、ワーク６２の表面６３ａに対応する３次元点の位置を評価するための評価領域９４が、ワーク６２に対して予め定められている。評価範囲９３の内部に複数の評価領域９４が設定されている。それぞれの評価領域９４は、ワーク６２に対して予め設定された基準点から放射状に延びる領域である。評価領域９４は、錐体の形状を有する。

ここでの例では、基準点としてカメラ３１の光学中心３１ｃが採用されている。すなわち、基準点は、カメラ３１を回転する中心点である。評価領域９４は、基準点を原点とする球座標系の角度θおよび角度φにて設定されている。基準点は、この形態に限られず、ワークに対してカメラの回転中心点が配置されている側と同じ側に配置することができる。すなわち、カメラ３１が回転する中心点から離れた基準点が設定されていても構わない。

評価領域９４は、評価範囲９３を複数に分割することにより設定されている。評価範囲９３は、光学中心３１ｃを中心として、放射状に延びる範囲である。評価範囲９３は、評価範囲９３の内部に評価される部分が含まれることが好ましい。ここでの例では、評価範囲９３の内部にワーク６２の表面６３ａが含まれるように、評価範囲９３が設定されている。

図２および図２７を参照して、特定部５４は、それぞれの評価領域９４において、評価領域９４の内部に検出された３次元点８１，８２のうち、基準点としての光学中心３１ｃに最も近い３次元点を特定する。図２７に示す例においては、２個の３次元点８１よりも１個の３次元点８２の方が光学中心３１ｃに近いために、特定部５４は、３次元点８２を特定する。特定部５４は、全ての評価領域９４に対して、最も基準点に近い３次元点を特定する制御を実施する。

図２８に、特定部により特定された３次元点が示されたワークの断面図を示す。図２５に示す複数の３次元点８１，８２のうち、それぞれの評価領域９４において基準点から距離が最も小さい３次元点が抽出されている。ワーク６２の表面から離れた３次元点は除外されている。第３のロボット装置においても、壁部６４の表面に３次元点８１が残存している。特定部５４は、壁部６４の表面に対応して検出される３次元点８１は、任意の方法にて除外することができる。例えば、予め定められた位置の範囲を超える３次元点８１は除外することができる。

図２および図２８を参照して、生成部５５は、特定部５４により特定された複数の３次元点に基づいて、カメラ３１にて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する。生成部５５は、ワーク６２の板状部６３の表面６３ａに対応して配置されている３次元点８２に基づいて距離画像を生成することができる。

図２９に、第３のロボット装置における評価領域の大きさを説明する斜視図を示す。評価領域９４は、任意の大きさにて設定することができる。本実施の形態では、カメラ３１の受光素子９６における１つの画素９９を特定する。そして、画素９９の頂点から光学中心３１ｃに延ばした直線により、球座標における角度θおよび角度φを設定することができる。角度θおよび角度φに基づく錐体の領域を評価領域９４に設定することができる。このように、１つの画素に対応する角度を評価領域の錐体の角度に設定することができる。

図３０に、カメラを回転する時の姿勢を説明する撮像領域の斜視図および平面図を示す。カメラ３１を回転する時の角度は、任意の角度を設定することができる。ここでの例では、カメラ３１から離れた仮想面９７が設定されている。仮想面９７は、カメラ３１が第１の姿勢Ｒ３１ａに配置された時に矢印１０８に示す光軸に垂直な平面である。仮想面９７における撮像領域３１ａにおいて、カメラ３１の画角に対して予め定められた割合の画角の点を設定することができる。そして、この点にカメラ３１の光軸が配置されるように、カメラ３１の姿勢を設定することができる。例えば、仮想面９７における撮像領域３１ａに対して、画角に対して所定の割合を乗じた領域９８を算出することができる。矢印１０９に示すように、領域９８の頂点１００ａの位置に光軸が配置されるように、カメラ３１の姿勢Ｒ３１ｃを設定することができる。または、領域９８を等分に分割した点１００ｂに光軸が配置されるように、カメラ３１の姿勢Ｒ３１ｃを設定することができる。

第３のロボット装置においても、カメラ３１を回転して取得した３次元点の位置情報に基づいて合成後の３次元点の位置情報を生成することができる。このために、マルチパスの影響を低減した３次元点の位置情報を取得することができる。

その他の第３のロボット装置の構成、作用、および効果については、本実施の形態の第１のロボット装置と同様であるので、ここでは説明を繰り返さない。

図３１に、本実施の形態における第４のロボット装置のカメラおよびワークの側面図を示す。第４のロボット装置の構成は、第２のロボット装置の構成と同様である（図１９を参照）。第４のロボット装置においては、カメラ３１の位置が固定されている。一方で、ワーク６２の姿勢を変更することにより、ワーク６２に対するカメラ３１の相対的な姿勢を変更する。第４のロボット装置において、ロボット１がワーク６２に対するカメラ３１の相対的な姿勢を変更する回転装置として機能する。ロボット１は、回転の中心点としての光学中心３１ｃの周りにワーク６２を回転する。カメラ３１は、カメラ３１に対するワーク６２の複数の予め定められた相対的な姿勢において、距離画像を撮像する。

制御装置２は、ツール先端点であるツール座標系７２の原点が、光学中心３１ｃを中心とした球面８０上に配置されるように、ロボット１の位置および姿勢を変更する。また、制御装置２は、ツール座標系７２のＺ軸が光学中心３１ｃを向くように、ロボット１の位置および姿勢を変更する。

図２および図３１を参照して、カメラ３１は、ワーク６２の第１の姿勢Ｒ６２ａにおいて第１の距離画像を撮像する。カメラ３１から出力される３次元点の位置情報はカメラ座標系７３にて表現されている。位置取得部５２は、第１の距離画像を第１の姿勢Ｒ６２ａにおけるロボット１の位置および姿勢と組み合わせて記憶部４２に記憶する。

次に、制御装置２は、ロボット１は位置および姿勢を変更して、ワーク６２を第２の姿勢Ｒ６２ｂに配置する。カメラ３１は、第２の距離画像を撮像する。位置取得部５２は、第２の距離画像を第２の姿勢Ｒ６２ｂにおけるロボット１の位置および姿勢と組み合わせて記憶部４２に記憶する。

本実施の形態では、ワーク６２の２つの姿勢において距離画像を撮像しているが、この形態に限られない。３つ以上の姿勢にて距離画像を撮像しても構わない。カメラ３１は、ワーク６２の全ての姿勢において距離画像を撮像する。

変換部５３は、それぞれのワーク６２の姿勢Ｒ６２ａ，Ｒ６２ｂにおいて取得され、カメラ座標系７３にて表現された３次元点の位置情報を、ツール座標系７２にて表現された３次元点の位置情報に変換する。変換部５３は、ロボット１の位置および姿勢に基づいて３次元点の位置情報を変換する。

次に、特定部５４は、第１の距離画像における３次元点の位置情報および第２の距離画像における３次元点の位置情報を、１つのワーク６２の表面上に配置する。ここで、特定部５４は、任意のワーク６２の姿勢を選択する。例えば、特定部５４は、ワーク６２を移動した範囲内において、１つのワーク６２の姿勢を選択する。本実施の形態では、特定部５４は、ツール座標系７２のＺ軸が鉛直方向と平行に配置されている姿勢Ｒ６２ａを選択する。

次に、特定部５４は、選択されたワーク６２の姿勢に対応するロボット１の位置および姿勢に基づいて、ツール座標系７２にて表現された３次元点の位置情報をワールド座標系７１にて表現された３次元点の位置情報に変換する。この制御を実施することにより、第２のロボット装置４における図２０に示される状態と同様の状態になる。

設定部５６は、評価範囲および評価領域を設定する。第４のロボット装置においては、第３のロボット装置と同様の評価範囲および錐体の評価領域が採用されている（図２６および図２７を参照）。評価領域を定める基準点は、ワーク６２に対して任意の位置に設定することができる。ここでの例では、基準点は光学中心３１ｃに設定されている。すなわち、基準点はワーク６２を回転する中心点に設定されている。そして、特定部５４は、それぞれの評価領域の内部において基準点に最も近い３次元点を特定する。生成部５５は、特定部５４にて特定された３次元点に基づいて、合成後の３次元点の位置情報を生成することができる。

その他の第４のロボット装置の構成、作用、および効果については、第１のロボット装置から第３のロボット装置と同様であるので、ここでは説明を繰り返さない。

第３のロボット装置および第４のロボット装置においては、カメラまたはワークを回転する回転装置としてロボットが採用されているが、この形態に限られない。回転装置は、カメラまたはワークを、予め定められた中心点の周りに回転できる任意の装置を採用することができる。また、カメラおよびワークの両方を回転させる回転装置を採用しても構わない。

図３２に、本実施の形態における第５のロボット装置におけるカメラおよびワークの部分断面図を示す。第５のロボット装置の構成は、第１のロボット装置と同様である（図１を参照）。第５のロボット装置は、ワーク６２に対するカメラ３１の相対的な位置を変更する移動装置を備える。ロボット１は、移動装置として機能する。

第１のロボット装置においては、カメラ３１が予め定められた移動平面７８に沿って平行移動している。図２および図３２を参照して、これに対して、第５のロボット装置においては、予め定められた移動線８３に沿ってカメラ３１が平行移動するように、ロボット１が位置および姿勢を変更する。カメラ３１は、移動線８３に沿った位置に配置される。例えば、カメラ３１の光学中心が移動線８３上に配置される。この時に、カメラ３１の姿勢は、一定に維持される。

カメラ３１は、第１の位置Ｐ３１ｄに配置された後に第１の距離画像を撮像する。ワーク６２の表面に対応する３次元点８１が検出される。位置取得部５２は、第１の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。次に、ロボット１が駆動することにより、カメラ３１は、位置Ｐ３１ｅに配置される。カメラ３１は、第２の距離画像を撮像する。ワーク６２の表面に対応する３次元点８２が検出される。位置取得部５２は、第１の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。

処理部５１の変換部５３は、カメラ座標系７３にて表現されている３次元点の位置情報を、ワールド座標系７１にて表現されている３次元点の位置情報に変換する。特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点８１，８２のうち、基準線に最も近い３次元点を特定する。

図３３に、第５のロボット装置において、評価領域を配置する評価範囲を説明するカメラおよびワークの斜視図を示す。図３４に、第５のロボット装置における評価領域の斜視図を示す。図３３および図３４を参照して、第５のロボット装置においては、３次元点８１，８２の位置を評価するために、基準線が設定されている。基準線は、任意の線を採用することができる。基準線は、移動線８３または移動線８３に平行な線であることが好ましい。第５のロボット装置においては、移動線８３が基準線に設定されている。

設定部５６は、評価範囲１２１および評価領域１２２を設定する。評価領域１２２は、評価範囲１２１を複数に区切った領域である。評価領域１２２は、基準線としての移動線８３に沿って予め定められた幅を有する。評価領域１２２は、移動線８３からワーク６２に対して放射状に延びるように形成されている。評価領域１２２の幅Ｗは、第１のロボット装置における評価領域９２の一辺の長さと同様に設定することができる。幅Ｗは、カメラ３１からワーク６２の表面６３ａまでの距離ｄおよび受光素子の画素の大きさに基づいて設定することができる（図１５を参照）。また、評価領域１２２の角度θは、第３のロボット装置における評価領域９４の角度θと同様に設定することができる。角度θは、画素９９の頂点とカメラ３１の光学中心とを通る直線に基づいて設定することができる（図２９を参照）。

特定部５４は、移動線８３からそれぞれの３次元点８１，８２までの距離を算出する。図３４に示す例では、２つの３次元点８１よりも１つの３次元点８２の方が移動線８３に近い。このため、特定部５４は、３次元点８２を特定する。特定部５４は、２つの３次元点８１を３次元点の集合から除外する制御を実施する。このように、特定部５４は、それぞれの評価領域１２２ごとに、基準線に最も近い３次元点を特定する制御を実施する。処理部５１の生成部５５は、特定部５４にて特定された複数の３次元点８１，８２に基づいて、複数の３次元点の位置情報を合成した３次元点の位置情報を生成する。

このように、移動線に沿ってカメラを移動して複数の距離画像を撮像した場合にも、マルチパスの影響を低減した３次元点の位置情報を生成することができる。なお、複数の距離画像を撮像する時のカメラ３１の位置は、第１のロボット装置におけるカメラ３１の間隔と同様の方法により設定することができる（図１６を参照）。

その他の第５のロボット装置の構成、作用、および効果については、第１のロボット装置と同様であるのでここでは説明を繰り返さない。

次に、本実施の形態の第６のロボット装置について説明する。第６のロボット装置は、本実施の形態の第２のロボット装置４と同様である（図１９および図２０を参照）。図１９および図２０を参照して、第２のロボット装置４においては、ワーク６２を移動平面７８に沿って２次元的に移動している。これに対して、第６のロボット装置では、移動平面７８の代わりの移動線に沿ってワーク６２を移動する。移動線は、予め定められた方向に延びる線である。例えば、移動線は、水平方向に延びる線である。ロボット１は、ワーク６２の姿勢を一定に維持しながら、ワーク６２を平行移動する。

特定部５４が３次元点８１，８２を特定するために、第２のロボット装置４では基準平面７９が設定されている。これに対して、第６のロボット装置では、基準平面７９の代わりに基準線が予め定められている。基準線は、例えば、カメラ３１の光学中心を通る線である。本実施の形態では、基準線は、移動線に平行になるように設定されている。

カメラ３１は、ワーク６２の複数の位置において距離画像を撮像する。また、第５のロボット装置と同様に、設定部５６は、基準線から延びる評価範囲および評価範囲を設定する（図３３および図３４参照）。そして、特定部５４は、それぞれの評価領域において基準線に最も近い３次元点を特定する。生成部５５は、特定部５４にて特定された３次元点に基づいて合成後の３次元点の位置情報を生成することができる。

その他の第６のロボット装置の構成、作用、および効果については、第２のロボット装置および第５のロボット装置と同様であるのでここでは説明を繰り返さない。

上記の第１のロボット装置においては、カメラ３１を移動平面に沿って移動して距離画像を撮像し、基準平面に近い３次元点を特定する制御を実施している。第２のロボット装置においては、ワーク６２を移動平面に沿って移動して距離画像を撮像し、基準平面に近い３次元点を特定する制御を実施している。第３のロボット装置においては、カメラ３１を中心点の周りに回転して距離画像を撮像し、基準点に近い３次元点を特定する制御を実施している。第４のロボット装置においては、ワーク６２を中心点の周りに回転して距離画像を撮像し、基準点に近い３次元点を特定する制御を実施している。第５のロボット装置においては、カメラ３１を移動線に沿って移動して距離画像を撮像し、基準線に近い３次元点を特定する制御を実施している。第６のロボット装置においては、ワーク６２を移動線に沿って移動して距離画像を撮像し、基準線に近い３次元点を特定する制御を実施している。これらの距離画像を撮像する制御と、３次元点の位置情報に残す３次元点を特定する制御とは、任意に組み合わせることができる。

例えば、カメラ３１またはワーク６２を移動平面に沿って移動して距離画像を撮像し、予め定められた基準点に近い３次元点を特定する制御を実施することができる。また、カメラ３１またはワーク６２を移動線に沿って移動して距離画像を撮像し、予め定められた基準点に近い３次元点を特定する制御を実施することができる。カメラ３１またはワーク６２を移動平面に沿って移動して距離画像を撮像し、予め定められた基準線に近い３次元点を特定する制御を実施することができる。カメラ３１またはワーク６２を移動線に沿って移動して距離画像を撮像し、予め定められた基準平面に近い３次元点を特定する制御を実施することができる。また、カメラ３１またはワーク６２を中心点の周りに回転して距離画像を撮像し、予め定められた基準平面または基準線に近い３次元点を特定する制御を実施することができる。

更に、本実施の形態のロボット１は、ワーク６２に対するカメラ３１の相対的な位置および姿勢を変更する変更装置として機能する。ロボット１は、カメラ３１およびワーク６２のうち少なくとも一方を一つの移動平面または一つの移動線に沿って移動する動作と、カメラ３１およびワーク６２のうち少なくとも一方を予め定められた中心点の周りに回転する動作とを組み合わせても実施しても構わない。例えば、ロボット装置は、カメラ３１を移動平面に沿って移動して距離画像を撮像し、更に、移動平面に沿って移動している期間中にカメラ３１の移動を止める。そして、カメラ３１を予め定められた中心点の周りに回転して距離画像を撮像することができる。または、ロボット装置は、ワーク６２が常に中心になるように、カメラ３１を平行移動する動作とカメラ３１を回転する動作とを実施している期間中に、距離画像を撮像することができる。この場合に、特定部は、予め定められた基準点に近い３次元点を特定する制御、予め定められた基準平面に近い３次元点を特定する制御、または予め定められた基準線に近い３次元点を特定する制御のうちいずれかの制御を実施することができる。

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、請求の範囲に示される実施の形態の変更が含まれている。

１ ロボット
２，８ 制御装置
３，４ ロボット装置
７ 検査装置
２３ 位置検出器
３１，３２ カメラ
３１ｃ，３２ｃ 光学中心
Ｐ３１ａ，Ｐ３１ｂ，Ｐ３１ｃ，Ｐ３１ｄ，Ｐ３１ｅ 位置
Ｒ３１ａ，Ｒ３１ｂ姿勢
５１ 処理部
５２ 位置取得部
５３ 変換部
５４ 特定部
５５ 生成部
５６ 設定部
６２，６６，６７ ワーク
Ｐ６２ａ，Ｐ６２ｂ 位置
Ｒ６２ａ，Ｒ６２ｂ 姿勢
７１ ワールド座標系
７２ ツール座標系
７３ カメラ座標系
７５ 配置平面
７８ 移動平面
７９ 基準平面
８１，８２ ３次元点
８３ 移動線
８６，８７ 距離画像
９１，９３，１２１ 評価範囲
９２，９４，１２２ 評価領域
９６ 受光素子

Claims (16)

1. 光の飛行時間に基づいて物体の表面の３次元点の位置情報を取得する距離カメラと、
   前記距離カメラにて取得された３次元点の位置情報を処理する処理装置とを備え、
   前記距離カメラは、前記物体に対する前記距離カメラの複数の相対的な位置および姿勢において、３次元点の位置情報を取得し、
   前記処理装置は、前記物体の表面に対応する３次元点の位置を評価するための複数の評価領域を前記物体に対して設定する設定部と、
   それぞれの評価領域において、評価領域内に検出された３次元点のうち、予め定められた基準平面、基準点、または基準線に最も近い３次元点を特定する特定部と、
   前記特定部により評価領域ごとに特定された複数の３次元点に基づいて、前記距離カメラにて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する生成部とを含む、三次元測定装置。
2. 前記物体に対する前記距離カメラの相対的な位置を変更する移動装置を備え、
   前記移動装置は、前記物体および前記距離カメラのうち少なくとも一方を、姿勢を維持しながら一つの移動平面に沿って平行移動するように形成されている、請求項１に記載の三次元測定装置。
3. 前記特定部は、前記基準平面に最も近い３次元点を特定し、
   前記基準平面は、前記移動平面と同一の面または前記移動平面に平行な面である、請求項２に記載の三次元測定装置。
4. 前記評価領域は、前記基準平面に対して垂直な方向に延びる領域である、請求項３に記載の三次元測定装置。
5. 前記物体に対する前記距離カメラの相対的な位置を変更する移動装置を備え、
   前記移動装置は、前記物体および前記距離カメラのうち少なくとも一方を、姿勢を維持しながら一つの移動線に沿って平行移動するように形成されている、請求項１に記載の三次元測定装置。
6. 前記特定部は、前記基準線に最も近い３次元点を特定し、
   前記基準線は、前記移動線と同一の線または前記移動線に平行な線である、請求項５に記載の三次元測定装置。
7. 前記評価領域は、前記基準線から前記物体に対して放射状に延びる領域である、請求項６に記載の三次元測定装置。
8. 前記移動装置は、多関節ロボットを含む、請求項２から７のいずれか一項に記載の三次元測定装置。
9. 複数の前記距離カメラを備え、
   複数の前記距離カメラは、一つの配置平面における互いに離れた位置に、互いに同一の姿勢にて固定されており、
   前記特定部は、前記基準平面または前記基準線に最も近い３次元点を特定する、請求項１に記載の三次元測定装置。
10. 前記物体に対する前記距離カメラの相対的な姿勢を変更する回転装置を備え、
    前記回転装置は、前記物体または前記距離カメラのうち少なくとも一方を予め定められた中心点の周りに回転するように形成されている、請求項１に記載の三次元測定装置。
11. 前記特定部は、前記基準点に最も近い３次元点を特定する、請求項１０に記載の三次元測定装置。
12. 前記評価領域は、前記基準点から前記物体に対して放射状に延びる領域である、請求項１１に記載の三次元測定装置。
13. 前記回転装置は、多関節ロボットを含む、請求項１０から１２のいずれか一項に記載の三次元測定装置。
14. 前記物体に対する前記距離カメラの相対的な位置および姿勢を変更する変更装置を備え、
    前記変更装置は、一つの移動平面または一つの移動線に沿って前記物体および前記距離カメラのうち少なくとも一方を移動する動作と、予め定められた中心点の周りに前記物体および前記距離カメラのうち少なくとも一方を回転する動作とを実施するように形成されている、請求項１に記載の三次元測定装置。
15. 前記変更装置は、多関節ロボットを含む、請求項１４に記載の三次元測定装置。
16. 前記物体を検出する部分に対応する評価範囲が予め定められており、
    前記評価領域は、前記評価範囲を複数に区切った領域である、請求項１から１５のいずれか一項に記載の三次元測定装置。

Images