JP6525770B2

JP6525770B2 - 計測装置、および物品製造方法

Info

Publication number: JP6525770B2
Application number: JP2015132149A
Authority: JP
Inventors: 沙織長谷川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-06-30
Filing date: 2015-06-30
Publication date: 2019-06-05
Anticipated expiration: 2035-06-30
Also published as: JP2017015545A

Description

本発明は、計測装置、および物品製造方法に関する。

計測対象物に光パターンを投影して該対象物を撮像する計測ヘッドを有し、当該撮像により得られた画像データから対象物の形状を計測する、三角測量の原理を利用した計測装置が知られている（特許文献１）。当該計測装置の処理部は、当該画像データに基づいて、対象物までの距離または対象物の形状の情報を得る。このような計測には、空間符号化法が用いられうる。ここで、空間符号化法は、光パターンとして明部（明ストライプ）と暗部（暗ストライプ）とが交互に配置されてなるものを投影して空間を２進符号化する。空間符号化法では、画像データにおける明部と暗部との境界を特定する必要がある。

ところが、計測装置と対象物との間の距離または対象物の反射率等の要因により、画像データにおける明部と暗部とのコントラストが変動する。コントラストが適当でない場合、明部と暗部との境界を求めるのが困難となる。そこで、特許文献１の計測装置は、空間周波数が互いに異なる複数の光パターンのうち画像データの信頼度（例えばコントラスト）が閾値以上となる光パターンを特定して用いるようにしている。

特開２０１２−１０３２３９号公報

しかしながら、特許文献１の計測装置は、各光パターンに関して画像データの信頼度を得て信頼度が閾値以上である光パターンを特定しているため、計測に要する時間または計測のスループットの点で不利となる。また、対象物によっては、必要な計測精度の観点から、所定値以上の空間周波数を有する光パターンは必要でない場合もある。

本発明は、計測時間の点で有利な計測装置を提供することを例示的目的とする。

本発明の一つの側面は、光パターンを対象物に投影する投影部と、
前記光パターンを投影された前記対象物を撮像して画像データを出力する撮像部と、
前記画像データに基づいて前記対象物の距離の計測値を得る処理部と、
を有する計測装置であって、
前記処理部は、
前記計測値の信頼度を予測するための第１情報と該信頼度との関係を示す第２情報に基づいて、前記光パターンの空間周波数を特定する、
ことを特徴とする計測装置である。

本発明によれば、例えば、計測時間の点で有利な計測装置を提供することができる。

計測装置の構成を例示する図グレイコードにしたがった光パターンを例示する図計測部と対象物との位置関係を例示する図計測部と対象物との距離とコントラストとの関係を例示する図光パターンとそれに対応する光強度分布とを例示する図パレットに搭載された対象物と計測部との距離を例示する図計測装置による処理の流れの例を示す図（実施形態１）計測装置による処理の流れの別の例を示す図（実施形態２）計測装置による処理の流れの別の例を示す図（実施形態５）計測装置による処理の流れの別の例を示す図（実施形態５）予備計測における処理の流れを例示する図（実施形態５）

以下、添付図面を参照して本発明の実施形態を説明する。なお、実施形態を説明するための全図を通して、原則として（断りのない限り）、同一の部材等には同一の符号を付し、その繰り返しの説明は省略する。

〔実施形態１〕
まず、図１は、計測装置の構成を例示する図である。本実施形態の計測装置は、ヘッド１０（計測部）と処理部３とで構成されている。ヘッド１０は、以下の２つの光学部を含んでいる。１つは、光パターン（光強度分布）１６を対象物１１に投影する投影部１で、もう１つは、光パターン１６が投影された対象物１１を撮像して画僧データを出力する撮像部２である。図１において、ｙ軸は、ライン状の光パターン１６のラインと平行な軸であり、ｚ軸は、投影部の光軸と平行な軸であり、ｘ軸は、ｙ軸とｚ軸とに直交する軸である。ｘｚ平面は、投影光学系４の物体側主点と撮像光学系７の像側主点と物点とを含む平面である。投影部１は、光源１７と、照度分布均一化部１８（インテグレータ）と、光パターン形成部６と、投影光学系４とを含む。光源１７には、ＬＥＤ等の発光素子を用いることができる。インテグレータ１８には、ロッドインテグレータやハエの目レンズ等を用いることができる。光パターン形成部６は、液晶素子やＤＭＤ（デジタルミラーデバイス）等で構成され、投影すべき光パターンを形成することできる。投影部１は、光源から出射されインテグレータにより均一化された光で照明された光パターン形成部６を投影光学系４により測距空間（計測空間）に投影する。本実施形態では、ｙ方向に延びたライン状の光パターン１６を対象物１１に投影する。光パターン１６は、直線上の点状パターンまたは円形状パターンの配列であってもよい。撮像部２は、撮像素子８と、対象物からの光を撮像素子に導く撮像光学系７とを含む。撮像素子８は、ＣＭＯＳまたはＣＣＤデバイス等を含む光電変換素子としうる。撮像部２は、対象物からの光を、撮像光学系７を介して撮像素子８で受光して対象物の画像（データ）を取得する。

次に、本実施形態の計測装置で用いる空間符号化法について説明する。空間符号化法で用いる光パターン１６は、光の照射のパターンである。空間符号化法として、グレイコード法が知られている。グレイコード法は、空間周波数（周期）の互いに異なる複数の光パターンを順番に対象物に投影する。図２は、グレイコードにしたがった光パターンを例示する図である。図２の（ａ）から（ｃ）の光パターンを順番に投影し、それぞれの撮像を行う。そして、２値化を行う。具体的には、各画素は、その値が閾値以上であれば、１とする。また、閾値未満であれば、０とする。各光パターンでのバイナリ値を順に並べてグレイコードとする。グレイコードは、図２の空間コード１（０から７）に変換し、光パターン形成部６の画素と撮像素子８の画素とを対応付ける。一方、図２の（ａ）および（ｂ）の光パターンを順番に投影した場合、図２の空間コード２（０から３）となり、（ａ）から（ｃ）の光パターンを投影した場合の半分の分解能となる。以上のように、投影する光パターンの最高空間周波数によって、光パターンのラインとは直交する方向において計測値が得られる分解能が変化する。

投影部１は、空間符号化法で用いる複数種類の光パターン１６を投影し、撮像部２は、各パターンを撮像し、処理部３は、撮像により得られた画像データを処理する。投影部１と撮像部２との間の相対的な位置・姿勢の関係は既知であることから、三角測量の原理に基づき、対象物１１の表面上の各点の距離（位置）が得られ、もって、対象物１１の形状が得られる。

計測部と対象物との距離が許容範囲内にないために光パターンのぼけが生じている場合、明部と暗部との境界を求める精度が不利となりうる。図３は、計測部と対象物との位置関係を例示する図である。対象物１０２・対象物１０３とヘッド１０１との間のＺ方向の距離は、それぞれＤ１０２・Ｄ１０３である。また、ヘッド１０１からＺ方向に距離Ｄ１・Ｄ２となる位置（領域）をそれぞれ破線Ｄ１ａ・Ｄ２ａで示す。ヘッド１０１に対して、明部と暗部との境界を得る精度が許容範囲となる距離が存在する。ここでは、図５の（ａ）の光パターンを投影した場合、当該距離は、Ｄ１からＤ２の間であるものとする。つまり、対象物１０２は、当該距離Ｄ１ａとＤ２ａとの間にある。光パターンのぼけ量に係るコントラストＣは、式（１）で表される。ここで、図４は、計測部と対象物との距離とコントラストとの関係を例示する図である。
Ｃ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）・・・（１）

図５は、光パターンとそれに対応する光強度分布とを例示する図である。同図の（ａ）の光パターンを対象物１０２（位置Ｄ１０２）に投影した場合の画像データを同図の（ｃ）に示す。ａ１０２は、ｘ方向に沿った画素値分布を示し、Ｉｍａｘ・Ｉｍｉｎは、それぞれ最大値・最小値を示す。同図の（ａ）の光パターンを対象物１０３（位置Ｄ１０３）に投影した場合の画像データを同図の（ｃ）のａ１０３に示す。図４の（ａ）において、横軸はヘッド１０１から対象物への距離、縦軸はコントラストを示す。ｃａは、当該距離とコントラストとの関係を示す曲線である。図３に示す距離Ｄ１０２、Ｄ１０３でのコントラスト値は、それぞれ図４の（ａ）においてｃ１０２ａ、ｃ１０３ａである。ここで、明部と暗部との境界を得るのに必要なコントラストの閾値をＳ１で示している。

対象物１０２は、ｃ１０２ａ≧Ｓ１であるから、図５の（ａ）の光パターンで計測できる。一方、対象物１０３は、ｃ１０３ａ＜Ｓ１であるから、当該光パターンでは計測できない。このようにコントラスト（値）は、計測値の信頼度を表す指標として用いうる。

そこで、図５の（ａ）の光パターンより空間周波数の低い同図の（ｂ）の光パターンを対象物１０２、１０３に投影した場合の画像データを同図のｂ１０２、ｂ１０３にそれぞれ示す。図４の（ｂ）に示すｃｂは、ヘッド１０１からの距離とコントラストとの関係を示す曲線である。図３に示す距離Ｄ１０２、Ｄ１０３でのコントラスト値は、それぞれ図４の（ｂ）においてｃ１０２ｂ、ｃ１０３ｂである。対象物１０２、１０３は、ｃ１０２ｂ≧Ｓ１、ｃ１０３ｂ≧Ｓ１であるから、図５の（ｂ）の光パターンでともに計測できる。

計測装置の光学系の設計値から、図４に例示したような距離とコントラストとの関係は既知である。そのため、光パターンの空間周波数毎に、コントラストが許容条件を満たす（典型的には閾値以上となる）距離を予め求めてテーブルにし、当該テーブルを処理部３に記憶しておくことができる。または、対象物の存在する距離の範囲を分割して得られる複数の領域のそれぞれに関して、使用する（コントラストが閾値以上となる）光パターン（の空間周波数）を特定するようなテーブルも生成しうる。したがって、ヘッドからの距離（の範囲）の情報は、各光パターンでの計測値の信頼度（例えばコントラスト）を予測するための情報（第１情報）となりうる。また、当該テーブルの情報は、当該第１情報と当該信頼度との関係を示す情報（第２情報）となりうる。当該テーブルを用いた計測の例を、図６および図７を参照して説明する。図６は、パレットに搭載された対象物と計測部との距離を例示する図である。ヘッド１０１からパレットｐ１の上面までの距離をＤ１０４、重ねられた対象物の領域ｗ１までの距離をＤ１０５、パレットｐ１の底面までの距離をＤ１０６とする。図４の（ｂ）に示すＤ３ならびに、図４の（ａ）に示すＤ１およびＤ２は、Ｄ３＜Ｄ１０４＜Ｄ１０５＜Ｄ１＜Ｄ１０６＜Ｄ２との関係を満たす。

ここで、図７は、計測装置による処理の流れの例を示す図である。図７において、ステップｓ１０１で、処理部３は、例えば、ユーザ・インタフェースを提示し、それに対するユーザの操作を介して、対象物の存在する距離の範囲に係る情報（第１情報）を入力する。当該範囲は、例えば、対象物が存在する範囲Ｄ１０５からＤ１０６、またはパレットｐ１の範囲Ｄ１０４からＤ１０６としうる。ここでは、範囲Ｄ１０５からＤ１０６の情報を入力するものとする。

ステップｓ１０２では、計測に用いる光パターンを特定する。処理部３は、上述のテーブル（第２情報）を参照して、光パターンの最高空間周波数を特定する。範囲Ｄ１０５からＤ１０６に関しては、光パターンの最高空間周波数は、図５の（ｂ）のものである。ステップｓ１０３では、該当する光パターンを投影して撮像する。ステップｓ１０４では、ステップｓ１０３で得られた画像データに基づき、対象物表面の各点（各部）に関して距離の計測値を得、もって対象物の形状（位置・姿勢）を得る。ステップｓ１０５では、ステップｓ１０４で得られた情報に基づいて、不図示のロボットで把持可能な物体があるか判断する。把持可能な物体がない場合、ステップｓ１０７で終了を終了する。把持可能な物体が存在する場合、ステップｓ１０６で、当該物体を把持して所定の処理（例えば搬送）を行う。その後、ステップｓ１０３から処理を繰り返す。

以上説明したように、本実施形態によれば、入力された距離の範囲に基づいて、計測に用いる光パターン（の最高空間周波数）を特定することにより、計測時間の点で有利な計測装置を提供することができる。

〔実施形態２〕
本実施形態では、実施形態１の構成に加えて、対象物の計測結果に基づいて光パターンの空間周波数を変更するようにしている。図８は、計測装置による処理の流れの別の例を示す図である。図８の各ステップのうち図７のステップとは異なるのはステップｓ１０２´のみである。最初のステップｓ１０２´の処理は、図７のステップｓ１０２のそれと同様である。ステップｓ１０６で対象物を把持して所定の処理を行った後、ステップｓ１０２´に戻る。２度目以後のステップｓ１０２´では、ステップｓ１０４での計測結果に基づいて、ステップｓ１０６で処理した物体がなくなった（搬送された）後の対象物の距離範囲を得る。そして、当該範囲に基づいて、上記のテーブル（実施形態１参照）を参照して、光パターンの最高空間周波数を特定する。計測開始の当初は図６のｗ１まで対象物が積み重ねられていたが、ステップｓ１０２´からｓ１０６までの処理を繰り返した後に、ｗ２まで対象物が積み重ねられた状態になった場合を説明する。ここで、対象物の量が減ることによって、対象物の存在する範囲がｗ２までとなり、距離の範囲がＤ１からＤ１０６までとなる。よって、Ｄ１＜Ｄ１０６＜Ｄ２であって、Ｄ１からＤ２までは図５の（ａ）の光パターンでコントラストが閾値以上となるから、計測に用いる光パターンの最高空間周波数を図５の（ａ）に示すものに変更する。

以上説明したように、本実施形態によれば、入力された距離の範囲および対象物の計測結果（第１情報の別の例）に基づいて、計測に用いる光パターン（の最高空間周波数）を特定することにより、計測時間の点で有利な計測装置を提供することができる。

〔実施形態３〕
本実施形態は、対象物の反射率に関する情報（第１情報の別の例）に基づいて光パターンの空間周波数を特定する。当該反射率は、対象物の色や材質、表面状態によって決まる。ここで、図７を参照して、実施形態１との相違点を説明する。本実施形態では、ステップｓ１０１において、距離の範囲の入力に替わり、対象物の反射率に関する情報を、例えば、ユーザ・インタフェースを介して入力する。ステップｓ１０２では、当該反射率に関する情報に基づいて、光パターン（の最高空間周波数）を特定する。そのためには、例えば、当該反射率に関する情報と信頼度が閾値以上となる最高空間周波数との関係をテーブル（第２情報）にし、当該テーブルを処理部３に記憶させておく。

以上説明したように、本実施形態によれば、入力された反射率に関する情報に基づいて、計測に用いる光パターン（の最高空間周波数）を特定することにより、計測時間の点で有利な計測装置を提供することができる。

〔実施形態４〕
本実施形態では、距離の範囲の情報と対象物の反射率に関する情報とを第１情報とし、当該第１情報に基づいて光パターンの空間周波数を特定する。ここで、図７および図８を参照して、実施形態１ないし３との相違点を説明する。本実施形態では、ステップｓ１０１において、距離の範囲の情報と対象物の反射率に関する情報とを、例えば、ユーザ・インタフェースを介して入力する。ステップｓ１０２では、入力されたそれらの情報に基づいて、計測に用いる光パターン（の最高空間周波数）を特定する。そのためには、例えば、距離の範囲に関する情報と対象物の反射率に関する情報と信頼度が閾値以上となる最高空間周波数との関係をテーブル（第２情報）にし、当該テーブルを処理部３に記憶させておく。

以上説明したように、本実施形態によれば、入力された距離の範囲の情報と対象物の反射率に関する情報とに基づいて、計測に用いる光パターン（の最高空間周波数）を特定することにより、計測時間の点で有利な計測装置を提供することができる。

〔実施形態５〕
本実施形態では、ユーザ・インタフェースを介した情報の入力に替わり、使用する光パターン（の最高空間周波数）を特定するための予備検出を行う。図９は、計測装置による処理の流れの別の例を示す図である。図９において、ステップｓ２０１では、予備検出を行う。当該予備検出は、図１１を参照して説明する。ここで、図１１は、予備検出における処理の流れを例示する図である。同図において、ステップｓ３０１では、最も高い空間周波数を有する光パターンを対象物に投影して撮像する。本実施形態では、図５の（ａ）の光パターンを投影する。ステップｓ３０２では、ステップｓ３０１での撮像により得られた画像のコントラストＣを取得する。ステップｓ３０３では、ステップｓ３０２で得られたコントラストＣが閾値以上か判断する。コントラスト値が閾値以上であれば、ステップｓ９０５において処理を終了する。その後は、図９におけるステップｓ２０２へ処理を進めることができる。

一方、ステップｓ３０３において、コントラスト値が閾値未満であると判断された場合、ステップｓ３０４に処理を進め、ｓ３０３でコントラスト値が閾値未満と判断された光パターンの空間周波数より低い空間周波数を有する光パターンを投影して撮像する。ここで、例えば、図５の（ａ）の光パターンに関してコントラスト値が閾値未満であると判断された場合、図５の（ｂ）の光パターンを投影する。そして、得られたコントラスト値が閾値以上となるまで、ステップｓ３０２ないしｓ３０４の処理を繰り返して行う。

また、図１０は、計測装置による処理の流れの別の例を示す図である。図１０の各ステップのうち図９のステップとは異なるのはステップｓ２０２´のみである。最初のステップｓ２０２´の処理は、図９のステップｓ２０２のそれと同様である。ステップｓ１０６で対象物を把持して所定の処理を行った後、ステップｓ２０２´に戻る。２度目以後のステップｓ２０２´では、ステップｓ１０４での計測結果に基づいて、ステップｓ１０６で処理した物体がなくなった（搬送された）後の対象物の距離範囲（第１情報）を得る。そして、当該範囲に基づいて、上記のテーブル（実施形態１参照）を参照して、光パターンの最高空間周波数を特定する。

以上説明したように、本実施形態によれば、予備検出（の結果）に基づいて、計測に用いる光パターン（の最高空間周波数）を特定することにより、計測時間の点で有利な計測装置を提供することができる。

〔変形例〕
信頼度（の指標）は、コントラストには限定されず、画像データのコントラスト、勾配またはレンジ（極大値と極小値との差、等）のうちの少なくともいずれかを含みうる。また、画像データのＳ／Ｎ比に係る他の指標であってもよい。計測値の信頼度を予測するための情報と使用する光パターン（の最高空間周波数）との関係を示すテーブル（第２情報）は、関係式（数式）であってもよい。また、第２情報は、テーブルおよび式の双方で構成されていてもよい。ユーザ・インタフェースを介して入力する情報は、光パターンの空間周波数に相当するものであってもよい。また、計測装置は、対象物の存在する距離の範囲または対象物の反射率のうちの少なくともいずれかを検出する検出部を備え、当該検出部により予備検出（ステップｓ２０１）が行われてもよい。

予備検出は、各光パターンに関して画像データの信頼度を得て信頼度が閾値以上である光パターンを特定する特許文献１の計測装置における方式を利用しても行いうる。例えば、図６に示したような、パレットに搭載された複数の対象物を順次計測して搬出する場合、まず、パレットに搭載されたすべての対象物が搬出されるまで、特許文献１の方法により光パターンを特定しながら、複数の対象物を順次計測して搬出する。そして、当該一連の計測により得られた信頼度と計測結果とに基づいて、対象物の存在する距離の範囲に関する情報（第１情報）と信頼度との関係を示す情報（第２情報）を生成する。その後、同様の対象物の計測は、当該第２情報に基づいて行いうる。この場合、第１情報は、必ずしも必要ではない。しかし、対象物までの距離の初期値を、上述のようなユーザ・インタフェースまたは検出部を介して、第１情報として取得し利用し得る。また、計測結果に基づいて得られる（見積もられる）対象物までの距離の情報を第１情報として取得し利用しうる。

また、光パターン（の空間周波数）の特定を行う処理部３は、通信デバイスによりヘッド１０と通信可能であればよく、その設置場所は問わない。また、上記のテーブルまたは関係式を記憶するのは、処理部３とは別の情報処理装置であってもよい。さらに、対象物を把持して行う所定の処理は、搬送には限定されず、例えば、加工、切断、組立（組付）、検査、および選別のうちの少なくともいずれか一つを含みうる。

〔物品製造方法に係る実施形態〕
以上に説明した実施形態に係る計測（検査）装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測（検査）装置を用いて物体の計測（検査）を行う工程と、当該工程で計測（検査）を行われた物体を処理する工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立（組付）、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも１つにおいて有利である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形および変更が可能である。

１投影部
２撮像部
３処理部

Claims

光パターンを対象物に投影する投影部と、
前記光パターンを投影された前記対象物を撮像して画像データを出力する撮像部と、
前記画像データに基づいて前記対象物の距離の計測値を得る処理部と、
を有する計測装置であって、
前記処理部は、
前記計測値の信頼度を予測するための第１情報と該信頼度との関係を示す第２情報に基づいて、前記光パターンの空間周波数を特定する、
ことを特徴とする計測装置。
前記処理部は、さらに前記第１情報に基づいて前記空間周波数を特定することを特徴とする請求項１に記載の計測装置。
前記処理部は、前記信頼度が許容条件を満たすように、前記空間周波数を特定することを特徴とする請求項１または請求項２に記載の計測装置。
前記処理部は、前記第１情報に関して得られた前記画像データに基づいて前記信頼度を得て前記第２情報を生成することを特徴とする請求項１ないし請求項３のうちいずれか１項に記載の計測装置。
前記処理部は、前記第１情報として、前記対象物の存在する距離の範囲または前記対象物の反射率のうちの少なくともいずれかを取得することを特徴とする請求項１ないし請求項４のうちいずれか１項に記載の計測装置。
前記第１情報を入力するためのユーザ・インタフェースを有し、
前記処理部は、前記ユーザ・インタフェースを介して前記第１情報を取得する、
ことを特徴とする請求項１ないし請求項５のうちいずれか１項に記載の計測装置。
前記少なくともいずれかを検出する検出部を有し、
前記処理部は、前記検出部を介して前記第１情報を取得する、
ことを特徴とする請求項５に記載の計測装置。
前記処理部は、さらに前記計測値に基づいて前記空間周波数を特定することを特徴とする請求項１ないし請求項７のうちいずれか１項に記載の計測装置。
前記信頼度は、前記画像データのコントラスト、勾配、またはレンジのうちの少なくともいずれかを含むことを特徴とする請求項１ないし請求項８のうちいずれか１項に記載の計測装置。
前記第２情報は、前記光パターンの各空間周波数に関して前記関係を示すテーブルまたは式のうちの少なくともいずれかを含むことを特徴とする請求項１ないし請求項９のうちいずれか１項に記載の計測装置。
前記処理部は、前記対象物の存在する距離の範囲を分割して得られる複数の領域のそれぞれに関して前記空間周波数を特定することを特徴とする請求項１ないし請求項１０のうちいずれか１項に記載の計測装置。
前記投影部は、前記光パターンを第１方向から前記対象物に投影し、
撮像部は、前記光パターンを投影された前記対象物を第２方向から撮像する、
ことを特徴とする請求項１ないし請求項１１のうちいずれか１項に記載の計測装置。
請求項１ないし請求項１２のうちいずれか１項に記載の計測装置を用いて対象物の計測を行う工程と、
前記工程で前記計測を行われた前記対象物の処理を行う工程と、
を含むことを特徴とする物品製造方法。
光パターンを対象物に投影し、
前記光パターンを投影された前記対象物を撮像して画像データを得、
前記画像データに基づいて前記対象物の距離の計測値を得る計測方法であって、
前記計測値の信頼度を予測するための第１情報と該信頼度との関係を示す第２情報に基づいて、前記光パターンの空間周波数を特定する、
ことを特徴とする計測方法。