JP6362058B2 - Test object measuring apparatus and article manufacturing method - Google Patents
Test object measuring apparatus and article manufacturing method Download PDFInfo
- Publication number
- JP6362058B2 JP6362058B2 JP2013120158A JP2013120158A JP6362058B2 JP 6362058 B2 JP6362058 B2 JP 6362058B2 JP 2013120158 A JP2013120158 A JP 2013120158A JP 2013120158 A JP2013120158 A JP 2013120158A JP 6362058 B2 JP6362058 B2 JP 6362058B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- test object
- image
- unit
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012360 testing method Methods 0.000 title claims description 147
- 238000004519 manufacturing process Methods 0.000 title description 7
- 238000005259 measurement Methods 0.000 claims description 70
- 238000004364 calculation method Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 39
- 230000003287 optical effect Effects 0.000 claims description 32
- 238000003708 edge detection Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 43
- 238000005286 illumination Methods 0.000 description 16
- 230000010287 polarization Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、被検物を測定して、被検物の寸法、公差や角度などの形状情報を算出する計
測装置および物品の製造方法に関する。
The present invention measures the test object, the dimensions of the object, a method of manufacturing a measuring device Contact and articles to calculate the shape information such as tolerance and angle.
被検物の寸法を計測する装置のひとつに画像計測装置がある。画像計測装置は被検物を撮像して被検物の画像を取得し、画像の強度変化データから被検物のエッジ(縁、端)を検出し、検出した複数のエッジの間の距離を算出することによって、被検物の寸法を計測する。被検物全体の画像の強度変化データからエッジを検出する方法では、被検物の面取り部の内側や表面テクスチャ(表面凹凸)をエッジであると誤検出する可能性がある。このため、画像の強度変化データからエッジの検出を行う範囲(エッジ検出範囲)を真のエッジ周辺の狭い範囲に設定することによって、誤検出の可能性を低くすることができる。従来の計測装置では、被検物のエッジを正確に検出するために、エッジであると思われる部分を作業者が画像から判断し、エッジ検出範囲を手動で設定する必要があった。 An image measuring device is one of devices for measuring the dimensions of a test object. The image measuring device captures the test object, acquires an image of the test object, detects the edge (edge) of the test object from the intensity change data of the image, and determines the distance between the detected multiple edges. By calculating, the size of the test object is measured. In the method of detecting the edge from the intensity change data of the image of the entire test object, there is a possibility that the inside of the chamfered portion of the test object or the surface texture (surface unevenness) is erroneously detected as an edge. For this reason, the possibility of erroneous detection can be reduced by setting the range (edge detection range) for edge detection from the intensity change data of the image to a narrow range around the true edge. In the conventional measuring apparatus, in order to accurately detect the edge of the object to be detected, it is necessary for the operator to determine from the image a portion that is supposed to be an edge and manually set the edge detection range.
そこで、このような作業者の手間を少なくするために、特許文献1乃至2の方法が提案されている。特許文献1では、被検物全体の2次元画像を2値化して輪郭線(仮エッジ)を抽出し、輪郭線の周辺にエッジ検出範囲を自動で設定して、その範囲内でより正確にエッジの位置を検出する計測装置が提案されている。特許文献2では、被検物の3次元測定を行い、被検物の3次元点群データから被検物のエッジを抽出する計測装置が提案されている。 Therefore, in order to reduce the labor of such workers, methods of Patent Documents 1 and 2 have been proposed. In Patent Document 1, a two-dimensional image of the entire test object is binarized to extract a contour line (provisional edge), and an edge detection range is automatically set around the contour line, and more accurately within that range. A measuring device that detects the position of an edge has been proposed. Patent Document 2 proposes a measuring device that performs three-dimensional measurement of a test object and extracts an edge of the test object from three-dimensional point cloud data of the test object.
先に述べたように、画像全体の強度変化データからエッジを検出する方法ではエッジ以外の部分をエッジとして誤検出する可能性がある。そのため、特許文献1に記載の方法では、被検物に表面テクスチャがある場合に被検物全体の2次元画像を2値化しても、表面テクスチャの部分で輪郭線(仮エッジ)の誤検出の可能性があり、その後のエッジ検出範囲の設定を正しくできない。 As described above, in the method of detecting an edge from the intensity change data of the entire image, there is a possibility that a part other than the edge is erroneously detected as an edge. For this reason, in the method described in Patent Document 1, even if a two-dimensional image of the entire test object is binarized when the test object has a surface texture, a contour line (provisional edge) is erroneously detected in the surface texture portion. The subsequent edge detection range cannot be set correctly.
また、特許文献2に記載の方法では、3次元データを用いるため、表面テクスチャがエッジ検出に及ぼす影響は小さい。しかし、3次元点群データのデータ量と計測時間にトレードオフの関係があるため、実用上は高解像度(高密度)の3次元点群データを取得することは困難である。仮に高解像度の3次元点群データが得られたとしても、膨大な3次元点群データについて画像処理を実行するには長時間を要するからである。一方、低解像度の3次元点群データを取得した場合には精度が低くなり、高精度にエッジの位置を検出することができなかった。 Further, since the method described in Patent Document 2 uses three-dimensional data, the influence of the surface texture on edge detection is small. However, since there is a trade-off relationship between the data amount of 3D point cloud data and measurement time, it is difficult to obtain high resolution (high density) 3D point cloud data in practice. This is because even if high-resolution 3D point cloud data is obtained, it takes a long time to perform image processing on a large amount of 3D point cloud data. On the other hand, when low-resolution three-dimensional point cloud data is acquired, the accuracy is low, and the position of the edge cannot be detected with high accuracy.
そこで本発明は、被検物のエッジを高精度に検出することを目的とする。 Therefore, an object of the present invention is to detect the edge of a test object with high accuracy.
上記課題を解決する本発明の一側面としての計測装置は、被検物を計測する計測装置であって、前記被検物を撮像する撮像素子と、前記被検物からの光を前記撮像素子へ導く光学系とを用いて、前記被検物の第1画像を取得する2次元測定部と、前記被検物へ光を投影し、前記被検物で反射された光を前記光学系によって撮像素子へ導いて検出される第2画像から前記被検物の3次元データを取得する3次元測定部と、前記3次元データを用いて前記被検物の仮エッジを検出し、検出された仮エッジを前記第1画像に重ね合わせることにより前記第1画像におけるエッジ検出範囲を設定し、前記第1画像を用いて前記エッジ検出範囲において前記被検物のエッジを検出することにより前記被検物の形状情報を算出する算出部とを有しており、前記第1画像は前記3次元データより解像度が高いことを特徴とする。 A measuring apparatus according to one aspect of the present invention for solving the above-described problems is a measuring apparatus for measuring a test object, the image sensor for imaging the test object, and light from the test object for the image sensor. A two-dimensional measurement unit that acquires a first image of the test object using an optical system that guides to the test object, and projects light onto the test object, and reflects the light reflected by the test object through the optical system A three-dimensional measuring unit that acquires three-dimensional data of the test object from a second image that is detected by being guided to an image sensor, and a temporary edge of the test object is detected using the three-dimensional data, and is detected An edge detection range in the first image is set by superimposing a temporary edge on the first image, and the test object is detected by detecting an edge of the test object in the edge detection range using the first image. and possess a calculation unit that calculates shape information of the object, Serial first image is characterized by a higher resolution than the 3-dimensional data.
本発明によれば、被検物のエッジを高精度に検出することができる。 According to the present invention, the edge of the test object can be detected with high accuracy.
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(第1実施形態)
図1は第1実施形態における被検物170を計測する計測装置10の概略図である。計測装置10は、被検物170の3次元測定を行い、高さ(z)データと縦横(x、y)の2次元データとを含む3次元データを出力する3次元測定部120を有する。計測装置10の3次元測定部120は光切断法の原理を利用する測定ユニットである。3次元測定部120は、ライン状に被検物170を照明するライン照明ユニット101、撮像部(光検出部)102と算出部108で構成される。ライン照明ユニット101によりライン状に被検物170を照明し、被検物170の形状によって生じた照明ラインの歪みを撮像部102で測定して、算出部108が、測定データから被検物170の3次元形状を算出する。
(First embodiment)
FIG. 1 is a schematic diagram of a
ライン照明ユニット101は不図示のガルバノミラーによってライン状の照明位置を走査できるようになっており、これによって、逐次的に被検物170全体とその周辺を照明することが可能となっている。また、被検物170を支える搭載台106は不図示の回転ステージによって回転可能となっている。回転ステージによって、被検物170をライン照明ユニット101および撮像部102に対して相対的に回転させて、逐次的に撮像部102で画像を取得する。これによって、全ての方位から被検物170を測定することができる。撮像部102によって撮像された画像のデータは算出部108へ送信される。算出部108は、送信された画像を用いて演算処理する演算部を有する。演算部は、取得した画像からラインの歪み量を算出し、ライン照明ユニット101と撮像部102の配置に関する既知の情報を用いて、被検物170の3次元点群データを算出する。3次元点群データは、被検物170の高さ(図1のz方向)のデータと縦横(x、y方向)の2次元データとを含む。
The
計測装置10は、x、y方向において被検物170の2次元測定を行い、x、y方向の2次元画像データを出力する2次元測定部130を有する。2次元測定部130は、インコヒーレント光源103、光学系104、撮像部110を有する。
The
インコヒーレント光源103は複数の光源素子から構成されており、複数の光源素子は、被検物170が配置される場所を囲むようにリング状に配置されている。各光源素子は個別に点灯を制御することができ、これによって所望の方向から被検物170を照明することが可能である。
The
インコヒーレント光源103から被検物170に照明された光は、被検物170によって反射または散乱され、光学系104によって集光される。光学系104によって被検物170と撮像部110の受光面は共役関係で結ばれており、撮像部110は被検物170を撮像して被検物170の2次元画像データを出力する。2次元画像データは、被検物170やその周辺からの光が投影された撮像部110の撮影面における光強度分布を数値で表したデータである。2次元画像データはモノクロデータであってもカラーデータであってもよい。光学系104はレンズ104aとレンズ104b、レンズ104aとレンズ104bの間に配置された虹彩絞り105を有する。そのため、虹彩絞り105の開口径を変えることで、光学系104の解像力を調整可能となっている。横方向(x、y方向)の寸法測定精度は撮像部110の解像度に依存するため、撮像部110の画素数は多い方が望ましい。撮像部110によって出力された2次元画像のデータは算出部140へ送信される。
The light illuminated on the
3次元点群データと2次元画像データとの解像度の差に制約はないが、3次元点群データの解像度が高いと演算処理の時間が長くなるため、3次元点群データの解像度をなるべく低くして、より高い精度でのエッジの検出には2次元画像を用いる方が望ましい。また、3次元測定において、予め想定されるエッジ周辺領域では解像度を相対的に高くして測定し、エッジから離れた領域では解像度を相対的に低くして測定しても構わない。ここで、解像度(密度)は、単位長さ(例えば1インチ)の中に画素やピクセルデータがどのくらい並ぶかで表現され、例えばppi(pixels per inch)という単位で表される。 There is no restriction on the difference in resolution between the 3D point cloud data and the 2D image data. However, if the resolution of the 3D point cloud data is high, the processing time becomes long, so the resolution of the 3D point cloud data is as low as possible. Thus, it is desirable to use a two-dimensional image for edge detection with higher accuracy. Further, in the three-dimensional measurement, measurement may be performed with a relatively high resolution in a region around the edge assumed in advance, and with a relatively low resolution in a region far from the edge. Here, the resolution (density) is expressed by how many pixels and pixel data are arranged in a unit length (for example, 1 inch), and is expressed by a unit of ppi (pixels per inch), for example.
計測装置10は、3次元点群データと2次元画像データを用いて被検物170のエッジ位置を高精度に自動で計測し、計測したエッジ位置から被検物170の寸法、公差や角度などの形状情報を算出する算出部(算出装置)140を有する。図2および図3を用いてこの算出プロセスを説明する。図2は算出部140による算出プロセスを示したフロー図である。算出プロセスはS101乃至S109のステップから成る。図3は、測定データ、この算出プロセスを適用して得られた算出データおよびエッジ検出範囲を示した図である。
The
算出部140の取得部は、まず3次元測定部120から出力された被検物170の3次元点群データを取得する(S101)。図3(a)に、形状が直方体の被検物について測定して得られた3次元点群データ181を示す。被検物の各点における3次元測定データは黒または灰色で示されている。点線は見易さの観点から補助的に示した被検物のエッジである。この点線のデータは3次元点群データには含まれていない。本実施形態の計測装置10の場合、被検物170を撮像部102に対して相対的に回転させることにより、被検物170の4つの側面についても3次元点群データが得られる構成となっている。なお、被検物の側面についても3次元点群データがあれば、データ量が増える分、エッジを正確に検出することができる。ただし、被検物の側面についての3次元点群データが必ずしも必要なわけではなく、本発明を適用できる計測装置はこのような条件に限定されるものではない。
The acquisition unit of the
算出部140では3次元点群データを用いて被検物170の仮エッジを検出する(S102)。図3(b)に、図3(a)の3次元点群データ181から検出された仮エッジ182(実線および点線)を示す。3次元点群データ181から仮エッジ182を検出する方法は任意のアルゴリズムを用いることができる。例えば、3次元点群データの深さ(高さ)と法線の変化に基づいてエッジを検出する方法や、3次元点群データから三角ポリゴンを生成して、隣接するポリゴンの連続性や法線の方向、距離に基づいてエッジを検出する方法が知られている。これらの方法は被検物の深さ(高さ)の情報を用いるため、表面テクスチャの識別が可能であり、表面テクスチャの影響を受けにくく、真のエッジを高精度に検出することが可能である。ただし、3次元点群データ181のうち、光学系104の光軸と直交する横方向(x、y方向)のデータの密度が2次元画像データよりも低いために、エッジ位置の検出精度は高くはない。そのため、後述のように、2次元画像データを用いてより高い精度でエッジ位置を求める。
The
次に、算出部140は、3次元点群データ181から、2次元測定部による測定において最適なフォーカス位置を算出する(S103)。そして、不図示の制御部により、搭載台106を保持して移動するZ軸ステージ150をZ方向に移動することでフォーカス位置を調整する。フォーカス位置は撮像部110で被検物170のエッジが最も鮮明に撮像されるように決定される。算出部140は、3次元点群データ181から仮エッジのそれぞれについて、高さの情報を算出する。そして、各仮エッジの高さの情報から、ピントが合うようなフォーカス位置を各仮エッジについて算出する。Z軸ステージ150で被検物170を最適なフォーカス位置に移動させて撮像部110で逐次的に被検物170を撮像することにより、それぞれの仮エッジについての鮮明な画像を取得することができる。フォーカス調整部としてZ軸ステージ150を用いたが、光学系104の焦点位置を変更することによってフォーカス位置を調整してもよい。このステップは光学系104がテレセントリックで焦点深度が広い場合は省略することができる。一方、光学系104の解像力を高めるために虹彩絞り105の開口径を大きくする場合には、焦点深度が浅くなるので、フォーカスを調整することが望ましい。
Next, the
次に、算出部140の取得部は、撮像部110によって撮像された被検物170の2次元画像データを取得する(S104)。図3(c)は上述した直方体の被検物についての2次元画像183である。2次元画像183の光の強弱が色の濃淡で表されている。この被検物は表面に縞状のテクスチャを有しているため、2値化など単純な方法では、縞をエッジと誤検出する可能性がある。
Next, the acquisition unit of the
次に、算出部140は2次元画像データと3次元点群データとの位置合わせを行う(S105)。予め既知の基準物体を両方の撮像部で撮像するなどして、2つの画像の向きや倍率の対応関係を把握しておき、その対応関係に基づいて位置合わせは実行される。撮像部や光学系を正確にアライメントするなど、ハードウェアによって3次元点群データと2次元画像データとの位置を対応付けられれば、このステップを省略することができる。
Next, the
次に、2次元画像データと3次元点群データとが位置合わせされた状態において、S102で検出された仮エッジを2次元画像において重ね合わせる(S106)。上述のように、エッジの誤検出の可能性を低減して2次元画像データから真のエッジを高精度に検出するためには、2次元画像におけるエッジ検出範囲(ウィンドウ領域)を設定する必要がある。そのため、次に、2次元画像におけるエッジ検出範囲を設定する。 Next, in a state where the two-dimensional image data and the three-dimensional point cloud data are aligned, the temporary edge detected in S102 is superimposed on the two-dimensional image (S106). As described above, it is necessary to set an edge detection range (window region) in a two-dimensional image in order to reduce the possibility of erroneous edge detection and detect a true edge from two-dimensional image data with high accuracy. is there. Therefore, next, an edge detection range in the two-dimensional image is set.
算出部140は、2次元画像データにおいて投影された仮エッジの周辺にエッジ検出範囲が設定されるように、エッジ検出範囲を自動で設定する(S107)。このように、エッジ検出範囲を、仮エッジの周辺の限られた狭い範囲に設定することにより、エッジの誤検出の可能性を低下させ、エッジ位置を高精度に検出する。図3(d)は、直方体の被検物の2次元画像183について、重ね合わされた仮エッジ184(黒実線)と、その周辺に設定されたエッジ検出範囲185(黒点線)を示した図である。
The
次に、算出部140は、設定されたエッジ検出範囲185の内部の2次元画像からエッジを検出する(S108)。図3(e)は、直方体の被検物の2次元画像183について、検出したエッジ186(黒実線)を示した図である。エッジ検出範囲が限定されているため、2次元画像全体においてエッジを検出するよりは、被検物のテクスチャによってエッジを誤検出する可能性が小さくなっている。したがって、計測装置10は、測定対象とする被検物のエッジの真の位置をより高精度に計測することができる。また、エッジ検出範囲が限定されているため、エッジ検出のための演算時間が短縮されている。
Next, the
また、被検物に面取り部がある場合には、エッジ検出範囲を面取り部に限って設定することで、面取り部の角面や丸面をより詳細な位置で検出でき、測定対象とする面取り部におけるエッジの真の位置を高精度に特定することができる。 In addition, when the test object has a chamfered part, the edge detection range is set only to the chamfered part, so that the chamfered part can be detected at a more detailed position and the chamfered object to be measured. The true position of the edge in the part can be specified with high accuracy.
次に、算出部140は、2次元画像データを用いて、高精度に計測された複数のエッジの位置から、被検物170の寸法、幾何公差、角度、直交度や真円度などの形状情報を算出する(S109)。形状情報は2次元画像データから得られるため、2次元の情報に関する。計測装置10ではエッジ位置が高精度に計測されているため、被検物170の寸法や幾何公差等の値をより正確に求めることができる。
Next, the
このように、本実施形態の計測装置10によれば、3次元測定部によって得られた3次元データに含まれる被検物の深さ(高さ)の情報を用いるため、表面テクスチャの影響を受けずに真のエッジを検出でき、エッジの誤検出を防止することができる。さらに、その真のエッジの位置を含む周囲の限定された範囲にエッジ検出範囲を設定することにより、被検物のエッジの位置を高精度に特定することができる。
As described above, according to the
なお、本実施形態では、インコヒーレント光源103によって被検物170が照射され、その反射光または散乱光を撮像部110によって測定する構成になっているが、本発明はこのような構成には限定されない。例えば、搭載台106をガラス板など透明な材質として背後(下側)から被検物170を照明し、被検物170によって減光または遮光されて形成される影を撮像部110で撮像するような構成にしても良い。
In the present embodiment, the
また、撮像部には、CCDなどの撮像素子を用いることもでき、ラインセンサやフォトセンサを用いることもできる。ラインセンサやフォトセンサの場合には、それらを走査することで画像を取得する。 In addition, an imaging element such as a CCD can be used for the imaging unit, and a line sensor or a photosensor can also be used. In the case of a line sensor or a photo sensor, an image is acquired by scanning them.
(第2実施形態)
図4は第2実施形態の計測装置20の概略図である。第1実施形態と重複する部材については説明を省略する。
(Second Embodiment)
FIG. 4 is a schematic diagram of the measuring
計測装置20の3次元測定部220は、撮像部としてTOF(Time−OF−FLIGHT:タイム・オブ・フライト)カメラ210を有する。TOFカメラは、光源から射出された光が被検物に到達して、被検物で反射された後、カメラに到達するまでの光の飛行時間(Time−OF−FLIGHT)を測定して距離が算出するタイム・オブ・フライト法を用いるカメラである。
The three-
TOFカメラには、いくつかの方式がある。LEDなどのパルス光源で被検物を照明し、カメラで光パルスがカメラに到達するまでの時間を測定し、その時間から距離を算出するのが光パルス法である。光強度を正弦波状に変調し、カメラに到達した光の位相の変化をカメラで測定し、位相の変化から距離を算出するのが位相差法である。本実施形態の3次元測定部220は光パルス法を用いているが、TOFカメラの方式は限定されない。
There are several types of TOF cameras. The light pulse method is to illuminate a test object with a pulsed light source such as an LED, measure the time until the light pulse reaches the camera, and calculate the distance from the time. In the phase difference method, the light intensity is modulated in a sine wave shape, the phase change of the light reaching the camera is measured by the camera, and the distance is calculated from the phase change. Although the three-
3次元測定部220は、パルス光源203と、パルス光源203およびTOFカメラ210を同期するドライバ204を有する。パルス光源203によって被検物170に光パルスが照射され、被検物170によって反射および散乱された光パルスが光学系104によって集光される。パルス光源203は近赤外領域の波長の光パルスを射出するため、近赤外光を透過し、可視光を反射する波長フィルター211を設けることで、TOFカメラ210に近赤外光だけを導くことができる。
The three-
光学系104によって被検物170とTOFカメラ210は共役関係にある。TOFカメラ210は、被検物170によって反射または散乱された光パルスを撮像し、パルスの時間差(出射から到達までの時間)から距離を算出する。TOFカメラ210は、被検物の各位置について算出された距離のデータを、被検物170の3次元点群データとして算出部140に出力する。
The
TOFカメラは複雑なセンサーから構成されているため、現在は高画素化に限界がある。このため、TOFカメラで取得される3次元点群データは密度が2次元測定部による2次元画像データよりも低いために、エッジ位置の検出精度は高くはない。そのため、後述のように、2次元画像を用いてより高い精度でエッジ位置を求める。 Since the TOF camera is composed of complex sensors, there is currently a limit to increasing the number of pixels. For this reason, since the density of the three-dimensional point cloud data acquired by the TOF camera is lower than the two-dimensional image data obtained by the two-dimensional measuring unit, the edge position detection accuracy is not high. Therefore, as described later, the edge position is obtained with higher accuracy using a two-dimensional image.
計測装置20の2次元測定部230は、インコヒーレント光源103の他に、被検物170を背後(下側)から透過照明する照明手段200を有する。照明手段200は、照明用の光源201と、レンズ202a、202bを含むビームエキスパンダー202を有する。光源201は、例えば緑色や赤色のLEDである。光源201から射出された光は、ビームエキスパンダー202によってビーム径が拡大され、搭載台205を透過して被検物170を照明する。搭載台205は、ガラスやサファイアなどの透明な材料で製作されているため光を透過する。被検物170が遮光性の材料である場合、被検物170が光を遮ることによって形成された影は、光学系104によって撮像部110に結像される。透過照明は、反射照明より高いコントラストの画像が得られるため、特に、被検物の輪郭部の測定に適している。
In addition to the incoherent
2次元測定部230は、反射照明を実現するために、第1実施形態と同様にインコヒーレント光源103も有している。2次元測定部230は反射照明と透過照明のいずれかを選択して、切り替えて使用することができる。
The two-
2次元測定部230の撮像部110によって撮像された2次元画像のデータは、算出部140へ出力される。算出部140は、第1実施形態と同様に、図2の算出フローに従って、3次元点群データと2次元画像データを用いて、被検物のエッジを検出して、被検物の形状情報を算出する。
The data of the two-dimensional image captured by the
本実施形態の計測装置によれば、被検物のエッジを高精度に検出することができる。 According to the measurement apparatus of the present embodiment, the edge of the test object can be detected with high accuracy.
なお、第2実施形態の計測装置20の場合、TOFカメラ210と撮像部110は、図4の1点鎖線で示す光学系104の光軸を通る直線を共有しているため、被検物170の側面についての3次元点群データは取得されない。
Note that in the case of the measuring
(第3実施形態)
図5は第3実施形態の計測装置30の概略図である。前述の実施形態と重複する部材については説明を省略する。
(Third embodiment)
FIG. 5 is a schematic view of a measuring
計測装置30の3次元測定部は、パターン投影法による測定ユニットである。パターン投影法による測定ユニットは、光のパターンを投影するためのプロジェクタと光検出器などから構成される。既知の光パターンを被検物に投影し、被検物の形状によって生じた光パターンの歪みを光検出器で検出して、検出データから被検物の3次元点群データを算出するのがパターン投影法の原理である。
The three-dimensional measurement unit of the
パターン投影法には、いくつかの方法がある。多数の格子パターンを被検物に投影して多数の画像を取得し、縞を解析することによって3次元点群データを算出するのが、格子パターン投影法である。既知のランダムなパターンを投影して撮像した1枚の画像について、パターンの歪みを解析して3次元点群データを算出するのが、ランダムパターン投影法である。格子パターン投影法の場合、多数の画像を取得する必要があるので、短時間で測定するためには高速撮影が可能なカメラが必要である。しかし、カメラの画素数とフレームレートの間にはトレードオフの関係があるため、測定時間を短くしようとすると、撮像素子の測定に用いる画素数を少なくしなければならない。この場合、取得される3次元点群データの密度は低下する。ランダムパターン投影法では、パターンがある位置のみしか座標データが得られないため、低密度な3次元点群データしか得られない。第3実施形態の計測装置30はランダムパターン投影法の原理に基づくものだが、パターン投影法の方式は限定されない。
There are several methods for pattern projection. The lattice pattern projection method calculates a three-dimensional point group data by projecting a large number of lattice patterns onto a test object to acquire a large number of images and analyzing fringes. The random pattern projection method calculates the three-dimensional point cloud data by analyzing the distortion of the pattern of one image captured by projecting a known random pattern. In the case of the lattice pattern projection method, since it is necessary to acquire a large number of images, a camera capable of high-speed shooting is necessary for measuring in a short time. However, since there is a trade-off relationship between the number of pixels of the camera and the frame rate, if the measurement time is to be shortened, the number of pixels used for measurement of the image sensor must be reduced. In this case, the density of the acquired three-dimensional point cloud data decreases. In the random pattern projection method, since coordinate data can be obtained only at a position where a pattern is present, only low-density three-dimensional point group data can be obtained. The
計測装置30の3次元測定部はプロジェクタ301を有する。プロジェクタ301は既知のランダムパターンを被検物170に投影する。被検物170の形状によって歪んだパターンは光学系104によって撮像部(光検出器)110に結像される。撮像部110によって撮像された画像のデータは算出部140へ送信される。算出部140は、取得した画像データからパターンの歪み量を算出し、既知のランダムパターンの情報を用いて、被検物170の3次元点群データを算出する。
The three-dimensional measuring unit of the measuring
計測装置30は反射照明を実現するために、前述の実施形態と同様にインコヒーレント光源103も有している。インコヒーレント光源103によって被検物170が照明され、被検物170によって反射または散乱された光が光学系104によって、撮像部110に結像される。撮像された2次元画像のデータは算出部140へ送信される。算出部140は、第1実施形態と同様に、図2の算出フローに従って、3次元点群データと2次元画像データを用いて、被検物のエッジを検出して、被検物の形状情報を算出する。
The measuring
本実施形態の計測装置によれば、被検物のエッジを高精度に検出することができる。 According to the measurement apparatus of the present embodiment, the edge of the test object can be detected with high accuracy.
なお、第3実施形態の計測装置30の場合、3次元点群データと2次元画像データは同一の撮像部110によって得られるため、被検物170の側面についての3次元点群データは取得されない。
In the case of the
(第4実施形態)
図6は第4実施形態の計測装置40の概略図である。前述の実施形態と重複する部材については説明を省略する。
(Fourth embodiment)
FIG. 6 is a schematic diagram of a measuring
計測装置40の3次元測定部は周波数走査干渉計を有する。周波数走査干渉計は、コヒーレントな周波数可変光源401と、干渉光を生成するための干渉光学系(405〜409、416、420)と、干渉光を受光する光検出器440などから構成される。光源から射出される周波数を走査しながら、被検光と参照光の干渉光の信号を取得し、干渉信号の位相変化から距離(被検面の位置)を算出するのが、周波数走査干渉計の原理である。
The three-dimensional measuring unit of the measuring
周波数可変光源401は、一定の周波数領域で周波数の走査が可能なコヒーレント光源である。周波数可変光源401としては、例えば外部共振器を用いた半導体レーザー(ECDL)やフルバンド・チューナブルDFBレーザーを用いることができる。周波数可変光源401はデジタル/アナログコンバーター402と接続されている。デジタル/アナログコンバーター402から周波数可変光源401に送られる電流値を調整することによって、光源から射出される光の周波数が制御される。
The variable frequency
周波数可変光源401から射出された光はビームスプリッタ403に導かれる。ビームスプリッタ403によって分岐された光の一方は、周波数測定ユニット404に導かれる。周波数測定ユニット404によって、周波数可変光源401から射出される光の周波数を測定することができる。周波数測定ユニット404で測定した周波数のデータは制御部411に送信される。制御部411は、測定される周波数が所定の周波数になるようにデジタル/アナログコンバータ402に制御信号を送る。なお、周波数可変光源401が高い精度で所定の周波数に設定できるのであれば、周波数測定ユニット404を省略することができる。
The light emitted from the variable frequency
ビームスプリッタ403によって分岐されたもう一方の光は、レンズ405乃至406によってビーム径が拡大された後、λ/2波長板407に導かれる。λ/2波長板407は不図示の回転機構によって回転可能である。周波数可変光源401からは直線偏光の光が射出される。λ/2波長板407の回転角によって、λ/2波長板407を透過した光の偏光方向を任意の方向に制御することができる。λ/2波長板407の後方には、偏光ビームスプリッタ408が配置され、λ/2波長板407の回転角によって、偏光ビームスプリッタ408による光の分岐比を変えることができる。
The other light branched by the
偏光ビームスプリッタ408に入射した光は、互いに直交する偏光方向を有する参照光421および被検光422に分岐される。参照光421はλ/4波長板409aを通過した後、参照ミラー410に導かれる。被検光422は、λ/4波長板409bを通過した後、被検物170に導かれる。被検物170は搭載台106の上に載置されている。
The light incident on the
被検物170によって、反射または散乱された光は再びλ/4波長板409bを通過した後、偏光ビームスプリッタ408に導かれる。同じように、参照ミラー410によって反射された光は再びλ/4波長板409aを通過した後、偏光ビームスプリッタ408に導かれる。λ/4波長板を2回通過することで、参照光421および被検光422の偏光方向は共に90°回転する。参照光421は偏光ビームスプリッタ408によって反射され、被検光422は偏光ビームスプリッタ408を透過することによって、参照光および被検光は共に光学系104の方向に導かれる。これによって、参照光421および被検光422は空間的に重ね合わされる。
The light reflected or scattered by the
ビームスプリッタ408によって再び重ね合わされた光はレンズ104aによって集光される。レンズ104aの前側焦点は被検物170の測定する表面付近となるように設定することが望ましい。これによって、被検物170の表面が撮像部110と光検出器440にぼけることなく結像される。
The light superimposed by the
レンズ104aの後ろ側焦点付近には、虹彩絞り105が配置される。虹彩絞り105の開口径の大きさによって光量や被写界深度、干渉光におけるスペックルの大きさを調整することができる。
An
虹彩絞り105を通過した光は、レンズ104bによって集光され、波長フィルタ420によって反射されて、偏光子416に導かれる。偏光子416の透過軸は、参照光および被検光の偏光方向に対して45°となるように配置される。これによって、参照光と被検光は干渉し、干渉光が生成される。
The light that has passed through the
参照光および被検光は波長フィルター420によって反射され、光検出器440に導かれ、光検出器440で干渉光の光強度(光量)が測定される。光検出器440は、例えばCCDやCMOSである。光検出器440で測定した干渉光の画像(干渉信号)は算出部140に送信される。
The reference light and the test light are reflected by the
周波数の全走査量をΔF、光の速度をc、干渉信号の位相変化量をΔΦとしたとき、参照面410と被検物170の光路長差は以下の式(1)で表される。
When the total scanning amount of frequency is ΔF, the speed of light is c, and the phase change amount of the interference signal is ΔΦ, the optical path length difference between the
周波数走査干渉計では、光源から射出される光の周波数を走査して干渉信号を測定し、干渉信号の位相の変化量を算出することで、光路長差を求めることができる。計測装置40では、周波数可変光源401から射出される光の周波数を走査しながら光検出器440で複数枚の画像を取得する。取得した画像は算出部140に送信され、算出部140が干渉信号を解析することによって光路長差を計算する。光検出器440はエリアセンサなので、各画素について干渉信号を処理することによって、被検物のXYZ方向の3次元点群データを取得することができる。
In the frequency scanning interferometer, the optical path length difference can be obtained by scanning the frequency of the light emitted from the light source, measuring the interference signal, and calculating the change amount of the phase of the interference signal. In the measuring
周波数走査干渉計では、光路長差の情報を得るために、複数枚の画像を取得する必要がある。画像の取得時間を短縮し、測定に要する時間を短くするためには、高速撮影が可能なカメラを用いることが望ましい。しかし、カメラの画素数とフレームレートの間にはトレードオフの関係があるため、測定時間を短くしようとすると、画素数が少ない撮像素子を用いらざるを得ない。この場合、取得される3次元点群データの密度は低下する。 In the frequency scanning interferometer, it is necessary to acquire a plurality of images in order to obtain information on the optical path length difference. In order to shorten the image acquisition time and the time required for measurement, it is desirable to use a camera capable of high-speed shooting. However, since there is a trade-off relationship between the number of pixels of the camera and the frame rate, if an attempt is made to shorten the measurement time, an image sensor with a small number of pixels must be used. In this case, the density of the acquired three-dimensional point cloud data decreases.
また、被検物170の表面粗さが大きい場合、コヒーレント光を照射するとスペックルが発生する。周波数を走査したとき、スペックルの光強度が小さい部分では位相の相関が低下するため、測定誤差が大きくなる。測定の信頼性が低下するのを避けるため、スペックルの光強度が小さい部分については、3次元点群データからデータを除去することで、測定の信頼性を高められる。しかしこの場合、スペックルの光強度の閾値に応じて、3次元点群データの密度が低下する。
Further, when the surface roughness of the
このように、測定時間を短くしたり、スペックルが存在すると高解像度な画像を得ることが困難であり、3次元点群データの密度が2次元画像データよりも低いために、エッジ位置の検出精度は高くはない。そのため、2次元測定部によって測定された2次元画像のデータを用いてより高い精度でエッジ位置を求める。 As described above, if the measurement time is shortened or speckles are present, it is difficult to obtain a high-resolution image, and the density of 3D point cloud data is lower than that of 2D image data. The accuracy is not high. Therefore, the edge position is obtained with higher accuracy using the data of the two-dimensional image measured by the two-dimensional measuring unit.
測定装置40にもインコヒーレント光源103が構成されている。被検物の横方向(x、y方向)の寸法は、インコヒーレント光源103からの光を被検物に照射して得られる画像を用いて算出される。インコヒーレント光源103は複数の光源素子から構成されており、複数の光源素子はリング状に配置されている。各光源素子は個別に点灯を制御可能であり、これによって所望の方向からの照明を実現している。
An incoherent
インコヒーレント光源103と周波数可変光源401は、互いに異なる波長の光を射出する。波長フィルター420は、インコヒーレント光源103からの光を透過し、周波数可変光源401からの光を反射するように設計されている。インコヒーレント光源103によって照明され、被検物170で反射または散乱された光は波長フィルター420を透過して撮像部110の撮像面に結像される。撮像部110は被検物170を撮像し、被検物170の2次元画像を出力する。被検物の横方向(x、y方向)の寸法計測精度は撮像部110の解像度に依存するため、撮像部110は高画素数の撮像素子を有することが望ましい。
The incoherent
2次元測定部の撮像部110によって撮像された2次元画像のデータは算出部140に送信される。算出部140は、前述の実施形態と同様に、図2の算出フローに従って、3次元点群データと2次元画像データを用いて、被検物のエッジを検出して、被検物の形状情報を算出する。
The data of the two-dimensional image captured by the
本実施形態の計測装置によれば、被検物のエッジを高精度に検出することができる。 According to the measurement apparatus of the present embodiment, the edge of the test object can be detected with high accuracy.
なお、第4実施形態の計測装置40の場合、光検出器440と撮像部110は、光学系104の光軸を通る直線を共有しているため、被検物170の側面についての3次元点群データは取得されない。
Note that, in the case of the
<物品の製造方法の実施形態>
本実施形態における物品の製造方法は、例えば、ギアなどの金属部品や光学素子等の物品を製造するために用いられる。本実施形態の物品の製造方法は、上記の計測装置を用いて、上記物品である被検物の寸法などの形状情報を計測する工程と、かかる工程における計測結果に基づいて被検物を加工する工程とを含む。例えば、被検物の形状を計測装置を用いて計測し、その計測結果に基づいて、被検物の形状が設計値など所望の形状になるように当該被検物を加工する。上記計測装置により高精度に被検物の形状を計測できるため、本実施形態の物品の製造方法は、従来の方法に比べて、少なくとも物品の加工精度の点で有利である。
<Embodiment of Method for Manufacturing Article>
The method for manufacturing an article in the present embodiment is used, for example, to manufacture an article such as a metal part such as a gear or an optical element. The method for manufacturing an article according to this embodiment uses the above-described measuring device to measure shape information such as the dimensions of the specimen that is the article, and processes the specimen based on the measurement result in the process. Including the step of. For example, the shape of the test object is measured using a measuring device, and the test object is processed based on the measurement result so that the shape of the test object becomes a desired shape such as a design value. Since the shape of the test object can be measured with high accuracy by the measuring device, the article manufacturing method of the present embodiment is advantageous in at least the processing accuracy of the article as compared with the conventional method.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
Claims (10)
前記被検物を撮像する撮像素子と、前記被検物からの光を前記撮像素子へ導く光学系とを用いて、前記被検物の第1画像を取得する2次元測定部と、
前記被検物へ光を投影し、前記被検物で反射された光を前記光学系によって撮像素子へ導いて検出される第2画像から前記被検物の3次元データを取得する3次元測定部と、
前記3次元データを用いて前記被検物の仮エッジを検出し、検出された仮エッジを前記第1画像に重ね合わせることにより前記第1画像におけるエッジ検出範囲を設定し、前記第1画像を用いて前記エッジ検出範囲において前記被検物のエッジを検出することにより前記被検物の形状情報を算出する算出部とを有しており、
ここで、前記第1画像は前記3次元データより解像度が高いことを特徴とする計測装置。 A measuring device for measuring a test object,
A two-dimensional measuring unit that acquires a first image of the test object using an image sensor that images the test object and an optical system that guides light from the test object to the image sensor;
Three-dimensional measurement for projecting light onto the test object and obtaining three-dimensional data of the test object from a second image detected by guiding the light reflected by the test object to the image sensor by the optical system And
A temporary edge of the test object is detected using the three-dimensional data, an edge detection range in the first image is set by superimposing the detected temporary edge on the first image, and the first image is used and have a a calculation unit that calculates shape information of the test object by detecting the edge of the test object in said edge detection range,
Here, the first image has a higher resolution than the three-dimensional data .
前記2次元測定部と前記3次元測定部は互いに異なる波長の光を出射し、
波長フィルターによって、前記2次元測定部の波長の光を前記2次元測定部の撮像素子に導き、前記3次元測定部の波長の光を前記3次元測定部の撮像素子に導くことを特徴とする請求項1に記載の計測装置。 The image sensor of the two-dimensional measurement unit is different from the image sensor of the three-dimensional measurement unit,
The two-dimensional measuring unit and the three-dimensional measuring unit emit light having different wavelengths,
The wavelength filter guides the light having the wavelength of the two-dimensional measurement unit to the image sensor of the two-dimensional measurement unit, and guides the light of the wavelength of the three-dimensional measurement unit to the image sensor of the three-dimensional measurement unit. The measuring device according to claim 1.
前記フォーカス調整部は、前記3次元データを用いて算出されたフォーカス位置を用いて前記フォーカス位置を調整することを特徴とする請求項1乃至7の何れか1項に記載の計測装置。 A focus adjustment unit for adjusting a focus position in measurement by the two-dimensional measurement unit;
The focus adjustment unit, the measuring device according to any one of claims 1 to 7, wherein the adjusting the focus position using the focus position calculated using the 3-dimensional data.
前記計測工程による計測結果に基づいて前記物品を加工する工程とを有することを特徴とする物品の製造方法。 A measuring step of measuring the shape information of the article by using the measuring device according to claim 1 to 9,
And a step of processing the article based on a measurement result of the measurement step.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013120158A JP6362058B2 (en) | 2013-06-06 | 2013-06-06 | Test object measuring apparatus and article manufacturing method |
EP14168464.7A EP2813809A1 (en) | 2013-06-06 | 2014-05-15 | Device and method for measuring the dimensions of an objet and method for producing an item using said device |
US14/295,061 US9267790B2 (en) | 2013-06-06 | 2014-06-03 | Measuring device of measurement object, calculating device, measurement method, and method for producing item |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013120158A JP6362058B2 (en) | 2013-06-06 | 2013-06-06 | Test object measuring apparatus and article manufacturing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014238298A JP2014238298A (en) | 2014-12-18 |
JP2014238298A5 JP2014238298A5 (en) | 2016-07-21 |
JP6362058B2 true JP6362058B2 (en) | 2018-07-25 |
Family
ID=52135563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013120158A Expired - Fee Related JP6362058B2 (en) | 2013-06-06 | 2013-06-06 | Test object measuring apparatus and article manufacturing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6362058B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6510246B2 (en) * | 2015-01-22 | 2019-05-08 | 大成建設株式会社 | Volume measurement system |
JP2017176811A (en) * | 2016-03-28 | 2017-10-05 | ソニー株式会社 | Imaging device, imaging method, and medical observation instrument |
CN108836275A (en) * | 2018-07-10 | 2018-11-20 | 天津工业大学 | A kind of fluorescent molecular tomography system under free space |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04169805A (en) * | 1990-11-01 | 1992-06-17 | Matsushita Electric Ind Co Ltd | Measuring apparatus of three-dimensional image |
JP2001201329A (en) * | 2000-12-20 | 2001-07-27 | Minolta Co Ltd | Three-dimensional shape measuring apparatus |
JP2004317126A (en) * | 2003-04-10 | 2004-11-11 | Renesas Technology Corp | Solder printer |
JP2005309870A (en) * | 2004-04-22 | 2005-11-04 | Toyota Motor Corp | Image processor |
-
2013
- 2013-06-06 JP JP2013120158A patent/JP6362058B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014238298A (en) | 2014-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9267790B2 (en) | Measuring device of measurement object, calculating device, measurement method, and method for producing item | |
US9170097B2 (en) | Hybrid system | |
US4796997A (en) | Method and system for high-speed, 3-D imaging of an object at a vision station | |
KR101639227B1 (en) | Three dimensional shape measurment apparatus | |
JP6040930B2 (en) | Surface defect detection method and surface defect detection apparatus | |
JP6446297B2 (en) | Inspection device | |
CA2799705C (en) | Method and apparatus for triangulation-based 3d optical profilometry | |
JP2016161513A (en) | Measurement device and measurement method | |
US9594028B2 (en) | Method and apparatus for determining coplanarity in integrated circuit packages | |
JP6362058B2 (en) | Test object measuring apparatus and article manufacturing method | |
JP2014238299A (en) | Measurement device, calculation device, and measurement method for inspected object, and method for manufacturing articles | |
US20160238380A1 (en) | Image measuring method and image measuring apparatus | |
JP7093915B2 (en) | Surface shape measurement method | |
KR20180053119A (en) | 3-dimensional shape measurment apparatus and method thereof | |
JP6149990B2 (en) | Surface defect detection method and surface defect detection apparatus | |
KR100887184B1 (en) | Imaging System for Shape Measurement of Partially-specular Object and Method thereof | |
JP6820516B2 (en) | Surface shape measurement method | |
KR101750883B1 (en) | Method for 3D Shape Measuring OF Vision Inspection System | |
KR101323183B1 (en) | Three-dimensional shape measurement with dual-optical device | |
KR20130064564A (en) | Apparatus for monitoring three-dimensional shape of target object | |
US20140268173A1 (en) | Shape measurement apparatus, measurement method, and method of manufacturing article | |
GB2204947A (en) | Method and system for high speed, 3-D imaging of an object at a vision station | |
JP2987000B2 (en) | Position information coding method and three-dimensional measurement method using the code | |
JPS62291512A (en) | Distance measuring apparatus | |
KR20180053125A (en) | 3-dimensional shape measurment apparatus and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160603 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180619 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6362058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |