JP3965088B2 - Surface shape measuring device - Google Patents

Surface shape measuring device Download PDF

Info

Publication number
JP3965088B2
JP3965088B2 JP2002203139A JP2002203139A JP3965088B2 JP 3965088 B2 JP3965088 B2 JP 3965088B2 JP 2002203139 A JP2002203139 A JP 2002203139A JP 2002203139 A JP2002203139 A JP 2002203139A JP 3965088 B2 JP3965088 B2 JP 3965088B2
Authority
JP
Japan
Prior art keywords
light
marker
image
measurement
surface shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002203139A
Other languages
Japanese (ja)
Other versions
JP2004045222A (en
Inventor
千代春 堀口
哲夫 天野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2002203139A priority Critical patent/JP3965088B2/en
Publication of JP2004045222A publication Critical patent/JP2004045222A/en
Application granted granted Critical
Publication of JP3965088B2 publication Critical patent/JP3965088B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被計測体の表面形状を光切断法によって計測すると共に、上記被計測体表面の基準位置となるランドマーク位置を計測する表面形状計測装置に関する。
【0002】
【従来の技術】
従来、このような分野の技術として、特開平7−120232号公報や、特開平11−51615号公報等に記載された装置がある。この特開平7−120232号公報には、スリット光をスキャンすることで被測定物の外形を測定する非接触型三次元形状測定装置について記載されており、また、特開平11−51615号公報には、カラーマーカーが貼り付けられた対象物を複数のカメラで撮像して、その三次元位置を測定する測定装置について記載されている。
【0003】
このような技術の中で特に、被計測体に対してスリット光を照射するスリット光照射光源と、スリット光照射光源によって照射されたスリット光による被計測体表面の光切断像を撮像するセンサと、更にカラーセンサとによって構成される計測ヘッドを用いた表面形状計測装置が知られている。この表面形状計測装置では、計測ヘッドを被計測体に対して移動させることによって、スリット光照射光源から照射するスリット光を被計測体表面において走査する。そして、上述の光切断像をセンサによって多数取得することによって、被計測体の表面形状の計測している。すなわち、光切断法に基づいて被計測体の表面形状を計測している。また、これと共に、被計測体表面の色と異なるマーカーをランドマークとして被計測体に貼り付けて、そのマーカーの像をカラーセンサによって撮像する。そして、カラーセンサによって取得される画像から被計測体表面の色とマーカーの色の違いを利用してマーカーの像を抽出することによって、マーカーの位置を計測している。従来の表面形状計測装置は、このようにして被計測体の表面形状とマーカーの位置とを計測することによって、両者の対応付けを可能としている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述の表面形状計測装置では、カラーセンサを搭載するため、計測ヘッドの大型化が避けられず、その重量も大きくなっていた。同様にカラーセンサを搭載するため、装置コストも高くなっていた。また、上記のセンサとカラーセンサとの組立て調整が煩雑であるため、製造コストが高くなっていた。加えて、上述のセンサとカラーセンサのそれぞれに備えられたレンズの歪み収差に違いがあり、これを歪み補正によって補正しても、被計測体の表面形状にマーカーの位置を対応付ける精度には限界があり、更なる高精度化が望まれていた。
【0005】
本発明は上記問題点を解決するためになされたもので、計測ヘッドの小型化・軽量化、及び低コスト化を図り、更に計測精度の高精度化を測った表面形状計測装置を提供することを課題とする。
【0006】
【課題を解決するための手段】
上記課題を解決するため、本発明の表面形状計測装置は、計測空間に置かれた被計測体に向けて、上記計測空間を貫く所定の中心軸に、その光軸及びスリットの長手方向の双方が交差する第1及び第2のスリット光をそれぞれ照射する第1及び第2のスリット光照射手段と、複数の受光素子を二次元に配列してなる受光面を含み、上記第1のスリット光を含む平面と直交する面上に配置される撮像手段とを有する計測ヘッドと、上記計測ヘッドと上記被計測体とを、上記所定の中心軸の軸方向へ、相対的に移動させる移動手段と、上記第1のスリット光が上記被計測体表面で反射されて上記撮像手段によって撮像される光切断像に基づいて、上記被計測体の表面形状を算出する演算手段とを備え、上記受光面は、上記光切断像を撮像する第1の領域と、当該第1の領域に対し、上記第1のスリット光照射手段と上記撮像手段とを結ぶ基線長方向に位置する第2の領域とを含み、上記第2のスリット光照射手段は、上記第2の領域を構成する上記複数の受光素子のうち、上記基線長方向と垂直な方向に配列された上記複数の受光素子の並びの方向上において上記撮像手段の近傍に配置され、上記第2の領域の視野内へ上記複数の受光素子の並びに平行な上記第2のスリット光を照射し、上記撮像手段は、更に、上記第2のスリット光が上記被計測体に付けられたマーカーに照射されたときの再帰性反射に基づく上記マーカーの像を撮像し、上記演算手段は、更に、上記撮像手段によって撮像される上記マーカーの像に基づいて、当該マーカーの位置を算出することを特徴としている。
【0007】
本発明の表面形状計測装置によれば、計測ヘッドには被計測体に向けて第1のスリット光を照射する第1のスリット光照射手段と、第1のスリット光を含む平面と直交する面上に配置される撮像手段とが備えられる。そして、移動手段によって、この計測ヘッドと被計測体とを、計測空間の中心軸の軸方向へ相対的に移動させる。これによって、第1のスリット光を被計測体表面に走査する。そして、被計測体表面の光切断像を撮像手段によって撮像し、この光切断像に基づいて演算手段が被計測体の表面形状を算出する。すなわち、光切断法による被計測体の表面形状の計測が可能となる。また、計測ヘッドには第2のスリット光照射手段が備えられており、上記の移動によって第2のスリット光照射手段から照射する第2のスリット光を被計測体表面に走査する。ここで、撮像手段を構成する受光面は、上記の光切断像が受像される第1の領域と、この第1の領域に対して、第1のスリット光照射手段と撮像手段とを結ぶ基線長方向に位置する第2の領域とを含む。そして、第2のスリット光照射手段は、この第2の領域を構成する受光素子のうち、上記の基線長方向と垂直な方向に配列された複数の受光素子が並ぶ方向上において、撮像手段の近傍に配置される。また、第2のスリット光照射手段は、上記の受光素子の並びに平行な第2のスリット光を上述の第2の領域の視野内へ照射する。すると、この第2のスリット光が被計測体表面に貼り付けられたマーカーに照射されたときの再帰性反射に基づくマーカーの像(以下、「マーカー像」と呼ぶ。)が、第2の領域を構成する複数の受光素子のいずれかによって受光される。すなわち、上述の光切断像とマーカー像は受光面において重なることはないので、両者を識別して抽出することができる結果、単一の撮像手段によって撮像される光切断像とマーカー像とに基づいて、被計測体の表面形状とマーカーの位置を算出することができる。
【0008】
また、本発明の表面形状計測装置においては、上記移動手段と上記計測ヘッドとが上記所定の中心軸の周囲に複数設けられ、上記移動手段は、上記計測ヘッドを上記軸方向へ移動させることを特徴としても良い。
【0009】
この発明によれば、計測空間の周囲に計測ヘッドと移動手段とを複数設けることで、被計測体の周囲全体にわたる表面形状を計測することが可能となる。加えて、上記の計測ヘッドは軽量であるのため、計測ヘッド移動手段に大きな駆動力を必要としない。
【0010】
また、本発明の表面形状計測装置においては、上記所定の中心軸を中心に上記被計測体を回転させる被計測体回転手段を更に備え、上記移動手段は、上記計測ヘッドを上記軸方向へ移動させることを特徴としても良い。
【0011】
この発明によれば、被計測体回転手段によって被計測体を回転させることができるので、単一の計測ヘッドによって被計測体の周囲全体にわたる表面形状を計測することが可能となる。その結果、装置コストを低減することが可能となる。加えて、上記の計測ヘッドは軽量であるのため、計測ヘッド移動手段に大きな駆動力を必要としない。
【0012】
また、本発明の表面形状計測装置においては、上記第2のスリット光の強度を、上記撮像手段によって上記マーカーの像が検出される範囲で、上記第1のスリット光より、小さくすると好適である。
【0013】
この発明によれば、第2のスリット光の強度を、撮像手段によってマーカー像が検出可能な範囲で、第1のスリット光の強度より小さくするので、第2のスリット光が、被計測体表面で反射され、この反射に基づくスリット光像が撮像手段によって撮像されても、その信号強度を小さくすることができる結果、このスリット光像と共に撮像されるマーカー像の検出精度を高めることができる。
【0014】
また、本発明の表面形状計測装置においては、上記第1の領域を構成する上記複数の受光素子から出力される信号のうち、上記計測空間における照明環境に応じて設定されるオフセットレベル以下の強度の信号を除去することが好適である。
【0015】
この発明によれば、計測空間の照明環境によって、上記の第1の領域を形成する複数の受光素子に一定の強度の光が入射し、これがノイズとして検出されても、計測空間の照明環境に応じてオフセットレベルを設定し、そのオフセットレベル以下の信号を除去するので、光切断像に影響を与えずに、上記のノイズを除去することが可能となる。そして、このようにノイズを除去できるので、光切断像の検出精度を向上できる結果、被計測体の表面形状の計測精度を向上できる。
【0016】
また、本発明の表面形状計測装置においては、上記第2の領域を構成する上記複数の受光素子から出力される信号のうち、上記マーカーの像の信号強度に応じて設定されるオフセットレベル以下の強度の信号を除去することが好適である。
【0017】
第2のスリット光が、被計測体表面で反射され、この反射に基づく像が上記の第2の領域を構成する受光素子に入射しても、この信号強度は、被計測体に付けられたマーカーによる再帰性反射に基づくマーカー像の信号強度に比べて小さい。したがって、この発明によれば、マーカー像の信号強度に応じて設定されるオフセットレベル、すなわち、マーカー像の信号強度より小さい強度の信号を除去するオフセットレベルを、上記の第2の領域を形成する複数の受光素子から出力される信号に適用するので、マーカー像のみを残すことができる。これにより、マーカー像の抽出精度を向上できる結果、マーカー位置の計測精度を向上できる。
【0018】
また、上記受光面において上記第1の領域と上記第2の領域との中間の領域を構成する複数の上記受光素子から出力される信号を無効にすると、さらに好適である。
【0019】
この発明によれば、第2のスリット光がマーカーに反射されて強い光束で上記の第2の領域を形成する受光素子に入射してきた場合に、その受光素子近辺の素子にクロストークが生じても、この第2の領域と上記の第1の領域との中間の領域を形成する受光素子から出力される信号を無効にするので、このクロストークによる影響を防止できる。
【0020】
【発明の実施の形態】
以下、本発明の実施形態について説明する。なお、以下の実施形態の説明においては、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を附し、重複する説明は省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【0021】
(第1実施形態)まず、本発明の第1の実施形態にかかる表面形状計測装置100について添付の図面を参照して説明する。図1は表面形状計測装置100の平面図である。本実施形態にかかる表面形状計測装置100においては、ステージ140の周囲を囲むように、4つの計測ユニット110が配置されている。ここでステージ140は、被計測体をその上面に乗せるステージであって、このステージ140に被計測体を乗せることによって、計測空間160の範囲に被計測体を置くことが可能となる。
【0022】
計測ユニット110はそれぞれ、計測ヘッド120と、計測ヘッド120を内蔵する支柱111と、計測ヘッド120を支柱111の内部で上下動させる移動機構(移動手段)を構成するモータ112,タイミングベルト113,ガイドレール114を備える。この移動機構によれば、計測ヘッド120は、モータ112の回転駆動によってガイドレール114に沿って、支柱111内を計測空間160の中心軸161に平行に上下動する。
【0023】
更に計測ユニット110は、計測ヘッド120によって撮像された画像や計測ヘッド120の位置情報をコンピュータ(演算手段)145(図1においては図示せず)に転送するための信号ケーブルが配線されたケーブルベア115と、支柱111内部の移動機構や計測ヘッド120を外部からの接触に対して保護するよう、計測空間160側の支柱前面に設けられたアクリル板116を備える。
【0024】
次に、計測ヘッド120について詳細に説明する。図2は、支柱111及びアクリル板116を取り去って、計測ヘッド120を露出させた計測系の斜視図である。なお、図2では被計測体として円筒形状の被計測体150を共に図示している。
【0025】
図2に示すように、計測ヘッド120は、測距用スリット光照射部(第1のスリット光照射手段)121、マーカー検出用スリット光照射部(第2のスリット光照射部)124、撮像部(撮像手段)127を備える。また、被計測体150には、その表面に光の入射方向に強い反射特性を有する再帰性反射部材を用いたマーカー152がランドマークとして貼り付けられている。
【0026】
測距用スリット光照射部121は、測距用スリット光源122及び測距用投光レンズ123を備える。そして、測距用スリット光源122から発せられるスリット光を、測距用投光レンズ123を介してスリット光(第1のスリット光)131として被計測体150に照射する。このスリット光131は被計測体150の表面に照射され、被計測体150表面からの反射に基づく光切断像133が、撮像部124に撮像される。
【0027】
撮像部124は、フォトダイオードを2次元的に配列した受光面125及び受光レンズ126を備える。この撮像部124は、図2に示すように、測距用スリット光照射部121の上方に配置され、この位置から上記の光切断像133を撮像する。すなわち、撮像部124は測距用スリット光照射部121のスリットと直交する面上に配置されて、光切断像133を撮像する。
【0028】
マーカー検出用スリット光照射部127は、マーカー検出用スリット光源128及びマーカー検出用投光レンズ129を備える。そして、マーカー検出用スリット光源128から発せられるスリット光をマーカー検出用投光レンズ129を介してスリット光(第2のスリット光)132として被計測体150に照射する。このスリット光132が被計測体150に貼り付けられたマーカー152に照射されたときの、再帰性反射に基づくマーカー像134が撮像部124に撮像される。
【0029】
ここで、マーカー像134の撮像に関して詳細に説明するため、計測ヘッド120の構成を更に詳細に説明する。まず、計測ヘッド120における各構成要素の配置について、図3及び図4を参照して詳細に説明する。図3及び図4はそれぞれ、計測ヘッド120の平面図、側面図である。
【0030】
図3及び図4に示すように、撮像部124(図中では受光面125及び受光レンズ126に対応)は、測距用スリット光照射部121(図中では測距用スリット光源122及び測距用投光レンズ123に対応)の上方に配置されて、その位置から上記の光切断像133の撮像を行う。ここで、撮像部124の受光面125は、上記の光切断像133が受像される光切断像検出領域(第1の領域)165と、この光切断像検出領域165に対して、測距用スリット光照射部121と撮像部124を結ぶ基線162の長手方向に位置するマーカー像検出領域(第2の領域)166とに分割される。そして、マーカー検出用スリット光照射部127は、マーカー像検出領域166に含まれ、基線162に垂直に配列された複数のフォトダイオード169が並ぶ方向上において、撮像部124の近傍に配置される。
【0031】
次に、マーカー検出用スリット光照射部127から照射されるスリット光132について、測距用スリット光照射部121から照射されるスリット光131の照射方向、及び撮像部124の視野との関係とともに、図5を参照して説明する。図5は、その関係を計測系の側方から観察した図である。図5に示すように、測距用スリット光照射部121(図5では測距用スリット光源122及び測距用投光レンズ123に対応)から照射されるスリット光131は、計測空間160(図5ではa−b間)に向けて、垂直に照射される。そして、上述のように配置されたマーカー検出用スリット光照射部127(図5では、マーカー検出用スリット光源128及びマーカー検出用投光レンズ129に対応)から発せられるスリット光132は、上述した複数のフォトダイオード169の並びに平行で、マーカー像検出領域166の視野135内へ照射される(図5ではc−d間に向けて照射される)。このようなスリット光132は、被計測体150に貼り付けられたマーカー152に照射されたとき、マーカー152による再帰性反射により、その入射方向に反射され、上記の複数のフォトダイオード169のいずれかに入射する。
【0032】
図2に戻って、このように構成された計測ヘッド120によると、測距用スリット光照射部121から照射されるスリット光131が被計測体150の表面で反射されて、光切断像133として受光面125のうち光切断像検出領域165に撮像される。そして、マーカー検出用スリット光照射部127から照射されるスリット光132が被計測体150の表面に貼り付けられたマーカー152に照射されたときの再帰性反射に基づく光は、上記の複数のフォトダイオード169のいずれかに入射し、マーカー像134となって撮像される。このようにして、光切断像133とマーカー像134は受光面125において重なることなく撮像される。
【0033】
なお、マーカー検出用スリット光照射部127は、スリット光132をマーカー像134が十分に検出できる範囲でスリット光131より小さい強度で照射する。これによってスリット光132が被計測体150の表面で反射され、その反射に基づくスリット光像がマーカー像検出領域166に入射しても、このスリット光像の信号強度を小さくすることができる結果、このスリット光像と共に撮像されるマーカー像134の検出精度を高めることができる。
【0034】
このように各計測ユニット110に備えた計測ヘッド120を上述の移動機構によって、移動させるにしたがって、撮像部124に撮像される画像はその撮像を行った計測ヘッド120の位置情報と共に、ケーブルベア115に配線された信号ケーブルを介して、図6に示すようにコンピュータ145に逐次転送される。
【0035】
次に、コンピュータ145について説明する。コンピュータ145は、各計測ユニット110から転送される画像に対して、計測に不要なノイズを除去するためのオフセット処理を行い、そして光切断像133に基づく被計測体150の表面形状の算出処理を行い、更にマーカー像134に基づくマーカー152の位置算出処理を行う。以下、これらの処理について説明する。
【0036】
まず、コンピュータ145が転送される画像に対して行うオフセット処理について説明する。まず、その理解のため、計測ヘッド120で撮像される画像について説明する。図7は、計測空間160に円筒形状の被計測体150が置かれた場合に、撮像部124によって取得される画像の一例を示す。図7に示すように、受光面125のうち光切断像検出領域165において撮像される画像には、光切断像133が撮像されている。また、上述の複数のフォトダイオード169が含まれるマーカー像検出領域166で撮像される画像には、マーカー像134とスリット光132の被計測体150表面における反射に基づくスリット光像136が撮像されている。ここで、スリット光像136は、スリット光132の強度がマーカー像134を検出可能な範囲で十分に小さくしてあるため、きわめて小さい輝度で撮像される。また、上記の光切断像検出領域165とマーカー像検出領域166の中間に位置する無効領域167に撮像される画像は、マーカー152から反射される光束が強く、この光束が入射するフォトダイオードの近辺に存在するフォトダイオードにクロストークが生じても、その影響を光切断像検出領域165に伝播して、光切断像133の検出に影響を与えないよう、この無効領域167を構成するフォトダイオードが出力する信号を無効にしている。したがって、その領域で撮像された画像は輝度が0になっている。なお、撮像部124によって撮像される画像は、受光レンズ126を介して撮像されるため、取得される画像は図7に示すように倒立像となっている。
【0037】
このような画像に対し、コンピュータ145では、図8に示すオフセットレベルを適用する。図8は、図7に示した取得画像のラインVIII−VIII’における信号のプロファイルを256階調の信号強度で表示している。また、受光面125の光切断像検出領域165、マーカー像検出領域166、無効領域167のそれぞれに撮像される画像に適用するオフセットレベル181、182、183を表示している。
【0038】
図8に示すように、光切断像検出領域165、マーカー像検出領域166、無効領域167において撮像された画像のそれぞれに適用するオフセットレベル181、182、183は、それぞれ異なる。具体的には、光切断像検出領域165に撮像された画像に適用されるオフセットレベル181は、計測空間160の照明環境から生じるノイズを除去可能なレベルに設定されており、これにより、光切断像133に対応する信号171のみを残して、それ以下のノイズが除去できる。
【0039】
また、マーカー像検出領域166において撮像される画像に適用されるオフセットレベル182は、信号強度の大きいマーカー像134が検出できるレベルであって、スリット光132による被計測体表面におけるスリット光像136が除去可能に設定されており、これにより、マーカー像検出領域166で撮像された画像については、マーカー像134に対応する信号172のみが残され、スリット光132の被計測体150表面による反射に基づくスリット光像136は信号強度が小さいので、除去できる。
【0040】
また、無効領域167において撮像される画像には、その全ての信号が無効となるよう、最大レベルのオフセットレベル183が適用される。これにより、上述のようなクロストークの影響が防止できる。
【0041】
このようにしてオフセットレベルが適用された画像に対して、コンピュータ145は光切断像133を抽出し、これに基づいて公知の光切断法の演算処理により、被計測体150の表面形状の算出を行う。そして、マーカー像134を抽出し、マーカー152の位置算出処理を行う。なお、公知の光切断法の演算処理に関する説明は省略し、次にマーカー152の位置算出処理について詳細に説明する。
【0042】
まず、その理解のために、光学三角測量法の原理について、図9を参照して説明する。図9は光学三角測量法の原理を説明する図である。図9に示すように、光学三角測量法では投光レンズ191と計測対象195の距離Lxを求めることによって計測対象195の位置を計測するため、半導体レーザ190から発信する光束を投光レンズ191によって集光して、計測対象195の表面に照射する。また、計測対象195によって反射された光束を、受光レンズ192によって集光し、受光レンズ192の焦点距離f離れてその後方に配置された受光面193に受光する。ここで、図9に示すように、受光面193における受光位置と受光面193の下端との距離をXとし、また、計測空間を投光レンズ191の中心位置からの距離LN〜LFとし、受光レンズ192と投光レンズ191の距離をB、受光面193の受光幅をC、受光レンズ192の光軸と受光面193の下端との距離をXF、被計測体150による反射光の受光位置と受光面193の下端との距離をXL、受光レンズ192の光軸と受光面193の上端との距離をXN、投光レンズ191と被計測体150表面の光の反射位置との距離をLXとする。すると、以下の関係式(1)から式(2)が導出できる。
X = XL −XF …(1)
X = f・B・(1/LX − 1/LF) …(2)
この式(2)によれば距離Xを計測することによって、距離LXが求められる。すなわち、計測対象195の位置が求められる。
【0043】
このような光学三角測量法の原理を、マーカー152の位置算出処理に適用するために、この光学三角測量法の原理の説明に用いた各構成要素と、計測ヘッド120の構成要素とを対応付けると、半導体レーザ190をマーカー検出用スリット光源128に、投光レンズ191をマーカー検出用投光レンズ129に、受光レンズ192を受光レンズ126に、受光面193を受光面125に対応付けることができる。ところが、マーカー像134は、マーカー検出用スリット光照射部127から照射されたスリット光132がマーカー152によってその照射方向に反射されて、マーカー検出用スリット光照射部127の近傍にある撮像部124に撮像されたものであるので、式(2)におけるBが0の場合に相当し、上記の光学三角測量法をマーカー152の位置算出にそのまま用いても、距離LXが求められず、したがってマーカー152の位置が求められない。
【0044】
これを解決するマーカー152の位置算出処理について図10を参照して説明する。マーカー像134を撮像することによって得られる既知の情報は、マーカー像134の像面上での位置と、マーカー像134の位置から受光レンズ126の中心座標を通って、実際のマーカー152の位置へ向かう直線155の方向余弦(l,m,n)と、上述のように光切断法で求めた被計測体150の表面形状である。ここで、受光レンズ126の中心126aの座標を(a1,b1,c1)とすると、マーカー像134の位置から受光レンズ126の中心座標を通って、マーカー152の位置へ向かう直線155の方程式は、式(3)で表される。
(x−a1)/l=(y−b1)/m=(z−c1)/n …(3)
また、被計測体150の表面形状を以下の式(4)によって表現する。
F(x,y,z)=0 …(4)
この式(4)は、被計測体150の表面形状が、円筒形状などの簡単な対象であれば、式(4)を簡単に導くことができる。一方、被計測体150の表面形状が複雑な場合は、微小領域ごとに単純な曲面に近似した方程式を当てはめることによって、式(4)を導き出すことができる。
【0045】
すると、求めるべきマーカー152の座標(a2,b2,c2)は、式(3)で表される直線155と、式(4)で表される被計測体150の表面との交点となる。ここで、式(3)より、以下の式(5)、(6)が導出できる。
y=m(x−a1)/l+b1 …(5)
z=n(x−a1)/l+c1 …(6)
そして、式(5)、(6)を式(4)に代入すると、式(7)が得られる。
F(x,m(x−a1)/l+b1,n(x−a1)/l+c1)=0 …(7)
式(7)は、変数がxのみの多次元方程式であるため、独立した解を求めることができ、この解xは、マーカー152のx座標であるa2に相当する。
【0046】
同様にして、以下の式(8)〜(10)、及び式(11)〜(13)を導出できる。
x=l(y−b1)/m+a1 …(8)
z=n(y−b1)/m+c1 …(9)
F(l(y−b1)/m+a1,y,n(y−b1)/m+c1)=0…(10)
x=l(z−c1)/n+a1 …(11)
y=m(z−c1)/n+b1 …(12)
F(l(z−c1)/n+a1,m(z−c1)/n+b1,z)=0…(13)
そして、式(10)、(13)それぞれの解y、zを求めて、マーカー152のy座標であるb2、z座標であるc2をそれぞれ求めることができる。このように演算することで、マーカー152の位置が算出できる結果、マーカー152の位置を被計測体150の表面形状に対応付けることが可能となる。
【0047】
次に、本実施形態にかかる表面形状計測装置100の動作及び計測方法について説明する。表面形状計測装置100においては、計測空間160を囲むように周囲に4つ配置された計測ユニット110において、それぞれの計測ヘッド120を上述の移動機構によって移動させつつ、光切断像133とマーカー像134を撮像部124によって撮像する。そして、撮像部124に撮像された画像を、その画像が撮像されたときの計測ヘッド120の位置情報とともに、信号ケーブルを介して、コンピュータ145に転送する。
【0048】
コンピュータ145では、転送された画像にオフセットレベル181〜183を適用する。そして、オフセットレベル181〜183を適用した画像から、光切断像133を抽出し、光切断法の演算処理を適用して、被計測体150の表面形状を算出する。また、マーカー像134に基づいて、上述のようなマーカー152の位置算出処理を行い、マーカー152の位置を算出する。このようにして算出した被計測体150の表面形状に、マーカー152の位置を対応付ける。
【0049】
以上のように、本実施形態にかかる表面形状計測装置100は、マーカー152を検出するためのカラーセンサが不要で単一の撮像部124によって計測ヘッド120を構成できるので、計測ヘッド120の小型化・軽量化、低コスト化を達成できる。そして軽量化の結果、移動機構の駆動力を小さくできる。また、カラーセンサが不要であるため、組立て工程が簡略化できる。更には、計測ユニット110を計測空間160を囲むように周囲に複数配置しているので、被計測体150の周囲全体にわたる表面形状を計測できる。特に、この構成の表面形状計測装置100は、計測ユニット110を複数設けているため、被計測体150に対する上記の画像の撮像が短時間で行える。よって、本実施形態にかかる表面形状計測装置100は、例えば人体のように長時間静止させることが困難な被計測体の計測に好適である。
【0050】
なお、本実施形態では、表面形状計測装置100に計測ユニット110を4つ設けているが、その数は必ずしも4つに限定されるものではない。すなわち、被計測体150の表面形状を周囲全体にわたり取得できれば、計測ユニット110の数を変更可能である。また、被計測体150の表面形状を周囲全体にわたって取得する必要がなければ、その数を更に少なくてしても良い。
【0051】
また、本実施形態においては、マーカー152に再帰性反射部材を用いているが、被計測体150に比して光を強く散乱する材料を用いても、マーカー152の検出は可能である。
【0052】
(第2実施形態)次に第2実施形態にかかる表面形状計測装置200について説明する。図11は表面形状計測装置200の正面図である。図11に示すように、表面形状計測装置200は、計測ユニット210、底板240の上面に設けられた回転台241を備える。
【0053】
計測ユニット210は、支柱211、ガイドレール214、計測ヘッド220等を備え、第1実施形態の計測ユニット110と同様の構成を有する。また、計測ヘッド220は第1の実施形態で説明した計測ヘッド120と同様の計測ヘッドであり、計測ヘッド220を上下動させる移動機構も第1実施形態と同様の構成である。
【0054】
回転台241は、計測空間260を貫く中心軸261を中心として、その上面に乗せられた被計測体250を回転させる。そして、計測ヘッド220によって被計測体250の上部から下部までの計測が終了する度に、回転台241が所定角度回転する動作を繰り返すことによって、被計測体250の周囲全体の計測が行われる。
【0055】
このようにして、撮像された画像に基づいて行われる被計測体250の表面形状の算出や、マーカー252の位置算出等の処理も、第1の実施形態と同様の処理である。
【0056】
以上のように、本実施形態にかかる表面形状計測装置200は、回転台241を備えることによって、単一の計測ユニット210のみによって、被計測体250の周囲全体にわたる表面形状が計測できると共に、マーカー252の位置を計測できる。したがって、この表面形状計測装置200では、第1実施形態に示した表面形状計測装置100より、製造コストを低減できる。また、この表面形状計測装置200に備える計測ユニット210は単一であるため、第1の実施形態に示した表面形状計測装置100に比して計測に時間を要するので、マネキン等のように長時間静止することが可能な被計測体の計測に好適である。
【0057】
なお、本実施形態では、回転台241によって被計測体250を回転させたが、計測ユニット210を、計測空間260の周囲で回転させる手段を設けて、被計測体250の周囲全体の表面形状を計測可能な構成とすることも可能である。
【0058】
(第3実施形態)次に第3実施形態にかかる表面形状計測装置300について説明する。図12は表面形状計測装置300の斜視図である。図12に示すように、表面形状計測装置300は、計測ヘッド320、ベルトコンベア340を備える。
【0059】
計測ヘッド320は、第1実施形態に示した計測ヘッド120と同様の計測ヘッドであり、ベルトコンベア340に乗せられた被計測体350をその上方から計測する。そして、被計測体350がベルトコンベア340によって移動することで、計測ヘッド320側の被計測体350表面全体の計測を行うことができる。
【0060】
このようにして、撮像された画像に基づいて行われる被計測体350の表面形状の算出や、マーカー352の位置算出等の処理も、第1の実施形態と同様の処理である。
【0061】
この表面形状計測装置300は、以上のようにして計測される被計測体350の表面形状によって、ベルトコンベア340上の被計測体350をそれぞれ識別できる。また、マーカー352を被計測体350に複数貼り付けておくと、ベルトコンベア340上での被計測体350の向きを検出することが可能となる。
【0062】
【発明の効果】
本発明によれば、表面形状計測装置は、単一の撮像手段を有する計測ヘッドを備えることで、被計測体の表面形状と、被計測体の表面に貼り付けられたマーカーの位置を計測でき、これらの対応付けが可能となる。このように撮像手段を単一にできるので、計測ヘッドの小型化・軽量化が図れる。また、装置コストも低い。更に、撮像手段を単一にしたことによって、組立て工程を簡略化できるので、製造コストを低減できる。また、単一の撮像手段によって撮像を行えるので、被計測体の表面形状とマーカー位置との対応付けを高精度化することができる。
【図面の簡単な説明】
【図1】第1実施形態にかかる表面形状計測装置の平面図である。
【図2】計測ヘッドを被計測体と共に図示した計測系の斜視図である。
【図3】計測ヘッドの平面図である。
【図4】計測ヘッドの側面図である。
【図5】計測ヘッドから照射されるスリット光と撮像部の視野の関係を表面形状計測装置の側面から捉えた図である。
【図6】計測ユニットとともに演算処理を行うコンピュータを示した図である。
【図7】撮像部によって撮像される画像の一例である。
【図8】撮像部によって取得される画像とオフセットレベルの関係を示す図である。
【図9】三角測量法の原理を説明する図である。
【図10】マーカー位置算出の原理を説明する図である。
【図11】第2実施形態にかかる表面形状計測装置の正面図である。
【図12】第3実施形態にかかる表面形状計測装置の斜視図である。
【符号の説明】
100,200,300・・・表面形状計測装置、110,210・・・計測ユニット、111・・・支柱、112・・・モータ、113・・・タイミングベルト、114・・・ガイドレール、115・・・ケーブルベア、116・・・アクリル板、120,220,320・・・計測ヘッド、121・・・測距用スリット光照射部、122・・・測距用スリット光源、123・・・測距用投光レンズ、124・・・撮像部、125・・・受光面、126・・・受光レンズ、127・・・マーカー検出用スリット光照射部、128・・・マーカー検出用スリット光源、129・・・マーカー検出用投光レンズ、133・・・スリット光像、134・・・マーカー像、140・・・ステージ、150,250,350・・・被計測体、152,252,352・・・マーカー、160,260・・・計測空間、240・・・底板、241・・・回転台、340・・・ベルトコンベア
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a surface shape measuring apparatus that measures a surface shape of a measurement object by a light cutting method and measures a landmark position as a reference position of the measurement object surface.
[0002]
[Prior art]
Conventionally, as a technology in such a field, there are apparatuses described in JP-A-7-120232, JP-A-11-51615, and the like. Japanese Patent Application Laid-Open No. 7-120232 describes a non-contact type three-dimensional shape measuring apparatus that measures the outer shape of an object to be measured by scanning slit light, and Japanese Patent Application Laid-Open No. 11-51615. Describes a measuring apparatus that takes an image of an object to which a color marker is attached with a plurality of cameras and measures its three-dimensional position.
[0003]
Among such techniques, in particular, a slit light irradiation light source that irradiates the measurement object with slit light, a sensor that captures a light cut image of the measurement object surface by the slit light irradiated by the slit light irradiation light source, and Furthermore, a surface shape measuring device using a measuring head constituted by a color sensor is known. In this surface shape measuring apparatus, the surface of the measurement object is scanned with the slit light irradiated from the slit light irradiation light source by moving the measurement head relative to the measurement object. And the surface shape of a to-be-measured body is measured by acquiring many above-mentioned light cutting images with a sensor. That is, the surface shape of the measurement object is measured based on the light cutting method. At the same time, a marker different from the color of the surface of the object to be measured is attached to the object to be measured as a landmark, and an image of the marker is picked up by the color sensor. And the position of a marker is measured by extracting the image of a marker from the image acquired by a color sensor using the difference in the color of the to-be-measured object surface, and the color of a marker. The conventional surface shape measuring apparatus measures the surface shape of the object to be measured and the position of the marker in this way, thereby making it possible to associate them.
[0004]
[Problems to be solved by the invention]
However, since the above-described surface shape measuring apparatus is equipped with a color sensor, the measuring head is inevitably increased in size and its weight is increased. Similarly, since the color sensor is mounted, the cost of the apparatus is high. Further, since the assembly adjustment of the sensor and the color sensor is complicated, the manufacturing cost is high. In addition, there is a difference in the distortion aberration of the lens provided in each of the above-mentioned sensor and color sensor, and even if this is corrected by distortion correction, the accuracy of associating the marker position with the surface shape of the measurement object is limited. Therefore, higher accuracy has been desired.
[0005]
The present invention has been made to solve the above-described problems, and provides a surface shape measuring device that can reduce the size and weight of the measuring head and reduce the cost, and further increase the measurement accuracy. Is an issue.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problems, the surface shape measuring apparatus of the present invention is directed to a measurement object placed in a measurement space, with a predetermined central axis passing through the measurement space, both in the optical axis and in the longitudinal direction of the slit. Including first and second slit light irradiating means for respectively irradiating the first and second slit lights intersecting each other, and a light receiving surface formed by two-dimensionally arranging a plurality of light receiving elements. A measuring head having an imaging means disposed on a plane orthogonal to the plane including the moving means, and a moving means for relatively moving the measuring head and the measured object in the axial direction of the predetermined central axis. And a calculating means for calculating a surface shape of the measured object based on a light cut image reflected by the imaging means and reflected by the surface of the measured object. Is a first for capturing the light-cut image. A second region located in a baseline length direction connecting the first slit light irradiation unit and the imaging unit with respect to the first region, and the second slit light irradiation unit includes: Among the plurality of light receiving elements constituting the second region, the light receiving elements are arranged in the vicinity of the imaging means on the direction of the arrangement of the plurality of light receiving elements arranged in a direction perpendicular to the base line length direction, The second slit light parallel to the plurality of light receiving elements is irradiated into the field of view of the region 2, and the imaging means further applies the second slit light to a marker attached to the measurement object. An image of the marker based on retroreflection when irradiated is taken, and the calculation means further calculates the position of the marker based on the image of the marker imaged by the imaging means. It is said.
[0007]
According to the surface shape measurement apparatus of the present invention, the measurement head is irradiated with the first slit light irradiating the first slit light toward the measurement object, and the surface orthogonal to the plane including the first slit light. And imaging means arranged on the top. Then, the measuring head and the measurement object are relatively moved by the moving means in the axial direction of the central axis of the measurement space. As a result, the surface of the measurement object is scanned with the first slit light. Then, a light section image of the surface of the measurement object is picked up by the imaging means, and the calculation means calculates the surface shape of the measurement object based on the light section image. That is, the surface shape of the measurement object can be measured by the light cutting method. Further, the measurement head is provided with second slit light irradiation means, and the second slit light irradiated from the second slit light irradiation means is scanned on the surface of the measurement object by the above movement. Here, the light receiving surface constituting the imaging unit is a first region where the above-described light-cut image is received, and a base line connecting the first slit light irradiation unit and the imaging unit with respect to the first region. And a second region located in the longitudinal direction. Then, the second slit light irradiating means includes a plurality of light receiving elements arranged in a direction perpendicular to the baseline length direction among the light receiving elements constituting the second region. Located in the vicinity. The second slit light irradiating means irradiates the second slit light parallel to the light receiving element into the field of view of the second region. Then, a marker image (hereinafter referred to as a “marker image”) based on retroreflection when the second slit light is applied to the marker attached to the surface of the measurement object is a second region. Is received by one of a plurality of light receiving elements constituting the. That is, since the above-described light section image and marker image do not overlap on the light receiving surface, both can be identified and extracted. As a result, based on the light section image and marker image captured by a single imager. Thus, the surface shape of the measurement object and the position of the marker can be calculated.
[0008]
In the surface shape measuring apparatus of the present invention, a plurality of the moving means and the measuring head are provided around the predetermined central axis, and the moving means moves the measuring head in the axial direction. It is good as a feature.
[0009]
According to this invention, by providing a plurality of measurement heads and moving means around the measurement space, it is possible to measure the surface shape over the entire circumference of the measurement object. In addition, since the measuring head is light, a large driving force is not required for the measuring head moving means.
[0010]
The surface shape measuring apparatus of the present invention further includes a measured object rotating means for rotating the measured object about the predetermined central axis, and the moving means moves the measuring head in the axial direction. It is good also as making it feature.
[0011]
According to this invention, since the measured object can be rotated by the measured object rotating means, the surface shape over the entire periphery of the measured object can be measured by the single measuring head. As a result, the apparatus cost can be reduced. In addition, since the measuring head is light, a large driving force is not required for the measuring head moving means.
[0012]
In the surface shape measuring apparatus of the present invention, it is preferable that the intensity of the second slit light is smaller than that of the first slit light in a range where the image of the marker is detected by the imaging unit. .
[0013]
According to the present invention, since the intensity of the second slit light is made smaller than the intensity of the first slit light within a range in which the marker image can be detected by the imaging means, the second slit light is reflected on the surface of the object to be measured. Even if a slit light image based on this reflection is picked up by the image pickup means, the signal intensity can be reduced. As a result, the detection accuracy of the marker image picked up with this slit light image can be increased.
[0014]
Moreover, in the surface shape measuring apparatus of this invention, the intensity | strength below the offset level set according to the illumination environment in the said measurement space among the signals output from the said several light receiving element which comprises the said 1st area | region. It is preferable to remove these signals.
[0015]
According to the present invention, even if light of a certain intensity is incident on the plurality of light receiving elements forming the first region according to the illumination environment of the measurement space, and this is detected as noise, the illumination environment of the measurement space Accordingly, since the offset level is set and signals below the offset level are removed, the above-described noise can be removed without affecting the light cut image. And since noise can be removed in this way, as a result of improving the detection accuracy of the light section image, the measurement accuracy of the surface shape of the measurement object can be improved.
[0016]
Further, in the surface shape measuring apparatus of the present invention, of the signals output from the plurality of light receiving elements constituting the second region, the offset level is equal to or lower than an offset level set according to the signal intensity of the marker image. It is preferred to remove the strong signal.
[0017]
Even if the second slit light is reflected on the surface of the object to be measured and an image based on this reflection is incident on the light receiving element constituting the second region, the signal intensity is applied to the object to be measured. It is smaller than the signal intensity of the marker image based on the retroreflection by the marker. Therefore, according to the present invention, the second region is formed with an offset level that is set according to the signal intensity of the marker image, that is, an offset level that removes a signal having an intensity smaller than the signal intensity of the marker image. Since it is applied to signals output from a plurality of light receiving elements, only a marker image can be left. Thereby, as a result of improving the extraction accuracy of the marker image, the measurement accuracy of the marker position can be improved.
[0018]
Further, it is more preferable to invalidate signals output from the plurality of light receiving elements constituting an intermediate region between the first region and the second region on the light receiving surface.
[0019]
According to the present invention, when the second slit light is reflected by the marker and is incident on the light receiving element forming the second region with a strong light beam, crosstalk occurs in the elements near the light receiving element. However, since the signal output from the light receiving element forming the intermediate region between the second region and the first region is invalidated, the influence of the crosstalk can be prevented.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described. In the following description of the embodiments, for ease of understanding of the description, the same components are denoted by the same reference numerals as much as possible in each drawing, and redundant description will be omitted. Further, the dimensional ratios in the drawings do not necessarily match those described.
[0021]
(First Embodiment) First, a surface shape measuring apparatus 100 according to a first embodiment of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a plan view of the surface shape measuring apparatus 100. In the surface shape measurement apparatus 100 according to the present embodiment, four measurement units 110 are arranged so as to surround the stage 140. Here, the stage 140 is a stage on which the measurement object is placed on the upper surface thereof, and the measurement object can be placed in the range of the measurement space 160 by placing the measurement object on the stage 140.
[0022]
Each of the measurement units 110 includes a measurement head 120, a support column 111 incorporating the measurement head 120, and a motor 112, a timing belt 113, and a guide that constitute a moving mechanism (moving means) that moves the measurement head 120 up and down within the support column 111. Rails 114 are provided. According to this moving mechanism, the measurement head 120 moves up and down along the guide rail 114 in parallel with the central axis 161 of the measurement space 160 along the guide rail 114 by the rotational drive of the motor 112.
[0023]
Further, the measurement unit 110 is a cable bearer provided with a signal cable for transferring an image captured by the measurement head 120 and position information of the measurement head 120 to a computer (calculation means) 145 (not shown in FIG. 1). 115 and an acrylic plate 116 provided on the front surface of the support column on the measurement space 160 side so as to protect the movement mechanism inside the support column 111 and the measurement head 120 from external contact.
[0024]
Next, the measuring head 120 will be described in detail. FIG. 2 is a perspective view of the measurement system in which the support head 111 and the acrylic plate 116 are removed and the measurement head 120 is exposed. In FIG. 2, a cylindrical measurement object 150 is shown as the measurement object.
[0025]
As shown in FIG. 2, the measuring head 120 includes a distance measuring slit light irradiation unit (first slit light irradiation unit) 121, a marker detection slit light irradiation unit (second slit light irradiation unit) 124, and an imaging unit. (Imaging means) 127 is provided. Further, a marker 152 using a retroreflective member having a strong reflection characteristic in the light incident direction is attached to the measurement object 150 as a landmark.
[0026]
The distance measuring slit light irradiation unit 121 includes a distance measuring slit light source 122 and a distance measuring light projecting lens 123. Then, the measuring object 150 is irradiated with slit light emitted from the distance measuring slit light source 122 as slit light (first slit light) 131 through the distance measuring light projection lens 123. The slit light 131 is applied to the surface of the measurement object 150, and a light section image 133 based on the reflection from the surface of the measurement object 150 is captured by the imaging unit 124.
[0027]
The imaging unit 124 includes a light receiving surface 125 and a light receiving lens 126 in which photodiodes are two-dimensionally arranged. As shown in FIG. 2, the imaging unit 124 is disposed above the distance measuring slit light irradiation unit 121, and captures the light section image 133 from this position. That is, the imaging unit 124 is arranged on a surface orthogonal to the slit of the distance measuring slit light irradiation unit 121 and captures the light section image 133.
[0028]
The marker detection slit light irradiation unit 127 includes a marker detection slit light source 128 and a marker detection light projection lens 129. Then, the measurement target 150 is irradiated with slit light emitted from the marker detection slit light source 128 as slit light (second slit light) 132 through the marker detection light projecting lens 129. When the slit light 132 is applied to the marker 152 attached to the measurement object 150, a marker image 134 based on retroreflection is captured by the imaging unit 124.
[0029]
Here, in order to describe in detail the imaging of the marker image 134, the configuration of the measurement head 120 will be described in more detail. First, the arrangement of each component in the measurement head 120 will be described in detail with reference to FIGS. 3 and 4. 3 and 4 are a plan view and a side view of the measuring head 120, respectively.
[0030]
As shown in FIGS. 3 and 4, the imaging unit 124 (corresponding to the light receiving surface 125 and the light receiving lens 126 in the figure) is a distance measuring slit light irradiation unit 121 (in the figure, a distance measuring slit light source 122 and a distance measuring unit). The light cutting image 133 is picked up from that position. Here, the light receiving surface 125 of the imaging unit 124 is for distance measurement with respect to the light section image detection region (first region) 165 where the light section image 133 is received and the light section image detection region 165. It is divided into a marker image detection region (second region) 166 located in the longitudinal direction of the base line 162 connecting the slit light irradiation unit 121 and the imaging unit 124. The marker detection slit light irradiation unit 127 is disposed in the vicinity of the imaging unit 124 in the direction in which the plurality of photodiodes 169 arranged in the marker image detection region 166 and arranged perpendicular to the base line 162 are arranged.
[0031]
Next, regarding the slit light 132 irradiated from the marker detection slit light irradiation unit 127, along with the relationship between the irradiation direction of the slit light 131 irradiated from the distance measurement slit light irradiation unit 121 and the field of view of the imaging unit 124, This will be described with reference to FIG. FIG. 5 shows the relationship observed from the side of the measurement system. As shown in FIG. 5, the slit light 131 emitted from the distance measuring slit light irradiation unit 121 (corresponding to the distance measuring slit light source 122 and the distance measuring light projecting lens 123 in FIG. 5) is measured in a measurement space 160 (FIG. 5). 5, the light is irradiated vertically toward (between a and b). The slit light 132 emitted from the marker detection slit light irradiation unit 127 (corresponding to the marker detection slit light source 128 and the marker detection light projecting lens 129 in FIG. 5) arranged as described above is the plurality of slit lights 132 described above. In parallel with the photodiodes 169, the light is irradiated into the field of view 135 of the marker image detection region 166 (in FIG. 5, it is irradiated toward cd). When such a slit light 132 is applied to the marker 152 affixed to the measurement target 150, it is reflected in the incident direction due to retroreflection by the marker 152, and any one of the plurality of photodiodes 169 described above. Is incident on.
[0032]
Returning to FIG. 2, according to the measuring head 120 configured as described above, the slit light 131 emitted from the distance measuring slit light irradiation unit 121 is reflected by the surface of the measurement object 150, and is formed as a light cut image 133. The image is picked up in the light section image detection area 165 of the light receiving surface 125. The light based on the retroreflection when the slit light 132 irradiated from the marker detection slit light irradiation unit 127 is applied to the marker 152 attached to the surface of the measurement object 150 is the light of the plurality of photo The light enters one of the diodes 169 and is imaged as a marker image 134. In this way, the light section image 133 and the marker image 134 are captured without overlapping on the light receiving surface 125.
[0033]
The marker detection slit light irradiation unit 127 irradiates the slit light 132 with an intensity smaller than that of the slit light 131 within a range where the marker image 134 can be sufficiently detected. As a result, even if the slit light 132 is reflected on the surface of the measurement object 150 and the slit light image based on the reflection enters the marker image detection region 166, the signal intensity of the slit light image can be reduced. The detection accuracy of the marker image 134 imaged together with this slit light image can be increased.
[0034]
As described above, as the measurement head 120 provided in each measurement unit 110 is moved by the above-described moving mechanism, the image picked up by the image pickup unit 124 includes the position information of the measurement head 120 that has picked up the image and the cable bear 115. As shown in FIG. 6, the data is sequentially transferred to the computer 145 through the signal cable wired to the computer.
[0035]
Next, the computer 145 will be described. The computer 145 performs an offset process for removing noise unnecessary for measurement on the image transferred from each measurement unit 110, and calculates the surface shape of the measurement target 150 based on the light section image 133. Further, the position calculation processing of the marker 152 based on the marker image 134 is performed. Hereinafter, these processes will be described.
[0036]
First, offset processing performed on an image transferred by the computer 145 will be described. First, for understanding, an image captured by the measurement head 120 will be described. FIG. 7 shows an example of an image acquired by the imaging unit 124 when the cylindrical measurement object 150 is placed in the measurement space 160. As shown in FIG. 7, a light section image 133 is captured in an image captured in the light section image detection region 165 of the light receiving surface 125. In addition, a slit light image 136 based on the reflection of the marker image 134 and the slit light 132 on the surface of the measurement object 150 is captured in the image captured in the marker image detection region 166 including the plurality of photodiodes 169 described above. Yes. Here, the slit light image 136 is picked up with extremely low luminance because the intensity of the slit light 132 is sufficiently small within a range in which the marker image 134 can be detected. In addition, the image picked up in the invalid area 167 located between the light-cut image detection area 165 and the marker image detection area 166 has a strong light beam reflected from the marker 152, and is near the photodiode where the light beam is incident. Even if the crosstalk occurs in the photodiode existing in the photodiode, the influence of the photodiode that constitutes the ineffective region 167 is propagated to the light section image detection region 165 and does not affect the detection of the light section image 133. The output signal is disabled. Therefore, the brightness of the image captured in that area is zero. In addition, since the image imaged by the imaging part 124 is imaged through the light receiving lens 126, the acquired image is an inverted image as shown in FIG.
[0037]
The computer 145 applies the offset level shown in FIG. 8 to such an image. FIG. 8 shows the signal profile at line VIII-VIII ′ of the acquired image shown in FIG. 7 with a signal intensity of 256 gradations. Further, offset levels 181, 182, and 183 that are applied to images captured in the light-cut image detection area 165, the marker image detection area 166, and the invalid area 167 of the light receiving surface 125 are displayed.
[0038]
As shown in FIG. 8, the offset levels 181, 182, and 183 applied to the images captured in the light section image detection area 165, the marker image detection area 166, and the invalid area 167 are different. Specifically, the offset level 181 applied to the image captured in the light section image detection region 165 is set to a level at which noise generated from the illumination environment of the measurement space 160 can be removed. Only the signal 171 corresponding to the image 133 is left, and the noise below it can be removed.
[0039]
The offset level 182 applied to the image picked up in the marker image detection region 166 is a level at which the marker image 134 having a high signal intensity can be detected. The slit light image 136 on the surface of the measurement object by the slit light 132 is As a result, only the signal 172 corresponding to the marker image 134 is left in the image captured in the marker image detection region 166, and based on the reflection of the slit light 132 by the surface of the measurement object 150. The slit light image 136 has a low signal intensity and can be removed.
[0040]
Further, the maximum offset level 183 is applied to the image captured in the invalid area 167 so that all the signals are invalid. Thereby, the influence of the crosstalk as described above can be prevented.
[0041]
The computer 145 extracts the light section image 133 from the image to which the offset level is applied in this way, and based on this, calculates the surface shape of the measurement target 150 by a calculation process of a known light section method. Do. Then, the marker image 134 is extracted, and the position calculation process of the marker 152 is performed. Note that a description of the calculation process of the known light cutting method is omitted, and the position calculation process of the marker 152 will be described in detail.
[0042]
First, for the understanding, the principle of optical triangulation will be described with reference to FIG. FIG. 9 is a diagram for explaining the principle of the optical triangulation method. As shown in FIG. 9, in the optical triangulation method, since the position of the measurement target 195 is measured by obtaining the distance Lx between the projection lens 191 and the measurement target 195, the light beam transmitted from the semiconductor laser 190 is transmitted by the projection lens 191. The light is condensed and irradiated on the surface of the measurement object 195. Further, the light beam reflected by the measurement object 195 is condensed by the light receiving lens 192 and received by the light receiving surface 193 disposed behind the focal length f of the light receiving lens 192. Here, as shown in FIG. 9, the distance between the light receiving position on the light receiving surface 193 and the lower end of the light receiving surface 193 is X, and the measurement space is a distance L from the center position of the light projecting lens 191. N ~ L F The distance between the light receiving lens 192 and the light projecting lens 191 is B, the light receiving width of the light receiving surface 193 is C, and the distance between the optical axis of the light receiving lens 192 and the lower end of the light receiving surface 193 is X. F The distance between the light receiving position of the reflected light by the measurement object 150 and the lower end of the light receiving surface 193 is expressed as X L The distance between the optical axis of the light receiving lens 192 and the upper end of the light receiving surface 193 is X N , The distance between the light projection lens 191 and the light reflection position on the surface of the measurement object 150 is L X And Then, equation (2) can be derived from the following relational equation (1).
X = X L -X F ... (1)
X = f · B · (1 / L X -1 / L F (2)
According to this equation (2), by measuring the distance X, the distance L X Is required. That is, the position of the measurement object 195 is obtained.
[0043]
In order to apply the principle of the optical triangulation method to the position calculation process of the marker 152, each component used for explaining the principle of the optical triangulation method is associated with the component of the measuring head 120. The semiconductor laser 190 can be associated with the marker detection slit light source 128, the light projection lens 191 can be associated with the marker detection light projection lens 129, the light reception lens 192 can be associated with the light reception lens 126, and the light reception surface 193 can be associated with the light reception surface 125. However, in the marker image 134, the slit light 132 emitted from the marker detection slit light irradiation unit 127 is reflected in the irradiation direction by the marker 152, and is reflected on the imaging unit 124 in the vicinity of the marker detection slit light irradiation unit 127. Since this is an imaged image, this corresponds to the case where B in Equation (2) is 0. Even if the above-described optical triangulation method is directly used for calculating the position of the marker 152, the distance L X Is not determined, and therefore the position of the marker 152 is not determined.
[0044]
The position calculation processing of the marker 152 that solves this will be described with reference to FIG. The known information obtained by capturing the marker image 134 includes the position of the marker image 134 on the image plane and the position of the marker image 134 through the center coordinates of the light receiving lens 126 to the actual position of the marker 152. The direction cosine (l, m, n) of the straight line 155 toward the surface and the surface shape of the measurement object 150 obtained by the light cutting method as described above. Here, assuming that the coordinates of the center 126a of the light receiving lens 126 are (a1, b1, c1), the equation of the straight line 155 passing from the position of the marker image 134 to the position of the marker 152 through the center coordinates of the light receiving lens 126 is It is represented by Formula (3).
(X−a1) / l = (y−b1) / m = (z−c1) / n (3)
Further, the surface shape of the measurement object 150 is expressed by the following equation (4).
F (x, y, z) = 0 (4)
This equation (4) can be easily derived from the equation (4) if the surface shape of the measurement object 150 is a simple object such as a cylindrical shape. On the other hand, when the surface shape of the measurement object 150 is complicated, Equation (4) can be derived by applying an equation that approximates a simple curved surface for each minute region.
[0045]
Then, the coordinates (a2, b2, c2) of the marker 152 to be obtained are the intersections of the straight line 155 represented by Expression (3) and the surface of the measurement target 150 represented by Expression (4). Here, the following formulas (5) and (6) can be derived from the formula (3).
y = m (x−a1) / l + b1 (5)
z = n (x−a1) / l + c1 (6)
Then, when Expressions (5) and (6) are substituted into Expression (4), Expression (7) is obtained.
F (x, m (x-a1) / l + b1, n (x-a1) / l + c1) = 0 (7)
Since the equation (7) is a multidimensional equation having only x as a variable, an independent solution can be obtained, and this solution x corresponds to a 2 that is the x coordinate of the marker 152.
[0046]
Similarly, the following formulas (8) to (10) and formulas (11) to (13) can be derived.
x = 1 (y−b1) / m + a1 (8)
z = n (y−b1) / m + c1 (9)
F (l (y−b1) / m + a1, y, n (y−b1) / m + c1) = 0 (10)
x = 1 (z−c1) / n + a1 (11)
y = m (z-c1) / n + b1 (12)
F (l (z−c1) / n + a1, m (z−c1) / n + b1, z) = 0 (13)
Then, the solutions y and z of the equations (10) and (13) can be obtained, and b2 as the y coordinate and c2 as the z coordinate of the marker 152 can be obtained respectively. By calculating in this way, the position of the marker 152 can be calculated. As a result, the position of the marker 152 can be associated with the surface shape of the measurement object 150.
[0047]
Next, the operation and measuring method of the surface shape measuring apparatus 100 according to the present embodiment will be described. In the surface shape measurement apparatus 100, in the four measurement units 110 arranged around the measurement space 160, the light cutting image 133 and the marker image 134 are moved while the measurement heads 120 are moved by the moving mechanism described above. Is imaged by the imaging unit 124. Then, the image captured by the imaging unit 124 is transferred to the computer 145 via the signal cable together with the position information of the measurement head 120 when the image is captured.
[0048]
The computer 145 applies offset levels 181 to 183 to the transferred image. Then, the light section image 133 is extracted from the image to which the offset levels 181 to 183 are applied, and the surface shape of the measurement object 150 is calculated by applying the arithmetic processing of the light section method. Also, based on the marker image 134, the position calculation processing of the marker 152 as described above is performed, and the position of the marker 152 is calculated. The position of the marker 152 is associated with the surface shape of the measurement target 150 calculated in this way.
[0049]
As described above, since the surface shape measuring apparatus 100 according to the present embodiment does not require a color sensor for detecting the marker 152 and the measuring head 120 can be configured by the single imaging unit 124, the measuring head 120 can be downsized.・ Weight reduction and cost reduction can be achieved. As a result of the weight reduction, the driving force of the moving mechanism can be reduced. Further, since no color sensor is required, the assembly process can be simplified. Furthermore, since a plurality of measurement units 110 are arranged around the measurement space 160, the surface shape over the entire periphery of the measurement object 150 can be measured. In particular, since the surface shape measuring apparatus 100 having this configuration is provided with a plurality of measuring units 110, the above-described image can be captured on the measurement object 150 in a short time. Therefore, the surface shape measuring apparatus 100 according to the present embodiment is suitable for measuring a measurement object that is difficult to be stationary for a long time, such as a human body.
[0050]
In the present embodiment, four measuring units 110 are provided in the surface shape measuring apparatus 100, but the number is not necessarily limited to four. That is, if the surface shape of the measurement object 150 can be acquired over the entire periphery, the number of measurement units 110 can be changed. Further, if it is not necessary to acquire the surface shape of the measurement object 150 over the entire periphery, the number may be further reduced.
[0051]
In this embodiment, the retroreflective member is used for the marker 152. However, the marker 152 can be detected even when a material that scatters light more strongly than the measurement target 150 is used.
[0052]
(Second Embodiment) Next, a surface shape measuring apparatus 200 according to a second embodiment will be described. FIG. 11 is a front view of the surface shape measuring apparatus 200. As shown in FIG. 11, the surface shape measuring apparatus 200 includes a measurement unit 210 and a turntable 241 provided on the upper surface of the bottom plate 240.
[0053]
The measurement unit 210 includes a column 211, a guide rail 214, a measurement head 220, and the like, and has the same configuration as the measurement unit 110 of the first embodiment. The measurement head 220 is the same measurement head as the measurement head 120 described in the first embodiment, and the moving mechanism that moves the measurement head 220 up and down has the same configuration as that of the first embodiment.
[0054]
The turntable 241 rotates the measurement object 250 placed on the upper surface thereof with the center axis 261 passing through the measurement space 260 as the center. Then, every time measurement from the upper part to the lower part of the measurement object 250 is completed by the measurement head 220, the entire circumference of the measurement object 250 is measured by repeating the operation of rotating the rotary table 241 by a predetermined angle.
[0055]
In this way, the process of calculating the surface shape of the measurement object 250 and the position of the marker 252 performed based on the captured image is the same process as in the first embodiment.
[0056]
As described above, the surface shape measuring apparatus 200 according to the present embodiment includes the turntable 241, so that the surface shape over the entire periphery of the measurement object 250 can be measured only by the single measurement unit 210, and the marker The position of 252 can be measured. Therefore, in this surface shape measuring apparatus 200, the manufacturing cost can be reduced as compared with the surface shape measuring apparatus 100 shown in the first embodiment. Further, since the measurement unit 210 provided in the surface shape measuring apparatus 200 is single, it takes longer time to measure than the surface shape measuring apparatus 100 shown in the first embodiment. It is suitable for measurement of an object to be measured that can stand still for a time.
[0057]
In the present embodiment, the measurement object 250 is rotated by the turntable 241, but a means for rotating the measurement unit 210 around the measurement space 260 is provided so that the surface shape of the entire periphery of the measurement object 250 is changed. It is also possible to adopt a configuration that allows measurement.
[0058]
(Third Embodiment) Next, a surface shape measuring apparatus 300 according to a third embodiment will be described. FIG. 12 is a perspective view of the surface shape measuring apparatus 300. As shown in FIG. 12, the surface shape measuring apparatus 300 includes a measuring head 320 and a belt conveyor 340.
[0059]
The measurement head 320 is the same measurement head as the measurement head 120 shown in the first embodiment, and measures the measurement object 350 placed on the belt conveyor 340 from above. And the to-be-measured object 350 moves by the belt conveyor 340, and the measurement of the whole to-be-measured object 350 surface by the side of the measurement head 320 can be performed.
[0060]
Thus, the process of calculating the surface shape of the measurement object 350 and the position of the marker 352 performed based on the captured image is the same process as in the first embodiment.
[0061]
The surface shape measuring apparatus 300 can identify each measurement object 350 on the belt conveyor 340 based on the surface shape of the measurement object 350 measured as described above. If a plurality of markers 352 are pasted on the measurement object 350, the direction of the measurement object 350 on the belt conveyor 340 can be detected.
[0062]
【The invention's effect】
According to the present invention, the surface shape measuring apparatus can measure the surface shape of the measurement object and the position of the marker attached to the surface of the measurement object by including the measurement head having a single imaging unit. These can be associated with each other. Thus, since the imaging means can be made a single unit, the measurement head can be reduced in size and weight. Also, the device cost is low. Furthermore, since the assembling process can be simplified by using a single imaging means, the manufacturing cost can be reduced. In addition, since imaging can be performed by a single imaging unit, the correspondence between the surface shape of the measurement object and the marker position can be improved.
[Brief description of the drawings]
FIG. 1 is a plan view of a surface shape measuring apparatus according to a first embodiment.
FIG. 2 is a perspective view of a measurement system in which a measurement head is illustrated together with an object to be measured.
FIG. 3 is a plan view of a measurement head.
FIG. 4 is a side view of the measuring head.
FIG. 5 is a diagram illustrating a relationship between slit light irradiated from a measurement head and a field of view of an imaging unit from a side surface of a surface shape measuring apparatus.
FIG. 6 is a diagram illustrating a computer that performs arithmetic processing together with a measurement unit.
FIG. 7 is an example of an image captured by an imaging unit.
FIG. 8 is a diagram illustrating a relationship between an image acquired by an imaging unit and an offset level.
FIG. 9 is a diagram for explaining the principle of triangulation.
FIG. 10 is a diagram for explaining the principle of marker position calculation.
FIG. 11 is a front view of a surface shape measuring apparatus according to a second embodiment.
FIG. 12 is a perspective view of a surface shape measuring apparatus according to a third embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100,200,300 ... Surface shape measuring device, 110,210 ... Measuring unit, 111 ... Post, 112 ... Motor, 113 ... Timing belt, 114 ... Guide rail, 115. ..Cable bear, 116 ... Acrylic plate, 120, 220, 320 ... Measurement head, 121 ... Distance slit light irradiation unit, 122 ... Distance slit light source, 123 ... Measurement Distance projection lens, 124... Imaging unit, 125 .. light receiving surface, 126... Light receiving lens, 127... Marker detection slit light irradiation unit, 128. ... Projector lens for marker detection, 133 ... Slit light image, 134 ... Marker image, 140 ... Stage, 150, 250, 350 ... Measurement object, 152, 52,352 ... marker, 160, 260 ... the measurement space, 240 ... bottom plate, 241 ... rotary table, 340 ... belt conveyor

Claims (7)

計測空間に置かれた被計測体に向けて、前記計測空間を貫く所定の中心軸に、その光軸及びスリットの長手方向の双方が交差する第1及び第2のスリット光をそれぞれ照射する第1及び第2のスリット光照射手段と、複数の受光素子を二次元に配列してなる受光面を含み、前記第1のスリット光を含む平面と直交する面上に配置される撮像手段とを有する計測ヘッドと、
前記計測ヘッドと前記被計測体とを、前記所定の中心軸の軸方向へ、相対的に移動させる移動手段と、
前記第1のスリット光が前記被計測体表面で反射されて前記撮像手段によって撮像される光切断像に基づいて、前記被計測体の表面形状を算出する演算手段とを備え、
前記受光面は、前記光切断像を撮像する第1の領域と、当該第1の領域に対し、前記第1のスリット光照射手段と前記撮像手段とを結ぶ基線長方向に位置する第2の領域とを含み、
前記第2のスリット光照射手段は、前記第2の領域を構成する前記複数の受光素子のうち、前記基線長方向と垂直な方向に配列された前記複数の受光素子の並びの方向上において前記撮像手段の近傍に配置され、前記第2の領域の視野内へ前記複数の受光素子の並びに平行な前記第2のスリット光を照射し、
前記撮像手段は、更に、前記第2のスリット光が前記被計測体に付けられたマーカーに照射されたときの再帰性反射に基づく前記マーカーの像を撮像し、
前記演算手段は、更に、前記撮像手段によって撮像される前記マーカーの像に基づいて、当該マーカーの位置を算出する
ことを特徴とする表面形状計測装置。
First and second slit light beams, which irradiate a predetermined center axis penetrating the measurement space with first and second slit lights that intersect both the optical axis and the longitudinal direction of the slit, toward the measurement object placed in the measurement space. First and second slit light irradiating means; and an imaging means including a light receiving surface formed by two-dimensionally arranging a plurality of light receiving elements, and disposed on a plane orthogonal to the plane including the first slit light. A measuring head having
Moving means for relatively moving the measuring head and the measured object in the axial direction of the predetermined central axis;
A calculation unit that calculates a surface shape of the measurement object based on a light cut image that is reflected by the measurement object surface and reflected by the imaging unit;
The light receiving surface is a first region that captures the light-cut image, and a second region that is located in a base line length direction that connects the first slit light irradiation unit and the imaging unit with respect to the first region. Area and
The second slit light irradiating means is configured so that, of the plurality of light receiving elements constituting the second region, the plurality of light receiving elements arranged in a direction perpendicular to the base line length direction is arranged in the direction in which the plurality of light receiving elements are arranged. Arranged in the vicinity of the imaging means, irradiating the second slit light parallel to the plurality of light receiving elements into the field of view of the second region,
The imaging means further captures an image of the marker based on retroreflection when the second slit light is applied to the marker attached to the measurement object,
The surface shape measuring apparatus characterized in that the calculation means further calculates the position of the marker based on the image of the marker imaged by the imaging means.
前記移動手段と前記計測ヘッドとが前記所定の中心軸の周囲に複数設けられ、
前記移動手段は、前記計測ヘッドを前記軸方向へ移動させる
ことを特徴とする請求項1に記載の表面形状計測装置。
A plurality of the moving means and the measuring head are provided around the predetermined central axis,
The surface shape measuring apparatus according to claim 1, wherein the moving unit moves the measuring head in the axial direction.
前記所定の中心軸を中心に前記被計測体を回転させる被計測体回転手段を更に備え、
前記移動手段は、前記計測ヘッドを前記軸方向へ移動させる
ことを特徴とする請求項1に記載の表面形状計測装置。
A measured object rotating means for rotating the measured object about the predetermined center axis;
The surface shape measuring apparatus according to claim 1, wherein the moving unit moves the measuring head in the axial direction.
前記第2のスリット光の強度を、前記撮像手段によって前記マーカーの像が検出される範囲で、前記第1のスリット光より、小さくしたことを特徴とする請求項1〜3のいずれか1項に記載の表面形状計測装置。The intensity of the second slit light is smaller than that of the first slit light in a range in which the image of the marker is detected by the imaging unit. The surface shape measuring device described in 1. 前記第1の領域を構成する前記複数の受光素子から出力される信号のうち、前記計測空間における照明環境に応じて設定されるオフセットレベル以下の強度の信号を除去することを特徴する請求項1〜4のいずれか1項に記載の表面形状計測装置。2. A signal having an intensity equal to or lower than an offset level set according to an illumination environment in the measurement space is removed from signals output from the plurality of light receiving elements constituting the first region. The surface shape measuring apparatus of any one of -4. 前記第2の領域を構成する前記複数の受光素子から出力される信号のうち、前記マーカーの像の信号強度に応じて設定されるオフセットレベル以下の強度の信号を除去することを特徴する請求項1〜6のいずれか1項に記載の表面形状計測装置。The signal output from the plurality of light receiving elements constituting the second region is removed from a signal having an intensity equal to or lower than an offset level set according to a signal intensity of the marker image. The surface shape measuring apparatus of any one of 1-6. 前記受光面において前記第1の領域と前記第2の領域との中間の領域を構成する複数の前記受光素子から出力される信号を無効にすることを特徴とする請求項1〜6のいずれか1項に記載の表面形状計測装置。7. The signal output from the plurality of light receiving elements constituting an intermediate region between the first region and the second region on the light receiving surface is invalidated. 7. The surface shape measuring apparatus according to item 1.
JP2002203139A 2002-07-11 2002-07-11 Surface shape measuring device Expired - Fee Related JP3965088B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002203139A JP3965088B2 (en) 2002-07-11 2002-07-11 Surface shape measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002203139A JP3965088B2 (en) 2002-07-11 2002-07-11 Surface shape measuring device

Publications (2)

Publication Number Publication Date
JP2004045222A JP2004045222A (en) 2004-02-12
JP3965088B2 true JP3965088B2 (en) 2007-08-22

Family

ID=31709118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002203139A Expired - Fee Related JP3965088B2 (en) 2002-07-11 2002-07-11 Surface shape measuring device

Country Status (1)

Country Link
JP (1) JP3965088B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7236680B2 (en) * 2018-02-09 2023-03-10 パナソニックIpマネジメント株式会社 projection system

Also Published As

Publication number Publication date
JP2004045222A (en) 2004-02-12

Similar Documents

Publication Publication Date Title
US11825062B2 (en) Motion blur compensation
US8035823B2 (en) Hand-held surface profiler
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
KR100602765B1 (en) Method and device for inspecting objects
US9046360B2 (en) System and method of acquiring three dimensional coordinates using multiple coordinate measurement devices
US20170307363A1 (en) 3d scanner using merged partial images
US20060227337A1 (en) Compact optical contour digitizer
US20100157280A1 (en) Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
JP2000270169A (en) Motion identification method
JP2002139304A (en) Distance measuring device and distance measuring method
CN1931110A (en) Method of determining the shape of a dental technology object and apparatus for per-forming the method
JP5951793B2 (en) Image sensor position detector
JP2007093412A (en) Three-dimensional shape measuring device
JP3965088B2 (en) Surface shape measuring device
JP2000039310A (en) Method and device for measuring shape
JP2524816Y2 (en) Inner diameter measurement sensor
JP3906123B2 (en) Camera image output calibration device
JPS62291512A (en) Distance measuring apparatus
JPH07120232A (en) Non-contact type 3-d shape measurement device
JPS62291509A (en) Distance measuring apparatus
JPH0285704A (en) Gap measuring instrument
JP2001194116A (en) Height measuring apparatus
JPH10185515A (en) Coil position detector
JP3134926B2 (en) Method and apparatus for measuring radiation angle of semiconductor laser
JPH0789058B2 (en) Distance measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070525

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees