JP4924042B2 - 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体 - Google Patents

三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP4924042B2
JP4924042B2 JP2007003879A JP2007003879A JP4924042B2 JP 4924042 B2 JP4924042 B2 JP 4924042B2 JP 2007003879 A JP2007003879 A JP 2007003879A JP 2007003879 A JP2007003879 A JP 2007003879A JP 4924042 B2 JP4924042 B2 JP 4924042B2
Authority
JP
Japan
Prior art keywords
calibration
line sensor
phase
target
optical pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007003879A
Other languages
English (en)
Other versions
JP2008170279A (ja
Inventor
友紀 本間
博久 古川
正樹 諏訪
大輔 光本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2007003879A priority Critical patent/JP4924042B2/ja
Publication of JP2008170279A publication Critical patent/JP2008170279A/ja
Application granted granted Critical
Publication of JP4924042B2 publication Critical patent/JP4924042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置及びその校正方法に関するものである。
画像解析によって対象物の三次元形状情報を得る手段として、所定の撮像視野内に存在する計測対象に光パタンを投影し、計測対象の三次元形状に応じて変形した光パタンの変形量を解析する方法がある。代表的な方法としては、光切断法や空間コード法、縞解析法などが挙げられる。これらは全て三角測量の原理に基づいているが、中でも、縞解析法に関しては空間縞解析や時間縞解析など多くの手法が提案されており、高い計測精度を得る手法として知られている。
ところで、通常これらの手法では、光パタンが投影された計測対象の読み取りにエリアカメラを用いているが、エリアカメラを用いると、計測対象が1撮像視野内に収まらないために、エリアカメラを縦及び横の双方に移動させながら1撮像視野ずつ複数回に分けて撮像する必要が度々生じ、撮像時間が長くなってしまうという問題が起こっている。
このような問題に対する解決策として、例えば特許文献1、2や非特許文献1では、エリアカメラの代わりにラインセンサを用いた三次元形状計測方法が提案されている。特許文献1や非特許文献1の計測方法では、光パタンを投影した計測対象をラインカメラで撮像し、続いて、計測対象を搬送することによって投影される光パタンの位相をずらし、位相のずれた光パタンが投影された計測対象をまた別のラインカメラで撮像し、といったことを複数回繰り返し、撮像した複数枚の画像に含まれる光パタンを時間縞解析法(位相シフト法)に基づいて解析することによって三次元形状を測定している。
また、特許文献2の三次元形状測定装置では、光パタンが投影された計測対象を、異なる位置に設置された2つのラインカメラによって別々に撮像し、撮像した2つの画像からステレオ法に基づいて三次元形状を測定している。
特開2002−286433号公報(平成14年(2002)10月3日公開) 特開2004−117186号公報(平成16年(2004)4月15日公開) 藤垣ら 「複数ラインセンサによる連続物体形状計測における平行光格子投影手法」,精密工学会秋季大会学術講演会講演論文集 pp.1061-1062,2004
三次元形状を正確に測定するには、校正を行って、光パタンの変形量と高さとを正確に対応付ける必要がある。例えば、非特許文献1には、物体上の座標(x,y)における位相差Δφ(x,y)と高さh(x,y)との関係が、1/h=A+B/Δφで示されている。ここで、A、Bは、光パタンの周期、カメラから基準面までの距離、光パタンの投影角度などによって決まる定数である。したがって、既知の高さを有する校正用ターゲットを複数個利用して位相差Δφを計測するか、或いは、高さを調整可能な校正用ターゲットを利用し、複数の高さで位相差Δφを計測するという高さの校正を行うことにより、上記定数A,Bを求めることができる。
しかしながら、上記高さの校正は、複数回の計測を行う必要があり、校正に時間がかかる結果となっていた。
本発明は、上記課題に鑑みてなされたものであり、高さの校正を迅速に行うことができる三次元形状計測装置などを実現することを目的とする。
本発明に係る三次元形状計測装置は、計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、上記課題を解決するために、上記光パタンを画像として読み取るためのラインセンサと、上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備えており、該画像解析部は、上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出手段と、該位相算出手段が算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出手段と、複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要な校正を行う校正手段とを備えることを特徴としている。
また、本発明に係る三次元形状計測装置の校正方法は、計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、上記光パタンを画像として読み取るためのラインセンサと、上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備える三次元形状計測装置において、上記計測対象の高さ情報を算出するために必要な校正を行う校正方法であって、上記課題を解決するために、上記計測対象として、複数の高さを有する校正用ターゲットにおける或る領域に上記光パタンを投影するように上記移動部を制御する移動制御工程と、上記領域に投影された光パタンをラインセンサによって画像として読み取る光パタン読取工程と、上記移動制御工程および上記光パタン読取工程を、上記校正用ターゲットにおける別の領域に対しても繰り返す繰返工程とを含むことを特徴としている。
上記構成および方法によれば、計測対象の高さ情報を算出するために必要な校正を行うために、複数の高さを有する校正用ターゲットを利用している。さらに、上記構成および方法によれば、校正用ターゲットの或る領域に投影された光パタンを上記ラインセンサが読み取るように移動部を制御し、次に、校正用ターゲットの別の領域に投影された光パタンをラインセンサが読み取るように移動部を制御している。
したがって、本発明では、ラインセンサおよび校正用ターゲットの少なくとも一方を移動部が移動させて、校正用ターゲットにおける複数の高さの領域をラインセンサが読み取ることにより高さの校正を行うことができる。その結果、校正用ターゲットを取り替えたり、校正用ターゲットの高さを調整したりして、再度計測し直す必要が無いので、高さの校正を迅速に行うことができる。
本発明に係る三次元形状計測装置では、上記校正用ターゲットは、複数の平面を段状に有するものであり、上記校正手段は、上記校正用ターゲットにおける或る平面に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の平面に対しても行うことにより、上記校正を行ってもよい。
本発明に係る三次元形状計測装置では、上記校正用ターゲットは、3つ以上の平面を段状に有しており、上記画像解析部は、上記校正用ターゲットにおける上記複数の平面の間隔情報を記憶する記憶部をさらに備えており、上記校正手段は、上記校正用ターゲットにおける或る平面に上記光パタンが投影されるように上記移動部を制御し、これを上記校正用ターゲットにおける少なくとも3つの平面に対して行う制御手段と、上記光パタンが投影された少なくとも3つの平面に関して、上記位相算出手段が算出した位相同士の差である位相差と、上記記憶部が記憶する間隔情報とに基づいて、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要なパラメータを算出するパラメータ算出手段とを備えてもよい。
さらに、上記校正用ターゲットにおける各平面の段差は一定であり、上記記憶部が記憶する上記複数の平面の間隔情報は、上記段差の情報であってもよい。この場合、複数の平面の間隔情報が段差の情報のみであるため、記憶部を占有するデータを縮小でき、パラメータを算出する処理を簡略化できる。
本発明に係る三次元形状計測装置では、上記画像解析部は、上記校正用ターゲットにおける上記複数の平面のそれぞれと、上記計測対象の三次元形状を計測する上での基準となる平面である基準面との間隔情報を記憶する記憶部をさらに備えており、上記校正手段は、上記校正用ターゲットにおける或る平面に上記光パタンが投影されるように上記移動部を制御し、これを上記校正用ターゲットにおける少なくとも2つの平面に対して行い、さらに、上記基準面に上記光パタンが投影されるように上記移動部を制御する制御手段と、上記光パタンが投影された少なくとも2つの平面および基準面に関して、上記位相算出手段が算出した位相同士の差である位相差と、上記記憶部が記憶する間隔情報とに基づいて、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要なパラメータを算出するパラメータ算出手段とを備えてもよい。
さらに、上記パラメータ算出手段は、算出したパラメータを、該パラメータを算出するために利用した上記校正用ターゲットの平面と上記基準面とに関する位相差に対応付けて上記記憶部に記憶しており、上記高さ算出手段は、上記記憶部が記憶するパラメータの中から、上記位相算出手段が算出した位相と上記基準面の位相との位相差に対応する上記パラメータを選択するパラメータ選択手段を備えてもよい。この場合、位相差に応じて適切なパラメータを選択できるので、三次元形状の精度を向上させることができる。
本発明に係る三次元形状計測装置では、上記画像解析部は、上記間隔情報を設定して記憶部に記憶させる設定手段をさらに備えてもよい。この場合、校正用ターゲットを作成した後に、公知の測定手段により、各平面の間隔を精度よく測定して、記憶部に記憶させることができるので、校正用ターゲットを精度良く作成する必要がない。
ところで、ラインセンサが校正用ターゲットにおける何れの平面を読み取っているかは、光パタンの位相の変化により判別できるが、以下のように構成すれば、上記平面の識別が容易となる。
すなわち、本発明に係る三次元形状計測装置では、上記記憶部は、上記校正用ターゲットにおける上記複数の平面を識別するための識別情報をさらに記憶しており、上記パラメータ算出手段は、上記識別情報に基づいて、上記光パタンが投影された平面を特定し、上記特定した平面に関する間隔情報を上記記憶部から読み出してもよい。
具体的には、上記識別情報は、上記校正用ターゲットの各平面に施されたマークであり、上記パラメータ算出手段は、上記ラインセンサにより読み取られた画像から上記識別情報を取得することが挙げられる。この場合、校正用ターゲットに識別情報を容易に形成することができる。ここで、マークの例としては、線、バーコード、アイコンなどが挙げられる。
また、上記識別情報は、上記校正用ターゲットの各平面に一様に施された色の輝度であり、上記パラメータ算出手段は、上記ラインセンサにより読み取られた画像の輝度情報から上記識別情報を取得することが挙げられる。この場合も、校正用ターゲットに識別情報を容易に形成することができる。その他、識別情報の例としては、校正用ターゲットにおける平面の副走査方向の長さ(奥行き)が挙げられる。
本発明に係る三次元形状計測装置では、上記校正用ターゲットは、底面に対し傾斜した平面である傾斜面を有するものであり、上記校正手段は、上記傾斜面における或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記傾斜面における別の領域に対しても行うことにより、上記校正を行ってもよい。この場合、複数の平面を段状に有する校正用ターゲットに比べて、表面形状が簡略化されるので、校正用ターゲットの作製が容易となる。また、校正を行う高さ間隔は、段差で規定されることが無く、副走査方向への移動量に応じて任意の設定とすることができる。
一方で、傾斜面を有する校正用ターゲットを利用する場合、校正用ターゲットが主走査方向に対して傾いていたり、副走査方向への移動量がずれたりすると、ラインセンサの読取り領域における校正用ターゲットの高さが変化することになる。
そこで、本発明に係る三次元形状計測装置では、上記校正用ターゲットは、上記傾斜面と交わる他の平面を有しており、上記校正手段は、上記位相算出手段が算出した位相の副走査方向に対する傾きが、一定、増加、および減少の何れか1つから他の1つに変化する変化点を検出することにより、上記傾斜面と上記他の平面との交線を特定し、特定した交線の方向の主走査方向に対する傾きを算出し、算出した傾きに基づいて、上記ラインセンサが読み取った画像を補正してもよい。この場合、校正用ターゲットが主走査方向に対して傾いていても、該傾きを補正して、高さの校正を行うことができる。なお、上記他の平面は、底面に対して、平行であってもよいし、傾斜していてもよい。
また、本発明に係る三次元形状計測装置では、上記校正用ターゲットは、上記傾斜面と異なる他の傾斜面をさらに有しており、各傾斜面には、所定の高さにマークが施されており、上記校正手段は、上記ラインセンサにより読み取られた画像から各傾斜面の上記マークを特定し、特定したマークであって、副走査方向に並ぶ各傾斜面のマークに関して、上記位相算出手段が算出した上記マークの位置の位相を利用して、該位相の誤差を補正してもよい。
上記の構成によると、校正用ターゲットが主走査方向に対して傾いていたり、副走査方向への移動量がずれたりすることにより発生する位相の誤差は、各傾斜面で誤差の正負が反対となる。従って、各傾斜面で同じ高さの位置であって、副走査方向に並ぶ位置の位相どうしを利用することにより、位相の誤差を相殺することができる。
本発明に係る三次元形状計測装置では、上記パラメータ算出手段は、算出したパラメータを、上記位相算出手段が上記光パタンの位相を算出した画素の主走査方向における位置に対応付けて上記記憶部に記憶しており、上記高さ算出手段は、上記記憶部が記憶するパラメータの中から、上記位置に対応する上記パラメータを選択するパラメータ選択手段を備えてもよい。この場合、主走査方向の位置に応じて適切なパラメータを選択できるので、基準面の主走査方向の歪みを吸収でき、三次元形状の精度を向上させることができる。
本発明に係る三次元形状計測装置では、上記画像解析部は、上記光パタンを含む画像から、上記光パタン以外の背景成分を除去する背景除去手段をさらに備えることが好ましい。この場合、上記位相算出手段が光パタンの位相を算出するときに、画像の背景成分による誤差を減少することができる。
なお、上記構成の三次元形状計測装置に備えられている校正用ターゲットであれば、上述の作用効果を奏することができる。さらに、上記光パタンの照射される表面は、光を拡散反射させるように処理されていてもよい。この場合、校正用ターゲットの或る部分からラインセンサに入射した光が強すぎて、当該部分およびその周囲に対応する画像部分の輝度値が測定可能な上限を越えてしまう、いわゆる「白とび」が発生することを防止できる。
また、底面に平行な平面を少なくとも1つ有し、該平面は、模様が施されているか、或いは、反射率が一様であってもよい。この場合、上記ラインセンサを含む撮像部のピント調整やカメラゲイン、カメラオフセットなどの調整といった、上記撮影部の校正を上記高さの校正と共に行うことができるので、校正のための工程数および構成要素を削減することができ、校正のためのコストを削減することができる。
なお、上記三次元形状計測装置における各手段を、プログラムによりコンピュータ上で機能させることができる。さらに、上記プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記プログラムを実行させることができる。
以上のように、本発明に係る三次元形状計測装置は、複数の高さを有する校正用ターゲットを利用して、該校正用ターゲットの或る領域に投影された光パタンをラインセンサが読み取り、次に、別の領域に投影された光パタンをラインセンサが読み取るように移動部を制御することにより高さの校正を行うので、校正用ターゲットを取り替えたり、校正用ターゲットの高さを調整したりして、再度計測し直す必要が無く、これにより、高さの校正を迅速に行うことができるという効果を奏する。
〔実施の形態1〕
本発明の一実施形態について図1〜図19に基づいて説明すると以下の通りである。図2は、本発明の一実施形態に係る三次元形状計測システム(三次元形状計測装置)10の概略構成を示す図である。
図2に示すように、本実施形態の三次元形状計測システム10は、移動ユニット(移動部)11に載置された計測対象12に対し投光ユニット13から光パタン14を投影し、計測対象12に投影された光パタン14を撮像ユニット15が撮影し、撮影された光パタン14の形状を画像解析・処理ユニット(画像解析部、校正手段、制御手段)16が解析し、これを、移動ユニット11により計測対象を移動させて繰り返すことによって、計測対象12全体の三次元形状を計測する装置である。計測される三次元形状の例としては、計測対象12の表面に設けられた凹部の奥行きや凸部の高さ及びそれらの位置などが挙げられる。三次元形状計測システム10の使用用途は特に限定されないが、例えば実装基板を検査する装置などに適用することができる。
一般に、計測システムでは、正確な計測を行うために各種の校正が行われる。本実施形態の三次元形状計測システム10では、三次元空間における座標軸及びスケールの校正が行われる。図1は、三次元形状計測システム10において、高さ方向のスケールの校正を行う様子を示している。なお、その他の校正に関しては、従来と同様であるので、本願ではその説明を省略する。
図1に示す三次元形状計測システム10は、図2に示す三次元形状計測システム10に比べて、計測対象12の代わりに、階段状の校正用ターゲット21が移動ユニット11上に設けられている点が異なる。なお、以下では、図1に示すような校正を行う場合を「校正モード」と称し、図2に示すような三次元形状の計測を行う場合を「計測モード」と称する。
図3は、校正用ターゲット21の外観を示す図である。図示のように、校正用ターゲット21は、複数の平面を階段状に有している。この階段の段数nは3段以上であり、最下段から最上段までの高さは、計測レンジD以上である。
各階段は、底面からの高さ、または隣接する下段との段差ΔHが既知である。また、各階段の幅Wおよび奥行きLは、撮像ユニット15の撮影可能範囲以上である。例えば、奥行きLは、幾何光学の結像公式を用いると、おおよそ、(撮像ユニット15のラインセンサにおける画素のサイズ)÷(撮像ユニット15の光学系の焦点距離)×(撮像ユニット15から各階段までの距離)以上となる。
なお、実施例では、校正用ターゲット21は、底面の各辺の寸法が約10cm程度であり、上記段差ΔHが約100μm程度である。
上記構成の三次元形状計測システム10の校正モードにおいて、校正用ターゲット21の或る平面に投影された光パタン14を撮像ユニット15が撮影し、次に、校正用ターゲット21の別の平面に投影された光パタン14を撮像ユニット15が撮影するように、移動ユニット11を移動させることにより、高さの校正を行っている。したがって、校正用ターゲットを取り替えたり、校正用ターゲットの高さを調整したりして、再度計測し直す必要が無いので、高さの校正を迅速にかつ精度良く行うことができる。
また、Z軸ステージ、エンコーダなどの特別な器具を利用する必要がないので、該特別な器具の機械的なバラツキが上記高さの校正に影響を与えることがなく、その結果、計測精度を向上させることができる。また、校正用ターゲット21は、上記特別な器具で利用可能なサイズとする必要がないので、サイズを従来よりも小さくすることができる。
なお、本実施形態では、移動ユニット11は、計測対象12を移動させているが、撮像ユニット15および投光ユニット13を移動させてもよいし、これらの全てを移動させてもよい。
次に、三次元形状計測システム10の詳細について説明する。図4は、三次元形状計測システム10の要部構成を示すブロック図である。図1及び図2に示すように、三次元形状計測システム10は、移動ユニット11、投光ユニット13、撮像ユニット15、及び画像解析・処理ユニット16を備えている。さらに、三次元形状計測システム10は、移動ユニット11を制御する移動コントローラ22と、投光ユニット13を制御する投光コントローラ23とを備えている。
投光ユニット13は、上述のように、計測対象12の表面に光パタン14を投影するためのものである。また、投光ユニット13は、図4に示すように、ハロゲンランプやキセノンランプなどの光源31、光源31から照射された光にパタンを持たせるためのパタン生成素子32、及びマクロレンズなどの光学系33を備えている。
投影する光パタンとしては、正弦波、三角波、又は矩形波などの、位置に応じて周期性を有し、かつ位相を特定できるパタンであれば何れのものでもよいが、本実施形態では、計測分解能の向上に寄与する正弦波状の光パタンを用いることとする。また、パタン生成素子32としては、液晶素子によって構成されたものや、ガラス又はフィルムを加工したものなどを用いることができる。
撮像ユニット15は、上述のように、光パタン14が投影された計測対象12を読み取り、その画像を取得するものである。また、撮像ユニット15は、図4に示すように、1本のラインセンサ34と、マクロレンズなどの光学系35とを備えている。
移動ユニット11は、ラインセンサ34の主走査方向(長手方向)、及び該主走査方向と垂直な方向(以下「副走査方向」という)に計測対象12を水平移動させるためのものである。また、移動ユニット11は、図4に示すように、計測対象12を載置するための移動テーブル41、移動テーブル41を駆動するサーボモータ42、移動テーブル41の位置を検出するリニアスケーラ43などを備えている。
移動ユニット11により計測対象12を副走査方向に移動させつつラインセンサ34により逐次撮像することによって、計測対象12全体の三次元形状を計測することが可能になる。また、計測対象12がラインセンサ34の撮像範囲よりも主走査方向に広い場合には、移動ユニット11により計測対象12を主走査方向に移動させてラインセンサ34により逐次撮像すればよい。
画像解析・処理ユニット16は、撮像ユニット15によって撮像された画像に含まれる光パタン14を縞解析法によって解析し、計測対象12の三次元形状を算出すると共に、移動コントローラ22及び投光コントローラ23に各種指示を行うものである。また、画像解析・処理ユニット16は、図4に示すように、撮像ユニット15からの画像をデジタルデータで取り込むキャプチャボード44、各種の制御を行う制御部45、及び各種の情報を記憶する記憶部46を備えている。
なお、本実施形態では、移動ユニット11は、計測対象12を移動させる構成としたが、計測対象12を移動させる代わりに、投光ユニット13及び撮像ユニット15を副走査方向に、さらには主走査方向に移動させる構成としてもよい。すなわち、移動ユニット11は、計測対象12を投光ユニット13及び撮像ユニット15に対して相対的に移動させるものであればよい。
このような三次元形状計測システム10に備わる各部の幾何学的位置関係について一例を用いて以下に説明するが、本発明はこれに限定されない。
本実施形態の三次元形状計測システム10では、撮像ユニット15のラインセンサ34は、その主走査方向の軸が移動テーブル41の載置面と平行になるように設置されている。ラインセンサ34の光軸と移動テーブル41の載置面とを平行にすることにより、計測対象12の上面を均一な倍率で撮像することができる。また、ラインセンサ34の光軸(主走査方向の軸)と副走査方向とを垂直にしているので、搬送しながら撮影した複数のライン画像からなる2次元画像には、直角部分が直角部分として撮像される。
また、投光ユニット13は、その光軸が撮像ユニット15の光軸に対して所定の角度を有するように設置されている。これにより、詳細は後述するが、計測対象12に投影した光パタンのずれに基づいて、計測対象12の高さを算出することができる。なお、撮像ユニット15及び投光ユニット13の幾何学的配置は設置時にあらかじめ計測しておいてもよいし、校正により算出してもよい。
このような三次元形状計測システム10の動作について説明すると以下の通りである。まず、画像解析・処理ユニット16から移動コントローラ22を介しての命令によって、移動ユニット11のサーボモータ42が移動テーブル41を初期設定位置にセットする。この初期設定位置は、撮像ユニット15が計測対象12を撮像する際の副走査方向の撮像開始位置を決定するものであり、撮像ユニット15の撮像領域が、移動ユニット11の移動テーブル41に載せられた計測対象12の副走査方向における端部に来るような位置であることが好ましい。
そして、投光ユニット13が計測対象12に光パタンを投影する。撮像ユニット15は、光パタンが投影された計測対象12を走査し、この計測対象12の画像を取得する。撮像ユニット15によって取得された画像は、画像解析・処理ユニット16に送信され、画像解析・処理ユニット16のキャプチャボード44によってデジタルデータに変換される。そして、画像解析・処理ユニット16の制御部45が光パタンを解析することによって、計測対象12の高さ情報が算出される。
ここで、本実施形態の三次元形状計測システム10では、画像中の光パタンを解析する際に、空間縞解析法を用いる構成となっている。これにより、撮像ユニット15に備わった1本のラインセンサ34が1回走査して取得した1つのライン画像から、計測対象12の、撮像ユニット15の走査領域(撮像領域)内での各位置における高さを求めることができる。なお、空間縞解析法の詳細については後述する。
そして、移動ユニット11は、画像解析・処理ユニット16の制御によって、計測対象12を副走査方向に所定の距離だけ移動させる。これにより、計測対象12における撮像ユニット15の撮像領域と投光ユニット13によって投影される光パタン14とが、所定の距離だけ副走査方向にずれることになる。この後、再び撮像ユニット15が計測対象12を走査し、ライン画像を取得する。ここで得られたライン画像には、計測対象12の、先ほどの走査領域よりも所定の距離だけ副走査方向にずれた領域が含まれることになる。得られた画像は、同様に画像解析・処理ユニット16に送信され、新しい走査領域内での各位置における三次元情報が求められる。
このように、移動ユニット11が再び計測対象12を所定の距離だけ移動させ、撮像ユニット15が計測対象12を撮像し、画像解析・処理ユニット16がライン画像を解析する処理を繰り返すことによって、計測対象12の全体の三次元形状が計測される。
なお、計測対象12の三次元形状情報のうち、ラインセンサ34の主走査方向の長さ及び副走査方向の長さ情報については、公知の方法によって計測する。具体的に説明すると、計測対象12の主走査方向の長さ情報は、ライン画像に撮像された計測対象の主走査方向の長さに基づいて算出する。一方、計測対象12の副走査方向の長さ情報は、移動ユニット11による移動速度に基づいて算出する。このように、計測対象12の主走査方向及び副走査方向の長さ情報と、高さ情報とを求めることによって、計測対象12の三次元形状情報を得ることができる。
なお、上記の所定の距離とは、撮像ユニット15の撮像領域の副走査方向における長さと等しいことが好ましい。これにより、上記の工程によって計測対象12の全領域を漏らすことなく迅速に計測することができる。
また、所定の距離ごとの撮像は、移動テーブル41を一定速度で移動させつつ、撮像ユニット15に一定時間ごとに撮像させることによって実現することができる。この場合、移動コントローラ22が、キャプチャボード44を介して、例えば数KHzオーダーの一定時間ごとに撮像駆動信号を撮像ユニット15に送信する。撮像ユニット15は、この駆動信号をトリガとして光パタンの投影された計測対象12の画像を取得する。一方、移動コントローラ22は、同様の一定時間ごとの搬送駆動信号を移動ユニット11にも送信する。移動ユニット11のサーボモータ42は、この搬送駆動信号をトリガとして移動テーブル41を一定速度で駆動する。これにより、所定の領域ずつ計測対象12を撮像することができる。
また、所定の距離ごとの撮像にリニアスケーラ43を利用してもよい。この場合、図4に示すように、リニアスケーラ43は移動ユニット11に設けられ、移動テーブル41が所定の距離だけ移動されるたびに、移動コントローラ22に対して信号を送信する。そして、移動コントローラ22は、この信号を受信すると、撮像ユニット15のラインセンサ34に対して撮像駆動信号を送信する。これにより、移動ユニット11の搬送速度ムラなどに左右されることなく、精確に所定の距離ごとの撮像を行うことが可能になり、その結果、三次元計測の精度が向上する。
さて、このような三次元形状計測装置の利点について説明する。本実施形態では、撮像ユニット15に含まれる読み取りセンサとして、ラインセンサ34を用いる構成となっている。例えば主走査方向の画素数が10000画素のラインセンサ34を用いる場合、主走査方向の長さが100mmの計測対象を、約10μmの分解能で撮像することができる。これに対して、例えば横方向の画素数が640画素のエリアカメラを用いる場合、横方向の長さが100mmの計測対象を、約150μmの分解能でしか撮像することができない。
さて、このような三次元形状計測装置の利点について説明する。本実施形態では、撮像ユニット15に含まれる読み取りセンサとして、ラインセンサ34を用いる構成となっている。例えば主走査方向の画素数が7500画素のラインセンサ34を用いる場合、主走査方向の長さが100mmの計測対象を、約13μmの分解能で撮像することができる。これに対して、例えば横方向の画素数が640画素のエリアカメラを用いる場合、横方向の長さが100mmの計測対象を、約150μmの分解能でしか撮像することができない。
また、上記のエリアカメラがラインセンサ34と同じ分解能で撮像するためには、主走査方向に所定の距離ずつ移動し、そして撮像するといった処理工程を最低でも12セット行う必要がある。この場合、主走査方向に撮像ユニット15を移動させ、撮像させるために多大な時間を要してしまう。
これに対して、本実施形態の三次元形状計測装置では、ラインセンサ34を用いることにより、計測対象12に対して高い分解能で高速な撮像を行うことが可能になる。
さらに、本実施形態では、撮像ユニット15によって読み取った各ライン画像を空間縞解析法によって解析する構成となっている。空間縞解析法では、1つのライン画像から光パタンの位相ずれを算出し、この位相ずれから三次元情報を算出することができる。よって、計測対象12に対して必要な延べ走査回数が1回で済むため、ラインセンサの数を1本のみにすることもできる。これにより、複数のラインセンサを平行に設置する構成に比べて、ラインセンサの設置を容易に行うことができるようになる。また、1本のラインセンサで複数回操作を行う構成と比べると、高速に計測を行うことが可能になる。
さらに、1度の走査によって取得した1つのライン画像のみに基づいて高さを計測できるため、走査と同時に三次元形状の計測を行うことも可能になる。これにより、例えば基板の検査を行う場合などに、計測対象となる基板上に何らかの製造上の不具合を発見した際に、最後まで撮像処理を繰り返すことなく直ちに計測を中断させることができ、基板の検査を迅速化することもできるようになる。
次に、画像解析・処理ユニット16による画像解析の詳細について説明する。まず、本実施形態の画像解析手法の原理について説明する。
画像解析・処理ユニット16は、光パタンの投影された計測対象12のライン画像を空間縞解析法に基づいて解析する。空間縞解析法とは、上述したように三角測量の原理に基づくものである。以下では、三角測量の原理、縞解析法、空間縞解析法について順番に説明する。
まず、三角測量の原理について説明する。図5は、三角測量の原理を示す図である。説明を簡単にするため、基準面と垂直な光軸を有する撮像ユニットCcによって基準面P0からの高さがhの平面Phを観測する場合を考える。また、投光ユニットCpは、基準面P0から見て撮像ユニットCcと同じ高さに配置され、光パタンを基準面P0上の点Oの位置に向けて投影するものとする。
基準面P0と平行で、高さhだけ離れた平面Phを観測する場合、点Oに向かう光パタンは点Pと交わる。このとき、撮像ユニットCcから見ると、基準面P0へ向けて投影された光パタンは、本来観測されるべき位置O(すなわち位置Q)から距離PQだけずれた位置Pに観測される。この位置ずれPQを位相差という。
位相差を算出することができれば、次の式(1)
によって高さhを算出することができる。
次に、縞解析法について説明する。本実施形態では、計測対象12に投影する光パタンとして、正弦波状の光パタンを用いる。正弦波状の光パタンとは、輝度が正弦関数によって表されるグラデーションを有するパタンのことをいう。換言すれば、位置と輝度との関係が正弦関数によって表される光パタンのことを正弦波状の光パタンという。正弦波状の光パタンの一例を図6に示す。
このような光パタンを、図7(a)、図7(b)に示すような計測対象12に投影した場合、投影される光パタンを上面から観測すると図8(a)のようになる。すなわち、斜め方向から投影された光パタンは、高さを有する凸部において歪みを生じることになる。このように光パタンが投影された計測対象12を撮像ユニット15のラインセンサ34によって走査すると、走査位置と輝度との関係は図8(b)のようになる。
図8(b)の上段に示すように、凸部のない基準面に投影された光パタンは、常に一定の周期で輝度が変化する。これに対して、図8(b)の下段に示すように、凸部に投影された光パタンは凸部の傾斜によって輝度の周期が変化し、その結果、基準面に投影された光パタンに対して位相のずれを生じることになる。よって、実際に計測対象12に光パタンを投影して撮像した画像(ライン画像)に含まれる或る位置の画素における光パタンの位相と、基準面に光パタンを投影した場合の同画素の位相(基準位相)との差を求めれば、その画素に対応する位置における計測対象12の高さを上記の三角測量の原理に基づいて求めることができる。
上記の位相差を算出するにあたって、基準位相は、基準面に光パタンを投影して撮像することなどによって予め求めておくことができる。一方、実際に計測対象に光パタンを投影して撮像した画像(ライン画像)に含まれる各位置の画素における光パタンの位相の求め方には、大別して2通りある。空間縞解析法と時間縞解析法との相違点は、この位相の求め方にある。
図8(b)に示すように、正弦関数では、或る一つの変位を与える位相が1周期内に2つ存在する。例えば、y=sinθによって表される関数において、変位y=0を与える位相θは0及びπの2つ存在する。また、変位y=1/2を与える位相θはπ/6及び5π/6の2つ存在する。このような理由から、撮像した画像において、単一の画素の輝度値(正弦関数の変位に相当)のみから、その画素における光パタンの位相を求めることはできない。
ここで、従来用いられてきた手法である時間縞解析法では、所定の量だけ位相をずらした光パタンを計測対象に投影して再び計測対象を撮像し、2つの画像を解析することによって位相を1つに決定する。つまり、初めに撮像した画像における或る画素の輝度を基に、その画素における光パタンの位相を2つに絞り込み、次に撮像した画像におけるその画素の輝度を基に、光パタンの位相を1つに特定する。従って、時間縞解析法を用いる場合は、計測対象の反射特性が厳密に一様であったとしても、計測対象を最低でも2回撮像しなければならないことが分かる。
一方、空間縞解析法では、位相を求める画素(以下「注目画素」という)及びその周辺の画素の輝度に基づいて、注目画素における位相を算出する。例えば、上記の例において変位y=0を与える位相θは0及びπの2つあるが、ここで、注目画素における位相が0の場合とπの場合とでは、周辺の画素の輝度が異なることになる。もし、注目画素における位相が0の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍の画素に基づいて、光パタンの位相を1つに決定することができる。このように、注目画素の近傍に存在する画素の輝度値に基づいて、注目画素における位相を決定するのが空間縞解析法の特徴である。
本実施形態の三次元形状計測装置に用いられる空間縞解析法の具体的な処理工程について以下に詳述するが、本発明はこれに限定されず、上述した縞解析法の原理に基づいたものであればどのようなものであってもよい。
本実施形態では、撮像したライン画像から、光パタンを90°移相した移相光パタンを仮想的に作成する。ここで、投影する光パタンを、次の式(2)
とすると、この光パタンを90°移相した移相光パタンは、次の式(3)
と表される。従って、位置xにおける画素の位相φ(x)は、次の式(4)
で求めることができる。
ここで、I(x)の値は、主走査方向の位置xにおける画素の輝度値である。一方、I^(x)(以下、ハットのついたI(x)を便宜的にこのように記述する)の値の算出には、Hilbert変換を用いる。すなわち、移相光パタンによる位置xにおける輝度値I^(x)は、次の式(5)
で表される。ここで、取得できる輝度データは画素ごとのデータ、つまり離散的なものであるため、上記の式(5)を次の式(6)
のように近似する。この式(6)によって、I^(x)の値を求めることができる。
以上より、輝度値I(x)を取得すれば、上記の式(6)からI^(x)の値を求め、上記の式(4)から位相φ(x)を求めることができる。そして、求めた位相φ(x)と基準面における位相φ(x)との位相差Δφ(x)により、上述した三角測量の原理に基づいて、位置xにおける高さzを算出することができる。
高さzは、具体的には、基準面からの距離として算出され、次の式(7)
によって求めることができる。なお、上記の式(7)において、A(x,z)及びB(x,z)は、パタン周期やカメラから基準面までの距離、パタンの投影角度などの幾何学的配置に依存して各画素ごとに決まる関数である。ただし、これらの関数は、未知数zの関数なので、厳密な形を算出するのは困難である。従って、本実施形態では、予め距離が既知(z,z,…,z)の校正用ターゲット21を観測して、{A(x,z),B(x,z)}、{A(x,z),B(x,z)}…{A(x,z),B(x,z)}の値を各画素xごとに算出し、これを用いて直線近似やスプライン関数近似でzの関数形を推定している。
次に、画像解析・処理ユニット16の構成について説明する。図9は、画像解析・処理ユニット16の制御部45及び記憶部46の機能ブロック図である。画像解析・処理ユニット16の制御部45は、背景除去部(背景除去手段)51、輝度取得部52、Hilbert変換部53、位相算出部(位相算出手段)54、位相差算出部55、パラメータ算出部(パラメータ算出手段)56、パラメータ選択部(パラメータ選択手段)57、及び高さ算出部(高さ算出手段)58を備えている。これらの各部は、CPU(Central Processing Unit)に各種制御プログラムを実行させることによって実現される。あるいはその代わりに、図示しないDSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)などによって実現してもよい。
また、画像解析・処理ユニット16は記憶部46を備えており、記憶部46はRAM(Random Access Memory)、ROM(Read Only Memory)、外部記憶装置などの何れか1つ又はそれらの組み合わせによって実現されている。記憶部46には、逆正接DB(Database)61、基準位相DB62、校正用ターゲットDB63、パラメータDB64、及び三次元形状DB65が存在する。
逆正接DB61は、y=tan-1xによって表される関数におけるyとxとの対応を示すデータベースであり、xの値と、tan-1xの値とが予め関連付けて格納されている。これにより、xの値に基づいて、その逆正接の値yを検索することができる。
基準位相DB62は、光パタンを投影した基準面(高さが常に0の平面)を撮像したライン画像の各画素における光パタンの位相(以下「基準位相」という)を予め格納したデータベースであり、ライン画像に含まれる画素の主走査方向の位置xと、その画素における基準位相φ(x)とが関連付けて格納されている。これにより、ライン画像に含まれる画素の位置xの情報に基づいて、その画素における基準位相φ(x)を検索することができる。なお、基準位相DB62は、校正モードにおいて、記憶部46に予め格納または更新されることが望ましい。
校正用ターゲットDB63は、校正用ターゲット21の第k段(1≦k≦n、kは整数)において隣接する下段(第(k−1)段、但し第0段は底面(基準面)とする)との段差ΔHを予め格納したデータベースであり、校正用ターゲット21における階段の順番kと段差ΔHとが関連付けて格納されている。校正モードにおいて、校正用ターゲット21の段差ΔHを利用することにより、上記の式(7)におけるパラメータA(x,z)、B(x,z)を算出することができる。
なお、校正用ターゲットDB63は、上記段差ΔHに代えて、底面からの高さを格納してもよい。また、上記段差ΔHが各段で等しい場合には、上記段差ΔHを上記階段の順番kと関連付ける必要はなく、上記段差ΔHのみを校正用ターゲットDB63に格納すればよい。この場合、校正用ターゲットDB63による記憶部46の負担を軽減できる。
また、上記階段の順番kに関連付けられた段差ΔHを、ライン画像に含まれる画素の主走査方向の位置xとさらに関連付けて格納されてもよい。この場合、主走査方向の位置xに応じて段差ΔHが変化する場合、すなわち校正用ターゲット21における平面どうしが平行でない場合にも対応することができる。
また、校正用ターゲットDB63は、第k段の奥行きLを、上記階段の順番kと関連付けて格納されてもよい。この場合、移動テーブル41が副走査方向に上記奥行きLだけ移動することにより、次段(第(k+1)段)に光パタンを照射することができ、次段の段差ΔHを利用することにより、上記の式(7)におけるパラメータA(x,z)、B(x,z)を算出することができる。
パラメータDB64は、各画素における上記パラメータA(x,z)、B(x,z)を、校正モードにおいて格納したデータベースであり、ライン画像に含まれる画素の主走査方向の位置xと、その画素におけるパラメータA(x,z)、B(x,z)とが関連付けて格納されている。これにより、ライン画像に含まれる画素の位置xの情報に基づいて、その画素におけるパラメータA(x,z)、B(x,z)を検索することができる。
三次元形状DB65は、計測によって得られた計測対象12の三次元形状情報を格納するためのデータベースである。この三次元形状DB52には、計測対象12の表面上の点を特定するx座標(主走査方向に相当)、y座標(副走査方向に相当)、z座標(高さに相当)が関連付けて格納される。これにより、計測終了後に、計測対象12のx座標及びy座標に基づいて、その位置における高さ(z座標)を検索することができる。
背景除去部51は、キャプチャボード44から取得したライン画像から背景成分を除去するものである。背景除去部51は、背景成分を除去したライン画像を輝度取得部52及びHilbert変換部53に送信する。具体的には、背景除去部51は、光パタンを投影した状態で計測対象12を撮像したライン画像と、光パタンを投影せずに一様な輝度の光を照射した状態で計測対象12を撮像した対照ライン画像とを取得し、光パタンを投影した状態のライン画像における各画素の輝度値を、上記対照ライン画像の対応する画素の輝度値で除算している。
図10(a)は、光パタンを投影した状態の上記ライン画像の一例を示しており、図10(b)は、上記対照ライン画像の一例を示している。同図(b)に示すように、計測対象12に一様な輝度の光を照射しても、撮像した画像にはムラ(斑)が生じていることが理解できる。これは、計測対象12の各部位における反射特性の相違に起因する。上記ムラは、同図(a)に示すように、光パタンを投影した状態のライン画像にも生じることになり、上記ライン画像を用いて算出される位相に誤差が生じることになる。
光パタンを投影した状態の上記ライン画像の輝度値g(x)は次の式(8)
で表される。ここで、A(x)は計測対象12の反射率、Iは計測対象12に照射する光の平均強度、Bは光パタンの振幅、kは光パタンの周波数、かつΦは計測対象12の高さによる位相変調である。
一方、上記対照ライン画像の輝度値g(x)は次の式(9)
で表される。
上記の式(8)を上記の式(9)で除算すると、次の式(10)
となり、計測対象12の各部位に依存する反射率A(x)が除去される。
図11は、高さ一定の計測対象12に関して、背景成分が除去されたライン画像の輝度値と、該ライン画像を用いて算出される位相とを示している。図示において、左側の縦軸は、背景除去後の信号量であり、右側の縦軸は、位相(rad)であり、かつ、横軸は、ライン画像に含まれる画素の主走査方向の位置xである。
図11を参照すると、背景成分が除去されたライン画像の輝度値は、光パタンと同様の正弦関数となり、上記ライン画像を用いて算出される位相は、増加率が一定となっており、上記ムラが除去されていることが理解できる。したがって、計測対象12の各部位における反射特性の相違に起因する誤差を軽減できるようになる。
なお、ライン画像における背景成分の除去を行う場合は、撮像ユニット15が光パタンを投影した状態と投影していない状態とで2回の走査を行う構成としてもよいし、撮像ユニット15と同様の第2の撮像ユニットをさらに設け、この第2の撮像ユニットが対照ライン画像を取得する構成としてもよい。
上記2回の走査を行う場合には、投光ユニット13に備えるパタン生成素子32を液晶素子によって構成することが好ましい。これにより、光パタンのオン/オフを容易に切り換えることができるようになる。あるいは、ガラス又はフィルムの表面に、パタンを形成した領域とパタンを形成していない領域とを有するパタン生成素子32を作製しておき、ガラス又はフィルムをずらすことによって、パタンの有無を切り換えてもよい。
輝度取得部52は、背景除去部51からのライン画像データ、すなわち背景成分の除去されたライン画像データから、位置xにおける画素の輝度値I(x)を取得するものである。輝度取得部52は、取得した輝度値を位相算出部54に送信する。
Hilbert変換部53は、背景除去部51からのライン画像データ、すなわち背景成分の除去されたライン画像データから、上記の式(6)に基づいて、位置xにおける移相光パタンによる画素の輝度値I^(x)を算出するものである。Hilbert変換部53は、算出した輝度値を位相算出部54に送信する。
位相算出部54は、輝度取得部52からの輝度値I(x)と、Hilbert変換部53からの輝度値I^(x)とを用い、上記の式(4)に基づいて、位置xにおける光パタンの位相を算出する。なお、位相算出部54は、輝度値I(x)を輝度値I^(x)で除算した後、その逆正接の値を、逆正接DB61を参照することによって求めてもよい。
位相算出部54は、算出した位相を位相差算出部55に送信する。また、校正モードの場合には、位相算出部54は、基準面に光パタンを投影して撮像したライン画像に関して算出された、位置xにおける光パタンの位相を基準位相として、基準位相DBに格納してもよい。
位相差算出部55は、位相算出部54から位置xにおける光パタンの位相φ(x)を受信するとともに、基準位相DB62を参照して位置xにおける光パタンの基準位相φ(x)を取得し、上記位相φ(x)から上記基準位相φ(x)を減算することによって、位置xにおける位相差(位相のずれ)Δφ(x)を算出するものである。位相差算出部55は、算出した位相差をパラメータ算出部56、パラメータ選択部57、及び高さ算出部58に送信する。
パラメータ算出部56は、校正モードで実行されるものであり、上記の式(7)におけるパラメータA(x,z)、B(x,z)を算出するものである。具体的には、パラメータ算出部56は、まず、位相差算出部55から位置xにおける光パタンの位相差Δφ(x)を受信するとともに、校正用ターゲット21において光パタンが照射されている階段における段差ΔHを、校正用ターゲットDB63を参照して取得する。次に、パラメータ算出部56は、上記位相差Δφ(x)と上記段差ΔHとを利用して、上記パラメータA(x,z)、B(x,z)を算出する。
この算出方法について説明する。図12は、ライン画像に含まれる画素の主走査方向の位置xと、光パタンの位相φ(x)との関係を、基準面(Z平面)、校正用ターゲット21の第1段(Z平面)、及び校正用ターゲット21の第2段(Z’平面)ごとに示すグラフである。図中、Z平面に関するグラフは実線で示し、Z平面に関するグラフは一点鎖線で示し、Z’平面に関するグラフは二点差線で示している。
図12を参照すると、同じ位置xであっても、高さが異なると位相φ(x)が異なることが理解できる。そこで、或る位置xにおいて、Z平面に関する位相からZ平面に関する位相を減算した位相差をΔPとし、Z’平面に関する位相からZ平面に関する位相を減算した位相差をΔP’とし、Z平面からZ平面までの高さをΔHとし、Z平面からZ’平面までの高さをΔH’として、上記の式(7)に代入すると、次の式(11)
が得られる。したがって、上記の式(11)を用いて上記パラメータA(x,z)、B(x,z)を算出することができる。
なお、段差が等しい、すなわちΔH’=2ΔHである場合、上記の式(11)は次の式(12)
となり、演算を簡略化することができる。
また、パラメータ算出部56は、算出したパラメータA(x,z)、B(x,z)を、位置xと高さzとに関連付けてパラメータDB64に格納する。図13(a)は、パラメータDB64に格納されるパラメータAのテーブルの内容を示しており、同図(b)は、パラメータDB64に格納されるパラメータBのテーブルの内容を示している。同図(a)(b)を参照すると、基準面Z及び校正用ターゲット21における各階段の平面Zのそれぞれと、画素番号のそれぞれとに対応して、パラメータA・Bが格納されていることが理解できる。
パラメータ選択部57は、計測モードで実行されるものであり、パラメータDB64を参照して、位相差算出部55からの位相差Δφ(x)に対応するパラメータA(x,z)、B(x,z)を選択するものである。具体的には、パラメータ選択部57は、位置xに対応する画素番号と、位相差Δφ(x)に対応する基準面Z及び校正用ターゲット21の平面Zとに対応するパラメータA、Bを選択している。パラメータ選択部57は、選択したパラメータA、Bを、高さ算出部58に送信する。
したがって、校正用ターゲット21の段数が多いほど、パラメータA・Bを多数格納することになり、パラメータ選択部57が適切なパラメータA・Bを選択できるので、計測精度を向上させることができる。
高さ算出部58は、計測モードで実行されるものであり、位相差算出部55からの位相差Δφ(x)とパラメータ選択部57からのパラメータA、Bとから、上記の式(7)に基づいて、位置xにおける計測対象12の高さzを算出するものである。高さ算出部58は、算出した高さzを、主走査方向の座標x及び副走査方向の座標yと関連付けて、三次元形状DB65に格納する。
続いて、上記構成の三次元形状計測システム10における処理動作について説明する。三次元形状計測システム10は、まず校正モードに移行して校正を行った後に、計測モードに移行して計測対象12の三次元形状を計測している。
校正モードでは、図1に示すように、移動テーブル41上に校正用ターゲット21が適所に載置され、まず、基準面Zを利用して校正が行われ、次に、校正用ターゲット21の各段を利用して校正が行われる。図14は、校正モードにおいて画像解析・処理ユニット16が行う処理動作を示している。
ラインセンサ34を有する撮像ユニット15が撮像したライン画像は、画素がラインセンサ34の主走査方向に連続して配列された画像となっている。この直線状に画素が配列されたライン画像において、画像解析・処理ユニット16は、その一端部から他端部(終端)に向かって順次校正を行う。よって、まず、主走査方向における画素の位置xを0にセットする(ステップS11)。また、投光ユニット13が光パタンを基準面Zに投影して、撮像ユニット15が撮像を行うように、移動テーブル41を副走査方向(y方向)の基準位置(y=0)に移動させる(ステップS11)。
次に、画像解析・処理ユニット16は、位置xにおける位相φ(x)を取得する(ステップS12)。図15は、位置xにおける位相φ(x)を取得するサブルーチンを示している。
図15に示すように、まず、輝度取得部52は、背景除去部51にて背景成分が除去されたライン画像データから、位置xにおける画素の輝度値I(x)を取得する(ステップS31)。続いて、Hilbert変換部53が、ライン画像データから、上記の式(6)に基づいて、位置xにおける移相光パタンによる画素の輝度値I^(x)を算出する(ステップS32)。なお、ステップS32を行った後に、ステップS31を行ってもよいし、ステップS31及びステップS32を同時に行ってもよい。
次に、位相算出部54は、ステップS31にて取得された位置xにおける輝度値I(x)と、ステップS32にて取得された位置xにおける輝度値I^(x)とから、上記の式(4)に基づいて、位置xにおける光パタンの位相φ(x)を算出する(ステップS33)。そして、位置xにおける位相φ(x)を取得する処理を終了し、元のルーチンに戻る。
図14に戻ると、位相算出部54は、ステップS12にて取得された位置xにおける位相φ(x)を、位置xにおける基準位相φ(x)として、位置xと関連付けて基準位相DB62に格納する(ステップS13)。続いて、位置xがライン画像の終端であるか否かを判定する(ステップS14)。ここで、位置xがライン画像の終端でない場合は、注目画素の位置を主走査方向に1画素分ずらすために、xの値を1つ増やす(ステップS15)。そして、ステップS12に戻る。一方、位置xがライン画像の終端である場合は、ステップS16に進む。
ステップS16では、画像解析・処理ユニット16は、移動コントローラ22に指示し、移動コントローラ22が移動ユニット11を制御して、校正用ターゲット21の最初の段に光パタンが照射されるように、移動テーブル41を−y方向に移動させる。続いて、主走査方向における画素の位置xを0にセットする(ステップS17)。
次に、画像解析・処理ユニット16は、図15に示す処理を行って、位置xにおける位相φ(x)を取得する(ステップS18)。次に、位相差算出部55は、取得した位置xにおける位相φ(x)から、基準位相DB62を参照して取得した位置xにおける基準位相φ(x)を減算することによって、位置xにおける位相差Δφ(x)を算出する(ステップS19)。
次に、パラメータ算出部56は、校正用ターゲットDB63を参照して、校正用ターゲット21にて光パタンが照射されている段の位置xにおける高さを取得する(ステップS20)。次に、パラメータ算出部56は、ステップS19にて取得された位置xにおける位相差Δφ(x)と、ステップS20にて取得された位置xにおける高さとを用いて、上記の式(11)または上記の式(12)に基づいて、位置xにおけるパラメータA、Bを算出する。算出されたパラメータA、Bは、位置xと、基準面Z又は校正用ターゲット21の平面Zとに関連付けて、パラメータDB64に格納される。
続いて、位置xがライン画像の終端であるか否かを判定する(ステップS22)。ここで、位置xがライン画像の終端でない場合は、注目画素の位置を主走査方向に1画素分ずらすために、xの値を1つ増やす(ステップS23)。そして、ステップS18に戻る。一方、位置xがライン画像の終端である場合は、ステップS24に進む。
ステップS24では、位置yが、校正用ターゲット21の終段(最上段)に対応する位置であるか否かを判定する。ここで、位置6が校正用ターゲット21の終段に対応する位置でない場合は、画像解析・処理ユニット16は、移動コントローラ22に指示し、移動コントローラ22が移動ユニット11を制御して、校正用ターゲット21の次の段に光パタンが照射されるように、移動テーブル41を−y方向に移動させる(S25)。そして、ステップS17に戻る。一方、位置yが校正用ターゲット21の終段である場合は、校正モードの処理を終了する。
図16は、計測モードにおいて画像解析・処理ユニット16が行う画像解析処理を示している。画像解析・処理ユニット16は、直線状に画素が配列されたライン画像において、その一端部から他端部に向かって順次高さを算出する。よって、まず、主走査方向における画素の位置xを0にセットする(ステップS41)。
次に、画像解析・処理ユニット16は、図15に示す処理を行って、位置xにおける位相φ(x)を取得する(ステップS42)。次に、位相差算出部55は、ステップS19と同様にして、位置xにおける位相差Δφ(x)を算出する(ステップS43)。次に、パラメータ選択部57は、パラメータDB64を参照して、位置xと、ステップS43にて算出された位相差Δφ(x)とに対応するパラメータA、Bを選択する(S44)。
次に、高さ算出部58は、ステップS43にて算出された位相差Δφ(x)と、ステップS44にて選択されたパラメータA、Bとから、上記の式(7)に基づいて、位置xにおける計測対象12の高さzを算出する(ステップS45)。高さ算出部58は、このようにして算出した高さzを、主走査方向の座標x及び副走査方向の座標yと関連付けて、三次元形状DB65に格納する(ステップS46)。
続いて、位置xが直線状のライン画像の終端であるか否かを判定する(ステップS47)。ここで、位置xがライン画像の終端である場合は、画像解析処理を終了する。一方、位置xがライン画像の終端でない場合は、注目画素の位置を主走査方向に1画素分ずらすために、xの値を1つ増やす(ステップS48)。そして、ステップS42に戻る。
上記のステップS42からステップS48の処理を繰り返すことにより、三次元形状DB65には、計測対象12の主走査方向に沿った各位置における高さ情報が蓄積される。また、上記の画像解析処理が終了すると、移動ユニット11が計測対象12を副走査方向にずらし、その後、撮像ユニット15が計測対象12を再び撮像し、撮像によって得られたライン画像に基づいて再び上記の画像解析処理が行われる。これにより、三次元形状DB65には、副走査方向に沿った各位置における高さ情報も順次蓄積され、最終的に、計測対象12全体の三次元形状情報が蓄積される。
なお、上記のステップS32において、式(6)に基づいて位置xにおける移相光パタンの輝度値を求める際に、式(6)のパラメータNの値を可変にすることが好ましい。これは、位置xにおける移相光パタンの輝度を算出する際に用いる注目画素近傍の画素の数を可変にすることを意味する。あるいは、空間縞解析法で用いるフィルタのサイズを可変にするともいえる。
この場合、例えば図9に示すように、式(6)におけるパラメータNの値を入力するための入力機能と、入力されたパラメータNの値をHilbert変換部53に設定する設定機能とを有する入力・設定部59を画像解析・処理ユニット16にさらに設ければよい。これにより、ユーザなどによって入力されたパラメータNの値(すなわち、算出に用いる近傍画素の数)に基づいて、Hilbert変換部53が移相光パタンの輝度値I^(x)を算出するようになる。
ここで、Nの値を大きくする(すなわちフィルタのサイズを大きくする)と、より多くの画素に基づいて位相を算出することになり、最終的に求められる高さ情報の算出精度が向上する。一方、Nの値を小さくする(すなわちフィルタのサイズを小さくする)と、I^(x)の算出に必要な演算回数が少なくなり、算出速度が向上する。また、注目画素近傍の画素に黒点などの輝度の不連続点が含まれ難くなるので、不連続点による誤差伝搬の影響を抑制することもできる。
それ以外にも、撮像ユニット15によって撮像されたライン画像に対して、輝度取得部52及びHilbert変換部53に送信する前に前処理を行ってもよい。前処理の内容としては、例えばライン画像に含まれるノイズの除去などが挙げられる。さらに、位相算出部54が位相を算出した後に、算出した位相に対して後処理を行ってもよい。例えば、位相算出部54と位相差算出部55との間にPLL(Phase Locked Loop)部をさらに設け、ノイズによる誤差を軽減することなどが挙げられる。
なお、上記の前処理は、図15に示すステップS31よりも前に行えばよく、一方上記の後処理は、図14に示すステップS18とステップS19との間、及び、図16に示すステップS42とステップS43との間に行えばよい。
以上により、画像解析・処理ユニット16は、校正用ターゲット21と、撮像ユニット15によって撮像されたライン画像とを基に、校正を行うことができると共に、撮像ユニット15によって撮像されたライン画像を基に、計測対象12の三次元形状を計測することができる。
次に、計測対象12に投影する光パタンの好ましい変形例について説明する。
本実施形態の三次元形状計測システム10や、上述した特許文献1や非特許文献1の装置(以下「従来の装置」という)では、計測対象12に投影する光パタンの輝度が、ラインセンサ34の主走査方向に沿って変化する構成となっている。ここで、従来の装置では、位相をずらした最低2種類の光パタンを計測対象に投影した状態で撮像するために、光パタンの輝度の変化のピッチが最も小さくなる方向(以下「最小ピッチ方向」という)を、ラインセンサの主走査方向と異ならせる必要があった。なぜならば、それら2つの方向を一致させてしまうと、ラインセンサの主走査方向に対して垂直な方向の搬送方向に計測対象を搬送しても、計測対象の同一部分に投影される光パタンの位相がずれないからである。
一方、本実施形態の三次元形状計測システム10では、光パタンが投影された計測対象12をラインセンサ34によって撮像して得られた1つのライン画像のみに基づいて、光パタンの位相、ひいては位相差を算出することができる。従って、光パタンの最小ピッチ方向をラインセンサ34の主走査方向と一致させても何ら問題は生じない。
ここで、ラインセンサ34によって撮像したライン画像において、光パタンの輝度のピッチは、高さ計測を行う上で、計測精度を決定する重要な因子になる。具体的には、ピッチを小さくすればするほど計測精度が向上する。そして、ラインセンサ34が撮像したライン画像において光パタンの輝度のピッチが最も小さくなるのは、光パタンの最小ピッチ方向が、ラインセンサ34の主走査方向と一致する場合である。従って、本実施形態の三次元形状計測システム10において、計測対象12に対して投影される光パタンの最小ピッチ方向は、ラインセンサ34の主走査方向と平行である(一致している)ことが好ましい。
ところで、従来の装置では、光パタンを複数のラインセンサで撮像するため、複数のラインセンサそれぞれの撮像領域に対して光パタンを投影する必要がある。ここで、複数のラインセンサのそれぞれに個別の専用の投影部を設ける場合、投影される光パタンが投影部ごとにバラついてしまうという問題が生じる。このような問題から、投影部を1つにすることが一般的となっている。ここで、投光ユニットを1つにするためには、複数のラインセンサの撮像領域全てカバーできる光パタンを投影する必要がある。
しかしながら、本実施形態の三次元形状計測システム10では、単一のラインセンサ34を用いて計測対象12を撮像する構成であるため、投光ユニット13によって投影される光パタンは、単一のラインセンサ34の撮像領域のみをカバーすればよい。よって、本実施形態の三次元形状計測システム10において、投影する光パタンは、図1および図2のように二次元方向に広がったものでなくてもよい。
この際、光パタンのエネルギー効率を高める上では、投光ユニット13が、集光した光パタンを投影することが好ましい。具体的には、投光ユニット13が、図17に示すように、ラインセンサ34の主走査方向に延在する1軸に集光した直線形状の光パタン(厳密には副走査方向に微小有限幅を有する)を計測対象12に投影することが好ましい。この場合、投光ユニット13は、光パタンを1軸集光するための1軸集光素子を備え、この1軸集光素子によって光パタンを主走査方向に延在する直線形状に集光すればよい。この直線形状の光パタンは、ラインセンサ34の撮像領域をカバーするように投影される。
なお、上記1軸集光素子の具体例としては、フレネルレンズ又はシリンドリカルレンズなどが挙げられる。これらのレンズをパタン生成素子32と計測対象12との間に配置すれば、計測対象12に対して1軸に集光した光パタンを投影することができる。
次に、本実施形態の三次元計測装置10の変形例について説明する。上記の説明では、撮像ユニット15が1本のラインセンサ34のみを備える構成としたが、本発明はこれに限定されず、複数のラインセンサを備えていてもよい。複数本のラインセンサを備えることにより、ラインセンサの輝度ノイズを統計的に除去することができ、三次元形状計測の安定性を向上させることができる。あるいは、計測対象12の同一部分を複数回撮像することによってノイズを除去する構成にしてもよい。
また、本実施形態では、ラインセンサ34が、校正用ターゲット21の何れの平面を撮像しているかを識別するため、校正用ターゲット21の各段の奥行きLを校正用ターゲットDB63に格納しているが、例えば図18または図19に示す校正用ターゲット21を利用してもよい。
図18は、校正用ターゲット21の各段に、各平面を識別するラインパターン(識別情報)71が施された校正用ターゲット21を示している。ラインセンサ34が撮像したライン画像から上記ラインパターン71を検出することにより、ラインセンサ34が現在撮像している平面を特定することができる。また、背景除去部51は、ライン画像の背景成分を除去する場合に、ラインパターン71も除去されるので、位相φ(x)を算出するときにラインパターン71による影響を受けることが無い。なお、図示の場合では、各平面を識別する識別情報として、ラインパターン71を利用しているが、バーコード、アイコンなどの任意のマークを利用することができる。
図19は、校正用ターゲット21の各段に、それぞれ異なる輝度の色が一様に施こされた校正用ターゲット21を示している。ラインセンサ34が撮像したライン画像または対照ライン画像の平均輝度値を求めることにより、ラインセンサ34が現在撮像している平面を特定することができる。また、背景除去部51は、ライン画像の背景成分を除去する場合に、校正用ターゲット21に施された輝度成分も除去されるので、位相φ(x)を算出するときに、校正用ターゲット21に施された輝度成分による影響を受けることが無い。
また、本実施形態では、三次元形状計測システム10は、別々の構成となっているが、それらの構成の一部または全部を一体の構成とすることもできる。
また、入力・設定部(設定手段)59は、記憶部46の校正用ターゲットDB63に格納された段差ΔHを変更できることが望ましい。この場合、校正用ターゲット21を作成した後に、公知の測定手段により、上記段差ΔHを精度よく測定して、記憶部46に記憶させることができるので、校正用ターゲット21の作成精度を緩和できる。
また、校正用ターゲット21の各段における平面は、光パタン14を鏡のように反射するよりも、拡散反射するように表面が処理されていることが望ましい。この場合、ラインセンサ34が撮像した画像に、いわゆる「白とび」が発生することを防止できる。
また、本実施形態では、ライン画像を空間縞解析法に基づいて解析しているが、時間縞解析法に基づいて解析することもできる。
〔実施の形態2〕
次に、本発明の別の実施形態について図20〜図26に基づいて説明すると以下の通りである。図20は、本実施形態に係る三次元形状計測システム80の概略構成を示す図である。図20に示す三次元形状計測システム80は、図1に示す三次元形状計測システム10に比べて、校正用ターゲットの構成が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
図21は、本実施形態の三次元形状計測システム80にて利用される校正用ターゲット81の外観を示す図である。図21に示す校正用ターゲット81は、図3に示す校正用ターゲット21に比べて、階段状の構造が傾斜面82となっている点が異なる。また、校正用ターゲット81は、傾斜面82の高さが計測レンジD以上であり、傾斜面82の幅Wが撮像ユニット15の撮影可能範囲以上である。さらに、校正用ターゲット81は、底面83に対する傾斜面82の角度である傾斜角αが既知である。
上記構成の三次元形状計測システム80の校正モードにおいて、校正用ターゲット81の傾斜面82における或る高さの領域に投影された光パタン14を撮像ユニット15が撮影し、次に、傾斜面82における別の高さの領域に投影された光パタン14を撮像ユニット15が撮影するように、移動ユニット11を移動させることにより、高さの校正を行っている。
本実施形態の三次元形状計測システム80は、図1に示す三次元形状計測システム10と同様の作用効果を奏すると共に、さらに下記の効果を奏する。すなわち、本実施形態の校正用ターゲット81は、図3に示す校正用ターゲット21に比べて、表面形状が簡略化されるので、校正用ターゲット81の作製が容易となる。
また、校正を行う高さ間隔Δzは、段差ΔHで規定されることが無く、任意の設定とすることができる。具体的には、図21に示すように、移動ユニット11の移動により光パタン14の照射領域(ラインセンサ34の読取り領域)がy方向に移動した移動量Δyと、上記高さ間隔Δzとの関係は、次の式(13)
Δz/Δy=tanα …(13)
となる。従って、上記移動量Δyを種々に設定することにより、上記高さ間隔Δzを種々に設定することができる。
上記構成の三次元形状計測システム80の校正モードにおいて画像解析・処理ユニット16が行う処理動作は、図14に示す処理動作に比べて、下記の点が異なり、その他の処理動作は同様である。
すなわち、ステップS16の処理動作に代えて、画像解析・処理ユニット16は、移動コントローラ22に指示し、移動コントローラ22が移動ユニット11を制御して、校正用ターゲット81の傾斜面82の下端、または下端からy方向に所定距離離れた領域を光パタン14が照射するように、移動テーブル41を−y方向に移動させる処理動作を行う。なお、上記所定距離は任意に設定できる。
また、ステップS25の処理動作に代えて、画像解析・処理ユニット16は、移動コントローラ22に指示し、移動コントローラ22が移動ユニット11を制御して、現在の照射領域からy方向に距離Δy離れた領域を光パタン14が照射するように、移動テーブル41を−y方向に移動させる処理動作を行う。
ところで、上記の式(13)が成り立つには、y方向、すなわち、ラインセンサ34の副走査方向(搬送方向の反対向き)が、校正用ターゲット81における傾斜面82と底面83との交線に垂直である必要がある。換言すれば、上記の式(13)が成り立つには、x方向、すなわちラインセンサ34の主走査方向が、上記交線と平行である必要がある。上記交線がx方向から角度βだけ傾いている場合、上記の式(13)は、次の式(14)
Δz/Δy=tanα×cosβ …(14)
となる。従って、校正用ターゲット81における傾斜面82と底面83との交線が、ラインセンサ34の主走査方向から傾いている場合、その傾きβを取得する必要がある。
図22は、上記傾きβを取得可能な校正用ターゲットの一例を示している。図示の校正用ターゲット81aは、図21に示す校正用ターゲット81に比べて、傾斜面82の下端部から台部84が突出している点が異なり、その他の構成は同様である。この台部84は、上面が底面83と平行に形成されている。従って、台部84の上面と傾斜面82との交線85は、底面83と傾斜面82との交線に平行となるので、ラインセンサ34が読み取った画像から交線85を認識できれば、上記傾きβを算出でき、高さの校正を行うことができる。
上記構成の校正用ターゲット81aに対し、投光ユニット13から投影された光パタン14を、撮像ユニット15のラインセンサ34が読み取って光パタン14の位相φ(x)を算出し、これをラインセンサ34の読取り領域を副走査方向yに移動して繰り返す。図23は、ラインセンサ34の読取り領域を副走査方向yに移動した場合に、主走査方向の或る画素位置xにおける光パタン14の位相φ(x)がどのように変化するかを示している。図示のように、光パタン14の位相φ(x)は、y方向の或る位置までは一定であり、その後、y方向に進むにつれて減少している。
ここで、図12を参照すると、或る画素位置xにおける光パタン14の位相φ(x)は、高さが一定である場合に一定であり、高さが上昇するにつれて低下することが理解できる。このことから、図23において、位相φ(x)が一定から減少に変化する変化点fは、校正用ターゲット81aにおいて、高さが一定の領域と上昇する領域との境界に対応し、すなわち平面84と傾斜面82との交線85上の位置に対応することになる。
従って、画像解析・処理ユニット16は、ラインセンサ34が読み取った画像から、或る画素位置xにおける位相φ(x)の変化点fのy座標を取得し、これを他の画素位置xに関しても行うことにより、上記画像上での交線85の位置を特定できる。その結果、上記傾きβを算出でき、高さの校正を行うことができる。
なお、校正用ターゲット81aの台部84の上面を用いて、撮像ユニット15の校正を行うこともできる。例えば、図24に示すように、台部84の上面に、縞模様などの模様を施すことにより、撮像ユニット15のピント調整を行うことができる。また、台部84の上面の反射率を一様とすることにより、撮像ユニット15のカメラゲイン、カメラオフセットなどの調整を行うことができる。従って、校正用ターゲット81aを用いて、高さの校正と共に撮像ユニット15の校正を行うことができるので、校正のための工程数および構成要素を削減することができ、校正のためのコストを削減することができる。
図25は、上記傾きβを取得可能な校正用ターゲットの他の例を示している。図示の校正用ターゲット81bは、図21に示す校正用ターゲット81に比べて、上方へ傾斜している傾斜面82と下方へ傾斜している傾斜面86とを有する点が異なり、その他の構成は同様である。
図26は、上記構成の校正用ターゲット81bに対し、ラインセンサ34の読取り領域を副走査方向yに移動した場合に、主走査方向の或る画素位置xにおける光パタン14の位相φ(x)がどのように変化するかを示している。図示のように、光パタン14の位相φ(x)は、y方向の或る位置までは減少し、その後、y方向に進むにつれて増加している。従って、上述のように、図示において位相φ(x)が減少から増加に変化する変化点fは、校正用ターゲット81bにおいて、高さが下降する領域と上昇する領域との境界に対応し、すなわち傾斜面82と傾斜面86との交線87上の位置に対応することになる。
従って、画像解析・処理ユニット16は、ラインセンサ34が読み取った画像から、或る画素位置xにおける位相φ(x)の変化点fのy座標を取得し、これを他の画素位置xに関しても行うことにより、上記画像上での交線87の位置を特定できる。その結果、上記傾きβを算出でき、高さの校正を行うことができる。
ところで、傾斜面82を有する校正用ターゲット81を利用する場合、ラインセンサ34の副走査方向yに進むにつれて、高さが変化するので、位相φ(x)が変化する。このため、ラインセンサ34の読み取り領域がy方向にずれると、位相φ(x)に誤差が発生することになる。
この問題点に対し、図25に示す校正用ターゲット81bでは、傾斜面82・86において、底面83から所定の高さに等高線(マーク)88・89がそれぞれ施されている。これらの等高線88・89は、図26に示すグラフでは、点e・eに対応する。
図26を参照すると、ラインセンサ34の読み取り領域がy方向にずれると、点eにおける位相φ(x)は減少するが、点eにおける位相φ(x)は増加することが理解できる。上記減少量および増加量は、それぞれ、傾斜面82・86の傾き、すなわち傾斜角α・α(図25参照)に依存する。従って、傾斜角α・αを考慮して、点eにおける位相φ(x)と、点eにおける位相φ(x)とを加算または平均することにより、位相φ(x)の上記誤差を低減することができる。
なお、上記傾斜角α・αが等しい場合、上記減少量および増加量も等しくなるので、上記加算または平均の計算において、傾斜角α・αを考慮する必要が無くなり、その結果、上記計算が容易となる。また、図25に示す校正用ターゲット81bでは、等高線を各傾斜面に1つ施しているが、2つ以上を施してもよい。
ところで、校正用ターゲット81が上述のように傾いている場合にも、同様の問題点が発生する。すなわち、上記の場合、校正用ターゲット81におけるラインセンサ34の読み取り領域は、ラインセンサ34の主走査方向xに進むにつれて、高さが変化するので、位相差Δφ(x)が変化する。このため、ラインセンサ34の読み取り領域がx方向にずれると、位相差Δφ(x)に誤差が発生することになる。
そこで、図25に示す校正用ターゲット81bを利用して、ラインセンサ34が或る画素位置xにて傾斜面82の等高線88を読み取る場合、上記画素位置xがx方向にずれると、高さが上昇して、位相差Δφ(x)が増加することになる。一方、ラインセンサ34が或る画素位置xにて傾斜面86の等高線89を読み取る場合、上記画素位置xがx方向にずれると、高さが下降して、位相差Δφ(x)が減少することになる。
従って、傾斜角α・αを考慮して、ラインセンサ34が或る画素位置xにて傾斜面82の等高線88を読み取る場合の位相差Δφ(x)と、ラインセンサ34が或る画素位置xにて傾斜面86の等高線89を読み取る場合の位相差Δφ(x)とを加算または平均することにより、位相差Δφ(x)の上記誤差を低減することができる。
最後に、画像解析・処理ユニット16の各機能ブロック、具体的には背景除去部51、輝度取得部52、Hilbert変換部53、位相算出部54、位相差算出部55、パラメータ算出部56、パラメータ選択部57、及び高さ算出部58は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像解析・処理ユニット16は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像解析・処理ユニット16の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像解析・処理ユニット16に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像解析・処理ユニット16を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明によれば、計測対象の三次元形状を計測する場合に必要な高さの校正を迅速に行うことができるので、例えば実装基板を検査する装置などに好適に適用することができる。
本発明の一実施形態である三次元形状計測システムの概略構成を示す図であり、校正用ターゲットを用いて校正を行う様子を示す図である。 上記三次元形状計測システムの概略構成を示す図であり、計測対象の計測を行う様子を示す図である。 上記三次元形状計測システムにて用いられる校正用ターゲットの外観を示す上面図および側面図である。 上記三次元形状計測システムの要部構成を示すブロック図である。 三角測量の原理を説明するための図である。 上記三次元形状計測システムにおける投光ユニットが投影する光パタンの一例を示す図である。 計測対象の形状を示す図であり、同図(a)は上面図であり、同図(b)は側面図である。 上記計測対象に光パタンを投影した場合に、上記計測対象に投影された光パタンの歪みを示す図であり、同図(a)は上面図であり、同図(b)は基準面での輝度変動と凸部での輝度変動を示す波形図である。 上記三次元形状計測システムにおける画像解析・処理ユニットの機能ブロック図である。 同図(a)は、光パタンを投影した状態で計測対象を撮像したライン画像の一例を示す図であり、同図(b)は、光パタンを投影せずに一様な輝度の光を照射した状態で計測対象を撮像した対照ライン画像の一例を示す図である。 高さ一定の計測対象に関して、背景成分が除去されたライン画像の輝度値と、該ライン画像を用いて算出される位相とを示すグラフである。 ライン画像に含まれる画素の主走査方向の位置xと、光パタンの位相φ(x)との関係を、基準面、校正用ターゲットの第1段、及び校正用ターゲットの第2段ごとに示すグラフである。 同図(a)は、上記画像解析・処理ユニットの記憶部のパラメータDBに格納されるパラメータAのテーブルの内容を表形式で示す図であり、同図(b)は、上記パラメータDBに格納されるパラメータBのテーブルの内容を表形式で示す図である。 校正モードにおいて上記画像解析・処理ユニットが行う処理を示すフローチャートである。 上記画像解析・処理ユニットが位置xにおける位相φ(x)を取得するサブルーチンを示すフローチャートである。 計測モードにおいて上記画像解析・処理ユニットが行う画像解析処理を示すフローチャートである。 投光ユニットが投影する光パタンの他の例を示す図である。 各平面を識別するラインパターンが各段に施された校正用ターゲットの概要を示す斜視図である。 各段に、それぞれ異なる輝度の色が一様に施こされた校正用ターゲットの概要を示す斜視図である。 本発明の別の実施形態である三次元形状計測システムの概略構成を示す図であり、校正用ターゲットを用いて校正を行う様子を示す図である。 上記三次元形状計測システムにて用いられる校正用ターゲットの外観を示す上面図および側面図である。 上記校正用ターゲットの一変形例を示す斜視図である。 上記校正用ターゲットに対し光パタンを照射して読み取った光パタンの位相に関して、副走査方向に対する変化の様子を示すグラフである。 ピント調整のための模様が施された校正用ターゲットを示す上面図である。 上記校正用ターゲットの他の変形例を示す斜視図である。 上記校正用ターゲットに対し光パタンを照射して読み取った光パタンの位相に関して、副走査方向に対する変化の様子を示すグラフである。
符号の説明
10・80 三次元形状計測システム(三次元形状計測装置)
11 移動ユニット(移動部)
12 計測対象
14 光パタン
16 画像解析・処理ユニット(画像解析部、校正手段、制御手段)
21・81 校正用ターゲット
34 ラインセンサ
46 記憶部
51 背景除去部(背景除去手段)
54 位相算出部(位相算出手段)
56 パラメータ算出部(パラメータ算出手段)
57 パラメータ選択部(パラメータ選択手段)
58 高さ算出部(高さ算出手段)
59 入力・設定部(設定手段)
63 校正用ターゲットDB(間隔情報)
64 パラメータDB
71 ラインパターン(識別情報、マーク)
82 傾斜面
84 台部
85・87 交線
86 傾斜面
88・89 等高線(マーク)

Claims (22)

  1. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、
    上記光パタンを画像として読み取るためのラインセンサと、
    上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、
    上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備えており、
    該画像解析部は、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出手段と、
    該位相算出手段が算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出手段と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要な校正を行う校正手段とを備え
    上記校正用ターゲットは、3つ以上の平面を段状に有しており、
    上記画像解析部は、上記校正用ターゲットにおける上記複数の平面の間隔情報を記憶する記憶部をさらに備えており、
    上記校正手段は、
    上記校正用ターゲットにおける或る平面に上記光パタンが投影されるように上記移動部を制御し、これを上記校正用ターゲットにおける少なくとも3つの平面に対して行う制御手段と、
    上記光パタンが投影された少なくとも3つの平面に関して、上記位相算出手段が算出した位相同士の差である位相差と、上記記憶部が記憶する間隔情報とに基づいて、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要なパラメータを算出するパラメータ算出手段とを備え、
    上記記憶部は、上記校正用ターゲットにおける上記複数の平面を識別するための識別情報をさらに記憶しており、
    上記パラメータ算出手段は、上記識別情報に基づいて、上記光パタンが投影された平面を特定し、上記特定した平面に関する間隔情報を上記記憶部から読み出すことを特徴とする三次元形状計測装置。
  2. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、
    上記光パタンを画像として読み取るためのラインセンサと、
    上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、
    上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備えており、
    該画像解析部は、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出手段と、
    該位相算出手段が算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出手段と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要な校正を行う校正手段とを備え
    上記校正用ターゲットは、複数の平面を段状に有するものであり、
    上記校正手段は、上記校正用ターゲットにおける或る平面に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の平面に対しても行うことにより、上記校正を行い、
    上記画像解析部は、上記校正用ターゲットにおける上記複数の平面のそれぞれと、上記計測対象の三次元形状を計測する上での基準となる平面である基準面との間隔情報を記憶する記憶部をさらに備えており、
    上記校正手段は、上記校正用ターゲットにおける或る平面に上記光パタンが投影されるように上記移動部を制御し、これを上記校正用ターゲットにおける少なくとも2つの平面に対して行い、さらに、上記基準面に上記光パタンが投影されるように上記移動部を制御する制御手段と、
    上記光パタンが投影された少なくとも2つの平面および基準面に関して、上記位相算出手段が算出した位相同士の差である位相差と、上記記憶部が記憶する間隔情報とに基づいて、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要なパラメータを算出するパラメータ算出手段とを備え、
    上記記憶部は、上記校正用ターゲットにおける上記複数の平面を識別するための識別情報をさらに記憶しており、
    上記パラメータ算出手段は、上記識別情報に基づいて、上記光パタンが投影された平面を特定し、上記特定した平面に関する間隔情報を上記記憶部から読み出すことを特徴とする三次元形状計測装置。
  3. 上記校正用ターゲットにおける各平面の段差は一定であり、
    上記記憶部が記憶する上記複数の平面の間隔情報は、上記段差の情報であることを特徴とする請求項に記載の三次元形状計測装置。
  4. 上記パラメータ算出手段は、算出したパラメータを、該パラメータを算出するために利用した上記校正用ターゲットの平面と上記基準面とに関する位相差に対応付けて上記記憶部に記憶しており、
    上記高さ算出手段は、上記記憶部が記憶するパラメータの中から、上記位相算出手段が算出した位相と上記基準面の位相との位相差に対応する上記パラメータを選択するパラメータ選択手段を備えることを特徴とする請求項に記載の三次元形状計測装置。
  5. 上記画像解析部は、上記間隔情報を設定して記憶部に記憶させる設定手段をさらに備えることを特徴とする請求項またはに記載の三次元形状計測装置。
  6. 上記識別情報は、上記校正用ターゲットの各平面に施されたマークであり、
    上記パラメータ算出手段は、上記ラインセンサにより読み取られた画像から上記識別情報を取得することを特徴とする請求項1または2に記載の三次元形状計測装置。
  7. 上記識別情報は、上記校正用ターゲットの各平面に一様に施された色の輝度であり、
    上記パラメータ算出手段は、上記ラインセンサにより読み取られた画像の輝度情報から上記識別情報を取得することを特徴とする請求項1または2に記載の三次元形状計測装置。
  8. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、
    上記光パタンを画像として読み取るためのラインセンサと、
    上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、
    上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備えており、
    該画像解析部は、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出手段と、
    該位相算出手段が算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出手段と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要な校正を行う校正手段とを備え
    上記校正用ターゲットは、底面に対し傾斜した平面である傾斜面を有するとともに、上記傾斜面と交わる他の平面を有しており、
    上記校正手段は、
    上記傾斜面における或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記傾斜面における別の領域に対しても行うことにより、上記校正を行うとともに、
    上記位相算出手段が算出した位相の副走査方向に対する傾きが、一定、増加、および減少の何れか1つから他の1つに変化する変化点を検出することにより、上記傾斜面と上記他の平面との交線を特定し、
    特定した交線の方向の主走査方向に対する傾きを算出し、
    算出した傾きに基づいて、上記ラインセンサが読み取った画像を補正することを特徴とする三次元形状計測装置。
  9. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、
    上記光パタンを画像として読み取るためのラインセンサと、
    上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、
    上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備えており、
    該画像解析部は、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出手段と、
    該位相算出手段が算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出手段と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出手段が上記計測対象の高さ情報を算出するために必要な校正を行う校正手段とを備え
    上記校正用ターゲットは、底面に対し傾斜した平面である傾斜面を有するとともに、上記傾斜面と異なる他の傾斜面をさらに有しており、各傾斜面には、所定の高さにマークが施されており、
    上記校正手段は、
    上記傾斜面における或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記傾斜面における別の領域に対しても行うことにより、上記校正を行うとともに、
    上記ラインセンサにより読み取られた画像から各傾斜面の上記マークを特定し、
    特定したマークであって、副走査方向に並ぶ各傾斜面のマークに関して、上記位相算出手段が算出した上記マークの位置の位相を利用して、該位相の誤差を補正することを特徴とする三次元形状計測装置。
  10. 上記パラメータ算出手段は、算出したパラメータを、上記位相算出手段が上記光パタンの位相を算出した画素の主走査方向における位置に対応付けて上記記憶部に記憶しており、
    上記高さ算出手段は、上記記憶部が記憶するパラメータの中から、上記位置に対応する上記パラメータを選択するパラメータ選択手段を備えることを特徴とする請求項1または2に記載の三次元形状計測装置。
  11. 上記画像解析部は、上記光パタンを含む画像から、上記光パタン以外の背景成分を除去する背景除去手段をさらに備えることを特徴とする請求項1、2、8、または9に記載の三次元形状計測装置。
  12. 請求項1または2に記載の三次元形状計測装置に備えられている校正用ターゲットであって、
    3つ以上の平面を段状に有しており、上記複数の平面を識別するための識別情報が施されていることを特徴とする校正用ターゲット
  13. 請求項に記載の三次元形状計測装置に備えられている校正用ターゲットであって、
    底面に対し傾斜した平面である傾斜面を有するとともに、上記傾斜面と交わる他の平面を有していることを特徴とする校正用ターゲット
  14. 請求項に記載の三次元形状計測装置に備えられている校正用ターゲットであって、
    底面に対し傾斜した平面である傾斜面を有するとともに、上記傾斜面と異なる他の傾斜面をさらに有しており、各傾斜面には、所定の高さにマークが施されていることを特徴とする校正用ターゲット
  15. 上記光パタンの照射される表面は、光を拡散反射させるように処理されていることを特徴とする請求項12、13、または14に記載の校正用ターゲット。
  16. 底面に平行な平面を少なくとも1つ有し、該平面は、模様が施されているか、或いは、反射率が一様であることを特徴とする請求項12、13、または14に記載の校正用ターゲット。
  17. 請求項1から11の何れか1項に記載の三次元形状計測装置を動作させるためのプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
  18. 請求項17に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  19. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、上記光パタンを画像として読み取るためのラインセンサと、上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備える三次元形状計測装置において、上記計測対象の高さ情報を算出するために必要な校正を行う校正方法であって、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出工程と、
    該位相算出工程において算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出工程と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出工程において上記計測対象の高さ情報を算出するために必要な校正を行う校正工程とを含み、
    上記校正用ターゲットは、3つ以上の平面を段状に有しており、
    上記画像解析部は、上記校正用ターゲットにおける上記複数の平面の間隔情報を記憶する記憶部をさらに備えており、
    上記校正工程は、
    上記校正用ターゲットにおける或る平面に上記光パタンが投影されるように上記移動部を制御し、これを上記校正用ターゲットにおける少なくとも3つの平面に対して行う制御工程と、
    上記光パタンが投影された少なくとも3つの平面に関して、上記位相算出工程において算出した位相同士の差である位相差と、上記記憶部が記憶する間隔情報とに基づいて、上記高さ算出工程において上記計測対象の高さ情報を算出するために必要なパラメータを算出するパラメータ算出工程とを含み、
    上記記憶部は、上記校正用ターゲットにおける上記複数の平面を識別するための識別情報をさらに記憶しており、
    上記パラメータ算出工程は、上記識別情報に基づいて、上記光パタンが投影された平面を特定し、上記特定した平面に関する間隔情報を上記記憶部から読み出すことを特徴とする三次元形状計測装置の校正方法。
  20. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、上記光パタンを画像として読み取るためのラインセンサと、上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備える三次元形状計測装置において、上記計測対象の高さ情報を算出するために必要な校正を行う校正方法であって、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出工程と、
    該位相算出工程において算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出工程と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出工程において上記計測対象の高さ情報を算出するために必要な校正を行う校正工程とを含み、
    上記校正用ターゲットは、複数の平面を段状に有するものであり、
    上記校正工程は、上記校正用ターゲットにおける或る平面に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の平面に対しても行うことにより、上記校正を行い、
    上記画像解析部は、上記校正用ターゲットにおける上記複数の平面のそれぞれと、上記計測対象の三次元形状を計測する上での基準となる平面である基準面との間隔情報を記憶する記憶部をさらに備えており、
    上記校正工程は、上記校正用ターゲットにおける或る平面に上記光パタンが投影されるように上記移動部を制御し、これを上記校正用ターゲットにおける少なくとも2つの平面に対して行い、さらに、上記基準面に上記光パタンが投影されるように上記移動部を制御する制御工程と、
    上記光パタンが投影された少なくとも2つの平面および基準面に関して、上記位相算出工程において算出した位相同士の差である位相差と、上記記憶部が記憶する間隔情報とに基づいて、上記高さ算出工程において上記計測対象の高さ情報を算出するために必要なパラメータを算出するパラメータ算出工程とを含み、
    上記記憶部は、上記校正用ターゲットにおける上記複数の平面を識別するための識別情報をさらに記憶しており、
    上記パラメータ算出工程は、上記識別情報に基づいて、上記光パタンが投影された平面を特定し、上記特定した平面に関する間隔情報を上記記憶部から読み出すことを特徴とする三次元形状計測装置の校正方法。
  21. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、上記光パタンを画像として読み取るためのラインセンサと、上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備える三次元形状計測装置において、上記計測対象の高さ情報を算出するために必要な校正を行う校正方法であって、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出工程と、
    該位相算出工程において算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出工程と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出工程において上記計測対象の高さ情報を算出するために必要な校正を行う校正工程とを含み、
    上記校正用ターゲットは、底面に対し傾斜した平面である傾斜面を有するとともに、上記傾斜面と交わる他の平面を有しており、
    上記校正工程は、
    上記傾斜面における或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記傾斜面における別の領域に対しても行うことにより、上記校正を行うとともに、
    上記位相算出工程において算出した位相の副走査方向に対する傾きが、一定、増加、および減少の何れか1つから他の1つに変化する変化点を検出することにより、上記傾斜面と上記他の平面との交線を特定し、
    特定した交線の方向の主走査方向に対する傾きを算出し、
    算出した傾きに基づいて、上記ラインセンサが読み取った画像を補正することを特徴とする三次元形状計測装置の校正方法。
  22. 計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、上記光パタンを画像として読み取るためのラインセンサと、上記ラインセンサ及び上記計測対象の少なくとも一方を、上記ラインセンサの主走査方向と異なる副走査方向に移動させる移動部と、上記ラインセンサが上記光パタンを画像として読み取ることを、上記計測対象全体に対して行うように、上記移動部を制御すると共に、上記ラインセンサにより読み取られた画像を解析することによって、上記計測対象の三次元形状を計測する画像解析部とを備える三次元形状計測装置において、上記計測対象の高さ情報を算出するために必要な校正を行う校正方法であって、
    上記ラインセンサにより読み取られた画像の輝度値を用いて、該画像に含まれる或る画素における光パタンの位相を算出する位相算出工程と、
    該位相算出工程において算出した位相に基づいて上記計測対象の高さ情報を算出する高さ算出工程と、
    複数の高さを有する校正用ターゲットにおける或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記校正用ターゲットにおける別の領域に対しても行うことにより、上記高さ算出工程において上記計測対象の高さ情報を算出するために必要な校正を行う校正工程とを含み、
    上記校正用ターゲットは、底面に対し傾斜した平面である傾斜面を有するとともに、上記傾斜面と異なる他の傾斜面をさらに有しており、各傾斜面には、所定の高さにマークが施されており、
    上記校正工程は、
    上記傾斜面における或る領域に投影された光パタンを上記ラインセンサが読み取るように上記移動部を制御し、これを上記傾斜面における別の領域に対しても行うことにより、上記校正を行うとともに、
    上記ラインセンサにより読み取られた画像から各傾斜面の上記マークを特定し、
    特定したマークであって、副走査方向に並ぶ各傾斜面のマークに関して、上記位相算出工程において算出した上記マークの位置の位相を利用して、該位相の誤差を補正することを特徴とする三次元形状計測装置の校正方法。
JP2007003879A 2007-01-11 2007-01-11 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体 Active JP4924042B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007003879A JP4924042B2 (ja) 2007-01-11 2007-01-11 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007003879A JP4924042B2 (ja) 2007-01-11 2007-01-11 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2008170279A JP2008170279A (ja) 2008-07-24
JP4924042B2 true JP4924042B2 (ja) 2012-04-25

Family

ID=39698518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007003879A Active JP4924042B2 (ja) 2007-01-11 2007-01-11 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4924042B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575234A (zh) * 2012-07-20 2014-02-12 德律科技股份有限公司 三维影像测量装置
EP3315901A1 (de) * 2016-10-27 2018-05-02 Pepperl & Fuchs GmbH Messvorrichtung und verfahren zur triangulationsmessung

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5515432B2 (ja) * 2009-06-03 2014-06-11 セイコーエプソン株式会社 三次元形状計測装置
JP2015099050A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 キャリブレーション方法、及び形状測定装置
CN104390598A (zh) * 2013-12-30 2015-03-04 北京中天荣泰科技发展有限公司 一种基于机器视觉的异面直线测量方法
JP6529247B2 (ja) * 2014-12-02 2019-06-12 リコーエレメックス株式会社 較正システムおよび検査システム
WO2017221126A2 (en) * 2016-06-22 2017-12-28 G.D. S.P.A. A transferring and inspecting unit of a group of elongated elements
ITUA20164582A1 (it) * 2016-06-22 2017-12-22 Gd Spa Unità di trasferimento ed ispezione di un gruppo di elementi allungati.
ITUA20164585A1 (it) * 2016-06-22 2017-12-22 Gd Spa Unità di trasferimento ed ispezione di un gruppo di elementi allungati.
FI128204B (en) * 2016-12-28 2019-12-31 Helsingin Yliopisto Reference piece to improve vertical resolution of radiation based imaging
KR20200098673A (ko) * 2017-12-22 2020-08-20 와치 아웃 에스아 이중 구조를 가지는 3차원 타겟, 이러한 타겟을 이용한 광학 측정 디바이스 및 방법
CN110490833B (zh) * 2018-05-09 2023-04-18 北京中航安通科技有限公司 一种目标物体的体积测量方法及装置
CN108844469B (zh) * 2018-06-14 2020-03-24 电子科技大学 一种基于激光测试工件台阶高度的方法及系统
US11125967B2 (en) * 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
NL2022874B1 (en) 2019-04-05 2020-10-08 Vmi Holland Bv Calibration tool and method
JP7353644B2 (ja) 2020-01-08 2023-10-02 株式会社Xtia 光学スキャナ装置の校正方法、光学スキャナ装置及び光学式三次元形状測定装置
JP7404941B2 (ja) * 2020-03-10 2023-12-26 オムロン株式会社 三次元形状計測装置
CN114234847B (zh) * 2021-12-08 2024-01-30 苏州恒视智能科技有限公司 一种光栅投影系统及光栅相移高度测量自动校正补偿方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02271208A (ja) * 1989-04-13 1990-11-06 Nippondenso Co Ltd 3次元形状測定装置
JPH03289505A (ja) * 1990-04-06 1991-12-19 Nippondenso Co Ltd 3次元形状測定装置
US5083073A (en) * 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot
JPH06235630A (ja) * 1993-02-08 1994-08-23 Hitachi Kiden Kogyo Ltd 測定誤差自動較正アルゴリズムを備えた距離測定器
JPH09152316A (ja) * 1995-12-01 1997-06-10 Suzuki Motor Corp 立体物の形状検査装置
DE19618140A1 (de) * 1996-05-06 1997-11-13 Fraunhofer Ges Forschung 3D-Meßanordnung zur Ganzkörpererfassung und Einmessung einer entsprechenden Meßanordnung
JP4345235B2 (ja) * 2001-01-25 2009-10-14 トヨタ自動車株式会社 非接触式三次元形状測定器の計測精度保証方法
JP2002257528A (ja) * 2001-03-02 2002-09-11 Ricoh Co Ltd 位相シフト法による三次元形状測定装置
JP4656745B2 (ja) * 2001-03-09 2011-03-23 西松建設株式会社 トンネル坑内の形状測定方法
JP2006038590A (ja) * 2004-07-26 2006-02-09 Teruaki Yogo 3次元形状測定方法及びその装置
JP4786923B2 (ja) * 2005-03-31 2011-10-05 富士フイルム株式会社 縞計測装置の変換係数較正方法および装置ならびに該変換係数較正装置を備えた縞計測装置
JP4562183B2 (ja) * 2005-04-01 2010-10-13 キヤノン株式会社 情報処理方法、情報処理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575234A (zh) * 2012-07-20 2014-02-12 德律科技股份有限公司 三维影像测量装置
CN103575234B (zh) * 2012-07-20 2016-08-24 德律科技股份有限公司 三维影像测量装置
EP3315901A1 (de) * 2016-10-27 2018-05-02 Pepperl & Fuchs GmbH Messvorrichtung und verfahren zur triangulationsmessung
KR20180046375A (ko) * 2016-10-27 2018-05-08 페퍼를 운트 푹스 게엠베하 삼각 측량 측정을 위한 측정 장치 및 방법
US10184793B2 (en) 2016-10-27 2019-01-22 Pepperl + Fuchs Gmbh Measuring device and method for triangulation measurement
KR101941902B1 (ko) 2016-10-27 2019-01-24 페퍼를 운트 푹스 게엠베하 삼각 측량 측정을 위한 측정 장치 및 방법

Also Published As

Publication number Publication date
JP2008170279A (ja) 2008-07-24

Similar Documents

Publication Publication Date Title
JP4924042B2 (ja) 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体
JP4715944B2 (ja) 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
JP2007114071A (ja) 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP5689681B2 (ja) 非接触プローブ
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
WO2004046645A2 (en) Fast 3d height measurement method and system
JP2002071328A (ja) 表面形状の決定方法
JP5385703B2 (ja) 検査装置、検査方法および検査プログラム
JP5612969B2 (ja) 外観検査装置及び外観検査方法
JP5566707B2 (ja) 外観検査装置及び外観検査方法
JP6894280B2 (ja) 検査方法及び検査装置
JP2006084286A (ja) 3次元計測方法とその計測装置
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
JP6680172B2 (ja) 演算処理装置、形状測定装置、演算処理方法、形状測定方法及びプログラム
JP2012211905A (ja) 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
JP2009014571A (ja) 三次元形状計測装置、三次元形状計測方法
JP2012073188A (ja) 光量決定装置、位置検出装置、描画装置、および、光量決定方法
JP7456736B2 (ja) 形状測定装置、形状測定装置の形状測定方法および形状測定装置の形状測定プログラム
JP2006058160A (ja) 線状光データ処理装置、表面形状測定システム、線状光データ処理方法、線状光データ処理装置の制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP6894348B2 (ja) 検査装置の高さ情報の取得方法及び検査装置
JP2022046063A (ja) 三次元形状計測方法および三次元形状計測装置
JP2002081924A (ja) 三次元計測装置
JP2020085555A (ja) 高さ計測システム及びプログラム
JP2022108176A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4924042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04