JPWO2020039575A1 - 三次元計測装置、三次元計測方法 - Google Patents

Abstract

撮像カメラ３１は、半田Ｂ（対象物）に照射される波長λｇの光に対して、高い感度を持つ分光感度特性ＳＰ（Ｇ）を有する高感度画素Ｐｈと、低い感度を持つ分光感度特性ＳＰ（Ｒ）、ＳＰ（Ｂ）を有する低感度画素Ｐｌとを備える。したがって、半田Ｂの表面うち、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）は、低感度画素Ｐｌにより適切な画素値Ｖに変換でき、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）は、高感度画素Ｐｈにより適切な画素値Ｖに変換できる。つまり、高反射領域Ａｈおよび低感度画素Ｐｌで反射されたパターン光Ｌ（Ｓ）の両方を、適切な画素値Ｖに変換できる。こうして、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となっている。

Description

この発明は、対象物の三次元形状を計測する技術に関する。

特許文献１では、プリント基板の電極に印刷された半田等の対象物の三次元形状を計測する三次元計測装置が記載されている。この三次元計測装置は、白色の光を対象物に照射し、対象物で反射された光を撮像した画像に基づき、対象物の三次元形状を計測する。また、このような三次元計測装置では、入射した光の強度に応じた画素値をそれぞれ出力する複数の画素を有する撮像カメラが、対象物で反射された光の撮像に使用することができる。

特許第４２５６０５９号公報

なお、撮像カメラの各画素はダイナミックレンジを有しており、ダイナミックレンジよりも暗いあるいは明るい光に対しては、正確な画素値を出力することができない。そこで、対象物の反射率が低い場合には、対象物に照射する光の強度を高くする一方、対象物の反射率が高い場合には、対象物に照射する光の強度を低くするといった手法が考えられる。しかしながら、反射率の低い領域と反射率の高い領域とが対象物に混在する場合、光の強度を高くすると反射率の高い領域について正確な画素値が得られず、光の強度を低くすると反射率の低い領域について正確な画素値が得られない。そのため、かかる手法は必ずしも有効ではなかった。

この発明は上記課題に鑑みなされたものであり、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することを可能とする技術の提供を目的とする。

本発明に係る三次元計測装置は、所定波長の光を対象物に照射するプロジェクターと、 対象物で反射された光が入射する複数の画素を有し、複数の画素のそれぞれは入射した光の強度に応じた画素値を出力する撮像カメラと、画素値に基づき対象物の三次元形状の形状算出を実行する制御部とを備え、複数の画素は、複数の高感度画素と、高感度画素が有する分光感度特性と比較して所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む。

本発明に係る三次元計測方法は、所定波長の光を対象物に照射する工程と、対象物で反射された光を複数の画素に入射させ、複数の画素が入射した光の強度に応じた画素値を出力する工程と、画素値に基づき対象物の三次元形状の形状算出を実行する工程とを備え、複数の画素は、複数の高感度画素と、高感度画素が有する分光感度特性と比較して所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む。

このように構成された本発明（三次元計測装置、三次元計測方法）では、撮像カメラは、高感度画素と、当該高感度画素の分光感度特性と比較して所定波長の入力に対する出力の比が低い分光感度特性を有する低感度画素とを有する。すなわち、対象物に照射される所定波長の光に対して、高い感度を持つ分光感度特性を有する高感度画素と、高感度画外比較して低い感度を持つ分光感度特性を有する低感度画素とが具備される。したがって、対象物のうち、反射率の高い領域で反射された光は、低感度画素により適切な画素値に変換でき、反射率の低い領域で反射された光は、高感度画素により適切な画素値に変換できる。つまり、反射率の高い領域で反射された光および反射率の低い領域で反射された光の両方を、適切な画素値に変換できる。こうして、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となっている。

また、高感度画素と低感度画素とが交互に配列されているように、三次元計測装置を構成しても良い。かかる構成では、高感度画素と低感度画素とが互いに隣接しつつ均一に配置されるため、低い反射率で反射された光を高感度画素で的確に捉えつつ、高い反射率で反射された光を低感度画素で的確に捉えることができる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。

また、複数の画素は、高感度画素と低感度画素とを同じ比率で含むように、三次元計測装置を構成しても良い。かかる構成では、高い反射率の領域で反射された光と、低い反射率の領域で反射された光の一方に偏ることなく、これらを適切な画素値に変換することができる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。

また、所定波長は、緑色の波長であり、複数の画素は、赤色、緑色および青色を所定のパターンで配列したベイヤー配列により配列され、複数の高感度画素のそれぞれは、ベイヤー配列における緑色の画素であり、複数の低感度画素は、ベイヤー配列における青色の画素と赤色の画素とを同数ずつ含むように、三次元計測装置を構成しても良い。かかる構成では、緑色の高感度画素と赤色あるいは青色の低感度画素とが互いに隣接しつつ均一に配置されるため、低い反射率で反射された光を高感度画素で的確に捉えつつ、高い反射率で反射された光を低感度画素で的確に捉えることができる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。

なお、反射率の高い領域で反射されて高感度画素に入射した光や、反射率の低い領域で反射されて低感度画素に入射した光を変換した画素値は、不適切である可能性が高い。そこで、制御部は、画素から出力される画素値が適切か否かを画素値に基づき判定する判定処理を複数の画素のそれぞれについて実行し、判定処理での判定結果に基づき形状算出を実行するように、三次元計測装置を構成しても良い。かかる構成では、不適切な画素値の影響を抑えつつ適切な画素値を用いて形状算出を実行できる。そのため、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、対象物の三次元形状を正確に算出することが可能となる。

また、制御部は、判定処理で画素値が不適切と判定された高感度画素に対して、当該高感度画素から所定範囲内に位置する低感度画素の画素値による補間を実行し、あるいは判定処理で画素値が不適切と判定された低感度画素に対して、当該低感度画素から所定範囲内に位置する高感度画素の画素値による補間を実行した結果に基づき形状算出を実行するように、三次元計測装置を構成しても良い。かかる構成では、判定処理で不適切と判定された画素の画素値を当該画素から所定範囲内に位置する画素の画素値により補間し、その結果に基づき形状算出を実行できる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、対象物の三次元形状を正確に算出することが可能となる。

また、プロジェクターは、所定波長を有して、互いに異なる位相を有する複数の縞パターンの光を対象物に照射し、制御部は、位相シフト法によって形状算出を実行するように、三次元計測装置を構成しても良い。かかる構成では、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、対象物の三次元形状を位相シフト法によって適切に算出することが可能となる。

本発明によれば、こうして、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。

本発明に係る外観検査装置を模式的に例示するブロック図。 撮像ユニットの構成を模式的に示す図。 撮像ユニットが有する画素の分光感度特性を模式的に示す図。 高反射領域および低反射領域それぞれで反射された光と画素値との関係を模式的に示す図。 外観検査装置が実行する三次元計測の一例を示すフローチャート。 図５の三次元計測で実行される不適画素の補間の一例を示すフローチャート。 図５の三次元計測で実行される演算の内容を説明する図。 不適画素の補間の一例を示す図。

図１は本発明に係る外観検査装置を模式的に例示するブロック図である。同図および以下の図では、鉛直方向に平行なＺ方向、水平方向に平行なＸ方向およびＹ方向で構成されるＸＹＺ直交座標を適宜示す。図１の外観検査装置１は、制御装置１００によって搬送コンベア２、検査ヘッド３および駆動機構４を制御することで、基板１０（プリント基板）に部品（電子部品）を接合する半田Ｂの状態の良否を検査する。

搬送コンベア２は、基板１０を所定の搬送経路に沿って搬送する。具体的には、搬送コンベア２は、検査前の基板１０を外観検査装置１内の検査位置に搬入し、基板１０を検査位置で水平に保持する。また、検査位置における基板１０への検査が終了すると、搬送コンベア２は、検査後の基板１０を外観検査装置１の外へ搬出する。

検査ヘッド３は、撮像視野Ｖ３１内を上方から撮像する撮像カメラ３１を有しており、検査位置に搬入された基板１０の半田Ｂを撮像視野Ｖ３１に収めて撮像カメラ３１によって撮像する。撮像カメラ３１は、半田Ｂからの反射光を撮像する平板形状の撮像ユニット３１１を有する。この撮像ユニット３１１の詳細は、図２を用いて後述する。さらに、検査ヘッド３は、光強度分布が正弦波状に変化する縞状のパターン光Ｌ（Ｓ）を撮像視野Ｖ３１に投影するプロジェクター３２を有する。プロジェクター３２は、ＬＥＤ(Light Emitting Diode)等の光源と、光源からの光を撮像視野Ｖ３１へ向けて反射するデジタル・マイクロミラー・デバイスとを有している。かかるプロジェクター３２は、デジタル・マイクロミラー・デバイスの各マイクロミラーの角度を調整することで、互いに位相の異なる複数種のパターン光Ｌ（Ｓ）を撮像視野Ｖ３１に投影できる。つまり、検査ヘッド３は、プロジェクター３２から投影するパターン光Ｌ（Ｓ）の位相を変化させながら撮像カメラ３１により撮像を行うことで、位相シフト法によって撮像視野Ｖ３１内の半田Ｂの三次元形状Ｂｓを計測することができる。

ちなみに、検査ヘッド３は、８個のプロジェクター３２を有している（図１では、図示を簡便化するために２個のプロジェクター３２が代表して示されている）。８個のプロジェクター３２は、撮像カメラ３１の周囲を囲むように配置されており、鉛直方向Ｚを中心として円周状に等ピッチで並ぶ。そして、各プロジェクター３２は、撮像カメラ３１の撮像視野Ｖ３１に対して斜め上方からパターン光Ｌ（Ｓ）を投影する。したがって、複数の方プロジェクター３２のうち、半田Ｂとの位置関係が適切な一のプロジェクター３２から、撮像視野Ｖ３１にパターン光Ｌ（Ｓ）を投影することができる。

駆動機構４は、検査ヘッド３を支持しつつ、モーターによって水平方向および鉛直方向へ検査ヘッド３を駆動させる。この駆動機構４の駆動によって、検査ヘッド３は半田Ｂの上方に移動して、半田Ｂを撮像視野Ｖ３１内に捉えることができ、撮像視野Ｖ３１内の半田Ｂの三次元形状Ｂｓを計測できる。

制御装置１００は、ＣＰＵ(Central Processing Unit)およびメモリーで構成されたプロセッサーである主制御部１１０を有しており、主制御部１１０が装置各部の制御を統括することで、検査が実行される。また。制御装置１００は、ディスプレイ、キーボードおよびマウス等の入出力機器で構成されたユーザーインターフェース２００を有しており、ユーザーは、ユーザーインターフェース２００を介して制御装置１００に指令を入力したり、制御装置１００による検査結果を確認したりすることができる。さらに、制御装置１００は、プロジェクター３２を制御する投影制御部１２０、撮像カメラ３１を制御する撮像制御部１３０および駆動機構４を制御する駆動制御部１４０を有する。搬送コンベア２が検査位置に基板１０を搬入すると、主制御部１１０は、駆動制御部１４０により駆動機構４を制御して、基板１０の半田Ｂの上方へ検査ヘッド３を移動させる。これによって、撮像カメラ３１の撮像視野Ｖ３１内に半田Ｂが収まる。

続いて、主制御部１１０は、プロジェクター３２から半田Ｂを含む撮像視野Ｖ３１へパターン光Ｌ（Ｓ）を投影しつつ撮像視野Ｖ３１に投影されたパターン光Ｌ（Ｓ）を撮像カメラ３１により撮像する（パターン撮像動作）。具体的には、主制御部１１０は、不揮発性メモリーで構成された記憶部１５０を有しており、記憶部１５０に記憶された投影パターンＴ（Ｓ）を読み出す。そして、主制御部１１０は、記憶部１５０から読み出した投影パターンＴ（Ｓ）に基づいて投影制御部１２０を制御することで、プロジェクター３２のデジタル・マイクロミラー・デバイスの各マイクロミラーの角度を投影パターンＴ（Ｓ）に応じて調整する。こうして、撮像視野Ｖ３１には、投影パターンＴ（Ｓ）を有するパターン光Ｌ（Ｓ）が投影される。さらに、主制御部１１０は、撮像制御部１３０を制御することで、撮像視野Ｖ３１に投影されたパターン光Ｌ（Ｓ）を撮像カメラ３１により撮像して撮像画像Ｉ（Ｓ）を取得する。この撮像画像Ｉは、記憶部１５０に記憶される。なお、記憶部１５０には、互いに９０度ずつ位相の異なる４種類の投影パターンＴ（Ｓ）が記憶されており、パターン撮像動作は、投影パターンＴ（Ｓ）を変えながら４回実行される（Ｓ＝１、２、３、４）。その結果、それぞれ９０度ずつ位相の異なるパターン光Ｌ（Ｓ）を撮像した４種類の撮像画像Ｉ（Ｓ）が取得される。

主制御部１１０は、こうして取得された４種類の撮像画像Ｉ（Ｓ）から、位相シフト法によって、撮像視野Ｖ３１の高さを撮像カメラ３１の画素毎に求める。これによって、半田Ｂの表面の高さが撮像カメラ３１の画素毎に求められることとなる。

図２は撮像ユニットの構成を模式的に示す図である。撮像ユニット３１１は例えばＣＣＤ(Charge Coupled Device)イメージセンサー等の固体撮像素子３１２と、固体撮像素子３１２に重ねられたカラーフィルター３１３とを有する。固体撮像素子３１２は、Ｘ方向およびＹ方向のそれぞれに一定の配列ピッチΔＰで配列された複数の受光画素Ｐｉを有する。つまり、固体撮像素子３１２では、複数の受光画素Ｐｉが二次元的に配列されている。また、カラーフィルター３１３は、Ｘ方向およびＹ方向のそれぞれに配列ピッチΔＰで配列された複数のフィルター画素Ｐｆを有する。つまり、カラーフィルター３１３では、複数のフィルター画素Ｐｆが二次元的に配列されている。

このように、複数の受光画素Ｐｉと複数のフィルター画素Ｐｆとが一対一の対応関係で設けられ、互いに対応する受光画素Ｐｉとフィルター画素Ｐｆとが対向する。換言すれば、撮像ユニット３１１では、互いに対向する受光画素Ｐｉとフィルター画素Ｐｆとで画素Ｐｘが構成され、複数の画素ＰｘがＸ方向およびＹ方向のそれぞれに配列ピッチΔＰで配列される。そして、各画素Ｐｘは、フィルター画素Ｐｆを透過して受光画素Ｐｉに入射した光の強度に応じた画素値Ｖ（図３）を、受光画素Ｐｉから出力する。

図２に示すように、カラーフィルター３１３では、複数のフィルター画素Ｐｆがベイヤー配列に従って配列されており、各フィルター画素Ｐｆは、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のうち、その配列位置に応じた色の光の透過を許容し、配列位置に応じた色とは異なる色の光の透過を制限する。したがって、撮像ユニット３１１の各画素Ｐｘは、そのフィルター画素Ｐｆが透過を許容する光の色に応じた分光感度特性を有する。

図３は撮像ユニットが有する画素の分光感度特性を模式的に示す図である。図３では、横軸に光の波長を示すとともに縦軸に画素値Ｖを示すグラフにおいて、赤（Ｒ）の透過を許容するフィルター画素Ｐｆを有する画素Ｐｘ（以下、「赤の画素Ｐｘ」と適宜称する）の分光感度特性ＳＰ（Ｒ）が二点鎖線で示され、緑（Ｇ）の透過を許容するフィルター画素Ｐｆを有する画素Ｐｘ（以下、「緑の画素Ｐｘ」と適宜称する）の分光感度特性ＳＰ（Ｇ）が破線で示され、青（Ｂ）の透過を許容するフィルター画素Ｐｆを有する画素Ｐｘ（以下、「青の画素Ｐｘ」と適宜称する）の分光感度特性ＳＰ（Ｂ）が一点鎖線で示される。また、図３では、プロジェクター３２から投影されるパターン光Ｌ（Ｓ）の波長分布が実線で併記されている。

つまり、本実施形態では、パターン光Ｌ（Ｓ）は、緑色の波長λｇにピークを有する波長分布を有する（換言すれば、緑色の発光スペクトルを有する）。これに対して、緑の画素Ｐｘは、パターン光Ｌ（Ｓ）の波長λｇに対して高い感度を持つ分光感度特性ＳＰ（Ｇ）を有する。赤の画素Ｐｘは、波長λｇよりも長い波長にピークを持つ分光感度特性ＳＰ（Ｒ）を有し、パターン光Ｌ（Ｓ）の波長λｇに対して緑の画素Ｐｘよりも低い感度を有する。青の画素Ｐｘは、波長λｇよりも短い波長にピークを持つ分光感度特性ＳＰ（Ｂ）を有し、パターン光Ｌ（Ｓ）の波長λｇに対して緑の画素Ｐｘよりも低い感度を有する。

つまり、図２に示すように、撮像ユニット３１１が有する複数の画素Ｐｘのうち、緑の画素Ｐｘが波長λｇに対して高い感度を示す高感度画素Ｐｈとして機能し、赤の画素Ｐｘおよび青の画素Ｐｘのそれぞれが波長λｇに対して高感度画素Ｐｈより低い感度を示す低感度画素Ｐｌとして機能する。そして、高感度画素Ｐｈ（緑の画素Ｐｘ）と低感度画素Ｐｌ（赤の画素Ｐｘ）がＹ方向に交互に並ぶとともに、高感度画素Ｐｈ（緑の画素Ｐｘ）と低感度画素Ｐｌ（青の画素Ｐｘ）がＸ方向に交互に並ぶ。こうして、高感度画素Ｐｈ（緑の画素Ｐｘ）に対して低感度画素Ｐｌ（赤の画素Ｐｘ）がＹ方向の両側で隣接し、高感度画素Ｐｈ（緑の画素Ｐｘ）に対して低感度画素Ｐｌ（青の画素Ｐｘ）がＸ方向の両側で隣接する。換言すれば、高感度画素Ｐｈには４方向から低感度画素Ｐｌが隣接し、低感度画素Ｐｌには、４方向から高感度画素Ｐｈが隣接する。なお、ここで、画素Ｐｘが隣接するとは、対象の２個の画素Ｐｘが配列ピッチΔＰで配置された状態を示すものとする。

かかる構成では、図４に示すように、半田Ｂの表面のうち、高い反射率を有する高反射領域Ａｈで反射された光および低い反射率を有する低反射領域Ａｌで反射された光の両方を、画素Ｐｘによって正確な画素値Ｖに変換することができる。

図４は高反射領域および低反射領域それぞれで反射された光と画素値との関係を模式的に示す図である。同図は、正弦波であるパターン光Ｌ（Ｓ）を高反射領域Ａｈおよび低反射領域Ａｌのそれぞれに投影して、各領域Ａｈ、Ａｌで反射された光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素Ｐｘで検知した際に、これらの画素Ｐｘが出力する画素値Ｖを模式的に示す。なお、実際には、画素Ｐｘから出力される画素値ＶはダイナミックレンジＤから外れた値となることはできないため、画素値Ｖの波形がつぶれるが、ここでは波形をつぶさずに示した。

高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を検知した緑Ｇの画素Ｐｘ（高感度画素Ｐｈ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤ（換言すれば受光画素ＰｉのダイナミックレンジＤ）の上限を一部で超える。したがって、緑の画素Ｐｘは、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができない。一方、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を検知した赤（Ｒ）および青（Ｂ）の画素Ｐｘ（低感度画素Ｐｌ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤに収まる。したがって、赤（Ｒ）あるいは青（Ｂ）の画素Ｐｘは、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができる。

低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を検知した赤（Ｒ）および青（Ｂ）の画素Ｐｘ（低感度画素Ｐｌ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤの下限を一部で超える。したがって、赤（Ｒ）および青（Ｂ）の画素Ｐｘは、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができない。一方、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を検知した緑（Ｇ）の画素Ｐｘ（高感度画素Ｐｈ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤに収まる。したがって、緑（Ｇ）の画素Ｐｘは、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができる。

つまり、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）は、赤（Ｒ）および青（Ｂ）の画素Ｐｘ（低感度画素Ｐｌ）によって正確な画素値Ｖに変換でき、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）は、緑（Ｇ）の画素Ｐｘ（高感度画素Ｐｈ）によって正確な画素値Ｖに変換できる。

図５は外観検査装置が実行する三次元計測の一例を示すフローチャートであり、図６は図５の三次元計測で実行される不適画素の補間の一例を示すフローチャートであり、図７は図５の三次元計測で実行される演算の内容を説明する図である。図５および図６は主制御部１１０の制御によって実行される。

ステップＳ１０１では、半田Ｂにパターン光Ｌ（Ｓ）を投影しつつ撮像カメラ３１によりパターン光Ｌ（Ｓ）を撮像するパターン撮像動作を、パターン光Ｌ（Ｓ）の位相を９０度ずつ変更しつつ繰り返し実行することで、９０度ずつ位相が異なる４つの撮像画像Ｉ（Ｓ）が取得される（Ｓ＝１、２、３、４）。

ステップＳ１０２では、主制御部１１０は、位相シフト法に基づき、これら撮像画像Ｉ（Ｓ）から半田Ｂの三次元形状Ｂｓを示す三次元画像を算出する。具体的には、図７の式１に基づいて、４つの撮像画像Ｉ（Ｓ）の画素値Ｖ０〜Ｖ３から角度θを求める演算を、複数の画素Ｐｘのそれぞれについて実行することで、三次元画像が得られる。

ステップＳ１０３では、主制御部１１０は、複数の画素Ｐｘそれぞれの画素値Ｖの信頼度を示す信頼度画像を算出する。この信頼度は、画素Ｐｘの画素値ＶがダイナミックレンジＤに収まっているか否かを示す。つまり、画素Ｐｘの画素値Ｖが明るすぎるあるいは暗すぎる場合には、信頼度が低くなる。具体的には、図７の式２に基づいて、４つの撮像画像Ｉ（Ｓ）の画素値Ｖ０〜Ｖ３から信頼度を求める演算を、複数の画素Ｐｘのそれぞれについて実行することで、信頼度画像が得られる。なお、これらの画素値Ｖ０〜Ｖ３のうちに、飽和した画素値（すなわち、８ｂｉｔで表した場合には「２５５」を示す画素値）が存在する場合には、図７の式２によらずに画素値Ｖの信頼度を「０」にする。

ステップＳ１０４では、図６に示す不適画素の補間が実行される。ステップＳ２０１で、複数の画素Ｐｘを識別するためのカウント値Ｎがゼロにリセットされ、ステップＳ２０２で、カウント値Ｎがインクリメントされる。そして、カウント値Ｎの画素Ｐｘの画素値Ｖの信頼度が閾値以上であるか否かが判断される（ステップＳ２０３）。信頼度が閾値以上である場合（ステップＳ２０３で「ＹＥＳ」の場合）には、ステップＳ２０２に戻ってカウント値Ｎがインクリメントされる。

信頼度が閾値未満である場合（ステップＳ２０３で「ＮＯ」の場合）には、このカウント値Ｎの画素Ｐｘ（不適画素）から配列ピッチΔＰ以内に位置する画素Ｐｘ、すなわち不適画素に隣接する４個の画素Ｐｘの画素値Ｖによって、不適画素の画素値Ｖを補間可能であるかが判断される（ステップＳ２０４）。具体的には、これら４個の画素Ｐｘのうちに閾値未満の信頼度を有する画素Ｐｘが在る場合には、補間不能と判断され、これら４個の画素Ｐｘの画素値Ｖの全てが閾値以上の信頼度を有する場合には、補間可能と判断される。

補間不能の場合（ステップＳ２０４で「ＮＯ」の場合）には、ステップＳ２０２に戻ってカウント値Ｎがインクリメントされる。補間可能の場合（ステップＳ２０４で「ＹＥＳ」の場合）には、補間演算が実行されて、不適画素の画素値Ｖが、当該不適画素に隣接する４個の画素Ｐｘの画素値Ｖによって補間される（ステップＳ２０５）。つまり、隣接する４個の画素Ｐｘの画素値Ｖ０によって、対象となる画素Ｐｘの画素値Ｖ０が補間され、画素値Ｖ１〜Ｖ３についても同様に補間される。かかる補間演算は、線形補間あるいは多項式補間等、周知の補間方法を用いて実行できる。また、ステップＳ２０５では、図７の式１に基づき、補間された画素値Ｖ（Ｖ０〜Ｖ３）から角度θが算出され、ステップＳ１０２で算出された三次元画像における該当画素Ｐｘ（すなわち、ステップＳ２０５の補間対象となった画素Ｐｘ）として採用される。そして、カウント値Ｎが最大値となるまで（ステップＳ２０６で「ＹＥＳ」となるまで）ステップＳ２０２〜Ｓ２０５が実行される。

以上に説明した実施形態では、撮像カメラ３１は、半田Ｂ（対象物）に照射される波長λｇの光に対して、高い感度を持つ分光感度特性ＳＰ（Ｇ）を有する高感度画素Ｐｈと、低い感度を持つ分光感度特性ＳＰ（Ｒ）、ＳＰ（Ｂ）を有する低感度画素Ｐｌとを備える。したがって、半田Ｂの表面うち、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）は、低感度画素Ｐｌにより適切な画素値Ｖに変換でき、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）は、高感度画素Ｐｈにより適切な画素値Ｖに変換できる。つまり、高反射領域Ａｈおよび低感度画素Ｐｌで反射されたパターン光Ｌ（Ｓ）の両方を、適切な画素値Ｖに変換できる。こうして、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となっている。

また、高感度画素Ｐｈと低感度画素Ｐｌとが交互に配列されている。かかる構成では、高感度画素Ｐｈと低感度画素Ｐｌとが互いに隣接しつつ均一に配置されるため、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を高感度画素Ｐｈで的確に捉えつつ、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を低感度画素Ｐｌで的確に捉えることができる。その結果、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となる。

また、高感度画素Ｐｈと低感度画素Ｐｌとが同じ比率で含まれている。かかる構成では、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）と、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）の一方に偏ることなく、これらを適切な画素値Ｖに変換することができる。その結果、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となる。

また、波長λｇは、緑色の波長であり、複数の画素Ｐｘは、ベイヤー配列により配列されている。そして、複数の高感度画素Ｐｈのそれぞれは、ベイヤー配列における緑色の画素Ｐｘであり、複数の低感度画素Ｐｌは、ベイヤー配列における青色の画素Ｐｘと赤色の画素Ｐｘとを同数ずつ含む。かかる構成では、緑色の高感度画素Ｐｈと赤色あるいは青色の低感度画素Ｐｌとが互いに隣接しつつ均一に配置されるため、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を高感度画素Ｐｈで的確に捉えつつ、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を低感度画素Ｐｌで的確に捉えることができる。その結果、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となる。

なお、高反射領域Ａｈで反射されて高感度画素Ｐｈに入射したパターン光Ｌ（Ｓ）や、低反射領域Ａｌで反射されて低感度画素Ｐｌに入射したパターン光Ｌ（Ｓ）を変換した画素値Ｖは、不適切である可能性が高い。そこで、主制御部１１０は、画素Ｐｘから出力される画素値Ｖが適切か否かを画素値Ｖに基づき判定する判定処理（ステップＳ２０３）を複数の画素Ｐｘのそれぞれについて実行する。そして、判定処理（ステップＳ２０３）での判定結果に基づき形状算出が実行される（ステップＳ２０５）。かかる構成では、不適切な画素値Ｖの影響を抑えつつ適切な画素値Ｖを用いて形状算出を実行できる（ステップＳ１０２、Ｓ２０５）。そのため、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、半田Ｂの三次元形状Ｂｓを正確に算出することが可能となる。

また、主制御部１１０は、判定処理（ステップＳ２０３）で半田Ｂが不適切と判定された高感度画素Ｐｈに対して、当該高感度画素Ｐｈから配列ピッチΔＰの範囲内に位置する低感度画素Ｐｌの画素値Ｖによる補間を実行し、あるいは判定処理（ステップＳ２０３）で画素値Ｖが不適切と判定された低感度画素Ｐｌに対して、当該低感度画素Ｐｌから配列ピッチΔＰの範囲内に位置する高感度画素Ｐｈの画素値Ｖによる補間を実行した結果に基づき形状算出（ステップＳ１０２、Ｓ２０５）を実行する。かかる構成では、判定処理（ステップＳ２０３）で不適切と判定された不適画素Ｐｘの画素値Ｖを当該不適画素Ｐｘから配列ピッチΔＰの範囲内に位置する画素Ｐｘの画素値Ｖにより補間し、その結果に基づき形状算出（ステップＳ１０２、Ｓ２０５）を実行できる。したがって、高反射領域Ａｈと低反射領域Ａｌとが半田Ｂに混在する場合であっても、半田Ｂの三次元形状Ｂｓを正確に算出することが可能となる。

また、プロジェクター３２は、波長λｇを有して、互いに異なる位相を有する４つの投影パターンＴ（Ｓ）のパターン光Ｌ（Ｓ）を半田Ｂに照射する。そして、主制御部１１０は、位相シフト法によって形状算出を実行する（ステップＳ１０２、Ｓ２０５）。かかる構成では、高反射領域Ａｈと低反射領域Ａｌとが半田Ｂに混在する場合であっても、半田Ｂの三次元形状Ｂｓを位相シフト法によって適切に算出することが可能となる。

このように本実施形態では、外観検査装置１が本発明の「三次元計測装置」の一例に相当し、プロジェクター３２が本発明の「プロジェクター」の一例に相当し、撮像カメラ３１が本発明の「撮像カメラ」の一例に相当し、制御装置１００が本発明の「制御部」の一例に相当し、パターン光Ｌ（Ｓ）が本発明の「光」の一例の相当し、投影パターンＴ（Ｓ）が本発明の「縞パターン」の一例に相当し、波長λｇが本発明の「所定波長」の一例に相当し、半田Ｂが本発明の「対象物」の一例に相当し、三次元形状Ｂｓが本発明の「三次元形状」の一例に相当し、画素Ｐｘが本発明の「画素」の一例に相当し、高感度画素Ｐｈが本発明の「高感度画素」の一例に相当し、低感度画素Ｐｌが本発明の「低感度画素」の一例に相当し、配列ピッチΔＰが本発明の「所定範囲」の一例に相当し、分光感度特性ＳＰ（Ｒ）、ＳＰ（Ｂ）、ＳＰ（Ｇ）が本発明の「分光感度特性」の一例に相当し、画素値Ｖが本発明の「画素値」の一例に相当し、ステップＳ２０３が本発明の「判定処理」の一例に相当する。

なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、複数の画素Ｐｘをベイヤー配列に従って配列する必要は必ずしもない。例えば、青（Ｂ）の画素Ｐｘに代えて赤（Ｒ）の画素Ｐｘを配置しても良い。この場合、プロジェクター３２から赤（Ｒ）の波長のパターン光Ｌ（Ｓ）を投影しても良い。あるいは、赤（Ｒ）の画素Ｐｘに代えて青（Ｂ）の画素Ｐｘを配置しても良い。この場合、プロジェクター３２から青（Ｇ）の波長のパターン光Ｌ（Ｓ）を投影しても良い。

また、高感度画素Ｐｈと低感度画素Ｐｌとの個数の比率や、配列パターン等も適宜変更できる。

また、上記のステップＳ２０４において補間の可否を判断する具体的手法は上記の例に限られない。つまり、不適画素を挟んでＸ方向に並ぶ２個の画素Ｐｘのペアおよび不適画素を挟んでＹ方向に並ぶ２個の画素Ｐｘのペアのうち、いずれか一方のペアを構成する２個の画素Ｐｘの信頼度が閾値以上、すなわち有効であれば、補間可能と判断しても良い。かかる例では、ステップＳ２０５の補間演算を次のように行えば良い。つまり、信頼度が有効なペアが１組のみの場合には、当該ペアを構成する２個の画素Ｐｘの画素値Ｖの平均値により、不適画素の画素値Ｖが補間される。また、信頼度が有効なペアが２組ある場合には、これら２組のペアのうち、ペアを構成する２個の画素Ｐｘの画素値Ｖの差（輝度差）の絶対値が小さい方のペアを構成する２個の画素Ｐｘの画素値Ｖの平均値により、不適画素の画素値Ｖが補間される。図８は不適画素の補間の一例を示す図である。図８に示すように、不適画素Ｐｘｎを挟む２個の画素Ｐｘｇの画素値Ｖｇの平均値によって、不適画素Ｐｘｎの画素値Ｖｎを補間できる（線形補間）。これらの手法によれば、不適画素が高反射領域Ａｈと低反射領域Ａｌの境界に位置する場合であっても、補間された画素値Ｖの誤差を抑えることができる。ただし、補間演算は、ここで例示した線形補間に限られず、他の周知の補間方法を用いて実行できる点は、上述と同様である。

また、上記の例では、パターン光Ｌ（Ｓ）を撮像した撮像画像Ｉ（Ｓ）の画素Ｐｘの画素値Ｖに対して補間を実行している。しかしながら、４つの撮像画像Ｉ（Ｓ）の画素値Ｖ０〜Ｖ３から算出される各画素Ｐｘの角度θに対して補間を実行しても良い。あるいは、この角度θから算出される各画素Ｐｘの高さに対して補間を実行しても良い。こうして、閾値以上の信頼度を有する画素値Ｖに基づき不適画素を補間しつつ、半田Ｂの三次元形状を算出することができる。

また、信頼度の算出方法は、上記の例に限られない。例えば、特開２０１４−１１９４４２号公報あるいは特許第３９９６５６０号公報に記載の方法によって信頼度を算出しても良い。

また、三次元計測の対象物は、半田Ｂに限られない。

１…外観検査装置（三次元計測装置）
３１…撮像カメラ
３２…プロジェクター
１００…制御装置（制御部）
Ｂ…半田（対象物）
Ｂｓ…三次元形状
Ｌ（Ｓ）…パターン光（光）
Ｐｘ…画素
Ｐｈ…高感度画素
Ｐｌ…低感度画素
ΔＰ…配列ピッチ（所定範囲）
ＳＰ（Ｒ）、ＳＰ（Ｂ）、ＳＰ（Ｇ）…分光感度特性
Ｔ（Ｓ）…投影パターン（縞パターン）
Ｖ…画素値
λｇ…緑色の波長（所定波長）
Ｓ２０３…判定処理

Claims (8)

1. 所定波長の光を対象物に照射するプロジェクターと、
   前記対象物で反射された光が入射する複数の画素を有し、前記複数の画素のそれぞれは入射した光の強度に応じた画素値を出力する撮像カメラと、
   前記画素値に基づき前記対象物の三次元形状の形状算出を実行する制御部と
   を備え、
   前記複数の画素は、複数の高感度画素と、前記高感度画素が有する分光感度特性と比較して前記所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む三次元計測装置。
2. 前記高感度画素と前記低感度画素とが交互に配列されている請求項１に記載の三次元計測装置。
3. 前記複数の画素は、前記高感度画素と前記低感度画素とを同じ比率で含む請求項２に記載の三次元計測装置。
4. 前記所定波長は、緑色の波長であり、
   前記複数の画素は、赤色、緑色および青色を所定のパターンで配列したベイヤー配列により配列され、
   前記複数の高感度画素のそれぞれは、ベイヤー配列における緑色の画素であり、
   前記複数の低感度画素は、ベイヤー配列における青色の画素と赤色の画素とを同数ずつ含む請求項３に記載の三次元計測装置。
5. 前記制御部は、前記画素から出力される前記画素値が適切か否かを前記画素値に基づき判定する判定処理を前記複数の画素のそれぞれについて実行し、前記判定処理での判定結果に基づき前記形状算出を実行する請求項１ないし４のいずれか一項に記載の三次元計測装置。
6. 前記制御部は、前記判定処理で前記画素値が不適切と判定された前記高感度画素に対して、当該高感度画素から所定範囲内に位置する前記低感度画素の前記画素値による補間を実行し、あるいは前記判定処理で前記画素値が不適切と判定された前記低感度画素に対して、当該低感度画素から前記所定範囲内に位置する前記高感度画素の前記画素値による補間を実行した結果に基づき前記形状算出を実行する請求項５に記載の三次元計測装置。
7. 前記プロジェクターは、前記所定波長を有して、互いに異なる位相を有する複数の縞パターンの光を前記対象物に照射し、
   前記制御部は、位相シフト法によって前記形状算出を実行する請求項１ないし６のいずれか一項に記載の三次元計測装置。
8. 所定波長の光を対象物に照射する工程と、
   前記対象物で反射された光を複数の画素に入射させ、前記複数の画素が入射した光の強度に応じた画素値を出力する工程と、
   前記画素値に基づき前記対象物の三次元形状の形状算出を実行する工程と
   を備え、
   前記複数の画素は、複数の高感度画素と、前記高感度画素が有する分光感度特性と比較して前記所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む三次元計測方法。

Images