本発明は、このような状況に鑑みてなされたものである。本発明の目的の一は、立体的な検査対象物の外観検査を精度よく画像処理にて実現可能な外観検査装置、外観検査方法、外観検査プログラム及びコンピュータで読み取り可能な記憶媒体並びに記録した機器を提供することにある。
課題を解決するための手段及び発明の効果
以上の目的を達成するために、本発明の第1の態様に係る外観検査装置によれば、立体的な突起物をX軸及びこれと角度β(0<β≦90°)で交差するY軸で規定されるXY平面上に複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行うための外観検査装置であって、検査対象物の光学画像を撮像するための第一撮像素子と、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズと、前記第一光軸を、平面視において突起物の列方向に対して傾斜させた第一光軸水平傾斜角αOA1(0<αOA1<90°)と、側面視において検査対象領域の平面に対して傾斜させた第一光軸垂直傾斜角θOA1(0<θOA1<90°)とを調整するための第一光軸傾斜機構とを備え、複数の突起物の、X軸方向における突起物同士の平均間隔をLx、Y軸方向における平均間隔をLy、各突起物の高さ方向の内、外観検査の対象となる検査対象領域の最大高さをH、各突起物の最大太さをWとするとき、前記第一光軸傾斜機構でもって第一光軸水平傾斜角αOA1を
−W<m・Lx・sinβcosαOA1−sinαOA1(m・Lx・cosβ+n・Ly)<W(条件式1:m、nは任意の整数)
を満たす範囲に設定したとき、前記第一光軸傾斜機構でもって第一光軸垂直傾斜角θOA1を
(条件式2)
を満たす範囲に設定することができる。上記構成により、複数の突起物がXY平面上に規則正しく配列された検査対象物の外観検査に際して、パラメータを所定範囲に収めるよう第一撮像素子傾斜機構や第一レンズ傾斜機構を調整するのみで、側面から撮像した際に背面側の突起物が前面側の突起物の影になって外観検査ができなくなる事態を回避できる。特に、従来のように実際に撮像素子や結像レンズを配置し、試行錯誤を繰り返しながら最適な設置条件を見出す作業を経ることなく、突起物の太さや高さ、間隔といった所期のパラメータに応じて、第一撮像素子傾斜機構や第一レンズ傾斜機構を設定するのみで、外観検査に必要な設置条件を決定することができ、面倒な調整作業の大幅な省力化が可能となる。
また、第2の態様に係る外観検査装置によれば、前記第一光軸傾斜機構は、前記第一光軸水平傾斜角αOA1が前記条件式1を満たさない範囲に設定されたとき、前記条件式2によらず、任意の第一光軸垂直傾斜角θOA1に設定可能とすることができる。上記構成により、複数の突起物がXY平面上に規則正しく配列された検査対象物の外観検査に際して、側面から撮像しても背面側の突起物が前面側の突起物の影になって外観検査ができなくなる事態が生じない場合には、斜め上方に観察方向を変化させる角度を任意に設定可能として、外観検査の自由度を向上させることができる。
さらに、第3の態様に係る外観検査装置によれば、突起物の先端が先細り状となっている場合に、前記条件式2を
とすることができる。上記構成により、円錐形の微小針のような検査対象物に対して、先端部分の先細り部分の外観検査を効率よく行える利点が得られる。
さらにまた、第4の態様に係る外観検査装置によれば、
(条件式3)
を満たすm、nに対して、
−W<m・Lx・sinβcosαOA1−sinαOA1(m・Lx・cosβ+n・Ly)<W(条件式4)
を満たす第一光軸水平傾斜角αOA1となるよう、前記第一光軸傾斜機構でもって前記第一光軸水平傾斜角αOA1を固定値に設定することができる。
さらにまた、第5の態様に係る外観検査装置によれば、Hを各突起物の平均高さ、Wを平均太さとできる。上記構成により、突起物の一部のみならず全体を外観検査することも可能となる。
さらにまた、第6の態様に係る外観検査装置によれば、前記第一光軸傾斜機構が、前記第一結像レンズの主点を含む主平面と検査対象領域とがなす第一レンズ垂直傾斜角θL1を調整するための第一レンズ垂直傾斜機構と、前記第一撮像素子の受光面と検査対象領域とがなす第一撮像傾斜角θI1を調整するための第一撮像垂直傾斜機構とを備えており、検査対象領域と、前記第一結像レンズの主平面と、前記第一撮像素子の受光面の各延長線が、シャインプルーフの原理に従い一点で交差するように、前記第一レンズ垂直傾斜機構で第一レンズ垂直傾斜角θL1を、前記第一撮像垂直傾斜機構で第一撮像傾斜角θI1を、それぞれ異なる角度に調整して、検査対象領域の各位置で合焦された光学画像を前記第一撮像素子で撮像可能とすることができる。上記構成により、検査対象領域の広範囲でピントの合った光学画像を取得することが可能となり、さらに複数列の突起物同士が重なり合って視認できなくなる事態を回避でき、信頼性の高い外観検査が実現される。
さらにまた、第7の態様に係る外観検査装置によれば、立体的な突起物を複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行うための外観検査装置であって、検査対象物の光学画像を撮像する第一撮像素子と、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズと、前記第一結像レンズの主点を含む主平面に対する、検査対象領域に対する第一レンズ垂直傾斜角θL1、前記第一撮像素子の受光面に対する、検査対象領域に対する第一撮像傾斜角θI1を、前記第一撮像素子及び/又は第一結像レンズを、第一光軸に対して相対的に傾斜させることで調整可能な第一光軸傾斜機構と、を備え、前記第一光軸傾斜機構は、検査対象物の検査対象領域と、前記第一結像レンズの主平面と、前記第一撮像素子の受光面の各延長線が、シャインプルーフの原理に従い一点で交差するように、第一レンズ垂直傾斜角θL1、第一撮像傾斜角θI1をそれぞれ異なる角度に調整可能とできる。上記構成により、第一撮像素子はシャインプルーフの原理に従い検査対象領域の各位置で合焦された光学画像を撮像することが可能となる。
さらにまた、第8の態様に係る外観検査装置によれば、前記第一光軸傾斜機構が、前記第一レンズ垂直傾斜角θL1を26°〜60°、前記第一撮像傾斜角θI1を48°〜70°に、それぞれ設定できる。
さらにまた、第9の態様に係る外観検査装置によれば、前記第一光軸傾斜機構は、前記第一結像レンズの主点を含む主平面に対し、検査対象領域に対する第一レンズ垂直傾斜角θL1と、平面視において前記第一結像レンズの第一光軸を、突起物の列方向に対して傾斜させた第一レンズ水平傾斜角αL1(0<αL1<90°)を調整可能な第一レンズ傾斜機構と、前記第一撮像素子の受光面に対し、検査対象領域に対する第一撮像傾斜角θI1と、平面視において前記第一撮像素子の第一光軸を、突起物の列方向に対して傾斜させた第一撮像素子水平傾斜角αI1(0<αI1<90°)を調整可能な第一撮像素子傾斜機構とを備えることができる。
さらにまた、第10の態様に係る外観検査装置によれば、前記第一光軸傾斜機構は、筒状の内部に、前記第一結像レンズと、前記第一撮像素子を共通の第一光軸上に配置した鏡筒を備えており、前記鏡筒内で、前記第一結像レンズは固定され、前記第一撮像素子は回転軸を中心に回転自在に支持されており、前記第一撮像素子傾斜機構は、前記鏡筒内で、前記第一撮像素子を回動させて第一撮像傾斜角θI1を調整可能としており、前記第一レンズ傾斜機構は、前記鏡筒を傾斜させる鏡筒傾斜機構でもって、前記鏡筒内で固定された前記第一結像レンズの第一レンズ垂直傾斜角θL1を調整可能とできる。上記構成により、鏡筒傾斜機構でもって、第一結像レンズ傾斜機構を実現しつつ、鏡筒内では第一結像レンズを固定して第一撮像素子側を傾斜させることで、シャインプルーフの原理に従った傾斜角度に第一結像レンズと第一撮像素子を調整することが可能となり、傾斜角度の調整作業を容易に行える利点が得られる。さらに、従来のように第一撮像素子側を固定して第一結像レンズ側を傾斜させる構成と比べ、第一撮像素子の傾斜範囲を大きく変化させることが可能となり、より傾斜させた姿勢での合焦画像の撮像が可能となる。
さらにまた、第11の態様に係る外観検査装置によれば、さらに検査対象物に対して照明光を照射するための照明部と、平面視において第一光軸の方向に対して、前記照明部の照明光の進行方向を傾斜させた照明水平傾斜角αLSと、前記照明部の照明光の垂直面内の照明垂直傾斜角θLSを調整可能な照明傾斜機構を備えることができる。
さらにまた、第12の態様に係る外観検査装置によれば、前記照明傾斜機構で、前記照明垂直傾斜角θLSを30°以下に設定できる。
さらにまた、第13の態様に係る外観検査装置によれば、前記照明傾斜機構で、前記照明水平傾斜角αLSを0°〜90°に設定できる。
さらにまた、第14の態様に係る外観検査装置によれば、さらに検査対象物の光学画像を撮像する第二撮像素子と、検査対象物を撮像する前記第二撮像素子の第二光軸上に配置された第二結像レンズと、前記第二結像レンズの主点を含む主平面及び前記第二撮像素子の受光面に対しそれぞれ、検査対象領域に対する第二レンズ垂直傾斜角θL2、第二撮像傾斜角θI2を調整可能で、かつ平面視において前記第二撮像素子の第二光軸を、突起物の列方向に対して傾斜させた第二光軸水平傾斜角αOA2を調整可能な第二光軸傾斜機構とを備えることができる。上記構成により、同一の検査対象物を異なる角度から撮像することにより、一方の側からでは判別できない異常を別の視点から確認可能として、外観検査の信頼性を一層高めることが可能となる。
さらにまた、第15の態様に係る外観検査装置によれば、前記第二撮像素子は、第一光軸水平傾斜角αOA1と正負が異なる第二光軸水平傾斜角αOA2で設置できる。上記構成により、第二撮像素子を第一撮像素子と逆側に配置して裏面側の光学画像を撮像可能とできる。
さらにまた、第16の態様に係る外観検査装置によれば、前記第二撮像素子と第一撮像素子のなす水平傾斜角度αOA1+OA2を、45°〜135°とできる。
さらにまた、第17の態様に係る外観検査装置によれば、さらに光学画像に対して、画像処理を行い、異常の有無を判別するための画像処理部と、検査対象物をライン上に搬送するための搬送部とを備え、前記画像処理部は、前記搬送部で搬送される検査対象物に対して外観検査を行うよう構成できる。上記構成により、ライン上を搬送される検査対象物に対しても、一度の撮像で合焦された光学画像を画像処理することで、処理の高速化が要求される製造ライン等においても信頼性の高い外観検査が実現される。
さらにまた、第18の態様に係る外観検査装置によれば、さらに前記搬送部で搬送される検査対象物を、所定の姿勢に位置決めするための検査対象物姿勢ガイド機構を備えており、前記検査対象物姿勢ガイド機構で位置決めされた検査対象物の光学画像を、前記第一撮像素子で撮像するよう構成できる。上記構成により、撮像前に検査対象物の回転位置等の姿勢が検査対象物姿勢ガイド機構によって一義的に規定されるため、常に同じ姿勢の検査対象物の光学画像を撮像することができ、後の画像処理等において有利となる。
さらにまた、第19の態様に係る外観検査装置によれば、前記画像処理部が、光学画像からエッジを抽出したエッジ画像を生成するエッジ画像生成部を備えており、前記画像処理部は、前記エッジ画像生成部で生成されたエッジ画像に基づいて、予め登録された基準形態と対比することにより、正常又は異常を判定するよう構成できる。
さらにまた、第20の態様に係る外観検査装置によれば、前記画像処理部が、検査対象物に対して形状が処理の前後で変化する所定の表面処理が正常に行われたか否かを判定するものであって、前記画像処理部が、処理の前後で撮像された検査対象物の光学画像に対して、差分を抽出するための差分抽出部を備えており、前記差分抽出部で抽出された差分量に基づき、所定の表面処理が正常に行われたか否かを判定するよう構成できる。
さらにまた、第21の態様に係る外観検査装置によれば、前記所定の表面処理が、検査対象物に対して被覆材を塗布する被覆処理であり、前記差分抽出部が、該被覆処理の前後で撮像された検査対象物の光学画像に対して、差分を抽出することにより得られる差分量に基づき、被覆材の塗布量を算出するよう構成できる。
さらにまた、第22の態様に係る外観検査装置によれば、さらに複数の検査対象物をそれぞれ撮像した複数枚の第一光学画像と、前記複数の検査対象物に対して所定の表面処理を施した後に撮像した複数の第二光学画像との対応関係を特定する対応関係特定部を備えており、前記差分抽出部が、前記対応関係特定部に従い、一の検査対象物の第一光学画像と、該第一光学画像と対応する第二光学画像とを選択して差分量を抽出するよう構成できる。上記構成により、各検査対象物毎に正確な差分量を個別に抽出することが可能となり、外観検査の精度を向上させることができる。
さらにまた、第23の態様に係る外観検査装置によれば、さらに検査対象物が前記搬送部で搬送されて所定位置に達したことを検出してトリガ信号を生成するためのトリガ生成部と、前記トリガ生成部と接続され、該トリガ生成部が生成したトリガ信号を受けるタイミングに基づいて、前記第一撮像素子で検査対象物を撮像するタイミングを制御するための撮像タイミング制御部とを備えることができる。上記構成により、トリガ生成部が発するトリガ信号に基づいて光学画像を撮像可能となり、搬送部で搬送される複数の検査対象物に対して撮像タイミングを適切に制御することが可能となる。
さらにまた、第24の態様に係る外観検査装置によれば、検査対象物を、透光性を有する素材で構成することができる。上記構成により、金属製の検査対象物と異なり、透光性を有し撮像が困難な検査対象物に対しても、照明光を調整して画像処理に適した光学画像の取得が可能となる。
さらにまた、第25の態様に係る外観検査装置によれば、検査対象物がマイクロニードルアレイとできる。
さらにまた、第26の態様に係る外観検査装置によれば、前記マイクロニードルアレイを生分解性樹脂製で構成できる。
さらにまた、第27の態様に係る外観検査装置によれば、先端を円錐状とする細長いマイクロニードルを複数の、X軸及びこれと角度β(0<β≦90°)で交差するY軸で規定されるXY平面上に複数列に配置してなるマイクロニードルアレイを撮像して、少なくとも各マイクロニードルの先端部分を含む検査対象領域の外観検査を行うための外観検査装置であって、マイクロニードルアレイの光学画像を撮像する第一撮像素子と、マイクロニードルアレイを撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズと、前記第一結像レンズの主点を含む主平面と検査対象領域とがなす第一レンズ垂直傾斜角θL1、前記第一撮像素子の受光面と検査対象領域とがなす第一撮像傾斜角θI1を調整するための傾斜機構と、前記第一撮像素子で撮像されるマイクロニードルアレイに対して、照明光を照射するための照明部と、前記第一撮像素子で撮像された光学画像に対して、画像処理を行い、異常の有無を判別するための画像処理部と、マイクロニードルアレイをライン上に搬送するための搬送部とを備え、前記傾斜機構が、マイクロニードルアレイの検査対象領域と、前記第一結像レンズの主平面と、前記第一撮像素子の受光面が、一点で交差するように前記第一レンズ垂直傾斜角θL1、第一撮像傾斜角θI1をそれぞれ異なる角度に調整して、シャインプルーフの原理に従い検査対象領域の各位置で合焦された光学画像を撮像可能としており、前記画像処理部は、前記搬送部で搬送中のマイクロニードルアレイを撮像した、前記合焦された光学画像に対して、インラインで外観検査を行うよう構成できる。
さらにまた、第28の態様に係る外観検査装置によれば、複数のマイクロニードルの、X軸方向におけるマイクロニードル同士の平均間隔をLx、Y軸方向における平均間隔をLy、各マイクロニードルの高さ方向の内、外観検査の対象となる領域の最大高さをH、各マイクロニードルの最大太さをWとするとき、前記第一レンズ傾斜機構でもって第一光軸水平傾斜角αOA1が次式
−W<m・Lx・sinβcosαOA1−sinαOA1(m・Lx・cosβ+n・Ly)<W(条件式1)
(m、nは任意の整数)を満たす範囲に設定されているとき、前記第一レンズ傾斜機構でもって前記第一レンズ垂直傾斜角θL1を、前記第一撮像素子傾斜機構でもって前記第一撮像傾斜角θI1を、それぞれ第一光軸垂直傾斜角θOA1が次式
(条件式2)
を満たす範囲に設定できる。
さらにまた、第29の態様に係る外観検査方法によれば、立体的な突起物をX軸及びこれと角度β(0<β≦90°)で交差するY軸で規定されるXY平面上に複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行う外観検査方法であって、前記第一撮像素子で検査対象物の光学画像を撮像する工程と、前記撮像された光学画像に対し、画像処理によって外観検査を行う工程とを含み、検査対象物の光学画像を撮像する第一撮像素子を、該第一撮像素子の受光面に対し、検査対象領域に対する第一撮像傾斜角θI1と、平面視において前記第一撮像素子の第一光軸を、突起物の列方向に対して傾斜させた第一撮像素子水平傾斜角αI1(0<αI1<90°)を調整する第一撮像素子傾斜機構と、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズを、該第一結像レンズの主点を含む主平面に対し、検査対象領域に対する第一レンズ垂直傾斜角θL1と、平面視において前記第一結像レンズの第一光軸を、突起物の列方向に対して傾斜させた第一レンズ水平傾斜角αL1(0<αL1<90°)を調整する第一レンズ傾斜機構とで、複数の突起物の、X軸方向における突起物同士の平均間隔をLx、Y軸方向における平均間隔をLy、各突起物の高さ方向の内、外観検査の対象となる領域の最大高さをH、各突起物の最大太さをWとするとき、前記第一レンズ傾斜機構でもって第一光軸水平傾斜角αOA1が次式−W<m・Lx・sinβcosαOA1−sinαOA1(m・Lx・cosβ+n・Ly)<W(条件式1)
(m、nは任意の整数)
を満たし、かつ前記第一レンズ垂直傾斜角θL1と、前記第一撮像傾斜角θI1を、それぞれθOA1が次式
(条件式2)
を満たす範囲に設定できる。これにより、複数の突起物がXY平面上に規則正しく配列された検査対象物の外観検査に際して、側面から(θ=0)撮像した際に背面側の突起物が前面側の突起物の影になって外観検査ができなくなる事態を回避し、一回の撮像で突起物の全体が表示された光学画像を取得して外観検査を行うことが可能となる。
さらにまた、第30の態様に係る外観検査方法によれば、立体的な突起物をX軸及びこれと角度β(0<β≦90°)で交差するY軸で規定されるXY平面上に複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行う外観検査方法であって、検査対象物の光学画像を撮像する第一撮像素子を、該第一撮像素子の受光面に対し、検査対象領域に対する第一撮像傾斜角θI1と、平面視において前記第一撮像素子の第一光軸を、突起物の列方向に対して傾斜させた第一撮像素子水平傾斜角αI1(0<αI1<90°)を第一撮像素子傾斜機構で調整すると共に、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズを、該第一結像レンズの主点を含む主平面に対し、検査対象領域に対する第一レンズ垂直傾斜角θL1と、平面視において前記第一結像レンズの第一光軸を、突起物の列方向に対して傾斜させた第一レンズ水平傾斜角αL1(0<αL1<90°)を第一レンズ傾斜機構で調整する工程とを含み、複数の突起物の、X軸方向における突起物同士の平均間隔をLx、Y軸方向における平均間隔をLy、各突起物の高さ方向の内、外観検査の対象となる領域の最大高さをH、各突起物の最大太さをWとするとき、前記第一レンズ傾斜機構でもって第一光軸水平傾斜角αOA1が次式−W<m・Lx・sinβcosαOA1−sinαOA1(m・Lx・cosβ+n・Ly)<W(条件式1)(m、nは任意の整数)を満たす範囲に設定したとき、前記第一レンズ傾斜機構でもって前記第一レンズ垂直傾斜角θL1を、前記第一撮像素子傾斜機構でもって前記第一撮像傾斜角θI1を、それぞれθOA1が次式
(条件式2)
を満たす範囲に設定できる。これにより、複数の突起物がXY平面上に規則正しく配列された検査対象物の外観検査に際して、側面から(θOA1=0)撮像した際に背面側の突起物が前面側の突起物の影になって外観検査ができなくなる事態を回避し、一回の撮像で突起物の全体が表示された光学画像を取得して外観検査を行うことが可能となる。
さらにまた、第31の態様に係る外観検査方法によれば、検査対象物の光学画像を撮像する第一撮像素子と、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズと、前記第一撮像素子と第一結像レンズとの、第一光軸上における相対的な傾斜角度を調整可能な傾斜機構とを備える外観検査装置を用いて、立体的な突起物をX軸及びこれと交差するY軸で規定されるXY平面上に複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行う外観検査方法であって、該検査対象物の検査対象領域と、前記第一結像レンズの主平面と、前記第一撮像素子の受光面とが、一点で交差するように前記傾斜機構でもってそれぞれ異なる傾斜角度に調整して、シャインプルーフの原理に従い検査対象領域の各位置で合焦された、検査対象物の第一光学画像を、前記第一撮像素子で撮像する工程と、検査対象物に対して所定の表面処理を行う工程と、同じくシャインプルーフの原理に従い、前記表面処理後の検査対象物の、検査対象領域の各位置で合焦された、第二光学画像を撮像する工程と、前記第一光学画像及び第二光学画像に対して、差分抽出部で差分を抽出し、得られる差分量に基づき、所定の表面処理が正常に行われたか否かを判定する工程とを含むことができる。
さらにまた、第32の態様に係る外観検査プログラムによれば、立体的な突起物をX軸及びこれと角度β(0<β≦90°)で交差するY軸で規定されるXY平面上に、y軸方向に複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行うための外観検査プログラムであって、前記第一撮像素子で検査対象物の光学画像を撮像する機能と、前記撮像された光学画像に対し、画像処理によって外観検査を行う機能とをコンピュータに実現させ、検査対象物の光学画像を撮像する第一撮像素子を、該第一撮像素子の受光面に対し、検査対象領域に対する第一撮像傾斜角θI1と、平面視において前記第一撮像素子の第一光軸を、突起物の列方向に対して傾斜させた第一撮像素子水平傾斜角αI1(0<αI1<90°)を調整する第一撮像素子傾斜機構と、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズを、該第一結像レンズの主点を含む主平面に対し、検査対象領域に対する第一レンズ垂直傾斜角θL1と、平面視において前記第一結像レンズの第一光軸を、突起物の列方向に対して傾斜させた第一レンズ水平傾斜角αL1(0<αL1<90°)を調整する第一レンズ傾斜機構とで、複数の突起物の、X軸方向における突起物同士の平均間隔をLx、Y軸方向における平均間隔をLy、各突起物の高さ方向の内、外観検査の対象となる領域の最大高さをH、各突起物の最大太さをWとするとき、第一光軸水平傾斜角αOA1が次式−W<m・Lx・sinβcosαOA1−sinαOA1(m・Lx・cosβ+n・Ly)<W(条件式1)
(m、nは任意の整数)を満たし、かつ
前記第一レンズ垂直傾斜角θL1と、前記第一撮像傾斜角θI1を、それぞれθOA1が次式
(条件式2)
を満たす範囲に設定できる。これにより、複数の突起物がXY平面上に規則正しく配列された検査対象物の外観検査に際して、側面から(θOA1=0)撮像した際に背面側の突起物が前面側の突起物の影になって外観検査ができなくなる事態を回避し、一回の撮像で突起物の全体が表示された光学画像を取得して外観検査を行うことが可能となる。
さらにまた、第33の態様に係る外観検査プログラムによれば、立体的な突起物をX軸及びこれと角度β(0<β≦90°)で交差するY軸で規定されるXY平面上に複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行うための外観検査プログラムであって、検査対象物の光学画像を撮像する第一撮像素子を、該第一撮像素子の受光面に対し、検査対象領域に対する第一撮像傾斜角θI1と、平面視において前記第一撮像素子の第一光軸を、突起物の列方向に対して傾斜させた第一撮像素子水平傾斜角αI1(0<αI1<90°)を第一撮像素子傾斜機構で調整すると共に、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズを、該第一結像レンズの主点を含む主平面に対し、検査対象領域に対する第一レンズ垂直傾斜角θL1と、平面視において前記第一結像レンズの第一光軸を、突起物の列方向に対して傾斜させた第一レンズ水平傾斜角αL1(0<αL1<90°)を第一レンズ傾斜機構で調整する機能をコンピュータに実現させ、複数の突起物の、X軸方向における突起物同士の平均間隔をLx、Y軸方向における平均間隔をLy、各突起物の高さ方向の内、外観検査の対象となる領域の最大高さをH、各突起物の最大太さをWとするとき、前記第一レンズ傾斜機構でもって第一光軸水平傾斜角αOA1が次式−W<m・Lx・sinβcosαOA1−sinαOA1(m・Lx・cosβ+n・Ly)<W(条件式1)
(m、nは任意の整数)を満たす範囲に設定されているとき、前記第一レンズ傾斜機構でもって前記第一レンズ垂直傾斜角θL1を、前記第一撮像素子傾斜機構でもって前記第一撮像傾斜角θI1を、それぞれθOA1が次式
(条件式2)
を満たす範囲に設定できる。これにより、複数の突起物がXY平面上に規則正しく配列された検査対象物の外観検査に際して、側面から(θOA1=0)撮像した際に背面側の突起物が前面側の突起物の影になって外観検査ができなくなる事態を回避し、一回の撮像で突起物の全体が表示された光学画像を取得して外観検査を行うことが可能となる。
さらにまた、第34の態様に係る外観検査プログラムによれば、検査対象物の光学画像を撮像する第一撮像素子と、検査対象物を撮像する前記第一撮像素子の第一光軸上に配置された第一結像レンズと、前記第一撮像素子と第一結像レンズとの、第一光軸上における相対的な傾斜角度を調整可能な傾斜機構とを備える外観検査装置を用いて、立体的な突起物をX軸及びこれと交差するY軸で規定されるXY平面上に複数列に配置してなる検査対象物の検査対象領域を撮像して外観検査を行うための外観検査プログラムであって、
該検査対象物の検査対象領域と、前記第一結像レンズの主平面と、前記第一撮像素子の受光面とが、一点で交差するように前記傾斜機構でもってそれぞれ異なる傾斜角度に調整して、シャインプルーフの原理に従い検査対象領域の各位置で合焦された、検査対象物の第一光学画像を、前記第一撮像素子で撮像する機能と、検査対象物に対して所定の表面処理を行う機能と、同じくシャインプルーフの原理に従い、前記表面処理後の検査対象物の、検査対象領域の各位置で合焦された、第二光学画像を撮像する機能と、前記第一光学画像及び第二光学画像に対して、差分抽出部で差分を抽出し、得られる差分量に基づき、所定の表面処理が正常に行われたか否かを判定する機能とをコンピュータに実現させることができる。
さらにまた第35のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納したものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray(登録商標)、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
以下、本発明の実施形態を図面に基づいて説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施形態の部材に特定するものでは決してない。特に実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。また、一部の実施例、実施形態において説明された内容は、他の実施例、実施形態等に利用可能なものもある。
本発明の実施例において使用される外観検査装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばIEEE1394、RS−232xやRS−422、RS−423、RS−485、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、IEEE802.1x等の無線LANやBluetooth(登録商標)、その他のNFC等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において外観検査装置とは、外観検査装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた外観検査システムも含む意味で使用する。
また、本明細書において外観検査装置は、外観検査を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の外観検査装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末その他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、OS等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
(実施形態1)
図1A〜図1Dに、本発明の実施形態に係る外観検査装置100を示す。ここでは、製造ライン上を搬送される立体的な形状の検査対象物に対して、外観検査を行う例を説明している。具体的には、検査対象物は図2A、図2Bに示すようなマイクロニードルアレイMNAである(詳細は後述)。マイクロニードルアレイMNAは、その上面に多数のマイクロニードルMNを離間して配置し、突出させている。
図1A〜図1Dに示す外観検査装置100は、撮像部1と、照明部50と、制御部60と、搬送部6と、トリガ生成部7と、表示部8と、操作部9とを備えている。この撮像部1は、第一撮像部10を有する。第一撮像部10は、マイクロニードルアレイMNAの光学画像を撮像する第一撮像素子11と、この第一撮像素子11の第一光軸OA1上に配置された第一結像レンズ12を備える。第一撮像素子11は、受光素子や受光センサーで構成され、CCDやCMOS等が用いられる。第一結像レンズ12は、両側テレセントリックレンズが好適に用いられる。第一撮像素子11で撮像された光学画像は、制御部60に送られて画像処理される。これにより、検査対象物の外観検査が行われる。外観検査は、製造時や出荷前等に製造物の全量を検査する用途、あるいは検品等において利用される。特に、食品や薬品、医療機器等は、異物の混入等に対して厳格な対策が求められている。このような検査目的で、製造物の光学画像を撮像して、画像処理により、形状の異常や異物の付着等を確認する。
また、本発明において外観検査とは、形状が異常か否かの良否判定を行う場合に限られず、他の検査においても適用できる。例えば表面を被膜する処理において、被膜後の光学画像から、適切な被膜が行われているかどうかを判定することが挙げられる。あるいは、表面を被膜する処理の前後において光学画像を撮像し、その差分から、被膜された量を推定し、適切な量の塗布が行われたかどうかの判定を行うこともできる。この場合において、ほぼ均一な膜厚の場合は膜厚の平均値から塗布量を演算したり、あるいは不均一な膜厚の場合は、塗布の前後の差分から断面積を演算して、この断面積から塗布量を演算してもよい。
さらには、光学画像の差分から演算された膜厚や断面積に基づいて、別途計測、あるいは指定された直径、高さ等に基づいて、塗布量を演算する方法のみならず、直接三次元形状の体積を演算することもできる。例えば照明光として構造化照明(位相シフト法、空間コード化法、マルチスリット法等のパターン投影法)を用いた三角測距法により、検査対象物の三次元形状を取得することが可能となる。このようにして得られた三次元画像に対して、体積や重心、傾き等を求めることにより、検査対象物の形状や体積をより正確に把握し、良否判定を行うことができる。
このように、外観検査は、検査対象物の形状の良否判定のみならず、差分に基づく表面処理の適否判定や、塗布量の推定も含まれる。表面処理の適否判断は、例えば薬剤の塗布やめっき、コーティングが均一に行われているか、部分的に欠けている、あるいは不均一な箇所がないか、さらには部分的に厚くなる等、平滑度が所望の精度で達成されているか、その他光沢の度合い等が挙げられる。このような塗布量の演算のような工程管理も、本明細書においては外観検査に含めるものとする。特に塗布量の演算は、従来の方法では、一旦塗布された対象物を抜き取り検査して、塗布された被覆材を洗浄するなどして分離した上で計量する破壊検査であったところ、本発明によれば検査対象物の全量に対して、破壊することなく塗布量を演算することが可能となる。なお、光学画像を用いた外観検査装置であることから、光学検査装置と呼ぶこともできる。
制御部60は、撮像部1や照明部50、トリガ生成部7、表示部8と接続され、これらの動作を制御する。具体的には第一撮像素子で検査対象物を撮像するタイミングを制御する撮像タイミング制御部61を備えている。撮像タイミング制御部61は、トリガ生成部7が発するトリガ信号を受けて、第一撮像部の撮像タイミングを規定する。また、照明光の光量やフラッシュのタイミングを撮像タイミング制御部61で規定することもできる。なお、照明光の光量や点灯タイミングを制御しない場合、すなわち運転時において一定光量の照明光を常時点灯させる場合は、照明部50の制御は不要である。また制御部と照明部とを接続する必要も無い。
さらに制御部60は、画像処理部62を備えている。この制御部60は撮像部で撮像した光学画像を受け取り、画像処理部62により画像処理を行うことにより、外観検査を行う。例えば画像処理部62は、エッジ画像生成部63と差分抽出部64を備えている。このようにエッジ画像や画像の差分などに基づいて、一定の基準に従い良否を判定することで外観検査を行う。このような制御部60には、汎用のコンピュータや専用設計されたMPU、ASIC等が利用できる。
操作部9は、制御部60に接続され、ユーザの操作を受け付けて制御部60に対して各種の設定を行うための部材である。例えば、画像処理を行う範囲や演算する項目、得られた値に対して良品と判定される範囲等を設定すべく、ユーザの指示を受け付ける。このような操作部9には、キーボードやコンソール、ポインティングデバイス等で構成できる。ポインティングデバイスとしては、マウス又はジョイスティック等が利用可能である。
表示部8は、撮像部3で撮像した光学画像や、光学画像から得られるエッジ画像や差分画像等を表示させるための部材である。表示部8は、例えばLCDパネルや有機ELパネルにより構成される。さらに表示部にタッチパネルを利用することで、操作部と兼用することができる。
搬送部6は、検査対象物をライン上に搬送するための部材であり、ベルトコンベアやローラーコンベヤ等が利用できる。
(トリガ生成部7)
トリガ生成部7は、トリガ信号を生成し、制御部60に伝達するための部材である。このトリガ生成部7は、制御部60と接続される。検査対象物が搬送部6で搬送されて所定位置に達したことをトリガ生成部7が検出すると、トリガ信号を発し、制御部60に送出する。これを受けて制御部60は、撮像部で検査対象物を撮像させる。トリガ発生部は、例えば搬送対象物の有無によって、反射光や音波等の検出信号のレベルを異ならせる光電センサやマイクロスイッチ等が利用できる。
このように、トリガ生成部7は撮像部の撮像タイミングを規定する。撮像タイミングは、トリガ生成部7がトリガ信号を発したタイミングで撮像部が撮像するように構成してもよいし、あるいはトリガ信号を発した後所定時間後(例えば1秒後)といったタイミングで撮像するように構成してもよい。これらは、トリガ発生部を配置する位置や検査対象物の搬送距離、搬送速度等に応じて設定される。また、複数の撮像部を用意する場合、各撮像部用に個別にトリガ発生部を設けてもよいし、あるいは共通のトリガ発生部からトリガ信号に応じて、撮像位置までの時間差を設定するように構成することもできる。
このようにして、トリガ生成部7が発するトリガ信号に基づいて光学画像を撮像可能となり、搬送部6で搬送される複数の検査対象物に対して撮像タイミングを適切に制御することが可能となる。
(傾斜機構3)
さらに、第一結像レンズ12の主点を含む主平面及び第一撮像素子11の受光面の少なくとも一方を傾斜可能な傾斜機構3を設けている。傾斜機構3は、例えば第一結像レンズ12を傾斜させる第一レンズ傾斜機構32と、第一撮像素子11を傾斜させる第一撮像素子傾斜機構31を含む。第一レンズ傾斜機構32は、第一結像レンズ12の主点を含む主平面に対し、検査対象領域に対する第一レンズ垂直傾斜角θL1と、平面視において第一結像レンズ12の第一光軸OA1を、突起物の列方向に対して傾斜させた第一レンズ水平傾斜角αL1を調整可能なとしている。また第一撮像素子傾斜機構31は、第一撮像素子11の受光面に対し、検査対象領域に対する第一撮像傾斜角θI1と、平面視において第一撮像素子11の第一光軸OA1を、突起物の列方向に対して傾斜させた第一撮像素子水平傾斜角αI1を調整可能としている。このような第一撮像素子傾斜機構31や第一レンズ傾斜機構32には、ピボット式の固定具やボールジョイント、蛇腹等、角度を調整可能な既存の機構が適宜利用できる。
これらの傾斜機構3は、図3の模式側面図に示すように、マイクロニードルアレイMNAの検査対象領域MNPと、第一結像レンズ12の主平面と、第一撮像素子11の受光面が、一点で交差するように調整する。これにより、シャインプルーフの原理に従い検査対象領域の各位置で合焦された光学画像を撮像することができる。図3において、ピントを合わせることのできる範囲を合焦領域FA1として、網掛けで示す。この結果、第一撮像素子11の受光面で合焦して結像された合焦点画像が得られる。制御部60の画像処理部62は、この合焦点画像に対して画像処理を行い、マイクロニードルアレイMNAの折れや欠けといった不良を精度よく検出することが可能となる。この例では傾斜機構として、第一撮像素子11と第一結像レンズ12の傾斜角度を、図1Cの側面図に示すように、水平面(XY平面)に対して光軸OA1を傾斜角θOA1で傾斜させる。同時に、光軸でなく受光面や結像面を基準とした角度として、図3に示すように検査対象領域に対する第一レンズ垂直傾斜角θL1、撮像傾斜角θI1も調整可能としている。
結像レンズの結像面とシャインプルーフ合焦面のなす角θは、5°〜45°が望ましく、15°〜30°がさらに望ましい。45°以上になると、マイクロニードルの上から見下ろす形になるため、マイクロニードルの微細な折曲がりを検出するのが難しくなる。例えば第一レンズ垂直傾斜角θL1を26°〜60°、第一撮像傾斜角θI1を48°〜70°に設定する。
(鏡筒33)
第一結像レンズ12と第二撮像素子11は、好ましくは共通のハウジングに収納される。さらにハウジングに傾斜機構を組み込むこともできる。一例として、第二撮像素子11と第一結像レンズ12を収納する鏡筒33を図4〜図8に示す。これらの図において、図4は鏡筒33の平面図、図5は鏡筒33の側面図、図6は図4のLIII−LIII線における縦断面図、図7は図4のLIV−LIV線における横断面図、図8は図4のLV−LV線における水平断面図を、それぞれ示している。中空の円筒状に形成された鏡筒33内において、第一結像レンズと第一撮像素子は、共通の第一光軸OA1上に配置されている。また図6に示すように、鏡筒33内で第一結像レンズは固定されており、第一撮像素子を第一光軸OA1に対して傾斜させるよう、第一撮像素子傾斜機構を設けている。第一撮像素子傾斜機構は、第一光軸OA1と直交する回転軸を中心に第一撮像素子を回動自在に支持している。この回転軸は、図7、図8の断面図に示すように鏡筒33の側面に設けられた撮像素子傾斜つまみ34と固定されており、撮像素子傾斜つまみ34を回転させることで第一撮像素子の第一撮像傾斜角を調整でき、第一撮像素子傾斜機構を実現している。
(鏡筒傾斜機構35)
一方で第一結像レンズの第一レンズ垂直傾斜角を調整するため、図9の断面図に示すように、鏡筒33自体の傾斜角を調整することでの第一レンズ傾斜機構の機能を実現している。このため鏡筒33を支持し、所望の角度で保持可能な鏡筒傾斜機構35が第一レンズ傾斜機構に相当する。そしてこれら撮像素子傾斜つまみ34と鏡筒傾斜機構35でもって、シャインプルーフの原理に従い、検査対象物の検査対象範囲が合焦位置となるように、第一撮像傾斜角θI1と、第一レンズ垂直傾斜角θL1を調整する。すなわち図9に示すように、検査対象範囲の平面の延長線上で、第一結像レンズの平面の延長線と、第一撮像素子の平面の延長線が交差するように、撮像素子傾斜つまみ34と、鏡筒傾斜機構35を調整する。いいかえると、第一光軸OA1と第一撮像素子の受光面の交点は、常に第一撮像素子の回転軸上にある。ここで従来の傾斜機構を備える撮像部は、傾斜可能なレンズのマウント部に角度調整の回転中心があるため、シフト機構を設ける必要がある。また、回転半径が大きくなるため、イメージサークルから第一撮像素子が出てしまうという問題があった。これに対して、本実施形態によれば、鏡筒33内で第一結像レンズを固定し、第一光軸OA1上に第一撮像素子11の回転軸を配置したことで、このような問題を回避し、シフト機構を設ける必要がない。
また傾斜機構は、上述した鏡筒を用いることで、第一結像レンズと第一撮像素子の光軸がマイクロニードルの列方向とがなす角度である第一光軸水平傾斜角αOA1を共通としている。すなわち、平面視における第一結像レンズの第一光軸とマイクロニードルの列方向とがなす角度である第一レンズ水平傾斜角αL1と、第一撮像素子の第一光軸とマイクロニードルの列方向とがなす角度である第一撮像素子水平傾斜角αI1を、第一光軸水平傾斜角αOA1と一致させている。ただ、傾斜機構はこの構成に限られず、例えば第一レンズ水平傾斜角αL1と第一撮像素子水平傾斜角αI1を、個別調整可能としてもよい。すなわち、傾斜機構として、第一結像レンズの主平面に対し、平面視において第一結像レンズの第一光軸OA1を、突起物の列方向に対して傾斜させた第一レンズ水平傾斜角αL1(0<αL1<90°)を調整可能な第一レンズ傾斜機構と、第一撮像素子の受光面に対し、平面視において第一撮像素子の第一光軸OA1を、突起物の列方向に対して傾斜させた第一撮像素子水平傾斜角αI1(0<αI1<90°)を調整可能な第一撮像素子傾斜機構とを、個別に設けることもできる。そして第一レンズ傾斜機構と、第一撮像素子傾斜機構とでもって、第一レンズ水平傾斜角αL1及び第一撮像素子水平傾斜角αI1を、それぞれ上述した第一光軸水平傾斜角αOA1とするように調整する。
(実施形態2)
(第二撮像部20)
また撮像部は複数設けてもよい。複数の撮像部で同一の検査対象物を異なる角度から撮像することにより、一面だけでは判別できない異常を別の視点から確認することができ、外観検査の信頼性が向上される。このような例として、実施形態2に係る画像検査装置を図10に示す。この図に示す例では、撮像部として第一撮像部10と第二撮像部20の2つを設けている。
第二撮像部20は、第二撮像素子21と、この第二撮像素子21の第一光軸OA2上に配置された第二結像レンズ22を備える。また第二撮像素子21と第二結像レンズ22の設置角度を調整する第二光軸傾斜機構4を備える。第二光軸傾斜機構4は、第二結像レンズ22の主点を含む主平面及び第二撮像素子21の受光面に対しそれぞれ、検査対象領域に対する第二レンズ垂直傾斜角θL2、第二撮像傾斜角θI2を調整可能で、かつ平面視において第二撮像素子21の第二光軸OA2を、突起物の列方向に対して傾斜させた第二光軸水平傾斜角αOA2を調整可能としている。このため第二光軸傾斜機構4は、第二撮像素子21の第二撮像傾斜角θI2、第二撮像素子水平傾斜角αI2(図10の例では第二光軸水平傾斜角αOA2と等しい)をそれぞれ調整するための第二撮像素子傾斜機構41と、第二結像レンズ22の第二レンズ垂直傾斜角θL2、第二レンズ水平傾斜角αL2(図10の例では第二光軸水平傾斜角αOA2と等しい)を調整するための第二レンズ傾斜機構42を備えている。これらの第二撮像素子傾斜機構41や第二レンズ傾斜機構42は、上述した第一撮像素子傾斜機構31や第一レンズ傾斜機構32と同様の部材が利用できる。同様に、このような第二光軸傾斜機構4を用いて、図1C等に示した第一撮像素子傾斜機構31や第一レンズ傾斜機構32で構成される第一光軸傾斜機構と同様、側面視における第二光軸OA2が検査対象領域の平面となす角度である第二光軸垂直傾斜角θOA2(0<θOA2<90°)、あるいは第二光軸OA2でなく、第二結像レンズ22の結像面や第二撮像素子21の撮像面が検査対象領域の平面となす角度である第二レンズ垂直傾斜角θL2、第二撮像傾斜角θI2を調整できる。このように第二レンズ傾斜機構42は第一撮像素子傾斜機構31と同様であるので、図示を含めて詳細説明を省略し、以下で説明する第一光軸水平傾斜角αOA1、第一光軸垂直傾斜角θOA1、第一レンズ垂直傾斜角θL1、第一撮像傾斜角θI1等の説明は数式も含めてすべて、第二光軸水平傾斜角αOA2、第二光軸垂直傾斜角θOA2、第二レンズ垂直傾斜角θL2、第二撮像傾斜角θI2にも適用可能とする。同様に、後述する第三撮像部30に関しても、ラインの搬送方向と第三光軸OA3がなす角である第三光軸水平傾斜角αOA3等に対して、第一撮像部10等と同様の部材や配置を採用できるので、詳細説明を省略する。
特にシャインプルーフの原理を用いた結像レンズは、複数台の結像レンズを搬送方向に対する水平傾斜角度αOAxを変えて設置することが望ましい。なぜなら、マイクロニードルの変形が撮像素子の光軸方向に存在する場合(例えば光軸方向に突出した異物)、外観検査が難しいからである。そこで、少なくとも2台の、異なる角度をなす結像レンズを用いて観察することが好ましい。水平傾斜角度αOAxは、マイクロニードルを観察した際に、背面に位置するマイクロニードルと重複しない角度に設定することが望ましい。後ろのマイクロニードルと重なると、重なった部分の外観検査が阻害されるからである。マイクロニードル同士が重ならない条件の詳細については後述する。
第一結像レンズ12の第一光軸OA1と、第二結像レンズ22の第二光軸OA2のなす水平傾斜角度αOA1+OA2(=αOA1+αOA2)は、45°〜135°が望ましく、特に90°が望ましい。特に、突起物の傾斜角度を検査する用途においては、ほぼ直交する二方向から観察することで、いずれの方向に傾斜していてもこれを判別できる。
また第二撮像部20は、平面視において検査対象物の進行方向に対して対称な位置に設けてもよい。この場合、第二光軸傾斜機構4は、第二撮像部20の第二光軸水平傾斜角αOA2を、突起物の列方向に対して撮像部の第一光軸水平傾斜角αOA1と対象となるよう、絶対値を等しくし正負の符号を反転させた値とする(αOA2=−αOA1)。このように第二撮像素子21を第一撮像素子11と逆側に配置することで、第一撮像素子11では撮像できない面の光学画像を取得でき、より確実な外観検査が実現される。またこの方法であれば、後述する突起物の重なりを考慮して設定された第一光軸水平傾斜角αOA1に対し、第二光軸水平傾斜角αOA2の設定を容易に行うことができる。
なお、撮像部は2つに限らず、3以上とすることもできる。撮像部を増やすことで、より多面的に外観検査を行い、検査ミスを低減できる。特に、検査対象物を挟んで背面側に追加の撮像部を配置することで、正面側から観察できない背面側の外観検査を行うことが可能となる。例えば、図11に示す変形例のように、第三撮像部30を第一撮像部に対して検査対象物の背面側に配置する。また平面視における第三撮像部30の第三光軸OA3とラインの搬送方向とがなす角を第三光軸水平傾斜角αOA3として、後述する式3等のαを適用して、適切な角度範囲を特定できる。特に、突起物の傾斜角度のみならず、表面状態の検査、例えば薬剤の塗布が均一に行われているか、部分的に塗布されていない箇所が存在しないか等を確認できる。
なおこの例では、第三撮像部30の撮像位置を、ラインの搬送方向において第一撮像部10よりも上流側に配置しているが、第一撮像部の撮像位置よりも下流側に第三撮像部を配置してもよい。また、後述する照明部を各撮像部毎に設けてもよい。
一方で、多くの光学画像を画像処理することにより、処理速度の高速化が必要となり、特に搬送ライン上でインライン処理する際に求められる処理速度との関係で限界が生じる。よって、要求される画像検査の精度や処理能力に応じて、撮像部の数を決定する。
(照明部50)
照明部50は、マイクロニードルアレイMNAに対して照明光を照射するための部材である。照明部50は、光源としてLED等の半導体発光素子やハロゲンランプ、蛍光灯、白熱電球等が使用できる。特に半導体発光素子は、スイッチング応答性に優れ、低消費電力で長寿命であり好ましい。照明光は、白色光とする他、検査対象物の色や透光性等に応じて適宜選択される。また、照明の種類として、落射照明や透過照明など、検査対象物の材質、例えば樹脂のような透光性を有する場合や金属のような反射する材質等に応じて適宜選択される。また照明光としてテレセントリック光を発するテレセントリック照明を用いることもできる。さらに、照明部を鏡筒に組み込んでもよい。
検査対象物が、金属製等、正反射する材質の場合は、比較的鮮明な光学画像を撮像しやすい。一方で、検査対象物が透光性のある樹脂のような、乱反射する材質の場合は、ハレーション等を起こしやすくなって鮮明な光学画像の撮像が困難となる。特に樹脂製のマイクロニードルアレイは、立体形状であることと相俟って、ピントを合わせ且つハレーションの少ない鮮明な光学画像を撮像することが容易でない。そこで、照明光の角度や光量を調整して、ハレーションや黒つぶれの少ない、適切な光学画像を得られるよう、照明部50を設置する。
(照明傾斜機構55)
またこの外観検査装置100は、照明部50の照明光LSの角度を調整する照明傾斜機構55を備えている。照明傾斜機構55は、図1Aや図1Bに示すように平面視において第一光軸OA1の方向に対して、照明部50の照明光の進行方向を傾斜させた照明水平傾斜角αLSと、図1Cに示すように照明部50の照明光の垂直面内の照明垂直傾斜角θLSを、それぞれ調整可能としている。照明傾斜機構55で、照明垂直傾斜角θLSを例えば30°以下に設定する。また照明水平傾斜角αLSを0°〜90°に設定する。
なお、上述した第一光軸傾斜機構、第二光軸傾斜機構、照明傾斜機構は、外観検査装置の設置時に撮像部や照明部の傾斜角度を調整するための部材であり、例えば手動で角度を調整して固定する治具や接着材等が利用できる。あるいは、制御部60で角度を自動調整するよう構成してもよい(詳細は後述)。
図1Aの例では、一の照明部50で第一撮像部10、第二撮像部20の照明を共用している。ただ、本発明は照明部の数を一に限定せず、照明部を複数設けることもできる。例えば、第一撮像部用、第二撮像部用に、専用の照明部をそれぞれ設けてもよい。例えば、図11に示す変形例においては、第一撮像部用、第二撮像部用、第三撮像部用に、それぞれ第一照明部51、第二照明部52、第三照明部53を、それぞれ設置している。また各撮像部毎に照明部を一のみ設ける構成のみならず、一の撮像部に対して照明部を複数設けてもよい。例えば、検査対象物の両側から照明光を照射するような場合には、撮像部の左右にそれぞれ照明部を設けることができる。
なお第一撮像部10と第二撮像部20が撮像を行うタイミングは、同時としてもよいが、個別のタイミングで行ってもよい。特に図12に示すように、第一撮像部10用と第二撮像部20用に、個別に照明部として第一照明部51、第二照明部52を設ける構成においては、異なるタイミングで撮像を行うことにより、他方の照明光の影響を低減できる。すなわち、第一撮像部10で撮像する際には第一照明部51を点灯させつつ、第二照明部52を消灯あるいは光量低下させ、一方第二撮像部20で撮像する際には第二撮像照明部52を点灯させつつ、第一撮像照明部51を消灯あるいは光量を低下させる。これにより、異なる角度から検査対象物に照明光を投入するように設置された各照明部に対して、他方の照明光をカットすることで必要な照明光のみを照射し企図した光学画像を得ることが可能となる。このような照明光の制御は、照明光制御部67で行わせることができる。
このような撮像タイミングの制御は、撮像部と接続された制御部60で行う。制御部60は、上述の通り搬送部6上で搬送される検査対象物が所定位置に搬送されたことを検出するトリガ生成部7からのトリガ信号に従って、各撮像部の撮像タイミングを制御する撮像タイミング制御部61を備えている。またトリガ生成部7は、検査対象物の位置を検出するよう、搬送部6に沿って配置される。
このようにして第一撮像部10と第二撮像部20でそれぞれ撮像された、同一の検査対象物の光学画像は、それぞれ制御部60に送出されて、画像処理される。
(制御部60)
制御部60は、撮像部で撮像された光学画像に対して画像処理を行う画像処理部62を備えている。画像処理部62は、画像処理により、検査対象物の異常の有無を判別する。例えば、画像処理部62が光学画像に対してエッジ抽出を行い、予め登録された基準形態と比較の上、正常、異常を判定する。あるいは、検査対象物中から、予め登録されたパターンを抽出して、このパターンに対して設定された基準項目(例えば突起物の高さ、太さ、先端部の角度)を検査するよう構成してもよい。
(パターン認識)
画像処理部62による画像処理の一例を、図13のブロック図に基づいて説明する。この図に示す画像処理部62は、撮像部で撮像された光学画像を受けて、パターン認識の結果を出力し、検査結果出力部65に送出する。この画像処理部62は、前処理部62aと、特徴量抽出部62bと、特徴圧縮部62cと、分類器62dとを備える。
撮像部で撮像された光学画像は、まず前処理部62aで前処理される。前処理部62aでは、ノイズ除去や画像の大きさの正規化などが行われる。
次に特徴量抽出部62bで特徴量の抽出が行われる。ここでは、識別に必要な特徴量を算出する。算出された特徴量はベクトル化され、特徴ベクトルとして扱われる。特徴ベクトルとして、例えば光学画像に対して色ヒストグラム、エッジ検出、方向性特徴、ウェーブレット係数などが用いられる。
得られた特徴ベクトルは、高次元から低次元の特徴ベクトルとするよう、特徴圧縮部62cにより圧縮される。さらに圧縮された特徴ベクトルは分類器62dにおいて、所定のクラスに分類される。またクラス情報を出力することもできる。この際、分類器62dの分類性能を向上させるため、分類器62dを学習させてもよい。例えば、学習用に用意した正解のクラス情報付きの特徴ベクトル群を用いて、学習により、適切な分類を行うような分類器62dを構築する。
なお本明細書においては、画像処理の対象となる画像として、光学撮像素子であるCCD等で得られた光学画像を用いる例を説明しているが、本発明は画像処理の対象を光学画像に限定するものでなく、例えば高さ情報を輝度値に置き換えた高さ画像等を対象として画像処理を行うこともできる。
(特徴抽出)
光学画像中の特徴として、特徴点は基本となる要素である。特徴点とは、輝度や色度を周囲の画素と区別でき、その位置を正確に決定することができる点である。光学画像中の特徴点を抽出することにより、複数の画像間の対応付けが容易となるため、様々な画像処理に用いることが可能となる。
以下、特徴点を抽出する方法について説明する。特徴量抽出部62bは、光学画像中で位置を正確に決定するために、特徴点として輝度又は色の変化が大きい、例えば画像中で角に見える部分を選択する。
(画像照合方法の分類)
光学画像から抽出された特徴を照合することにより、目的のパターンを検索する。このような照合方法としては、テンプレートマッチングやグラフマッチングが利用できる。
テンプレートマッチングは、図14に示すように、画像T(サイズMT×NT)と類似した部分を入力画像I(サイズMI×NI)中で検出する。具体的にはTをI上でずらしながら、重なった領域の類似度S(または相違度D)を計算する。
一方グラフマッチングは、図15に示すように、画像から得られた特徴を頂点とし、特徴間の関係を辺とするグラフをつくり、グラフ間の対応付けを行うことにより特徴集合間を照合する。
ここで、テンプレートマッチングを用いて、マイクロニードルアレイの光学画像を解析して、良品形状と比較することにより良否判定の外観検査を行う例を、図16に基づいて説明する。この図に示すように、各マイクロニードルの中心軸CAXを画像処理により演算する。そして、得られた中心軸CAXが直線かどうかを判定する。例えば図16の右端に示すように中心軸CAXに折れ曲がりがある場合は、不良と判定する。また、各マイクロニードルの中心軸CAXについて、基板SUBに対する傾斜角度を検出し、所定の範囲内にあるかどうかを判定する。さらに、中心軸CAXがマイクロニードルの頂点を通るか否かを判定する。あるいは、予め良品のマイクロニードルを基準画像として登録しておき、撮像したマイクロニードルをこの基準画像と対比して類似度を判定してもよい。
このような判定処理は、好ましくは複数を組み合わせて行う。また、処理速度やラインの搬送速度に応じて、画像処理に許容される時間内に行えるよう、選択される。
なおこの例では、製造ライン上を搬送される検査対象物に対して、移動中に撮像部で撮像して検査処理を行う例を説明している。画像処理部62は、ライン上を搬送される検査対象物に対してインライン処理を行う。これにより、一度の撮像で合焦された光学画像を画像処理することで、処理の高速化が要求される製造ライン等においても信頼性の高い外観検査が実現される。ただ、検査処理の速度等によっては、撮像時に検査対象物を一旦停止させて撮像、検査処理を行うように構成してもよい。あるいは、撮像された画像に対してオフラインで画像処理を行う構成としてもよい。
また、以上の例では第一撮像部10や照明部50を、搬送ラインの周辺に設置し、その姿勢や角度を第一撮像素子傾斜機構31や第一レンズ傾斜機構32で調整する作業を手作業で行う例を説明した。ただ、第一撮像素子傾斜機構や第一レンズ傾斜機構に電動駆動機構を設けて、入力された角度となるよう自動的に傾斜させる機構を設けたり、さらに制御部からの制御信号で傾斜角度を制御できるように構成してもよい。この場合は、第一撮像素子傾斜機構や第一レンズ傾斜機構を制御部と電気的に接続し、制御部からの制御信号で第一撮像素子傾斜機構や第一レンズ傾斜機構の第一撮像傾斜角θI1、第一レンズ垂直傾斜角θL1等を制御可能な構成とする。ユーザは、制御部に対して第一撮像傾斜角θI1、第一レンズ垂直傾斜角θL1等の情報を入力し、この入力に応じて、制御部から第一撮像素子傾斜機構や第一レンズ傾斜機構に、第一撮像傾斜角θI1や第一レンズ垂直傾斜角θL1の角度値を調整する制御信号を送出し、これらを所期の角度に調整する。また、このようなユーザによる制御は、制御部と接続された専用のコンソールから行う他、制御部と接続されたコンピュータ等から行うこともできる。あるいは、制御部自体をコンピュータで構成してもよい。この場合、コンピュータにインストールされた外観検査プログラムを操作して、必要な角度地の入力や制御を行う。
(マイクロニードルアレイ)
ここで、検査対象物としてマイクロニードルアレイの外観検査を行う場合を説明する。マイクロニードルアレイは、皮膚の表皮層に微小な針(マイクロニードル)を穿刺して薬剤を投与する経皮吸収促進デバイスである。マイクロニードルアレイは、低侵襲性で、痛みや恐怖感が少なく、針刺し事故の危険性が少ない利点を有する。また、表皮投与であり、皮膚免疫の利用による効率の良い免疫獲得が実現される。さらに角質を穿刺するため、経皮吸収が困難であった薬物を経皮投与可能にする利点も得られる。
マイクロニードルアレイMNAの一例を図77の斜視図に示す。この例では、円形の平板状の基板SUBの上面に、多数のマイクロニードルMNをXY平面に均一に配置している。基板SUBの形状は、円形の他、矩形状、多角形状等も利用できる。またマイクロニードルMNの配置パターンとしては、図2Aに示すようにマイクロニードルを縦横に並べたマトリックス状又は碁盤目状のマイクロニードルアレイMNAGや、図2Bに示すように隣接する行同士でオフセット状に配置したマイクロニードルアレイMNAOが挙げられる。
各マイクロニードルは、例えば高さ50〜800μmの微小針であり、このようなマイクロニードルが基板上に1cm2あたり数十〜数百個、規則的に並べて配置される。マイクロニードルを構成する材質は、樹脂や金属等が挙げられる。樹脂の場合は、ある程度の透光性を有する材質が使用されることがある。好ましくは、生分解性樹脂が用いられる。生分解性樹脂として、例えばポリ乳酸樹脂(PLA)、ポリグリコール酸樹脂(PGA)等の公知の生分解性樹脂が用いられる。
このようなマイクロニードルアレイは、注射剤に近い品質が求められる。すなわち製造途中に破損したマイクロニードルや、異物の付着したマイクロニードル等が含まれることは許されず、外観を全数検品することが求められる。例えばマイクロニードルの外観を撮像して光学画像を取得し、この光学画像に対して画像処理等により外観検査を行い、各マイクロニードルに対して異常がないか検査する。異常の例としては、マイクロニードルの折れ、欠け、曲り、樹脂の充填不足による先端部の成型不良、樹脂中の気泡(ボイド)の発生等が挙げられる。
(マイクロニードルアレイの外観検査)
(検査対象項目)
次にマイクロニードルアレイの外観検査について説明する。外観検査の項目としては、例えば
1.各マイクロニードルが垂直姿勢で基板上に設けられているか、軸が途中で曲がっていたり傾いていたりしないか、といったマイクロニードルの中心軸の直線性や、傾斜角度の検査;
2.マイクロニードルの表面に異物が付着していないかどうかの異物検査;
3.マイクロニードルアレイに薬液が正しく塗布されているか、塗布量や塗布面積の検査
等が挙げられる。これらについて順次説明する。
(1.傾斜検査)
まず、マイクロニードルの中心軸の傾斜角度や直線性を調べる場合は、マイクロニードルアレイを二方向以上から撮像する。例えば図17の平面図に示すように、同一のマイクロニードルに対して水平傾斜角度αOA1+OA2で交差する第一光軸OA1と第二光軸OA2の二方向から検査すれば、傾斜角度を検出できる。水平傾斜角度αOA1+OA2は、90°が好ましい。また、例えば図16に示すように、マイクロニードルMNの中心軸CAXを画像処理で求め、中心軸CAXと基板SUBとのなす傾斜角度αCAXを求め、所定の閾値内にあるかどうかを画像処理部62で判定し、検査結果出力部65に出力する。また、マイクロニードルMNの中心軸CAXの直線性や、中心軸CAXがマイクロニードルMNの頂点を通るかどうか等の検査項目について判定することもできる。なお、傾斜検査においては、後述するエッジ画像を生成する必要は必ずしもなく、光学画像に対して画像処理を行うことで判定することもできる。
(2.異物検査)
次に異物検査について検討する。マイクロニードルアレイの製造工程において、マイクロニードルの表面に異物、例えばマイロニードルを形成する樹脂の成型屑などが付着することがある。このような異物を製造の段階で検出して除去すべく、外観検査により各マイクロニードルの表面を検査する。この異物検査においては、マイクロニードルの全体、あるいは少なくとも刺入される領域の、光学画像を撮像する必要がある。ここでマイクロニードルは基板の平面状から垂直に直立姿勢で設けられているため、マイクロニードルアレイを真上から撮像した外観検査では、図80に示すようにマイクロニードル先端部分の外観検査がほぼ不可能であり、マイクロニードルの真横から斜め上にかけた角度から検査する必要がある。また、微細な立体構造物であって死角が多いため、複数方向からの検品が必要となる。さらに無菌的に製造することから、作業者の手が介入することも許されない。このため、マイクロニードルアレイの製造時にインラインでの外観検査が求められる。
(エッジ画像)
ここで、検査対象物であるマイクロニードルアレイのエッジ画像を撮像して画像処理を行う様子を、図18に基づいて説明する。まず撮像部1でマイクロニードルアレイを撮像して、光学画像OPIを取得する。次に得られた光学画像OPIから、画像処理部62でもってエッジ画像EDIを生成する。ここでは、光学画像OPIに対して、マイクロニードルアレイの輪郭(エッジ)を抽出する。さらに、必要に応じて離散的なエッジ同士を連結して計測領域を自動的に設定することもできる。輪郭抽出には、例えば動的輪郭法、ウォーターシェッド(Watershed)、エッジトレース等が利用できる。
マイクロニードルアレイの外観検査は、微細な構造の検査を広い範囲で実施する必要がある。一般的な光学顕微鏡でマイクロニードルアレイを斜め上方から観察する場合、図19に示すように焦点の合う合焦範囲FA2は網掛けで示す領域となり、マイクロニードルアレイMNAの検査対象領域に含まれるマイクロニードルMNの内、一部のみにしか合焦させることができない。例えば図20に示すような光学画像OPI’を撮像した場合、この光学画像OPI’に対してエッジ抽出処理を行っても、図21のようなエッジ画像EDI’となって、合焦された領域でしかエッジを正確に抽出できない結果、マイクロニードルの輪郭が部分的にしか得られないこととなって、完全な外観検査を行うことができない。これを回避するためには、1枚のマイクロニードルアレイの検査のために、ピント位置を変えて光学画像を複数枚撮像し、さらに撮像した複数枚の光学画像中から合焦された部分を抽出して合成し、この合成画像に対して画像解析を行う必要が生じ、処理に多くの時間がかかることとなる。このため、この方法でマイクロニードルアレイを検品するには、処理速度の関係からインラインでの処理が困難となる。
そこで、図22に示すように検査対象領域で合焦された光学画像OPIを一度の撮像で取得することが求められる。これにより、この光学画像OPIに対してエッジ抽出を行うことで、図23に示すような、各マイクロニードルのプロファイルを含んだエッジ画像EDIを得ることができる。
さらに、複数のマイクロニードルを配列したマイクロニードルアレイを観察する方向によっては、マイクロニードル同士が重なってしまい、手前側のマイクロニードルに奥側のマイクロニードルの一部又は全部が隠れてしまい、影になった部分の外観検査が妨げられるという問題もある。例えば図24に示すような、マイクロニードル同士が重なった観察角度乃至視野でマイクロニードルアレイの光学画像OPI”を撮像すると、得られるエッジ画像EDI”においても、図25に示すようにマイクロニードルの輪郭が部分的に得られない状態となる。このため、光学画像を撮像する段階で各マイクロニードルの輪郭が表示されるように、視野や観察角度を調整すべく、撮像部とマイクロニードルアレイとの相対的な位置関係を設定する必要がある。すなわち、図26Bに示すようなマイクロニードル同士が重なりあうエッジ画像EDI”でなく、図26Aに示すような重なりのないエッジ画像EDIを得る必要がある。
そこで、本実施形態においては、マイクロニードルアレイの光学画像を撮像するに際して、撮像手段の角度を傾斜手段を用いて適切に調整することで、上記2つの課題を同時に解決する。
まず、斜め上方からマイクロニードルアレイの光学画像を撮像する際に、各マイクロニードルのピントを合わせるために、図3の側面図に示すようにシャインプルーフの原理に従い、マイクロニードルアレイMNAの検査対象領域MNPと、第一結像レンズ12の主平面LNPと、第一撮像素子11の受光面ISPの延長線が、一点で交差するように傾斜機構でもって第一レンズ垂直傾斜角θL1、第一撮像傾斜角θI1を調整する。これにより、シャインプルーフの原理に従い合焦領域FA1(図3において網掛けで示す領域)を検査対象領域と一致させ、マイクロニードルの各位置で合焦された光学画像を撮像することができる。
さらに、マイクロニードル同士が重なる問題は、マイクロニードルの配列に応じて、水平面内の角度を調整して対応する(詳細は後述)。
(光学画像撮像装置)
以下、垂直面内の傾斜角度範囲と、水平面内の傾斜角度範囲のそれぞれについて説明する。本発明者らは、図27及び図28に示す光学画像撮像装置200を用いて、撮像部の傾斜角度を適切な角度範囲に調整することで、マイクロニードルアレイの外観検査が正確に行えることを確認した。この光学画像撮像装置200では、第一結像レンズ12を固定し、回転式のステージSTG上に固定されたマイクロニードルアレイMNAと第一撮像素子11を傾斜させることで、これらの相対的な角度を調整している。ここでは、第一結像レンズ12の主平面LNPを固定し、マイクロニードルアレイMNAの検査対象領域MNPの傾斜角度(第一レンズ垂直傾斜角θL1)を第一レンズ傾斜機構32に相当するワークステージで調整している。また第一撮像素子11の受光面ISPの第一撮像傾斜角θI1を、第一撮像素子傾斜機構31に相当するイメージセンサステージで調整している。また第一結像レンズ12として、両側テレセントリックレンズを使用した。ワークステージ、イメージセンサステージはそれぞれ、XY平面を移動可能なXYステージXYSと回転角を調整可能なθステージTHSを備えている。図28の例では、XYステージXYS上にθステージTHSを連結し、さらにθステージTHS上に回転式ステージSTGを直立させている。
(垂直方向角度範囲)
この光学画像撮像装置200を用いて、検査対象物の検査対象領域MNPと、第一結像レンズ12の主平面LNPと、第一撮像素子11の受光面ISPが、一点で交差するように第一レンズ傾斜機構32、第一撮像素子傾斜機構31でもって第一レンズ垂直傾斜角θL1、撮像傾斜角θI1をそれぞれ異なる角度に調整することで、シャインプルーフの原理に従い検査対象領域MNPの各位置で合焦された光学画像を撮像することができる。このようにして得られたマイクロニードルアレイMNAの光学画像を図29に示す。ここでは、透光性の樹脂製で、円板状の基板上にマトリックス状にマイクロニードルが設けられたPGA製のマイクロニードルアレイを撮像した。この図に示すように、イメージセンサステージで第一撮像傾斜角θI1を調整することで、マイクロニードルアレイMNAの全面でマイクロニードルの様子が確認できた。
(水平方向角度範囲)
次に、配列されたマイクロニードルの重なりを考慮し、マイクロニードルの全面が良好に観察できる角度範囲、具体的にはマイクロニードルアレイと第一結像レンズ間、第一結像レンズと第一撮像素子間の角度の範囲について述べる。ここでは、上述した光学画像撮像装置200を用いて、マイクロニードルアレイMNAと第一結像レンズ12、第一結像レンズ12と第一撮像素子11間の角度を変更しながら観察を行った。
まず、マイクロニードルアレイMNAと第一結像レンズ12間の角度を設定し、第一結像レンズ12と第一撮像素子11間の角度を調整していき、全面にピントが合ったときの角度を記録した。ここでは、図30に示すように、回転軸方向から見たときのマイクロニードルあるいは撮像素子に対する垂線と、結像レンズの第一光軸OA1とのなす角をマイクロニードル−結像レンズ角度、結像レンズ−撮像素子角度とした。この結果を表1に示す。なお、表1におけるマイクロニードル−レンズ角度θTHSは、図30に示すように光学画像撮像装置で設定した角度θTHSであり、実際に図1A等で示す外観検査装置100で設定する角度θ、すなわちシャインプルーフ合焦面となす角度θは、θ=90°−(光学画像撮像装置200で用いたマイクロニードル−レンズ角度θTHS)となる。
表1に示すように、マイクロニードル−結像レンズ角度が30°〜64°の間でマイクロニードル全面が良好に観察できる結像レンズ−撮影素子角度20°、33°、40°、42°が得られた。言い換えると、結像レンズの仰角θが26°〜60°の範囲で、撮像素子の角度を48°〜70°に調整して、合焦した光学画像を撮像できることが確認された。
(照明部50の角度)
さらに、照明部50の角度についても検討する。ここでは、図31に示すように、マイクロニードル観察時のレンズ位置と光源位置の関係を検討した。図31において、平面視における第一光軸OA1と照明光LSがなす照明−光軸水平傾斜角α’を60°、90°、120°、150°、180°とし、一方垂直視におけるマイクロニードル平面の垂線と第一光軸OA1とがなす角度γ(図1Cの第一光軸垂直傾斜角θOA1とはθOA1=90°−γの関係にある)を30°、45°、60°とし、さらにマイクロニードル平面と照明光LSとがなす角度θLSを0°、30°、45°、60°、90°としたときに、図29のマイクロニードルアレイMNAをそれぞれ撮像した光学画像を、図32、図33、図34に示す。各図に示す光学画像の左上で示す凡例においてはαはα’、γはθLSを、それぞれ示している。図32は、図31においてγ=60°に固定し、α’とθLSを変化させた状態を示しており、図33はγ=45°に固定し、α’とθLSを変化させた状態を示しており、図34はγ=30°に固定し、α’とθLSを変化させた状態を、それぞれ示している。また、他のマイクロニードルアレイとして、金属製で基板を矩形状としたシリコン社製のマイクロニードルアレイMNA’を撮像した光学画像を、図35に示す。図35では、γ=45°に固定し、α’とθLSを変化させた状態を示している。
以上の図32〜図34に示すとおり、透光性の材質で構成したマイクロニードルアレイの場合は、θLSが小さい程、マイクロニードル部分のみが照らされて外観検査が容易となることが判明した。具体的には、θLS≦30°が好ましい。
またθLS>30°では、θLSが大きい程、マイクロニードルと基板のコントラストがはっきりしなくなった。γが小さい程、光源の方向α’の影響を受け難いことが判明した。
一方で、図35に示すとおり、金属製のような光が透過しない材質のマイクロニードルアレイMNA’の場合は、θLSが大きい程、検査が容易であった。逆にθLSが小さいと、マイクロニードルの影ができるため、検査が困難となることが判明した。この場合は、光源の方向α’は0<α’≦90°が好ましい。また順光の方が好ましく、正面からの照射は望ましくないことが判った。さらにα’=180°、かつγ+θLS=90°の場合は、マイクロニードル基板面からの反射角とレンズの設置角が等しくなり、外観検査が困難となることが判明した。
以上と同様の傾向が、シャインプルーフの原理を満たす条件でも得られるかどうか確認した。ここではマイクロニードル角度を50°、センサー角度を33°として設置した。またレンズと光源の角度α’、マイクロニードル平面と光源の角度θLSを変えて観察した。この結果を図36〜図37に示す。ここでは、図31においてγ=50°とし、α’とθLSを変化させた状態を示している。これらの図に示すように、シャインプルーフの原理を満たす条件で設置した際も同様の結果が得られることが判明した。すなわちθLS≦30°であれば外観検査が容易となり、θLS>30°では、θLSが大きいほどコントラストがはっきりしないことが確認された。
(手前のマイクロニードルの陰に入らないレンズ設置位置の設計)
次に、多数のマイクロニードルが基板のXY平面上に配置されたマイクロニードルアレイを様々な方向や角度から観察する際に、手前側のマイクロニードルと奥側のマイクロニードルとが重なり合わない条件について、検討する。
(円柱状のマイクロニードル)
まず、マイクロニードルを円柱状と仮定し、図38、図39A、図39Bに示すように、円柱状のマイクロニードルが碁盤目状に配置されたマイクロニードルアレイMNAGについて検討する。まず、図38の斜視図において、矢印VD1で示すように、真横側の、アレイの縦列と同方向から観察する場合、図40に示すように背面のマイクロニードルと重複してしまい、背面側のマイクロニードルの外観検査ができなくなる。この場合は、図41に示すように真横からでなく斜め上方から観察するように観察位置を変更することで、すべてのマイクロニードルが重複することなく観察可能となる。
次に、図38の斜視図において、矢印VD2で示すように、真横側の、アレイの対角線方向から観察する場合は、図42に示すように背面のマイクロニードルと重複して、同様に背面側のマイクロニードルの外観検査ができなくなる。この場合も、同様に真横でなく、図43に示すように斜め上方から観察するように観察位置を変更することで、すべてのマイクロニードルが重複することなく観察可能となる。
なお、マイクロニードルアレイのマイクロニードル間のピッチや、マイクロニードルの本数、太さ等の条件によっては、真横からすべての針が観察できる場合がある。例えば、図44の斜視図に示すように、マイクロニードル同士の間隔が疎なマイクロニードルアレイの場合であれば、観察位置の角度を調整することで、図45に示すようにすべてのマイクロニードルを真横側から観察することが可能となる。またこの場合は、任意の角度で斜め上から観察することも可能となる。
(観察条件)
以上から、碁盤目状に配置されたマイクロニードルが重複せずにマイクロニードルアレイを観察できる観察条件は、以下の観察条件1、2であることがわかる。
観察条件1:マイクロニードルアレイの任意のマイクロニードルを真横から観察する際、他のマイクロニードルと重なってしまう場合は、斜め上から観察することで他のマイクロニードルと重複せずに観察できる。
観察条件2:マイクロニードルアレイの任意のマイクロニードルを真横から観察する際、他のマイクロニードルと重らずに観察できる場合は、任意の仰角で斜め上あるいは真横から観察することができる。
ここで、観察条件1を満たす数式を導出する。マイクロニードルアレイにおけるマイクロニードルの配置パターンは様々な例が考えられるところ、製造時の利便性や使用時の確実性を考慮すると、ランダムな位置にマイクロニードルを配置するよりも、一定の規則性を有するパターンで配置することが望まれる。一般的には、上述した図38や図39Aの通りマイクロニードルを碁盤目状、すなわち四角形の頂点に並べた(以下、「碁盤目配置」という。)マイクロニードルアレイMNAG場合の他、図46、図47A、図47Bに示すように、円柱状のマイクロニードルが行方向でオフセットするよう細密充填で配置される場合、いいかえるとマイクロニードルをハニカム状の座標に配置して、三角形の頂点にマイクロニードルを並べた(以下「オフセット配置」という。)マイクロニードルアレイMNAOが考えられる。
まず碁盤目配置のマイクロニードルアレイMNAGの場合、図39Aの平面図に示すように、観察方向からみて、横方向にM個、奥行き方向にN個のマイクロニードルが並んだマイクロニードルアレイMNAGについて、マイクロニードルの高さをH、マイクロニードルの太さをW、マイクロニードルの配列のピッチをL、マイクロニードル列と結像レンズの第一光軸OA1のなす角度をαOA1-MNとし、さらに図39Bに示すように、マイクロニードル基板面と結像レンズの第一光軸OA1のなす角度をθOA1とする。ここで、マイクロニードル列と第一結像レンズ12の第一光軸OA1がなす第一レンズ水平傾斜角αL1と、マイクロニードル列と第一撮像素子11の第一光軸OA1がなす第一撮像素子水平傾斜角αI1は、平面視においては同等とみなすことができる。よって以降では、結像レンズの第一光軸OA1がマイクロニードル列となす角度のみを検討する。
またオフセット配置のマイクロニードルアレイMNAOの場合、図47Aの平面図及び図47Bの側面図に示すように、マイクロニードルの高さをH、マイクロニードルの太さをW、ピッチをL、マイクロニードルの列数をM、マイクロニードルの行数をN、マイクロニードルの列と結像レンズの第一光軸OA1とがなす角度を光軸−MN水平傾斜角αOA1-MN(図47A)、マイクロニードルの基板面と結像レンズの第一光軸OA1とがなす角度をθOA1とする(図47B)。
(座標軸角度β)
以上の2つの場合を一般化することを考える。図48の平面図に示すように、2本以上のマイクロニードルがパターン化された位置に設置されたマイクロニードルアレイMNAにおいて、すべてのマイクロニードルの位置を座標で示すことができるように、X軸、Y軸を設定する。また、X軸とY軸の交点のなす角度を座標軸角度βとする(ただし0°<β≦90°)。
ここでβ=90°のときは、直交するXY座標の交点にマイクロニードルを配置した碁盤目配置のマイクロニードルアレイMNAGとなる(図39A)。またβ=60°のときは、オフセット配置のマイクロニードルアレイMNAOとなる(図47)。
(Y−OA1水平傾斜角αY-OA1)
また結像レンズの第一光軸OA1は、原点からY軸のプラスの方向に設定し、Y軸と結像レンズの第一光軸OA1のなす角度をY−OA1水平傾斜角αY-OA1とする。また、図49に示すように、マイクロニードルアレイMNAのXY平面(マイクロニードル基板面)と結像レンズの第一光軸OA1のなす角度を仰角θOA1とする(ただし0°≦θOA1≦90°)。これら図48、図49において、マイクロニードルの高さをH、マイクロニードルの太さをW、X軸方向のマイクロニードル間の間隔(ピッチ)をLx、Y軸方向のマイクロニードル間のピッチをLyとする。
(基準針A)
ここで、基準とするマイクロニードル(基準針)Aと、基準針Aから(X,Y)方向に(m,n)個の位置にあるマイクロニードル(対象針)Xを考える。
まず、基準となるマイクロニードルとして、基準針Aを設定する。基準針Aは、X軸とY軸の交点すなわち原点に位置させ、XY座標を用いてA(X,Y)=A(0,0)と表させる。この基準針Aの位置を基準位置として、基準針Aからm行×n列目の対象針Xを、X(m,n)で表すことができる。
(対象針X)
ここで、基準針Aと任意の対象針Xの位置関係を、図50及び図51の平面図から考える。マイクロニードルを真横から観察したとき、基準針Aと対象針Xが重複するような角度αY-OA1の範囲は、次式で表される。
(図50のαA)<(重複する角度αY-OA1)<(図51のαB)
ここで図50において、Y軸に直交するXY平面上の軸、X’を設定すると、対象針Xの中心の座標位置は、次式で表現できる。
(X’,Y)=(m・Lx・sinβ,m・Lx・cosβ+n・Ly)
結像レンズの第一光軸OA1は、図50、図51中では基準針Aと対象針Xの外側に接する接線として表示されている。ここで、図52に示すように基準針A、対象針Xの中心から接線に対して垂線を引く。また、対象針Xの中心からY軸に垂線を引き、さらに対象針Xからの垂線が接線に交わる点からY軸に垂線を引く。この状態で、基準針Aの中心をA、対象針Xの中心をX、結像レンズの第一光軸OA1とY軸の交点をB、結像レンズの第一光軸OA1と点Aからの垂線の交点をC、結像レンズの第一光軸OA1と点Xからの垂線の交点をD、Y軸と点Dからの垂線の交点をE、Y軸と点Xからの垂線の交点をF、直線FXと結像レンズの第一光軸OA1の交点をG、直線GXと点Dからの垂線の交点をHとする。
このとき、△ABC、△GBF、△DBE、△GXD、△DXHは相似であり、次式が成立する。
∠ABC=∠GBF=∠DBE=∠GXD=∠DXH=αA
また対象針Xの中心位置は、次式で表示できる。
(X’,Y)=(m・Lx・sinβ,m・Lx・cosβ+n・Ly)
ここで、△DBEにおいて、辺BEの長さは、次式で表現できる。
BE=AB+AF+EF=AB+AF+DH
ここで、△ABCおよび△DXHは相似であるから、次式が成立する。
sinαA=AC/AB=DH/DX
AB=AC/sinαA
DH=DX・sinαA
また、AFは対象針XのY値と等しいため、次式が成立する。
AF=m・Lx・cosβ+n・Ly
さらに、AC=DX=W/2(マイクロニードル太さWの半分)より、辺BEの長さは次式で表現できる。
また、辺DEの長さは、次式で表現できる。
以上より、次式が成立する。
ここでsin2αA+cos2αA=1より、次式の式1が成立する。
sinαA(m・Lx・cosβ+n・Ly)+W>m・Lx・sinβ・cosαA
W>m・Lx・sinβ・cosαA−sinαA(m・Lx・cosβ+n・Ly)・・・式1
図51の場合についても同様に考えると、対象針Xの中心位置は次式で表現できる。
(X’,Y)=(m・Lx・sinβ,m・Lx・cosβ+n・Ly)
ここで図53に示すように、基準針Aの中心をA、対象針Xの中心をX、結像レンズの第一光軸OA1とY軸の交点をB、結像レンズの第一光軸OA1と点Aからの垂線の交点をC、結像レンズの第一光軸OA1と点Xからの垂線の交点をD、Y軸と点Dからの垂線の交点をE、Y軸と点Xからの垂線の交点をF、直線DEと点Xからの垂線の交点をHとする。このとき、△ABC、△DBE、△XDHは相似であり、次式が成立する。
∠ABC=∠DBE=∠XDH=αB
また対象針Xの中心位置は、次式で表現できる。
(X’,Y)=(m・Lx・sinβ,m・Lx・cosβ+n・Ly)
このことから、△DBEにおいて、辺BEの長さは、次式で表現できる。
BE=AF−AB−EF=AF−AB−HX
また、△ABCおよび△XDHは相似であり、sinαB=AC/AB=XH/XDより、次式が成立する。
AB=AC/sinαB、HX=DX・sinαB、
また、AFは対象針XのY値と等しいため、次式が成立する。
AF=m・Lx・cosβ+n・Ly
さらに、AC=DX=W/2(マイクロニードル太さWの半分)より、辺BEの長さは次式で表現できる。
また、辺DEの長さは、次式で表現できる。
以上より、次式が成立する。
ここでsin2αB+cos2αB=1より、次式の式2が成立する。
sinαB(m・Lx・cosβ+n・Ly)−m・Lx・sinβcosαB<W・・・式2
式1、式2より、真横から観察したときに、基準とする基準針Aが任意の対象針Xと重複する場合の条件は、次式の式3で表現できる。
−W<m・Lx・sinβcosαY-OA1−sinαY-OA1(m・Lx・cosβ+n・Ly)<W・・・式3
(m、nは任意の整数)
ここで、式3が示す内容を考察する。図54の平面座標図に示すように、基準針Aと対象針Xの中心を通り、結像レンズの第一光軸OA1に平行な補助線を補助線B、補助線Cとする。また点XからY軸への垂線とY軸の交点をDとする。さらに点Dから結像レンズの第一光軸OA1に垂線を引き、補助線Bと垂線の交点をE、補助線Cと垂線の交点をFとする。このとき、△ADEと△DXFは相似となり、次式が成立する。
∠DAE=∠XDF=αC
また対象針Xの中心の座標位置は、図55に示すように次式で表現できる。
(X’,Y)=(m・Lx・sinβ,m・Lx・cosβ+n・Ly)
このことから、次式が成立する。
AD=m・Lx・cosβ+n・Ly、DX=m・Lx・sinβ
また、△ADEにおいて、sinαC=DE/ADより、次式の式4が成立する。
DE=AD・sinαC=(m・Lx・cosβ+n・Ly)・sinαC・・・式4
同様に△DXFにおいて、cosαC=DF/DXより、次式の式5が成立する。
DF=DX・cosαC=m・Lx・sinβ・cosαC・・・式5
式3、式4、式5より、式3は−W<DE−DF<Wと表される。すなわち、基準となる基準針Aと任意の対象針Xの中心を通り、結像レンズの第一光軸OA1と平行な線の距離が、マイクロニードルの太さWより短い場合に、基準針Aが任意の対象針Xと重複することが、式3で示されている。
(基準針Aと対象針Xが重ならない仰角θOA1の範囲)
次に、式3のときに、基準針Aと対象針Xが重ならないように観察可能な仰角θOA1の範囲を検討する。対象針Xの中心位置は、次式で表現できる。
(X’,Y)=(m・Lx・sinβ,m・Lx・cosβ+n・Ly)
このため、図55のAXについて、次式が成立する。
このとき、図56の側面図に示す基準針Aの頂点が対象針Xの底部に重なることなく観察できる仰角θOA1の範囲は、次式の式6で表現できる。
・・・式6
以上より、マイクロニードルアレイをマイクロニードル同士が重複せずに観察するためには、αY-OA1、β等のパラメータが以下の条件式1を充足することが求められる。
−W<m・Lx・sinβcosαY-OA1−sinαY-OA1(m・Lx・cosβ+n・Ly)<W
・・・条件式1
(0<αY-OA1<90°、0<β≦90°;m、nは任意の整数)
また、上記の条件式1を満たす角度αY-OA1で観察する際の仰角は、次式の条件式2を充足することが求められる。
・・・条件式2
なお、観察する水平角度αY-OA1が条件式1を満たさない場合は、0≦θOA1<90°となる任意の仰角θOA1を選択することができる。
(碁盤目配置のマイクロニードルアレイMNAGの場合)
次に、マイクロニードルが図38等に示すように碁盤目状に配置された場合の条件式1を検討する。碁盤目配置のマイクロニードルアレイMNAGの場合はβ=90°となるので、αOA1-MN=αY-OA1であるから、条件式1は、次式で示される。
−W<m・Lx・cosαY-OA1−n・Ly・sinαY-OA1<W
このとき条件式2は、次式で示される。
(オフセット配置のマイクロニードルアレイMNAOの場合)
また、マイクロニードルが図47に示すようにオフセット配置されている場合の条件式1を検討する。まずオフセット配置のマイクロニードルアレイMNAOの場合はβ=60°であるから、sin60°=(√3)/2、cos60°=1/2となる。よって条件式1は、次式で表現できる。
−W<√3/2(m・Lx・cosαOA1-MN)−sinαOA1-MN(1/2・m・Lx+n・Ly)<W
また条件式2は、次式で示される。
(円錐状のマイクロニードルCMNの場合)
以上の例では、マイクロニードルを円筒状とする場合を説明した。ただ、本発明はマイクロニードルを、太さが均一な円筒状に限定するものでなく、太さの変化するマイクロニードルに対しても適用できる。例えば、図57に示すような円錐状のマイクロニードルCMNのように、先端部分の太さが無視できる程度に小さい場合は、条件式2において基準となるマイクロニードルの先端太さを無視することができる。この結果、図58に示すように仰角θOA1は、次式で表現できる。
(マイクロニードルの一部を観察する場合)
また本発明は、マイクロニードルの高さ方向に渡る全体を外観検査する構成に限られず、その一部のみを外観検査する態様に適用することもできる。例えば、図59に示すようにマイクロニードルの全体でなく、先端から所定長さの領域のみを観察できれば足りる場合では、W=観察したい部分の最大の太さ、H=観察したい部分の高さ、として観察条件1’を計算することができる。
(第一光軸垂直傾斜角θOA1の決定後に観察可能な第一光軸水平傾斜角αOA1を算出する方法)
次に、θOA1が決まっている場合に、αの範囲を算出することを考える。ここで、
より、
となる。また、すべての変数≧0より
となる。ここで、sin2β+cos2β=1より、次式を得ることができる。
・・・式6
式6は、図60に示すように軸が傾いた楕円の式と考えることができる。このようにして仰角θOA1が決まると、式6を満たす(図60の網掛け部分)m、nを選択することで、マイクロニードルが重複することなく外観検査が行える。また観察条件1’は、次式で表される。
−W<m・Lx・sinβcosα−sinα(m・Lx・cosβ+n・Ly)<W・・・観察条件1’
ここでLx、Ly、W、sinβ、cosβは定数であるため、式6を満たすm、nを取るときに、観察条件1’を満たすαであればマイクロニードルが重複することなく外観検査できることが分かる。
このように本発明は、マイクロニードルの高さをH、マイクロニードルの太さをWとして、マイクロニードルの全体を撮像して外観検査を行う例に限らず、マイクロニードルの一部を外観検査する用途にも適用できる。例えば図59に示したようにマイクロニードルが長く、先端のみを刺入するよう構成されているような場合は、先端部分のみの検査で足りることがある。この場合、マイクロニードル等の突起物の高さ方向の内、外観検査の対象となる領域の最大高さをH、各突起物の最大太さをWとする。これにより部分的な外観検査が可能となり、外観検査の範囲を限定したことで処理の効率化による低負荷、高速化が図られる。
(マイクロニードルアレイのαの範囲)
(サンプル1)
マイクロニードルアレイの一例として、H=600μm、W=100μm、Lx=Ly=800μm、β=90°、θOA1=45°、10行×12列のマイクロニードルをサンプル1として検討する。まず、tanθOA1=tan45°=1、cosβ=cos90°=0である。
ここで式6に数値を代入して、次式が得られる。
・・・式7
ここで式7は、(m,n)=(0,0)以外の整数で成立つため、任意の角度αで観察することが可能である。
(サンプル2)
次に、他のマイクロニードルアレイとして、H=600μm、W=100μm、Lx=Ly=400μm、β=90°、θOA1=45°、10行×12列のマイクロニードルをサンプル2として検討する。
式6に上記の数値を代入することで、次式が得られる。
・・・式8
式7のm、nは、(m,n)=(0,0)、(1,0)、(0,1)、(1,1)以外の整数を取り得るので、観察条件1’より、次式が成立する。
−100<m・400・cosα−n・400・sinα<100
−1/4<m・cosα−n・sinα<1/4
(m,n)=(1,0):−1/4<cosα<1/4・・・式9
(m,n)=(0,1):−1/4<sinα<1/4・・・式10
(m,n)=(1,1):−1/4<cosα−sinα<1/4・・・式11
式9、式10、式11を満たすαは、
式9より、75.52°<α<90°
式10より、0<α<14.47°
式11より、34.8°<α<55.2°
以上より、
0<α<14.47°、
34.8°<α<55.2°、
75.52°<α<90°以外の任意のαで外観検査可能であることが確認できた。
(サンプル3)
さらに、他のマイクロニードルアレイとして、H=600μm、W=100μm、Lx=Ly=800μm、β=90°、θOA1=15°、10行×12列のマイクロニードルをサンプル3として検討する。この場合、tanθOA1=tan15°=0.268として、式6に数値を代入して、次式が得られる。
・・・式12
式12は、(m,n)=(0,0)、(0,1)、(0,2)、(1,0)、(1,1)、(1,2)、(2,0)、(2,1)以外の整数で成立つ。
観察条件1’より、
−100<m・800・cosα−n・800・sinα<100
−1/8<m・cosα−n・sinα<1/8
(m,n)=(0,1):−1/8<sin?α<1/8・・・式13
(m,n)=(0,2):−1/8<2sin?α<1/8・・・式14
(m,n)=(1,0):−1/8<cos?α<1/8・・・式15
(m,n)=(1,1):−1/8<cosα−sinα<1/8・・・式16
(m,n)=(1,2):−1/8<cosα−2sinα<1/8・・・式17
(m,n)=(2,0):−1/8<2cosα<1/8・・・式18
(m,n)=(2,1):−1/8<2cosα−sinα<1/8・・・式19
式13より、0°<α<7.18°
式14より、0°<α<3.58°
式15より、82.8°<α<90°
式16より、39.1°<α<50.9°
式17より、23.4°<α<29.8°
式18より、86.4°<α<90°
式19より、60.2°<α<66.7°
したがって、
0°<α<7.18°、
23.4°<α<29.8°、
39.1°<α<50.9°、
60.2°<α<66.7°、
82.8°<α<90°以外の任意のαで外観検査可能であることが確認された。
(サンプル4)
さらに他のマイクロニードルアレイとして、H=600μm、W=100μm、Lx=Ly=800μm、β=60°、θOA1=45°、10行×12列のマイクロニードルをサンプル4として検討する。まず、tanθOA1=tan45°=1、cosβ=cos60°=1/2であるから、次式が得られる。
・・・式20
式20は、(m,n)=(0,0)以外の整数で成立つため、任意の角度αで外観検査が可能である。
(サンプル5)
さらに他のマイクロニードルアレイとして、H=600μm、W=100μm、Lx=Ly=800μm、β=60°、θOA1=15°、10行×12列のサンプル5に係るマイクロニードルについて検討する。まず、tanθOA1=tan15°=0.268、cosβ=cos60°=0.5であるから、次式が成立する。
・・・式21
式21は、(m,n)=(0,0)、(0,1)、(0,2)、(1,0)、(1,1)、(1,2)、(2,0)、(2,1)以外の整数で成立つ。ここで、観察条件1’より、次式が成り立つ。
(m,n)=(0,1):−1/4<sinα<1/4・・・式22
(m,n)=(0,2):−1/8<sinα<1/8・・・式23
(m,n)=(1,0):−1/4<√3cosα−2sinα<1/4・・・式24
(m,n)=(1,1):−1/4<√3cosα−3sinα<1/4・・・式25
(m,n)=(1,2):−1/4<√3cosα−5sinα<1/4・・・式26
(m,n)=(2,0):−1/8<√3cosα−2sinα<1/8・・・式27
(m,n)=(2,1):−1/4<2√3cosα−5sinα<1/4・・・式28
式22より、0°<α<14.48°
式23より、0°<α<7.18°
式24より、35.47°<α<46.31°
式25より、25.86°<α<34.14°
式26より、16.4°<α<21.82°
式27より、38.18°<α<43.6°
式28より、32.36°<α<37.07°
したがって、0°<α<14.48°、16.4°<α<21.82°、25.86°<α<46.31°以外の任意のαで外観検査することが可能である。
(観察可能なαとθOA1の範囲)
次に、上述したサンプル1、4、及び新たなサンプル6、7のそれぞれに対して、観察可能な水平傾斜角αと仰角θOA1の範囲を図61〜図64のグラフに示す。図61は、サンプル1で示したマイクロニードルとして高さH=600μm、幅W=100μm、ピッチLx=Ly=800μm、β=90°のマイクロニードルアレイ、図62は、サンプル4で示した高さH=600μm、幅W=100μm、ピッチLx=Ly=800μm、β=60°のマイクロニードルアレイ、図63は、サンプル6として、高さH=1000μm、幅W=100μm、ピッチLx=Ly=800μm、β=90°のマイクロニードルアレイ、図64は、サンプル7として、高さH=1000μm、幅W=100μm、ピッチLx=Ly=800μm、β=60°のマイクロニードルアレイの、観察可能な範囲を塗り潰してそれぞれ示している。これらの図に示すように、水平傾斜角αと仰角θOA1を調整することで、マイクロニードルの外観検査が可能となることが判る。
(検査対象物姿勢ガイド機構)
以上の例では、マイクロニードルアレイを、搬送方向に対してマイクロニードルの配列の行方向が一致するような姿勢で搬送する場合を想定して、撮像部の平面視傾斜角度を調整する例を説明したが、本発明はこの構成に限られず、搬送されるマイクロニードルアレイの姿勢を、撮像に先立ち調整することで、撮像部とマイクロニードルとが相対的に上述した角度範囲となる位置関係に設定することもできる。例えば図65の平面図に示すように、検査対象物の姿勢を機械的に一定の姿勢に矯正あるいは整列させるガイド機構として、マイクロニードルアレイMNAを搬送するコンベアCNV上にピンPINを立てたり、所定の姿勢となるように誘い込むガイド板GIDを配置する等して、撮像位置に搬送される際には所定の姿勢となるように機械的に回転させる構成としてもよい。
あるいは、他の検査対象物姿勢ガイド機構として、図66に示すように、搬送速度の異なるコンベアCNV1、CNV2を並べることで、搬送されるマイクロニードルアレイMNAを回転させ、最終的に所定の姿勢となるように構成することもできる。この例では、コンベアCNV1の搬送速度をコンベアCNV2よりも高速とし、かつコンベアCNV1の出口側を狭くすることで、マイクロニードルアレイMNAの内、コンベアCNV1にかかった部分がコンベアCNV2との速度差で徐々に回転されて、狭窄された出口側にマイクロニードルアレイMNAの長手方向が誘い込まれる姿勢に仕向けられる。
また、以上の例ではマイクロニードルアレイの外形を矩形状とした場合を説明したが、外形が円形状のマイクロニードルアレイに対しても同様の構成で姿勢を調整できる。あるいは、検査対象物側に、検査対象物の姿勢を調整するためのガイド機構を設けることもできる。例えば、マイクロニードルアレイの外形の一部に、位置決め用のガイド面を設けてもよい。例えば図67の平面図に示す例では、マイクロニードルアレイMNARの円形の基板SUBの一部に、直線状のガイド面GSF(オリエンテーションフラット面)を設けており、この面を利用して所定の姿勢に位置決めすることが可能となる。
以上のようにして、複数の突起物がXY平面上に規則正しく配列された検査対象物の外観検査に際して、パラメータを所定範囲に収めるよう第一撮像素子傾斜機構や第一レンズ傾斜機構を調整するのみで、側面から撮像した際に背面側の突起物が前面側の突起物の影になって外観検査ができなくなる事態を回避できる。特に、従来のように実際に撮像素子や結像レンズを配置し、試行錯誤を繰り返しながら最適な設置条件を見出す作業を経ることなく、突起物の太さや高さ、間隔といった所期のパラメータに応じて、第一撮像素子傾斜機構や第一レンズ傾斜機構32を設定するのみで、外観検査に必要な設置条件を決定することができ、面倒な調整作業の大幅な省力化が可能となる。これに加えて、第一レンズ垂直傾斜角θL1、第一撮像傾斜角θI1をそれぞれ異なる角度に調整して、シャインプルーフの原理に従い検査対象領域の各位置で合焦された光学画像を撮像することが可能となる。この結果、得られた合焦光学画像に対して画像検査を行い、その精度を向上させ、外観検査の信頼性を一層高めることが可能となる。
以上のようにしてピントの合ったマイクロニードルアレイの光学画像を撮像することが可能になると、この光学画像から生成されるエッジ画像も、より精細なものとなって、外観検査の精度が向上する。さらにマイクロニードル同士に重なりのない、あるいは外観検査に支障のない程度に重なりの少ない画像とすることで、複数のマイクロニードルのそれぞれに対して、外観検査を実行可能となる。
(3.薬剤塗布量検査)
また外観検査として、上述の通り形状が異常か否かの良否判定に限られず、これに代えて、あるいはこれに加えて、他の検査を含めてもよい。例えばマイクロニードルアレイに対して、各マイクロニードルに薬液を塗布して表面を被膜する場合、被膜後のマイクロニードルアレイの光学画像から、適切な被膜が行われているかどうかを判定することができる。
一例として図68の斜視図に示すような薬液を塗布したマイクロニードルアレイに対して外観検査を行う様子を、図69〜図73Cに示す。ここでは、各マイクロニードルMNに薬液LDPを塗布する作業の前後において、光学画像をそれぞれ撮像し、さらに両者の差分から、被膜された薬液LDPの量を演算し、適切な量の塗布が行われたかどうかの判定を行っている。ここでは説明のため、マイクロニードルアレイの側面側から撮像した、薬液塗布前の光学画像OPI(図69)と薬液塗布後の光学画像OPI(図70)に基づいて、薬液の塗布状態を検査する例を説明する。
図71A〜図71Cの模式図は、薬液LDPをほぼ均一な膜厚で塗布されているものとして扱える場合を示している。この場合は、膜厚の平均値から塗布量を演算できる。
一方、図72A〜図72C、及び図73A〜図73Cに示す例では、薬液LDPの膜厚が不均一な場合を示している。この場合は、薬液LDPの塗布の前後の差分から断面積を演算して、この断面積から塗布量を演算してもよい。
また、薬液LDPの塗布量を、各マイクロニードル毎に求めて、一つでも不良品と判定されたマイクロニードルが含まれている場合は、マイクロニードルアレイを不良品と判定する方法の他、マイクロニードルアレイ全体での塗布量の総量や、各マイクロニードルの塗布量の平均値でもって判定することもできる。特にマイクロニードルアレイは、所定の量だけ薬液を看者の体内に導入できれば足り、各マイクロニードル毎の塗布量まで管理する必要はないと言うこともできる。よって、マイクロニードルアレイ全体での塗布量が、所定の基準値に達しているかどうかの判定でもって良品判定を行うことが好ましい。この方法であれば、歩留まりも改善できる。
さらに、必ずしも薬液LDPの塗布量や体積で判定する必要はなく、差分から得られる断面積でもって判定することもできる。特に、マイクロニードルMNの大半がほぼ均一な円錐あるいは円柱又はこれらの組み合わせで、さらに塗布された薬液LDPの膜厚も同様にほぼ均一として扱える場合は、断面積でもって薬液LDPの塗布量を代用させることも可能である。また、このような差分判定においては、他の外観検査項目として、各マイクロニードルの外観形状が均一かどうかを検査し、均一でない場合には、差分の断面積でもってLDPの塗布量を代用させることができないとして、このマイクロニードルアレイを一律に不良と処理したり、あるいはこのような均一でないマイクロニードルに対してのみ、断面積でなく体積を演算するように補正処理を加えてもよい。
なお、薬液とマイクロニードルの色が異なる場合、各マイクロニードルの、薬液を塗布した領域と塗布していない領域とを画像処理によって区別し、塗布領域の面積から、薬液の塗布が正しく行われているかを判定することもできる。この場合の処理の一例として、薬液の色情報に基づいて着色された領域を抽出して、抽出された着色領域を薬液の塗布範囲と見なして、領域の面積に基づいて薬液の塗布量を推定する。また、着色領域の形状から、例えば着色領域中に部分的に欠けや穴がある場合は、この部分に薬剤が塗布されていない状態と判断でき、薬剤の塗布が正確に行われたかどうかの良品検査が可能となる。
また、薬液を塗布すべき塗布領域として、必ずしも各マイクロニードルの先端を完全に被覆している必要はない。例えば図73A〜図73Cに示すように、マイクロニードルMNの先端部分が露出してる状態でも許容される。いいかえると、塗布された薬液が、刺入されたマイクロニードルから看者の体内に溶出することが重要であって、この目的が達成される限りにおいて薬液の塗布された領域は限定されない。なお、図71Bや図72Bのように、マイクロニードルMNの先端まで薬液LDPを塗布すると、マイクロニードルMNの先端の鋭利さが弱められ、患者の皮膚に刺入する際、皮膚を破断することが困難となることも考えられる。この観点からは、図73A〜図73Cに示すように、マイクロニードルMNの先端を残して薬液LDPを塗布することが好ましいといえる。
(薬剤で形成したマイクロニードル)
あるいは、マイクロニードル自体を、薬液を硬化させて形成し、看者に刺入されたマイクロニードルそのものを溶出させて薬液を体内に導入する構成とすることもできる。このようなマイクロニードルアレイの例を、図74の模式拡大図に示す。薬液を含めたマイクロニードルアレイMN’においては、硬化させたマイクロニードルの外観を検査すれば足り、上述した薬液の塗布の前後で二度、光学画像を撮像する必要がない。一方で、薬剤でもってマイクロニードルを形成することから、必要とされる薬液の量が増え、製造コストが高くなる。また、薬液によっては、成型が困難であったり、成形後の強度が不十分で、看者の皮膚を刺入し難いことも考えられる。
なお、マイクロニードルアレイの各々の形状が一様であると見なせる場合は、塗布前の各光学画像との差分を抽出せずとも、理想的な(あるいは良品としての基準となる)マイクロニードルアレイのデータを用意し、これとの差分でもって代用することができる。この場合は、塗布前の光学画像と塗布後の光学画像との対応関係を取る必要はない。(あるいは、異常のあったマイクロニードルアレイについてのみ、対応関係を取る必要があるとの考え方もあるが、異常のあったマイクロニードルアレイについては、薬剤の塗布を含めた以降の工程から除外するようにすれば、この問題も回避できる。)
(対応関係特定部66)
一方において、より正確に塗布量を演算するためには、塗布の前後に撮像する光学画像において、各マイクロニードルアレイの対応関係を取る必要がある。すなわち塗布前の光学画像に含まれる複数のマイクロニードルアレイの各々が、塗布後の光学画像に含まれるマイクロニードルアレイの各々の内、どれと対応しているかを、正確に把握する必要がある。このため制御部60は、対応関係を特定するための対応関係特定部66を備えている。具体的には、対応関係特定部66として、薬剤塗布前のマイクロニードルアレイを撮像した第一光学画像と、塗布後のマイクロニードルアレイを撮像した第二光学画像とを、1:1に対応付けるための機構を設ける。
(マイクロニードルアレイの特定)
(識別情報)
一例として、マイクロニードルアレイに固有の識別番号を付与し、この識別番号を撮像時に読み取ることで、光学画像として撮像されたマイクロニードルアレイを特定する。この場合は、マイクロニードルアレイに固有の識別情報を記録するため、例えば図75に示すようにマイクロニードルアレイにバーコードや二次元コード等のシンボルSMBを印字乃至刻印する。そして専用の光学読取手段でこのシンボルSMBを読み取り、撮像した光学画像に対して、この識別情報を関連付ける。好ましくは、光学画像の画像データに、識別情報を記録しておくことで、光学画像がどのマイクロニードルアレイを撮したものであるかを容易に特定でき、第一光学画像と第二光学画像との対応付けも容易となる。このような識別情報を記録するシンボルSMBには、マイクロQRコード(商品名)等、小型化に適したものが好適に利用できる。またシンボルSMBは、図75の例では基板SUBの側面に記録しているが、記録位置はこれに限らず、基板の上面としても良い。これらの例では、光学読取手段やこれと接続あるいはこれに内蔵された復号器等が対応関係特定部66に相当する。
また、光学画像の撮像によって、シンボルの読み取りを行えるようにしてもよい。すなわち、光学画像を撮像する際に、シンボルも読み取り可能となる姿勢に予め設定しておくことにより、撮像された光学画像を画像処理することにより、シンボルの復号化も行える。この方法であれば、シンボルの光学読み取りのための光学読取手段を別途を設けたり、光学読取手段によるスキャンを行うといった手間を省くことができる。この場合は、光学画像に対して画像処理により復号を行う復号部が、対応関係特定部66に該当する。
さらに識別情報は、光学読み取りに限らず、他の無線による読み取り方法、例えばICタグやRFIDといった無線タグをマイクロニードルアレイに埋め込むなどして、識別情報を各マイクロニードルアレイに付与することもできる。特にマイクロニードルアレイが小型の場合は、シンボルの刻印スペースを設けたり、シンボルが小さくなり読み取り精度が低下するといった問題が生じるところ、無線タグを利用することでこれらを解決することが可能となる。この場合は、無線タグのリーダが対応関係特定部66に相当する。
このようにして対応関係特定部66でマイクロニードルアレイに付与された識別情報を読み取ることで、薬剤の塗布の前後のマイクロニードルアレイをそれぞれ撮像した第一光学画像、第二光学画像の対応関係を取得できる。
(位置合わせ)
差分量の抽出に当たっては、前処理として各マイクロニードルを一致させるように位置合わせを行う。ここで、マイクロニードルを撮像した光学画像が、同じ視野、すなわち同じ角度でマイクロニードルを撮影している場合は、このような位置合わせは不要となる。一方、異なる角度でマイクロニードルを撮像している場合は、マイクロニードルの輪郭(プロファイル)を一致させるよう、位置合わせを行う。例えば各マイクロニードルのプロファイルを示すエッジ画像を第一光学画像から切り出し、回転付きのパターンサーチにより、第二光学画像から切り出された対応するマイクロニードルのプロファイルと一致させるよう走査する。なお、このような位置合わせを行うにあたり、前提としてプロファイルを取得した断面が一致することが望ましい。ただ、プロファイルの断面が異なる場合でも、円柱状あるいは円錐状のマイクロニードルが均一であると仮定することにより、プロファイルの重ね合わせが可能となる。この結果、差分量から、マイクロニードルに塗布された薬剤のプロファイルを抽出することが可能となる。このように対応関係特定部66は、マイクロニードルアレイの特定のみならず、対応関係が得られたマイクロニードルアレイ上のマイクロニードルの対応関係も特定する。マイクロニードルの対応関係は、上記の例では画像処理部62が受け持つ。すなわち対応関係特定部66は、マイクロニードルアレイの対応関係の特定を行う部材と、マイクロニードルの対応関係の特定を行う部材とを、異なる部材で構成することもできる。あるいは、一の対応関係特定部で、マイクロニードルアレイの特定とマイクロニードルの特定とを行うように構成してもよい。例えば、対応関係特定部に画像処理による対応関係の特定機能を持たせたり、あるいは物理的にマイクロニードルアレイの姿勢を一義的決める構成、例えば機械的なガイドを用いるなどして、一定の姿勢にマイクロニードルアレイを整列させて撮像するような構成においては、マイクロニードルアレイの座標位置が一定に決まるため、位置関係を容易に特定できる(あるいは位置関係の特定が不要とできる)。
このようにして対応関係特定部66でもって各マイクロニードルに対して正確な差分量を演算することが可能となる。この結果、単なる外観検査に基づく良品、不良品の判定のみならず、薬剤の塗布量の正確性の観点からも、良否判定を行える。さらには、良品に対しても、薬液の塗布量を演算する工程管理を実現することが可能となる。特に薬剤の塗布量の検査については、従来は、抜き取り検査により、マイクロニードルに塗布された薬剤を除去した上で分量を測定するしかなく、破壊検査となって全量の検査ができなかったところ、上記方法によれば破壊検査は不要となり、全量検査が実現できる。