JP3553652B2 - Shape measuring device, inspection device, and product manufacturing method - Google Patents

Shape measuring device, inspection device, and product manufacturing method Download PDF

Info

Publication number
JP3553652B2
JP3553652B2 JP19560494A JP19560494A JP3553652B2 JP 3553652 B2 JP3553652 B2 JP 3553652B2 JP 19560494 A JP19560494 A JP 19560494A JP 19560494 A JP19560494 A JP 19560494A JP 3553652 B2 JP3553652 B2 JP 3553652B2
Authority
JP
Japan
Prior art keywords
target
measurement
phase
inspection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19560494A
Other languages
Japanese (ja)
Other versions
JPH0861930A (en
Inventor
茂樹 小林
Original Assignee
茂樹 小林
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 茂樹 小林 filed Critical 茂樹 小林
Priority to JP19560494A priority Critical patent/JP3553652B2/en
Publication of JPH0861930A publication Critical patent/JPH0861930A/en
Application granted granted Critical
Publication of JP3553652B2 publication Critical patent/JP3553652B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

【０００１】
【産業上の利用分野】
本発明は、物体の三次元形状を計測する計測方法を採用する形状計測装置、及び三次元計測データを利用して製品を検査する検査装置、及び製品製造ライン中の半製品を検査し、不良品を修理修正する場合に利用される製品製造方法に関するものであり、特に、自動化検査のための三次元形状情報獲得技術の中でも特に形状が未知で、非完全拡散反射表面（非ランバート面：後述）を有する対象に適用される検査装置、及びこれらの検査装置を利用した製品製造方法に関する。
【０００２】
【従来の技術】
従来から物体の三次元形状を計測したり、その計測データを用いて自動化検査を行ったりする必要性は多くの産業分野において発生している。これらの場合は、三次元計測方法から見て、既知形状の対象の発見、同定、選別を目的とする場合と、対象の形状が未知で、その形状を自動的に知ろうとする場合とに大別される。後者の場合は、前者に比して数段困難な場合が多く、現在の三次元画像計測技術を以ってしても、必ずしも満足すべき成果が収められるとは限らない。対象の形状が未知の場合には、通常用いられる代表的三次元形状計測法である受動的センシング法の一種、両眼視三角測量法の適用が不可能であるために、能動的センシング法を採用するが、この方法にも限界及び短所がある。
【０００３】
能動的センシング法は既知のパタンを有する構造化光（Ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）を対象に投光し、対象表面に当たった光の構造が対象の形状に従って歪むので、その歪み方を画像検出して対象の形状を三角測量法の逆問題解として算出する方法として知られている。例えば、光源からの光束を一定の形態を成す単数や複数のスリットを通過させることによりパタン光とし、これを対象に投光する方法がある（井口征士・佐藤宏介著「三次元画像計測」、昭晃堂、１９９０年、２章参照）。これらの従来法は、直進光束を構成するパタンを完全拡散反射表面即ち、ランパート面（Ｌａｍｂｅｒｔｉａｎ ｓｕｒｆａｃｅ）の対象に投光すること、及び対象に対して一定の角度に配置された撮像装置が対象形状により、歪みを受けた変形投光パタンを撮像することをその基本原理としている。
【０００４】
ところが、本発明の課題は未知形状の計測であり、対象の代表的表面形状を自由曲面体とすると、前述のパタン光の計測限界は生成されたパタンの精細度に依存するので、それよりも急峻な、あるいは細い表面変化を有する自由曲面は計測対象範囲から外されることになる。また、多くの物体表面は完全なランバート面ではなく、多少のハイライト部を伴うものなので、これが投光パタン検出の障害となり、計測に良好な結果が得られないこともしばしば生起する。
【０００５】
このような構造化光を用いる三角測量法は基本原理として距離計測法であるが、これに対して対象表面の非ランバート性を利用する表面角度センシング法がある。その計測原理は、光源と受光センサと対象を一定の幾何光学的位置関係（ジオメトリ）に設定することによって、対象表面からの正反射成分を検出し、未知形状の表面法線ベクトルを計測するものである。例えば、Ａｒｔｈｕｒ Ｃ．Ｓａｎｄｅｒｓｏｎ ｅｔ ａｌ． は、その論文（“Ｓｔｒｕｃｔｕｒｅｄ ｈｉｇｈｉｇｈｔ ｉｎｓｐｅｃｔｉｏｎ ｏｆ ｓｐｅｃｕｌａｒ ｓｕｒｆａｃｅｓ ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌｕｍｅ １０，Ｎｕｍｂｅｒ １，ｐａｇｅｓ ４６−５１，１９８８）において、半球構造体の内側に光ファイバで誘導した多数の点光源を配置し、上方よりそれぞれの照射角度を以って対象に投光し、その真上に設置したカメラで正反射光を撮像する計測方法を発表している。対象の表面法線ベクトルのモデルはガウス球なので、光源の概念構成は図２４に示したようになる。このような表面法線ベクトルの直接的センシング法は絶対値計測法ではないので、別途基準位置を計測する付帯条件を必要とするが、急峻な面や微細な部分の面素の表面角度の検出も可能な実用性の高い方法である。
【０００６】
しかし、彼等の装置は、その後の論文（Ｓｈｒｅｅ Ｋ．Ｎａｙａｒ ｅｔ ａｌ．， “Ｓｐｅｃｕｌａｒ ｓｕｒｆａｃｅ ｉｎｓｐｅｃｔｉｏｎ ｕｓｉｎｇ ｓｔｒｕｃｔｕｒｅｄ ｈｉｇｈｌｉｇｈｔ ａｎｄ Ｇａｕｓｓｉａｎ Ｉｍａｇｅｓ ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，Ｖｏｌｕｍｅ ６，Ｎｕｍｂｅｒ ２，ｐａｇｅ ２１４，１９９０ ）によると、１２７個の点光源を直列時分割的に点灯していくと、１回の計測のための各画像フレームの取込みに７．６２秒も要してしまい、とても実用的とは言えない。そこで、彼等は、７光源ずつの組合わせ点灯により、７画像フレーム取込みで課題を解決したと報告しているが、複数光源の同時点灯によるセンシングの信頼性は、特に未知の自由曲面体においては、顕著に低下してしまう。例えば、対象が波形状表面をなしていると不都合が生じる。それは、１光源に対応して正反射をする箇所は１箇所ではないからで、複数個光源を点灯すると、表面ハイライト反射点がどの光源に対応しているのか判別不能となる。即ち、彼等の解決法は単調凹面あるいは単調凸面の対象にしか適用できないのである。このように能動的三次元計測法の最近の成果である表面角度センシング法も実用化には未だ一歩届かない状況にある。彼等の方法は、対象表面の各法線ベクトルＮを投光撮像ジオメトリの逆問題解として、その天頂角成分ベクトルθ＝ａｒｃｃｏｓ（Ｎｚ）と、その方位角成分ベクトルφ＝ａｒｃｔａｎ（Ｎｙ／Ｎｘ）、（ここでｘ、ｙ、ｚは三次元直交座標軸）を几帳面に計測しようとする方法である。
【０００７】
これに対し、この方法の長所を生かした上で、実用性を発揮しようとした検査装置も発表されている。例えば、はんだ付接合部のはんだ形状情報をセンシングするために方位角成分検出を断念し、円環状の光源を異なる高さから（即ち対象への異なる入射天頂角）の照明によって、表面法線ベクトルの中の天頂角成分だけを検出する装置である。この場合は、フレーム画像取込み回数も前述の全方向全時分割法に比して、遙かに少数で済み、演算プロセスもずっと簡単なので、検査速度の向上が実現できている。しかし、これは飽くまでも実用性を最優先するための簡略法であり、真の意味での三次元形状情報は得られていない。
【０００８】
【発明が解決しようとする課題】
未知の対象の三次元形状計測法を実用化するためには能動的センシング法の中でも、表面角度センシング法が理論上適合している。しかし、この方法は前述したような“画像取込み時間浪費型”であるために実用化には程遠い。また、計測目的や対象の特性から必ずしも常に全方向センシングを必要とするわけではないので、方法上何等かの省略を加え、実用化を計ると投光撮像ジオメトリが固定化されるため、そのジオメトリで検出できる範囲も固定されてしまい、計測装置としての適用範囲が限定される。その典型的な例が上述の天頂角ベクトルのみをセンシングする検査装置である。この例は方位角成分センシングを放棄したために、計測データから対象の三次元形状を再構成することが出来ない。そこで、この表面角度センシング法の全方向センシングを省略を加えずに実行し、また省略が可能な場合には、自在に省略した計測法を適用出来る計測装置の実現こそ、本発明が解決しようとする課題である。
【０００９】
【課題を解決するための手段及び作用】
上述の課題を解決するために、本発明は表面角度センシング法の投光撮像ジオメトリ機能が固定化されたハードウェア依存型のせいで実用化を阻害されていると考え、これをソフトウェア型機能とすることによって実用化ボトルネックを排除する提案を行っている。そのための手段としては、投光手段にカラー画像表示装置を用いた上、投光撮像方式規定手段からの指令によって必要なカラー画像パタンを自在に画面上に生成し、その構造化光束を対象に投光し、カラー撮像することによって表面形状情報として必要な情報を省略化することなく獲得する形状計測方法を提案している。この提案により、表面角度のカラー分割センシング法と時分割センシング法を容易に組合わせることが出来るようになったので、特に天頂角成分ベクトルセンシング位相と方位角成分ベクトルセンシング位相に、それぞれの計測用画像パタンを投光装置の画面に表示し投光することで、従来、最大の難問題であった表面法線ベクトルの完全計測を実用条件の中で達成している。また、本発明になる形状計測装置に品質良否判定プログラムを付加することで、実用性のある検査装置の実現を提案している。更に、本発明に係る自動検査を実施しつつ不良品を修理修正することにより、半製品を完成品とする製造方法をも提案している。
【００１０】
特許請求範囲の請求項１に係る形状計測装置は、鏡面対象の表面角度を計測する三次元形状計測装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、を備えている。
【００１１】
この形状計測装置は、能動的三次元情報センシングにおける投光光束構造をソフトウェア指示により、画像表示装置の画面上のカラーパタンとして描出し、自在に投光パタンを生成して目的に応じた三次元形状計測を実行出来るようにしている。即ち、計測対象と投光手段と撮像手段が一定の幾何光学的配置に固定化された計測装置において、投光手段がカラー画像表示装置であり、採用した三次元計測方法に従って、その画面上に第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示し、その光束の投光を受けた計測対象を撮像装置が撮像して出力した各位相の２組の画像信号から採用した三次元計測方法に応じて、演算手段が三次元形状計測演算を実施し、計測対象の三次元形状を算出する形状計測装置であり、目的に応じて三次元形状計測投光手段と撮像手段の投光撮像方式を規定することが出来る。
【００１２】
また、投光手段と撮像手段が第一位相と第二位相において画像センシングすることができ、しかも各位相における投光パタンが異なるようになしているので、それらの画像データをメモリして計測演算すれば、最少回数の撮像によって対象の十分な三次元データが得られる。
更に、表面法線ベクトルのうちの天頂角成分ベクトル計測のためのパタン光を投光して撮像する第一位相と、同じく方位角成分ベクトル計測のためのパタン光を投光して撮像する第二位相とを用意したので、両位相の画像データをメモリして三次元形状計測演算に利用し、最短時間で対象の表面法線ベクトルが算出できる。
【００１３】
請求項２に係る形状計測装置は、請求項１に記載のものにおいて、投光手段は、対象を原点とする幾何光学的空間座標に位置付けた仮想ガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを中心射影法あるいはその他の球体投影法に基づいて、前記投光手段画面上に描出することによって対象の表面法線ベクトルセンシング・パタンとしたことを特徴とするものである。
【００１４】
この形状計測装置は、投光手段の画面上に表示するパタンの描出方法に関し、このパタンは、計測対象を原点とする空間座標に仮想的に位置するガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを画面上に中心射影法あるいはその他の投影法により描いたパタンである。
【００１５】
請求項３に係る検査装置は、三次元形状計測方法採用の鏡面対象検査装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段とを備えている。
【００１６】
この検査装置は、請求項１記載の装置の構成に加えて判定手段を備え、計測された対象の三次元形状データを用いて対象品質の良否判定を行う。
【００１７】
請求項４に係る検査装置は、三次元形状計測方法採用の鏡面対象検査装置であって、カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段とを備えたものである。
【００１８】
この検査装置は、自動検査位相で不良判定した検査対象の同定データ（ＩＤデータ）をメモリし、その同定データを用いて、対象の自動検査が完了した後に自動検査不良判定対象を撮像してその画像を表示し、目視による再検査に提供する。
【００１９】
請求項５に係る製品製造方法は、鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、三次元形状計測装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段とを備える検査装置を設置し、この検査装置を使用する。
【００２０】
そして、その検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の修理修正を行い、半製品を完成する。
【００２１】
請求項６に係る製品製造方法は、鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、三次元形状計測方法採用の検査装置であって、カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段とを備えた検査装置を設置し、この検査装置を使用する。
【００２２】
そして、その検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の品質の修理修正を行い、半製品を完成する。
【００２３】
【実施例】
以下、実施例により、この発明をさらに詳細に説明する。図１は、本発明を具体化した第１実施例の形状計測装置の構成を示す図である。この形状計測装置の投光ユニット３は二次元カラー画像表示装置であり、この実施例では、カラーＬＣＤ（液晶）表示装置であるが、勿論カラーＣＲＴ（陰極線管）でも、また可変色ＥＬ（エレクトロルミネッセンス）板や投影映写（プロジェクション）システム等、入力信号に従ってカラー画像を表示しうる装置であれば、いずれも適用可能である。
【００２４】
計測対象の計測目的に応じて入力ユニット１１から入力された指示信号により、選択した能動法三次元計測法に従って投光撮像制御ユニット６は投光制御指令を投光ユニット３に伝達し、投光ユニット３はその表示画面上に指令された三次元計測用カラーパタンを表示する。同時に投光撮像制御ユニット６は撮像方式指令をカラーカメラを備えた撮像装置４に伝達し、更に撮像角度及び撮像倍率を設定する。この実施例では、先ず図５の天頂角用中心射影カラーパタンを投光ユニット３の画面上に表示し、その投光によって計測対象１の表面法線ベクトルの天頂角成分ベクトルをセンシングの上計測し、次に図６の方位角用中心射影カラーパタンを投光ユニット３の画面上に表示し、その投光によって対象１の表面法線ベクトルの方位角成分ベクトルをセンシングの上計測する。撮像された対象１の各表面面素の法線ベクトルを規定する成分である天頂角ベクトルと方位角ベクトルは上述の２回の計測によって得られるので、対象１の三次元表面形状の計測が達成される。 以下にその計測原理を説明する。図２３は図１に示された投光装置Ｌ、撮像装置Ｖ、及び原点に置かれた対象表面の法線ベクトルＮの幾何光学的位置関係を極座標表示したものである。また、演算式（１）、（２）、（３）は、その三次元直交座標表示を示す。ここで非ランバート面の正反射性は拘束条件であって、Ｎθ＝（Ｌθ−Ｖθ）／２、Ｎφ＝Ｌφ＝Ｖφ、Ｖｘ＝ＶｒｓｉｎＶθｃｏｓＬφ、Ｖｙ＝ＶｒｓｉｎＶθｓｉｎＬφ、Ｖｚ＝ＶｒｃｏｓＶθであるので、投光装置と撮像装置の位置関係で方位角ベクトルＮφがＬとＶの作る平面に有り、かつ天頂角ベクトルＮθがＬθとＶθと成す角の１／２である対象面素だけが撮像装置へ反射光束を投射する。そこで、逆算すれば、その画素に相当する面素の反射光がセンシング出来、その値から法線ベクトルが算出できる。この時、Ｌが入射光束としての拡がりと構造を持ったカラーパタンであれば、撮像されるカラー画像は測定系空間におけるパタン微小部分の幾何光学的位置と対象表面角度に対応して“対象のカラー角度画像”となる。
【００２５】
また図２に示すように、撮像装置４をｚ軸上に配置すると、Ｖθ＝０、Ｖｘ＝Ｖｙ＝０、Ｖｚ＝Ｖｒであり、正反射性との複合光束条件は、Ｎθ＝Ｌθ／２、Ｎφ＝Ｌφ＝Ｖφ、Ｖｚ＝Ｖｒ、Ｖｘ＝Ｖｙ＝０となり、逆問題解を得るための演算が著しく簡略化出来る。逆に、例えば図３に示すように投光装置３をｚ軸上に、また撮像装置４を＋ｘ軸に配置すると、演算式（１）は、Ｌｘ＝ＬｒｓｉｎＬθ、Ｌｙ＝０、Ｌｚ＝ＬｒｃｏｓＬθ、演算式（２）は、Ｖｘ＝ＶｒｓｉｎＶθ、Ｙｙ＝０、Ｖｚ＝ＶｒｃｏｓＶθ、演算式（３）は、Ｎθ＝ａｒｃｃｏｓ（Ｎｚ）、Ｎφ＝０となる。正反射性との複合光束条件はＮθ＝（Ｌθ−Ｖθ）／２で逆問題解を得る。これらの関係は撮像装置４を±ｘ軸、あるいは±ｙ軸のいずれかにセットした場合も、φ＝ｎπ／２（ｎ＝０、１、２、３）を与えれば同様の結果が得られる。また、撮像装置４が任意のφ値である場合は、図２３の３演算式と正反射性との複合光束条件により、幾何光学的関係が算出出来る。
【００２６】
次に、投光装置３の画面上に生成するカラーパタンの形状について説明する。パタンは天頂角については図２１のように水平カラーバーを、また方位角については図２２のように垂直カラーバーをそれぞれ使用しても良いが、投光装置３の画面が平面状であるためにパタン中心から左右両端、または上下両端に向かって離れるに従って幾何光学的誤差が大となっていく。原点に位置する対象表面形状の法線ベクトルモデルはガウス球であるので、対象から投光装置画面への再短距離を半径とするガウス球面の投光装置画面上への中心射影が理論上の正確な表面角度ベクトル検出用投光パタンに相当することになる（図７参照）。そこで、図２に示される投光撮像ジオメトリに関しては、図５、図６に示すような形態のパタンを画面上に表示して、これを投光すれば、精確な三次元計測が実現される。図５、図６のパタンは図７の演算式（４）を用いて画面上に描くことが出来る。また、図３、図４に示される投光撮像ジオメトリに関しては図７の演算式（６）、（５）をそれぞれ適用することによって、同様に計測の目的に適合する投光パタンを画面上に描くことが出来る。実用的な計測装置あるいは検査装置においては、以上述べたような厳密なパタンでなくとも差支えないケースも有り、それらでは中心射影以外の投射投影法や円錐投影法や円筒投影法を準用しても良い。
【００２７】
計測対象１に当たった光束は反射光となって撮像装置４に入射する。前述のように、一般に殆どの物体表面は散乱反射と鏡面反射の両者の性質をその物体表面固有の比率で有する「非ランバート面」をなし、本発明はその鏡面反射成分即ち正反射成分を利用している。対象１に対して撮像装置４を一定の方位角及び天頂角に設置し、投光ユニット３が図５の天頂角用中心射影カラーパタンを光束として投光すると、各カラーパタンはそれぞれの入射天頂角を以って対象に投射され、対象表面からの正反射光成分はその面素の法線ベクトルの天頂角成分に従って正反射し、撮像装置４が天頂角ベクトルに応じたカラー画像として撮像し、その画像データは画像入力処理演算ユニット７が内蔵するメモリフレーム（図示せず）に取り込まれ、画素入力レベルの基準化等の基本的演算を施された後、ＣＰＵ９によって各カラー宛逆問題解として対象各面素毎の天頂角ベクトルが算出される。この各面素毎の天頂角データは、メモリ１０に貯蔵される。次に投光ユニット３の画面上に図６の方位角用カラーパタンを表示し、これを投光すると同様にして正反射の原理に従って対象表面からの反射光成分は撮像装置４によって表面方位角ベクトル対応カラー画像として撮像され、画像入力処理演算ユニット７が内蔵するメモリフレームに取り込まれ、入力レベルの基準化等の基本的演算が施された後、ＣＰＵ９によって各カラー宛逆問題解として対象各面素毎の方位角ベクトルが算出され、メモリ１０に貯蔵される。
【００２８】
最後に、このようにしてメモリされた各面素の表面天頂角ベクトルと表面方位角ベクトルのデータは併せてＣＰＵ９において各面素の法線ベクトル算出に使用され、計測対象１の形状計測が完結する。計測結果データは、表示ユニット１３に表示するか、あるいは出力ユニット１２から出力する。なお、図１中のシステム制御ユニット８はこの形状計測装置の全システム動作を制御するユニットであり、１４はバスである。
【００２９】
第１実施例による計測全体の動作順序を図８のフローチャートに示す。先ず、図１の計測対象をステージ２にセットすると（ＳＴ１）、計測シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って、天頂角計測用カラーパタンを表示する（ＳＴ２）。表示されたパタンが発する光束を受けた対象を撮像装置４のカラーカメラが撮像する（ＳＴ３）。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像信号に基準化演算等の基本的演算を施した後、内蔵するフレームメモリ（図示せず）にメモリする。ＣＰＵ９はこのデータから各面素の天頂角成分ベクトルを算出して（ＳＴ４）、データをメモリ１０に貯蔵する（ＳＴ５）。
【００３０】
次に、計測シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って方位角計測用カラーパタンを表示する（ＳＴ６）。表示されたパタンの光束を受けた対象を撮像装置４のカラーカメラが撮像する（ＳＴ７）。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７は、この画像信号に基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。ＣＰＵ９はこのデータから各面素の方位角成分ベクトルを算出して（ＳＴ８）、データをメモリ１０に貯蔵する（ＳＴ９）。次に以上によりメモリ１０に貯蔵された天頂角・方位角両成分データを用いてＣＰＵ９が三次元計測演算により対象各面素の法線ベクトルを算出し（ＳＴ１０）、計測結果を表示ユニット１３に表示するか、あるいは出力ユニット１２から出力して計測を完了する。
次に、本発明を具体化した第２実施例を説明する。第２実施例の構成図は、第１実施例と同様であり、図１の通りである。しかし、第２実施例は時分割投光法に依拠しており、カラー分割投光法の第１実施例とは異なる。即ち、投光ユニット３は位相Ｔｉ（ｉ＝１、２、…、ｍ）では天頂角検出用の単色パタン画像を表示し、次に位相Ｔｊ（ｊ＝１、２、…、ｎ）では方位角検出用の単色パタン画像を表示すること、及び撮像装置４がそれぞれの位相において、各パタン表示に対応してｍ回及びｎ回の撮像を行う点で第１実施例と異なっている。そのために、撮像装置４はモノクロカメラでも良い（勿論、第１実施例のカラーカメラであっても良い）。
【００３１】
先ず、投光ユニット３の画面上に図９の天頂角用単色パタンを表示し、これを位相Ｔｉ（ｉ＝１、２、…、ｍ：図９ではｍ＝６）において順次投光すると、各パタンはそれぞれの入射天頂角を以って対象に投射され、対象表面からの正反射光成分はその面素の法線ベクトルの天頂角成分に従って正反射し、撮像装置４が天頂角ベクトルに応じた画像としてＴｉのタイミングで計ｍ回撮像し、そのｍ枚の画像データは画像入力処理演算ユニット７が内蔵するメモリフレームに取込まれ、画素入力レベルの基準化等の基本的演算を施された後、ＣＰＵ９によって各位相画像データ宛逆問題解として対象各面素毎の天頂角ベクトルが算出される。この各面素毎の天頂角データはメモリ１０に貯蔵される。
【００３２】
次に、投光ユニット３の画面上に図１０の方位角用単色パタンを表示し、これを位相Ｔｊ（ｊ＝１、２、…ｎ：図１０ではｎ＝６）おいて順次投光すると各パタンはそれぞれの入射方位角を以って対象に投射され、対象表面からの正反射光成分は、その面素の法線ベクトルの方位角成分に従って正反射し、撮像装置４が表面法線ベクトルを構成する方位角ベクトルに応じた画像としてＴｊのタイミングで計ｎ回撮像し、そのｎ枚の画像データは画像入力処理演算ユニット７が内蔵するメモリフレームに取込まれ、画素入力レベルの基準化等の基本的演算を施された後、ＣＰＵ９によって各位相画像データ宛逆問題解として対象各面素毎の方位角ベクトルが算出される。この各面素毎の方位角データはメモリ１０に貯蔵される。
【００３３】
最後に、このようにしてメモリされた各面素の表面天頂角ベクトルと表面方位角ベクトルのデータは併せてＣＰＵ９において各面素の法線ベクトル算出に使用され、計測対象１の形状計測が完結する。計測結果データは表示ユニット１３に表示するか、あるいは出力ユニット１２から出力する。この第２実施例は撮像装置４をモノクロカメラに置き換え出来るため、コストの低減効果を有するばかりでなく、前述の点光源を用いたＮａｙａｒ等の方法が（ｍ×ｎ）回の点灯による（ｍ×ｎ）枚の画像データのメモリを要したのに対して、（ｍ＋ｎ）回のパタン投光による（ｍ＋ｎ）枚の画像データのメモリで全く同精度の形状計測が可能であり、大幅な計測時間の短縮とコストの削減が実現される。
【００３４】
第２実施例による計測全体の動作順序を図１１のフローチャートに示す。先ず、図１の計測対象１をステージ２にセットすると（ＳＴ１）、計測シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って、天頂角計測用単色パタンＴ１を表示する（ＳＴ２）。表示されたパタンの光束を受けた対象を撮像装置４が撮像する（ＳＴ３）。そこで、撮像装置４はこれを画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリ（図示せず）にメモリする。
【００３５】
以下、Ｔ２乃至Ｔｍの各パタンを順次投光装置に表示し（ＳＴ２）、都度対象を撮像装置４が撮像し（ＳＴ３）、画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７は、この画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。フレームメモリにｍ枚の画像データがメモリされたら、ＣＰＵ９はこのデータから各面素の天頂角成分ベクトルを算出して（ＳＴ４）、データをメモリ１０に貯蔵する（ＳＴ５）。
【００３６】
次に計測シーケンスに従って、システム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画像にメモリ１０にメモリされているプログラムに従って方位角計測用単色パタンを表示する（ＳＴ６）。表示されたパタンの光束を受けた対象を撮像を装置４が撮像する（ＳＴ７）。そこで、撮像装置４はこれを画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。以下、Ｔ２乃至Ｔｎの各パタンを順次投光装置に表示し（ＳＴ６）、都度対象を撮像装置４が撮像し（ＳＴ７）、画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７は、この画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。
【００３７】
フレームメモリにｎ枚の画像データがメモリされたら、ＣＰＵ９はこのデータから各面素の方位角成分ベクトルを算出して（ＳＴ８）、データをメモリ１０に貯蔵する（ＳＴ９）。次に以上によりメモリ１０に貯蔵された両成分データを用いてＣＰＵ９が三次元計測演算により、対象各面素の法線ベクトルを算出し（ＳＴ１０）、計測結果を表示ユニット１３に表示するか、あるいは出力ユニット１２から出力して計測を完了する。
【００３８】
次に、本発明を具体化した形状検査装置を第３実施例として説明する。その装置構成を図１２に示す。第３実施例は、Ｘ−Ｙ−Ｚ座標軸の原点に対象１を置き、これに対して４台の投光装置３ａ、３ｂ、３ｃ、３ｄ（図１２中投光装置３ｃ及び３ｄは重畳）をＸ−Ｙ直交軸真上の同一高さ（Ｚ軸）の空間座標位置、即ちＺ軸対称位置に設置し、それぞれの光束を対象に投射し、真上への反射光を撮像する撮像装置４を備えた検査装置である。即ち、第１実施例の投光装置３を各直交軸より浮上した位置に１台宛配置したものである。検査対象１をどの方向から計測・検査するかの指示は予め教示されているので、その教示内容に従って投光装置３ａ、３ｂ、３ｃ、３ｄの中のいずれか１台が第１実施例と同様に図２の天頂角計測用カラーパタンと方位角計測用カラーパタンを順次表示して、撮像装置４が都度撮像し、計測された三次元形状データを元に良否判定プログラムが対象品質良否判定を下す。また、必要により複数台の投光装置３を複合的に機能させて自動検査を実行することも出来る。つまり、複数台の投光装置３のそれぞれの計測位相を教示によって定めておき、良否判定プログラムがそれらの計測データを総合して判定を下すようにすることも出来る。
【００３９】
次に、第３実施例の動作を図１３のフローチャートを用いて説明する。先ず、図１２の検査対象１をＸ−Ｙステージ２にセットすると（ＳＴ１）、装置は教示された計測シーケンスに従ったシステム制御ユニット８の制御信号を受けて検査対象１を自動検査位置にもたらす（ＳＴ２）。投光撮像制御ユニット６はシステム制御ユニット８の制御信号を受けて教示データにより選択された投光装置３の中の１台の画面にメモリ１０にメモリされているプログラムに従って、天頂角計測用カラーパタンを表示する（ＳＴ３）。表示されたパタンの光束を受けた対象を測定系空間ｚ軸上の撮像装置４のカラーカメラが撮像する（ＳＴ３）。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像信号に基準化演算等の基本的演算を施した後、内蔵するフレームメモリ（図示せず）にメモリする。ＣＰＵ９は、このデータから各面素の天頂角成分ベクトルを算出して、データをメモリ１０に貯蔵する（ＳＴ４）。
【００４０】
次に教示された検査シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って方位角計測用カラーパタンを表示する（ＳＴ５）。表示されたパタンの光束を受け反射する対象を撮像装置４のカラーカメラが撮像する。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像信号に基準化演算等の基本的演算を施した後、フレームメモリにメモリする。ＣＰＵ９はこのデータから各面素の方位角成分ベクトルを算出して、データをメモリ１０に貯蔵する（ＳＴ６）。次に、以上によりメモリ１０に貯蔵された両成分データを用いてＣＰＵ９が三次元計測演算により、対象各面素の法線ベクトルを算出し（ＳＴ７）、算出された三次元データを用いて判定アルゴリズムが検査対象の品質良否を判定する（ＳＴ８）。検査結果は必要によりメモリ１０に貯蔵するか、表示ユニット１３に表示するか、あるいは出力ユニット１２から出力して（ＳＴ９）、検査対象を排出し（ＳＴ１０）、検査を完了する。
【００４１】
図１２のハードウェア構成を有する第３実施例は教示するデータ、即ちソフトウェアの変更だけで更に種々の内容の検査を行うことが出来る。その例を上げると下記のようである。
第１例：対象表面天頂角ベクトル検査装置その１
図１２の投光装置３は、４台とも図５の天頂角センシング用カラーパタンのみを表示して、同時的に投光・撮像し、計測及び検査を行う。はんだ形状のように天頂角方向成分が特に品質に第一義の意味を持つ対象には有効な検査方法であり、副次的な条件の結果に過ぎない方位角成分計測を省略出来るので、センシング時間と演算時間の節約に通じる。
【００４２】
第２例：対象表面天頂角ベクトル検査装置その２
第１例の投光装置（図１２：３）の相対向する３ａと３ｂ、３ｃと３ｄを組合わせて、それぞれ順次点灯（画像表示）するといずれも天頂角センシングパタンを表示しているが、方位角成分の要素が加わるので、第１例に比して新たな性能が出現する。例えば３ａと３ｂの組み合わせでは、３ａに天頂角センシングパタンを表示し、一方３ｂには全面を白色表示として同時点灯すると、凹凸面の識別が可能となる。凹面では対象表面の右側部にカラーパタン、左側部に白色面が現れ、また、凸面ではその左右の図柄が逆になる。凹凸面の区別は第１例では不可能であった。
【００４３】
第３例：方位角ベクトル検査装置
第１例とは逆に、図１２の投光装置３は４台とも図６の方位角センシング用カラーパタンのみを表示して投光・撮像し、計測及び検査を行う。検査対象の向きのみを検査するケースで天頂角成分計測を省略出来るので、センシング時間と演算時間の節約に通じる。
【００４４】
第３実施例は、以上のようなソフトウェア変更で様々な検査を実行出来るが、また本実施例と同様な機能は異なるハードウェアによっても実現される。例えば、図１２の投光装置３が３ａのみを備え、これを投光装置回転機構（図示せず）により、第３実施例の説明で述べた投光装置３ａ、３ｂ、３ｃ、３ｄの画像表示・撮像タイミングにそれぞれの投光位置に移動させることにより、第３実施例と同じ検査目的が達成される。
【００４５】
次に、本発明の第４実施例である形状検査装置を説明する。第４実施例の構成は図１２の通りであり、第３実施例と同様であるが、第３実施例と異なる要素は、検査対象の自動検査を行った後、不良判定された箇所のみを画像表示して目視再検査を行う点であり、目視再検査時には白色照明を行うことである。本例では、図１２に示された投光装置３ａ、３ｂ、３ｃ、３ｄの各画面上に白色エリアを表示し、これを白色照明光源となしている。しかし、投光装置３以外に別途白色光源を備え、目視再検査時のみこれを点灯して用いても、一向に差支えはない。
【００４６】
更に、目視再検時の照明として一般的な室内照明用白色灯の光束が品質の観測判別に充分な対象画像を提供しうる場合は、その光束を利用しても支障がないこと言うまでもない。
ここで、目視観察時白色照明とする理由は、対象が本来保有する色彩を飽くまでも自然色で観測するためである。自動検査位相で用いたカラー光束では対象の持つ本来の色合いが失われ、目視判定を著しく困難にするばかりか、眼精疲労の原因となる。特に非ランバート面には画像として全く非日常的な色付けがなされる。また、投光装置３を光源に利用するメリットはその画面上に表示する白色領域の形や面積や位置をカラー表示指令プログラムで自由に決められるので、目視観察に最適な照明が得られることにある。特に鏡面反射性を持つ非ランバート面は正反射方向を精確に捕捉しなければ単なる暗領域となり、目視観察が不可能となるので、光源のジオメトリ上の条件を自由に設定出来ることは大きな有利である。以上述べた目視再検査位相での照明方法以外の自動検査位相での投光・撮像方法は、第３実施例と同様であり、第３実施例の既出説明の通りである。
【００４７】
次に、第４実施例の動作を図１４及び図１５に示すフローチャートを用いて説明する。図１４は三次元形状計測及び自動検査の基本原理が図１３で説明した第３実施例のものと全く同様であるので、その点については説明を省略するが、次の点のみ第３実施例と異なるので説明を加える。
（１）第４実施例は、１検査対象の中に複数の検査領域を包含した場合の検査フローを例示したものである。例えば、プリント配線板上に搭載された電子部品のはんだ付け検査の場合がこれに該当する。そこで、１標本の中で順次全検査領域を自動的に走査し（Ａ→Ｂルートサイクル）領域毎に良否判定を行うようにしている。これらのシーケンス制御はシステム制御ユニット８からの制御信号によって行われる。
【００４８】
（２）それらの検査領域の中で品質不良と自動判定された場合には、その位置データをメモリする（ＳＴ８）。
（３）１標本の全検査領域の自動判定が終了したら自動検査位相が終了したので、標本は再検査の位置にセットされ、目視再検査位相が始まる（図１５、ＳＴ１０）。
【００４９】
図１５の目視再検査ステップにおいては、再検査シーケンスは図１２のメモリ１０にメモリされている不良箇所位置データに従ってシステム制御ユニット８の制御信号により、位置決め装置（図示せず）がＸ−Ｙステージ２を移動させて、上述のように検査対象１の再検査領域を再検査位置にもたらす（ＳＴ１０）。そこで、ＳＴ１０において、投光装置３が白色面を表示して検査対象１に対して白色光束を照射すると、撮像装置４のカラーカメラが再検査領域を撮像し（ＳＴ１１）、その画像を表示ユニット１３のスクリーン上に表示する（ＳＴ１２）。そこでオペレータは、この画像を観測することによって目視検査を行い、良否判定を下し（ＳＴ１３）、判定結果を入力ユニット１１に入力する（ＳＴ１４）。結果の入力が終わると、ＳＴ１５がＮＯであれば再検査シーケンスはメモリ１０にメモリされている不良箇所位置データに従って（ＳＴ１６）制御ユニット８の制御信号により位置決め装置（図示せず）が再びＸ−Ｙステージ２を移動させて検査対象１を次の再検査位置にもたらし、以上述べた動作が反復される（Ｃ→Ｄルートサイクル）。
【００５０】
このようにして、全ての再検査位置の再検査が完了したら、ＳＴ１５がＹＥＳとなり検査対象１がＸ−Ｙステージ２から排出され（ＳＴ１７）、全検査工程が完了する。以上述べたように、本実施例は良否判定を自動的に行い、不良の領域だけを画像として表示するので、オペレータは極く少数の目視検査を行えば良いことになり、大幅な省力化が実現されるばかりでなく、稍緩かな自動検査判定基準を設定することによって、不良箇所の不検出リスクを回避し、少数の良箇所過検出を許容して不良判定し、不良判定のみの目視再検査を表示画像によって行うのである。
【００５１】
次に、本発明の第５実施例である画像表示検査装置について説明する。第５実施例の構成を図１９に、また動作のフローチャートを図２０にそれぞれ示す。本実施例は、検査対象の自動検査を行わず検査箇所を撮像し、画像表示してオペレータが目視することにより良否判定する検査装置であり、目視検査のために対象の形状や表面特性に対応して最適の白色照明を行う。ここで目視観測時白色照明とする理由は、既に第４実施例の再検査ステップの説明で述べた通りである。特に、鏡面反射性を持つ非ランバート面は正反射方向を正確に捕捉しなければ、単なる暗領域となり目視観察が不可能になる。
【００５２】
本実施例は形状不明かつ自由曲面体である非ランバート面検査対象に最適の白色照明を得るために、第２実施例の時分割角度照明の原理を応用した照明を行い、照明過多も過少もない、最良の対象画像が得られるようにしている。まず、搬入装置（図示せず）により、図１９の検査対象１が搬入され、Ｘ−Ｙステージ２にセットされると（ＳＴ１）、検査シーケンスに従ってシステム制御ユニット７の制御信号により位置決め装置（図示せず）が、Ｘ−Ｙステージ２を移動させて検査対象１の検査領域を検査位置にもたらす（ＳＴ２）。
【００５３】
投光装置３は実施例３及び４で説明した図１２の投光装置３と同様な構造と機能を有している。投光撮像制御ユニット６は教示された検査データに従って検査方位角に該当する投光装置３ａ乃至３ｄのいずれかに検査用画像を表示せしめる（ＳＴ３）。この時、表示する画像はまず天頂角センシング用画像であって、例えば図９に示す第２実施例の表示画像Ｔｉを各０．５〜２秒宛Ｔ１〜Ｔ６順に表示しては消去して行く。撮像された（ＳＴ４）画像は、順次表示装置１２の画面上に表示される（ＳＴ５）ので、この画像をオペレータが目視観測して判定可能であれば（ＳＴ６）品質の良否を判定し（ＳＴ１０）、判定結果を入力装置１０により入力する。
【００５４】
ここで、対象に対して入射天頂角の異なる白色画像を順次表示する理由は、前述したように対象が未知形状の自由曲面体であるためで、検査前にはどの天頂角照明が最適か不明だからである。オペレータは最適の画像が得られたＴｉ照明で入力ユニット１０からの指令入力により自動的角度変更を一時中断し、良否判定をつけられるまで画像を十分に視察することも出来る。もし、ＳＴ６がＮＯであり、天頂角成分画像では判定不能であれば、検査シーケンスは次に方位角センシングのステップに入り（ＳＴ７〜９）、例えば図１０に示す第２実施例の表示画像Ｔｊを各０．５〜２秒宛Ｔ１〜Ｔ６順に表示しては消去して行く。撮像された（ＳＴ８）画像は順次表示装置１２の画面上に表示される（ＳＴ９）ので、オペレータが良否判定をして（ＳＴ１０）、次の検査位置に対象を移動する（Ａ−Ｂフローサイクル）。全検査領域の検査が完了したら（ＳＴ１１）検体を排出して（ＳＴ１２）、検査を完了する。このフローにおいて必要があれば、判定結果データをメモリ９にメモリしたり、または出力装置１１によりプリント・アウトしたり、他のコンピュータ等に送信したりすることも出来る。
【００５５】
次に、第４実施例による画像目視再検査を行いながら、最終的不良と判定された箇所を修理修正することによって半製品を完成する、プリント配線板電子部品実装製造工程を例にとり説明する。図１７はプリント配線板に電子部品をはんだ付けする製造ラインを示している。左端のはんだ印刷機２１にプリント配線板が搬入されると、そこでスクリーン印刷によりクリームはんだが塗布され、ベルトコンベアによりチップ装着機２２に搬入され、チップ部品が装着されて次に異形部品装着機２３に運ばれて異形部品が装着される。予定された全ての部品の装着が終わると、リフロー炉２４に搬入され、クリームはんだが熔融されてはんだ付けが完了する。はんだ付けプリント配線板は、次に本発明に係る第３実施例あるいは第４実施例の自動検査装置２５に送りこまれて、電子部品の有無やはんだ付けの良否の検査がなされる。自動検査装置２５で自動検査が終わったプリント配線板は、第３実施例検査装置の場合には、ベルトコンベアにより本発明に係る第４実施例検査装置に送り込まれると同時に、自動検査結果データも通信線を通じて本発明に係る検査装置に送信される。また、第４実施例検査装置の場合には、第４実施例で説明した通りの再検査ステップに入る。そこで、オペレータは表示画像について目視再検査を行った上、この半製品プリント配線板の不良箇所の修理修正をその場で即実行する。図１６は検査装置が修理台１６を備え、画像目視再検査がなされて不良と判定された場合、検査対象１は修理台１６へ引き出され、そこで修理対象１５として修理または修正が施される。その場合の動作ステップは、図１８のフローチャートの通りであり、オペレータが画像目視により不良判定する度に（ＳＴ６）、その箇所の修理修正を実施し（ＳＴ７）、再び対象をＸ−Ｙテーブルに戻すと、再検査対象１は上述の通りに次の再検査位置に位置決めされ、次の再検査箇所が画像表示される。
【００５６】
このようにして、再検査と修理修正が施されて全箇所の部品実装状態が完璧となった実装プリント配線板は製品として仕上げられたものであり、完成品として出荷される。検査と修理修正はこのように不即不離の関係にあり、不可欠のステップとして製造工程に組み込まれているのである。説明では、自動検査装置と本発明になる検査装置とがベルトコンベアで連結されている例を上げたが、現場の必要性から両検査装置が切り離された状態にあって、プリント配線板がストッカによって一括して後者に運ばれ、一方自動検査結果データが通信方式またはフロッピディスクによって入力ユニット１０に伝達されても一向に構わない。また、図１０の修理台１６はＸ−Ｙテーブル２が兼用されて、その機能を果たす構成であっても良い。
【００５７】
【発明の効果】
請求項１に記載の発明によれば、従来の三次元計測装置は対象と投光手段と撮像手段が一定の幾何光学的配置に固定化されるために、一度装置のハードウェアが決まると、目的や対象の特性に従ってそれぞれに適した三次元計測法に変更して計測を実行することが出来ない宿命であったのに対して、画像表示装置を投光装置とし最適の投光パタンをソフトウェア指令により、その画面上に自在に描出し、能動的三次元情報センシングを行うことが出来るので、異なる目的の多種の計測を種々の表面特性を有する対象に適用することが出来るようになった。
【００５８】
また、投光手段が各位相において異なるパタンを表示して投光し、これと同期して対象を撮像する機能を有するために、それらの画像データをメモリして計測演算すると、最少回数の撮像によって十分な三次元計測を実行できるようになった。
更に、天頂角成分ベクトル計測のためのパタン光と方位角成分ベクトル計測のためのパタン光を異なる位相で投光して撮像し、両位相の画像データをメモリして三次元形状計測演算を行うので、対象の表面法線ベクトルが最短時間で算出出来るようになった。
【００５９】
請求項２に記載の発明によれば、投光手段は、対象を原点とする空間座標に仮想的に位置するガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを画面上に中心射影法あるいはその他の投影法により描いたパタンを表示して光源として使用するので、精確な三次元計測が実現した。
【００６０】
請求項３に記載の発明によれば、品質良否判定を行う判定手段を備えたので、計測された対象の三次元形状データを用いて対象品質の良否判定を行うことが出来るようになった。
【００６１】
請求項４に記載の発明によれば、自動検査位相で不良判定した対象の同定データ（ＩＤデータ）をメモリし、その同定データを用いて対象の自動検査が完了した後に、自動検査不良判定対象を撮像して、その画像を表示し、目視による再検査に提供することが出来るようになった。
【００６２】
請求項５及び請求項６の発明によれば、ラインを流れる半製品の検査を行い、その結果品質不良と判定された箇所を修理修正して完成品を得ることが出来るようになった。
以上述べたように、本発明によれば、三次元形状計測装置において能動的センシング方法を実行するにあたり、計測対象に投光する光束の生成をカラー画像表示装置の画面上に描出した計測用カラーパタンにより実現したので、特に表面角度センシング法の適用例に見られるように、従来は極端に多数回の計測が必要なために実用性に劣った方法が、例えば２回の計測で十分な三次元情報が得られ、実用範囲に十分入るという大きな効果を生むことになった。この基本技術に伴い、計測用白色パタンの表示投光でも、従来法より短時間の計測が実現出来るし、また目視検査に好都合な画像を得るための白色エリア表示を実現した目視検査用撮像検査装置も実現出来る。更に、この基本計測技術を応用した自動検査装置が実現出来るので、これにより半製品の検査を行いながら、即不良箇所の修理修正を行い、検査・修理修正工程を製造工程の中に組込んで完成品を仕上げる一貫製造方法のシステム化による高信頼性化、省人化、低コスト化の効果がある。
【図面の簡単な説明】
【図１】この発明の一実施例形状計測装置を示す図である。
【図２】同実施例形状計測装置の計測対象、投光ユニット、撮像装置の配置例を示す図である。
【図３】同実施例形状計測装置の計測対象、投光ユニット、撮像装置の他の配置例を示す図である。
【図４】同実施例形状計測装置の計測対象、投光ユニット、撮像装置の他の配置例を示す図である。
【図５】同実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用カラーパタンである。
【図６】同実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用カラーパタンである。
【図７】同投光ユニット画面上に表示する表面角度センシング用パタンの数字的描出方法を説明する図である。
【図８】実施例形状計測装置における計測プロセスを説明するためのフローチャートである。
【図９】この発明の他の実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用時分割単色パタンである。
【図１０】この発明の他の実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用時分割単色パタンである。
【図１１】同実施例形状計測装置における計測のプロセスを説明するためのフローチャートである。
【図１２】この発明の他の実施例製品の検査装置を示す図である。
【図１３】この発明の他の実施例検査装置の動作を説明するためのフローチャートである。
【図１４】この発明の更に他の実施例検査装置の動作を説明するためのフローチャートである。
【図１５】図１４とともに、実施例検査装置の動作を説明するためのフローチャートである。
【図１６】この発明の他の実施例検査装置を示す図である。
【図１７】プリント配線板に電子部品をはんだ付けする工程での処理方法を説明する図である。
【図１８】同実施例検査装置の動作を説明するためのフローチャートである。
【図１９】この発明の更に他の実施例検査装置を示す図である。
【図２０】同実施例検査装置の動作を説明するためのフローチャートである。
【図２１】同実施例計測装置の投光ユニット画面上に描出する単純かつ低精度の表面角度センシング用カラーパタン参考例である。
【図２２】同実施例計測装置の投光ユニット画面上に描出する単純かつ低精度の表面角度センシング用カラーパタン参考例である。
【図２３】計測対象と投光装置と撮像装置の幾何光学的空間座標と、その数字的表現を説明する図である。
【図２４】従来の表面角度センシング方法における投光装置の光源配置を説明するための図である。
【符号の説明】
１ 計測対象
２ Ｘ−Ｙステージ
３ 投光装置
４ カラーカメラ
１１ 入力ユニット[0001]
[Industrial applications]
The present invention provides a shape measuring apparatus that employs a measuring method for measuring a three-dimensional shape of an object, an inspection apparatus that inspects a product using three-dimensional measurement data, and an inspection of a semi-finished product in a product manufacturing line, and The present invention relates to a product manufacturing method used for repairing and repairing a non-defective product. In particular, the shape is unknown among three-dimensional shape information acquisition technologies for automated inspection, and a non-perfect diffuse reflection surface (non-Lambertian surface: described later) The present invention relates to an inspection apparatus applied to an object having ()) and a product manufacturing method using the inspection apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been a need in many industrial fields to measure a three-dimensional shape of an object and to perform an automated inspection using the measured data. In these cases, the three-dimensional measurement method is generally used for the purpose of finding, identifying, and selecting an object having a known shape, and when the shape of the object is unknown and the shape is to be automatically known. Separated. In the latter case, it is often more difficult than in the former case, and even with the current three-dimensional image measurement technology, satisfactory results are not always achieved. If the shape of the target is unknown, it is impossible to apply binocular triangulation, which is a kind of passive sensing method that is a typical three-dimensional shape measurement method that is usually used. Although employed, this approach has its limitations and disadvantages.
[0003]
In the active sensing method, a structured light having a known pattern is projected on a target, and the structure of the light hitting the target surface is distorted according to the shape of the target. It is known as a method of calculating a shape as an inverse solution of a triangulation method. For example, there is a method in which a light beam from a light source is made to pass through a single or a plurality of slits having a certain form to form a pattern light, and the pattern light is projected on the object (Seiji Iguchi, Kosuke Sato, "Three-dimensional image measurement, (See Shokodo, 1990, Chapter 2). In these conventional methods, a pattern constituting a straight light beam is projected onto a perfect diffuse reflection surface, that is, a target on a Lambertian surface, and an image pickup device arranged at a certain angle with respect to the target has a target shape. Accordingly, the basic principle is to image a deformed light projection pattern that has been distorted.
[0004]
However, the problem of the present invention is the measurement of an unknown shape.If the representative surface shape of the object is a free-form surface, the measurement limit of the pattern light depends on the definition of the generated pattern. A free-form surface having a steep or narrow surface change is excluded from the measurement target range. In addition, since many object surfaces are not perfect Lambertian surfaces but have some highlights, this often hinders the detection of light projection patterns and often results in poor measurement results.
[0005]
The triangulation method using such structured light is a distance measurement method as a basic principle, and there is a surface angle sensing method using the non-Lambertian property of the target surface. The measurement principle is to detect the specular reflection component from the target surface and measure the surface normal vector of the unknown shape by setting the light source, the light receiving sensor and the target in a certain geometrical optical positional relationship (geometry). It is. For example, Arthur C.A. Sanderson et al. In his paper ("Structured high inspection of spectral surfaces", IEEE Transactions on Pattern Analysis and many in the optics, Machines, 1988, pp. 51, 88, ln. A measurement method has been announced in which a point light source is arranged, light is projected onto the object from above at various irradiation angles, and the camera installed directly above captures specularly reflected light. Since the model of the target surface normal vector is a Gaussian sphere, the conceptual configuration of the light source is as shown in FIG. Such a direct sensing method of surface normal vectors is not an absolute value measurement method, so additional conditions for measuring the reference position are required separately, but detection of the surface angle of a steep surface or a surface element of a fine part is required. Is also a highly practical method.
[0006]
However, their apparatus is described in a subsequent paper (Shree K. Nayar et al., "Spectral surface inspection using structured highlight and Gaussian tansomnia Images, IEEE Transactions Radio Activate, Canada). According to this, if 127 point light sources are turned on in a time-series manner in series, it takes 7.62 seconds to capture each image frame for one measurement, which is not very practical. . Therefore, they report that the problem was solved by capturing seven image frames by combining and lighting seven light sources at a time. However, the reliability of sensing by simultaneous lighting of multiple light sources is particularly high for unknown free-form surfaces. Is significantly reduced. For example, inconvenience occurs if the object has a wavy surface. This is because there is not one place where specular reflection corresponds to one light source. If a plurality of light sources are turned on, it becomes impossible to determine which light source the surface highlight reflection point corresponds to. That is, their solution can only be applied to monotonic concave or convex objects. As described above, the surface angle sensing method, which is a recent result of the active three-dimensional measurement method, has not yet reached the stage of practical use. Their method uses each normal vector N of the target surface as an inverse problem solution of the projection imaging geometry, and its zenith angle component vector θ = arccos (Nz) and its azimuth angle component vector φ = arctan (Ny / Nx ), (Where x, y, and z are three-dimensional orthogonal coordinate axes).
[0007]
On the other hand, there has been disclosed an inspection apparatus which attempts to exhibit practicality while taking advantage of this method. For example, abandon the azimuthal component detection to sense the solder shape information of the soldered joint, and illuminate the annular light source from different heights (ie, different zenith angles to the object) to produce surface normal vectors. This is a device that detects only the zenith angle component in. In this case, the number of times of frame image acquisition is much smaller than that of the above-described all-direction all-time division method, and the calculation process is much simpler, so that the inspection speed can be improved. However, this is a simplified method for giving priority to practicality even if it gets tired, and true three-dimensional shape information has not been obtained.
[0008]
[Problems to be solved by the invention]
Among the active sensing methods, the surface angle sensing method is theoretically suitable for the practical use of the three-dimensional shape measurement method for unknown objects. However, this method is far from practical use because of the "image capturing time wasting type" as described above. In addition, omnidirectional sensing is not always required from the measurement purpose and the characteristics of the target, so some omission is added in the method, and when practically used, the projection imaging geometry is fixed. The range that can be detected by is also fixed, and the range of application as a measuring device is limited. A typical example is an inspection device that senses only the zenith angle vector described above. In this example, since the azimuth angle component sensing is abandoned, the three-dimensional shape of the target cannot be reconstructed from the measurement data. Therefore, the present invention seeks to solve a measurement apparatus that can execute the omnidirectional sensing of the surface angle sensing method without any omission, and when the omission is possible, can apply the measurement method that is freely omitted. It is a task to do.
[0009]
Means and Action for Solving the Problems
In order to solve the above-mentioned problem, the present invention considers that the light projection imaging geometry function of the surface angle sensing method is hindered from being put into practical use due to the fixed hardware-dependent type, and this is called a software type function. By doing so, we are proposing to eliminate the bottleneck for practical use. As means for this, a color image display device is used as the light projecting means, and the necessary color image pattern is freely generated on the screen by a command from the light projecting method defining means, and the structured light beam is targeted. We propose a shape measurement method that obtains necessary information as surface shape information by projecting light and performing color imaging without omitting information. With this proposal, it became possible to easily combine the color-division sensing method and the time-division sensing method of the surface angle, and in particular, the zenith angle component vector sensing phase and the azimuth angle component vector sensing phase By displaying the image pattern on the screen of the light emitting device and projecting the light, complete measurement of the surface normal vector, which has conventionally been the biggest difficulty, has been achieved under practical conditions. Further, by adding a quality determination program to the shape measuring apparatus according to the present invention, it is proposed to realize a practical inspection apparatus. Further, there is also proposed a manufacturing method in which a semi-finished product is completed by repairing and repairing a defective product while performing the automatic inspection according to the present invention.
[0010]
The shape measuring device according to claim 1 of the claims isMeasure the surface angle of a mirror targetA three-dimensional shape measuring device, a color image display device,In the first phase, the object is illuminated by displaying the surface normal vector zenith angle component sensing pattern, and in the second phase, the object is illuminated by displaying the surface normal vector azimuth angle component sensing patternLight emitting means, and the light emitting means,TargetIs installed in a geometric optical spatial positional relationship that enables three-dimensional shape measurement,An object is imaged in synchronization with the two-phase illumination, respectively, and two sets of images obtained in each phase are obtained.Imaging means for outputting an image signal;A memory means for storing image signals and a normal vector of each surface element of the target surface are calculated by combining the stored two sets of image signals to calculate a three-dimensional shape of the target.Computing means.
[0011]
This shape measuring device draws the projected light beam structure in active three-dimensional information sensing as a color pattern on the screen of the image display device by software instruction, generates the projected light pattern freely, and 3D according to the purpose Shape measurement can be performed. That is, in a measuring device in which the measurement target, the light projecting means, and the imaging means are fixed in a fixed geometric optical arrangement, the light projecting means is a color image display device, and is displayed on the screen according to the adopted three-dimensional measuring method.In the first phase, the surface normal vector zenith angle component sensing pattern is displayed, and in the second phase, the surface normal vector azimuth angle component sensing pattern is displayed., The imaging device images and outputs the measurement target that has received the light beamTwo sets of each phaseThis is a shape measuring device that calculates the three-dimensional shape of the object to be measured by the calculating means by performing the three-dimensional shape measurement calculation according to the three-dimensional measuring method adopted from the image signal. It is possible to define the light projection imaging method of the means and the imaging means.
[0012]
Further, since the light projecting means and the image pickup means can perform image sensing in the first phase and the second phase, and the light projecting patterns in each phase are different, the image data is stored in a memory to perform measurement calculation. Then, sufficient three-dimensional data of the target can be obtained by the minimum number of times of imaging.
Further, a first phase for projecting and imaging a pattern light for zenith angle component vector measurement of the surface normal vector, and a second phase for projecting and imaging a pattern light for azimuth angle component vector measurement similarly. Since two phases are prepared, the image data of both phases are stored in memory and used for the three-dimensional shape measurement calculation, and the surface normal vector of the target can be calculated in the shortest time.
[0013]
According to a second aspect of the present invention, there is provided the shape measuring apparatus according to the first aspect, wherein the light projecting means includes a latitude line, a longitude line, or a latitude line on the surface of a virtual Gaussian sphere positioned at a geometric optical space coordinate whose origin is the object. The above-mentioned area or the area on the longitude is drawn on the light projecting means screen based on the central projection method or other spherical projection method to obtain a surface normal vector sensing pattern of the object. It is.
[0014]
This shape measuring device relates to a method of drawing a pattern to be displayed on a screen of a light projecting means, and the pattern is a latitude line or a longitude line or a longitude line on a surface of a Gaussian sphere virtually located at a spatial coordinate whose origin is a measurement target. This is a pattern in which an area on latitude or an area on longitude is drawn on the screen by the central projection method or another projection method.
[0015]
The inspection apparatus according to claim 3, which is a mirror-target inspection apparatus employing a three-dimensional shape measurement method, is a color image display apparatus, and displays a surface normal vector zenith angle component sensing pattern in a first phase. A light projecting unit that illuminates the object and displays the surface normal vector azimuth angle component sensing pattern in the second phase to illuminate the object, and this light projecting unit can measure the three-dimensional shape of the object Image capturing means for capturing images of an object in synchronization with the two-phase illumination and outputting two sets of image signals obtained in each phase, and storing the image signals Memory means, calculating means for calculating a normal vector of each surface element of the target surface by combining the stored two sets of image signals, and calculating a three-dimensional shape of the target; and three-dimensional measurement calculation data of the calculating means Target And a determination means for performing quality determining.
[0016]
This inspection apparatus includes a determination unit in addition to the configuration of the apparatus according to the first aspect, and determines the quality of the target quality using the measured three-dimensional shape data of the target.
[0017]
The inspection apparatus according to claim 4, which is a mirror-target inspection apparatus employing a three-dimensional shape measurement method, is a color image display apparatus, and displays a surface normal vector zenith angle component sensing pattern in a first measurement phase. A light projecting means for illuminating the object by illuminating the object and displaying a surface normal vector azimuth angle component sensing pattern in the second measurement phase to illuminate the object, An imaging unit installed in a geometric optical spatial positional relationship that enables imaging, synchronizing with the illumination in the two measurement phases, and outputting two sets of image signals obtained in each measurement phase; Memory means for storing signals; calculating means for calculating the normal vector of each surface element of the target surface by combining the stored two sets of image signals to calculate the three-dimensional shape of the target; three-dimensional measurement of the calculating means Operation Determining means for determining quality of the object using the data, storage means for storing data (ID data) for identifying an object which has been automatically inspected in the first inspection phase and which has been determined to be defective; Display means for selecting using the identification data, the light projecting means displaying a white area to illuminate the object in white, and displaying the image of the defect determination target imaged by the imaging means for use in visual re-examination of the defect determination; and It is provided with.
[0018]
This inspection apparatus stores identification data (ID data) of an inspection object determined to be defective in the automatic inspection phase, and uses the identification data to image the automatic inspection failure determination object after the automatic inspection of the object is completed. The image is displayed and provided for visual re-examination.
[0019]
The product manufacturing method according to claim 5 is a method for manufacturing a finished product from a semi-finished product by inspecting the shape of a mirror-finished object and performing repair and correction on the object determined to be defective. A three-dimensional shape measurement device, which is a color image display device, displays a surface normal vector zenith angle component sensing pattern in the first phase to illuminate the object, and in the second phase, the surface normal vector direction Floodlight means for displaying an angle component sensing pattern to illuminate an object, and the light projecting means are installed in a geometric optical spatial positional relationship that enables three-dimensional shape measurement for the object, and An image pickup unit that picks up an image in synchronization with two-phase illumination and outputs two sets of image signals obtained in each phase, a memory unit that stores the image signals, and a combination of the two sets of stored image signals. Target It calculates the normal vector of the surface each surface element, and installing a test apparatus and a calculation means for calculating the three-dimensional shape of the object, using the inspection device.
[0020]
Then, the quality of the semi-finished product is determined by the inspection device, and the portion determined to be defective is repaired and corrected to complete the semi-finished product.
[0021]
The product manufacturing method according to claim 6 is a method for manufacturing a finished product from a semi-finished product by inspecting the shape of a mirror-finished object and performing repair and correction on the object determined to be defective. An inspection device employing a three-dimensional shape measurement method, which is a color image display device, displays a surface normal vector zenith angle component sensing pattern in the first measurement phase to illuminate the target, and in the second measurement phase Is a light projecting means that displays the surface normal vector azimuth angle component sensing pattern to illuminate the object, and the light projecting means has a geometric optical spatial relationship that enables three-dimensional shape measurement to the object. An imaging unit which is installed and images the object in synchronization with the illumination of the two measurement phases, respectively, and outputs two sets of image signals obtained in each measurement phase; a memory means for storing the image signals; A calculating means for calculating a normal vector of each surface element of the target surface by combining two sets of image signals to calculate a three-dimensional shape of the target, and determining quality of the target using the three-dimensional measurement calculation data of the calculating means. Determination means for performing, a storage means for storing data (ID data) for identifying an object which is automatically inspected in the first inspection phase and determined to be defective, and which is selected by using the identification data in the second inspection phase, and is projected. Means for displaying a white area, illuminating the object with white, and displaying an image of the defect determination target imaged by the imaging means for display for visual re-examination of the defect determination; Use an inspection device.
[0022]
Then, the quality of the semi-finished product is determined by the inspection apparatus, and the quality of the portion determined to be defective is repaired and corrected, thereby completing the semi-finished product.
[0023]
【Example】
Hereinafter, the present invention will be described in more detail with reference to examples. FIG. 1 is a diagram showing a configuration of a shape measuring apparatus according to a first embodiment of the present invention. The light projecting unit 3 of this shape measuring device is a two-dimensional color image display device. In this embodiment, it is a color LCD (liquid crystal) display device. Of course, a color CRT (cathode ray tube) and a variable color EL (electro Any device that can display a color image in accordance with an input signal, such as a luminescence plate or a projection system, is applicable.
[0024]
According to the instruction signal input from the input unit 11 according to the measurement purpose of the measurement object, the light projection imaging control unit 6 transmits the light projection control command to the light projection unit 3 according to the selected active method three-dimensional measurement method, and the light projection is performed. The unit 3 displays the designated three-dimensional measurement color pattern on its display screen. At the same time, the light projection imaging control unit 6 transmits an imaging method command to the imaging device 4 including the color camera, and further sets an imaging angle and an imaging magnification. In this embodiment, first, the zenith angle center projected color pattern of FIG. 5 is displayed on the screen of the light projecting unit 3, and the zenith angle component vector of the surface normal vector of the measurement object 1 is measured by the projected light to measure. Then, the azimuth center projected color pattern shown in FIG. 6 is displayed on the screen of the light projecting unit 3, and the azimuth component vector of the surface normal vector of the object 1 is measured by the projected light to measure. Since the zenith angle vector and the azimuth angle vector, which are components that define the normal vector of each surface surface element of the imaged object 1, can be obtained by the above two measurements, the measurement of the three-dimensional surface shape of the object 1 is achieved. Is done. Hereinafter, the measurement principle will be described. FIG. 23 shows a polar coordinate display of the geometrical optical positional relationship between the light projecting device L, the image pickup device V, and the normal vector N of the target surface placed at the origin shown in FIG. Further, the arithmetic expressions (1), (2), and (3) indicate the three-dimensional rectangular coordinate display. Here, the regular reflectivity of the non-Lambertian surface is a constraint, and Nθ = (Lθ−Vθ) / 2, Nφ = Lφ = Vφ, Vx = VrsinVθcosLφ, Vy = VrsinVθsinLφ, and Vz = VrcosVθ. The azimuth angle vector Nφ is on the plane formed by L and V due to the positional relationship between the object and the imaging device, and only the target surface element whose zenith angle vector Nθ is 角 of the angle formed by Lθ and Vθ is reflected by the imaging device. Project. Therefore, by performing the inverse calculation, the reflected light of the surface element corresponding to the pixel can be sensed, and the normal vector can be calculated from the value. At this time, if L is a color pattern having a spread and a structure as an incident light flux, the captured color image corresponds to the geometrical optical position of the pattern minute portion and the target surface angle in the measurement system space. Color angle image ".
[0025]
As shown in FIG. 2, when the imaging device 4 is arranged on the z-axis, Vθ = 0, Vx = Vy = 0, Vz = Vr, and the complex light flux condition with regular reflection is Nθ = Lθ / 2. , Nφ = Lφ = Vφ, Vz = Vr, Vx = Vy = 0, and the operation for obtaining the inverse problem solution can be significantly simplified. Conversely, if the light projecting device 3 is arranged on the z-axis and the imaging device 4 is arranged on the + x-axis as shown in FIG. 3, for example, the arithmetic expression (1) becomes Lx = LrsinLθ, Ly = 0, Lz = LrcosLθ, The arithmetic expression (2) is Vx = VrsinVθ, Yy = 0, Vz = VrcosVθ, and the arithmetic expression (3) is Nθ = arccos (Nz), Nφ = 0. The complex light flux condition with regular reflection is Nθ = (Lθ−Vθ) / 2 to obtain an inverse problem solution. These relationships can be obtained by setting φ = nπ / 2 (n = 0, 1, 2, 3) even when the imaging device 4 is set to either the ± x axis or the ± y axis. . When the imaging device 4 has an arbitrary φ value, the geometric optical relationship can be calculated by the complex light flux condition of the three arithmetic expressions in FIG. 23 and the specular reflectivity.
[0026]
Next, the shape of the color pattern generated on the screen of the light emitting device 3 will be described. The pattern may use a horizontal color bar as shown in FIG. 21 for the zenith angle and a vertical color bar as shown in FIG. 22 for the azimuth angle. However, since the screen of the light projecting device 3 is flat, As the distance from the center of the pattern toward the left and right ends or the upper and lower ends increases, the geometric optical error increases. Since the normal vector model of the target surface shape located at the origin is a Gaussian sphere, the central projection of the Gaussian sphere with the radius of the shortest distance from the target to the projector screen on the projector screen is theoretically This corresponds to a light projection pattern for accurate surface angle vector detection (see FIG. 7). Therefore, with respect to the light projection imaging geometry shown in FIG. 2, a pattern having a form as shown in FIGS. 5 and 6 is displayed on a screen, and if this is projected, accurate three-dimensional measurement is realized. . The patterns in FIGS. 5 and 6 can be drawn on the screen using the arithmetic expression (4) in FIG. Also, with respect to the light emitting imaging geometries shown in FIGS. 3 and 4, by applying the arithmetic expressions (6) and (5) in FIG. 7, a light emitting pattern which is also suitable for the measurement purpose is displayed on the screen. I can draw. In practical measurement equipment or inspection equipment, there are cases where it is not necessary to use strict patterns as described above.In those cases, projection projection methods other than center projection, cone projection method and cylindrical projection method can be applied mutatis mutandis. good.
[0027]
The light beam that has hit the measurement target 1 is reflected light and is incident on the imaging device 4. As described above, most object surfaces generally have a “non-Lambertian surface” that has both properties of scattered reflection and specular reflection in a specific ratio of the object surface, and the present invention uses the specular reflection component, that is, the specular reflection component. are doing. When the imaging device 4 is set at a fixed azimuth and a zenith angle with respect to the object 1 and the light projecting unit 3 projects the zenith angle center projection color pattern shown in FIG. 5 as a light beam, each color pattern becomes a corresponding incident zenith. The light is projected onto the target at an angle, and the specularly reflected light component from the target surface is specularly reflected according to the zenith angle component of the normal vector of the surface element, and the image pickup device 4 captures an image as a color image corresponding to the zenith angle vector. The image data is taken into a memory frame (not shown) incorporated in the image input processing operation unit 7 and subjected to basic operations such as standardization of the pixel input level. , A zenith angle vector for each target surface element is calculated. The zenith angle data for each surface element is stored in the memory 10. Next, the azimuth color pattern of FIG. 6 is displayed on the screen of the light projecting unit 3, and the reflected light component from the target surface is projected by the imaging device 4 in accordance with the principle of specular reflection in the same manner as when the color pattern is projected. After being picked up as a vector-compatible color image, fetched into a memory frame incorporated in the image input processing operation unit 7 and subjected to basic operations such as input level standardization, the CPU 9 subjects each color as an inverse problem solution to each color. An azimuth vector for each surface element is calculated and stored in the memory 10.
[0028]
Finally, the data of the surface zenith angle vector and the surface azimuth angle vector of each surface element thus stored are used together in the CPU 9 to calculate the normal vector of each surface element, and the shape measurement of the measurement target 1 is completed. I do. The measurement result data is displayed on the display unit 13 or output from the output unit 12. The system control unit 8 in FIG. 1 is a unit for controlling the entire system operation of the shape measuring device, and 14 is a bus.
[0029]
The operation sequence of the entire measurement according to the first embodiment is shown in the flowchart of FIG. First, when the measurement target in FIG. 1 is set on the stage 2 (ST1), the control signal of the system control unit 8 is received in accordance with the measurement sequence, and the light projection imaging control unit 6 is stored in the memory 10 on the screen of the light projection device 3. The zenith angle measurement color pattern is displayed according to the program (ST2). The color camera of the imaging device 4 captures an image of the target receiving the luminous flux emitted from the displayed pattern (ST3). Therefore, the imaging device 4 converts this into an image signal and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a standardization operation on the image signal, and then stores it in a built-in frame memory (not shown). The CPU 9 calculates a zenith angle component vector of each surface element from this data (ST4), and stores the data in the memory 10 (ST5).
[0030]
Next, in response to a control signal of the system control unit 8 according to the measurement sequence, the light projection imaging control unit 6 displays an azimuth measurement color pattern on the screen of the light projection device 3 according to a program stored in the memory 10 (ST6). ). The color camera of the imaging device 4 captures an image of the target receiving the displayed pattern light beam (ST7). Therefore, the imaging device 4 converts this into an image signal and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a reference operation on the image signal, and stores the image signal in a built-in frame memory. The CPU 9 calculates an azimuth component vector of each plane element from the data (ST8), and stores the data in the memory 10 (ST9). Next, the CPU 9 calculates a normal vector of each surface element by a three-dimensional measurement operation using the zenith angle / azimuth angle component data stored in the memory 10 as described above (ST10), and displays the measurement result on the display unit 13. Display or output from the output unit 12 completes the measurement.
Next, a second embodiment of the present invention will be described. The configuration diagram of the second embodiment is the same as that of the first embodiment, and is as shown in FIG. However, the second embodiment relies on the time division floodlighting method and is different from the first embodiment of the color division floodlighting method. That is, the light projecting unit 3 displays a monochromatic pattern image for zenith angle detection at the phase Ti (i = 1, 2,..., M), and then displays the azimuth at the phase Tj (j = 1, 2,. This embodiment differs from the first embodiment in that a single-color pattern image for angle detection is displayed, and that the imaging device 4 performs m and n times of imaging in each phase corresponding to each pattern display. For this purpose, the imaging device 4 may be a monochrome camera (of course, the color camera of the first embodiment).
[0031]
First, the zenith angle single-color pattern shown in FIG. 9 is displayed on the screen of the light projecting unit 3 and sequentially projected in the phase Ti (i = 1, 2,..., M: m = 6 in FIG. 9). Each pattern is projected onto the target with a respective incident zenith angle, and the specularly reflected light component from the target surface is specularly reflected according to the zenith angle component of the normal vector of the surface element, and the imaging device 4 converts the zenith angle vector into a zenith angle vector. As a corresponding image, the image is taken m times in total at the timing of Ti, and the m pieces of image data are taken into a memory frame incorporated in the image input processing operation unit 7 and subjected to basic operations such as standardization of the pixel input level. After that, the CPU 9 calculates a zenith angle vector for each target surface element as an inverse solution to each phase image data. The zenith angle data for each surface element is stored in the memory 10.
[0032]
Next, the azimuth angle single-color pattern shown in FIG. 10 is displayed on the screen of the light projecting unit 3, and the patterns are sequentially projected with the phase Tj (j = 1, 2,... N: n = 6 in FIG. 10). Each pattern is projected onto the target at a respective incident azimuth, and the specularly reflected light component from the target surface is specularly reflected in accordance with the azimuthal component of the normal vector of the surface element, and the imaging device 4 uses the surface normal. An image corresponding to the azimuth vector constituting the vector is picked up n times in total at the timing of Tj, and the n pieces of image data are taken into a memory frame built in the image input processing operation unit 7 and are used as a reference for the pixel input level. After basic operations such as conversion are performed, the CPU 9 calculates an azimuth vector for each target surface element as an inverse solution to each phase image data. The azimuth data for each plane element is stored in the memory 10.
[0033]
Finally, the data of the surface zenith angle vector and the surface azimuth angle vector of each surface element thus stored are used together in the CPU 9 to calculate the normal vector of each surface element, and the shape measurement of the measurement target 1 is completed. I do. The measurement result data is displayed on the display unit 13 or output from the output unit 12. In the second embodiment, since the imaging device 4 can be replaced with a monochrome camera, not only has the effect of reducing costs, but also the method of Nayar or the like using the above-mentioned point light source uses (m × n) times of lighting (m × n) times. Xn) memory of image data was required, but (m + n) image data memory by (m + n) times of pattern projection could perform shape measurement with exactly the same accuracy, and significant measurement Time and costs are reduced.
[0034]
The operation sequence of the entire measurement according to the second embodiment is shown in the flowchart of FIG. First, when the measurement target 1 in FIG. 1 is set on the stage 2 (ST1), the control unit 6 receives a control signal from the system control unit 8 in accordance with the measurement sequence, and the light projection / imaging control unit 6 is stored in the memory 10 on the screen of the light projection device 3. The zenith angle measuring single color pattern T1 is displayed according to the program (ST2). The imaging device 4 captures an image of the target receiving the displayed pattern light beam (ST3). Then, the imaging device 4 converts this into image data and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a standardization operation on the image data, and stores the image data in a built-in frame memory (not shown).
[0035]
Hereinafter, each pattern of T2 to Tm is sequentially displayed on the light emitting device (ST2), and the image pickup device 4 picks up an image of the target each time (ST3), converts it into image data, and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a standardization operation on the image data, and stores the image data in a built-in frame memory. When m pieces of image data are stored in the frame memory, the CPU 9 calculates a zenith angle component vector of each surface element from the data (ST4), and stores the data in the memory 10 (ST5).
[0036]
Next, in response to the control signal of the system control unit 8 in accordance with the measurement sequence, the light projection imaging control unit 6 displays the azimuth angle measurement single color pattern on the image of the light projection device 3 according to the program stored in the memory 10 (ST6). ). The device 4 captures an image of the target that has received the light flux of the displayed pattern (ST7). Then, the imaging device 4 converts this into image data and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a standardization operation on the image data, and stores the image data in a built-in frame memory. Hereinafter, each pattern of T2 to Tn is sequentially displayed on the light projecting device (ST6), and the image pickup device 4 takes an image of the target each time (ST7), converts the image into image data, and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a standardization operation on the image data, and stores the image data in a built-in frame memory.
[0037]
When n frames of image data are stored in the frame memory, the CPU 9 calculates an azimuth component vector of each plane element from the data (ST8), and stores the data in the memory 10 (ST9). Next, using the two component data stored in the memory 10 as described above, the CPU 9 calculates a normal vector of each target surface element by three-dimensional measurement calculation (ST10), and displays the measurement result on the display unit 13; Alternatively, the measurement is completed by outputting from the output unit 12.
[0038]
Next, a shape inspection apparatus according to a third embodiment of the present invention will be described. FIG. 12 shows the configuration of the apparatus. In the third embodiment, the target 1 is placed at the origin of the XYZ coordinate axes, and four light emitting devices 3a, 3b, 3c, and 3d are overlapped with each other (the light emitting devices 3c and 3d in FIG. 12 are superimposed). Is installed at a spatial coordinate position at the same height (Z axis) right above the X-Y orthogonal axis, that is, a Z-axis symmetric position, projects each light beam to a target, and captures reflected light right above. 4 is an inspection device provided with That is, one light projecting device 3 of the first embodiment is arranged at a position floating above each orthogonal axis. Since the direction of measuring and inspecting the inspection target 1 from which direction is taught in advance, any one of the light emitting devices 3a, 3b, 3c, and 3d is the same as in the first embodiment according to the teaching contents. The zenith angle measurement color pattern and the azimuth angle measurement color pattern of FIG. 2 are sequentially displayed, and the imaging device 4 takes an image each time. Based on the measured three-dimensional shape data, the quality determination program determines the quality of the target quality. Lower. In addition, if necessary, a plurality of light emitting devices 3 can be made to function in an integrated manner to execute an automatic inspection. That is, the measurement phases of the plurality of light emitting devices 3 may be determined by teaching, and the pass / fail determination program may make a determination based on the measurement data.
[0039]
Next, the operation of the third embodiment will be described with reference to the flowchart of FIG. First, when the inspection target 1 of FIG. 12 is set on the XY stage 2 (ST1), the apparatus receives the control signal of the system control unit 8 according to the taught measurement sequence and brings the inspection target 1 to the automatic inspection position. (ST2). The light-emission imaging control unit 6 receives a control signal from the system control unit 8 and, in accordance with a program stored in the memory 10 on one screen of the light-emission device 3 selected by the teaching data, stores a color for zenith angle measurement. A pattern is displayed (ST3). The color camera of the imaging device 4 on the z-axis of the measurement system space captures an image of the target that has received the light beam of the displayed pattern (ST3). Therefore, the imaging device 4 converts this into an image signal and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a standardization operation on the image signal, and then stores it in a built-in frame memory (not shown). The CPU 9 calculates a zenith angle component vector of each surface element from the data, and stores the data in the memory 10 (ST4).
[0040]
Next, in response to the control signal of the system control unit 8 according to the inspection sequence taught, the light projection imaging control unit 6 displays the azimuth measurement color pattern on the screen of the light projection device 3 according to the program stored in the memory 10. (ST5). The color camera of the imaging device 4 captures an image of an object that receives and reflects the light beam of the displayed pattern. Therefore, the imaging device 4 converts this into an image signal and outputs it to the image input processing operation unit 7. The image processing operation unit 7 performs a basic operation such as a standardization operation on the image signal, and stores it in a frame memory. The CPU 9 calculates the azimuth angle component vector of each plane element from the data, and stores the data in the memory 10 (ST6). Next, the CPU 9 calculates a normal vector of each target surface element by a three-dimensional measurement operation using the two component data stored in the memory 10 as described above (ST7), and makes a determination using the calculated three-dimensional data. The algorithm determines the quality of the inspection target (ST8). The inspection result is stored in the memory 10 if necessary, displayed on the display unit 13, or output from the output unit 12 (ST9), and the inspection target is discharged (ST10), thereby completing the inspection.
[0041]
In the third embodiment having the hardware configuration of FIG. 12, various contents can be inspected only by changing the data to be taught, that is, the software. An example is as follows.
First example: Object surface zenith angle vector inspection device 1
The four light projecting devices 3 of FIG. 12 display only the zenith angle sensing color pattern of FIG. 5 and simultaneously project and project light to perform measurement and inspection. This is an effective inspection method for objects whose zenith angle direction component has the primary meaning in quality, such as solder shape, and azimuth angle component measurement that is only a result of secondary conditions can be omitted. Saves time and computation time.
[0042]
Second example: Object surface zenith angle vector inspection device 2
When the opposing 3a and 3b, 3c and 3d of the light emitting device of the first example (3 in FIG. 12) are combined and sequentially turned on (image display), the zenith angle sensing pattern is displayed. Since an element of the azimuth component is added, new performance appears as compared with the first example. For example, in the combination of 3a and 3b, if the zenith angle sensing pattern is displayed on 3a and the entire surface is simultaneously displayed as white display on 3b, the uneven surface can be identified. On a concave surface, a color pattern appears on the right side of the target surface, and a white surface appears on the left side. On a convex surface, the left and right patterns are reversed. In the first example, it was impossible to distinguish the uneven surface.
[0043]
Third example: Azimuth angle vector inspection device
Contrary to the first example, all of the four light projecting devices 3 in FIG. 12 display only the azimuth angle sensing color pattern in FIG. 6 to project and image, and perform measurement and inspection. Since the measurement of the zenith angle component can be omitted in a case where only the direction of the inspection target is inspected, the sensing time and the calculation time can be saved.
[0044]
In the third embodiment, various inspections can be executed by changing the software as described above, but the same functions as those in the third embodiment can be realized by different hardware. For example, the light projecting device 3 in FIG. 12 includes only the light projecting device 3a, and the light projecting device 3a, 3b, 3c, and 3d described in the description of the third embodiment is provided by a light projecting device rotating mechanism (not shown). The same inspection purpose as in the third embodiment is achieved by moving to the respective light projecting positions at the display / imaging timing.
[0045]
Next, a shape inspection apparatus according to a fourth embodiment of the present invention will be described. The configuration of the fourth embodiment is as shown in FIG. 12 and is the same as that of the third embodiment. However, the elements different from the third embodiment are the same as those of the third embodiment except that only the portions determined to be defective after the automatic inspection of the inspection target are performed. This is a point of performing visual reexamination by displaying an image, and performing white illumination at the time of visual reexamination. In this example, a white area is displayed on each screen of the light projecting devices 3a, 3b, 3c, and 3d shown in FIG. 12 and is used as a white illumination light source. However, there is no problem even if a white light source is separately provided in addition to the light projecting device 3 and it is turned on and used only at the time of visual reexamination.
[0046]
Furthermore, if the luminous flux of a general white light for indoor illumination can provide a sufficient target image for quality observation discrimination as illumination at the time of visual reexamination, it goes without saying that use of the luminous flux does not cause any problem.
Here, the reason for using white illumination at the time of visual observation is to observe colors originally possessed by the object in natural colors even if they become tired. With the color light flux used in the automatic inspection phase, the original color tone of the object is lost, which makes visual judgment extremely difficult and causes eye strain. In particular, the non-Lambertian surface is completely unusually colored as an image. The advantage of using the light projecting device 3 as a light source is that the shape, area, and position of a white area to be displayed on the screen can be freely determined by a color display instruction program, so that optimal illumination for visual observation can be obtained. is there. In particular, a non-Lambertian surface with specular reflectivity becomes a mere dark region unless the specular reflection direction is accurately captured, and visual observation becomes impossible.Therefore, it is a great advantage that the geometrical conditions of the light source can be set freely. is there. The light projection / imaging method in the automatic inspection phase other than the illumination method in the visual reexamination phase described above is the same as that in the third embodiment, and is as described in the third embodiment.
[0047]
Next, the operation of the fourth embodiment will be described with reference to the flowcharts shown in FIGS. In FIG. 14, the basic principle of the three-dimensional shape measurement and the automatic inspection is exactly the same as that of the third embodiment described with reference to FIG. It is different from that, so an explanation is added.
(1) The fourth embodiment exemplifies an inspection flow when one inspection target includes a plurality of inspection regions. For example, this corresponds to the case of a soldering inspection of an electronic component mounted on a printed wiring board. Therefore, all inspection areas are automatically scanned sequentially in one sample (A → B route cycle), and pass / fail judgment is performed for each area. These sequence controls are performed by control signals from the system control unit 8.
[0048]
(2) If it is automatically determined that the quality is poor in those inspection areas, the position data is stored in memory (ST8).
(3) When the automatic determination of all the inspection areas of one sample is completed, the automatic inspection phase is completed, so the sample is set at the position of the reexamination, and the visual reexamination phase is started (FIG. 15, ST10).
[0049]
In the visual reexamination step of FIG. 15, the reexamination sequence is performed by the positioning device (not shown) by the control signal of the system control unit 8 in accordance with the defect position data stored in the memory 10 of FIG. 2 is moved to bring the reinspection area of the inspection object 1 to the reinspection position as described above (ST10). Then, in ST10, when the light projecting device 3 displays a white surface and irradiates the inspection target 1 with a white light beam, the color camera of the imaging device 4 images the re-inspection area (ST11), and displays the image in the display unit. 13 (ST12). Then, the operator performs a visual inspection by observing this image, makes a pass / fail decision (ST13), and inputs the decision result to the input unit 11 (ST14). When the input of the result is completed, if the result of ST15 is NO, the re-inspection sequence is performed according to the defect position data stored in the memory 10 (ST16). The Y stage 2 is moved to bring the inspection target 1 to the next reinspection position, and the above-described operation is repeated (C → D route cycle).
[0050]
When the re-inspection of all re-inspection positions is completed in this way, ST15 becomes YES and the inspection object 1 is ejected from the XY stage 2 (ST17), and the entire inspection process is completed. As described above, according to the present embodiment, the pass / fail judgment is automatically performed, and only the defective area is displayed as an image. Therefore, the operator only needs to perform a very small number of visual inspections. In addition to the realization, the risk of non-detection of a defective part is avoided by setting a slightly looser automatic inspection judgment standard, a small number of good parts are over-detected, and a defective judgment is made. The inspection is performed using the displayed image.
[0051]
Next, an image display inspection apparatus according to a fifth embodiment of the present invention will be described. FIG. 19 shows the configuration of the fifth embodiment, and FIG. 20 shows a flowchart of the operation. The present embodiment is an inspection apparatus that images an inspection location without performing an automatic inspection of an inspection target, displays the image, and visually judges the quality by an operator, and corresponds to the shape and surface characteristics of the target for visual inspection. And perform optimal white illumination. The reason why the white illumination is used at the time of visual observation is as described in the description of the reinspection step in the fourth embodiment. In particular, a non-Lambertian surface having specular reflectivity becomes a mere dark region and cannot be visually observed unless the specular reflection direction is accurately captured.
[0052]
In this embodiment, in order to obtain an optimal white illumination for a non-Lambertian surface inspection object having an unknown shape and a free-form surface, illumination using the principle of the time-division angle illumination of the second embodiment is performed. No, the best target image is obtained. First, when the inspection object 1 of FIG. 19 is carried in by the carrying-in device (not shown) and set on the XY stage 2 (ST1), the positioning device (FIG. (Not shown) moves the XY stage 2 to bring the inspection area of the inspection target 1 to the inspection position (ST2).
[0053]
The light projecting device 3 has the same structure and function as the light projecting device 3 of FIG. 12 described in the third and fourth embodiments. The light projection imaging control unit 6 displays an image for inspection on any of the light emitting devices 3a to 3d corresponding to the inspection azimuth according to the taught inspection data (ST3). At this time, the image to be displayed is first a zenith angle sensing image. For example, the display image Ti of the second embodiment shown in FIG. go. The captured (ST4) images are sequentially displayed on the screen of the display device 12 (ST5). If the image can be visually observed and determined by the operator (ST6), the quality is determined (ST10). ), The result of the determination is input by the input device 10.
[0054]
Here, the reason why the white images with different incident zenith angles are sequentially displayed on the target is that the target is a free-form surface body of an unknown shape as described above, and it is unclear which zenith angle illumination is optimal before the inspection. That's why. The operator can also temporarily suspend the automatic angle change by the command input from the input unit 10 with the Ti illumination for which the optimal image has been obtained, and can sufficiently observe the image until the quality is determined. If ST6 is NO and the zenith angle component image cannot be determined, the inspection sequence next enters the azimuth angle sensing step (ST7 to ST9), for example, the display image Tj of the second embodiment shown in FIG. Are displayed in the order of T1 to T6 for 0.5 to 2 seconds, respectively, and then deleted. Since the captured (ST8) images are sequentially displayed on the screen of the display device 12 (ST9), the operator makes a pass / fail judgment (ST10) and moves the target to the next inspection position (AB flow cycle). ). When the inspection of all the inspection areas is completed (ST11), the specimen is discharged (ST12), and the inspection is completed. If necessary in this flow, the determination result data can be stored in the memory 9, printed out by the output device 11, or transmitted to another computer or the like.
[0055]
Next, an example of a printed wiring board electronic component mounting / manufacturing process in which a semi-finished product is completed by repairing and correcting a portion determined as a final defect while performing visual visual inspection according to the fourth embodiment will be described. FIG. 17 shows a production line for soldering electronic components to a printed wiring board. When the printed wiring board is carried into the solder printing machine 21 at the left end, cream solder is applied by screen printing, carried into the chip mounting machine 22 by a belt conveyor, and chip components are mounted thereon. And the odd-shaped parts are mounted. When all the planned components have been mounted, the components are carried into the reflow furnace 24, where the cream solder is melted and the soldering is completed. Next, the soldered printed wiring board is sent to the automatic inspection device 25 of the third or fourth embodiment according to the present invention, and the presence or absence of electronic components and the quality of soldering are inspected. In the case of the third embodiment inspection device, the printed wiring board that has been subjected to the automatic inspection by the automatic inspection device 25 is sent to the fourth embodiment inspection device according to the present invention by a belt conveyor, and at the same time, the automatic inspection result data is also sent. It is transmitted to the inspection device according to the present invention through the communication line. In the case of the inspection apparatus of the fourth embodiment, the re-inspection step as described in the fourth embodiment is started. Therefore, the operator visually inspects the displayed image again, and immediately repairs and corrects a defective portion of the semi-finished printed wiring board on the spot. FIG. 16 shows that the inspection apparatus includes a repair table 16, and when the visual inspection is performed and the image is determined to be defective, the inspection target 1 is drawn out to the repair table 16, where the repair target 15 is repaired or corrected. The operation steps in that case are as shown in the flowchart of FIG. 18. Each time the operator determines a defect by visual inspection of the image (ST6), the operator repairs and repairs the location (ST7), and stores the target in the XY table again. When returned, the reinspection target 1 is positioned at the next reinspection position as described above, and the next reinspection location is displayed as an image.
[0056]
In this way, the mounted printed wiring board subjected to the re-inspection and the repair and correction so that the component mounting state of all parts becomes perfect is finished as a product and is shipped as a finished product. Inspection and repair are inseparable, and are an integral part of the manufacturing process. In the description, an example in which the automatic inspection apparatus and the inspection apparatus according to the present invention are connected by a belt conveyor has been described, but when the inspection apparatuses are separated from each other due to the necessity of the site, the printed wiring board is stored in the stocker. However, the automatic inspection result data may be transmitted to the input unit 10 by a communication method or a floppy disk. Further, the repair table 16 in FIG. 10 may be configured so that the XY table 2 is also used and fulfills its function.
[0057]
【The invention's effect】
According to the first aspect of the present invention, in the conventional three-dimensional measuring apparatus, since the object, the light projecting means, and the imaging means are fixed in a fixed geometric optical arrangement, once the hardware of the apparatus is determined, The fate was that it was not possible to execute the measurement by changing to the appropriate three-dimensional measurement method according to the purpose and the characteristics of the object, but using the image display device as the light emitting device and the optimal light emitting pattern as software The command allows the user to freely draw on the screen and perform active three-dimensional information sensing, so that various types of measurement for different purposes can be applied to objects having various surface characteristics.
[0058]
Also,In each phaseDifferent patternsThe tableIn order to have a function of imaging and projecting an object in synchronism with this, when those image data are memorized and measured and calculated, sufficient three-dimensional measurement can be performed by the minimum number of times of imaging. .
FurtherSince the pattern light for zenith angle component vector measurement and the pattern light for azimuth angle component vector measurement are projected at different phases and imaged, the image data of both phases are stored and the three-dimensional shape measurement calculation is performed. Thus, the surface normal vector of the object can be calculated in the shortest time.
[0059]
Claim2According to the invention described in (1), the light projecting means is:TargetDisplays a pattern drawn on the screen by a center projection method or other projection method on a latitude line or longitude line on the surface of a Gaussian sphere, or an area on latitude or longitude, which is virtually located on the spatial coordinates with the origin as the origin. Since it is used as a light source, accurate three-dimensional measurement has been realized.
[0060]
ContractRequest3According to the invention described in (1), quality judgmentDetermination means for performingTherefore, the quality of the object can be determined using the measured three-dimensional shape data of the object.
[0061]
ContractRequest4According to the invention described in (1), the identification data (ID data) of the object determined to be defective in the automatic inspection phase is stored, and after the automatic inspection of the object is completed using the identification data, the automatic inspection failure determination target is imaged. Thus, the image can be displayed and provided for visual reexamination.
[0062]
Claims 5 and 6According to the invention, a semi-finished product flowing through a line is inspected, and as a result, a portion determined to be defective is repaired and corrected to obtain a finished product.
As described above, according to the present invention, when performing the active sensing method in the three-dimensional shape measuring apparatus, the measurement color in which the generation of the luminous flux projected on the measurement target is depicted on the screen of the color image display device This method was realized by the pattern, and as seen in the application example of the surface angle sensing method in particular, the method that was conventionally inferior in practical use due to the extremely large number of measurements was required. The original information was obtained, and a great effect of being sufficiently within the practical range was produced. Along with this basic technology, it is possible to realize measurement in a shorter time than the conventional method even by displaying and projecting a white pattern for measurement, and also to perform imaging inspection for visual inspection that realizes white area display for obtaining images that are convenient for visual inspection. The device can also be realized. Furthermore, since an automatic inspection device that applies this basic measurement technology can be realized, repair and repair of defective parts can be performed immediately while inspecting semi-finished products, and the inspection and repair correction process can be incorporated into the manufacturing process. The systemization of an integrated manufacturing method for finishing finished products has the effects of increasing reliability, saving labor, and reducing costs.
[Brief description of the drawings]
FIG. 1 is a diagram showing a shape measuring apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an arrangement example of a measurement target, a light projecting unit, and an imaging device of the shape measuring apparatus of the embodiment.
FIG. 3 is a diagram showing another arrangement example of the measurement target, the light projecting unit, and the imaging device of the shape measuring apparatus of the embodiment.
FIG. 4 is a diagram showing another arrangement example of the measurement target, the light projecting unit, and the imaging device of the shape measuring apparatus of the embodiment.
FIG. 5 is a surface angle sensing color pattern drawn on a light emitting unit screen of the shape measuring apparatus of the embodiment.
FIG. 6 is a surface angle sensing color pattern drawn on a light emitting unit screen of the shape measuring apparatus of the embodiment.
FIG. 7 is a diagram illustrating a method for numerically delineating a surface angle sensing pattern displayed on the light emitting unit screen.
FIG. 8 is a flowchart for explaining a measurement process in the embodiment shape measurement apparatus.
FIG. 9 is a time-division single-color pattern for surface angle sensing drawn on a light-emitting unit screen of a shape measuring apparatus according to another embodiment of the present invention.
FIG. 10 is a time-division single-color pattern for surface angle sensing drawn on a light emitting unit screen of a shape measuring apparatus according to another embodiment of the present invention.
FIG. 11 is a flowchart illustrating a measurement process in the shape measuring apparatus according to the embodiment.
FIG. 12 is a view showing a product inspection apparatus according to another embodiment of the present invention.
FIG. 13 is a flowchart for explaining the operation of the inspection apparatus according to another embodiment of the present invention.
FIG. 14 is a flowchart for explaining the operation of the inspection apparatus according to still another embodiment of the present invention.
FIG. 15 is a flowchart, together with FIG. 14, for explaining the operation of the inspection apparatus of the embodiment.
FIG. 16 is a view showing an inspection apparatus according to another embodiment of the present invention.
FIG. 17 is a diagram illustrating a processing method in a step of soldering an electronic component to a printed wiring board.
FIG. 18 is a flowchart for explaining the operation of the inspection apparatus of the embodiment.
FIG. 19 is a view showing an inspection apparatus according to still another embodiment of the present invention.
FIG. 20 is a flowchart for explaining the operation of the inspection apparatus of the embodiment.
FIG. 21 is a reference example of a simple and low-accuracy surface angle sensing color pattern drawn on a light emitting unit screen of the measuring apparatus of the embodiment.
FIG. 22 is a reference example of a simple and low-accuracy surface angle sensing color pattern drawn on the light emitting unit screen of the measuring apparatus of the embodiment.
FIG. 23 is a diagram illustrating geometrical optical spatial coordinates of a measurement target, a light projecting device, and an imaging device, and numerical representations thereof.
FIG. 24 is a view for explaining a light source arrangement of a light projecting device in a conventional surface angle sensing method.
[Explanation of symbols]
1 Measurement target
2 XY stage
3 Floodlight device
4 color camera
11 Input unit

Claims (6)

鏡面対象の表面角度を計測する三次元形状計測装置であって、
カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、
この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、
画像信号を貯蔵するメモリ手段と、
貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、
を備えて成ることを特徴とする形状計測装置。A three-dimensional shape measuring device that measures a surface angle of a mirror-finished object,
A color image display device, in the first phase, displays the surface normal vector zenith angle component sensing pattern to illuminate the target, and in the second phase, displays the surface normal vector azimuth angle component sensing pattern. Light emitting means for illuminating the object;
The light projecting means is installed in a geometric optical spatial positional relationship that enables three-dimensional shape measurement with respect to the object, images the object in synchronization with the two-phase illumination, and obtains images in each phase. Imaging means for outputting two sets of image signals;
Memory means for storing image signals;
Calculating means for calculating a normal vector of each surface element of the target surface by combining the two sets of stored image signals to calculate a three-dimensional shape of the target;
A shape measuring device comprising: 前記投光手段は、対象を原点とする幾何光学的空間座標に位置付けた仮想ガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを中心射影法あるいはその他の球体投影法に基づいて、前記投光手段画面上に描出することによって対象の表面法線ベクトルセンシング・パタンとしたことを特徴とする請求項１記載の形状計測装置。The light projecting means is a central projection method or another spherical projection method on a latitude line or a longitude line or an area on a latitude or a longitude on a surface of a virtual Gaussian sphere positioned at a geometric optical space coordinate having an object as an origin. 2. The shape measuring apparatus according to claim 1, wherein the surface normal vector sensing pattern of the target is drawn by drawing on the screen of the light emitting means based on the following. 三次元形状計測方法採用の鏡面対象検査装置であって、
カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、
この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、
画像信号を貯蔵するメモリ手段と、
貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、
演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、
を備えたものであることを特徴とする検査装置。A mirror surface inspection apparatus employing a three-dimensional shape measurement method,
A color image display device, in the first phase, displays the surface normal vector zenith angle component sensing pattern to illuminate the target, and in the second phase, displays the surface normal vector azimuth angle component sensing pattern. Light emitting means for illuminating the object;
The light projecting means is installed in a geometric optical spatial positional relationship that enables three-dimensional shape measurement with respect to the object, images the object in synchronization with the two-phase illumination, and obtains images in each phase. Imaging means for outputting two sets of image signals;
Memory means for storing image signals;
Calculating means for calculating a normal vector of each surface element of the target surface by combining the two sets of stored image signals to calculate a three-dimensional shape of the target;
Determining means for determining the quality of the target using the three-dimensional measurement calculation data of the calculation means,
An inspection apparatus characterized by comprising: 三次元形状計測方法採用の鏡面対象検査装置であって、
カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、
この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、
画像信号を貯蔵するメモリ手段と、
貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、
演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、
第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、
第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段と、
を備えたものであることを特徴とする検査装置。A mirror surface inspection apparatus employing a three-dimensional shape measurement method,
A color image display device that illuminates the target by displaying the surface normal vector zenith angle component sensing pattern in the first measurement phase, and displays the surface normal vector azimuth angle component sensing pattern in the second measurement phase Lighting means for illuminating the object by
The light projecting means is installed in a geometric optical spatial positional relationship that enables three-dimensional shape measurement with respect to the object, images the object in synchronization with the illumination in the two measurement phases, and obtains an image in each measurement phase. Imaging means for outputting the obtained two sets of image signals;
Memory means for storing image signals;
Calculating means for calculating a normal vector of each surface element of the target surface by combining the two sets of stored image signals to calculate a three-dimensional shape of the target;
Determining means for determining the quality of the target using the three-dimensional measurement calculation data of the calculation means,
Storage means for storing data (ID data) for identifying an object automatically inspected in the first inspection phase and determined to be defective;
In the second inspection phase, selected using the identification data, the light projecting unit displays a white area to illuminate the object with white, and the image of the defect determination target captured by the imaging unit is subjected to visual reexamination of the defect determination. Display means for displaying
An inspection apparatus characterized by comprising: 鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、
三次元形状計測装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段とを備える検査装置を設置し、
この検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の修理修正を行い、半製品を完成することを特徴とする製品製造方法。A method of manufacturing a finished product from a semi-finished product by inspecting the shape of a mirror surface object and performing repair and repair on the object determined to be defective, in a product manufacturing line,
A three-dimensional shape measurement device, which is a color image display device, displays a surface normal vector zenith angle component sensing pattern in the first phase to illuminate the object, and in the second phase, the surface normal vector direction Floodlight means for displaying an angle component sensing pattern to illuminate an object, and the light projecting means are installed in a geometric optical spatial positional relationship that enables three-dimensional shape measurement for the object, and An image pickup unit that picks up an image in synchronization with two-phase illumination and outputs two sets of image signals obtained in each phase, a memory unit that stores the image signals, and a combination of the two sets of stored image signals. Calculates the normal vector of each surface element of the target surface, and installs an inspection device including calculation means for calculating a three-dimensional shape of the target,
A method of manufacturing a product, comprising: determining whether the quality of a semi-finished product is good or not, repairing and correcting a portion determined to be defective by the inspection device, and completing the semi-finished product. 鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、
三次元形状計測方法採用の検査装置であって、カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段とを備えた検査装置を設置し、 この検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の品質の修理修正を行い、半製品を完成することを特徴とする製品製造方法。A method of manufacturing a finished product from a semi-finished product by inspecting the shape of a mirror surface object and performing repair and repair on the object determined to be defective, in a product manufacturing line,
An inspection device employing a three-dimensional shape measurement method, which is a color image display device, displays a surface normal vector zenith angle component sensing pattern in the first measurement phase to illuminate the target, and in the second measurement phase Is a light projecting means that displays the surface normal vector azimuth angle component sensing pattern to illuminate the object, and the light projecting means has a geometric optical spatial relationship that enables three-dimensional shape measurement to the object. An imaging unit that is installed and captures an object in synchronization with the illumination of the two measurement phases, respectively, and outputs two sets of image signals obtained in each measurement phase; a memory unit that stores the image signals; A calculating means for calculating a normal vector of each surface element of the target surface by combining two sets of image signals to calculate a three-dimensional shape of the target, and determining quality of the target using the three-dimensional measurement calculation data of the calculating means. line Determination means, storage means for storing data (ID data) for identifying an object which has been automatically inspected in the first inspection phase and has been determined to be defective, and light emitting means which is selected using the identification data in the second inspection phase Is provided with display means for displaying a white area to illuminate the object in white and displaying the image of the defect determination target imaged by the imaging means for the purpose of visual inspection of the defect determination. A method for producing a product, wherein the quality of a semi-finished product is determined by an apparatus, the quality of a portion determined to be defective is repaired, and a semi-finished product is completed.
JP19560494A 1994-08-19 1994-08-19 Shape measuring device, inspection device, and product manufacturing method Expired - Fee Related JP3553652B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19560494A JP3553652B2 (en) 1994-08-19 1994-08-19 Shape measuring device, inspection device, and product manufacturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19560494A JP3553652B2 (en) 1994-08-19 1994-08-19 Shape measuring device, inspection device, and product manufacturing method

Publications (2)

Publication Number Publication Date
JPH0861930A JPH0861930A (en) 1996-03-08
JP3553652B2 true JP3553652B2 (en) 2004-08-11

Family

ID=16343927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19560494A Expired - Fee Related JP3553652B2 (en) 1994-08-19 1994-08-19 Shape measuring device, inspection device, and product manufacturing method

Country Status (1)

Country Link
JP (1) JP3553652B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214914A (en) * 2005-02-04 2006-08-17 Asahi Glass Co Ltd Mirror surface profile measuring method, system, inspection method, and device for measuring mirror face shape
US8334985B2 (en) 2010-10-08 2012-12-18 Omron Corporation Shape measuring apparatus and shape measuring method
DE112010001574B4 (en) * 2009-04-10 2017-02-02 Omron Corp. Measuring device and observation device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154613B2 (en) * 2004-03-15 2006-12-26 Northrop Grumman Corporation Color coded light for automated shape measurement using photogrammetry
US7589844B2 (en) 2005-07-15 2009-09-15 Asahi Glass Company, Limited Shape inspection method and apparatus
JP4808072B2 (en) * 2006-05-19 2011-11-02 シーケーディ株式会社 Filter checkered plate, three-dimensional measuring device and illumination means
US7910938B2 (en) 2006-09-01 2011-03-22 Cree, Inc. Encapsulant profile for light emitting diodes
CN107449360A (en) * 2017-06-27 2017-12-08 无锡贺邦汽车配件有限公司 A kind of Size Measuring System for die casing for automobile
CN108692677B (en) * 2018-04-11 2020-03-13 四川大学 Surface three-dimensional reconstruction method and system based on reflected light field polarization and space-time coding

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214914A (en) * 2005-02-04 2006-08-17 Asahi Glass Co Ltd Mirror surface profile measuring method, system, inspection method, and device for measuring mirror face shape
JP4613626B2 (en) * 2005-02-04 2011-01-19 旭硝子株式会社 Mirror surface shape measuring method and apparatus, and inspection method and apparatus
DE112010001574B4 (en) * 2009-04-10 2017-02-02 Omron Corp. Measuring device and observation device
US8334985B2 (en) 2010-10-08 2012-12-18 Omron Corporation Shape measuring apparatus and shape measuring method
JP2013543591A (en) * 2010-10-08 2013-12-05 オムロン株式会社 Shape measuring apparatus and shape measuring method

Also Published As

Publication number Publication date
JPH0861930A (en) 1996-03-08

Similar Documents

Publication Publication Date Title
EP2800946B1 (en) Arrangement for optical measurements and related method
US5825495A (en) Bright field illumination system
JP5922572B2 (en) Practical 3D vision system apparatus and method
JP5095644B2 (en) Image measuring apparatus and computer program
CN101506614A (en) Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
JP2013064644A (en) Shape-measuring device, shape-measuring method, system for manufacturing structures, and method for manufacturing structures
EP1459035B1 (en) Method for determining corresponding points in stereoscopic three-dimensional measurements
JP3553652B2 (en) Shape measuring device, inspection device, and product manufacturing method
JP2007322162A (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
JP2018522240A (en) Method for measuring artifacts
US6304680B1 (en) High resolution, high accuracy process monitoring system
JP2000205826A (en) Method and device for image processing
JPH1054709A (en) Three-dimensional image recognizing device with microscope
JPH11257930A (en) Three-dimensional shape measuring apparatus
JP4284765B2 (en) Robot hand position measuring device
JPH0864999A (en) Inspecting apparatus, measuring method for three-dimensional shape, and manufacture of product
JP2002221411A (en) Method for securing measurement accuracy of non- contact type device for measuring three-dimensional shape
JPH07306023A (en) Shape measuring instrument, inspection device, and product manufacturing method
KR20170124509A (en) Inspection system and inspection method
JPH1073419A (en) Device for inspecting erroneous and missing parts mounted externally on engine
JP5531071B2 (en) Image measuring apparatus and computer program
JP2003504607A (en) Apparatus and method for three-dimensional inspection of electronic components
JP2913370B2 (en) Optical position measurement method
JP4741943B2 (en) Inspection apparatus and inspection method
JPH06307812A (en) Method and device for measuring three-dimensional position on curved surface

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees