JP4811272B2 - 3次元計測を行う画像処理装置および画像処理方法 - Google Patents
3次元計測を行う画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4811272B2 JP4811272B2 JP2006541746A JP2006541746A JP4811272B2 JP 4811272 B2 JP4811272 B2 JP 4811272B2 JP 2006541746 A JP2006541746 A JP 2006541746A JP 2006541746 A JP2006541746 A JP 2006541746A JP 4811272 B2 JP4811272 B2 JP 4811272B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- view
- camera
- height
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 202
- 238000012545 processing Methods 0.000 title claims description 160
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 19
- 208000004350 Strabismus Diseases 0.000 claims description 5
- 238000000034 method Methods 0.000 description 117
- 238000007689 inspection Methods 0.000 description 84
- 230000008569 process Effects 0.000 description 64
- 238000001514 detection method Methods 0.000 description 58
- 238000003384 imaging method Methods 0.000 description 33
- 239000011159 matrix material Substances 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 3
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 3
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 108090000237 interleukin-24 Proteins 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 101000713099 Homo sapiens C-C motif chemokine 20 Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
この明細書でいう「計測」には、検査を目的とする計測を含む。すなわち、一般に、検査の過程で何らかの計測が行われることを踏まえ、単に「計測」という場合には、最終的な出力がたとえば検査の合否だけであって計測値が出力されない場合を含むものとする。
また、ユーザによる操作に基づきスケール情報が正しく調整されると、第1の画像に対して寸法や面積の計測を伴う種々の2次元画像処理を適用したときに、その結果に含まれる誤差が少なくなる。
また、ユーザによる操作に基づきスケール情報が正しく調整されると、第1の画像に対して寸法や面積の計測を伴う種々の2次元画像処理を適用したときに、その結果に含まれる誤差が少なくなる。
この検査装置は、3次元および2次元の双方の計測処理機能を有するもので、工場の検査ラインLを搬送される検査対象物W(以下、「ワークW」という。)を、撮像部1により順に撮像して、種々の検査目的に応じた計測処理や判別処理を実行する。
撮像部1は、筐体15内に2台のカメラC0,C1を組み込んだ構成のもので、検査ラインLの上方に設置される。一方のカメラC0は、その光軸を鉛直方向に向けた状態(ワークWに対して正面視の状態)で設置される。他方のカメラC1は、カメラC0と視野が重なるようにして、光軸を傾斜させた状態で設置される。カメラC0およびカメラC1の視野の範囲を規定する撮像面は矩形であり、カメラC1はカメラC0に対して、カメラC0の視野の範囲の横方向(図2の画像A0のx軸方向に対応する。)に沿って並ぶように配置されている。
図3には示していないが、演算処理部20には、検査に必要な情報(検査領域の設定条件やモデルの画像など)を登録するためのメモリも設けられる。この登録用メモリへの登録処理や、演算処理部20の各処理部が実行する処理の設定または変更は、適宜、コンソール4の操作に応じて行うことができる。
表示制御部25は、モニタ3の表示動作を制御するためのもので、画像入力部10,11で生成された正面視画像A0,斜視画像A1を一画面内に並列表示させることができる。さらに、適宜、画像処理部22、計測処理部23、判定部24の処理結果を受け取って、画像とともに表示させることができる。
さらに、パラメータ記憶部27には、後記する演算式(1)のホモグラフィ行列を構成するパラメータも登録される。
この手順の最初のステップであるST11では、検査対象のワークW(この例ではIC)について、リード6の長さやリード6間のピッチなどを入力する。ここで入力されたデータは、作業用のメモリに登録され、後記するST15で使用される。
この位置決め領域9は、一列に並んだリード6のうちの一番端のリード(図示例では最上端のリード6aである。以下、これを「先頭リード6a」という。)を抽出するのに用いられる。図7の例では、先頭リード6aのみが含まれるような正方形状の領域9を設定している。位置決め領域9は、ワークWが想定される程度に位置ずれしても、位置決め領域9の中に先頭リード6aを撮像することができるように、その大きさが調整される。また、位置決め領域9は、その下半分の範囲に先頭リード6aが撮像されるように設定される。これにより、位置決め領域9の上半分の範囲にはリードが撮像されていないことをもって、位置決め領域9の下半分の範囲に撮像されているのが先頭リード6aであると確認できる。
この手順のST21からST24までの処理は、計測対象の対象物を撮影した画像である正面視画像A0に対して行われるものである。まず、ST21では、ティーチングで登録された設定条件に基づき、正面視画像A0に位置決め領域9を設定する。つぎのST22では、この位置決め領域9内の画像とティーチング処理のST17において登録したモデルとを照合して、モデルに対するずれ量を抽出する(この処理には、たとえばパターンマッチングの手法を応用することができる。)。
この例では、位置ずれしたワークWに合わせて検出領域7の画像内での位置(画像の枠に対する位置)を調整したが、これに代えて、ワークWに位置ずれがあってもワークWが常に画像の枠に対して一定の位置関係になるように画像の内容全体を移動させ、検出領域7は常に画像の枠に対して一定の位置に設定するようにしてもよい。
ST21からST24までの一連の処理は、第1のカメラが計測対象の対象物を撮影した画像に基づいて得られた正面視画像であるところの第1の画像に対し、設定に基づいて指定領域を定め、当該指定領域内において対象物上の位置を特定すること(より一般的にいうと、設定に基づいて対象物上の位置を特定すること)に相当する。また、リード検査処理のための手順を実行するように組み合わせられたプログラムが動作する演算処理部20が、この一連の処理を実行する位置特定手段として働く。
さらに、ST28では、算出された3次元座標をあらかじめ登録された基準値と比較するなどして、各リード先端部の良否を判別する。たとえば、いずれかのリードの先端部に浮きがあれば、その先端部の高さを表すZ座標が基準値を超える値となり、そのリードは不良であると判定されることになる。
図10は、空間内の任意の高さ位置にある平面D上の一点PがカメラC0,C1の撮像面F0,F1上の点p0,p1にそれぞれ結像した状態を示している。図10において、X,Y,Zは3次元空間を表す座標軸であり、平面Dは、XY平面に平行である。また撮像面F0には、x0,y0の軸による2次元座標系が、撮像面F1には、x1,y1の軸による2次元座標系が、それぞれ設定されている。図10では、たまたま、両撮像面の原点に結像される平面D上の点がPとされているが、これに限らず、点Pの位置は平面D上で任意である。
ST34では、代表点の座標に基づき、斜視画像A1上にサーチ領域を設定する。この場合にも、前述のリード検査で検出領域8を設定した場合と同様に、あらかじめ指定された高さ範囲の上限値および下限値を高さZとしてホモグラフィー行列HZを設定し、代表点の座標と高さ範囲の上限値および下限値を用いて2回の演算を実行することにより、画像A1上で代表点の存在し得る範囲を求め、その範囲にモデルの大きさを加味した領域をサーチ領域としている。
図16は、各カメラC0,C1により生成されたワークWの画像A0,A1を示す。図中、Sが検査対象である文字の表示(印刷)領域である。正面視画像A0では、ワークWの正面像が現れているため、表示領域Sの輪郭線72も円形状になっている。これに対し、斜視画像A1では、表示領域Sの輪郭線72の形状、表示領域S内の文字の配置状態などが歪んでいる。
ST41では、各カメラC0,C1を同時駆動して、正面視画像A0および斜視画像A1を生成する。ST42では、正面視画像A0から上記の処理により、表示領域Sの中心点74の位置を求める。
さらに、図18に示した検査の手順によれば、検査対象のワークWごとにそのワークWからサーチ用のモデル画像を取得するので、3次元計測の対象とする文字などの表面パターンがワークWごとに異なる場合でも、同一の手順を適用して3次元計測を行うことができる。ここでは、表面パターンはワークWごとに異なるかもしれないが、ワークWの形状とワークWの形状を基準とした計測対象領域の位置はどのワークWにおいても共通であることを利用して計測対象領域を設定している。
さらに、図18の手順にも、正面視画像A0を用いて表示領域S内の文字の印刷状態を検査する処理を組み込むことができる。
この例では、キャリブレーションワーク75として、上面に複数の円形のパターン76を等間隔に配置した構成の平面状のワークを使用している。
仮想結像倍率は、仮想カメラC2の焦点距離が変更されたと仮定して、正面視変換演算のパラメータを調整することによっても変更可能であるが、ここでは、仮想カメラC2の焦点距離は固定であるとする。
正面視高さを指定すれば、それに対応する仮想結像倍率を計算で求めることができる。仮想結像倍率がわかれば、その正面視高さにある計測対象箇所についての寸法計測を、正面視変換画像を用いて正しく行うことができる。
この寸法計測および仮想結像倍率の前提となる正面視高さをスケール基準高さとよぶ。すなわち、スケール基準高さとは、正面視変換画像における寸法から計測対象箇所の実際の寸法を求めるときに前提とされる計測対象箇所の正面視高さであるということができる。
変換処理により得られた正面視変換画像は設定用画像として利用される。
まず、ST61では、ワーク検出用のセンサからの検知信号に応じてカメラC0およびC1でワーク(計測対象の対象物)Wを撮影する。ST62では、カメラC0で撮影された斜視画像を正面視画像に変換することにより、第1の画像を得る。ST63では、第1の画像上で3次元計測の対象とする位置を特定する。この位置特定の手法の例は、先にカメラC0が正面視配置の場合の各種検査について説明したのと同様である。ST64では、カメラC1で撮影された第2の画像上で、第1の画像上の先に特定された位置に対応する位置を特定する。
(A) 第1のカメラが対象物を撮影した画像に基づいて得られる正面視画像である第1の画像と、第1のカメラが撮影する方向とは異なる方向から対象物を撮影するように配置された第2のカメラが撮影した画像に基づく第2の画像とを用いた処理を行う画像処理装置であって、
第1のカメラが設定用の対象物を撮影した画像に基づいて得られた正面視画像であるところの設定用画像を用いて、ユーザに計測対象位置についての設定をさせる設定手段と、
第1のカメラが計測対象の対象物を撮影した画像に基づいて得られた正面視画像であるところの第1の画像に対し、前記設定に基づいて対象物上の位置を特定する位置特定手段と、
第1の画像において特定された前記位置に対応する、第2の画像における位置を特定し、特定された第1の画像上の位置と第2の画像上の位置とを用いて3次元座標を算出する3次元計測手段とを備え、
正面視画像における寸法と計測対象箇所の実際の寸法とを関係付けるスケール情報およびスケール情報と整合する正面視高さであるスケール基準高さが利用可能とされており、
さらに、第1の画像を対象に、スケール情報を用いて2次元画像処理を行う2次元画像処理手段と、
を備えた画像処理装置。
前記3次元計測手段により算出された前記3次元座標が示す正面視高さが前記許容範囲に含まれているかどうかを判定する判定手段をさらに備えた(A)の画像処理装置。
また、計測対象箇所の正面視高さをスケール基準高さとして、スケール情報をスケール基準高さから算出するようにすれば、対象物の種類が変更されて計測対象箇所の高さが変わるような場合にも、スケール情報を容易に設定することができる。スケール情報を定めるための正面視高さは、ユーザが指定したものでも画像処理装置自身が計測したものでもよい。
また、ユーザによる操作に基づきスケール情報が正しく調整されると、第1の画像に対して寸法や面積の計測を伴う種々の2次元画像処理を適用したときに、その結果に含まれる誤差が少なくなる。
Claims (13)
- 第1のカメラが対象物を撮影した画像に基づいて得られる正面視画像である第1の画像と、第1のカメラが撮影する方向とは異なる方向から対象物を撮影するように配置された第2のカメラが撮影した画像に基づく第2の画像とを用いた処理を行う画像処理装置であって、
第1のカメラが設定用の対象物を撮影した画像に基づいて得られた正面視画像であるところの設定用画像を用いて、ユーザに指定領域についての設定をさせる設定手段と、
第1のカメラが計測対象の対象物を撮影した画像に基づいて得られた正面視画像であるところの第1の画像に対し、前記設定に基づいて指定領域を定め、当該指定領域内において対象物上の位置を特定する位置特定手段と、
第1の画像において特定された前記位置に対応する、第2の画像における位置を特定し、特定された第1の画像上の位置と第2の画像上の位置とを用いて3次元座標を算出する3次元計測手段と、
を備えた画像処理装置。 - 対象物を斜視する方向から撮影するように配置されている第1のカメラが撮影した斜視画像を正面視画像に変換する変換演算を行う変換手段をさらに備え、
前記設定用画像は、第1のカメラが設定用の対象物を斜視する方向から撮影した画像を前記変換手段が変換することにより得られたものであり、
第1の画像は、第1のカメラが計測対象の対象物を斜視する方向から撮影した画像を前記変換手段が変換することにより得られたものである、請求項1に記載の画像処理装置。 - 前記変換手段により変換された正面視画像における寸法と計測対象箇所の実際の寸法とを関係付けるスケール情報と、スケール情報と整合する正面視高さであるスケール基準高さの値と、スケール基準高さを含むように定められた正面視高さの許容範囲の値とが利用可能とされており、
第1の画像を対象に、スケール情報を用いて2次元画像処理を行う2次元画像処理手段と、
前記3次元計測手段により算出された前記3次元座標が示す正面視高さが前記許容範囲に含まれているかどうかを判定する判定手段とをさらに備えた請求項2に記載の画像処理装置。 - 前記3次元計測手段により算出された前記3次元座標が示す正面視高さを用いて、変換手段により変換された正面視画像における寸法と計測対象箇所の実際の寸法とを関係付けるスケール情報を算出するスケール情報算出手段と、
第1の画像を対象に、スケール情報を用いて2次元画像処理を行う2次元画像処理手段とをさらに備えた、請求項2に記載の画像処理装置。 - 前記変換手段により変換された正面視画像における寸法と計測対象箇所の実際の寸法とを関係付けるスケール情報と、スケール情報と整合する正面視高さであるスケール基準高さの値とが利用可能とされており、
ユーザによる操作に基づきスケール基準高さおよびスケール情報を整合的に変更する調整手段をさらに備えた、請求項2に記載の画像処理装置。 - 第1の画像に対してスケール基準高さにある平面上における実際の寸法を示すスケール図形を加えた表示用の画像を編集する画像編集手段をさらに備えた、請求項5に記載の画像処理装置。
- 第1のカメラが対象物を斜視する方向から撮影した画像に基づいて得られる正面視画像である第1の画像と、第1のカメラが撮影する方向とは異なる方向から対象物を撮影するように配置された第2のカメラが撮影した画像に基づく第2の画像とを用いた処理を行う画像処理装置であって、
対象物を斜視する方向から撮影するように配置されている第1のカメラが撮影した斜視画像を正面視画像に変換する変換演算を行う変換手段と、
第1のカメラが設定用の対象物を撮影した画像を前記変換手段が変換することにより得られた設定用画像を用いて、ユーザに計測対象位置についての設定をさせる設定手段と、
第1のカメラが計測対象の対象物を撮影した画像を前記変換手段が変換することにより得られた第1の画像上において、前記設定に基づいて対象物上の位置を特定する位置特定手段と、
第1の画像において特定された前記位置に対応する、第2の画像における位置を特定し、特定された第1の画像上の位置と第2の画像上の位置とを用いて3次元座標を算出する3次元計測手段と、
を備えた画像処理装置。 - 前記変換手段により変換された正面視画像における寸法と計測対象箇所の実際の寸法とを関係付けるスケール情報と、スケール情報と整合する正面視高さであるスケール基準高さの値と、スケール基準高さを含むように定められた正面視高さの許容範囲の値とが利用可能とされており、
第1の画像を対象に、スケール情報を用いて2次元画像処理を行う2次元画像処理手段と、
前記3次元計測手段により算出された前記3次元座標が示す正面視高さが前記許容範囲に含まれているかどうかを判定する判定手段とを、さらに備えた請求項7に記載の画像処理装置。 - 前記3次元計測手段により算出された前記3次元座標が示す正面視高さを用いて、変換手段により変換された正面視画像における寸法と計測対象箇所の実際の寸法とを関係付けるスケール情報を算出するスケール情報算出手段と、
第1の画像を対象に、スケール情報を用いて2次元画像処理を行う2次元画像処理手段とをさらに備えた、請求項7に記載の画像処理装置。 - 前記変換手段により変換された正面視画像における寸法と計測対象箇所の実際の寸法とを関係付けるスケール情報と、スケール情報と整合する正面視高さであるスケール基準高さの値とが利用可能とされており、
ユーザによる操作に基づきスケール基準高さおよびスケール情報を整合的に変更する調整手段をさらに備えた、請求項7に記載の画像処理装置。 - 第1の画像に対してスケール基準高さにある平面上における実際の寸法を示すスケール図形を加えた表示用の画像を編集する画像編集手段をさらに備えた、請求項10に記載の画像処理装置。
- 第1のカメラが対象物を撮影した画像に基づいて得られる正面視画像である第1の画像と、第1のカメラが撮影する方向とは異なる方向から対象物を撮影するように配置された第2のカメラが撮影した画像に基づく第2の画像とを用いた処理を行う画像処理方法であって、
第1のカメラが設定用の対象物を撮影した画像に基づいて得られた正面視画像であるところの設定用画像を表示し、ユーザに当該設定用画像を用いて指定領域についての設定をさせる設定ステップと、
第1のカメラが計測対象の対象物を撮影した画像に基づいて得られた正面視画像であるところの第1の画像に対し、前記設定に基づいて指定領域を定め、当該指定領域内において対象物上の位置を特定する位置特定ステップと、
第1の画像において特定された前記位置に対応する、第2の画像における位置を特定し、特定された第1の画像上の位置と第2の画像上の位置とを用いて3次元座標を算出する3次元計測ステップと、
を備えた画像処理方法。 - 対象物を斜視する方向から撮影するように配置されている第1のカメラが対象物を撮影した画像に基づいて得られる正面視画像である第1の画像と、第1のカメラが撮影する方向とは異なる方向から対象物を撮影するように配置された第2のカメラが撮影した画像に基づく第2の画像とを用いた処理を行う画像処理方法であって、
第1のカメラが撮影した斜視画像を正面視画像に変換する変換演算により、第1のカメラが設定用の対象物を撮影した画像を設定用画像に変換し、ユーザに当該設定用画像を用いて計測対象位置についての設定をさせる設定ステップと、
前記変換演算により、第1のカメラが計測対象の対象物を撮影した画像を第1の画像に変換し、第1の画像上において、前記設定に基づき対象物上の位置を特定する位置特定ステップと、
第1の画像において特定された前記位置に対応する、第2の画像における位置を特定し、特定された第1の画像上の位置と第2の画像上の位置とを用いて3次元座標を算出する3次元計測ステップと、
を備えた画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006541746A JP4811272B2 (ja) | 2005-06-17 | 2006-06-16 | 3次元計測を行う画像処理装置および画像処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005177616 | 2005-06-17 | ||
JP2005177616 | 2005-06-17 | ||
JP2006541746A JP4811272B2 (ja) | 2005-06-17 | 2006-06-16 | 3次元計測を行う画像処理装置および画像処理方法 |
PCT/JP2006/312099 WO2006135040A1 (ja) | 2005-06-17 | 2006-06-16 | 3次元計測を行う画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2006135040A1 JPWO2006135040A1 (ja) | 2009-01-08 |
JP4811272B2 true JP4811272B2 (ja) | 2011-11-09 |
Family
ID=37532393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006541746A Active JP4811272B2 (ja) | 2005-06-17 | 2006-06-16 | 3次元計測を行う画像処理装置および画像処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8233041B2 (ja) |
EP (1) | EP1788345B1 (ja) |
JP (1) | JP4811272B2 (ja) |
KR (2) | KR101155816B1 (ja) |
CN (1) | CN100460807C (ja) |
WO (1) | WO2006135040A1 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4774824B2 (ja) * | 2005-06-17 | 2011-09-14 | オムロン株式会社 | 3次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置 |
JP4888013B2 (ja) * | 2006-09-28 | 2012-02-29 | 富士通株式会社 | 高さ制限算出装置、高さ制限算出方法および高さ制限算出プログラム |
WO2008121073A1 (en) * | 2007-04-03 | 2008-10-09 | Hexagon Metrology Ab | Method and device for exact measurement of objects |
JP4492654B2 (ja) * | 2007-08-29 | 2010-06-30 | オムロン株式会社 | 3次元計測方法および3次元計測装置 |
JP4935606B2 (ja) * | 2007-09-28 | 2012-05-23 | オムロン株式会社 | 撮像システム |
KR100941978B1 (ko) * | 2008-02-26 | 2010-02-11 | 울산대학교 산학협력단 | 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원위치정보 측정방법 및 장치 |
CN101960253B (zh) | 2008-02-26 | 2013-05-01 | 株式会社高永科技 | 三维形状测量装置及测量方法 |
WO2009143321A2 (en) * | 2008-05-22 | 2009-11-26 | Matrix Electronic Measuring, L.P. | Stereoscopic measurement system and method |
DE102009040649A1 (de) * | 2008-09-11 | 2010-05-20 | Schott Ag | Verfahren und Vorrichtung zur Erzeugung von digitalen Einzelbildern von scheibenförmigen Elementen in einem Herstellungsprozess |
JP5353154B2 (ja) * | 2008-09-25 | 2013-11-27 | オムロン株式会社 | 画像処理装置およびそれにおける画像処理方法 |
CN101729737B (zh) * | 2008-10-29 | 2012-06-20 | 鸿富锦精密工业(深圳)有限公司 | 影像校正系统及方法 |
JP2010210585A (ja) * | 2009-03-12 | 2010-09-24 | Omron Corp | 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ |
JP5257375B2 (ja) * | 2009-03-13 | 2013-08-07 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN101887030A (zh) * | 2009-05-15 | 2010-11-17 | 圣戈本玻璃法国公司 | 用于检测透明基板表面和/或其内部的缺陷的方法及系统 |
US9533418B2 (en) * | 2009-05-29 | 2017-01-03 | Cognex Corporation | Methods and apparatus for practical 3D vision system |
US8934703B2 (en) * | 2009-10-05 | 2015-01-13 | Kawasaki Jukogyo Kabushiki Kaisha | Determination assist system of ultrasonic testing, determination assist method of ultrasonic testing, determination assist program of ultrasonic testing, and computer-readable storage medium for storing determination assist program of ultrasonic testing |
JP5476943B2 (ja) * | 2009-11-20 | 2014-04-23 | オムロン株式会社 | 姿勢認識方法およびこの方法を用いた3次元視覚センサ |
JP5257335B2 (ja) * | 2009-11-24 | 2013-08-07 | オムロン株式会社 | 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ |
JP5713159B2 (ja) * | 2010-03-24 | 2015-05-07 | 独立行政法人産業技術総合研究所 | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム |
JP5018980B2 (ja) * | 2010-04-08 | 2012-09-05 | カシオ計算機株式会社 | 撮像装置、長さ測定方法、及びプログラム |
JP5365645B2 (ja) * | 2011-01-17 | 2013-12-11 | オムロン株式会社 | 基板検査装置および基板検査システムならびに基板検査結果の確認用画面の表示方法 |
US8799769B2 (en) * | 2011-02-08 | 2014-08-05 | Ebay Inc. | Application above-the-fold rendering measurements |
JP2012187651A (ja) * | 2011-03-09 | 2012-10-04 | Omron Corp | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
KR101340555B1 (ko) * | 2011-09-23 | 2013-12-11 | 광주과학기술원 | 기준 시점 영상 생성 장치 및 방법 |
CN102628693A (zh) * | 2012-04-16 | 2012-08-08 | 中国航空无线电电子研究所 | 一种用于摄像机主轴与激光束进行平行配准的方法 |
CN103196375B (zh) * | 2013-04-03 | 2015-09-30 | 江南大学 | 一种电池正负极耳胶高度的自动检测方法 |
JP6198312B2 (ja) * | 2013-09-30 | 2017-09-20 | Jukiオートメーションシステムズ株式会社 | 3次元測定装置、3次元測定方法および基板の製造方法 |
JP6303867B2 (ja) * | 2014-06-27 | 2018-04-04 | オムロン株式会社 | 基板検査装置及びその制御方法 |
US9885563B2 (en) | 2014-10-10 | 2018-02-06 | Georgia Tech Research Corporation | Dynamic digital fringe projection techniques for measuring warpage |
US10334209B2 (en) * | 2015-12-17 | 2019-06-25 | Nike, Inc. | Image stitching for footwear component processing |
CN107328331B (zh) * | 2017-08-25 | 2023-05-23 | 郑州市质量技术监督检验测试中心 | 基于视觉的分布式钢直尺检定装置及其方法 |
DE102017009153B4 (de) * | 2017-09-29 | 2021-12-09 | Baumer Inspection Gmbh | Anordnung und Verfahren zur Inspektion von bewegten plattenförmigen Objekten |
CN109118480B (zh) * | 2018-07-26 | 2021-01-05 | 北京东软医疗设备有限公司 | 一种调节方法及装置 |
JP7361251B2 (ja) * | 2018-09-28 | 2023-10-16 | パナソニックIpマネジメント株式会社 | 採寸装置及び採寸方法 |
DE102020101191B4 (de) | 2020-01-20 | 2024-07-18 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zum Ermitteln eines Messortes eines Mikroskops |
CN112082481B (zh) * | 2020-09-09 | 2022-04-19 | 易思维(杭州)科技有限公司 | 用于检测螺纹特征的视觉检测系统的精度评价方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1054709A (ja) * | 1996-08-09 | 1998-02-24 | Techno Horon:Kk | 顕微鏡を用いた3次元画像認識装置 |
JPH10148517A (ja) * | 1996-09-17 | 1998-06-02 | Komatsu Ltd | 被検査物の撮像装置および半導体パッケージの検査装置 |
JP2000269700A (ja) * | 1999-03-16 | 2000-09-29 | Matsushita Electric Ind Co Ltd | パターンマッチング認識方法 |
JP2001033236A (ja) * | 1999-07-23 | 2001-02-09 | Mitsubishi Heavy Ind Ltd | ステレオ画像計測装置およびステレオ画像計測方法 |
JP2002063580A (ja) * | 2000-08-22 | 2002-02-28 | Asia Air Survey Co Ltd | 不定形窓を用いた画像間拡張イメージマッチング方法 |
JP2002245438A (ja) * | 2001-02-20 | 2002-08-30 | Shigenori Tanaka | 3次元コンピュータグラフィックス作成支援装置、3次元コンピュータグラフィックス作成支援方法、及び3次元コンピュータグラフィックス作成支援プログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4972494A (en) | 1988-02-26 | 1990-11-20 | R. J. Reynolds Tobacco Company | Package inspection system |
NO178909C (no) * | 1993-04-19 | 1996-06-26 | Toni Rydningen | Måleanordning |
US6064759A (en) * | 1996-11-08 | 2000-05-16 | Buckley; B. Shawn | Computer aided inspection machine |
JPH10143660A (ja) * | 1996-11-11 | 1998-05-29 | Hitachi Ltd | 欠陥判定処理方法およびその装置 |
US6084663A (en) * | 1997-04-07 | 2000-07-04 | Hewlett-Packard Company | Method and an apparatus for inspection of a printed circuit board assembly |
JP3712847B2 (ja) * | 1997-05-20 | 2005-11-02 | 株式会社リコー | 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置 |
US6118540A (en) * | 1997-07-11 | 2000-09-12 | Semiconductor Technologies & Instruments, Inc. | Method and apparatus for inspecting a workpiece |
US5978521A (en) * | 1997-09-25 | 1999-11-02 | Cognex Corporation | Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object |
US6072898A (en) * | 1998-01-16 | 2000-06-06 | Beaty; Elwin M. | Method and apparatus for three dimensional inspection of electronic components |
US6915006B2 (en) * | 1998-01-16 | 2005-07-05 | Elwin M. Beaty | Method and apparatus for three dimensional inspection of electronic components |
JPH11237210A (ja) * | 1998-02-19 | 1999-08-31 | Komatsu Ltd | 半導体パッケージの検査装置 |
JPH11259658A (ja) | 1998-03-11 | 1999-09-24 | Omron Corp | 物体認識方法およびその方法を用いた物体認識装置,車輌認識方法,車輌認識装置 |
GB9828109D0 (en) * | 1998-12-19 | 1999-02-17 | Kestra Ltd | Inspection equipment and methods of inspection |
JP2001165863A (ja) * | 1999-09-30 | 2001-06-22 | Omron Corp | 画像処理装置 |
CN1115546C (zh) * | 1999-12-29 | 2003-07-23 | 宝山钢铁股份有限公司 | 表面三维形貌检测方法和装置 |
US7075565B1 (en) * | 2000-06-14 | 2006-07-11 | Landrex Technologies Co., Ltd. | Optical inspection system |
US6445518B1 (en) * | 2000-11-28 | 2002-09-03 | Semiconductor Technologies & Instruments, Inc. | Three dimensional lead inspection system |
US7277187B2 (en) * | 2001-06-29 | 2007-10-02 | Quantronix, Inc. | Overhead dimensioning system and method |
JP2004046772A (ja) * | 2002-05-13 | 2004-02-12 | 3D Media Co Ltd | 画像処理方法、画像処理システム、及び画像処理装置 |
US7133560B2 (en) * | 2002-07-09 | 2006-11-07 | Lee Shih-Jong J | Generating processing sequences for image-based decision systems |
US20050089208A1 (en) * | 2003-07-22 | 2005-04-28 | Rui-Tao Dong | System and method for generating digital images of a microscope slide |
US7015492B2 (en) * | 2003-08-15 | 2006-03-21 | Asm International N.V. | Method and apparatus for mapping of wafers located inside a closed wafer cassette |
-
2006
- 2006-06-16 WO PCT/JP2006/312099 patent/WO2006135040A1/ja active Application Filing
- 2006-06-16 EP EP06757383.2A patent/EP1788345B1/en active Active
- 2006-06-16 US US11/630,631 patent/US8233041B2/en not_active Expired - Fee Related
- 2006-06-16 KR KR1020097024679A patent/KR101155816B1/ko active IP Right Grant
- 2006-06-16 KR KR1020067026852A patent/KR20070088318A/ko active Search and Examination
- 2006-06-16 CN CNB2006800006980A patent/CN100460807C/zh active Active
- 2006-06-16 JP JP2006541746A patent/JP4811272B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1054709A (ja) * | 1996-08-09 | 1998-02-24 | Techno Horon:Kk | 顕微鏡を用いた3次元画像認識装置 |
JPH10148517A (ja) * | 1996-09-17 | 1998-06-02 | Komatsu Ltd | 被検査物の撮像装置および半導体パッケージの検査装置 |
JP2000269700A (ja) * | 1999-03-16 | 2000-09-29 | Matsushita Electric Ind Co Ltd | パターンマッチング認識方法 |
JP2001033236A (ja) * | 1999-07-23 | 2001-02-09 | Mitsubishi Heavy Ind Ltd | ステレオ画像計測装置およびステレオ画像計測方法 |
JP2002063580A (ja) * | 2000-08-22 | 2002-02-28 | Asia Air Survey Co Ltd | 不定形窓を用いた画像間拡張イメージマッチング方法 |
JP2002245438A (ja) * | 2001-02-20 | 2002-08-30 | Shigenori Tanaka | 3次元コンピュータグラフィックス作成支援装置、3次元コンピュータグラフィックス作成支援方法、及び3次元コンピュータグラフィックス作成支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1788345B1 (en) | 2014-03-05 |
US8233041B2 (en) | 2012-07-31 |
US20090128648A1 (en) | 2009-05-21 |
KR20070088318A (ko) | 2007-08-29 |
EP1788345A1 (en) | 2007-05-23 |
EP1788345A4 (en) | 2010-09-01 |
CN101010559A (zh) | 2007-08-01 |
WO2006135040A1 (ja) | 2006-12-21 |
KR101155816B1 (ko) | 2012-06-12 |
JPWO2006135040A1 (ja) | 2009-01-08 |
KR20100017396A (ko) | 2010-02-16 |
CN100460807C (zh) | 2009-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4811272B2 (ja) | 3次元計測を行う画像処理装置および画像処理方法 | |
JP5273196B2 (ja) | 画像処理装置 | |
US8229208B2 (en) | Transprojection of geometry data | |
JP5097480B2 (ja) | 画像測定装置 | |
JP5564349B2 (ja) | 画像処理装置及び外観検査方法 | |
US7450248B2 (en) | Three-dimensional measuring method and three-dimensional measuring apparatus | |
JP4885584B2 (ja) | レンジファインダ校正方法及び装置 | |
US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
JP2009053147A (ja) | 3次元計測方法および3次元計測装置 | |
JP3690581B2 (ja) | 位置検出装置及びその方法、平面姿勢検出装置及びその方法 | |
JP4788475B2 (ja) | 画像処理装置および画像処理方法 | |
JP5445064B2 (ja) | 画像処理装置および画像処理プログラム | |
CN112710662A (zh) | 生成方法及装置、生成系统和存储介质 | |
JP2005274309A (ja) | 三次元物体の検査方法および検査装置 | |
JP2006220425A (ja) | プリント基板外観検査装置及びプリント基板外観検査方法 | |
JPH03158710A (ja) | 画像データ作成装置 | |
JPH08128809A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4811272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |