KR101155816B1 - 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 - Google Patents

3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR101155816B1
KR101155816B1 KR1020097024679A KR20097024679A KR101155816B1 KR 101155816 B1 KR101155816 B1 KR 101155816B1 KR 1020097024679 A KR1020097024679 A KR 1020097024679A KR 20097024679 A KR20097024679 A KR 20097024679A KR 101155816 B1 KR101155816 B1 KR 101155816B1
Authority
KR
South Korea
Prior art keywords
image
camera
view
setting
height
Prior art date
Application number
KR1020097024679A
Other languages
English (en)
Other versions
KR20100017396A (ko
Inventor
야스유키 이케다
시로 후지에다
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20100017396A publication Critical patent/KR20100017396A/ko
Application granted granted Critical
Publication of KR101155816B1 publication Critical patent/KR101155816B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Abstract

촬영된 대상물이 나타난 화상상에서 3차원 계측의 대상 개소의 특정을 하기 위한 설정을, 유저가 용이하게 실행할 수 있도록 한 화상 처리 장치로서, 광축을 연직 방향을 향하여 설치되고, 워크(W)의 정면시 화상을 생성하는 제 1의 카메라(C0)와, 광축을 경사 방향을 향하여 설치되고, 워크(W)의 사시 화상을 생성하는 제 2의 카메라(C1)를 포함하는 촬상부(1)를 갖는다. 계측에 앞서는 설정시에는, 설정용의 대상물을 각 카메라(C0, C1)에 의해 촬영하고, 제 1의 카메라(C0)로부터의 정면시 화상을 이용하여, 유저에게 계측 대상 위치를 특정하기 위한 지정영역에 관한 설정을 행하게 한다. 계측시에는, 설정에 의거하여 제 1의 카메라(C0)로부터의 정면시 화상에 지정 영역을 정하고, 이 영역 내에서 계측 대상 위치를 특정하는 처리가 행하여진다. 또한, 제 2의 카메라(C1)로부터의 경사 화상에 관해, 정면시 화상으로 특정된 위치에 대응하는 위치가 특정되고, 3차원 좌표를 산출하는 처리가 행해진다.
3차원 계측, 화상 처리

Description

3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD FOR PERFORMING THREE DIMENSIONAL MEASUREMENTS}
본 발명은, 대상물을 서로 다른 방향에서 촬영하도록 배치된 복수의 카메라에 의해 각각 촬영된 화상에 의거하여 3차원 계측을 행하는 장치에 관한 것이다.
본 명세서에서 말하는 「계측」에는, 검사를 목적으로 하는 계측을 포함한다. 즉, 일반적으로, 검사의 과정에서 어느 계측이 행하여지는 것에 입각하여, 단지 「계측」이라고 하는 경우에는, 최종적인 출력이 예를 들면 검사의 합격과 불합격뿐이고 계측치가 출력되지 않는 경우를 포함하는 것으로 한다.
종래부터, 대상물의 형상이나 표면 패턴에 관해, 2차원 화상 처리에 의한 계측을 행하는 장치가, 여러가지의 제품의 제조 현장에서 널리 이용되고 있다. 이들 2차원의 화상 처리 장치에서는, 대상물을 대표하는 면(예를 들면 대상물의 저면) 또는 대상물의 계측 대상면을 대상으로, 그 면에 수직하는 방향, 즉 그 면을 정면 시(正面視)로 보는 방향에서 촬영한 화상에 의거하여, 계측을 행하도록 하고 있다.
한편, 복수의 카메라를 이용한 입체시(立體視)의 원리에 의거한 3차원 계측의 수법이 알려져 있고, 예를 들면 특허 문헌 1에는, 그와 같은 수법을 이용한 프린트 회로 기판의 검사 장치가 기재되어 있다. 그러나, 종래의 3차원 계측을 행하는 장치는, 대상물의 종류나 성질을 한정하고, 예를 들면 프린트 회로 기판 검사가 목적이면 그것에 전용화된 장치로서 구성되어 있어서, 여러가지 제품의 제조 현장에 적용할 수 있는 범용성과, 3차원 계측의 전문 지식이 없어도 사용할 수 있는 조작성을 구비한 장치로서는 실현되어 있지 않았다.
특허 문헌 1 : 일본국 공표 특허공보2003-522347호
이와 같은 상황에 있어서, 발명자들은, 종래의 2차원 화상 처리 장치와 마찬가지로 범용성이 많고, 유저에 의한 사용함이 용이한, 3차원 계측 기능을 구비한 화상 처리 장치를 개발하기로 하였다. 이와 같은 방침하에서, 발명자들은, 여러가지 형상의 대상물을 계측 대상으로 하여, 촬영된 대상물이 나타낸 화상상에서 3차원 계측의 대상 개소의 특정(特定)을 하기 위한 설정을 유저가 용이하게 할 수 있도록 하는 것을, 과제로서 설정하였다.
(1) 상기한 과제를 해결하기 위해, 본 명세서에서 제안하는 제 1의 화상 처리 장치는, 제 1의 카메라가 대상물을 촬영한 화상에 의거하여 얻어지는 정면시 화상인 제 1의 화상과, 제 1의 카메라가 촬영하는 방향과는 다른 방향에서 대상물을 촬영하도록 배치된 제 2의 카메라가 촬영한 화상에 의거한 제 2의 화상을 이용한 처리를 행하는 것으로서, 제 1의 카메라가 설정용의 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 설정용 화상을 이용하여, 유저에게 지정 영역에 관한 설정을 시키는 설정 수단과, 제 1의 카메라가 계측 대상인 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 제 1의 화상에 대해, 상기 설정에 의거하여 지정 영역을 정하고, 해당 지정 영역 내에서 대상물상의 위치를 특정하는 위치 특정 수단과, 제 1의 화상에서 특정된 상기 위치에 대응하는, 제 2의 화상에서의 위치를 특정하고, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 이용하여 3차원 좌표를 산출하는 3차원 계측 수단을 구비하고 있다.
여기서, 제 1의 카메라가 대상물을 정면시하는 방향에서 촬영하도록 배치되어 있고, 제 1의 카메라가 촬영한 화상 자체가 정면시 화상인 경우에는, 제 1의 카메라가 계측 대상인 대상물을 촬영한 화상을 그대로 제 1의 화상으로서 이용하여도 좋고, 또한, 제 1의 카메라가 촬영한 화상에 대해, 예를 들면 위치 어긋남 수정을 위한 화상의 이동과 같은 처리를 시행한 화상을 제 1의 화상으로서 이용하여도 좋다. 제 1의 카메라가 대상물을 촬영한 화상이 사시(斜視) 화상인 경우에는, 적어도 그 사시 화상을 정면시 화상으로 변환하는 처리를 시행한 화상이 제 1의 화상으로서 이용된다.
이와 같은 화상 처리 장치에 의하면, 유저는, 대상물상의 위치를 특정하기 위한 지정 영역의 설정을 정면시 화상에 대해 행하면 좋기 때문에, 3차원 계측의 대상 개소를 특정하기 위한 설정을 용이하게 행할 수 있다.
(2) 상기한 화상 처리 장치에는, 또한, 대상물을 사시(斜視)하는 방향에서 촬영하도록 배치되어 있는 제 1의 카메라가 촬영한 사시 화상을 정면시 화상으로 변환하는 변환 연산을 행하는 변환 수단을 구비하여도 좋다. 이 경우의 설정용 화상은, 제 1의 카메라가 설정용의 대상물을 사시하는 방향에서 촬영한 화상을 변환 수단이 변환함에 의해 얻어진 것이고, 제 1의 화상은, 제 1의 카메라가 계측 대상인 대상물을 사시하는 방향에서 촬영한 화상을 변환 수단이 변환함에 의해 얻어진 것이다.
상기한 구성에 의하면, 대상물에 대해 정면시의 방향(예를 들면 대상물의 연직 상방)에 카메라를 설치하지 않은 경우나 설치할 수 없는 경우에도, 정면시 화상에 대한 영역 설정을 행할 수 있다.
(3) 또한, 상기한 변환 수단이 마련된 화상 처리 장치의 한 실시 양태에서는, 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보와, 스케일 정보와 정합하는 정면시 높이인 스케일 기준 높이의 값과, 스케일 기준 높이를 포함하도록 정해진 정면시 높이의 허용 범위의 값이 이용 가능하게 된다. 또한, 제 1의 화상을 대상으로, 스케일 정보를 이용하여 2차원 화상 처리를 행하는 2차원 화상 처리 수단과, 3차원 계측 수단에 의해 산출된 상기 3차원 좌표가 나타내는 정면시 높이가 상기 허용 범위에 포함되어 있는지의 여부를 판정 하는 판정 수단이 마련된다.
상기한 양태에 의하면, 산출된 3차원 좌표가 정면시 높이의 허용 범위에 없으면, 2차원 화상 처리 수단이 이용하는 스케일 정보가 나타내는 스케일과, 제 1의 화상의 실제의 스케일 사이에, 상정되는 정도보다도 큰 차이가 있는 것을 알 수 있다.
(4) 변환 수단이 마련된 화상 처리 장치의 다른 양태에서는, 3차원 계측 수단에 의해 산출된 상기 3차원 좌표가 나타내는 정면시 높이를 이용하여, 변환 수단에 의해 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보를 산출하는 스케일 정보 산출 수단과, 제 1의 화상을 대상으로, 스케일 정보를 이용하여 2차원 화상 처리를 행하는 2차원 화상 처리 수단이 또한 마련된다.
상기한 양태에 의하면, 정면시 높이의 실측치에 의해 산출된 스케일 정보를 이용하여 2차원 화상 처리를 행하기 때문에, 대상물에 관한 보다 정확한 계측을 행할 수 있다.
(5) 변환 수단이 마련된 화상 처리 장치의 다른 양태에서는, 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보와, 스케일 정보와 정합하는 정면시 높이인 스케일 기준 높이의 값이 이용 가능하게 되어 있고, 유저에 의한 조작에 의거하여 스케일 기준 높이 및 스케일 정보를 정합적으로 변경하는 조정 수단이 또한 마련된다.
상기한 양태에 의하면, 유저에 의한 조작에 의거하여, 스케일 기준 높이가 3 차원 계측의 대상 개소의 실제의 정면시 높이에 거의 일치하도록 조정되면, 제 2의 화상상에서 계측 대상 개소가 나타날 가능성이 있는 범위가 작아진다. 따라서 그와 같은 작은 범위를 대상으로 하여, 제 1의 화상상에서 특정된 위치에 대응하는 위치를 특정하도록 하면, 제 1의 화상, 제 2의 화상 사이에서의 계측 대상 위치의 대응됨을 잘못할 가능성이 낮아지고, 대응 위치를 특정하는 연산에 필요로 하는 시간도 짧아진다.
또한, 유저에 의한 조작에 의거하여 스케일 정보가 올바르게 조정되면, 제 1의 화상에 대해 치수나 면적의 계측을 수반하는 여러가지의 2차원 화상 처리를 적용한 때에, 그 결과에 포함되는 오차가 적어진다.
(6) 상기 (5)의 양태의 화상 처리 장치에는, 제 1의 I 가상에 대해 스케일 기준 높이에 있는 정면상에서의 실제의 치수를 나타내는 스케일 도형을 가한 표시용의 화상을 편집하는 화상 편집 수단을 마련하여도 좋다. 이 경우, 편집된 화상이 표시되면, 유저는 표시된 스케일 도형과 계측 대상 개소의 상과의 크기의 관계가 올바르게 되도록 조정 조작을 행할 수 있다.
(7) 촬영된 대상물이 나타난 화상상에서 3차원 계측의 대상 개소를 특정하기 위한 설정을 유저가 용이하게 실행할 수 있도록 한다는 과제를 해결하는 화상 처리 장치의 제 2의 구성으로서, 본 명세서에서는, 제 1의 카메라가 대상물을 사시하는 방향에서 촬영한 화상에 의거하여 얻어지는 정면시 화상인 제 1의 화상과, 제 1의 카메라가 촬영하는 방향과는 다른 방향에서 대상물을 촬영하도록 배치된 제 2의 카메라가 촬영한 화상에 의거한 제 2의 화상을 이용한 처리를 행하는 화상 처리 장치 로서, 대상물을 사시하는 방향에서 촬영하도록 배치되어 있는 제 1의 카메라가 촬영한 사시 화상을 정면시 화상으로 변환하는 변환 연산을 행하는 변환 수단과, 제 1의 카메라가 설정용의 대상물을 촬영한 화상을 상기 변환 수단이 변환함에 의해 얻어진 설정용 화상을 이용하여, 유저에게 계측 대상 위치에 관한 설정을 시키는 설정 수단과, 제 1의 카메라가 계측 대상인 대상물을 촬영한 화상을 상기 변환 수단이 변환함에 의해 얻어진 제 1의 화상상에서, 상기 설정에 의거하여 대상물상의 위치를 특정하는 위치 특정 수단과, 제 1의 화상에서 특정된 상기 위치에 대응하는, 제 2의 화상에서의 위치를 특정하고, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 이용하여 3차원 좌표를 산출하는 3차원 계측 수단을 구비한 화상 처리 장치를 제안한다.
이와 같은 화상 처리 장치에 의하면, 카메라가 촬영하는 화상이 사시 화상임에도 불구하고, 유저는, 대상물상의 위치를 특정하기 위한 설정을 정면시 화상에 대해 행하면 좋기 때문에, 3차원 계측의 대상 개소를 특정하기 위한 설정을 용이하게 행할 수 있다. 또한, 대상물에 대해 정면시의 방향에 카메라를 설치하지 않은 경우나 설치할 수 없는 경우에도, 설정을 용이하게 행할 수 있다.
(8) 상기 제 2의 구성의 화상 처리 장치에 관한 한 양태에서는, 변환 수단에 의해 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보와, 스케일 정보와 정합하는 정면시 높이인 스케일 기준 높이의 값과, 스케일 기준 높이를 포함하도록 정해진 정면시 높이의 허용 범위의 값이 이용 가능하게 되어 있고, 제 1의 화상을 대상으로, 스케일 정보를 이용하여 2차원 화상 처 리를 행하는 2차원 화상 처리 수단과, 3차원 계측 수단에 의해 산출된 상기 3차원 좌표가 나타내는 정면시 높이가 상기 허용 범위에 포함되어 있는지의 여부를 판정하는 판정 수단이 또한 마련된다.
상기한 양태에 의하면, 산출된 3차원 좌표가 정면시 높이의 허용 범위에 없으면, 2차원 화상 처리 수단이 이용하는 스케일 정보가 나타내는 스케일과, 제 1의 화상의 실제의 스케일 사이에, 상정되는 정도보다도 큰 차이가 있는 것을 알 수 있다.
(9) 제 2의 구성의 화상 처리 장치의 다른 양태에서는, 3차원 계측 수단에 의해 산출된 3차원 좌표가 나타내는 정면시 높이를 이용하여, 변환 수단에 의해 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보를 산출하는 스케일 정보 산출 수단과, 제 1의 화상을 대상으로, 스케일 정보를 이용하여 2차원 화상 처리를 행하는 2차원 화상 처리 수단이 또한 마련된다.
상기한 양태에 의하면, 정면시 높이의 실측치에 의해 산출된 스케일 정보를 이용하여 2차원 화상 처리를 행하기 때문에, 대상물에 관한 보다 정확한 계측을 행할 수 있다.
(10) 제 2의 구성의 화상 처리 장치의 다른 양태에서는, 변환 수단에 의해 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보와, 스케일 정보와 정합하는 정면시 높이인 스케일 기준 높이의 값이 이용 가능하게 되어 있고, 유저에 의한 조작에 의거하여 스케일 기준 높이 및 스케일 정보를 정합적으로 변경하는 조정 수단이 또한 마련된다.
상기한 양태에서는, 유저에 의한 조작에 의거하여, 스케일 기준 높이가 3차원 계측의 대상 개소의 실제의 정면시 높이에 거의 일치하도록 조정되면, 제 2의 화상상에서 계측 대상 개소가 나타날 가능성이 있는 범위가 작아진다. 따라서 그와 같은 작은 범위를 대상으로 하여, 제 1의 화상상에서 특정된 위치에 대응하는 위치를 특정하도록 하면, 제 1의 화상, 제 2의 화상 사이에서의 계측 대상 위치의 대응시킴을 잘못할 가능성이 낮아지고, 대응 위치를 특정하는 연산에 필요로 하는 시간도 짧아진다.
또한, 유저에 의한 조작에 의거하여 스케일 정보가 올바르게 조정되면, 제 1의 화상에 대해 치수나 면적의 계측을 수반하는 여러가지의 2차원 화상 처리를 적용한 때에, 그 결과에 포함되는 오차가 적어진다.
(11) 상기 (10)의 상태의 화상 처리 장치에는, 제 1의 화상에 대해 스케일 기준 높이에 있는 평면상에서의 실제의 치수를 나타내는 스케일 도형을 가한 표시용의 화상을 편집하는 화상 편집 수단을 또한 마련하여도 좋다. 이와 같이 하면, 편집된 화상이 표시되면, 유저는 표시된 스케일 도형과 계측 대상 개소의 화상과의 크기의 관계가 올바르게 되도록 조정 조작을 행할 수 있다.
(12) 본 명세서에서 제안하는 제 1의 화상 처리 방법은, 제 1의 카메라가 대상물을 촬영한 화상에 의거하여 얻어지는 정면시 화상인 제 1의 화상과, 제 1의 카메라가 촬영하는 방향과는 다른 방향에서 대상물을 촬영하도록 배치된 제 2의 카메라가 촬영한 화상에 의거한 제 2의 화상을 이용한 처리를 행하는 것으로서, 제 1의 카메라가 설정용의 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로 서의 설정용 화상을 표시하고, 유저에게 해당 설정용 화상을 이용하여 지정 영역에 관한 설정을 시키는 설정 스텝과, 제 1의 카메라가 계측 대상인 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 제 1의 화상에 대해, 상기 설정에 의거하여 지정 영역을 정하고, 해당 지정 영역 내에서 대상물상의 위치를 특정하는 위치 특정 스텝과, 제 1의 화상에서 특정된 상기 위치에 대응하는, 제 2의 화상에서의 위치를 특정하고, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 이용하여 3차원 좌표를 산출하는 3차원 계측 스텝을 구비하고 있다.
(13) 본 명세서에서 제안하는 제 2의 화상 처리 방법은, 대상물을 사시하는 방향에서 촬영하도록 배치되어 있는 제 1의 카메라가 대상물을 촬영한 화상에 의거하여 얻어지는 정면시 화상인 제 1의 화상과, 제 1의 카메라가 촬영하는 방향과는 다른 방향에서 대상물을 촬영하도록 배치된 제 2의 카메라가 촬영한 화상에 의거한 제 2의 화상을 이용한 처리를 행하는 것으로서, 제 1의 카메라가 촬영한 사시 화상을 정면시 화상으로 변환하는 변환 연산에 의해, 제 1의 카메라가 설정용의 대상물을 촬영한 화상을 설정용 화상으로 변환하고, 유저에게 해당 설정용 화상을 이용하여 계측 대상 위치에 관한 설정을 시키는 설정 스텝과, 상기 변환 연산에 의해, 제 1의 카메라가 계측 대상인 대상물을 촬영한 화상을 제 1의 화상으로 변환하고, 제 1의 화상상에서, 상기 설정에 의거하여 대상물상의 위치를 특정하는 위치 특정 스텝과, 제 1의 화상에서 특정된 상기 위치에 대응하는, 제 2의 화상에서의 위치를 특정하고, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 이용하여 3차원 좌표를 산출하는 3차원 계측 스텝을 구비하고 있다.
상기 제 1, 제 2의 화상 처리 방법에 의하면, 유저는, 촬영된 대상물이 나타낸 화상상에서 3차원 계측의 대상 개소를 특정하기 위한 설정을 용이하게 행할 수 있다.
본 발명의 화상 처리 방법에 의하면, 유저는, 촬영된 대상물이 나타낸 화상상에서 3차원 계측의 대상 개소를 특정하기 위한 설정을 용이하게 행할 수 있다.
도 1은, 본 발명이 적용된 검사 장치(화상 처리 장치)의 촬상부의 구성을, 그 설치 예와 함께 도시한다.
이 검사 장치는, 3차원 및 2차원의 쌍방의 계측 처리기능을 갖는 것으로서, 공장의 검사 라인(L)을 반송되는 검사 대상물(W)(이하, 「워크(W)」라고 한다)을, 촬상부(1)에 의해 차례로 촬상하여, 여러가지의 검사 목적에 따른 계측 처리나 판별 처리를 실행한다.
촬상부(1)는, 몸체(15) 내에 2대의 카메라(C0, C1)를 조립한 구성의 것으로, 검사 라인(L)의 상방에 설치된다. 한쪽의 카메라(C0)는, 그 광축을 연직 방향을 향한 상태(워크(W)에 대해 정면시의 상태)로 설치된다. 다른쪽의 카메라(C1)는, 카메라(C0)와 시야가 겹치도록 하여, 광축을 경사시킨 상태에서 설치된다. 카메라(C0) 및 카메라(C1)의 시야의 범위를 규정하는 촬상면은 직사각형이고, 카메라(C1)는 카 메라(C0)에 대해, 카메라(C0)의 시야의 범위의 횡방향(도 2의 화상(A0)의 x축방향에 대응한다)에 따라 나열하도록 배치되어 있다.
도 2는, 각 카메라(C0, C1)에 의해 생성된 워크(W)의 화상의 예를 도시한다. 도면중 A0가 카메라(C0)로부터의 화상이고, A1이 카메라(C1)로부터의 화상이다. 이 도 2 및 후기하는 도 5 등의 워크(W)의 화상을 예시하는 도면에서는, 각 화상(A0, A1)중 워크에 관해서도, 도 1과 마찬가지로 W을 이용하여 나타낸다. 또한, 화상(A0)의 횡방향(수평 방향)을 x축방향, 종방향(수직 방향)을 y축방향이라고 한다.
카메라(C0)는 광축을 연직 방향을 향하여 설치되어 있기 때문에, 화상(A0)은, 워크(W)의 윗면을 정면에서 본 상태를 나타내는 것으로 된다. 이에 대해, 카메라(C1)는 광축을 경사를 향하여 설치되어 있기 때문에, 화상(A1)에는, 경사로 본 상태의 워크(W)가 나타난다. 이하에서는, 카메라(C0)로부터의 화상(A0)을 「정면시 화상(A0)」이라고 하고, 카메라(C1)로부터의 화상(A1)을 「사시 화상(A1)」이라고 한다. 정면시 화상(A0)은 「제 1의 화상」, 사시 화상(A1)은 「제 2의 화상」에 상당한다. 이 검사 장치에서는, 우선 화상의 왜곡이 작은(워크(W)의 평면도에 가까운) 정면시 화상(A0)을 이용하여 계측 대상 위치를 특정하고, 다음에 사시 화상(A1)상에서, 정면시 화상(A0)상의 계측 대상 위치에 대응하는 위치를 특정하도록 하고 있다.
도 3은, 검사 장치의 전체 구성을 도시하는 블록도이다. 이 검사 장치는, 촬상부(1) 외에, 본체부(2), 모니터(3), 콘솔(4) 등에 의해 구성된다. 본체부(2)에는, 각 카메라(C0, C1)에 대한 화상 입력부(10, 11), 카메라 구동부(12), 연산 처 리부(20), 출력부(28) 등이 마련된다.
카메라 구동부(12)는, 도시하지 않은 워크 검출용의 센서로부터의 검지 신호를 받아서 각 카메라(C0, C1)를 동시에 구동한다. 각 카메라(C0, C1)에 의해 생성된 화상 신호는, 각각의 화상 입력부(10, 11)에 입력되고, 디지털 변환된다.
이로써, 카메라마다 계측 처리용의 디지털 화상(정면시 화상(A0) 및 사시 화상(A1))이 생성된다,
연산 처리부(20)는, 컴퓨터에 의해 구성되는 것으로서, 카메라(C0, C1)의 화상을 이용한 계측 처리를 실행한 후, 그 처리 결과로부터 워크(W)의 적부를 판정한다. 출력부(28)는, 계측 처리나 판정 처리의 결과를, PLC 등의 외부 기기에 출력하기 위한 출력용 인터페이스이다.
연산 처리부(20)에는, 화상(A0, A1)을 격납하기 위한 화상 메모리(21) 외에, 화상 처리부(22), 계측 처리부(23), 판정부(24), 표시 제어부(25), 파라미터 산출부(26), 파라미터 기억부(27) 등이 마련된다. 화상 메모리(21) 및 파라미터 기억부(27) 이외의 각 부분은, 전용의 프로그램에 의해 연산 처리부(20)로서의 컴퓨터에 설정된 기능이다. 화상 메모리(21)나 파라미터 기억부(27)는, 이 컴퓨터의 메모리(RAM 등)에 설정된다.
도 3에는 도시하고 있지 않지만, 연산 처리부(20)에는, 검사에 필요한 정보(검사 영역의 설정 조건이나 모델의 화상 등)를 등록하기 위한 메모리도 마련된다. 이 등록용 메모리에의 등록 처리나, 연산 처리부(20)의 각 처리부가 실행하는 처리의 설정 또는 변경은, 적절히 콘솔(4)의 조작에 응하여 행할 수 있다.
화상 처리부(22)는, 2치화, 에지 추출, 패턴 매칭 등에 의해, 워크(W)의 검사 대상 부위를 특정한다. 계측 처리부(23)는, 화상 처리부(22)에 의해 특정된 검사 대상 부위에 관해, 위치나 크기 등을 계측하는 처리를 실행한다. 화상 처리부(22) 및 계측 처리부(23)는, 2차원 계측 및 3차원 계측의 처리를 실행할 수 있다.
판정부(24)는, 계측 처리부(23)의 계측 결과를 소정의 임계치와 비교하는 등으로, 워크(W0) 양부를 판정한다. 이 계측 결과나 판정 결과는 출력부(28) 및 표시 제어부(25)에 출력된다.
표시 제어부(25)는, 모니터(3)의 표시 동작을 제어하기 위한 것으로서, 화상 입력부(10, 11)에서 생성된 정면시 화상(A0), 사시 화상(A1)을 한 화면 내에 병렬 표시시킬 수 있다. 또한, 적절히, 화상 처리부(22), 계측 처리부(23), 판정부(24)의 처리 결과를 수취하여, 화상과 함께 표시시킬 수 있다.
파라미터 기억부(27)에는, 3차원 계측을 위한 연산에 이용하는 각종 계수가 보존된다. 이들의 계수의 값은, 각 카메라(C0, C1)에 의해 구성되는 스테레오 좌표계와 실제의 공간에서의 위치를 나타내는 공간 좌표계와의 관계(각 좌표계의 원점 사이의 거리, 공간 좌표계에 대한 스테레오 좌표계의 회전 어긋난량 등)에 따라 변동한다(이하, 이들의 계수를 「파라미터」라고 한다). 이들의 파라미터는, 검사에 앞서서, 화상 처리부(22) 및 파라미터 산출부(26)에 의해 산출되고, 파라미터 기억부(27)에 격납된다. 이 파라미터를 산출하는 처리에서는, 복수의 특징점을 갖는 캘리브레이션용 워크가 사용된다.
또한, 파라미터 기억부(27)에는, 후기하는 연산식(1)의 호모그래피 행렬을 구성하는 파라미터도 등록된다.
이 검사 장치는, 유저에게 복수종의 검사 메뉴를 제시하여 선택 조작을 접수함에 의해, 검사의 알고리즘을 조립하는 것이 가능하다. 또한, 검사 대상의 부위에 응하여, 2차원의 계측 처리에 의한 검사와 3차원의 계측 처리에 의한 검사를 선택하여 실행할 수 있다. 2차원의 계측 처리에 의한 검사에서는, 카메라(C0)로부터의 정면시 화상(A0)을 대상으로 하여, 패턴 매칭 처리, 2치화 처리, 에지 추출 처리 등을 실행하여, 워크 전체 또는 워크중의 검사 대상 부위를 특정한다.
또한, 이 검사 장치는, 3차원의 계측 처리에 의한 검사에도, 카메라(C0)로부터의 정면시 화상(A0)을 유효 활용함에 의해, 3차원 계측 처리를 고속화하고 있다. 이 점에 관해서는 후에 상세히 설명한다.
도 4는, 워크(W)가 IC인 경우에 실시되는 검사의 순서를 도시하는 것이다. 이 순서는, 워크 검출용의 센서로부터의 검지 신호를 받아서 시작된다. 최초의 ST1(ST는 「스텝」의 약칭이다. 이하도 동일하다)에서는, 카메라 구동부(12)에 의해, 카메라(C0, C1)를 동시에 구동하여, 정면시 화상(A0), 사시 화상(A1)을 생성한다.
다음의 ST2에서는, IC의 패키지 부분에 인쇄된 문자를 대상으로 한 검사를 실행한다. 이 검사에서는, 정면시 화상(A0)만을 이용한 2차원의 화상 처리를 실행한다. 예를 들면, 패턴 매칭 처리에 의해 문자의 인쇄 영역을 추출하고, 그 매칭시의 상관도나 매칭 위치로부터 문자의 인쇄 상태의 적부를 판별한다.
다음의 ST3에서는, 정면시 화상(A0)에서 각 리드의 선단 위치의 좌표가 에지 검출의 치수에 의해 구하여지고, 뒤이어, 사시 화상(A1)에서 대응하는 각 리드의 선단 위치의 좌표가 에지 검출의 수법에 의해 구하여진다. 그리고, 양 화상에서의 각 리드의 선단 위치의 좌표로부터, 각 리드의 선단의 3차원 좌표를 구하고, 그 산출치로부터 각 리드에 들뜸이나 구부러짐 등의 이상이 없는지의 여부를 판별한다.
ST2, 3의 검사가 종료되면, ST4에서는, 각 검사의 결과를 외부 기기나 모니터(3)에 출력한다. 또한, 워크 검출용의 센서에 의해 다음의 IC가 검출되면, ST1로 되돌아와, 상기한 바와 같은 순서를 실행한다.
이와 같이, 2대의 카메라(C0, C1)에 의해 각각 워크(W)를 1회 촬상함에 의해, 2차원 계측에 의한 검사와 3차원 계측에 의한 검사를 연속으로 실행할 수 있다. 2차원의 계측 처리에서는 정면시 화상(A0)을 사용하기 때문에, 문자의 왜곡이 없는 화상을 이용하여 정밀도가 좋은 계측 처리를 행하는 것이 가능하게 된다.
3차원 계측 처리를 행할 때에는, 정면시 화상(A0)과 사시 화상(A1) 사이에서 대응하는 계측 대상의 점을 특정하고, 특정된 각 점의 좌표를 3각측량의 원리에 의거한 연산식에 적용시킴에 의해, 3차원 좌표를 산출한다.
도 5는, 정면시 화상(A0)에서의 검출 영역(유저에 의해 설정되는 지정 영역) 및 사시 화상(A1)에서의 검출 영역의 설정예를 도시한다. 화상의 종방향(정면시 화상(A0)에서는 리드의 배열에 따른 방향이 된다)을 y방향으로 하고, 횡방향(정면시 화상(A0)에서는 리드의 길이에 따른 방향이 된다)을 x방향으로 한다. 정면시 화상(A0)에는, 리드(6) 마다 개별의 검출 영역(7)이 설정되고, 검출 영역(7)마다, 리 드의 선단에 해당하는 에지점이 1점 특정된다.
즉, 여기서는 카메라(C0, C1)가 x방향으로 나열하여 있기 때문에, 시차(視差)는 주로 x방향에 발생한다. 그래서, 검출 영역(7) 내의 화상을 2치화하고, 얻어진 2치 화상을 y방향에 따라 투영함에 의해, x방향을 횡축, 투영된 「명(明)」화소수 또는 「암(暗)」화소수를 종축으로 하는 히스토그램을 만든다. 그리고, 히스토그램의 값이 급변하는 개소의 x좌표를 리드(6)의 선단의 x좌표로 한다. 한편, 리드(6)의 선단의 y좌표에 관해서는, 검출 영역(7)의 y방향의 중점(中點)의 y좌표를 맞춘다. 이와 같이 하여 구한 x좌표 및 y좌표로 나타나는 점을 에지점이라고 부른다.
여기서는 검출 영역(7) 내의 화상을 2치화하였지만, 이것으로 한하지 않고, 검출 영역(7) 내의 화상을 농담(濃淡) 화상인 채로 각 화소의 농도를 y방향으로 적분하고, 그와 같이 하여 얻어진 적분 농도 분포의 값이 x방향에 따라 급변하는 개소(예를 들면 임계치를 가로지르는 개소)의 x좌표를 구하도록 하여도 좋다.
이와 같이, 에지의 위치는 특정한 한방향에 따라 검출된다. 도 5의 예에서는, x방향이 에지의 검출 방향이다. 여기서는, 정면시 화상(A0)에 검출 영역(7)을 설정한 후에, 그 검출 영역(7)에 대해 에지의 검출 방향을 지정하도록 하고 있다. 그러나, 이것으로 한하지 않고, 원래 고유한 에지의 검출 방향을 구비하는 검출 영역(7)을 설정하도록 하여도 좋고, 우선 검출 영역(7)의 에지 검출 방향을 지정하고, 그 후, 정면시 화상(A0)에 검출 영역(7)을 설정하도록 하여도 좋다.
사시 화상(A1)에서도, 리드(6)마다 검출 영역(8)이 설정된다. 이들의 검출 영역(8)은 한쪽의 화상상의 1점을 다른쪽의 화상상의 1점으로 변환하기 위한 연산식(후기하는 (1)식)에 의거하여, 정면시 화상(A0)의 각 검출 영역(7)에서 특정된 에지점의 좌표 및 유저에 의해 지정된 높이 범위(3차원 계측의 대상 개소의 높이를 취할 수 있는 범위)를 이용하여 설정된다. 여기서 말하는 높이는, 워크(W)의 재치면을 기준으로 한 연직 방향, 즉 정면시 방향에서의 높이이고, 정면시 높이라고도 한다. 높이의 기준은, 워크(W)의 재치면으로 한하지 않고, 카메라(C0)의 위치나, 그 밖에 임의의 위치에 취하는 것이 가능하다. 유저에 의해 지정되는 높이 범위는, 카메라(C0)의 광축에 따른 3차원 계측의 대상 범위이다.
도 5에서는, 워크(W)의 우측의 리드에 대한 영역 설정만을 도시하고 있지만, 좌측의 리드에 대해서도 마찬가지 설정이 행하여진다(이하의 도면에서도 마찬가지이다).
도 6은, IC의 리도 검사를 위한 티칭 처리(설정 처리)의 순서를 도시한다. 이 순서는, 도 4의 IC 검사를 시작하기 전에 실행된다.
이 순서의 최초의 스텝인 ST11에서는, 검사 대상의 워크(W)(이 예에서는 IC)에 관해, 리드(6)의 길이나 리드(6) 사이의 피치 등을 입력한다. 여기서 입력된 데이터는, 작업용의 메모리에 등록되고, 후기하는 ST15에서 사용된다.
다음의 ST12에서는, 촬상 대상 위치에 설정용의 대상물로서 양품의 워크를 설치하여, 이것을 카메라(C0, C1)에 의해 촬상한다. 또한, 티칭 처리에서는, 카메라(C0)로부터의 정면시 화상(A0)이 생성되면 족하지만, 여기서는, 티칭 처리시에도 각 카메라(C0, C1)를 동시 구동하고, 생성된 2매의 화상을 모니터(3)에 나열하고 표시하도록 하고 있다.
다음의 ST13에서는, 설정용 화상으로서의 정면시 화상(A0)을 이용하여 위치 결정 영역의 지정 조작을 접수한다. 도 7은 이 지정 조작시의 정면시 화상(A0)의 표시예를 도시하는 것으로, 도면중의 9가 위치 결정 영역이다.
이 위치 결정 영역(9)은, 1렬로 나열한 리드(6)중의 1번단(番端)의 리드(도시예에서는 최상단의 리드(6a)이다. 이하, 이것을 「선두 리드(6a)」라고 한다)를 추출하는데 이용된다. 도 7의 예에서는, 선두 리드(6a)만이 포함되는 정사각형 형상의 영역(9)을 설정하고 있다. 위치 결정 영역(9)은, 워크(W)가 상정되는 정도로 위치가 어긋나도, 위치 결정 영역(9)중에 선두 리드(6a)를 촬상할 수 있도록, 그 크기가 조정된다. 또한, 위치 결정 영역(9)은, 그 하반분의 범위에 선두 리드(6a)가 촬상되도록 설정된다. 이로써, 위치 결정 영역(9)의 상반분의 범위에는 리드가 촬상되어 있지 않는 것으로써, 위치 결정 영역(9)의 하반분의 범위에 촬상되어 있는 것이 선두 리드(6a)라고 확인할 수 있다.
도 6으로 되돌아와, 위치 결정 영역(9)이 지정되면, 다음의 ST14에서는, 이 위치 결정 영역(9)으로부터 선두 리드(6a)를 추출한다. 이 추출 처리에서는, 예를 들면, 위치 결정 영역(9) 내의 화상을 2치화하고, 2치화 후의 화상을 y축방향 및 x축방향에 따라 투영하는 방법에 의해, 선두 리드(6a)의 선단의 x좌표 및 y좌표를 구한다. 또는, 위치 결정 영역(9) 내의 에지나 그 농도 구배 방향을 추출함에 의해, 리드(6a)의 윤곽선을 추출하고, 또한 리드(6a)의 선단의 x좌표 및 y좌표를 구하도록 하여도 좋다.
ST15에서는, 선두 리드(6a)의 선단의 x좌표, y좌표 및 ST11에서 입력된 데이터에 의거하여, 각 리드(6)에 검출 영역(7)을 설정한다. 구체적으로는, ST11에서 입력된 데이터, 카메라(C0)의 픽셀 수, 배율 등을 이용하여, 화상상에 있어서의 리드(6)의 길이나 리드(6) 사이의 피치를 산출하고, 그 산출치에 의거하여, 각 검출 영역(7)의 크기나 영역 사이의 간격을 결정한다. 이와 같이 하여, 선두 리드(6a)의 위치를 기준으로, 이 리드(6a)를 포함하는 각 리드(6)에 대해 검출 영역(7)을 설정하기 위해 필요한 데이터, 즉 설정 조건을 작성한다.
이와 같은 방법을 취할 수 있는 것은, 워크(W)의 검사 대상 부위의 특성(각 리드의 길이가 동등하고, 리드 사이의 피치가 동등함 등)이 그대로 촬영된 정면시 화상(A0)을 사용하기 때문이다. 따라서 유저에 의해 설정된 위치 결정 영역(9)에 있어서 선단 리드(6a)를 추출할 수 있다면, 다른 리드(6)를 추출하지 않더라도, 모든 리드(6)에 검출 영역(7)을 설정하는 것이 가능하게 되고, 처리 효율을 대폭적으로 향상할 수 있다.
ST16에서는, ST13에서 지정된 위치 결정 영역(9)의 설정 조건(영역의 위치 및 크기)과, ST15에서 설정된 검출 영역(7)의 설정 조건을 등록용 메모리에 등록한다. 또한, ST17에서는, 위치 결정 영역(9) 내의 화상을 모델로 하여 등록용 메모리에 등록한다. 이로써 일련의 티칭 처리는 종료가 된다.
ST11부터 ST17까지의 일련의 처리는, 제 1의 카메라가 설정용의 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 설정용 화상을 이용하여, 유저에게 지정 영역에 관한 설정을 시키는 것(보다 일반적으로 말하면, 유저에게 계측 대상 위치에 관한 설정을 시키는 것)에 상당한다. 또한, 티칭 처리용의 프로그램이 동작하는 연산 처리부(20)가, 이 일련의 처리를 실행하는 설정 수단으로서 작용한다.
또한, ST16을 실행하기 전에는, 작성된 설정 조건에 의해 설정되는 검출 영역(7)을 정면시 화상(A0)에 겹쳐서 나타내는 화상을 모니터(3)에 표시하고, 유저의 확인 조작에 응하여 등록을 행하는 것이 바람직하다. 또한, 이때에, 검출 영역(7)의 위치나 크기를 미조정할 수 있도록 하여도 좋다.
도 8은, IC의 리드 검사(도 4의 ST3)에 관한 상세한 순서를 도시한다.
이 순서의 ST21부터 ST24까지의 처리는, 계측 대상인 대상물을 촬영한 화상인 정면시 화상(A0)에 대해 행하여지는 것이다. 우선, ST21에서는, 티칭에서 등록된 설정 조건에 의거하여, 정면시 화상(A0)에 위치 결정 영역(9)을 설정한다. 다음의 ST22에서는, 이 위치 결정 영역(9) 내의 화상과 티칭 처리의 ST17에서 등록한 모델을 대조하여, 모델에 대한 어긋난량을 추출한다(이 처리에는, 예를 들면 패턴 매칭의 수법을 응용할 수 있다).
ST23에서는, 티칭시에 등록한 검출 영역(7)의 설정 조건을 ST22로 추출되는 어긋난량에 의거하여 조정하고, 그 조정 후의 설정 조건에 의해 지정 영역으로서 각 리드의 검출 영역(7)을 설정한다. 정면시 화상(A0)에 의하면, 화상상의 워크(W)의 왜곡을 고려하지 않아도 되기 때문에, 위치 결정 영역(9)의 어긋난량을 그대로 각 검출 영역(7)에 적용할 수 있고, 각 리드(6)에 대해, 티칭 처리시와 같은 위치 관계로서 검출 영역(7)을 설정하는 것이 가능하게 된다.
도 9는, 검사시의 정면시 화상(A0)의 한 예를 도시한다. 이 예에서의 워크(W)는, 도 7에 도시한 치칭시의 화상(A0)보다 우측으로 어긋나 있기 때문에, 리드(6)의 선단이 위치 결정 영역(9)으로부터 비어져 나온 상태로 되어 있다. 그러나, 검출 영역(7)에 관해서는, 상기한 조정 처리가 행하여지기 때문에, 어느 리드(6)에도 도 4에 도시한 것과 같은 조건으로 검출 영역(7)이 설정되어 있다.
이 예에서는, 위치 어긋난 워크(W)에 맞추어서 검출 영역(7)의 화상 내에서의 위치(화상의 테두리에 대한 위치)를 조정하였지만, 이에 대신하여, 워크(W)에 위치 어긋남이 있어도 워크(W)가 항상 화상의 테두리에 대해 일정한 위치 관계가 되도록 화상의 내용 전체를 이동시켜서, 검출 영역(7)은 항상 화상의 테두리에 대해 일정한 위치에 설정하도록 하여도 좋다.
이와 같이 하여 리드마다 검출 영역(7)이 설정되면, 다음의 ST24에서는, 각 검출 영역(7)마다, 리드의 선단의 x, y좌표를 취득한다.
ST21부터 ST24의 일련의 처리는, 제 1의 카메라가 계측 대상의 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 제 1의 화상에 대해, 설정에 의거하여 지정 영역을 정하고, 해당 지정 영역 내에서 대상물상의 위치를 특정한 것(보다 일반적으로 말하면, 설정에 의거하여 대상물상의 위치를 특정하는 것)에 상당한다. 또한, 리드 검사 처리를 위한 순서를 실행하도록 조합된 프로그램이 동작하는 연산 처리부(20)가, 이 일련의 처리를 실행하는 위치 특정 수단으로서 작용한다.
다음의 ST25에서는, 사시 화상(A1)상에, 각 리드의 선단 위치를 검출하기 위 한 검출 영역(8)을 설정한다. 또한 ST26에서는, 설정된 검출 영역(8)에서 ST24와 같은 처리를 실행하고, 리드의 선단의 x, y좌표를 산출한다. 이의, 검출 영역(8)을 설정하고, x, y좌표를 산출하는 처리는, 제 1의 화상에서 특정된 위치에 대응하는, 제 2의 화상에서의 위치를 특정하는 데 상당한다.
이 후, ST27에서는, 각 선단에 관해, 각각 ST24, 26에서 산출된 좌표를 이용하여 3차원 좌표를 산출한다. 이 처리는, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 이용하여 3차원 좌표를 산출하는 것에 상당한다. 제 2의 화상에서의 위치를 특정하고, 3차원 좌표를 산출하기 위한 순서를 실행하도록 조합된 프로그램이 동작하는 연산 처리부(20)가, 이 일련의 처리를 실행하는 3차원 계측 수단으로서 작용한다.
또한, ST28에서는, 산출된 3차원 좌표를 미리 등록된 기준치와 비교하는 등으로, 각 리드 선단부의 양부를 판별한다. 예를 들면, 어느 하나의 리드의 선단부에 들뜸이 있으면, 그 선단부의 높이를 나타내는 Z좌표가 기준치를 초과하는 값으로 되고, 그 리드는 불량이라고 판정되게 된다.
다음에, ST25에서의 검출 영역(8)의 설정에 관해, 상세히 설명한다.
도 10은, 공간 내의 임의의 높이 위치에 있는 평면(D)상의 1점(P)이 카메라(C0, C1)의 촬상면(F0, F1)상의 점(p0, p1)에 각각 결상한 상태를 도시하고 있다. 도 10에서, X, Y, Z는 3차원 공간을 나타내는 좌표축이고, 평면(D)은, XY평면에 평행하다. 또한 촬상면(F0)에는, x0, y0의 축에 의한 2차원 좌표계가, 촬상면(F1)에는, x1, yl의 축에 의한 2차원 좌표계가, 각각 설정되어 있다. 도 10에서 는, 가끔, 양 촬상면의 원점에 결상되는 평면(D)상의 점이 P로 되어 있지만, 이것으로 한하지 않고, 점(P)의 위치는 평면(D)상에서 임의이다.
촬상면(F0)에서의 점(P)의 결상 위치(점(p0))의 좌표를 (xcam0, ycam0), 촬상면(F1)에서의 점(P)의 결상 위치(점(p1))의 좌표를 (xcam1 1, ycam1)라고 하면, 점(p0, p1) 사이의 관계는, 다음의 (1)식과 같이 된다.
[수식 1]
Figure 112009072825478-pat00001
또한, (1)식에 있어서, HZ는, 높이(Z)의 평면(D)상의 점에 관해, 촬상면(F0)상의 결상 위치와 촬상면(Fl)상의 결상 위치와의 관계를 나타내는 3×3의 호모그래피 행렬이고, λ는 정수이다. 행렬(HZ)은, 미리 평면(D)상의 기지(旣知)의 좌표를 이용한 캘리브레이션에 의해 구할 수 있다(캘리브레이션의 상세에 관해서는, 하기한 비특허 문헌 1을 참조하길 바란다).
비특허 문헌 1 : (見市), (伸裕), (和田), 마쓰야마(松山), (隆司) 「프로젝터?카메라 시스템의 캘리브레이션에 관한 연구(Ca1ibration of Projector-Camera System)」, [평성 17년 6월 1일 검색], 인터넷<URL:http://vision,kuee.kyoto-u.ac.jp/Research/Thesis/Thesis_PDF/Miichi_2002_P_147.pdf>
따라서, 정면시 화상(A0)의 각 검출 영역(7)에서 추출된 리드의 에지점을 점(p0)이라고 생각하고, 그 좌표를 (1)식의 (xcam0, ycam0)에 대입한 경우, 산출된 (xcam1, ycam1)은, 사시 화상(A1)에서의 리드 선단의 위치에 상당한다고 생각할 수 있다. 그러나, 리드 선단의 높이가 변동한다고 생각하면, 평면(D)의 높이(Z)도 그에 응하여 변동하고, 그에 응하여 호모그래피 행렬(HZ)이 변화하고, (xcam1, ycam1)의 값도 변화하게 된다.
ST25에서는, 이 원리에 의거하여, 상정되는 높이 범위(카메라(C0)의 광축에 따른 3차원 계측의 대상 범위)의 상한치를 평면(D)의 높이(Z)로 하였을 때와, 하한치를 높이(Z)로 하였을 때에 관해, 각각 그 높이(Z)에 따른 호모그래피 행렬(HZ)을 이용하여 (1)식을 실행함에 의해, (xcam1, ycam1)로서 도 11에 도시하는 2점(e, f)의 좌표를 얻는다. 그리고, 경사 화상(A1)에 있어서, 도 11에 도사하는 바와 같이, 선분(ef)을 정면시 화상(A0)측의 검출 영역(7)의 반치폭(半値幅)(k)만큼 선분(ef)과 수직 방향의 각 측(側)으로 평행 이동시킨 선분(gh) 및 선분(g'h')을 설정하고, 이들 4점을 연결하는 직사각형 영역(ghh'g')을 검출 영역(8)으로 한다.
도 12는, 도 5와 같은 사시 화상(A1)에 관해, 리드(6)의 취할 수 있는 높이 범위를 0 내지 5㎜로 한 경우와, 높이 범위를 -15 내지 15㎜로 한 경우에서의 검출 영역(8)의 크기를 대비시켜서 도시한 것이다. 이 예로부터 분명한 바와 같이, 검출 영역(8)은, 높이 범위의 변동폭이 작을수록 작아진다. 도 12에서는 간략화하여 각 검출 영역(8)을 서로 평행하게 그리고 있지만, 실제로는, 사시 화상(A1)에는 원근법의 효과에 의해 직사각형의 대상물이 사다리꼴로 촬상되는 것처럼 왜곡이 생기기 때문에, 각 검출 영역(8)은, 그들의 중심선(선분(ef))끼리의 간격이 도면의 오른쪽일수록 커지는 비평행의 배치로 된다. 각 검출 영역(8)에서, 에지 선단을 구하기 위한 2치화 화상의 투영은, 검출 영역(8)의 중심선과 수직한 방향으로 행한다.
상기한 검사 장치에서는, 기준 화상(A0)에서 리드의 선단 위치를 특정하기 위해, 각 리드(6)에 대응하는 검출 영역(7)을 설정하였지만, 이에 대신하여, 각 리드의 선단을 포함하도록 y축 방향으로 길다란 하나의 검출 영역을 설정하고, 이 영역 내에서 각 리드의 선단 위치를 개별적으로 구하도록 하여도 좋다.
다음에, 누름버튼식의 문자 키가 배설된 워크(리모트 콘트롤, 전화기 등)를 검사 대상으로 하여, 각 키의 높이를 검사하는 경우에 관해 설명한다. 이 검사에서는, 검사의 준비 단계에서 모델 화상을 등록하고, 정면시 화상(A0) 및 사시 화상(A1)에서 이 모델 화상과 일치하는 영역을 탐색하는 수법이 이용된다.
검사의 준비 단계에서는, 도 13에 도시하는 바와 같이 설정용의 대상물인 양품의 워크(W)를 촬상하여 얻어진 정면시 화상(A0)을 이용하여, 각 키(60)마다에, 그 키(60)에 그려진 문자를 포함하는 영역(70)을 지정하고, 그 영역(70) 내의 화상을 모델로 하여 등록하여 둔다. 이 처리는, 제 1의 카메라가 설정용의 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 설정용 화상을 이용하여, 유저에게 계측 대상 위치에 관한 설정을 시키는 것에 상당한다. 즉, 여기서는 모델 화상을 등록하고 있는 것만으로, 계측 대상 위치를 직접 지정하고 있는 것은 아니지만, 검사시에는 모델 화상에 일치하는 영역이 계측 대상 영역으로 되기 때문에, 모델 화상을 등록함에 의해 간접적으로 계측 대상 위치에 관한 설정을 하고 있는 것으로 된다. 도시는 생략하지만, 검사시의 워크(W)의 상정되는 위치 어긋난량을 고려하여, 검사시에 모델 화상과 일치하는 영역을 탐색하여야 할 영역을 지정시키도록 하여도 좋다. 이 탐색하여야 할 영역은 지정 영역에 상당한다.
도 14는, 검사의 순서를 도시한다. 우선 ST31에서, 각 카메라(C0, C1)를 동시 구동하여 화상을 생성한다. 다음의 ST32에서는, 정면시 화상(A0)에 관해, 검사 전에 등록된 모델을 이용한 패턴 매칭 처리를 실행하고, 모델과 가장 잘 일치하는 영역을 특정하여 계측 대상 영역으로 한다. 계측 대상 영역의 탐색은, 지정 영역이 설정되어 있는 경우에는 지정 영역 내에서만 행한다. 계측 대상 영역의 특정 처리는 각 키(60)에 대응하는 모델마다 행하여지지만, 여기서는 설명을 간단하게 하기 위해, 하나의 모델로 한정하여 설명한다.
계측 대상 영역이 특정되면, 다음의 ST33에서는, 이 영역의 대표점(예를 들면 영역의 중심점)의 좌표를 특정한다. 이것은, 설정용 화상을 이용하여 행하여진 설정에 의거하여 대상물상의 위치를 특정하는 것에 상당한다. 대표점은 복수 특정할 수도 있다(예를 들면, 미리 정한 모델상의 복수의 특징점에 대응하는 점).
ST34에서는, 대표점의 좌표에 의거하여, 사시 화상(A1)상에 서치 영역을 설정한다. 이 경우에도, 전술한 리드 검사에서 검출 영역(8)을 설정한 경우와 마찬가지로, 미리 지정된 높이 범위의 상한치 및 하한치를 높이(Z)로 하여 호모그래피 행렬(HZ)을 설정하고, 대표점의 좌표와 높이 범위의 상한치 및 하한치를 이용하여 2회의 연산을 실행함에 의해, 화상(A1)상에서 대표점이 존재할 수 있는 범위를 구하고, 그 범위에 모델의 크기를 가미한 영역을 서치 영역으로 하고 있다.
ST35에서는, 서치 영역에 있어서, 모델 사이의 패턴 매칭 처리를 실행하여, 계측 대상 영역과 그 영역 내의 대표점의 위치를 특정한다. 또한 ST36에서는, 정면시, 사시의 각 화상(A0, A1)에서의 계측 대상 영역의 대표점의 좌표를 이용하여 3차원 좌표를 산출한다. 뒤이어, ST37에서는, 산출된 3차원 좌표중의 Z좌표를 소정의 임계치와 비교함에 의해, 키의 높이의 적부(適否)를 판별한다. 그리고, ST38에서, 판별 결과를 출력하고, 처리를 종료한다.
기준 화상(A0)상에서, 모델에 정한 특징점에 대응하는 점을 대표점으로서 특정한 경우에는, ST36에서도, 마찬가지로, 모델상의 대응점을 특정할 수 있다. 또한, ST35에서는, 지정된 높이 범위 내의 소정 높이(예를 들면 워크가 정상인 때의 표준이 되는 높이)에 대응하는 호모그래피 행렬을 이용하여 모델을 사시 카메라(C1)에 촬상되어야 할 형상으로 변환하고, 그 변환 후의 모델을 이용하여 계측 대상 영역을 특정하도록 하여도 좋다. 역으로, 사시 화상(A1)을 정면시 화상으로 변환하고, 변환된 화상상에서 모델에 일치하는 영역을 특정하도록 하여도 좋다.
도 15는, 상기한 검사에서, 정면시 화상(A0)상에서 키(60)에 관해 특정된 계측 대상 영역(71), 이 영역(71)의 위치와 크기에 의거하여 설정된 사시 화상(A1)측의 서치 영역(80), 및 서치 영역(80)에서 특정된 계측 대상 영역(81)을 도시한다.
도 14에 도시한 순서에서는, 3차원 계측 처리에 의한 검사만을 행하고 있지만, 이 검사에서도, 정면시 화상(A0)을 이용한 2차원 계측 처리에 의해, 각 키의 문자의 인쇄 상태 등의 검사를 행할 수 있다.
다음에, 중앙부에 원형 형상의 표시 영역을 갖는 워크에 관해, 그 표시 영역 내의 높이의 적부를 검사하는 경우에 관해 설명한다. 이 검사에서는, 촬영할 때마다, 정면시 화상(A0)의 일부를 모델 화상으로서 추출하고, 사시 화상(A1)에서 모델 화상과 일치하는 부분을 탐색하는 수법이 이용된다.
도 16은, 각 카메라(C0, C1)에 의해 생성된 워크(W)의 화상(A0, A1)을 도시한다. 도면중, S가 검사 대상인 문자의 표시(인쇄) 영역이다. 정면시 화상(A0)에서는, 워크(W)의 정면상(正面像)이 나타나 있기 때문에, 표시 영역(S)의 윤곽선(72)도 원형 형상으로 되어 있다. 이에 대해, 사시 화상(A1)에서는, 표시 영역(S)의 윤곽선(72)의 형상, 표시 영역(S) 내의 문자의 배치 상태 등이 왜곡되어 있다.
이 검사에 앞서서, 설정용의 대상물인 워크(W)의 양품 모델을 촬상하고, 얻어진 정면시 화상(A0)상에서, 유저에게 표시 영역(S)의 반경이나 계측 대상 영역을 지정시킨다. 이때, 화상 처리부(22)에서는, 정면시 화상(A0)으로부터 표시 영역(S)의 중심점의 위치를 구하는 처리를 실행하고, 이 중심점에 대한 계측 대상 영역의 상대 위치를 등록용 메모리에 등록한다. 이 처리는, 제 1의 카메라가 설정용의 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 설정용 화상을 이용하여, 유저에게 계측 대상 위치에 관한 설정을 시키는 것에 상당한다.
도 17은, 정면시 화상(A0)중의 표시 영역(S)을 확대하여 도시한다. 도면중, 73이 유저에 의해 지정된 계측 대상 영역이고, 74가 표시 영역(S)의 중심점이다. 이 중심점(74)의 위치는, 정면시 화상(A0)으로부터 원형 패턴을 추출하는 처리를 실행하고, 그 추출 결과 중에서 유저에 의해 지정된 크기의 원(위치 수정용 모델)에 가장 잘 합치하는 윤곽선(72)을 특정하여 구한 것이다.
도 18은, 도 16의 워크(W)에 대한 높이 검사의 순서를 도시한다.
ST4l에서는, 각 카메라(C0, C1)를 동시 구동하여, 정면시 화상(A0) 및 사시 화상(A1)을 생성한다. ST42에서는, 정면시 화상(A0)으로부터 상기한 처리에 의해, 표시 영역(S)의 중심점(74)의 위치를 구한다.
다음의 ST43에서는, ST42에서 구하여진 중심점(74)의 좌표를 기준으로, 미리 등록된 상대 위치에 의거하여 계측 대상 영역(73)을 설정한다. 그리고, 계속해서 ST44에서, 계측 대상 영역(73)의 화상을 서치용의 모델 화상으로서 등록하고, 또한 계측 대상 영역(73)의 대표점 위치(예를 들면, 영역 내의 중심점 위치)도 등록한다. 이것은, 설정용 화상을 이용하여 행하여진 설정에 의거하여 대상물상의 위치를 특정하는 것에 상당한다.
ST45에서는, 사시 화상(A1)상에 서치 영역(82)(도 19에 도시한다)을 설정한다. 서치 영역(82)의 위치나 크기는, ST44에서 등록된 대표점의 좌표를 (1)식에 대입하고, 미리 지정된 높이 범위의 상한치 및 하한치에 따른 호모그래피 행렬(HZ)을 이용하여 (1)식을 실행함에 의해 결정한다.
ST46에서는, ST44에서 등록한 모델 화상을 이용하여, 서치 영역(82)에서 상관(相關) 매칭 처리를 실행한다. 그리고, 등록한 화상에 가장 유사한 영역을 특정하고, 이것을 사시 화상(A1)측의 계측 대상 영역으로 한다. ST47에서는, 사시 화상(A1)측의 계측 대상 영역에 관해, 대표점의 좌표를 구하고, 이 좌표와 정면시 화상(A0)측의 대표점의 좌표를 이용하여 3차원 좌표를 산출한다. 계속해서 ST48에서는, 구하여진 Z좌표의 적부를 판정한다. 그리고, ST49에서의 판정 결과를 출력하 고, 그러한 후에 처리를 종료한다.
도 19의 (1), (2)는, 각각 1조(組)의 정면시 화상(A0)과 사시 화상(A1)에 관해, 정면시 화상(A0)에서의 계측 대상 영역(73), 사시 화상(A1)에서의 서치 영역(82) 및 계측 대상 영역(83)을 도시한다. 또한, 정면시 화상(A0)에서는, 표시 영역(S)의 윤곽선(72)을 태선으로 하여 나타냄과 함께, 표시 영역(S)의 중심점(74)의 구하여진 위치를 나타내고 있다. 도 19의 (1)의 화상과 (2)의 화상에서는, 워크(W)의 위치가 다르지만, 어느 경우도 계측 대상 영역(73)은, 그 중에 목표로하는 문자가 수속되도록 올바르게 설정되어 있다.
상기 도 18에 도시한 검사의 순서에 의하면, 중심점(74)의 추출 처리나 영역(73)의 위치 조정 처리는, 정면시 화상(A0)을 이용하여 행하여지기 때문에, 화상의 왜곡을 고려할 필요가 없고, 중심점(74)에 대한 상대 위치 관계에 의해 계측 대상 영역(73)을 적절한 위치에 설정할 수 있다. 도 19의 예에서도, (1)의 예의 화상과 (2)의 예의 화상에서는, 워크(W)의 위치가 다르지만, 계측 대상 영역(73)은 같은 조건으로 설정되어 있다.
또한, 도 18에 도시한 검사의 순서에 의하면, 검사 대상의 워크(W)마다에 그 워크(W)로부터 서치용의 모델 화상을 취득하기 때문에, 3차원 계측의 대상으로 하는 문자 등의 표면 패턴이 워크(W)마다에 다른 경우에도, 동일한 순서를 적용하여 3차원 계측을 행할 수 있다. 여기서는, 표면 패턴은 워크(W)마다에 다를지도 모르지만, 워크(W)의 형상과 워크(W)의 형상을 기준으로 한 계측 대상 영역의 위치는 어느 워크(W)에서도 공통인 것을 이용하여 계측 대상 영역을 설정하고 있다.
도 18의 순서에서도, 등록한 서치용의 모델 화상을 호모그래피 행렬(Hz)을 이용하여 사시 카메라(C1)에 촬상되어야 할 형상으로 변환하고, 변환 후의 화상을 이용하여 계측 대상 영역(83)을 특정하도록 하여도 좋다. 역으로, 사시 화상(A1)을 정면시 화상으로 변환하고, 변환된 화상상에서 모델에 일치하는 계측 대상 영역(83)을 특정하도록 하여도 좋다.
또한, 도 18의 순서에도, 정면시 화상(A0)을 이용하여 표시 영역(S) 내의 문자의 인쇄 상태를 검사하는 처리를 조립할 수 있다.
그런데, 상기한 검사 장치에서는, 정면시 화상의 생성을 위해, 한쪽의 카메라(C0)를 광축을 연직 방향으로 하여 설치했지만, 이 카메라(C0)의 광축이 경사지게 설정되어 있는 경우에도, 카메라(C0)에서 생성된 화상을 변환함에 의해, 정면시 화상을 생성할 수 있다.
도 20은, 상기한 변환 처리를 행하기 위한 캘리브레이션 방법을 도시한다. 이 방법에서는, 워크(W)의 재치면에 평행한 임의 높이의 평면상에 캘리브레이션 워크(75)를 설치하고, 카메라(C0, C1)를, 각각 경사 상방에서 캘리브레이션 워크(75)를 촬상하도록 배치한다.
이 예에서는, 캘리브레이션 워크(75)로서, 윗면에 복수의 원형의 패턴(76)을 동일 간격으로 배치한 구성의 평면형상의 워크를 사용하고 있다.
캘리브레이션 처리에서는, 광축을 연직 방향을 향하여 설치된 가상의 카메라(C2)를 상정하고, 이 카메라(C2)에 의해 캘리브레이션 워크(75)를 촬상한 경우에 얻어지는 가상의 화상을 상정한다. 그리고, 도 21에 도사하는 바와 같이, 카메 라(C0)에 의해 생성된 화상(A0)을 가상의 카메라(C2)에 의한 화상(B0)으로 변환하기 위한 호모그래피 행렬을 구한다. 그를 위해, 우선, 화상(A0 및 B0)상에서 각 원형 패턴의 중심 좌표를 구한다. 화상(A0)에 관해서는, 실제의 화상으로부터 타원형상으로 왜곡되어 있는 원형 패턴의 중심의 좌표(중심(重心) 좌표 등)를 구한다. 화상(B0)에 관해서는, 가상 카메라(C2)에 임의의 촬상 배율을 설정하고, 캘리브레이션 워크(75)상의 원형 패턴의 실제의 간격을, 가상 카메라(C2)에 설정한 배율을 이용하여 화상상의 간격(d)으로 변환함에 의해, 화상상의 원형 패턴의 중심의 좌표를 산출한다. 그리고 각 원형 패턴의 배열 순서에 의거하여, 화상(A0, B0) 사이에서 대응하는 원의 중심 위치의 조합을 특정하고, 이들의 원의 중심의 좌표를 이용한 최소제곱법에 의해, 호모그래피 행렬을 구할 수 있다.
도 20의 카메라 배치에 의하면, 워크(W)에 대해 정면시를 행하는 가상의 카메라(C2)의 광축 방향에서의 촬상 대상 개소의 높이가 「정면시 높이」로 된다. 정면시 높이는, 카메라(C2)의 광축 방향에 직교하는 임의의 평면(예를 들면 워크(W)의 재치면)을 기준으로 표시된다. 이 기준의 평면은, 일반적으로 수평면이지만, 이것으로 한하지 않고, 수평면에 대해 경사를 갖는 면이나 수직면을 기준면으로 하여도 좋다.
상기한 캘리브레이션 처리에 의해 호모그래피 행렬이 정해지면, 캘리브레이션 워크(75)와 동등한 정면시 높이에 있는 평면에 관해, 카메라(C0)로부터의 화상(A0)을 이용한 변환 처리에 의해, 스케일이 판명되어 있는 정면시 화상을 생성할 수 있다.
다만, 캘리브레이션 워크(75)와 평행하지만 정면시 높이가 캘리브레이션 워크(75)와는 다른 평면을 촬상 대상으로 하는 경우에도, 같은 변환 연산에 의해 정면시 화상을 얻을 수 있다. 단, 캘리브레이션 워크(75)와 같은 정면시 높이에 있는 평면이 변환된 때의 정면시 화상에 비하면, 촬상 대상 평면이 캘리브레이션 워크(75)보다도 카메라(C2)에 가깝게 위치하는 경우에는, 확대된 정면시 화상으로 변환된다. 또한, 카메라(C2)에서 보아, 촬상 대상 평면의 쪽이 캘리브레이션 워크(75)보다도 멀리 위치하는 경우에는, 촬상 대상 평면이 캘리브레이션 워크(75)와 같은 정면시 높이에 있는 경우보다도 축소된 정면시 화상으로 변환된다.
따라서 촬상 대상 평면의 정면시 높이를 알고 있으면, 정면시 화상으로 변환한 때의 화상의 확대 축소의 정도는 계산으로 구할 수 있다. 따라서 정면시 높이를 알고 있는 촬상 대상면에 관해서는, 변환된 정면시 화상상에서 치수 계측을 하는 것이 가능하다.
이하, 도 20과 같이 카메라(C0, C1)를 함께 사시 배치한 검사 장치에 관해 설명한다. 전체의 블록 구성은 도 3에 도시한 것과 같지만, 연산 처리부(20)로서의 컴퓨터에는, 카메라(C0)에 의해 생성된 사시 화상을 정면시 화상으로 변환하는 변환 연산을 행하는 기능(변환 수단)이 설정된다. 변환에 의해 얻어진 정면시 화상(이하, 정면시 변환 화상이라고 한다)이 모니터(3)의 화면상에 표시될 때의 크기를 정하는 요인에는, 가상 결상 배율과 표시 배율이 있다. 또한, 설정용의 워크(W)에 관한 정면시 변환 화상은 설정용 화상에 상당하고, 계측 대상의 워크(W)에 관한 정면시 변환 화상은 제 1의 화상에 상당한다.
가상 결상 배율은, 동일한 정면시 높이에 있는 워크(W)상의 2점 사이의 실제의 거리와 가상의 카메라(C2)의 가상 결상면에 결상된 해당 2점 사이의 거리와의 비율이고, 실제의 거리를 1로 하였을 때의 가상 결상면상의 거리로 나타낸다. 가상 결상 배율은, 촬상 대상이 가상 카메라(C2)로부터 멀어지면 작아진다는 것과 같이, 촬상 대상의 정면시 높이에 의해 변화한다.
가상 결상 배율은, 가상 카메라(C2)의 초점 거리가 변경되었다고 가정하고, 정면시 변환 연산의 파라미터를 조정함에 의해서도 변경 가능하지만, 여기서는, 가상 카메라(C2)의 초점 거리는 고정으로 한다.
표시 배율은, 가상 결상면상의 2점 사이의 거리와 모니터에 표시된 해당 2점 사이의 거리와의 비율이다. 표시 배율은 화상을 확대 또는 축소하는 연산을 행함에 의해 변경할 수 있다. 표시 배율은, 계측에 이용하는 스케일에 영향받지 않고, 후술하는 스케일 도형의 크기와 표시되는 정면시 변환 화상의 크기와의 비율에도 영향을 받지 않기 때문에, 화상이 표시 화면면상에서 관찰하기 쉬워지도록 적당한 값으로 선택하면 좋다. 예를 들면, 카메라(C0)로 촬영된 사시 화상과 정면시 변환 화상 사이에서 워크(W)의 상의 크기가 그다지 변화하지 않도록 정면시 변환 화상의 표시 배율을 선택하면, 이들의 화상의 한쪽으로부터 다른쪽으로 표시 내용을 전환한 때에 화상 내용을 파악하기 쉽다.
상술한 바와 같이, 캘리브레이션 워크(75)와 같은 정면시 높이에 있는 평면에 관해서는 캘리브레이션할 때에 이용한 가상 결상 배율을 그대로 적용할 수 있다.
정면시 높이를 지정하면, 그에 대응하는 가상 결상 배율을 계산으로 구할 수 있다. 가상 결상 배율을 알면, 그 정면시 높이에 있는 계측 대상 개소에 관한 치수 계측을, 정면시 변환 화상을 이용하여 올바르게 행할 수 있다.
이 치수 계측 및 가상 결상 배율의 전제(前提)가 되는 정면시 높이를 스케일 기준 높이라고 부른다. 즉, 스케일 기준 높이란, 정면시 변환 화상에서의 치수로부터 계측 대상 개소의 실제의 치수를 구할 때에 전제가 되는 계측 대상 개소의 정면시 높이라고 할 수 있다.
또한, 정면시 변환 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 정보를 스케일 정보라고 부른다. 예를 들면, 정면시 변환 화상의 1픽셀에 대응하는 실제의 치수를, 스케일 정보로서 설정할 수 있다. 스케일 기준 높이와 스케일 정보는 서로 정합(整合)하고 있어야 하고, 한쪽을 변경하면 다른쪽도 변경되어야 하는 관계에 있다.
도 22는, 검사에 앞서서 행하여지는 설정 처리의 순서를 도시한다. 우선, ST51에서, 카메라(C0)로 설정용의 워크(W)(설정용의 대상물)를 촬영한다. 다음에, ST52에서는, 촬영된 사시 화상을 정면시 화상으로 변환한다. 이 변환 연제용의 프로그램이 동작하는 연산 처리부(20)가 변환 수단으로서 작용한다. 후술하는 검사에 있어서 사시 화상으로부터 정면시 화상으로의 변환에 관해서도 마찬가지이다.
변환 처리에 의해 얻어진 정면시 변환 화상은 설정용 화상으로서 이용된다.
ST53에서는, 스케일 기준 높이 및 스케일 정보를 설정한다. 구체적으로는, 설정용 워크의 계측 대상 부위의 정면시 높이에 관해, 유저의 입력을 접수하고, 입 력된 값을 스케일 기준 높이로 한다. 또한, 스케일 기준 높이로부터 스케일 정보를 산출하고, 스케일 기준 높이 및 스케일 정보를 연산 처리부(20)에 기억한다.
ST54에서는, 설정용 화상을 이용하여 유저에게 계측 처리에 필요한 설정을 시킨다. 구체적인 설정 내용의 예는, 앞서의 카메라(C0)가 정면시 배치의 경우의 리드 검사, 문자 키의 검사, 워크의 높이 검사에 관해 행하여지는 것과 마찬가지이다. 또한, 계측시에 어떠한 처리를 어떠한 순서로 행하는 것인지도 설정시킨다.
상기한 ST53에서는, 스케일 기준 높이로서, 예를 들면, 워크(W)의 재치면에 대한 계측 대상 개소의 높이를 나타내는 치수를 입력시킨다. 정면시 높이나 스케일 기준 높이의 값은, 장치의 내부에서는, 반드시 워크(W)의 재치면을 기준으로 하여 표현되어 있을 필요는 없고, 예를 들면 도 10의 좌표계에서의 Z좌표의 값으로서 표현되어 있어도 좋다. 또는, 서로 좌표 변환이 가능한 다른 임의의 좌표계에 의해 표현되어 있어도 좋다.
그러나, 유저에게 입력시키는 스케일 기준 높이는, 유저가 계측 대상 개소의 높이로서 자연히 인식할 수 있는 높이인 것이 바람직하다. 워크(W)의 재치면을 기준으로 한 계측 대상 개소의 높이를 스케일 기준 높이로 함에 의해, 장치의 내부 처리의 상세를 이해하지 않는 유저라도, 스케일 기준 높이로서 입력이 요구되어 있는 것이 어느 치수인지를 용이하게 이해할 수 있다.
단, 이 ST53의 스텝을 생략하고, 그 대신에, 예를 들면 캘리브레이션 워크(75)의 정면시 높이와 같은, 어떠한 기정치를 스케일 기준 높이로서 이용할 수 있는 경우가 있다. 일반적으로 가상 결상 배율은, 그 값이 작은 것이 많다. 그와 같은 경우에는, 계측 대상 개소의 정면시 높이가 스케일 기준 높이와 달라도 스케일의 오차는 비교적 작다. 따라서 치수나 면적의 고정밀도의 계측을 필요로 하지 않는 경우, 예를 들면 오염의 유무 판별, 외형 윤곽에서의 결함 검출, 문자의 종류 판별 등을 목적으로 하는 2차원 화상 처리를 행하는 경우에는, 검사 대상 개소의 정면시 높이의 다름에 따라 그때마다 스케일 기준 높이를 입력하는 일 없이, 스케일 기준 높이로서 기정치를 이용하여도 지장이 없는 경우가 많다. 또한, 3차원 계측을 위한 계측 대상 위치를 특정하는 경우에도, 마찬가지로 스케일 기준 높이로서 기정치를 지장없이 이용할 수 있는 경우가 많다.
도 23은, 상기한 설정 처리가 종료된 후에 실행되는 검사의 순서의 한 예를 도시한다.
우선, ST61에서는, 워크 검출용의 센서로부터의 검지 신호에 응하여 카메라(C0 밍 C1)로 워크(계측 대상인 대상물)(W)를 촬영한다. ST62에서는, 카메라(C0)로 촬영된 사시 화상을 정면시 화상으로 변환함에 의해, 제 1의 화상을 얻는다. ST63에서는, 제 1의 화상상에서 3차원 계측의 대상으로 하는 위치를 특정한다. 이 위치 특정하는 수법의 예는, 앞서 카메라(C0)가 정면시 배치인 경우의 각종 검사에 관해 설명한 것과 마찬가지이다. ST64에서는, 카메라(C1)로 촬영된 제 2의 화상상에서, 제 1의 화상상의 앞서 특정된 위치에 대응하는 위치를 특정한다.
ST65에서는, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 이용하여 3차원 좌표를 산출한다. ST66에서는, 제 1의 화상을 이용하여 2차원 계측을 행한다. 제 1의 화상은 정면시 변환 화상이기 때문에, 종래부터, 정면시 화상을 처리 대상으로 하는 것을 전제로 하여 개발된 여러가지의 2차원 화상 처리의 수법을 적용할 수 있다. 치수 또한 면적의 계측을 수반하는 2차원 계측을 행하는 경우는, 도 22의 설정 처리에서 설정된 스케일 정보를 이용한다. 이때, 2차원 계측용의 프로그램이 동작하는 연산 처리부(20)가 2차원 화상 처리 수단으로서 작용한다. ST66의 계측이 종료되면, ST67에서, ST65, 66에서 얻은 계측 결과의 양부의 판정 처리를 실행한다. 이 후는, ST61로 되돌아와, 다음의 워크(W)가 오는 것을 기다린다.
도 23의 ST63 내지 66은, 계측 처리를 위한 스텝에 상당하지만, 이들 스텝의 처리 내용과 순서에 관해서는, 여러가지의 설정이 있을 수 있다. 예를 들면, 복수의 점에 관해 3차원 계측하도록 하여도 좋다. 그 경우, ST63, ST64의 각각 중에서 복수의 위치를 특정하고, ST65 중에서 복수의 점의 3차원 좌표를 산출하는 것도 생각되고, 하나의 점에 관해 위치 특정과 3차원 좌표 산출을 하는 ST63부터 ST65까지의 스텝을 복수회 반복함에 의해, 반복의 1회에 대해 1개소씩 3차원 좌표를 산출하도록 하여도 좋다. ST66의 2차원 계측은 몇종류라도 설정 가능하고, ST62 이후라면 어느 타이밍에서 2차원 계측을 실행하도록 설정하여도 좋다.
도 24는, 검사의 순서의 다른 예이다. 이 검사를 행하는 경우에는, 도 22의 ST54에서 정면시 높이의 허용 범위가 유저에 의해 설정되고, 연산 처리부(20)에 기억되어 있는 것으로 한다. 정면시 높이의 허용 범위는, 스케일 기준 높이를 그 범위 중에 포함하도록 정해져 있다. 정면시 높이의 허용 범위는, 계측 대상 개소의 정면시 높이가 그 범위 내에 있으면, 정면시 변환 화상의 스케일의 오차가 상정하는 범위 내로 수속된다는 관점에서 정해지는 것이고, 워크(W)의 양부에 관한 판정 기준과는 다르다.
ST61부터 ST67까지는 각각 도 23의 같은 부호의 처리와 같은 내용이다. ST71의 처리는, ST65에서 산출된 3차원 좌표가 나타내는 정면시 높이가, 설정되어 있는 허용 범위에 포함되어 있는지의 여부를 판정한 것이다. 이 판정을 행하는 프로그램이 동작하는 연산 처리부(20)가 판정 수단으로서 작용한다.
산출된 3차원 좌표가 정면시 높이의 허용 범위에 없으면, ST72의 통보 처리를 경유하여 ST61로 되돌아오고, 허용 범위 내에 있으면 통보 처리를 행하지 않고 ST61로 되돌아온다. ST72로 진행한 때에는, 2차원 계측에서 이용되는 스케일 정보가 나타내는 스케일과, 제 1의 화상의 실제의 스케일 사이에, 상정되는 정도보다도 큰 차이가 있는 것에 관해 통보한다. 예를 들면, 그 취지의 표시를 하거나, 경고음을 발한다. 통보의 다른 예로서, 스케일 오차가 있는 제 1의 화상에 의거하여 처리함에 의한 오차가 계측치에 포함되어 있는 취지의 표시를, 2차원 계측의 결과의 표시에 부기하도록 하여도 좋다.
도 25는, 검사의 순서의 또다른 예이다. ST61부터 ST65까지, 및 ST67의 처리 내용은, 각각 도 23의 같은 부호의 처리와 같은 내용이다. ST81에서는, ST65에서 구하여진 3차원 좌표가 나타내는 정면시 높이를 스케일 기준 높이로 하여 제 1의 화상의 스케일 정보를 산출한다. 이 스케일 정보의 산출을 행하는 프로그램이 동작하는 연산 처리부(20)가 스케일 정보 산출 수단으로서 작용한다. ST82에서는, 산출된 스케일 정보를 이용하여, 제 1의 화상에 관한 2차원 계측을 행한다.
다음에, 도 26은, 도 22에 도시한 설정 처리의 순서를, 유저가 스케일 기준 높이 및 스케일 정보의 설정의 적부를 확인하면서 설정치를 조정할 수 있도록 변경한 것이다. 이 순서에서는, 우선, ST91에서 카메라(C0)로 설정용의 워크(W)를 촬영한다. 다음에, ST92에서는, 촬영된 사시 화상을 정면시 화상으로 변환한다. 얻어진 정면시 변환 화상은 설정용 화상으로서 이용된다. 또한, 이때, 모니터(3)에는, 정면시 변환 화상 및 변환 전의 원화상을 포함하는 설정용의 윈도우(90)(도 28에 도시한다)가 표시된다.
상세는 후기하지만, 이 단계에서는, 스케일 기준 높이의 초기치로서, 캘리브레이션시에 입력된 캘리브레이션 워크(75)의 정면시 높이가 설정되어 있다. 다음의 ST94에서는, 유저에게, 설정용 윈도우(90)를 이용하여 스케일 기준 높이의 값을 변경하는 조작을 행하게 하고, 그 조작에 응하여 스케일 기준 높이 및 스케일 정보를 변경한다. 이 변경 조작은, 유저가 스케일 기준 높이가 적절하게 되었다고 판단할 때까지 반복하여 실행된다. 변경 처리가 종료되면 ST95로 진행하고, 도 22의 ST54의 경우와 마찬가지로, 설정용 화상을 이용하여 유저에게 계측 처리에 필요한 설정을 행하게 한다.
도 27은, 상기한 설정 처리할 때의 카메라(C0)에 의한 설정용의 워크(W)의 촬영 상황을 도시한다(카메라(C1)도 마련되어 있지만 도시를 생략한다). 설정용 워크(W)는 계측 대상의 워크(W) 중에서 선택된 양품으로 한다. 여기서의 워크(W)는, 전체 형상이 육면체이다. 부호 T는 워크(W)의 윗면이다. 도 27에는 가상적인 평면(R0, R1, R2, R3)이 도시되어 있다. R0은 워크(W)의 재치면이고, 예를 들면 워크(W)가 재치되는 벨트 컨베어의 표면이다. 평면(R1, R2, R3)은 R0에 평행하며, 각 각 R0로부터의 높이가 h1, h2, h3(h1<h2hh3)이고, 평면(R2)의 높이(h2)가 워크(W)의 윗면(T)의 높이에 일치하고 있다. 또한, 캘리브레이션은, 캘리브레이션 워크(75)를 평면(R1)의 높이에 두고 행하여지고, 스케일 기준 높이의 초기치로서, 평면(Rl)의 높이(h1)가 설정되어 있다.
도 28은, 도 27의 촬상 상태하에서 모니터(3)에 표시되는 설정용 윈도우(90)의 내용을 도시한다. 이 윈도우(90)에는, 카메라(C0)에 의해 촬영된 설정용 워크(W)의 화상(91), 편집 화상(92), 스케일 기준 높이의 조정 바(93) 및 조정 핸들(94), 스케일 기준 높이의 수치 표시부(95), 스케일 기준 높이의 확정 버튼(96), 스케일 도형의 치수 입력부(97), 스케일 도형의 종류의 선택부(98)가 표시되어 있다. 편집 화상(92)에는 워크(W)의 정면시 변환 화상에 더하여, 스케일 도형(99)도 표시되어 있다. 편집 화상(92)의 내용을 작성하는 프로그램이 동작하는 연제 처리부(20)가 화상 편집 수단으로서 작용한다.
카메라(C0)에 의해 촬영된 화상(91)에서는, 워크(W)의 윗면(T)은 사다리꼴로 표시 되어 있지만, 편집 화상(92)에서는 본래의 정사각형으로 변환되어 표시되어 있다. 그러나, 스케일 기준 높이의 초기치가 캘리브레이션 워크(75)의 정면시 높이인 h1로 설정되어 있는 것에 대하여, 실제의 윗면(T)의 정면시 높이가 h2이기 때문에, 변환 표시되어 있는 윗면(T)의 스케일에는 홍차가 생기고 있다. 즉, 윗면(T)은, 그것이 스케일 기준 높이에 맞았다고 한 경우보다도 크게 표시되어 있다.
스케일 도형(99)은, 스케일 기준 높이에서의 가상 결상 배율에 의거하여, 스케일 기준 높이에 있는 평면상에서의 실제의 치수를 모니터(3)의 표시 화면상에서 나타내는 도형이다. 스케일 도형(99)의 종류는, 선택부(98)에서, 정사각형, 원, 그리드의 어느 하나를 선택할 수 있다. 치수 입력부(97)에 입력하는 치수는, 스케일 도형(99)이 정사각형인 경우는 1변의 길이, 원인 경우는 직경, 그리드인 경우는 그리드선의 간격을 의미한다. 스케일 도형(99)은, 워크(W)의 정면시 변환 화상과의 비교를 하기 쉽도록, 드래그 조작에 의해, 편집 화상(92) 내의 임의의 위치로 이동시킬 수 있다.
여기서, 스케일 화상(99)으로서 워크(W)의 윗면(T)의 형상과 비교하기 쉬운 도형을 선택하고(여기서는 윗면(T)과 같은 형상인 정사각형을 선택하였다), 치수 입력부(97)에 워크(W0)의 상면(T)의 크기와 비교하는데 적합한 값을 입력하면(여기서는 윗면(T)의 변의 길이와 같은 치수를 입력하였다), 워크(W)의 윗면(T)(계측 대상 개소)의 실제의 높이가 스케일 기준 높이보다도 높으면(가상 카메라(C2)에 가까우면), 스케일 도형(99)과 대비하여 인식되는 윗면(T)의 크기는 실제보다도 커지고, 반대의 경우는 실제보다도 작아진다.
따라서 설정용 워크(W)의 계측 대상 개소의 크기가 기지이면, 모니터(3)상에서 관찰된 워크(W)의 형상과 비교하기 쉬운 스케일 화상(99)을 선택하고, 그 치수를 계측 대상 개소의 기지의 크기와 비교하는데 적합한 값으로 설정한 때, 워크(W)의 정면시 변환 화상에서의 계측 대상 개소의 크기와 스케일 도형(99)의 크기의 비율이 올바르게 되어 있으면, 그 때의 스케일 기준 높이는 워크(W)의 계측 대상 개소(이 경우는 윗면(T))의 정면시 높이와 일치한다.
도 26에서 ST93을 최초에 실행할 때에는, 스케일 기준 높이의 초기치로부터 스케일 정보의 초기치를 산출한 후에, 유저가 선택한 스케일 도형(99)을, 치수 입력부(97)에 입력된 치수 및 스케일 정보의 초기치에 응한 크기로서 편집 화상(92)상에 나타내고, 유저에게 스케일 기준 높이의 조정을 행하게 한다. 또한, 조정할 때마다, 그 조정된 스케일 기준 높이로부터 스케일 정보를 산출하고, 그 산출 결과에 의거하여 스케일 도형(99)의 크기를 변화시킨다.
스케일 기준 높이는, 조정 핸들(94)을 조정 바(93)에 따라 드래그 조작함에 의해 조정할 수 있다. 현시점에서의 조정 기준 높이는 스케일 기준 높이의 수치 표시부(95)에 표시된다. 스케일 기준 높이의 조정이 종료되면, 확정 버튼(96)을 누름에 의해, 도 26의 ST94로부터 ST95로 진행하는 처리가 행하여진다. 이때에 스케일 정보도 확정된다. 이와 같이 하여, 스케일 기준 높이 및 스케일 정보가 정합적으로 변경된다. 이 일련의 처리를 행하기 위한 프로그램이 동작하는 연산 처리부(20)가 조정 수단으로서 작용한다.
도 29는, 도 28에 도시한 편집 화상(92)에 관해, 스케일 기준 높이의 변경에 수반하는 표시 내용의 변화를 도시한다. 편집 화상(92a)은, 스케일 기준 높이를 초기치인 h1로 한 경우이다. 지금, 윗면(T)은 1변 100㎜의 정사각형인 것으로 하고, 스케일 도형(99)으로서 1변 100㎜의 정사각형을 표시하고 있는 것으로 한다. 이 경우에 표시되어 있는 스케일도형(99)은, 스케일 기준 높이(이 경우는 높이(h1))에 1변 100㎜의 정사각형이 있다고 하여, 이것을 촬영한 경우에, 이 촬영된 정사각형을 정면시 변환한 경우에 표시되어야 할 도형에 상당한다. 실제의 윗면(T)은 h2의 높이에 있기 때문에, 스케일 도형(99)보다도 크게 표시되어 있다.
스케일 기준 높이를 h2로 조정하면, 편집 화상(92b)에 도사하는 바와 같이, 윗면(T)의 크기와 스케일 도형의 크기가 일치한 편집 화상이 얻어진다. 또한, 스케일 기준 높이를 h3까지 크게 하면, 편집 화상(92c)에 도사하는 바와 같이, 스케일 도형(99)이 윗면(T)의 정면시 변환 화상보다도 크게 표시되게 된다.
상기한 조작에 의해, 유저는, 스케일 기준 높이를 h2로 설정한 때에, 그 설정치가 윗면(T)의 정면시 높이에 일치한다고 판단할 수 있다. 드래그 조작에 의해 스케일 도형(99)을 윗면(T)의 정면시 변환 화상에 겹치면, 보다 정확하게 크기를 대비할 수 있다.
이와 같이, 유저는, 편집 화상중의 계측 대상 개소와 스케일 화상(99)과의 비율이 올바른 상태가 될 때까지 스케일 기준 높이를 조정함에 의해, 스케일 기준 높이를 계측 대상 개소의 정면시 높이에 올바르게 맞출 수 있다. 이로써, 스케일 정보도 올바르게 설정할 수 있다.
상기한 표시에 의하면, 유저는, 설정용 워크(W)의 계측 대상 개소의 정면시 높이와 스케일 기준 높이가 대략 일치하고 있는 것을 편집 화상(92)의 표시에 의해 직접 확인할 수 있다. 이 높이의 일치에 관한 오차가 작으면, 제 2의 화상상에서의 높이 방향의 대응 위치 탐색 범위가 작아도 대응 위치를 찾아낼 수 있다. 또한, 이 높이의 일치에 관한 오차가 작으면, 제 1의 화상을 이용하여 치수 계측이나 면적 계측을 포함하는 2차원 계측을 한 경우에 계측 결과의 오차가 작아진다.
이와 같이, 상기한 예에서는, 편집 화상(92)을 보면서 스케일 기준 높이를 계측 대상 개소의 정면시 높이에 맞추는 조정을 행하였지만, 유저는 반드시 스케일 기준 높이의 개념을 이해할 필요는 없기 때문에, 유저에 대해 조정 대상이 스케일 기준 높이인 것을 나타내는 것도, 반드시는 필요하지 않다. 예를 들면, 유저에 대해서는 정면시 변환 화상의 스케일의 조정인 것으로 보이고, 실제로는 기준 높이의 조정이 되도록 하여도 좋다. 또한, 실제로도 정면시 변환 화상의 스케일의 조정 처리를 행하고, 스케일의 조정 결과로부터 대응하는 스케일 기준 높이를 산출하도록 하여도 좋다.
예를 들면, 스케일 기준 높이를 직접 조정하는 대신에, 워크(W)의 정면시 변환 화상에서의 계측 대상 개소의 크기와 스케일 도형(99)의 크기와의 비율이 올바르게 되도록, 스케일 도형(99) 및 워크(W)의 정면시 변환 화상의 어느 한쪽을 확대 또는 축소하고, 또는 양쪽을 서로 다른 비율로 확대 또는 축소하고, 이들의 확대 축소율로부터 스케일 정보를 구함과 함께, 대응하는 스케일 기준 높이를 계산하도록 하여도 좋다.
이와 같은, 워크(W)의 정면시 변환 화상에서의 계측 대상 개소의 크기와 스케일 도형(99)의 크기와의 비율을 참조하면서 최종적으로 스케일 기준 높이를 구하는 수법은, 워크(W)의 계측 대상 개소의 정면시 높이를 알지 못하고, 모니터(3)에 표시되는 화상을 보면서 스케일 기준 높이를 설정한 경우에 활용할 수 있다.
그런데, 스케일 기준 높이 및 스케일 정보의 한쪽부터 다른쪽을 구한 수법은, 사시 화상으로부터 변환한 정면시 화상을 2차원 계측의 대상으로 하는 경우로 한하지 않고, 도 1과 같이, 카메라(C0)를 정면시를 행하도록 배치하여 촬영한 경우의 정면시 ISJ 상을 2차원 계측의 대상으로 하는 경우에도, 적용하는 것이 가능하 다. 이 경우에도 마찬가지로 설정의 용이함의 이점을 얻을 수 있다.
또한, 제 1의 카메라가 사시 배치, 정면시 배치의 어느 경우에도, 3차원 계측의 결과에 의해 나타나는 정면시 높이와 스케일 기준 높이를 비교함에 의해, 스케일 정보의 값이 적정한지의 여부에 관한 평가를 행할 수 있다. 이와 같이 하여, 3차원 계측을 행하는 것이 2차원 계측의 정확성을 검증하는 것에 기여한다.
말할 것도 없이, 도 24를 이용하여 설명한, 산출된 3차원 좌표가 나타내는 정면시 높이가 허용 범위에 포함되어 있는지의 여부를 판정하는 수법, 도 25를 이용하여 설명한, 산출된 3차원 좌표가 나타내는 정면시 높이를 이용하여 스케일 정보를 산출하는 수법, 도 26부터 도 29까지를 이용하여 설명한, 유저에 의한 조작에 의거하여 스케일 기준 높이를 조정하는 수법은, 어느것이나 제 1의 카메라(C0)가 정면시의 방향을 향하여 배치되어 있는 경우에도 적용할 수 있다.
스케일 기준 높이로부터 스케일 정보를 산출하는 경우에 이용하는 스케일 기준 높이로서는, 유저에 의해 입력된 값을 이용하여도 좋고, 장치 자신이 실제로 워크(W)를 대상으로 계측한 정면시 높이를 이용하여도 좋다. 이 정면시 높이의 계측은, 제 1, 제 2의 카메라를 이용하는 3차원 계측 기능에 의해 계측하여도 좋지만, 정면시 높이 계측용의 센서를 마련하여, 이 센서에 의해 계측하도록 하여도 좋다. 정면시 높이 계측용의 센서로서는, 레이저 빔의 투사와 그 반사광의 수광에 의거하는 3각 측거 방식의 레이저 변위계나, 프로브 접촉식의 변위계 등, 주지의 여러가지의 센서를 이용할 수 있다.
이상의 개시에 의거하여, 이하에 기술하는 화상 처리 장치도 인식된다.
(A) 제 1의 카메라가 대상물을 촬영한 화상에 의거하여 얻어지는 정면시 화상인 제 1의 화상과, 제 1의 카메라가 촬영하는 방향과는 다른 방향에서 대상물을 촬영하도록 배치된 제 2의 카메라가 촬영한 화상에 의거한 제 2의 화상을 이용한 처리를 행하는 화상 처리 장치로서,
제 1의 카메라가 설정용의 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 설정용 화상을 이용하여, 유저에게 계측 대상 위치에 관한 설정을 시키는 설정 수단과,
제 1의 카메라가 계측 대상인 대상물을 촬영한 화상에 의거하여 얻어진 정면시 화상인 것으로서의 제 1의 화상에 대해, 상기 설정에 의거하여 대상물상의 위치를 특정하는 위치 특정 수단과,
제 1의 화상에서 특정된 상기 위치에 대응하는, 제 2의 화상에서의 위치를 특정하고, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 이용하여 3차원 좌표를 산출하는 3차원 계측 수단을 구비하고,
정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보 및 스케일 정보와 정합하는 정면시 높이인 스케일 기준 높이가 이용 가능하게 되어 있고,
또한, 제 1의 화상을 대상으로, 스케일 정보를 이용하여 2차원 화상 처리를 행하는 2차원 화상 처리 수단을 구비한 화상 처리 장치.
(B) 또한, 스케일 기준 높이를 포함하도록 정해진 정면시 높이의 허용 범위의 값이 이용 가능하게 되어 있고,
상기 3차원 계측 수단에 의해 산출된 상기 3차원 좌표가 나타내는 정면시 높이가 상기 허용 범위에 포함되어 있는지의 여부를 판정하는 판정 수단을 또한 구비한 (A)의 화상 처리 장치.
(c) 상기 3차원 계측 수단에 의해 산출된 상기 3차원 좌표가 나타내는 정면시 높이를 이용하여 스케일 정보를 산출하는 스케일 정보 산출 수단을 또한 구비한 (A)의 화상 처리 장치.
(D) 유저에 의한 조작에 의거하여 스케일 기준 높이 및 스케일 정보를 정합적으로 변경하는 조정 수단을 또한 구비한 (A)의 화상 처리 장치.
(E) 제 1의 화상에 대해 스케일 기준 높이에 있는 평면상에서의 실제의 치수를 나타내는 스케일 도형을 가한 표시용의 화상을 편집하는 화상 편집 수단을 또한 구비한 (D)의 화상 처리 장치.
(A)의 화상 처리 장치가 이용하는 정면시 화상은, 정면시 배치의 카메라로 촬영한 화상이라도 좋고, 사시 배치의 카메라로 촬영한 화상을 정면시 변환한 것이라도 좋다. 이 화상 처리 장치에 의하면, 서로 정합하는 스케일 정보 및 스케일 기준 높이가 이용 가능하고, 계측 대상인 대상물에 관해 스케일 정보를 이용한 2차원 화상 처리가 행하여짐과 함께, 3차원 계측도 행하여진다. 따라서 3차원 계측에 의해 구한 정면시 높이와 스케일 기준 높이 사이의 차이가 큰 경우에는, 스케일 정보를 이용한 2차원 화상 처리의 결과에 오차가 생기고 있는 것을 알 수 있다.
또한, 계측 대상 개소의 정면시 높이를 스케일 기준 높이로 하여, 스케일 정보를 스케일 기준 높이로부터 산출하도록 하면, 대상물의 종류가 변경되어 계측 대 상 개소의 높이가 변하는 경우에도, 스케일 정보를 용이하게 설정할 수 있다. 스케일 정보를 정하기 위한 정면시 높이는, 유저가 지정한 것이라도 화상 처리 장치 자신이 계측한 것이라도 좋다.
(B)의 화상 처리 장치에 의하면, 산출된 3차원 좌표가 정면시 높이의 허용 범위에 없는 경우에, 2차원 화상 처리 수단이 이용하는 스케일 정보가 나타내는 스케일과, 제 1의 화상의 실제의 스케일 사이에, 상정되는 정도보다도 큰 차이가 있는 것을 알 수 있다.
(C)의 화상 처리 장치에 의하면, 정면시 높이의 실측치에 의해 산출된 스케일 정보를 이용하여 2차원 화상 처리를 행하기 때문에, 대상물에 관한 보다 정확한 계측을 행할 수 있다.
(D)의 화상 처리 장치에 의하면, 유저에 의한 조작에 의거하여, 스케일 기준 높이가 3차원 계측의 대상 개소의 실제의 정면시 높이에 거의 일치하도록 조정되면, 제 2의 화상상에서 계측 대상 개소가 나타날 가능성이 있는 범위가 작아진다. 따라서 그와 같은 작은 범위를 대상으로 하여, 제 1의 화상상에서 특정된 위치에 대응하는 위치를 특정하도록 하면, 제 1의 화상, 제 2의 화상 사이에서의 계측 대상 위치의 대응시킴을 잘못할 가능성이 낮아지고, 대응 위치를 특정하는 연상에 필요로 하는 시간도 짧아진다.
또한, 유저에 의한 조작에 의거하여 스케일 정보가 올바르게 조정되면, 제 1의 화상에 대해 치수나 면적의 계측을 수반하는 여러가지의 2차원 화상 처리를 적용한 때에, 그 결과에 포함되는 오차가 적어진다.
(E)의 화상 처리 장치에 의하면, 편집된 화상이 표시되면, 유저는 표시된 스케일 도형과 계측 대상 개소의 상과의 크기의 관계가 올바르게 되도록 조정 조작을 행할 수 있다.
도 1은 본 발명이 적용된 검사 장치의 촬상부의 구성을 설치예로서 도시하는 사시도.
도 2는 각 카메라에서 촬상된 화상의 예를 도시하는 설명도.
도 3은 검사 장치의 블록도.
도 4는 IC의 검사에 관한 순서를 도시하는 플로우 차트.
도 5는 검출 영역의 설정예를 도시하는 설명도.
도 6은 티칭 처리의 순서를 도시하는 플로우 차트.
도 7은 위치 결정 영역의 설정예를 도시하는 설명도.
도 8은 리드 검사의 상세한 순서를 도시하는 플로우 차트.
도 9는 검사시의 정면시 화상중의 워크에 대한 위치 결정 영역 및 검출 영역의 관계를 도시하는 설명도.
도 10은 각 화상 사이의 대응점의 관계를 도시하는 설명도.
도 11은 서치 영역의 설정 방법을 도시하는 설명도.
도 12는 높이의 범위와 서치 영역과의 관계를 도시하는 설명도.
도 13은 워크상의 검사 대상 부위에 대한 모델 등록예를 도시하는 설명도.
도 l4는 문자 키의 검사에 관한 순서를 도시하는 플로우 차트,
도 15는 검사시의 화상에 대해, 검사 대상의 영역 및 서치 영역을 설정한 예를 도시하는 설명도.
도 16은 원형의 표시 영역을 갖는 워크에 관한 정면시 화상 및 사시 화상을 도시하는 설명도.
도 17은 양품 워크에 대한 표시 영역 및 계측 대상 영역의 지정 결과를 도시하는 설명도.
도 18은 도 16의 워크의 높이 검사를 행하는 경우의 순서를 도시하는 플로우 차트.
도 19는 계측 대상 영역 및 서치 영역이 워크의 위치 변화에 추종하는 예를 도시하는 설명도.
도 20은 정면시용의 가상의 카메라를 설정한 예를 도시한 설명도.
도 21은 사시 화상을 정면시 화상으로 변환하기 위한 방법을 도시하는 설명도.
도 22는 검사에 앞서서 행하여지는 설정의 순서를 도시하는 플로우 차트.
도 23은 정면시 화상으로의 변환 처리를 수반하는 검사의 순서의 한 예를 도시하는 플로우 차트.
도 24는 정면시 화상으로의 변환 처리를 수반하는 검사의 순서의 한 예를 도시하는 플로우 차트.
도 25는 정면시 화상으로의 변환 처리를 수반하는 검사의 순서의 한 예를 도시하는 플로우 차트.
도 26은 스케일 기준 높이 및 스케일 정보의 변경을 포함하는 설정의 순서를 도시하는 플로우 차트.
도 27은 사시 카메라에 의한 워크의 촬영 상황을 도시하는 설명도.
도 28은 모니터에 표시되는 윈도우의 내용을 도시하는 설명도.
도 29는 스케일 기준 높이의 변경에 수반하는 편집 화상의 표시 내용의 변화를 도시하는 설명도.

Claims (6)

  1. 제 1의 카메라가 대상물을 사시하는 방향에서 촬영한 화상에 의거하여 얻어지는 정면시 화상인 제 1의 화상과, 제 1의 카메라의 광축방향과 서로 다른 광축방향에서 상기 대상물을 함께 촬영하도록 배치된 제 2의 카메라가 촬영한 화상에 의거한 제 2의 화상을 이용한 처리를 행하는 화상 처리 장치로서,
    대상물을 사시하는 방향에서 촬영하도록 배치되어 있는 제 1의 카메라가 촬영한 사시 화상을 캘리브레이션 처리에 의해 호모그래피 행렬을 구하고, 구해진 호모그래피 행렬을 사용하여 상기 사시 화상을 정면시 화상으로 변환하는 변환 연산을 행하는 변환 수단과,
    제 1의 카메라가 설정용의 대상물을 촬영한 화상을 상기 변환 수단이 변환함에 의해 얻어진 설정용 화상을 이용하여, 유저에게 계측 대상 위치에 관한 설정을 시키는 설정 수단과,
    제 1의 카메라가 계측 대상인 대상물을 촬영한 화상을 상기 변환 수단이 변환함에 의해 얻어진 제 1의 화상상에서, 상기 설정에 의거하여 대상물상의 위치를 특정하는 위치 특정 수단과,
    제 1의 화상에서 특정된 상기 위치에 대응하는, 제 2의 화상에서의 위치를 특정하고, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 3각 측량법에 의해 3차원 좌표를 산출하는 3차원 계측 수단을 구비한 것을 특징으로 하는 화상 처리 장치.
  2. 제 1항에 있어서,
    상기 변환 수단에 의해 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보와, 스케일 정보와 정합하는 정면시 높이인 스케일 기준 높이의 값과, 스케일 기준 높이를 포함하도록 정하여진 정면시 높이의 허용 범위의 값이 이용 가능하게 되어 있고,
    제 1의 화상을 대상으로, 스케일 정보를 이용하여 2차원 화상 처리를 행하는 2차원 화상 처리 수단과,
    상기 3차원 계측 수단에 의해 산출된 상기 3차원 좌표가 나타내는 정면시 높이가 상기 허용 범위에 포함되어 있는지의 여부를 판정하는 판정 수단을, 또한 구비한 것을 특징으로 하는 화상 처리 장치.
  3. 제 1항에 있어서,
    상기 3차원 계측 수단에 의해 산출된 상기 3차원 좌표가 나타내는 정면시 높이를 이용하여, 변환 수단에 의해 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보를 산출하는 스케일 정보 산출 수단과,
    제 1의 화상을 대상으로, 스케일 정보를 이용하여 2차원 화상 처리를 행하는 2차원 화상 처리 수단을 또한 구비한 것을 특징으로 하는 화상 처리 장치.
  4. 제 1항에 있어서,
    상기 변환 수단에 의해 변환된 정면시 화상에서의 치수와 계측 대상 개소의 실제의 치수를 관계짓는 스케일 정보와, 스케일 정보와 정합하는 정면시 높이인 스 케일 기준 높이의 값이 이용 가능하게 되어 있고,
    유저에 의한 조작에 의거하여 스케일 기준 높이 및 스케일 정보를 정합적으로 변경하는 조정 수단을 또한 구비한 것을 특징으로 하는 화상 처리 장치.
  5. 제 4항에 있어서,
    제 1의 화상에 대해 스케일 기준 높이에 있는 평면상에서의 실제의 치수를 나타내는 스케일 도형을 가한 표시용의 화상을 편집하는 화상 편집 수단을 또한 구비한 것을 특징으로 하는 화상 처리 장치.
  6. 대상물을 사시하는 방향에서 촬영하도록 배치되어 있는 제 1의 카메라가 대상물을 촬영한 화상에 의거하여 얻어지는 정면시 화상인 제 l의 화상과, 제 1의 카메라의 광축방향과 서로 다른 광축방향에서 상기 대상물을 함께 촬영하도록 배치된 제 2의 카메라가 촬영한 화상에 의거한 제 2의 화상을 이용한 처리를 행하는 화상 처리 방법으로서,
    제 1의 카메라가 촬영한 사시 화상을 캘리브레이션 처리에 의해 호모그래피 행렬을 구하고, 구해진 호모그래피 행렬을 사용하여 상기 사시 화상을 정면시 화상으로 변환하는 변환 연산에 의해, 제 1의 카메라가 설정용의 대상물을 촬영한 화상을 설정용 화상으로 변환하고, 유저에게 상기 설정용 화상을 이용하여 계측 대상 위치에 관한 설정을 시키는 설정 스텝과,
    상기 변환 연산에 의해, 제 1의 카메라가 계측 대상인 대상물을 촬영한 화상을 제 1의 화상으로 변환하고, 제 1의 화상상에서, 상기 설정에 의거하여 대상물상의 위치를 특정하는 위치 특정 스텝과,
    제 1의 화상에서 특정된 상기 위치에 대응하는, 제 2의 화상에서의 위치를 특정하고, 특정된 제 1의 화상상의 위치와 제 2의 화상상의 위치를 3각 측량법에 의해 3차원 좌표를 산출하는 3차원 계측 스텝을 구비한 것을 특징으로 하는 화상 처리 방법.
KR1020097024679A 2005-06-17 2006-06-16 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 KR101155816B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005177616 2005-06-17
JPJP-P-2005-177616 2005-06-17
PCT/JP2006/312099 WO2006135040A1 (ja) 2005-06-17 2006-06-16 ３次元計測を行う画像処理装置および画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020067026852A Division KR20070088318A (ko) 2005-06-17 2006-06-16 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법

Publications (2)

Publication Number Publication Date
KR20100017396A KR20100017396A (ko) 2010-02-16
KR101155816B1 true KR101155816B1 (ko) 2012-06-12

Family

ID=37532393

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020067026852A KR20070088318A (ko) 2005-06-17 2006-06-16 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법
KR1020097024679A KR101155816B1 (ko) 2005-06-17 2006-06-16 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020067026852A KR20070088318A (ko) 2005-06-17 2006-06-16 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법

Country Status (6)

Country Link
US (1) US8233041B2 (ko)
EP (1) EP1788345B1 (ko)
JP (1) JP4811272B2 (ko)
KR (2) KR20070088318A (ko)
CN (1) CN100460807C (ko)
WO (1) WO2006135040A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4774824B2 (ja) * 2005-06-17 2011-09-14 オムロン株式会社 ３次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置
JP4888013B2 (ja) * 2006-09-28 2012-02-29 富士通株式会社 高さ制限算出装置、高さ制限算出方法および高さ制限算出プログラム
CN101663559A (zh) * 2007-04-03 2010-03-03 六边形度量衡股份公司 用于物体的精确测量的方法和设备
JP4492654B2 (ja) * 2007-08-29 2010-06-30 オムロン株式会社 ３次元計測方法および３次元計測装置
JP4935606B2 (ja) * 2007-09-28 2012-05-23 オムロン株式会社 撮像システム
KR100941978B1 (ko) * 2008-02-26 2010-02-11 울산대학교 산학협력단 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원위치정보 측정방법 및 장치
CN101960253B (zh) 2008-02-26 2013-05-01 株式会社高永科技 三维形状测量装置及测量方法
CA2757321C (en) * 2008-05-22 2014-10-07 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
DE102009040649A1 (de) * 2008-09-11 2010-05-20 Schott Ag Verfahren und Vorrichtung zur Erzeugung von digitalen Einzelbildern von scheibenförmigen Elementen in einem Herstellungsprozess
JP5353154B2 (ja) * 2008-09-25 2013-11-27 オムロン株式会社 画像処理装置およびそれにおける画像処理方法
CN101729737B (zh) * 2008-10-29 2012-06-20 鸿富锦精密工业（深圳）有限公司 影像校正系统及方法
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp ３次元視覚センサにおけるモデル表示方法および３次元視覚センサ
JP5257375B2 (ja) * 2009-03-13 2013-08-07 オムロン株式会社 画像処理装置および画像処理方法
CN101887030A (zh) * 2009-05-15 2010-11-17 圣戈本玻璃法国公司 用于检测透明基板表面和/或其内部的缺陷的方法及系统
US9533418B2 (en) * 2009-05-29 2017-01-03 Cognex Corporation Methods and apparatus for practical 3D vision system
EP2487487B1 (en) 2009-10-05 2020-12-02 Kawasaki Jukogyo Kabushiki Kaisha Determination support device for ultrasonic inspection, determination support method, determination support program, and computer-readable recording medium having said determination support program recorded thereon
JP5476943B2 (ja) * 2009-11-20 2014-04-23 オムロン株式会社 姿勢認識方法およびこの方法を用いた３次元視覚センサ
JP5257335B2 (ja) * 2009-11-24 2013-08-07 オムロン株式会社 ３次元視覚センサにおける計測有効領域の表示方法および３次元視覚センサ
JP5713159B2 (ja) * 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
JP5018980B2 (ja) * 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
JP5365645B2 (ja) * 2011-01-17 2013-12-11 オムロン株式会社 基板検査装置および基板検査システムならびに基板検査結果の確認用画面の表示方法
US8799769B2 (en) * 2011-02-08 2014-08-05 Ebay Inc. Application above-the-fold rendering measurements
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
KR101340555B1 (ko) * 2011-09-23 2013-12-11 광주과학기술원 기준 시점 영상 생성 장치 및 방법
CN102628693A (zh) * 2012-04-16 2012-08-08 中国航空无线电电子研究所 一种用于摄像机主轴与激光束进行平行配准的方法
CN103196375B (zh) * 2013-04-03 2015-09-30 江南大学 一种电池正负极耳胶高度的自动检测方法
JP6198312B2 (ja) * 2013-09-30 2017-09-20 Ｊｕｋｉオートメーションシステムズ株式会社 ３次元測定装置、３次元測定方法および基板の製造方法
JP6303867B2 (ja) * 2014-06-27 2018-04-04 オムロン株式会社 基板検査装置及びその制御方法
US9885563B2 (en) 2014-10-10 2018-02-06 Georgia Tech Research Corporation Dynamic digital fringe projection techniques for measuring warpage
US10334209B2 (en) 2015-12-17 2019-06-25 Nike, Inc. Image stitching for footwear component processing
CN107328331B (zh) * 2017-08-25 2023-05-23 郑州市质量技术监督检验测试中心 基于视觉的分布式钢直尺检定装置及其方法
DE102017009153B4 (de) * 2017-09-29 2021-12-09 Baumer Inspection Gmbh Anordnung und Verfahren zur Inspektion von bewegten plattenförmigen Objekten
CN109118480B (zh) * 2018-07-26 2021-01-05 北京东软医疗设备有限公司 一种调节方法及装置
WO2020067168A1 (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 採寸装置及び採寸方法
DE102020101191A1 (de) 2020-01-20 2021-07-22 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Ermitteln eines Messortes eines Mikroskops
CN112082481B (zh) * 2020-09-09 2022-04-19 易思维（杭州）科技有限公司 用于检测螺纹特征的视觉检测系统的精度评价方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137736A (ja) * 1997-05-20 1999-02-12 Ricoh Co Ltd ３次元形状計測方法及び３次元形状計測装置
JP2004046772A (ja) * 2002-05-13 2004-02-12 3D Media Co Ltd 画像処理方法、画像処理システム、及び画像処理装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972494A (en) 1988-02-26 1990-11-20 R. J. Reynolds Tobacco Company Package inspection system
NO178909C (no) * 1993-04-19 1996-06-26 Toni Rydningen Måleanordning
JP3855244B2 (ja) * 1996-08-09 2006-12-06 株式会社テクノホロン 顕微鏡を用いた３次元画像認識装置
JP3995030B2 (ja) 1996-09-17 2007-10-24 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション 半導体パッケージの検査装置
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
JPH10143660A (ja) * 1996-11-11 1998-05-29 Hitachi Ltd 欠陥判定処理方法およびその装置
US6084663A (en) * 1997-04-07 2000-07-04 Hewlett-Packard Company Method and an apparatus for inspection of a printed circuit board assembly
US6118540A (en) * 1997-07-11 2000-09-12 Semiconductor Technologies & Instruments, Inc. Method and apparatus for inspecting a workpiece
US5978521A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
US6915006B2 (en) * 1998-01-16 2005-07-05 Elwin M. Beaty Method and apparatus for three dimensional inspection of electronic components
US6072898A (en) * 1998-01-16 2000-06-06 Beaty; Elwin M. Method and apparatus for three dimensional inspection of electronic components
JPH11237210A (ja) * 1998-02-19 1999-08-31 Komatsu Ltd 半導体パッケージの検査装置
JPH11259658A (ja) 1998-03-11 1999-09-24 Omron Corp 物体認識方法およびその方法を用いた物体認識装置，車輌認識方法，車輌認識装置
GB9828109D0 (en) 1998-12-19 1999-02-17 Kestra Ltd Inspection equipment and methods of inspection
JP2000269700A (ja) * 1999-03-16 2000-09-29 Matsushita Electric Ind Co Ltd パターンマッチング認識方法
JP2001033236A (ja) * 1999-07-23 2001-02-09 Mitsubishi Heavy Ind Ltd ステレオ画像計測装置およびステレオ画像計測方法
JP2001165863A (ja) * 1999-09-30 2001-06-22 Omron Corp 画像処理装置
CN1115546C (zh) * 1999-12-29 2003-07-23 宝山钢铁股份有限公司 表面三维形貌检测方法和装置
US7075565B1 (en) * 2000-06-14 2006-07-11 Landrex Technologies Co., Ltd. Optical inspection system
JP3618649B2 (ja) * 2000-08-22 2005-02-09 アジア航測株式会社 不定形窓を用いた画像間拡張イメージマッチング方法
US6445518B1 (en) * 2000-11-28 2002-09-03 Semiconductor Technologies & Instruments, Inc. Three dimensional lead inspection system
JP4688309B2 (ja) * 2001-02-20 2011-05-25 成典 田中 ３次元コンピュータグラフィックス作成支援装置、３次元コンピュータグラフィックス作成支援方法、及び３次元コンピュータグラフィックス作成支援プログラム
AU2002315499B2 (en) * 2001-06-29 2006-08-03 Quantronix, Inc. Overhead dimensioning system and method
US7133560B2 (en) * 2002-07-09 2006-11-07 Lee Shih-Jong J Generating processing sequences for image-based decision systems
US20050089208A1 (en) * 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
US7015492B2 (en) * 2003-08-15 2006-03-21 Asm International N.V. Method and apparatus for mapping of wafers located inside a closed wafer cassette

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137736A (ja) * 1997-05-20 1999-02-12 Ricoh Co Ltd ３次元形状計測方法及び３次元形状計測装置
JP2004046772A (ja) * 2002-05-13 2004-02-12 3D Media Co Ltd 画像処理方法、画像処理システム、及び画像処理装置

Also Published As

Publication number Publication date
CN101010559A (zh) 2007-08-01
JPWO2006135040A1 (ja) 2009-01-08
CN100460807C (zh) 2009-02-11
KR20070088318A (ko) 2007-08-29
JP4811272B2 (ja) 2011-11-09
KR20100017396A (ko) 2010-02-16
WO2006135040A1 (ja) 2006-12-21
EP1788345B1 (en) 2014-03-05
EP1788345A1 (en) 2007-05-23
EP1788345A4 (en) 2010-09-01
US8233041B2 (en) 2012-07-31
US20090128648A1 (en) 2009-05-21

Similar Documents

Publication Publication Date Title
KR101155816B1 (ko) 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법
KR100785594B1 (ko) 화상 처리 장치
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
US8229208B2 (en) Transprojection of geometry data
US7450248B2 (en) Three-dimensional measuring method and three-dimensional measuring apparatus
JP4885584B2 (ja) レンジファインダ校正方法及び装置
JP6489566B2 (ja) ３次元計測装置及びその計測支援処理方法
US20060008268A1 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
CN107796718A (zh) 布氏硬度测量系统及方法
JP3932180B2 (ja) ティーチング方法、電子基板検査方法、および電子基板検査装置
JP2004172464A (ja) 半田付け検査の特徴量算出装置
JP4788475B2 (ja) 画像処理装置および画像処理方法
JP2005309914A (ja) カラー画像の処理方法および画像処理装置
JP4447441B2 (ja) 変位センサ及び変位計測方法
KR102485679B1 (ko) 측정정확도 향상을 위한 편향측정법의 보정방법
JP2004325464A (ja) 三次元情報再構成装置及び三次元情報再構成方法、基準パターン並びに撮影装置及び撮影方法。

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 8