KR20120068014A - 표면 검사용 조명·촬상 시스템 및 데이터 구조 - Google Patents

표면 검사용 조명·촬상 시스템 및 데이터 구조 Download PDF

Info

Publication number
KR20120068014A
KR20120068014A KR1020127008359A KR20127008359A KR20120068014A KR 20120068014 A KR20120068014 A KR 20120068014A KR 1020127008359 A KR1020127008359 A KR 1020127008359A KR 20127008359 A KR20127008359 A KR 20127008359A KR 20120068014 A KR20120068014 A KR 20120068014A
Authority
KR
South Korea
Prior art keywords
data
image
imaging
inspection
area
Prior art date
Application number
KR1020127008359A
Other languages
English (en)
Inventor
시게키 마스무라
Original Assignee
씨씨에스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨씨에스 가부시키가이샤 filed Critical 씨씨에스 가부시키가이샤
Publication of KR20120068014A publication Critical patent/KR20120068014A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

화상 데이터마다 검사 내용이나 유효 검사 영역이 바뀌거나 표면 검사용 조명·촬상 시스템 그 자체가 변경되어도, 화상 처리 장치측에서 공통으로 화상 처리 할 수 있도록 하기 위해 화상 처리용 데이터 구조를, 촬상 장치에 의한 촬상 화상을 나타내는 촬상 화상 데이터에, 상기 촬상 화상에 있어서 검사에 유효한 영역인 유효 촬상 영역을 나타내는 유효 촬상 영역 데이터 및 상기 유효 촬상 영역에 대해서 실시할 화상 처리의 내용을 특정하기 위한 화상 처리 특정 데이터를 관련지어 만드는 것으로 한다.

Description

표면 검사용 조명·촬상 시스템 및 데이터 구조 {ILLUMINATION/IMAGE-PICKUP SYSTEM FOR SURFACE INSPECTION AND DATA STRUCTURE}
본 발명은 3차원 표면 형상을 가지는 검사 대상물에 매우 적합하게 이용될 수 있는 표면 검사용 조명·촬상 시스템 등에 관한 것이다.
검사 대상물의 표면에 있는 상처나 요철(凹凸), 인쇄 등을 검사하는 경우, 조명 장치와 촬상 장치를 가지는 표면 검사용 조명·촬상 시스템(이하, 단지 시스템이라고 한다)이 이용된다. 이와 같은 시스템에 의한 검사 방법, 즉 조명 양태(조명의 각도, 조명의 색, 조명기구의 종류 등)이나 촬상 양태(표면에 대한 촬상 각도, 거리, 촬상 장치의 종류 등) 등은, 검사 목적(상처, 요철, 인쇄의 유무 등)이나 검사 대상물의 모양(표면 상태나 형상 등) 등으로 결정된다. 예를 들면, 경면(鏡面) 모양의 표면을 가진 검사 대상물의 상처를 검사하는 경우, 표면에 대해 비스듬히 광을 조사하는 한편 표면에 수직한 방향에서 촬상하는 검사 방법이 채용된다.
또한, 최근에는 특허 문헌 1에 알려져 있듯이, 복잡한 3 차원 형상을 가지는 검사 대상물을 로봇 팔 등으로 그 이동 가능하게 유지해 놓고, 당해 검사 대상물의 자세나 위치를 적절히 변동시키면서, 그 표면을 조명기가 부착된 촬상 장치로 촬상하도록 한 시스템도 고려되고 있다. 이 시스템에서는 검사 대상물의 표면을 정반사 광상을 얻을 수 있는 복수의 영역으로 모델을 이용해 미리 분할해 두고, 각 분할 영역에 대해서 설정된 촬상 및 조명의 위치·자세가 되도록 검사 대상물을 이동시키도록 하고 있다.
그리고 이와 같이 촬상된 화상 데이터는 화상 처리 장치에 송신 내지 기록 매체를 통하여 이입되고, 자동 판별이나 육안 판별이 쉽도록 상기 검사 방법이나 검사 대상물의 양태에 따른 적절한 화상 처리가 실시된다.
이때, 시스템에서 화상 처리 장치에 송신되는 것은, 종래 기본적으로는 화상 데이터뿐이다(물론, 각 화상 데이터를 식별하기 위한 식별자나 촬상 일시 등의 화상 처리와는 직접적으로 관계가 없는 서지 데이터가 첨부될 때도 있음). 그리고 화상 처리 장치측에서, 이 화상 데이터에 대해 프로그램 등에 의해 미리 정해진 일정 내용의 화상 처리를 실시한다.
이와 같이 화상 데이터를 송신하는 것만으로 좋은 것은 검사 대상물이나 검사 내용이 미리 정해져 있어, 송신되어 온 화상 데이터의 어느 영역에 화상 처리를 실시하면 좋은지 미리 파악되어 있기 때문이다. 바꾸어 말하면, 1개의 시스템에 대해서 1개의 전용 프로그램을 가진 화상 처리 장치가 대응하도록, 이들 시스템 및 화상 처리 장치는 일체 불가분의 관계로 되어 있기 때문이다.
[특개 문헌 1] 일본국 특개 2007-240434호 공보
그렇지만, 예를 들면 복잡한 3 차원 형상이나 표면 상태가 다양한 검사 대상물 등과 같이, 그 검사 영역에 따라 조명기구나 촬상 장치의 배치 등을 바꿀 필요가 있고, 화상 데이터마다 검사 내용이나 유효 검사 영역이 바뀌거나 하는 경우, 종래와 같이 화상 데이터만이 화상 처리 장치측에 송신되었다고 해도, 거기서의 화상 처리 내용을 특정할 수 없고, 각 화상 데이터마다 어느 영역에 화상 처리를 실시하는 것이 좋은지 판단할 수 없는 문제가 발생한다.
또한, 현재의 구성에서는 여러 가지의 표면 검사용 조명·촬상 시스템에 대해서 대응할 수 있는 범용성이 있는 화상 처리 장치를 제공하는 것이 어렵고, 전술한 바와 같이 시스템마다 전용의 화상 처리 장치를 준비할 필요가 있다.
본 발명은 상술한 문제점을 감안하여 이루어진 것으로서, 화상 데이터마다 검사 내용이나 유효 검사 영역이 바뀌거나 표면 검사용 조명·촬상 시스템 그 자체가 변경되어도, 화상 처리 장치측에서 공통으로 화상 처리할 수 있도록 하는 것을 그 주된 소기 과제로 한다.
즉, 본 발명에 관한 표면 검사용 조명·촬상 시스템은 검사 대상물을 조명하는 조명 장치, 상기 검사 대상물을 촬상하는 촬상 장치, 및 정보 처리 장치를 구비하는 것으로서, 상기 정보 처리 장치는 상기 검사 대상물의 표면 형상, 상기 촬상 장치의 검사 대상물에 대한 상대위치 및 자세를 나타내는 위치 관련 정보, 상기 촬상 장치측에서 결정되는 촬상 조건, 및 상기 검사 대상물로의 상기 조명 장치에 의한 광 조사 양태를 적어도 판단 파라미터로 하여, 상기 촬상 화상에 있어서의 검사에 유효한 영역인 유효 촬상 영역을 특정함과 아울러 그 유효 촬상 영역에 대해 실시할 화상 처리의 내용을 특정하는 판단부와, 상기 촬상 화상을 나타내는 촬상 화상 데이터, 상기 유효 촬상 영역을 나타내는 유효 촬상 영역 데이터, 및 상기 유효 촬상 영역에 대해서 실시할 화상 처리의 내용을 특정하기 위한 화상 처리 특정 데이터를 상기 화상 처리 장치에 송신하는 데이터 송신부를 구비하고 있는 것을 특징으로 한다.
본 발명의 효과를 보다 현저하게 함과 아울러 정밀한 표면 검사가 가능하도록 하려면, 상기 조명 장치 또는 촬상 장치 중 적어도 한 장치의 검사 대상물에 대한 상대 위치를 변경 가능하도록 구성함과 아울러, 상기 정보 처리 장치에, 상기 검사 대상물의 표면 형상을 나타내는 표면 형상 데이터, 상기 위치 관련 정보를 나타내는 위치 관련 정보 데이터, 상기 촬상 조건을 나타내는 촬상 조건 데이터, 및 상기 광 조사 양태를 나타내는 광 조사 양태 데이터를 격납하고 있는 데이터 격납부와, 상기 데이터 격납부에 격납되어 있는 위치 관련 정보 데이터, 표면 형상 데이터, 및 촬상 조건 데이터로부터 촬상되어야 할 화상을 산출함과 아울러, 이 산출 화상과 촬상 화상의 어긋남이 있는 경우 그 어긋남을 저감하기 위해, 상기 위치 관련 정보 데이터, 표면 형상 데이터, 및 촬상 조건 데이터 중 적어도 어느 하나의 값을 보정하는 보정부를 더 구비시키는 것이 바람직하다.
구체적인 실시 양태로서는, 상기 위치 관련 정보가 촬상 장치의 촬상축과 교차하는 검사 대상물의 표면까지의 거리인 워크 디스턴스(work distance)를 적어도 포함하고, 상기 촬상 조건이 촬상 장치의 렌즈에 관한 파라미터인 카메라 렌즈 파라미터, 피사계 심도 및 촬상 장치의 시야 중 적어도 하나를 포함하며, 상기 광 조사 양태가 촬상 면의 조명 광축에 대한 각도를 적어도 포함하는 것을 들 수 있다.
상기 판단 파라미터로서 검사 대상물에 대한 표면 검사의 내용이 더 포함되어 있으면, 화상 처리를 보다 정확하게 특정할 수 있다.
또한 본 발명에 관한 화상 처리용 데이터 구조는 검사 대상물을 조명하는 조명 장치, 상기 검사 대상물을 촬상하는 촬상 장치, 및 정보 처리 장치를 구비한 표면 검사용 조명·촬상 시스템으로부터, 화상 처리 장치에서의 화상 처리를 위해서 제공되는 데이터의 구조로서, 상기 촬상 장치에 의한 촬상 화상을 나타내는 촬상 화상 데이터, 상기 촬상 화상에 있어서 유효 촬상 영역을 나타내는 유효 촬상 영역 데이터 및 상기 유효 촬상 영역에 대해서 실시할 화상 처리를 특정하기 위한 화상 처리 특정 데이터를 관련지어 이루어지는 것을 특징으로 한다.
상술된 본 발명에 의하면, 표면 검사용 조명·촬상 시스템측에서 촬상 화상에 추가하여 그 촬상 화상 중의 유효 촬상 영역 및 그 유효 촬상 영역에 실시할 화상 처리 내용을 특정해 화상 처리 장치에 송신할 수 있으므로, 화상 처리 장치측에서는 표면 검사용 조명·촬상 시스템의 구성에 관계없이 공통의 프로그램에 의해서 화상 처리를 실시할 수 있게 되어, 이 결과, 화상 처리 장치의 범용화, 표준화를 추진하는 것이 가능하게 된다.
도 1은 본 발명의 일실시 형태에 관한 표면 검사 장치의 전체 모식도이다.
도 2는 동실시 형태에서의 정보 처리 장치의 기능 블럭도이다.
도 3은 동 실시 형태에서의 검사 대상물에 관한 CAD 데이터의 개념도이다.
도 4는 동 실시 형태에서의 표면 형상 데이터의 개념도이다.
도 5는 동 실시 형태에서의 데이터 설정 루틴을 나타내는 순서도이다.
도 6은 동 실시 형태에서의 촬상 장치 조정 루틴을 나타내는 순서도이다.
도 7은 동 실시 형태에서의 조명 장치 조정 루틴을 나타내는 순서도이다.
도 8은 동 실시 형태에서의 보정 루틴을 나타내는 순서도이다.
도 9는 동 실시 형태에서의 판단 루틴을 나타내는 순서도이다.
이하, 본 발명의 일실시 형태에 대해서 도면을 참조해 설명한다.
본 실시 형태에 관한 표면 검사용 조명·촬상 시스템(100)은 도 1에 나타내는 바와 같이, 조명 장치(2), 촬상 장치(3), 이들 조명 장치(2) 및 촬상 장치(3)를 위치 및 자세 변경할 수 있도록 지지하는 로봇 팔(41, 42), 및 정보 처리 장치(5)를 구비하고 있어, 검사 대상물(1)을 복수의 위치로부터 조명하면서 촬상하여 그 검사 대상물(1)의 일부 또는 전부의 표면을 검사하는 것이다.
구체적으로 각부를 설명한다.
조명 장치(2)는 예를 들면, LED를 이용한 것으로, 여기에서는 스팟(spot)광 조사형의 것을 이용하고 있지만, 이것에 한정되지 않고, 링형의 것이나 돔형의 것 등도 상관없고, 광원도 할로겐 라이트 등을 이용해도 무관하다.
촬상 장치(3)는 카메라 렌즈 등의 수광 광 학계와 그 수광 광 학계를 통과한 광을 수광해 센싱하는 CCD나 CMOS 센서를 이용한 이른바 FA용의 것이다.
로봇 팔(41, 42)은 그 첨단에 상기 조명 장치(2) 및 촬상 장치(3)를 지지하고, 이러한 자세 및 위치(이것들은, 본 발명에서의 위치와 동의)를, 예를 들면, 각각 3자유도의 합계 6자유도로 설정하는 것이다.
정보 처리 장치(5)는 CPU, 메모리, I/O채널 등을 가지는 이른바 컴퓨터이며, 그 메모리에 기억시킨 프로그램에 따라서 CPU나 그 주변기기가 함께 동작함으로써, 도 2에 도시된 바와 같이 데이터 격납부(51), 데이터 접수부(52), 위치 조정부(53), 촬상 장치 제어부(54), 조명 장치 제어부(55), 보정부(56), 판단부(57), 데이터 송신부(58) 등으로서의 기능을 발휘한다. 또한, 이러한 정보 처리 장치(5)는 물리적으로 말하면, 단독으로 설치되어 있어도 상관없고 촬상 장치(3)나 조명 장치(2)에 부대시켜 일체로 구비해도 무관하다.
이어서, 이 정보 처리 장치(5)의 각부의 설명을 겸하여, 표면 검사용 조명·촬상 시스템(100)의 동작에 대해서 상술한다.
상기 데이터 격납부(51)에는 검사 대상물(1)의 표면 형상을 나타내는 표면 형상 데이터가 격납되고 있다. 이 표면 형상 데이터는 도 2에 도시된 바와 같이, 예를 들면 최소단위가 되는 평면 다각형(여기에서는 예를 들면 사각형)의 폴리곤(polygon)을 나타내는 폴리곤 데이터의 집합으로 이루어진 것으로, 각 폴리곤 데이터에는 도 3에 도시된 바와 같이, 그 각 코너(여기에서는 사각형이니까 4점)의 좌표 데이터와 면방향(면의 법선 방향)을 나타내는 벡터 데이터가 주어져 있다. 또한, 각 폴리곤 데이터에는 그 표면 양태를 나타내는 표면 양태 데이터가 각각 대응지어 있어도 좋다. 표면 양태 데이터란, 경면(鏡面)이나 확산면 등의 면의 거칠기나 주름의 방향 등을 나타내는 데이터이다.
그리고 도 5에 도시된 바와 같이, 우선은 오퍼레이터에 의한 입력 등에 의해서, 검사 대상물에 있어서 표면 검사를 하고 싶은 영역인 검사 대상 영역이 정해진다. 구체적으로는, 예를 들면 상기 입력 등으로 정해진 검사 대상 영역을 데이터 접수부(52)가 수신하여, 상기 표면 형상 데이터에 있어서 검사 대상 영역에 존재하는 폴리곤 데이터의 집합을 검사 대상 영역 데이터로서 데이터 격납부(51)에 격납한다.
또한 그 입력 등에 의해서 촬상 장치(3)에 관한 조정 가능한 파라미터, 즉 상기 검사 대상 영역의 소정 점과 촬상 장치(3)와의 거리(워크 디스턴스라고도 말함)나 촬상 각도, 촬상 배율, 조리개 등이 정해진다. 구체적으로는, 예를 들면 상기 입력 등으로 정해진 촬상 장치 관련 파라미터를 데이터 접수부(52)가 수신하여 이것들을 상기 데이터 격납부(51)에 격납한다.
게다가 그 입력 등에 의해서 조명 장치(2)에 관한 조정 가능한 파라미터, 즉, 검사 대상 영역에 대한 조명 장치(2)의 거리, 조명 광의 각도, 조명 광의 광 질(광 사출 강도, 광의 색) 등이 설정된다. 구체적으로는, 예를 들면 상기 입력 등으로 정해진 조명 장치 관련 파라미터를 데이터 접수부(52)가 수신하여, 이것들을 그 데이터 격납부(51)에 격납한다.
이 데이터 격납부(51)에는 그 밖에 여러 가지의 정보, 예를 들면, 촬상 장치(3)의 카메라 렌즈 파라미터나 피사계 심도(被寫界深度) 등과 관련된 데이터가 미리 격납되어 있다.
이와 같이, 데이터 격납부(51)에는 [1] 검사 대상물(1)의 표면 형상을 나타내는 데이터인 표면 형상 데이터, [2] 상기 검사 대상 영역을 나타내는 데이터인 검사 대상 영역 데이터, [3] 촬상 장치(3)의 검사 대상물(1)에 대한 위치 및 자세, 즉 이들을 특정하는 워크 디스턴스 및 촬상 각도를 나타내는 데이터인 위치 관련 정보 데이터, [4] 촬상 장치(3)측에서 정해지는 촬상 조건, 즉, 촬상 배율, 조리개, 카메라 렌즈 파라미터, 피사계 심도, 촬상 시야 입체각 등을 나타내는 데이터인 촬상 조건 데이터, [5] 상기 검사 대상물(1)로의 상기 조명 장치(2)에 의한 광 조사 양태를 결정하는 조건, 즉 검사 대상 영역에 대한 조명 장치(2)의 거리, 조명 광의 각도, 조명 광의 광질 등을 나타내는 데이터인 광 조사 양태 데이터 등이 격납되어 있다.
이어서, 위치 조정부(53)는 도 6에 도시된 바와 같이, 상기 데이터 격납부(51)의 표면 형상 데이터를 참조하여, 상기 검사 대상 영역의 소정 점(예를 들면 중심 위치)의 좌표를 산출한다.
그리고 그 위치 조정부(53)는 상기 데이터 격납부(51)의 위치 관련 정보 데이터를 참조하여, 상기 소정 점에 촬상축이 일치하고, 그 소정 점에서 촬상 장치(3)까지의 거리가 위치 관련 정보 데이터가 가리키는 상기 워크 디스턴스와 일치하고 또한, 그 소정 점에서 검사 대상면의 소정 점에 대한 법선 방향(여기에서는 소정 점을 포함한 폴리곤 데이터에 의해 법선 방향을 특정한다)과 촬상축이 이루는 각도가 위치 관련 정보 데이터가 가리키는 상기 촬상 각도(여기에서는, 촬상축이 상기 법선 방향과 일치하는 각도, 즉 O도)와 일치하도록, 상기 로봇 팔(42)에 제어 신호를 출력하여, 촬상 장치(3)의 검사 대상물(1)에 대한 상대적 위치 및 자세를 설정한다.
또한, 그 위치 조정부(53)는 도 7에 도시된 바와 같이, 상기 데이터 격납부(51)의 광 조사 양태 데이터를 참조하여, 상기 소정 점과 조명 장치(2)와의 거리가 광 조사 양태 데이터가 가리키는 거리가 되고 또한, 상기 조명 광의 각도가 광 조사 양태 데이터가 가리키는 상기 조명 각도가 되도록, 상기 로봇 팔(41)에 제어 신호를 출력하여, 조명 장치(2)의 검사 대상물(1)에 대한 상대적 위치 및 자세를 설정한다.
한편, 조명 장치 제어부(55)는 소정의 지령 신호를 조명 장치(2)에 출력하여 그 조명 장치(2)로부터 사출되는 광이 상기 광 조사 양태 데이터가 가리키는 광 질이나 사출 광 강도가 되도록 설정한다.
또한, 촬상 장치 제어부(54)는 소정의 지령 신호를 촬상 장치(3)에 출력하여 그 촬상 장치가 상기 촬상 조건 데이터가 가리키는 촬상 배율이나 조리개가 되도록 설정한다.
이어서, 보정부(56)는 도 8에 도시된 바와 같이, 데이터 격납부(51)에 격납되어 있는 위치 관련 정보 데이터, 촬상 조건 데이터 및 표면 형상 데이터를 기반으로 하여 촬상 화상 중에 찍혀야 할 검사 대상물의 화상을 산출한다. 그리고 그 산출 화상과 실제로 촬상된 촬상 화상을 비교해 그 어긋남이 최소가 되도록 산출 화상을 결정하는 파라미터, 즉 위치 관련 정보 데이터, 촬상 조건 데이터 및 표면 형상 데이터를 보정한다.
구체적으로는, 보정부(56)는 상기 산출 화상 데이터와 실제 촬상 화상 데이터를 엣지나 특정 마크 등의 검사 대상물(1)의 특이점을 참조하는 것 등에 의해 비교한다. 그리고 어긋남이 있었을 경우는 상기 위치 관련 정보 데이터의 값이나 촬상 조건 데이터 중 예를 들면 렌즈 왜곡 등을 나타내는 카메라 렌즈 파라미터의 값을 보정하거나, 검사 대상물(1)의 형상이나 치수에 오차가 있었을 경우는, 검사 대상 영역이나 그 주변 영역의 표면 형상 데이터를 보정하거나 하여 정합성을 취한다.
그 후, 판단부(57)는 상기 데이터 격납부(51)를 참조하여 그 데이터가 가리키는 검사 대상물(1)의 표면 형상, 워크 디스턴스, 촬상 각도, 촬상 조건, 광 조사 양태 등을 판단 파라미터로 하여 상기 촬상 화상에 있어서 검사에 유효한 영역인 유효 촬상 영역을 특정하고, 유효 촬상 영역 데이터로서 데이터 격납부에 격납한다.
유효 촬상 영역을 특정하는 구체적인 방법은 다음과 같은 것을 들 수 있다. 예를 들면, 카메라 렌즈 파라미터에 의해서 촬상 화상 주변의 왜곡이 큰 부분을 특정하여 이 주변 영역을 배제한다. 시야 입체각에 의해서도 마찬가지로 시야보다도 외측의 주변 부분을 배제한다. 또, 피사계 심도로부터, 예를 들면 검사 대상 영역이 크게 패여 있거나 돌출하거나 하여 그 영역이 피사계 심도로부터 벗어나고 있다고 표면 형상 데이터로부터 판단되었을 경우에는 그 영역을 배제한다. 게다가 상기 검사 대상 영역중에 면의 방향이 정해진 범위 이상의 다른 영역이 있다고 표면 형상 데이터로부터 판단되고 그 영역에 조사되는 광의 각도가 허용 범위를 초과하는 경우에는 당해 영역을 배제한다. 이렇게 하여 화상에서 검사에 부적절하다고 판단되는 영역을 마스크 하고 그 마스크 된 영역을 제외한 나머지의 영역을 유효 촬상 영역으로 판단부(57)가 특정한다. 그리고, 이 유효 촬상 영역을 나타내는 데이터인 유효 촬상 영역 데이터를 데이터 격납부(51)에 격납한다.
또한, 당해 판단부(57)는 상술된 격납부(51)를 참조하고, 그 데이터가 가리키는 유효 검사 영역의 표면 형상, 워크 디스턴스, 촬상 각도, 촬상 조건, 광 조사 양태 및 상처 검사나 문자 인식 등에 대한 검사 내용 등을 근거로 하여, 화상 처리 장치측에서 실시해야 할 하나 또는 복수의 화상 처리 내용을 특정해 화상 처리 특정 데이터로서 데이터 격납부(51)에 격납한다.
화상 처리의 내용으로는 예를 들면, 2치화, 밝기 조정, 색성분의 추출, 콘트라스트 조정, 감마 보정, 그레이 스케일(gray scale)화, 노이즈 제거, 에어브러싱(airbrushing) 등과 같은 화상 처리의 종류가 있다. 화상 처리의 내용에는, 화상 처리의 종류에 더하여 물론 각각의 화상 처리에 있어서의 조정 파라미터를 부가해도 괜찮다. 예를 들면, 2치화이면 2치로 나누기 위한 임계 값이 조정 파라미터가 되고, 콘트라스트 조정이면 입력 화소치(화소치는 화소의 농도나 밝기임)에 대한 출력 화소치와의 관계식이 조정 파라미터가 된다.
이와 같은 화상 처리의 내용을 결정하는 경우, 당해 판단부(57)는 기본적으로는 미리 메모리에 기억시켜 둔 검사 내용 - 화상 처리 종류의 대응표를 참조하는 등에 의해 화상 처리 종류를 결정한다. 예를 들면, 검사 내용이 상처 검사이면, 당해 판단부(57)는 화상 처리의 종류를 기본적으로는 2치화로 하여, 그때의 임계 값 등의 조정 파라미터를 표면 형상(표면 양태도 포함), 촬상 조건, 광 조사 양태 등에 의해서 결정한다. 여기에 추가하여 밝기 조정이나 콘트라스트 조정이 포함되는 경우도 있다. 또한, 검사 내용이 문자 인식이면 화상 처리의 종류로서 2치화나 색성분의 추출이 선택된다.
또한, 이 화상 처리의 내용은 오퍼레이터에 의한 입력에 의해서 설정해도 상관없다.
게다가, 만약 유효 촬상 영역이 상기 검사 대상 영역을 커버 하지 못한 경우, 정보 처리 장치(5)는 촬상 장치(3), 조명 장치(2)의 위치나 자세를 일회 내지 복수회 변경시켜, 각 위치마다 촬상한 촬상 화상 데이터에 포함된 유효 촬상 영역에 의해 상기 검사 대상 영역을 커버할 수 있도록 한다. 각 유효 촬상 영역의 오버랩(overlap)량은 미리 정해 두면 좋다.
이렇게 촬상된 각 촬상 화상 데이터는 데이터 송신부(58)에 의해 유효 촬상 영역 데이터 및 화상 처리 특정 데이터와 관련지어져 화상 처리 장치에 송신된다.
한편, 화상 처리 장치에서는 수신한 촬상 화상 데이터에 있어서 유효 촬상 영역 이외의 부분을 마스크 하고, 그 유효 촬상 영역중의 화상에 화상 처리 특정 데이터가 가리키는 화상 처리를 실시하고, 화면 출력하거나 경우에 따라서는 검사 내용에 따른 판단, 즉 상처의 유무나 문자인식 등을 자동으로 실시한다.
이와 같이 구성된 본 실시 형태는 상기 촬상 화상 데이터에 유효 촬상 영역 데이터 및 화상 처리 특정 데이터를 관련지은 데이터 구조를 표면 검사용 조명·촬상 시스템(100)측에서 구축하는 것이 바로 특징이다.
그리고 이것에 의해 표면 검사용 조명·촬상 시스템(100)측에서 촬상 화상 데이터에 추가하여 그 촬상 화상중의 유효 촬상 영역 및 그 유효 촬상 영역에 실시할 화상 처리 내용을 특정해 화상 처리 장치에 송신할 수 있으므로, 화상 처리 장치측에서는 표면 검사용 조명·촬상 시스템(100)의 구성에 관계없이 공통의 프로그램에 의해서 화상 처리를 실시할 수 있게 되어, 그 결과 화상 처리 장치의 범용화, 표준화를 추진하는 것이 가능하게 된다.
또한, 본 발명은 상기 실시 형태에 한정되지 않는다.
예를 들면, 상기 촬상 화상 데이터와 유효 촬상 영역 데이터 및 화상 처리 특정 데이터는 동시에 송신할 필요는 반드시 없고, 그것들을 관련 짓는 것이 가능하도록 공통의 식별자를 부여해도 상관없다.
또한, 조명 장치나 촬상 장치는 반드시 검사 대상물에 대해서 상대 이동 가능하지 않아도 좋고, 본 발명의 데이터 구조를 이용할 수 있는 환경이라면 어떠한 검사 설비에도 본 발명을 적용해 동일한 효과를 얻을 수 있다.
게다가, 본 발명은 검사 대상물로서 형상이 2 차원적인 단순한 플레이트 등에도 적용 가능하다.
그 외, 본 발명은 그 취지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
[산업상의 이용 가능성]
표면 검사용 조명·촬상 시스템측에서 촬상 화상에 추가하여 그 촬상 화상중의 유효 촬상 영역 및 그 유효 촬상 영역에 실시할 화상 처리 내용을 특정해 화상 처리 장치에 송신할 수 있으므로, 화상 처리 장치측에서는 표면 검사용 조명·촬상 시스템의 구성에 관계없이 공통의 프로그램에 의해 화상 처리를 실시할 수 있게 되어, 이 결과 화상 처리 장치의 범용화, 표준화를 추진할 수 있게 된다.
100 : 표면 검사용 조명·촬상 시스템
1 : 검사 대상물
2 : 조명 장치
3 : 촬상 장치
5 : 정보 처리 장치

Claims (5)

  1. 검사 대상물을 조명하는 조명 장치, 상기 검사 대상물을 촬상하는 촬상 장치, 및 정보 처리 장치를 구비하는 표면 검사용 조명·촬상 시스템으로서,
    상기 정보 처리 장치는,
    상기 검사 대상물의 표면 형상, 상기 촬상 장치의 검사 대상물에 대한 상대위치 및 자세를 나타내는 위치 관련 정보, 상기 촬상 장치측에서 결정되는 촬상 조건, 및 상기 검사 대상물로의 상기 조명 장치에 의한 광 조사 양태를 적어도 판단 파라미터로 하여, 상기 촬상 화상에 있어서의 검사에 유효한 영역인 유효 촬상 영역을 특정함과 아울러 그 유효 촬상 영역에 대해 실시할 화상 처리의 내용을 특정하는 판단부와,
    상기 촬상 화상을 나타내는 촬상 화상 데이터, 상기 유효 촬상 영역을 나타내는 유효 촬상 영역 데이터, 및 상기 유효 촬상 영역에 대해서 실시할 화상 처리의 내용을 특정하기 위한 화상 처리 특정 데이터를 화상 처리 장치에 송신하는 데이터 송신부를 구비하고 있는 것을 특징으로 하는 표면 검사용 조명·촬상 시스템.
  2. 청구항 1에 있어서,
    상기 조명 장치 또는 촬상 장치 중 적어도 한 장치의 검사 대상물에 대한 상대 위치를 변경 가능하도록 구성한 것에 있어서,
    상기 정보 처리 장치가,
    상기 검사 대상물의 표면 형상을 나타내는 표면 형상 데이터, 상기 위치 관련 정보를 나타내는 위치 관련 정보 데이터, 상기 촬상 조건을 나타내는 촬상 조건 데이터, 및 상기 광 조사 양태를 나타내는 광 조사 양태 데이터를 격납하고 있는 데이터 격납부와,
    상기 데이터 격납부에 격납되어 있는 위치 관련 정보 데이터, 표면 형상 데이터, 및 촬상 조건 데이터로부터 촬상되어야 할 화상을 산출함과 아울러, 이 산출 화상과 촬상 화상의 어긋남이 있는 경우 그 어긋남을 저감하기 위해, 상기 위치 관련 정보 데이터, 표면 형상 데이터, 및 촬상 조건 데이터 중 적어도 어느 하나를 보정하는 보정부를 더 구비하고 있는 것을 특징으로 하는 표면 검사용 조명·촬상 시스템.
  3. 청구항 1에 있어서,
    상기 위치 관련 정보가 촬상 장치의 촬상축과 교차하는 검사 대상물의 표면까지의 거리인 워크 디스턴스(work distance)를 적어도 포함하고,
    상기 촬상 조건이 촬상 장치의 렌즈에 관한 파라미터인 카메라 렌즈 파라미터, 피사계 심도 및 촬상 장치의 시야 중 적어도 하나를 포함하며,
    상기 광 조사 양태가 촬상 면의 조명 광축에 대한 각도를 적어도 포함하는 것을 특징으로 하는 표면 검사용 조명·촬상 시스템.
  4. 청구항 1에 있어서,
    상기 판단 파라미터로서 검사 대상물에 대한 표면 검사의 내용을 더 포함하는 것을 특징으로 하는 표면 검사용 조명·촬상 시스템.
  5. 검사 대상물을 조명하는 조명 장치, 상기 검사 대상물을 촬상하는 촬상 장치, 및 정보 처리 장치를 구비한 표면 검사용 조명·촬상 시스템으로부터, 화상 처리 장치에서의 화상 처리를 위해서 제공되는 데이터의 구조로서,
    상기 촬상 장치에 의한 촬상 화상을 나타내는 촬상 화상 데이터에, 상기 촬상 화상에 있어서의 검사에 유효한 영역인 유효 촬상 영역을 나타내는 유효 촬상 영역 데이터 및 상기 유효 촬상 영역에 대해서 실시할 화상 처리의 내용을 특정하기 위한 화상 처리 특정 데이터를 관련 짓는 것을 특징으로 하는 화상 처리용 데이터 구조.
KR1020127008359A 2009-09-03 2010-09-03 표면 검사용 조명·촬상 시스템 및 데이터 구조 KR20120068014A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-203904 2009-09-03
JP2009203904 2009-09-03

Publications (1)

Publication Number Publication Date
KR20120068014A true KR20120068014A (ko) 2012-06-26

Family

ID=43649383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127008359A KR20120068014A (ko) 2009-09-03 2010-09-03 표면 검사용 조명·촬상 시스템 및 데이터 구조

Country Status (7)

Country Link
US (1) US20120162377A1 (ko)
EP (1) EP2474824A1 (ko)
JP (1) JP4675436B1 (ko)
KR (1) KR20120068014A (ko)
CN (1) CN102483380B (ko)
SG (1) SG178966A1 (ko)
WO (1) WO2011027848A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5696221B2 (ja) * 2011-09-15 2015-04-08 日立Geニュークリア・エナジー株式会社 水中検査装置
CN103543157B (zh) * 2012-07-17 2015-12-02 宝山钢铁股份有限公司 离线带材表面图像模拟动态采集方法及装置
JP2017086288A (ja) * 2015-11-06 2017-05-25 大日本印刷株式会社 コミュニケーションロボット及びプログラム
CN106091922B (zh) * 2016-05-25 2019-05-14 广州市思林杰自动化科技有限公司 一种对工件进行检测的方法及装置
WO2017210355A1 (en) * 2016-05-31 2017-12-07 Industrial Dynamics Company, Ltd. Method and system for testing and inspecting containers using one or more light reflections and positional data
JP7383255B2 (ja) * 2019-08-22 2023-11-20 ナブテスコ株式会社 情報処理システム、情報処理方法、建設機械

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3235387B2 (ja) * 1991-07-12 2001-12-04 オムロン株式会社 照明条件設定支援装置および方法
EP0569589A4 (en) * 1991-07-12 1994-10-12 Omron Tateisi Electronics Co DEVICE AND METHOD FOR DETERMINING AND SELECTING THE RIGHT LIGHTING AND PHOTOGRAPHIC CONDITIONS ETC. IN AN IMAGE PROCESSING SYSTEM; AND DEVICE AND METHOD FOR ASSISTING THIS DETERMINATION AND SELECTION.
KR100568973B1 (ko) * 1999-03-18 2006-04-07 제이에프이 스틸 가부시키가이샤 결함 마킹방법 및 장치
US7105848B2 (en) * 2002-04-15 2006-09-12 Wintriss Engineering Corporation Dual level out-of-focus light source for amplification of defects on a surface
JP2004226328A (ja) * 2003-01-24 2004-08-12 Hitachi Ltd 外観検査システムおよびそれらを用いた品質評価システムおよび品質評価情報提供システム
US7084989B2 (en) * 2004-04-19 2006-08-01 Sick Ivp Aktiebolag Measuring apparatus and method in a distribution system
JP2005345142A (ja) * 2004-05-31 2005-12-15 Tdk Corp チップ部品の検査用装置及び検査方法
KR100888235B1 (ko) * 2004-07-09 2009-03-12 올림푸스 가부시키가이샤 화상 처리 장치 및 방법
US20060012778A1 (en) * 2004-07-12 2006-01-19 August Technology Corp. Illuminator for dark field inspection
US7397555B2 (en) * 2004-12-17 2008-07-08 Lam Research Corporation System, method and apparatus for in-situ substrate inspection
JP4020144B2 (ja) * 2006-03-10 2007-12-12 オムロン株式会社 表面状態の検査方法
CN101466999A (zh) * 2006-06-12 2009-06-24 夏普株式会社 端部倾角测定方法、具有起伏的被检物的检测方法及检测装置、照明位置确定方法、不均匀缺陷检测装置和照明位置确定装置
US7664608B2 (en) * 2006-07-14 2010-02-16 Hitachi High-Technologies Corporation Defect inspection method and apparatus

Also Published As

Publication number Publication date
CN102483380B (zh) 2014-07-16
CN102483380A (zh) 2012-05-30
US20120162377A1 (en) 2012-06-28
WO2011027848A1 (ja) 2011-03-10
JPWO2011027848A1 (ja) 2013-02-04
JP4675436B1 (ja) 2011-04-20
SG178966A1 (en) 2012-04-27
EP2474824A1 (en) 2012-07-11

Similar Documents

Publication Publication Date Title
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
US20070176927A1 (en) Image Processing method and image processor
KR20120068014A (ko) 표면 검사용 조명·촬상 시스템 및 데이터 구조
CN109829883B (zh) 产品质量检测方法及装置
US8244040B2 (en) Object position recognition system, object positioning system, and system and method for adjoining objects
JP2012215394A (ja) 三次元計測装置および三次元計測方法
JP2020098151A5 (ko)
CN109632809B (zh) 产品质量检测方法及装置
CN111788476A (zh) 部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质
JP6519265B2 (ja) 画像処理方法
JP2006337254A (ja) 撮像装置、撮像画像距離測定方法、撮像画像距離測定プログラム、及び記録媒体
JP2011089826A (ja) ねじ穴または穴の内部表面欠陥検査装置
JP2002357408A (ja) 光学式計測装置
JP2009250844A (ja) 三次元形状計測方法および三次元形状計測装置
JP6420530B2 (ja) 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5136108B2 (ja) 三次元形状計測方法および三次元形状計測装置
CN114543697A (zh) 测量设备、控制设备和控制方法
JP5360467B2 (ja) 欠陥検査装置
US20190187064A1 (en) Image processing system, computer readable recording medium, and image processing method
JP2020197983A (ja) 対象物の計測方法、計測装置、プログラム、およびコンピュータ読取り可能な記録媒体
JP2020129187A (ja) 外形認識装置、外形認識システム及び外形認識方法
JP5981353B2 (ja) 3次元計測装置
JP7151873B2 (ja) 検査装置
JP2018132468A (ja) 形状測定システム及び形状測定方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid