KR102206753B1 - 결함 검사 장치 - Google Patents

결함 검사 장치 Download PDF

Info

Publication number
KR102206753B1
KR102206753B1 KR1020190009273A KR20190009273A KR102206753B1 KR 102206753 B1 KR102206753 B1 KR 102206753B1 KR 1020190009273 A KR1020190009273 A KR 1020190009273A KR 20190009273 A KR20190009273 A KR 20190009273A KR 102206753 B1 KR102206753 B1 KR 102206753B1
Authority
KR
South Korea
Prior art keywords
image
sub
defect inspection
unit
model
Prior art date
Application number
KR1020190009273A
Other languages
English (en)
Other versions
KR20200092117A (ko
Inventor
송기영
조훈민
Original Assignee
주식회사 수아랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 수아랩 filed Critical 주식회사 수아랩
Priority to KR1020190009273A priority Critical patent/KR102206753B1/ko
Priority to CN202080010651.2A priority patent/CN113383227A/zh
Priority to PCT/KR2020/000110 priority patent/WO2020153623A1/ko
Priority to JP2021543228A priority patent/JP7186304B2/ja
Priority to US17/425,666 priority patent/US11790512B2/en
Publication of KR20200092117A publication Critical patent/KR20200092117A/ko
Application granted granted Critical
Publication of KR102206753B1 publication Critical patent/KR102206753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q3/00—Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine
    • B23Q3/155—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q3/00—Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine
    • B23Q3/155—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling
    • B23Q3/1552—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling parts of devices for automatically inserting or removing tools
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q3/00—Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine
    • B23Q3/155—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling
    • B23Q3/157—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling of rotary tools
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q3/00—Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine
    • B23Q3/155—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling
    • B23Q3/157—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling of rotary tools
    • B23Q3/15713—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling of rotary tools a transfer device taking a single tool from a storage device and inserting it in a spindle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q5/00—Driving or feeding mechanisms; Control arrangements therefor
    • B23Q5/22—Feeding members carrying tools or work
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q3/00—Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine
    • B23Q3/155—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling
    • B23Q3/1552—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling parts of devices for automatically inserting or removing tools
    • B23Q3/1554—Transfer mechanisms, e.g. tool gripping arms; Drive mechanisms therefore
    • B23Q2003/155404—Transfer mechanisms, e.g. tool gripping arms; Drive mechanisms therefore the transfer mechanism comprising a single gripper
    • B23Q2003/155407—Transfer mechanisms, e.g. tool gripping arms; Drive mechanisms therefore the transfer mechanism comprising a single gripper linearly movable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G01N2021/887—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing the measurements made in two or more directions, angles, positions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N2033/0078—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00 testing material properties on manufactured objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 개시의 일 실시예에 따른 결함 검사 장치가 개시된다. 상기 결함 검사 장치는, 대상을 홀드하기 위한 홀드부 및 상기 대상을 이동시키기 위한 구동부를 포함하는 로봇 암; 상기 대상의 외관을 촬영하는 제 1 카메라부; 상기 대상의 외관에 빛을 조사하는 조명부; 및 상기 제 1 카메라부가 촬영한 상기 대상의 이미지에 기초하여 상기 대상의 결함 여부를 판단하는 제어부를 포함한다.

Description

결함 검사 장치{DEFECT INSPECTION APPARATUS}
본 발명은 공장 자동화 장비에 관련된 것으로서, 보다 구체적으로 대상의 결함을 검사하기 위한 장치에 관한 것이다.
공장에서 일 대상을 생산하는 과정에서, 기계, 공정 또는 그 밖의 사유로 인하여 대상에 결함이 있을 수 있다. 공장에서는 대상의 생산이 완료되어 출고되기 전에 해당 대상에 결함이 있는지 여부에 대한 확인 절차를 거치는 것이 일반적이다.
다만, 완성된 대상에 결함이 있는지 사람이 확인하는 경우, 시간 및 비용 소요가 크고, 육안으로 확인하기 힘든 결함의 경우에는 정상적으로 생산되지 않은 대상을 출고하는 문제점이 있을 수 있다. 따라서, 대상의 결함 여부를 효율적으로 판별할 수 있는 장치에 대한 수요가 당업계에 존재한다.
대한민국 등록특허 제10-1707206호는 그리퍼 이송장치를 개시한다.
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 결함 검사 장치를 제공하기 위함이다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 결함 검사 장치는, 대상을 홀드하기 위한 홀드부 및 상기 대상을 이동시키기 위한 구동부를 포함하는 로봇 암; 상기 대상의 외관을 촬영하는 제 1 카메라부; 상기 대상의 외관에 빛을 조사하는 조명부; 및 상기 제 1 카메라부가 촬영한 상기 대상의 이미지에 기초하여 상기 대상의 결함 여부를 판단하는 제어부를 포함한다.
대안적인 실시예에서, 결함 검사 장치는, 상기 제 1 카메라부가 촬영한 상기 대상의 이미지 및 상기 대상의 결함 여부가 표시된 이미지 중 적어도 하나의 이미지를 표시하는 디스플레이부를 더 포함할 수 있다.
대안적인 실시예에서, 결함 검사 장치는, 상기 대상을 결함 검사를 위해 이송시키기 위한 이송부; 및 상기 대상에 대한 상기 제어부의 상기 결함 검사 결과에 기초하여 상기 대상을 분류하여 이송하기 위한 분류 이송부를 더 포함할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 구동부는, 상기 대상을 회전시키기 위한 적어도 하나의 구동축을 포함할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 구동부는, 상기 제 1 카메라부가 상이한 배치 상태의 상기 대상을 촬영하여, 상이한 시점으로 촬영된 이미지를 획득할 수 있도록 상기 대상의 배치 상태를 조정할 수 있다.
대안적인 실시예에서, 결함 검사 장치는, 상기 홀드부에 의하여 홀드되기 전의 상기 대상을 촬영하기 위한 제 2 카메라부를 더 포함할 수 있고, 상기 제어부는, 상기 제 2 카메라부에서 획득한 상기 대상의 이미지에 기초하여, 상기 홀드부가 상기 대상의 배치 상태에 기초하여 상기 대상을 홀드하기 위하여 정렬되도록 할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 조명부는, 빛을 조사하는 둘 이상의 서브 조명부를 포함하며, 상기 조명부는 내부에 공간을 형성하고, 상기 제 1 카메라부는, 상기 공간의 일 측에 위치하여, 상기 공간의 다른 일 측에 상기 로봇 암에 의해 배치된 대상을 상기 공간을 통해 촬영하도록 하고, 그리고 상기 제어부는, 상기 로봇 암이 상기 대상을 상기 제 1 카메라부가 촬영할 수 있도록, 상기 공간의 상기 다른 일 측에 배치하도록 할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 서브 조명부는, 원뿔대 또는 다각뿔대 형상으로 구성되며, 그리고 뿔대 형상의 내부 면에 빛을 조사하는 발광부가 위치할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 조명부는, 둘 이상의 상이한 종류의 빛을 상기 대상의 외관에 조사할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 제어부는, 각각 상이한 조명 조건 하에서 촬영된 둘 이상의 이미지에 기초하여 상기 대상의 결함 여부를 판단할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 제어부는, 제 1 배치 상태의 상기 대상을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지 및 제 2 배치 상태의 상기 대상을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지에 기초하여 상기 대상의 결함 여부를 판단할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 제어부는, 제 1 배치 상태의 상기 대상을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지 및 제 2 배치 상태의 상기 대상을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지에 기초하여 상기 대상의 결함 여부를 판단할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 제어부는, 상기 둘 이상의 이미지 중 적어도 하나의 이미지에 어노말리가 있는 것으로 판단되는 경우, 상기 대상에 결함이 있는 것으로 결정할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 제어부는, 어노말리 판단의 기초가 되는 정상 이미지인, 제 1 조명 조건 하에서 촬영된 제 1 정상 이미지 및 제 2 조명 조건 하에서 촬영된 제 2 정상 이미지를 결함 검사 모델에 포함된 제 1 서브 모델에 포함된 채널 각각의 입력으로 하여 연산하고, 어노말리 판단 대상 이미지인, 상기 제 1 조명 조건 하에서 촬영된 제 1 판단 대상 이미지 및 상기 제 2 조명 조건 하에서 촬영된 제 2 판단 대상 이미지를 상기 결함 검사 모델에 포함된 제 2 서브 모델에 포함된 채널 각각의 입력으로 하여 연산하고, 그리고 상기 제 1 서브 모델 및 제 2 서브 모델의 연산 결과에 기초하여 상기 대상의 결함 여부를 판단할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 결함 검사 모델은, 상기 제 1 서브 모델 및 상기 제 2 서브 모델 중 적어도 하나와 직렬로 연결되는 비교 모듈을 더 포함할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 제 1 정상 이미지가 입력되는 제 1 서브 모델 제 1 채널은, 상기 제 1 판단 대상 이미지가 입력되는 제 2 서브 모델 제 1 채널과 동일한 가중치를 가지는 링크를 적어도 하나 이상 공유하고, 그리고 상기 제 2 정상 이미지가 입력되는 제 1 서브 모델 제 2 채널은, 상기 제 2 판단 대상 이미지가 입력되는 제 2 서브 모델 제 2 채널과 동일한 가중치를 가지는 링크를 적어도 하나 이상 공유할 수 있다.
대안적인 실시예에서, 결함 검사 장치의 상기 제어부는, 제 1 서브 모델 제 1 채널의 적어도 하나의 레이어 및 제 2 서브 모델 제 1 채널의 적어도 하나의 레이어에 기초하여, 적어도 하나의 제 1 레이어 비교 정보를 생성하고, 상기 제 1 레이어 비교 정보를 비교 모듈 제 1 채널의 대응하는 레이어에 전달하여, 제 1 판단 대상 이미지의 어노말리 정보를 연산하고, 그리고 제 1 서브 모델 제 2 채널의 적어도 하나의 레이어 및 제 2 서브 모델 제 2 채널의 적어도 하나의 레이어에 기초하여, 적어도 하나의 제 2 레이어 비교 정보를 생성하고, 상기 제 2 레이어 비교 정보를 비교 모듈 제 2 채널의 대응하는 레이어에 전달하여, 제 2 판단 대상 이미지의 어노말리 정보를 연산할 수 있다.
본 개시는 결함 검사 장치를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 결함 검사 장치를 개략적으로 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 로봇 암을 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 로봇 암의 일부인 홀드부를 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 조명부의 단면도를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 조명부의 정면도를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 이송부를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 분류 이송부를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따라 샴 네트워크(Siamese Network)를 나타낸 도면이다.
도 9는 본 개시의 일 실시예에 따라 결함 검사 장치를 구현하기 위한 결함 검사 방법을 간략화하여 나타낸 개념도이다.
도 10은 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 구성을 나타낸 예시도이다.
도 11은 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 구성을 나타낸 예시도이다.
도 12는 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 학습 데이터의 예시이다.
도 13은 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 학습 방식을 나타낸 개념도이다.
도 14는 본 개시의 다른 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 학습 방식을 나타낸 개념도이다.
도 15는 본 개시의 또 다른 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 학습 방식을 나타낸 개념도이다.
도 16은 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 구성을 나타낸 도면이다.
도 17은 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 U 네트워크(U network)의 예시도이다.
도 18은 본 개시의 다른 일 실시예에 따라 결함 검사 방법을 구현하기 위한 샴 네트워크(Siamese network)의 예시도이다.
다양한 실시예들이 이제 도면을 참조하여 설명되며, 전체 도면에서 걸쳐 유사한 도면번호는 유사한 구성요소를 나타내기 위해서 사용된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정, 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있고, 일 컴포넌트는 하나의 컴퓨터 내에 로컬화될 수 있고, 또는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통한 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의 미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
제시된 실시예들에 대한 설명은 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
도 1은 본 개시의 일 실시예에 따른 결함 검사 장치를 개략적으로 도시한 도면이다.
도 1을 참조하면, 결함 검사 장치(1)는, 로봇 암(100), 조명부(200), 제 1 카메라부(300), 이송부(410), 분류 이송부(420, 430), 디스플레이부(500), 광 출력부(610, 620), 제 2 카메라부(700) 및 제어부(800)를 포함할 수 있다. 결함 검사 장치(1)는, 상술한 구성 요소들을 지지하기 위한 하우징, 커버, 지지블록, 브라켓 등과 같은 부속 요소들을 포함할 수 있다. 다만, 상술한 구성 요소들은 결함 검사 장치(1)를 구현하는데 있어서 필수적인 것은 아니어서, 결함 검사 장치(1)는 위에서 열거된 구성 요소들보다 많거나, 또는 적은 구성 요소들로 구현될 수 있다.
결함 검사 장치(1)는, 대상(10)에 결함이 있는지 여부를 검사하기 위한 장치일 수 있다. 결함 검사 장치(1)는 후술하는 구성 요소들에 의하여 구현되어, 대상(10)의 결함을 검사할 수 있다. 대상(10)은 결함이 있는지 여부의 판단 대상일 수 있다. 대상(10)은, 결함 검사 장치(1)의 구성 요소는 아니며, 결함 검사 장치(1)의 구성 또는 동작을 설명하기 위한 부수적인 구성이다. 예를 들어, 결함 검사 장치(1)는, 제품의 일 부분인 부품에 결함이 있는지 여부를 판단할 수도 있고, 완제품에 결함이 있는지 여부를 판단할 수도 있다. 전술한 결함 검사 장치의 역할에 대한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
로봇 암(100)은, 대상(10)을 홀드하고, 이동시킬 수 있다. 로봇 암(100)에 관하여, 도 2를 참조하여 설명한다.
로봇 암(100)은, 대상(10)을 홀드하기 위한 홀드부(110) 및 상기 대상(10)을 이동시키기 위한 구동부(120)를 포함할 수 있다.
로봇 암(100)은, 결함 검사를 위하여 이송부(410)를 통해 결함 검사 장치(1)의 외부로부터 내부로 이송된 대상(10)을 홀드하고, 이동시킬 수 있다. 로봇 암(100)은, 이송부(410) 위의 제 1 위치(12)에 위치한 대상(10)을 홀드할 수 있다. 로봇 암(100)은, 제 1 위치(12)에 위치한 대상(10)을 제 2 위치(14)에 위치하도록 이동시킬 수 있다. 로봇 암(100)은, 결함 검사를 위하여 제 1 카메라부(300)를 통해 대상(10)이 촬영될 수 있도록 대상(10)을 제 2 위치(14)에 위치하도록 이동시킬 수 있다. 제 1 위치(12)는, 이송부(410)의 일 측에 대한 위치일 수 있다. 제 1 위치(12)는, 로봇 암(100)에 의하여 대상(10)이 홀드되기 위하여, 이송부(410)를 통해 결함 검사 장치(1)의 외부에서 내부로 이송된 대상(10)이 정지하여 배치되는 위치일 수 있다. 제 2 위치(14)는, 제 1 카메라부(300)의 촬영에 의해 획득된 이미지에 대상(10)의 적어도 일부가 포함되도록 하는 위치일 수 있다. 로봇 암(100)은, 결함 검사가 완료된 대상을 결함 검사 장치(1)의 내부에서 외부로 이송시키기 위하여, 제 2 위치(14)에서 분류 이송부(420, 430)로 이동시킬 수 있다. 로봇 암(100)은, 대상(10)의 결함 여부에 기초하여 제 1 분류 이송부(420) 또는 제 2 분류 이송부(430)로 대상(10)을 이동시킬 수 있다.
로봇 암(100)의 구동부(120)는, 대상(10)을 이동시킬 수 있다. 본 개시의 일 실시예에 따라, 로봇 암(100)의 구동부(120)는, 대상(10)을 제 1 위치(12)에서 제 2 위치(14)로 이동시킬 수 있다. 본 개시의 일 실시예에 따라, 로봇 암(100)의 구동부(120)는, 대상(10)을 제 2 위치(14)에서 상이하게 배치되도록 조정할 수 있다. 구동부(120)는, 제 1 카메라부(300)가 상이한 배치 상태의 대상(10)을 촬영하여, 상이한 시점으로 촬영된 이미지를 획득할 수 있도록 대상(10)의 배치 상태를 조정할 수 있다. 예를 들어, 구동부(120)는, 제 1 카메라부(300)에 의하여 대상(10)의 상부가 촬영된 이미지를 획득할 수 있도록 제 1 배치 상태로 대상(10)을 이동시킬 수 있고, 다시 대상(10)의 측면부가 촬영된 이미지를 획득할 수 있도록 제 1 배치 상태에서 제 2 배치 상태로 대상(10)을 이동시킬 수 있다. 예를 들어, 제 1 카메라부(300)의 광각으로 촬영 가능한 범위보다 대상(10)의 크기가 더 큰 경우, 구동부(120)는, 분할 촬영을 위하여 대상(10)을 이동시킬 수 있다. 예를 들어, 구동부(120)는 분할 촬영을 위하여, 대상의 일 면의 제 1 부분을 촬영한 후, 동일한 면의 제 1 부분을 제외한 나머지 제 2 부분을 촬영하도록 대상(10)을 이동시킬 수 있다. 예를 들어, 대상(10)이 육면체일 경우, 구동부(120)는 6개의 면 각각에 대하여 제 1 카메라부(300)로 촬영하기 위하여, 제 2 위치(14)에서 대상(10) 배치 상태를 5번 변경할 수 있다. 전술한 구동부(120)의 동작에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
로봇 암(100)의 구동부(120)는, 다축 다관절 구조를 가질 수 있다. 로봇 암(100)의 구동부(120)는, 대상(10)의 이동을 위하여, 대상(10)을 회전시키기 위한 적어도 하나의 구동축(121, 122, 123, 124, 125, 126)을 포함할 수 있다. 예를 들어, 로봇 암(100)은 회전축이 6개인 6관절로 동작하는 구조일 수 있다. 로봇 암(100)의 구동부(120)는, 제 1 구동축(121), 제 2 구동축(122), 제 3 구동축(123), 제 4 구동축(124), 제 5 구동축(125) 및 제 6 구동축(126)을 포함할 수 있다. 구동부(120)에 포함된 하나 이상의 구동축은 서로 이격될 수 있다. 제 6 구동축(126)은 로봇 암(100)의 홀드부(110)와 연결될 수 있다. 전술한 로봇 암(100)에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않고, 로봇 암(100)은 대상(10)을 이동시킬 수 있는 다양한 구조를 가질 수 있다.
로봇 암(100)의 홀드부(110)에 관하여, 도 3을 참조하여 설명한다. 로봇 암(100)의 홀드부(110)는, 대상(10)을 홀드할 수 있다. 로봇 암(100)의 홀드부(110)는, 대상(10)의 결함 여부 검출을 위하여, 이송부(410)상의 제 1 위치(12)에 위치해 있는 대상(10)을 홀드할 수 있다. 로봇 암(100)의 홀드부(110)는, 대상(10)의 결함 여부 검출이 완료된 후, 분류 이송부(420, 430)상에 대상(10)이 위치할 수 있도록, 대상(10)을 로봇 암(100)에서 떨어지도록 할 수 있다. 로봇 암(100)의 홀드부(110)는, 대상(10)을 홀드하여, 결함 여부를 검출하는 과정에서 대상(10)이 추락하는 것을 방지할 수 있다. 전술한 로봇 암(100)의 대상에 대한 동작의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
로봇 암(100)의 홀드부(110)는, 하나 이상의 서브 홀드부(111, 112, 113, 114)로 구성될 수 있다. 하나 이상의 서브 홀드부(111, 112, 113, 114)는, 서로 이격되게 배치될 수 있다. 홀드부(110)는, 홀드하려는 대상(10)의 형상에 따라 상이한 개수의 서브 홀드부를 포함할 수 있다. 하나 이상의 서브 홀드부(111, 112, 113, 114)는, 홀드하려는 대상(10)의 형상에 따라 상이하게 배치될 수 있다. 예를 들어, 로봇 암(100)의 홀드부(110)는, 제 1 서브 홀드부(111), 제 2 서브 홀드부(112), 제 3 서브 홀드부(113) 및 제 4 서브 홀드부(114)로 구성될 수 있다. 예를 들어, 대상(10)의 일 면이 사각형의 형상인 경우, 상기 제 1 서브 홀드부(111), 제 2 서브 홀드부(112), 제 3 서브 홀드부(113) 및 제 4 서브 홀드부(114)는 사각형의 형상으로 배치될 수도 있다. 예를 들어, 대상(10)의 일 면이 평평하지 않고 단차가 있는 면일 경우, 둘 이상의 서브 홀드부 각각은 상이한 길이의 서브 홀드부로 구성될 수 있다. 전술한 홀드부(110)에 포함된 서브 홀드부의 배치 및 개수에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 로봇 암(100)의 서브 홀드부(111, 112, 113, 114)는 압력을 이용하여 대상(10)을 홀드할 수 있다. 예를 들어, 서브 홀드부(111, 112, 113, 114)는 유압 또는 공기압을 이용하여 대상(10)을 홀드할 수 있다. 서브 홀드부(111, 112, 113, 114)는 서브 홀드부(111, 112, 113, 114)의 하단에 위치한 유입구를 통해 외부의 공기를 흡입하여 압축될 수 있다. 서브 홀드부(111, 112, 113, 114)의 유입구를 통해 흡입된 외부 공기는 배출구를 통해 배출될 수 있다. 서브 홀드부(111, 112, 113, 114)를 외부 공기가 통과하면서 발생한 압력차에 의해 대상(10)이 서브 홀드부(111, 112, 113, 114)의 하단에 압착될 수 있다. 전술한 서브 홀드부(111, 112, 113, 114)에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않으며, 홀드부(110)는 대상(10)을 홀드하기 위한 다양한 구조를 가질 수 있다.
본 개시의 일 실시예에 따라, 로봇 암(100)의 서브 홀드부(111, 112, 113, 114)는 전자기력을 이용하여 대상(10)을 홀드할 수 있다. 서브 홀드부(111, 112, 113, 114)는 전원을 제공받아 전자기력을 발생시키고, 상기 전자기력으로 대상(10)의 일 면을 서브 홀드부(111, 112, 113, 114)에 밀착 또는 흡착시킬 수 있다. 서브 홀드부(111, 112, 113, 114)는 추가적으로, 서브 홀드부(111, 112, 113, 114)의 하단 분사구를 통해 대상(10)의 일 면에 공기를 분사하여, 대상(10)과의 유격을 형성할 수 있다. 서브 홀드부(111, 112, 113, 114)는, 전자기력 및 공기 분사를 이용하여, 대상(10)이 서브 홀드부(111, 112, 113, 114)로부터 일정 간격 떨어진 상태에서 이동하도록 할 수도 있다. 전술한 서브 홀드부(111, 112, 113, 114)에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않으며, 홀드부(110)는 대상(10)을 홀드하기 위한 다양한 구조를 가질 수 있다.
본 개시의 일 실시예에 따라, 로봇 암(100)의 서브 홀드부(111, 112, 113, 114)는 흡착 패드 또는 진공 패드(suction pad)로 구성되어 대상(10)을 홀드할 수 있다. 서브 홀드부(111, 112, 113, 114)는 대상(10)에 탄성 밀착되도록 구성될 수 있다. 전술한 서브 홀드부(111, 112, 113, 114)에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않으며, 홀드부(110)는 대상(10)을 홀드하기 위한 다양한 구조를 가질 수 있다.
본 개시의 일 실시예에 따라, 로봇 암(100)의 서브 홀드부(111, 112, 113, 114)는 클리퍼 구성되어 대상(10)을 홀드할 수 있다. 예를 들어, 클리퍼는 니들핀으로 구성될 수 있다. 서브 홀드부(111, 112, 113, 114)는 클리퍼를 이용하여 대상(10)의 양 끝단을 고정하여 들어올릴 수 있다. 전술한 서브 홀드부(111, 112, 113, 114)에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않으며, 홀드부(110)는 대상(10)을 홀드하기 위한 다양한 구조를 가질 수 있다.
조명부(200)에 관하여 도 4 및 도 5를 참조하여 설명한다. 도 4는 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 조명부의 단면도를 도시한 도면이다. 도 5는 본 개시의 일 실시예에 따른 결함 검사 장치에 적용되는 조명부의 정면도를 도시한 도면이다.
조명부(200)는 대상(10)의 외관에 빛을 조사하기 위한 결함 검사 장치(1)의 구성일 수 있다. 조명부(200)는, 결함을 검사하기 위하여 대상(10)이 제 2 위치(14)에 위치해 있을 때, 대상(10)의 외관에 빛을 조사할 수 있다. 조명부(200)를 구성하는 둘 이상의 서브 조명부(210, 220, 230) 각각의 내부 면에 위치한 발광부(210c, 220c, 230c) 각각은 제 2 위치(14)의 대상(10)에 빛을 조사하도록 배치될 수 있다. 조명부(200)는, 대상(10)의 외관에 둘 이상의 상이한 종류의 빛을 조사할 수 있다. 조명부(200)는, 둘 이상의 상이한 빛의 세기, 빛의 색상, 빛의 방향 및 빛의 패턴 중 적어도 하나의 빛을 대상(10)의 외관에 조사할 수 있다. 예를 들어, 조명부(200)에 포함된 제 1 조명부(210)가 대상(10)의 일 면을 기준으로 제 1 각도의 빛을 조사하고, 제 2 조명부(220)가 대상(10)의 일 면을 기준으로 제 2 각도의 빛을 조사할 수 있다.
조명부(200)는 둘 이상의 서브 조명부(210, 220, 230)로 구성될 수 있다. 조명부(200)는 내부에 공간을 형성할 수 있다. 조명부(200)는 내부에 공간이 형성된 둘 이상의 서브 조명부(210, 220, 230)로 구성될 수 있다. 서브 조명부(210, 220, 230)는, 뿔대 형상으로 구성될 수 있다. 서브 조명부(210, 220, 230)는, 원뿔대 또는 다각뿔대 형상으로 구성될 수 있다. 서브 조명부(210, 220, 230)의 두께는 일정할 수 있으며, 뿔대를 둘러싸는 형태로 구성될 수 있다. 서브 조명부(210, 220, 230)의 뿔대의 중심부에는 공간이 형성될 수 있다. 조명부(200) 내부 공간의 일 측에 제 1 카메라부(300)가 위치하고, 다른 일 측에 로봇 암(100)에 의하여 대상(10)이 위치할 수 있어, 내부 공간을 통해 제 1 카메라부(300)가 대상(10)의 외관을 촬영할 수 있다. 서브 조명부(210, 220, 230)는, 뿔대 형상의 내부 면의 적어도 일부에 빛을 조사하는 발광부(210c, 220c, 230c)를 포함할 수 있다. 예를 들어, 발광부(210c, 220c, 230c)는, LED 조명, 근적외광 조명, 근자외광 조명 등일 수 있으나, 본 개시는 이에 제한되지 않는다.
조명부(200)는 2단 이상의 서브 조명부로 구성될 수 있다. 조명부(200)는, 제 1 서브 조명부(210), 제 2 서브 조명부(220) 및 제 3 서브 조명부(230)가 내부 공간을 중심으로 하여 직렬로 연결될 수 있다. 조명부(200)를 구성하는 둘 이상의 서브 조명부(210, 220, 230)는 서로 이격되게 배치될 수 있다. 서브 조명부(210, 220, 230)의 배치 상태에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않고, 대상(10)에 빛을 조사하기 위한 다른 방법으로 배치될 수 있다.
조명부(200)는 둘 이상의 상이한 형상의 서브 조명부(210, 220, 230)로 구성될 수 있다. 둘 이상의 서브 조명부(210, 220, 230) 각각의 뿔대 형상의 밑면의 너비와 윗면의 너비의 비율은 서로 상이할 수 있다. 상술한 밑면 및 윗면은, 서브 조명부(210, 220, 230)의 형상을 설명하기 위한 용어일 뿐, 실제로 면이 형성되어 있는 것은 아니며, 뿔대의 밑면 및 윗면에 해당하는 부분은, 서브 조명부(210, 220, 230)에서 뚫려 있어 조명부(200)의 내부 공간을 형성하는 부분이다. 제 1 서브 조명부 윗면의 너비(210a)와 제 1 서브 조명부 밑면의 너비(210b)의 비율은, 제 2 서브 조명부 윗면의 너비(220a)와 제 2 서브 조명부 밑면의 너비(220b)의 비율과 상이할 수 있다. 제 1 서브 조명부 윗면의 너비(210a)와 제 1 서브 조명부 밑면의 너비(210b)의 비율은, 제 3 서브 조명부 윗면의 너비(230a)와 제 3 서브 조명부 밑면의 너비(230b)의 비율과 상이할 수 있다. 즉, 조명부(200)의 측면에서 단면도로 확인하였을 때, 제 1 서브 조명부의 각도, 제 2 서브 조명부의 각도 및 제 3 서브 조명부의 각도는 상이할 수 있다. 서브 조명부(210, 220, 230)의 형상에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않고, 대상(10)에 빛을 조사하기 위한 다른 방법으로 형성될 수 있다.
조명부(200)를 구성하는 둘 이상의 서브 조명부(210, 220, 230)는, 사전결정된 순서에 기초하여 발광될 수 있다. 본 개시의 일 실시예에 따라, 조명부(200)를 구성하는 둘 이상의 서브 조명부(210, 220, 230) 각각은, 상이한 시점에 발광될 수 있다. 예를 들어, 제 1 서브 조명부(210)가 켜져 대상(10)의 촬영이 완료된 후, 제 1 서브 조명부(210)가 꺼지고, 그리고 제 2 서브 조명부(220)가 켜질 수 있다. 본 개시의 일 실시예에 따라, 조명부(200)를 구성하는 둘 이상의 서브 조명부(210, 220, 230)는, 동시에 켜질 수도 있고, 상이한 시점에 켜질 수도 있다. 예를 들어, 제 1 서브 조명부(210) 및 제 2 서브 조명부(220)는 제 1 시점에 켜질 수 있고, 제 3 서브 조명부는 제 2 시점에 켜질 수도 있다. 전술한 조명부(200)의 발광 순서 또는 켜지는 시점에 대한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
대상(10)의 외관에 둘 이상의 상이한 종류의 빛을 조사하는 것에 기초하여 대상(10)의 결함을 검사하는 경우, 사람이 빛 아래에서 대상(10)을 들고 육안으로 검사하는 것과 같은 효과를 얻을 수 있다. 둘 이상의 상이한 종류의 빛을 이용하여 결함 검사를 수행함으로써, 특정 방향, 종류, 세기 등의 빛에서만 확인이 가능한 대상(10)의 결함도 모두 검출이 가능하다. 상이한 종류의 빛을 조사함으로써, 빛의 방향에 따라 다르게 보이는 결함 부분까지 검출할 수 있어, 결함 검사 장치(1)의 정확도가 높아질 수 있다.
제 1 카메라부(300)는 대상(10)의 외관을 촬영하기 위한 결함 검사 장치(1)의 일 구성일 수 있다. 제 1 카메라부(300)에 관하여 도 4 및 도 5를 참조하여 설명한다. 제 1 카메라부(300)는 조명부(200)와 연결될 수 있다. 제 1 카메라부(300)는 조명부(200)의 일 측에 배치되어 조명부(200)의 다른 일 측에 배치된 대상(10)의 외관을 촬영할 수 있다. 제 1 카메라부(300)는 대상(10)이 조명부(200)의 다른 일 측인 제 2 위치(14)에 배치된 경우, 대상(10)을 촬영할 수 있다.
본 개시의 일 실시예에 따라, 제 1 카메라부(300)는 로봇 암(100)에 의하여 대상(10)이 배치 되었을 때, 상이한 조명 조건 하에서 둘 이상의 이미지를 촬영할 수 있다. 예를 들어, 제 1 카메라부(300)는 동일한 배치 상태의 대상(10)의 외관을, 제 1 서브 조명부(210)의 빛을 대상(10)의 외관에 조사했을 때 대상(10)을 촬영하여 제 1 판단 대상 이미지를 획득하고, 제 2 서브 조명부(210)의 빛을 대상(10)의 외관에 조사했을 때 대상(10)을 촬영하여 제 2 판단 대상 이미지를 획득하고, 그리고 제 3 서브 조명부(210)의 빛을 대상(10)의 외관에 조사했을 때 대상(10)을 촬영하여 제 3 이미지를 획득할 수 있다. 전술한 제 1 카메라부(300)의 촬영 방법에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 제 1 카메라부(300)는 대상(10)이 로봇 암(100)에 의하여 재 배치되어 정지 상태에 있을 때 마다, 대상(10)의 외관을 촬영할 수 있다. 제 1 카메라부(300)가 대상(10)의 다른 면을 다른 각도에서 촬영할 수 있도록, 로봇 암(100)은 제 2 위치(14)에서 대상(10)의 배치 상태를 변경할 수 있다. 예를 들어, 제 1 카메라부(300)는, 대상(10)의 제 1 배치 상태에서 대상(10)의 좌 측면을 촬영한 후, 로봇 암(100)에 의해 대상(10)이 제 1 배치 상태에서 제 2 배치 상태로 변경되는 경우, 대상(10)의 우 측면을 촬영할 수 있다. 전술한 제 1 카메라부(300)의 촬영 방법에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
제 1 카메라부(300)는, 다양한 형태의 이미지를 촬영할 수 있다. 제 1 카메라부(300)의 촬영 결과물은 3D이미지, 흑백 이미지, 시간의 흐름에 따라 저장되는 GIF이미지, 영상 이미지, 적외선 이미지, 전자 이미지 등을 포함할 수 있다. 또한 제 1 카메라부(300)는 필름 카메라, 디지털 카메라, 현미경, 확대경, 적외선 카메라, 자외선(UV) 카메라, X-Ray, 자기 공명 영상 장치 및 임의의 이미지 획득 장치를 포함할 수 있다. 제 1 카메라부(300)는 촬영되는 대상(10)의 촬영물에 따라 구성이 변경될 수도 있다.
본 개시의 일 실시예에 따라, 제 1 카메라부(300)는 제 1 배치 상태의 대상(10)을 둘 이상의 조명 조건 하에서 촬영하여 둘 이상의 이미지를 획득하고, 제 2 배치 상태의 대상(10)을 둘 이상의 조명 조건 하에서 촬영하여 다른 둘 이상의 이미지를 획득할 수 있다.
제 1 카메라부(300)가 대상(10)을 촬영하여 획득한 이미지에 기초하여, 결함 검사 장치(1)는 대상(10)에 결함이 있는지 여부를 판단할 수 있다.
이송부(410)는, 대상(10)을 결함 검사를 위해 이송할 수 있다. 이송부(410)에 관하여 도 6을 참조하여 설명한다.
이송부(410)는, 대상(10)을 결함 검사 장치(1)의 외부에서, 결함 검사 장치(1)의 내부로 이송할 수 있다. 예를 들어, 이송부(410)는 컨베이어 벨트로 구성될 수 있으나, 이는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
이송부(410)는 결함 검사 장치(1)의 외측에 설치된 이송부 제 1 센서(414) 및 결함 검사 장치(1)의 내측에 설치된 이송부 제 2 센서(416)를 포함할 수 있다. 이송부 제 1 센서(414)는, 대상(10)이 이송부(410)의 일 측에 놓여진 것을 감지할 수 있다. 이송부 제 1 센서(414)에 의해 대상(10)이 감지되는 경우, 이송부(410)가 작동하여, 대상(10)을 결함 검사 장치(1)의 내부로 이송할 수 있다. 이송부 제 2 센서(416)는, 대상(10)이 이송부(410)의 일 측에서 다른 일 측으로 이송된 것을 감지할 수 있다. 이송부 제 2 센서(416)에 의해 대상(10)이 감지되는 경우, 이송부(410)가 작동을 중지하여, 대상(10)이 제 1 위치(12)에 위치하도록 할 수 있다. 이송부 제 2 센서(416)에 의해 대상(10)이 감지되는 경우, 로봇 암(100)이 대상(10)을 제 1 위치(12)에서 홀드하여 이동시킬 수 있다. 전술한 이송부(410)에 포함된 하나 이상의 센서에 관한 구체적인 설명은 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
이송부(410)는 결함 검사 장치(1)의 외측에 설치된 이송부 제 3 센서(412a, 412b)를 포함할 수 있다. 이송부 제 3 센서 좌측(412a) 및 이송부 제 3 센서 우측(412b) 사이에 오브젝트가 감지되는 경우, 이송부(410)의 작동을 정지시킬 수 있다. 예를 들어, 이송부 제 3 센서(412a, 412b)는, 적외선 센서일 수 있다. 예를 들어, 이송부 제 3 센서(412a, 412b)에 의해 사람의 신체 일부분(예를 들어, 손)이 감지되는 경우, 이송부(410)의 작동을 정지시킬 수 있다. 상술한 이송부 제 3 센서(412a, 412b)의 구성 요소는, 모두 필수적인 것은 아니며 다른 구성 요소가 더 추가되거나, 상술한 구성 요소가 제외될 수 있다. 전술한 이송부 제 3 센서(412a, 412b)에 대한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
분류 이송부(420, 430)는, 대상(10)에 대한 결함 검사 결과에 기초하여 대상(10)을 분류하여 이송할 수 있다. 분류 이송부(420, 430)에 관하여 도 7을 참조하여 설명한다.
분류 이송부(420, 430)는, 제 1 분류 이송부(420) 및 제 2 분류 이송부(430)를 포함할 수 있다. 제 1 분류 이송부(420)는, 대상(16)에 결함이 없을 경우, 대상(16)을 결함 검사 장치(1)의 내부에서 외부로 이송할 수 있다. 제 2 분류 이송부(430)는, 대상(18)에 결함이 있을 경우, 대상(18)을 결함 검사 장치(1)의 내부에서 외부로 이송할 수 있다. 분류 이송부(420, 430)는, 컨베이어 벨트로 구성될 수 있으나, 이는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 로봇 암(100)은, 대상(10)에 대한 결함 검사 결과에 기초하여, 대상(16)에 결함이 없는 경우 제 1 분류 이송부(420)상에 놓이도록 대상(16)을 이동시켜 내려놓고, 대상(18)에 결함이 있는 경우 제 2 분류 이송부(430)상에 놓이도록 대상(18)을 이동시켜 내려놓을 수 있다.
분류 이송부(420, 430)는 결함 검사 장치(1)의 내측에 설치된 분류 이송부 제 1 센서(424, 434) 및 결함 검사 장치(1)의 외측에 설치된 분류 이송부 제 2 센서(426, 436)를 포함할 수 있다. 분류 이송부 제 1 센서(424, 434)는 결함 검사 여부가 완료된 대상(10)이 분류 이송부(420, 430)의 일 측에 놓여진 것을 감지할 수 있다. 분류 이송부 제 1 센서(424, 434)에 의해 대상(10)이 감지되는 경우, 분류 이송부(420, 430)가 작동하여, 대상(10)을 결함 검사 장치(1)의 외부로 이송할 수 있다. 분류 이송부 제 2 센서(426, 436)는, 대상(10)이 분류 이송부(420, 430)의 일 측에서 다른 일 측으로 이송된 것을 감지할 수 있다. 분류 이송부 제 2 센서(426, 436)에 의해 대상(10)이 감지되는 경우, 대상(10)이 결함 검사 장치(1)의 외부로 이동한 것을 인식하여, 분류 이송부(420, 430)가 작동을 중지할 수 있다. 전술한 분류 이송부(420, 430)에 포함된 하나 이상의 센서에 관한 구체적인 설명은 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
분류 이송부(420, 430)는 결함 검사 장치(1)의 외측에 설치된 분류 이송부 제 3 센서(422a, 422b, 432a, 432b)를 포함할 수 있다. 분류 이송부 제 3 센서 좌측(422a, 432a) 및 분류 이송부 제 3 센서 우측(422b, 432b) 사이에 오브젝트가 감지되는 경우, 이송부(420, 430)의 작동을 정지시킬 수 있다. 예를 들어, 분류 이송부 제 3 센서(422a, 422b, 432a, 432b)는, 적외선 센서일 수 있다. 예를 들어, 분류 이송부 제 3 센서(422a, 422b, 432a, 432b)에 의해 사람의 신체 일부분(예를 들어, 손)이 감지되는 경우, 분류 이송부(420, 430)의 작동을 정지시킬 수 있다. 상술한 분류 이송부 제 3 센서(422a, 422b, 432a, 432b)의 구성 요소는, 모두 필수적인 것은 아니며 다른 구성 요소가 더 추가되거나, 상술한 구성 요소가 제외될 수 있다. 전술한 분류 이송부 제 3 센서(422a, 422b, 432a, 432b)에 대한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
디스플레이부(500)는, 제 1 카메라부(300)가 촬영한 대상(10)의 이미지 및 대상(10)의 결함 여부가 표시된 이미지 중 적어도 하나의 이미지를 표시할 수 있다. 디스플레이부(500)는, 결함 검사 장치(1)의 외측면에 부착되어 있을 수 있다. 대상(10)의 결함 여부가 표시된 이미지는, 결함 유무를 알려주는 이미지일 수도 있고, 대상(10)의 어느 위치에 결함이 있는지 표시해주는 이미지일 수도 있다. 예를 들어 디스플레이부(500)는, 제 2 배치 상태의 대상(10)을 촬영한 이미지에 어노말리 데이터가 존재하여 대상(10)에 결함이 있는 것으로 결정한 경우, 제 2 배치 상태 및 결함이 존재하는 대상(10)의 위치를 표시할 수 있다. 전술한 디스플레이부(500)의 디스플레이 동작에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 디스플레이부(500)는, LCD, LED, CRT 등 임의의 시각적 출력 장치로 구성될 수 있다. 전술한 디스플레이 예시와 구성요소는 예시일 뿐이며 본 개시는 이에 한정되지 않는다.
제 1 광 출력부(610)는, 대상(10)에 결함이 있는지 여부를 표시할 수 있다. 제 1 서브 광 출력부(612)는, 대상(10)에 결함이 있을 경우 발광될 수 있고, 제 2 서브 광 출력부(614)는, 대상(10)에 결함이 없을 경우 발광될 수 있다. 예를 들어, 대상(10)에 결함이 없을 경우 초록색 발광부가 발광될 수 있고, 결함이 있을 경우 빨간색 발광부가 발광될 수 있다. 제 2 광 출력부(620)는, 이송부(410) 및 분류 이송부(420, 430) 중 적어도 하나에 사전결정된 개수 이상의 대상(10)이 적재된 경우, 알림을 표시할 수 있다. 전술한 광 출력부에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
제 2 카메라부(700)는, 대상(10)이 홀드부(110)에 의하여 홀드되기 전의 대상(10)을 촬영할 수 있다. 제 2 카메라부(700)는, 결함 검사 장치(1)를 위에서 수직으로 내려다 보았을 때, 결함 검사 장치(1)의 제 1 위치(12)의 수직 위에 부착되어 있을 수 있다. 제 2 카메라부(700)는, 이송부(410)가 정지하여 대상(10)을 제 1 위치(12)에 놓이도록 하였을 때, 대상(10)을 촬영할 수 있다. 로봇 암(100)의 홀드부(110)는, 제 2 카메라부(700)에서 획득한 대상(10)의 이미지에 기초하여, 홀드부(110)가 대상(10)의 배치 상태에 기초하여 대상(10)을 홀드하기 위하여 정렬될 수 있다. 대상(10)이 이송부(410) 상의 제 1 위치에서 이송부(410)와 평행하게 놓인 경우, 홀드부(110)도 대상(10)을 홀드할 수 있도록 평행하게 정렬될 수 있다. 예를 들어, 제 1 서브 홀드부(111)가 대상(10)의 일 측면의 네 모서리 중 제 1 모서리 측에 압착되고, 제 2 서브 홀드부(112)가 대상(10)의 일 측면의 네 모서리 중 제 2 모서리 측에 압착되고, 제 3 서브 홀드부(113)가 대상(10)의 일 측면의 네 모서리 중 제 3 모서리 측에 압착되고, 제 4 서브 홀드부(114)가 대상(10)의 일 측면의 네 모서리 중 제 4 모서리 측에 압착되도록 정렬될 수 있다. 전술한 제 2 카메라부(700)의 위치 및 홀드부(110)의 정렬에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않고, 제 2 카메라부(700)가 대상(10)을 촬영하여, 홀드부(110)가 대상(10)의 배치 상태에 기초하여 정렬되어, 대상(10)을 홀드할 수 있도록 하는 모든 방법에 의하여 구현될 수 있다.
제어부(800)는, 결함 검사 장치(1)의 동작을 제어할 수 있다. 제어부(800)는 로봇 암(100), 조명부(200), 제 1 카메라부(300), 이송부(410), 분류 이송부(420, 430), 디스플레이부(500), 광 출력부(610, 620) 및 제 2 카메라부(700) 중 적어도 하나를 동작하도록 할 수 있다.
이하에서는 본 개시의 일 실시예에 따른 결함 검사 장치를 구현하기 위한 결함 검사 방법에 관하여 설명한다.
본 개시의 일 실시예에서 서버는 서버의 서버 환경을 수행하기 위한 다른 구성들이 포함될 수도 있다. 서버는 임의의 형태의 장치는 모두 포함할 수 있다. 서버는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 서버는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
본 명세서에 걸쳐, 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 신경망은 일반적으로 “노드”라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 “노드”들은 “뉴런(neuron)”들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다. 신경망들을 구성하는 노드(또는 뉴런)들은 하나 이상의 “링크”에 의해 상호 연결될 수 있다.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.
신경망은 하나 이상의 노드들을 포함하여, 구성될 수 있다. 신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다, 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 신경망은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다.
딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 잇는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다.
컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network)는 딥 뉴럴 네트워크의 일종으로서, 컨벌루셔널 레이어를 포함하는 신경망을 포함한다. 컨벌루셔널 뉴럴 네트워크는 최소한의 전처리 (preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptorns)의 한 종류이다. CNN은 하나 또는 여러개의 컨벌루셔널 레이어와 이와 결합된 인공 신경망 계층들로 구성될 수 있으며, 가중치와 풀링 레이어 (pooling layer)들을 추가로 활용할 수 있다. 이러한 구조 덕분에 CNN은 2 차원 구조의 입력 데이터를 충분히 활용할 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지에서 오브젝트를 인식하기 위하여 사용될 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있다. 예를 들어 RGB(red-green-blue)로 인코딩된 이미지 데이터의 경우, R, G, B 색상별로 각각 2차원(예를 들어, 2 차원 이미지인경우) 행렬로 나타내 질 수 있다. 즉, 이미지 데이터의 각 픽셀의 색상값이 행렬의 성분이 될 수 있으며 행렬의 크기는 이미지의 크기와 같을 수 있다. 따라서 이미지 데이터는 3개의 2차원 행렬로(3차원의 데이터 어레이)로 나타내질 수 있다.
컨벌루셔널 뉴럴 네트워크에서 컨벌루셔널 필터를 이동해가며 컨벌루셔널 필터와 이미지의 각 위치에서의 행렬 성분끼리 곱하는 것으로 컨벌루셔널 과정(컨벌루셔널 레이어의 입출력)을 수행할 수 있다. 컨벌루셔널 필터는 n*n 형태의 행렬로 구성될 수 있으며, 일반적으로 이미지의 전체 픽셀의 수보다 작은 고정된 형태의 필터로 구성될 수 있다. 즉, m*m 이미지를 컨벌루셔널 레이어(예를 들어, 컨벌루셔널 필터의 사이즈가 n*n인 컨벌루셔널 레이어)입력시키는 경우, 이미지의 각 픽셀을 포함하는 n*n 픽셀을 나타내는 행렬이 컨벌루셔널 필터와 성분곱(즉, 행렬의 각 성분끼리의 곱) 될 수 있다. 컨벌루셔널 필터와의 곱에 의하여 이미지에서 컨벌루셔널 필터와 매칭되는 성분이 추출될 수 있다. 예를 들어, 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터는 [[0,1,0],[0,1,0],[0,1,0]] 와 같이 구성될 수 있으며, 이러한 컨벌루셔널 필터가 입력 이미지에 적용되면 이미지에서 컨벌루셔널 필터와 매칭되는 상하 직선 성분이 추출되어 출력될 수 있다. 컨벌루셔널 레이어는 이미지를 나타낸 각각의 채널에 대한 각각의 행렬(즉, R, G, B 코딩 이미지의 경우, R, G, B 색상)에 컨벌루셔널 필터를 적용할 수 있다. 컨벌루셔널 레이어는 입력 이미지에 컨벌루셔널 필터를 적용하여 입력 이미지에서 컨벌루셔널 필터와 매칭되는 피쳐를 추출할 수 있다. 컨벌루셔널 필터의 필터 값(즉, 행렬의 각 성분의 값)은 컨벌루셔널 뉴럴 네트워크의 학습 과정에서 역전파(back propagation)에 의하여 업데이트 될 수 있다.
컨벌루셔널 레이어의 출력에는 서브샘플링 레이어가 연결되어 컨벌루셔널 레이어의 출력을 단순화하여 메모리 사용량과 연산량을 줄일 수 있다. 예를 들어, 2*2 맥스 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 최대값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 평균값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 본 개시에 포함될 수 있다.
컨벌루셔널 뉴럴 네트워크는 하나 이상의 컨벌루셔널 레이어, 서브샘플링 레이어를 포함할 수 있다. 컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 과정과 서브샘플링 과정(예를 들어, 전술한 맥스 풀링 등)을 반복적으로 수행하여 이미지에서 피쳐를 추출할 수 있다. 반복적인 컨벌루션널 과정과 서브샘플링 과정을 통해 뉴럴 네트워크는 이미지의 글로벌 피쳐를 추출할 수 있다.
컨벌루셔널 레이어 또는 서브샘플링 레이어의 출력은 풀 커넥티드 레이어(fully connected layer)에 입력될 수 있다. 풀 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이다. 풀 커넥티드 레이어는 뉴럴 네트워크에서 각 레이어의 모든 노드가 다른 레이어의 모든 노드에 연결된 구조를 의미할 수 있다.
본 개시의 일 실시예에서 이미지 데이터의 세그먼테이션(segmentation)을 수행하기 위하여 뉴럴 네트워크는 디컨벌루셔널 뉴럴 네트워크(DCNN: deconvolutional neural network)를 포함할 수 있다. 디컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크를 역방향으로 계산시킨 것과 유사한 동작을 수행하며, 컨벌루셔널 뉴럴 네트워크에서 추출된 피쳐를 원본 데이터와 관련된 피쳐 맵으로 출력할 수 있다.
본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다. 모델은 다른 모델과 함께 데이터의 처리를 수행할 수 있다. 모델은 다른 모델과 직렬 또는 병렬로 상호 연결될 수 있다. 이하에서 모델은, 뉴럴 네트워크와 동의어로 쓰일 수 있다. 결함 검사 모델(900)은 뉴럴 네트워크(900)로 지칭될 수 있고, 제 1 서브 모델(910)은 제 1 서브 네트워크(910)로 지칭될 수 있고, 그리고 제 2 서브 모델(930)은 제 2 서브 네트워크(930)로 지칭될 수도 있다.
도 8은 본 개시의 일 실시예에 따라 샴 네트워크(Siamese Network)를 나타낸 도면이다.
샴 네트워크(900)(Siamese network)는 카테고리별 학습 데이터(traing data)가 충분치 않은 인식기에 사용될 수 있는 뉴럴 네트워크이다. 샴 네트워크는 데이터로부터 유사성 측정을 학습할 수 있다. 샴 네트워크는 도 8에 도시된 바와 같이 적어도 부분적으로 가중치를 공유하는 2 이상의 뉴럴 네트워크들(910, 930)(서브 네트워크 들)과 뉴럴 네트워크들로부터 출력을 입력 받는 비교 모듈(950)을 포함할 수 있다. 샴 네트워크(900)에는 적어도 2 개의 이미지가 입력될 수 있다. 샴 네트워크(900)는 입력되는 2 개의 이미지의 유사도를 판단한 결과를 출력할 수 있다. 이미지 처리를 위하여 샴 네트워크는 이미지를 입력 받는 2개의 컨벌루셔널 뉴럴 네트워크를 포함할 수 있다. 샴 네트워크에서 이미지를 입력 받는 2개의 컨벌루셔널 뉴럴 네트워크는 가중치의 적어도 일부를 공유할 수 있다. 샴 네트워크에 포함된 서브 네트워크들은 가중치 공유 모듈(920)에 의하여 가중치를 공유할 수 있으며, 서브 네트워크들이 가중치를 공유함으로써, 샴 네트워크는 입력된 두 데이터에 대해 공통된 가중치로 피쳐를 추출하여 비교할 수 있다.
샴 네트워크 구조는 입력 데이터의 유사성을 측정할 수 있는 학습이 가능한 네트워크 구조로서, 카테고리가 많고 훈련을 위한 데이터가 충분치 않은 경우에 사용될 수 있다. 입력 데이터 유사성 측정의 학습 방법은 타겟 공간에서의 단순 거리가 입력 공간에서 의미론적 거리(semantic distance)에 근접하도록 입력 패턴을 타겟 공간에 매핑 시키는 함수를 찾는 과정을 포함할 수 있다.
샴 네트워크(900)의 입력 데이터 유사성 측정의 학습 방법은 서브 네트워크의 가중치 w를 가지는 함수
Figure 112019008761972-pat00001
에서 가중치 w를 연산하는 과정을 포함할 수 있다. 구체적으로, 서브 네트워크의 함수
Figure 112019008761972-pat00002
에서 입력 데이터
Figure 112019008761972-pat00003
,
Figure 112019008761972-pat00004
가 서로 같은 카테고리인 경우 유사도 함수
Figure 112019008761972-pat00005
가 작은 값을 가지고, 입력 데이터
Figure 112019008761972-pat00006
,
Figure 112019008761972-pat00007
가 서로 다른 카테고리인 경우 유사도 함수가 큰 값을 가지도록 하는 가중치 w를 연산하는 과정을 포함할 수 있다. 서브 네트워크의 가중치 w는 가중치 공유 모듈(920)에 의하여 각각 공유될 수 있다. 샴 네트워크 구조는 서브 네트워크가 공유된 가중치를 가지는 함수
Figure 112019008761972-pat00008
로 각각의 입력 데이터를 처리할 수 있다.
두 컨벌루셔널 뉴럴 네트워크는 서로 대응되는 노드끼리 가중치를 공유할 수 있다. 컨벌루셔널 뉴럴 네트워크에서 출력된 피쳐들은 비교 모듈(950)에서 서로 유사도가 비교될 수 있다. 이때 비교는 양 컨벌루셔널 뉴럴 네트워크에서 출력된 피쳐의 수학적 거리에 기초하여 수행될 수 있다. 양 이미지를 비교하는 방식으로 샴 네트워크(900)는 학습 데이터가 충분치 않은 경우에도 이미지 데이터에서 오브젝트 등을 인식할 수 있고, 이미지 데이터의 회전, 변형 등에 민감하지 않아 일반적인(general) 인식 성능을 가질 수 있다.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 및 반교사학습(semi supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 출력의 오류를 최소화하기 위한 것이다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어 있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링 된 학습 데이터가 뉴럴 네트워크에 입력되고 뉴럴 네트워트의 출력(카테고리)과 학습 데이터의 라벨을 비교하여 오차(error)가 계산될 수 있다. 계산된 오차는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learing rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오차는 감소하나 실제 데이터에 대해서는 오차가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오차를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regulaization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있다.
도 9는 본 개시의 일 실시예에 따라 결함 검사 장치를 구현하기 위한 결함 검사 방법을 간략화하여 나타낸 개념도이다.
본 개시의 결함 검사 방법은, 결함 검사 장치(1)의 하나 이상의 제어부(800)에 의하여 수행될 수 있다. 본 개시의 결함 검사 장치(1)의 하나 이상의 제어부(800)는 본 개시의 결함 검사 모델(900)의 연산 프로세스를 수행할 수 있다. 본 개시의 결함 검사 방법의 모든 연산 프로세스(즉, 뉴럴 네트워크 학습, 피쳐 추출, 피쳐 비교 등)은 결함 검사 장치(1)의 제어부(800)에 의해여 수행될 수 있다. 즉, 결함 검사 모델(900)에서 데이터를 처리한다는 표현은 결함 검사 장치(1)의 제어부(800)가 결함 검사 모델(900)을 실행하여 데이터를 처리하는 과정을 의미할 수 있다.
본 개시의 결함 검사 방법에서 결함 검사 장치(1)는 결함 검사 모델(900)에 마스터 이미지(1010) 및 슬레이브 이미지(1030)를 입력하고, 결함 검사 모델(900)에서 계산한 두 이미지의 유사도 계산 결과에 기초하여 결과를 출력할 수 있다.
본 개시의 뉴럴 네트워크는 데이터의 분류를 위해 사용될 수 있다. 예를 들어, 본 개시의 뉴럴 네트워크는 어노말리 디택션(Anomaly Detection)에 사용될 수 있다.
어노말리 데이터는 데이터의 정상 패턴에서 벗어나는 비정상 데이터를 의미할 수 있다. 데이터는 비정형 패턴을 가질 수 있으며 어노말리 데이터는 이러한 비정형 패턴에서 벗어나는 데이터를 의미할 수 있다. 예를 들어, 생산 공정에서 생산 제품의 이미지에 관한 데이터는 정상 제품이라는 비정형 패턴을 가질 수 있으며, 어노말리 데이터는 정상 제품이라는 비정형 패턴에서 벗어난 데이터(즉, 예를 들어 불량 제품의 이미지 등)일 수 있다. 본 개시의 정상 데이터, 비정형 패턴, 어노말리 데이터에 관한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
보다 구체적으로 본 개시의 뉴럴 네트워크는 생산 공정에서 어노말리 제품과 정상 제품을 분류하기 위하여 사용될 수 있다. 어노말리 제품은, 결함이 있는 대상(18)일 수 있고, 정상 제품은, 결함이 없는 대상(16)일 수 있다. 예를 들어, 본 개시의 결함 검사 모델은 대상(10)에 결함이 있는지 여부를 검사하기 위하여 사용될 수 있다. 또한 본 개시의 뉴럴 네트워크는 이미지 세그먼테이션(image segmantation)을 위하여 사용될 수 있다. 이미지 세그먼테이션은 이미지의 일부를 다른 일부와 구분되도록 분리하는 과정을 의미할 수 있다. 이미지 세그먼테이션은 예를 들어, 이미지에서 추출된 엣지, 색상 등에 기초하여 이미지의 일부를 다른 일부와 구분되 도록 분리하는 과정을 포함할 수 있다. 또한, 이미지 세그먼테이션은 이미지에서 어노말리 부분의 위치정보를 추출하여 이미지의 다른 부분으로부터 어노말리 데이터의 위치를 식별하는 과정일 수 있다. 또한 이미지 세그먼테이션은 다른 일부와 구분된 이미지의 일부를 시각화하여 표시하는 과정 또한 포함할 수 있다. 예를 들어, 본 개시의 뉴럴 네트워크는 이미지에서 어노말리 부분을 표시하기 위해 사용될 수 있다.
마스터 이미지(1010)는 입력 데이터의 어노말리(anomaly)의 판단의 기초가 되는 이미지이다. 슬레이브 이미지(1030)는 어노말리의 판단 대상이 되는 이미지이다. 본 개시에서 마스터 이미지(1010)는, 정상 이미지(1010)와 동일한 이미지를 지칭하는 것으로 사용될 수 있고, 슬레이브 이미지(1030)는, 판단 대상 이미지(1030)와 동일한 이미지를 지칭하는 것으로 사용될 수 있다.
본 개시에서 어노말리 데이터는 데이터의 정상 패턴에서 벗어나는 비정상 데이터일 수 있다. 예를 들어, 어노말리 데이터는, 결함이 있는 대상(18)을 제 1 카메라부(300)로 촬영한 이미지일 수 있다. 마스터 이미지(1010)는 어노말리 데이터를 포함하지 않는 정상 상태 이미지 데이터만을 포함하는 이미지 일 수 있다. 슬레이브 이미지(1030)는 정상 패턴일 수도 있고 비정상 데이터일 수도 있으며, 뉴럴 네트워크가 이를 판단하는 대상이 되는 이미지일 수 있다. 예를 들어, 마스터 이미지(1010)는 결함이 없는 대상(16)의 외관을 촬영한 이미지 일 수 있으며, 슬레이브 이미지(1030)는 검사 대상이 되는 대상(10)의 외관을 촬영한 이미지 일 수 있다.
결함 검사 모델(900)에 입력되는 이미지들은 동일한 크기를 가질 수 있다. 또한, 결함 검사 모델(900)에 입력되는 이미지는 뉴럴 네트워크의 처리를 용이하게 하고, 패치 중첩으로 분류의 정확도를 높이기 위하여 일정한 크기의 패치(patch)로 분리될 수 있다. 예를 들어, 마스터 이미지(1010)와 슬레이브 이미지(1030)는 각각 256*256 픽셀 크기를 가지는 이미지일 수 있으며, 이들 각각은 뉴럴 네트워크 즉, 결함 검사 모델(900)의 서브 모델에 입력되기 위하여 32*32 픽셀 크기를 가지는 패치로 분리될 수 있다. 이미지에서의 패치 추출은 이미지의 각 픽셀에 대해 수행될 수 있으며, 각각의 패치는 서로 중첩되는 부분을 가질 수 있다. 예를 들어, 이미지의 가장 왼쪽 위 픽셀에서 32*32 픽셀의 패치가 추출되고, 해당 픽셀에서 오른쪽에 인접한 픽셀에서 32*32 픽셀의 패치를 추출하는 경우, 각각의 패치는 중첩 부분을 가질 수 있다.
결함 검사 장치(1)는 뉴럴 네트워크(900)에 입력된 마스터 이미지(1010) 및 슬레이브 이미지(1030)에서 각각 피쳐를 추출할 수 있다. 결함 검사 장치(1)는 각각의 피쳐를 비교하여 마스터 이미지(1010)와 슬레이브 이미지(1030)의 유사도를 판단할 수 있다. 결함 검사 장치(1)는 마스터 이미지(1010)의 피쳐와 슬레이브 이미지(1030)의 피쳐 사이의 수학적 거리를 구하여 유사도를 판단할 수 있다. 예를 들어, 제어부(800)는 마스터 이미지(1010)와 슬레이브 이미지(1030)의 유사도가 사전결정된 임계값 이하인 경우 슬레이브 이미지(1030)를 어노말리 데이터를 포함하는 이미지로 판단할 수 있다. 또한, 제어부(800)는 마스터 이미지(1010)의 피쳐와 슬레이브 이미지(1030)의 피쳐를 딥 뉴럴 네트워크로 비교하여 두 이미지에서 실제 어느 픽셀이 상이한지를 픽셀 단위로 표현하는 픽셀바이 픽셀 세그먼테이션 출력(pixel by pixel segmentation output)을 생성할 수도 있다. 결함 검사 장치(1)는 임의의 비교 알고리즘으로 서브 네트워크의 출력을 서로 비교할 수 있다. 결함 검사 장치(1)는 양 피쳐의 차이를 단순 비교하는 것뿐 아니라, 양 피쳐의 비교에 뉴럴 네트워크를 시용하여 양 피쳐의 차이의 정도, 차이가 있는 부분의 픽셀의 위치 등을 출력할 수 있다.
도 10은 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 구성을 나타낸 예시도이다.
도 10은 도 9의 개략도를 보다 구체화하여 나타낸 예시도이다.
마스터 이미지(1010) 및 슬레이브 이미지(1030)는 각각 뉴럴 네트워크(900)의 서브 네트워크(910, 930)에 입력될 수 있다. 결함 검사 장치(1)는 각각의 서브 네트워크(910, 930)를 이용하여 입력된 이미지를 각각 연산하여 입력된 이미지의 피쳐를 각각 추출할 수 있다. 서브 네트워크들(910, 930)은 샴 네트워크의 적어도 일부를 구성할 수 있다. 서브 네트워크들(910, 930)은 서로 가중치의 적어도 일부를 공유하여 비교 모듈(comparator)(950)이 마스터 이미지(1010) 및 슬레이브 이미지(1030)에 대하여 공통된 가중치로 피쳐를 추출하여 비교하도록 할 수 있다. 여기서 서브 네트워크들(910, 930)은 딥 뉴럴 네트워크 구조를 포함할 수 있다. 예를 들어 네트워크들(910, 930) 중 적어도 하나는 컨벌루셔널 뉴럴 네트워크 구조를 가질 수 있으나 본 개시는 이에 제한되지 않는다.
비교 모듈(950)은 컨벌루셔널 뉴럴 네트워크, 컨벌류셔널 뉴럴 네트워크, 또는 임의의 비교 알고리즘 구조를 가질 수 있다. 본 개시의 결함 검사 방법이 슬레이브 이미지(1030)에 존재하는 어노말리 부분(즉, 대상(10)에 결함이 있는 부분)의 픽셀의 위치 정보를 출력하는 경우 비교 모듈(950)은 딥 뉴럴 네트워크 구조를 가질 수 있다. 본 개시의 비교 방법이 슬레이브 이미지(1030)에 어노말리 부분이 존재하는지 여부를 출력하는 경우 비교 모듈(950)은 수학적 비교 알고리즘으로 구성될 수 있다.
비교 모듈(950)은 각각의 서브 네트워크(910, 930)와 직렬(in series)로 연결될 수 있다. 여기서 직렬은 서브 네트워크의 출력의 적어도 일부가 비교 모듈(950)의 입력이 되거나, 서브 네트워크의 일부가 비교 모듈(950)과 중첩될 수 있음을 의미할 수 있다. 비교 모듈(950)은 복수의 이미지, 이미지의 피쳐를 비교할 수 있는 구성을 가질 수 있으며, 비교 모듈(950)은 각각의 서브 네트워크에서 출력된 피쳐를 서로 비교하여 비교 정보를 생성할 수 있다. 비교 모듈(950)은 두 피쳐의 수학적 거리를 비교하는 함수의 형태를 가질 수도 있으며, 딥 뉴럴 네트 워크로 구성되어 두 피쳐의 유사를 판단하는 구성일 수도 있다. 비교 모듈(950)이 딥 뉴럴 네트워크로 구성되는 경우, 비교 모듈(950)은 제 1 서브 네트워크(910) 및 제 2 서브 네트워크(930)로부터 수신된 데이터로부터 이미지의 유사성과 관련된 피쳐를 계산할 수 있다. 비교 모듈(950)은 임의의 데이터 비교 알고리즘으로 서브 네트워크에서 추출된 피쳐를 서로 비교할 수 있으며 본 개시는 비교 알고리즘에 제한되지 않는다. 비교 모듈(250)은 딥 뉴럴 네트워크 구조를 가질 수 있으며 그중 디컨벌루셔널 뉴럴 네트워크 구조를 포함할 수 있다.
비교 모듈(950)의 비교 결과에 기초하여 뉴럴 네트워크(900)는 어노말리 관련 데이터를 출력할 수 있다. 어노말리 관련 데이터는 이미지가 어노말리 데이터를 포함하는지 여부 또는 어노말리 데이터를 포함하는 경우 어노말리가 존재하는 픽셀의 위치정보를 포함할 수 있다. 어노말리 관련 데이터는 이미지에 포함된 대상(10)이 결함을 포함하는지 여부 또는 결함을 포함하는 경우 결함이 존재하는 픽셀의 위치정보를 포함할 수 있다. 도 11의 라벨링 이미지(1250)는 어노말리가 존재하는 픽셀의 위치정보를 시각화하여 표시한 이미지이다. 이미지에서 어노말리가 존재하는 픽셀의 위치정보는 이미지에서 어노말리가 존재하는 부분에 중첩된 형상으로 표시되어 시각화 될 수 있다. 다른 실시예에서 어노말리가 존재하는 픽셀의 위치정보를 어노말리가 존재하는 데이터 영역의 윤곽선을 특정할 수 있는 정보를 포함할 수 있다. 본 개시는 이미지에서 어노말리가 존재하는 부분을 표시하기 위한 임의의 방법을 포함한다.
도 11은 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 구성을 나타낸 예시도이다.
도 11은 도 10의 예시도를 보다 구체화하여 나타낸 예시도이다.
제어부(800)는, 결함 검사 모델(900)을 이용하여 대상(10)의 결함 여부를 판단할 수 있다. 본 개시의 일 실시예에 따라, 제어부(800)는, 제 1 카메라부(300)가 촬영한 대상(10)의 이미지에 기초하여 대상(10)의 결함 여부를 판단할 수 있다.
본 개시의 일 실시예에 따라, 제어부(800)는, 각각 상이한 조명 조건 하에서 촬영된 둘 이상의 이미지에 기초하여 대상(10)의 결함 여부를 판단할 수 있다. 결함 검사 장치(1)는 결함 검사 모델(900)에 제 1 정상 이미지(1011), 제 1 판단 대상 이미지(1031), 제 2 정상 이미지(1012) 및 제 2 판단 대상 이미지(1032)를 입력하고, 결함 검사 모델(900)에 포함된 제 1 채널에서 계산한 두 이미지의 유사도 및 제 2 채널에서 계산한 두 이미지의 유사도 계산 결과에 기초하여 결과를 출력할 수 있다.
제 1 정상 이미지(1011)는, 제 1 서브 조명부(210)가 결함이 없는 대상에 제 1 종류의 빛을 조사한 것에 기초하여 획득된 이미지일 수 있다. 제 1 판단 대상 이미지(1031)는, 제 1 서브 조명부(210)가 대상(10)에 제 1 종류의 빛을 조사한 것에 기초하여 획득된 이미지일 수 있다. 제 2 정상 이미지(1012)는, 제 2 서브 조명부(220)가 결함이 없는 대상에 제 2 종류의 빛을 조사한 것에 기초하여 획득된 이미지일 수 있다. 제 2 판단 대상 이미지(1032)는, 제 2 서브 조명부(220)가 대상(10)에 제 2 종류의 빛을 조사한 것에 기초하여 획득된 이미지일 수 있다 제 1 정상 이미지(1011), 제 1 판단 대상 이미지(1031), 제 2 정상 이미지(1012) 및 제 2 판단 대상 이미지(1032)는, 동일한 배치 상태의 대상의 외관을 촬영한 이미지일 수 있다.
조명부(200)가 대상(10)에 조사한 빛의 종류의 개수는, 판단 대상 이미지의 개수와 매칭될 수 있고, 결함 검사 모델(900)의 채널의 개수와 매칭될 수도 있다. 예를 들어, 동일한 배치 상태의 대상(10)을 조명부(200)가 3개의 상이한 종류의 서브 조명부로 조사하여 각각에 대한 이미지를 획득하는 경우, 결함 검사 장치(1)는 3개의 채널을 포함하는 결함 검사 모델(900)로 각각의 이미지를 연산할 수 있다. 전술한 결함 검사 모델(900)에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
결함 검사 모델(900)의 제 1 채널(901)은, 제 1 정상 이미지(1011) 및 제 1 판단 대상 이미지(1031)에서 각각 피쳐를 추출하고, 각각의 피쳐를 비교하여 제 1 유사도를 판단할 수 있다. 제 1 유사도가 임계값 이하인 경우 제 1 판단 대상 이미지(1031)는 어노말리 데이터를 포함하는 이미지로 판단할 수 있다. 제 1 유사도에 기초하여 제 1 채널(901)은, 제 1 결과(1061)를 출력할 수 있다. 결함 검사 모델(900)의 제 2 채널(902)은, 제 2 정상 이미지(1012) 및 제 2 판단 대상 이미지(1032)에서 각각 피쳐를 추출하고, 각각의 피쳐를 비교하여 제 2 유사도를 판단할 수 있다. 제 2 유사도에 기초하여 제 2 채널(902)은, 제 2 결과(1062)를 출력할 수 있다. 제 2 유사도가 임계값 이하인 경우 제 2 판단 대상 이미지(1032)는 어노말리 데이터를 포함하는 이미지로 판단할 수 있다. 결함 검사 모델(900)은, 제 1 결과(1061) 및 제 2 결과(1062)에 기초하여 대상(10)에 결함이 있는지 여부에 관한 결과(1063)를 출력할 수 있다. 제 1 판단 대상 이미지(1031) 및 제 2 판단 대상 이미지(1032) 중 적어도 하나가 어노말리 데이터를 포함하는 이미지일 경우, 결함 검사 모델(900)은 대상(10)에 결함이 있는 것으로 결과(1063)를 출력할 수 있다.
서브 모델들(9110, 9310)(9120, 9320)은 샴 네트워크의 적어도 일부를 구성할 수 있다. 제 1 채널의 서브 모델들(9110, 9310)은 서로 가중치의 적어도 일부를 공유하여 비교 모듈(9510)이 제 1 정상 이미지(1011) 및 제 1 판단 대상 이미지(1031)에 대하여 공통된 가중치로 피쳐를 추출하여 비교하도록 할 수 있다. 제 2 채널의 서브 모델들(9120, 9320)은 서로 가중치의 적어도 일부를 공유하여 비교 모듈(9520)이 제 2 정상 이미지(1012) 및 제 2 판단 대상 이미지(1032)에 대하여 공통된 가중치로 피쳐를 추출하여 비교하도록 할 수 있다. 본 개시의 일 실시예에 따라, 제 1 채널(901) 및 제 2 채널(902) 각각에 입력되는 이미지의 조명 조건이 상이하므로, 제 1 채널의 서브 모델들(9110, 9310) 및 제 2 채널의 서브 모델들(9120, 9320) 각각은 가중치를 공유하지 않을 수 있다. 본 개시의 다른 일 실시예에 따라, 제 1 채널(901) 및 제 2 채널(902) 각각에 입력되는 이미지의 조명 조건은 상이하나, 이미지에 포함된 대상(10)의 배치 상태가 동일하므로, 제 1 채널의 서브 모델들(9110, 9310) 및 제 2 채널의 서브 모델들(9120, 9320) 각각은 적어도 일부의 가중치를 공유할 수 있다.
본 개시의 일 실시예에 따라, 제어부(800)는, 제 1 배치 상태의 대상(10)을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지 및 제 2 배치 상태의 대상(10)을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지에 기초하여 상기 대상의 결함 여부를 판단할 수 있다. 예를 들어, 제 1 배치 상태의 대상(10)을 촬영한 대상(10)의 제 1 측면에 대한, 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지, 제 2 배치 상태의 대상(10)을 촬영한 대상(10)의 제 2 측면에 대한, 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지에 기초하여 대상(10)의 결함 여부를 판단할 수 있다. 전술한 배치 상태에 관한 구체적인 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
제어부(800)는 제 1 배치 상태의 대상(10)을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지를 제 1 결함 검사 모델(900)을 이용하여 연산하고, 제 2 배치 상태의 대상(10)을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지를 제 2 결함 검사 모델(900)을 이용하여 연산할 수 있다. 제 1 결함 검사 모델(900) 및 제 2 결함 검사 모델(900)에 포함된 뉴럴 네트워크의 가중치는 상이할 수 있다. 제 1 결함 검사 모델(900)을 이용하여, 제 1 배치 상태의 대상(10)을 촬영한 이미지에 어노말리가 있는지 여부를 판단하고, 제 2 결함 검사 모델(900)을 이용하여, 제 2 배치 상태의 대상(10)을 촬영한 이미지에 어노말리가 있는지 여부를 판단할 수 있다. 제 1 배치 상태의 대상(10)을 촬영한 이미지 및 제 2 배치 상태의 대상(10)을 촬영한 이미지 중 적어도 하나에 어노말리가 존재하는 경우, 대상(10)에는 결함이 있는 것으로 결정할 수 있다.
도 12는 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 학습 데이터의 예시이다.
본 개시의 일 실시예의 결함 검사 방법을 구현하기 위한 뉴럴 네트워크의 학습 데이터(1200)는 정상 이미지(1210), 대상 이미지(1230), 라벨링 이미지(1250)를 포함할 수 있다. 정상 이미지(1210)는 입력 데이터의 어노말리의 판단의 기초가 되는 이미지로서, 어노말리 데이터를 포함하지 않는 정상 상태 이미지 데이터만을 포함하는 이미지일 수 있다. 정상 이미지(1210)는 학습 후 뉴럴 네트워크의 마스터 이미지(1010)에 대응될 수 있다. 즉 예를 들어 정상 이미지(1210)는 정상 제품의 비정형 패턴만을 가지는 어노말리가 없는 이미지일 수 있다. 대상 이미지(1230)는 어노말리 판단 대상이 되는 이미지로서 어노말리 데이터를 포함할 수 있는 이미지일 수 있다. 대상 이미지(1230)는 학습 후 뉴럴 네트워크의 슬레이브 이미지(1030)에 대응될 수 있다. 라벨링 이미지(1250)는 대상 이미지(1230)에서 어노말리가 존재하는 픽셀을 라벨링한 이미지이다. 도 12에 도시된 이미지는 섬유 가공 분야에 관한 제품 이미지이나 본 개시는 이에 제한되지 않는다.
도 13 내지 도 15는 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 학습 방식을 나타낸 개념도이다.
도 13에 도시된 바와 같이 본 개시의 실시예에서 뉴럴 네트워크(900)는 정상 이미지(1210) 및 대상 이미지(1230) 를 학습 데이터(1220)(즉, 비정상의 존재 여부가 라벨링된 데이터)로 학습하여, 입력 데이터가 어노말리 데이터를 포함하는지 여부를 판단하도록 학습될 수 있다. 여기서 대상 이미지(1230)는 어노말리의 존재 여부가 라벨링 된 이미지일 수 있다. 즉, 도 13의 학습 방식에서 정상 이미지(1210) 및 대상 이미지(1230)는 뉴럴 네트워크(900)에 입력되고 뉴럴 네트워크(900)는 대상 이미지(1230)에서 어노말리 데이터가 존재하는지 여부에 관한 출력(1051)을 출력할 수 있다. 제어부(800)는 뉴럴 네트워크의 출력과 대상 이미지(1230)에 라벨링된 어노말리 데이터의 존재 여부에 정보를 비교하여 오차를 구하고 오차를 역전파하여 뉴럴 네트워크(900)를 슬레이브 이미지(1030)에서 어노말리 데이터가 존재하는지 여부를 분류하도록 학습시킬 수 있다. 즉, 제어부(800)는 어노말리 데이터의 존재 여부가 라벨링된 학습 데이터(1230)를 이용하여 어노말리 데이터의 존재 여부에 관한 출력 (1051)을 출력하도록 뉴럴 네트워크(900)를 학습시킬 수 있다.
도 14에 도시된 바와 같이 본 개시의 다른 일 실시예에서 뉴럴 네트워크(900)는 정상 이미지(1210) 및 라벨링 이미지(1250)를 학습 데이터(1240)(즉, 정상 데이터와 어노말리가 존재하는 픽셀이 라벨링된 비정상 이미지)로 학습하여, 입력 데이터에서 어노말리가 존재하는 픽셀의 위치정보 관련 데이터(1053)를 출력하도록 학습될 수 있다. 여기서 라벨링 이미지(1250)는 전술한 바와 같이 이미지에 어노말리가 존재하는 픽셀의 위치정보가 라벨링된 데이터 일 수 있다. 즉, 도 14에 도시된 학습 방식에서 정상 이미지(1210) 및 라벨링 이미지(1250)가 뉴럴 네트워크(900)에 입력되고 뉴럴 네트워크(900)는 라벨링 이미지(1250)에서 어노말리가 존재하는 픽셀의 위치정보 관련 데이터를 출력할 수 있다. 제어부(800)는 뉴럴 네트워크의 출력과 라벨링 이미지(1250)에 라벨링된 어노말리가 존재하는 픽셀의 위치정보 관련 데이터를 비교하여 오차를 구하고 오차를 역전파하여 뉴럴 네트워크(900)를 슬레이브 이미지(1030)에서 어노말리가 존재하는 픽셀의 위치정보 관련 데이터를 출력하도록 학습시킬 수 있다. 즉, 제어부(800)는 이미지 데이터에서 어노말리가 존재하는 픽셀의 위치정보가 라벨링된 학습 데이터(1240)를 이용하여 이미지 데이터에서 어노말리가 존재하는 픽셀의 위치정보에 관한 출력(1053)을 출력하도록 뉴럴 네트워크(900)를 학습시킬 수 있다.
도 15에 도시된 바와 같이 본 개시의 또 다른 일 실시예에서 뉴럴 네트워크(900)는 정상 이미지(1210) 및 대상 이미지(1230)를 학습 데이터(1220)로 학습하여, 입력 데이터에서 어노말리가 존재하는 픽셀의 위치정보 관련 데이터(1053)를 출력하도록 학습될 수 있다. 즉 도 15에 도시된 학습 방식에서 정상 이미지(1210) 및 대상 이미지(1230)가 뉴럴 네트워크(900)에 입력되고 뉴럴 네트워크(900)는 대상 이미지(1230)에서 어노말리가 존재하는 픽셀의 위치정보 관련 데이터를 출력할 수 있다. 제어부(800)는 뉴럴 네트워크의 출력과 타겟(예를 들어, 대상 이미지(1230)에 라벨링된 어노말리의 존재 여부)을 비교하여 오차를 구하고 오차를 역전파하여 뉴럴 네트워크 (900)를 슬레이브 이미지(1030)에서 어노말리가 존재하는 픽셀의 위치정보 관련 데이터를 출력하도록 학습시킬 수 있다. 즉, 제어부(800)는 어노말리 데이터의 존재 여부가 라벨링된 학습 데이터(1220)를 이용하여 이미지 데이터에서 어노말리가 존재하는 픽셀의 위치정보에 관한 출력(1053)을 출력하도록 뉴럴 네트워크(900)를 학습시킬 수 있다.
도 16은 본 개시의 일 실시예에 따라 결함 검사 방법을 구현하기 위한 결함 검사 모델의 구성을 나타낸 도면이다.
도 16은 본 개시의 결함 검사 방법을 구현하기 위한 샴 네트워크를 도시한 도면이다. 샴 네트워크(900)는 도 9의 뉴럴 네트워크(900)를 구성할 수 있다. 서브 네트워크들(9110, 9120, 9310, 9320) 중 적어도 하나는 컨벌루셔널 뉴럴 네트워크 구조를 포함할 수 있다. 서브 네트워크들(910, 930)은 가중치 공유 모듈(920)에 의하여 하나 이상의 가중치를 서로 공유할 수 있다. 가중치 공유 모듈(920)은 두 서브 네트워크들(910, 930)이 하나 이상의 가중치를 공유할 수 있도록 서브 네트워크들(910, 930)을 연결하는 구조일 수 있다. 비교 모듈(950)은 컨벌루셔널 네트워크 구조를 포함할 수 있다. 서브 네트워크들(910, 930)은 서로 가중치의 적어도 일부를 공유할 수 있다. 따라서 서브 네트워크들(910, 930)은 마스터 이미지(1010) 및 슬레이브 이미지(1030)에 대해 공통된 가중치로 피쳐를 추출하여 비교 모듈(950)이 비교하게 할 수 있다.
비교 모듈(950)은 각각의 서브 네트워크들 중 적어도 하나와 유 네트워크 구조의 적어도 일부분을 구성할 수 있다. 유 네트워크(1300)에 관해서는 도 17 를 참고하여 설명한다. 서브 네트워크들(910, 930)의 전부 또는 일부와 비교 모듈(950)의 전부 또는 일부가 유 네트워크를 구성할 수 있다. 그리고 서브 네트워크들(910, 930)과 비교 모듈(950)의 조합이 유 네크워크(1300)의 일부일 수도 있다.
유 네트워크(1300)는 이미지 세그먼테이션을 수행할 수 있는 딥 뉴럴 네트워크 구조일 수 있다. 도 17에 도시된 U 네트워크의 왼쪽 부분은 입력 데이터의 차원을 감소시킬 수 있는 딥 뉴럴 네트워크 구조를 가지고, 오른쪽 부분은 입력 데이터의 차원을 증가시킬 수 있는 딥 뉴럴 네트워크 구조를 가질 수 있다. 보다 구체적으로 유 네트워크(1300)의 차원 감소 네트워크(1310)는 컨벌루셔널 뉴럴 네트워크 구조를 가질 수 있고, 차원 증가 네트워크 (1330)는 디컨벌루셔널 뉴럴 네트워크 구조를 가질 수 있다. 도 17의 도시에서 직사각형으로 표시된 부분은 유 네트워크의 각각의 레이어일 수 있다. 도 17의 도시에서 각 레이어의 1301 부분의 숫자는 각 레이어의 예시적인 채널의 수일 수 있다. 도 17의 도시에서 각 레이어의 1303 부분의 숫자는 각 레이어에서 처리되는 이미지의 예시적인 픽셀의 수를 의미할 수 있으며, 도 17에 도시된 유 네트워크의 연산의 화살표 방향을 따라 가면 이미지의 예시적인 픽셀의 수가 감소하였다가 증가하는 것에서 이미지의 차원이 감소되었다가 다시 증가함을 확인할 수 있다. 도 17에 도시된 화살표 511은 이미지에 컨벌루셔널 필터를 적용시키는 컨벌루셔널 동작을 의미할 수 있다. 예를 들어, 화살표 511은 3*3 컨벌루셔널 필터를 이미지에 적용하는 컨벌루셔널 동작일 수 있으나 본 개시는 이에 제한되지 않는다. 도 17에 도시된 화살표 1313은 차원 감소된 이미지의 차원을 증가시키기 위해 필요 한 정보를 차원 감소 네트워크(1310)에서 대응하는 차원 증가 네트워크(1330)에 전송하는 동작을 의미할 수 있다. 도 17에 도시된 화살표 1315은 이미지의 픽셀을 감소시키기 위한 풀링 동작을 의미할 수 있다. 예를 들어 화살표 1315는 최대 값을 추출하는 맥스 풀링(max pooling)일 수 있으나 본 개시는 이에 제한되지 않는다. 도 17에 도시된 화살표 1317은 이미지의 차원을 증가시키는 컨벌루셔널 동작을 의미할 수 있다. 예를 들어, 화살표 1317은 2*2 컨벌루셔널 필터를 이용한 컨벌루셔널 동작일 수 있으나 본 개시는 이에 제한되지 않는다. 도 17에 도시된 화살표 1319는 완전 연결 레이어에 출력을 전달하기 위한 컨벌루셔널 동작을 의미할 수 있다. 예를 들어, 화살표 1319은 1*1 컨벌루셔널 필터를 이용한 컨벌루셔널 동작일 수 있다. 도 17의 도시에서 차원 증가 네트워크(1330)에 포함된 빗금이 쳐진 직사각형은 이미지의 차원 증가를 위한 정보를 차원 감소 네트워크(1310)의 대응하는 레이어로부터 전달받음을 의미할 수 있다.
유 네트워크(1300)는 이미지 세그먼테이션을 위하여 이미지의 차원을 감소시키는 과정에서 차원 증가를 위한 정보(예를 들어, 픽셀의 위치정보, 고레벨 피쳐 등) 이미지 차원을 증가시키는 과정에 전달될 수 있도록 하는 구조(도 17의 도시에서 화살표 1313)를 가질 수 있다. 즉, 유 네트워크의 차원 감소 네트워크(1310)의 각 레이어는 차원 증가 네트워크(1330)의 대응되는 레이어에 피쳐의 위치 정보를 전달할 수 있다. 이로써, 이미지의 차원을 감소시켰다가 차원을 증가시키는 과정에서 유실될 수 있는 픽셀의 위치 정보를 복원할 수 있다. 따라서, 픽셀의 위치 정보가 이미지 차원을 증가시키는 과정에서 복구될 수 있으므로 유 네트워크는 픽셀의 위치 정보가 필수적인 이미지 세그먼테이션에 사용될 수 있다. 구체적으로, 도 17에 도시된 예시에서와 같이 유 네트워크(1300)의 차원 감소 네트워크(1310)에서 제 1 레이어(입력과 가장 가까운 레이어)는 차원 증가 네트워크(1330)의 마지막 레 이어(출력과 가장 가까운 레이어)에 정보를 전달할 수 있다. 전달되는 정보는 차원 증가 네트워크(1330)에서 차원감소된 이미지의 차원을 증가시키기 위해 필요한 정보를 포함할 수 있다. 전달되는 정보는 예를 들어 피쳐, 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치정보, 원본 이미지의 픽셀 위치 정보 등일 수 있으며 본 개시는 이에 제한되지 않는다. 그리고 유 네트워크의 차원 감소 네트워크에서 제 2 레이어(입력에서 2번째 레이어)는 차원 증가 네트워크(1330)의 마지막에서 두번째 레이어(출력에서 2번째 레이어)에 정보를 전달할 수 있다. 이러한 과정으로 유 네트워크의 각 서브네트워크(차원 증가 네트워크(1330), 차원 감소 네트워크(1310))는 레이어의 위치에 기초하여 결정되는 대응되는 레이어에 정보를 전달할 수 있다.
비교 모듈(950)은 차원 증가 네트워크를 포함하여 서브 네트워크들(910, 930)중 적어도 하나와 유 네트워크 구조의 적어도 일부분을 구성할 수 있다. 도 18은 본 개시의 결함 검사 방법을 구현하기 위한 샴 네트워크의 예시도로서, 서브 네트워크들(910, 930)이 비교 모듈(950)과 유 네트워크 구조를 구성하는 것을 나타낸 도면이다. 도 18의 예시에서 일 그룹의 직사각형은 뉴럴 네트워크의 1 레이어를 나타낼 수 있다. 도 18에 구성된 뉴럴 네트워크는 단순화한 예시일 뿐이며, 레이어의 수, 이미지의 크기 등은 변경될 수 있으며, 본 개시는 도 18의 기재에 제한되지 않는다.
도 18에서 점선 좌측은 유 네트워크의 입력 데이터의 차원을 감소시키는 차원 감소 네트워크(1310)고 점선 우측은 입력 데이터의 차원을 복원하는 차원 증가 네트워크(1330)를 구성할 수 있다.
도 18의 예시에서 마스터 이미지(1010)는 제 1 서브 네트워크(910)에 입력되고 슬레이브 이미지(1030)는 제 2 서브 네트워크(930)에 입력될 수 있다. 제 1 서브 네트워크(910)는 마스터 이미지(1010)에서 피쳐를 추출하고, 제 2 서브 네트워크(930)는 슬레이브 이미지(1030)에서 피쳐를 추출할 수 있다. 이때, 제 1 서브 네트워크(910) 및 제 2 서브 네트워크(930)는 서로 가중치를 공유할 수 있다. 제 1 서브 네트워크(910) 및 제 2 서브 네트워크(930)의 각 레이어의 피쳐는 서로 비교될 수 있다. 도 18에 도시된 화살표 955는 제 1 및 제 2 서브 네트워크로부터 데이터를 도출하는 동작을 의미할 수 있다. 예를 들어 화살표 955는 제 1 및 제 2 서브 네트워크에서 계산된 데이터를 비교하는 동작을 의미할 수 있다. 또한 예를 들어, 화살표 955는 마스터 이미지 피쳐와 슬레이브 이미지 피쳐의 차이 계산 또는 마스터 이미지 피쳐와 슬레이브 이미지 피쳐의 딥 뉴럴 네트워크 비교기 동작을 의미할 수 있다. 제 1 및 제 2 서브 네트워크(930)의 각각 레이어에서 추출된 피쳐는 비교 모듈(950)에 의하여 각각 비교될 수 있다. 제어부(800)는 제 1 및 제 2 서브 네트워크(930)의 각각 레이어에서 추출된 피쳐는 각각 비교하여 레이어 비교 정보를 생성할 수 있다. 레이어 비교 정보는 마스터 이미지 피쳐와 슬레이브 이미지 피쳐의 차이에 관한 정보를 포함할 수 있다. 제어부(800)는 레이어 비교 정보에 기초하여 어노말리 관련 정보를 연산할 수 있다. 이를 위하여 제어부(800)는 생성된 레이어 비교 정보, 피쳐 정보를 비교 모듈(950)의 대응하는 레이어에 제공할 수 있다. 제공되는 정보는 피쳐, 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치정보, 원본 이미지의 픽셀 위치 정보, 레이어 비교 정보 등일 수 있다. 대응하는 레이어는 레이어 비교 정보를 생성하는데 기초가 된 제 1 서브 네트워크의 레이어 또는 제 2 서브 네트워크의 레이어의 위치에 기초하여 결정된다. 보다 구체적으로 제 1 및 2 서브 네트워크의 입력 레이어에 가까운 레이어는 비교 모듈(950)의 출력과 가까운 레이어와 대응된다. 도 18에 도시된 직사각형에 도시된 패턴은 서로 대응되는 레이어임을 의미할 수 있다. 즉, 도18 도시된 제 1 및 제 2 서브 네트워크의 제 1 레이어(911, 931)는 비교 모듈(950)의 제 3 레이어와 대응될 수 있다. 즉, 제 1 및 제 2 서브 네트워크의 입력 레이어를 기준으로 한 레이어의 위치와 비교 모듈(950)의 출력 레이어를 기준으로 한 레이어의 위치가 서로 대응될 수 있다. 즉, 도 18에 도시된 제 1 레이어 비교 정보(951)는 비교 모듈(950)의 차원 증가 네트워크(930)의 제 3 레이어(953)에 전달될 수 있다. 도 18에 도시된 화살표 957는 제 1 및 제 2 서브 네트워크로부터 도출된 정보를 차원 증가 네트워크(930)에 속하는 대응되는 레이어에 전달하는 동작을 의미할 수 있다. 또한 화 살표 957은 감소된 이미지의 차원을 증가시키기 위한 정보의 전달을 의미할 수 있다. 레이어 비교 정보, 피쳐 정보의 전달 및 연결을 의미하며 이는 도 17의 유 네트워크에 관하여 도시된 화살표 1313과 유사한 동작이다. 도 18의 샴 네트워크는 샴 네트워크의 서브 네트워크들(서브 네트워크 및 비교 모듈)이 유 네트워크 구조를 이루어 이러한 레이어 비교 정보(951)가 차원 증가 네트워크(930) 측으로 전달되어 이미지의 차원을 감소시켰다가 차원을 증가시키는 과정에서 유실될 수 있는 픽셀의 위치 정보를 복원할 수 있다. 따라서 본 개시의 결함 검사 방법은 도 18과 같은 뉴럴 네트워크 구조를 가짐으로써 어노말리 부분에 대한 이미지 세그먼테이션을 수행할 수 있다.
본 개시에서 뉴럴 네트워크(900)는 마스터 이미지(1010)와 슬레이브 이미지(1030)의 차이에 기초하여 슬레이브 이미지(1030)에 어노말리 데이터가 포함되는지 여부를 분류할 수 있다. 또한, 본 개시에서 뉴럴 네트워크(900)는 마스터 이미지(1010)와 슬레이브 이미지(1030)의 차이와 레이어 비교 정보에 기초하여 슬레이브 이미지(1030)에 존재하는 어노말리 부분의 픽셀을 표시할 수 있다.
샴 네트워크를 응용한 뉴럴 네트워크를 사용함으로서 본 개시의 일 실시예의 결함 검사 방법은 마스터 이미지와 슬레이브 이미지가 일부 상이한 경우(두 이미지가 많이 비슷하나 일부 어노말리가 존재하여 디테일이 일부 상이한 경우 등)와 많이 상이한 경우(렌즈 왜곡, 조명 변화, 텍스쳐 상이 등에 의하여 두 이미지가 상당 부분 상이하나 어노말리는 존재하지 않아 디테일은 유사한 경우 등)를 모두 학습하고 분류할 수 있다. 본 개시의 결함 검사 방법은 마스터 이미지와 슬레이브 이미지가 동일한 도메인에 속하는 경우에 디테일의 차이로 슬레이브 이미지에 어노말리 데이터가 존재하는지 여부를 판단할 수 있다. 구체적으로 마스터 이미지와 슬레이브 이미지가 모두 꽃무늬를 포함하는 직물에 관한 이미지인 경우(무늬 동일, 텍스쳐 동일의 경우), 두 이미지에서 차이가 발생하는 부분이 어노말리 데이터일 수 있다. 또한, 본 개시의 결함 검사 방법은 마스터 이미지와 슬레이브 이미지가 상이한 도메인에 속하는 경우에도 디테일을 비교하여 슬레이브 이미지에 어노말리 데이터가 존재하는지 여부를 판단할 수 있다. 구체적으로 마스터 이미지는 꽃무늬를 포함하는 직물에 관한 이미지이고, 슬레이브 이미지는 별무늬를 포함하는 가죽에 관한 이미지인 경우(무늬, 텍스쳐 상이한 경우), 두 이미지에서 도메인이 상이하여 발생하는 큰 차이 부분은 무시하고 디테일을 살펴 슬레이브 이미지에서 어노말리 데이터가 존재하는지 여부를 판단할 수 있다. 그러므로 본 개시의 결함 검사 방법은 이미지 데이터의 회전, 변형, 렌즈 왜곡에 의한 오차, 도메인 변경 등에도 일반적인 인식 성능을 가질 수 있어, 도메인 별로 학습 데이터를 확보하고 도메인 별로 학습을 수행하여야 하는 기존 뉴럴 네트워크의 한계를 극복한 효과를 가진다.
1: 결함 검사 장치
10: 대상
12: 제 1 위치
14: 제 2 위치
16: 결함이 없는 대상
18: 결함이 있는 대상
100: 로봇 암
110: 홀드부
120: 구동부
200: 조명부
210: 제 1 서브 조명부
220: 제 2 서브 조명부
230: 제 3 서브 조명부
300: 제 1 카메라부
410: 이송부
420: 제 1 분류 이송부
430: 제 2 분류 이송부
500: 디스플레이부
610: 제 1 광 출력부
620: 제 2 광 출력부
700: 제 2 카메라부
800: 제어부

Claims (18)

  1. 대상을 홀드하기 위한 홀드부 및 상기 대상을 이동시키기 위한 구동부를 포함하는 로봇 암;
    상기 대상의 외관을 촬영하는 제 1 카메라부;
    상기 대상의 외관에 둘 이상의 상이한 종류의 빛을 조사하는 조명부; 및
    둘 이상의 조명 조건에서 촬영된 둘 이상의 상기 대상에 관한 정상 이미지에 기초하여 연산하는 결함 검사 모델에 포함된 제 1 서브 모델; 및 상기 제 1 카메라부가 둘 이상의 조명 조건에서 촬영한 둘 이상의 상기 대상의 이미지에 기초하여 연산하는 상기 결함 검사 모델에 포함된 제 2 서브 모델의 각 연산 결과에 적어도 부분적으로 기초하여 상기 대상의 결함 여부를 판단하는 제어부;
    를 포함하는,
    결함 검사 장치.
  2. 제 1 항에 있어서,
    상기 제 1 카메라부가 촬영한 상기 대상의 이미지 및 상기 대상의 결함 여부가 표시된 이미지 중 적어도 하나의 이미지를 표시하는 디스플레이부;
    를 더 포함하는,
    결함 검사 장치.
  3. 제 1 항에 있어서,
    상기 대상을 결함 검사를 위해 이송시키기 위한 이송부; 및
    상기 대상에 대한 상기 제어부의 상기 결함 검사의 결과에 기초하여 상기 대상을 분류하여 이송하기 위한 분류 이송부;
    를 더 포함하는,
    결함 검사 장치.
  4. 제 1 항에 있어서,
    상기 구동부는,
    상기 대상을 회전시키기 위한 적어도 하나의 구동축을 포함하는,
    결함 검사 장치.
  5. 제 1 항에 있어서,
    상기 구동부는,
    상기 제 1 카메라부가 상이한 배치 상태의 상기 대상을 촬영하여, 상이한 시점으로 촬영된 이미지를 획득할 수 있도록 상기 대상의 배치 상태를 조정하는,
    결함 검사 장치.
  6. 제 1 항에 있어서,
    상기 홀드부에 의하여 홀드되기 전의 상기 대상을 촬영하기 위한 제 2 카메라부;
    를 더 포함하고,
    상기 제어부는,
    상기 제 2 카메라부에서 획득한 상기 대상의 이미지에 기초하여, 상기 홀드부가 상기 대상의 배치 상태에 기초하여 상기 대상을 홀드하기 위하여 정렬되도록 하는,
    결함 검사 장치.
  7. 제 1 항에 있어서,
    상기 조명부는,
    빛을 조사하는 둘 이상의 서브 조명부를 포함하며, 상기 조명부는 내부에 공간을 형성하고,
    상기 제 1 카메라부는,
    상기 공간의 일 측에 위치하여, 상기 공간의 다른 일 측에 상기 로봇 암에 의해 배치된 대상을 상기 공간을 통해 촬영하도록 하고, 그리고
    상기 제어부는,
    상기 로봇 암이 상기 대상을 상기 제 1 카메라부가 촬영할 수 있도록, 상기 공간의 상기 다른 일 측에 배치하도록 하는,
    결함 검사 장치.
  8. 제 7 항에 있어서,
    상기 서브 조명부는,
    원뿔대 또는 다각뿔대 형상으로 구성되며, 그리고 뿔대 형상의 내부 면에 빛을 조사하는 발광부가 위치하는,
    결함 검사 장치.
  9. 제 7 항에 있어서,
    상기 둘 이상의 서브 조명부는,
    원뿔대 또는 다각뿔대 형상으로 구성되며, 각각의 서브 조명부의 뿔대 형상의 밑면의 너비와 윗면의 너비의 비율은 서로 상이한,
    결함 검사 장치.
  10. 삭제
  11. 삭제
  12. 제 1 항에 있어서,
    상기 제어부는,
    제 1 배치 상태의 상기 대상을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지 및 제 2 배치 상태의 상기 대상을 상이한 조명 조건 하에서 촬영한 둘 이상의 이미지에 기초하여 상기 대상의 결함 여부를 판단하는,
    결함 검사 장치.
  13. 삭제
  14. 제 1 항에 있어서,
    상기 제어부는,
    상기 둘 이상의 이미지 중 적어도 하나의 이미지에 어노말리가 있는 것으로 판단되는 경우, 상기 대상에 결함이 있는 것으로 결정하는,
    결함 검사 장치.
  15. 제 1 항에 있어서,
    상기 제어부는,
    어노말리 판단의 기초가 되는 정상 이미지인, 제 1 조명 조건 하에서 촬영된 제 1 정상 이미지 및 제 2 조명 조건 하에서 촬영된 제 2 정상 이미지를 결함 검사 모델에 포함된 제 1 서브 모델에 포함된 채널 각각의 입력으로 하여 연산하고,
    어노말리 판단 대상 이미지인, 상기 제 1 조명 조건 하에서 촬영된 제 1 판단 대상 이미지 및 상기 제 2 조명 조건 하에서 촬영된 제 2 판단 대상 이미지를 상기 결함 검사 모델에 포함된 제 2 서브 모델에 포함된 채널 각각의 입력으로 하여 연산하고, 그리고
    상기 제 1 서브 모델 및 제 2 서브 모델의 연산 결과에 기초하여 상기 대상의 결함 여부를 판단하는,
    결함 검사 장치.
  16. 제 15 항에 있어서,
    상기 결함 검사 모델은,
    상기 제 1 서브 모델 및 상기 제 2 서브 모델 중 적어도 하나와 직렬로 연결되는 비교 모듈을 더 포함하는,
    결함 검사 장치.
  17. 제 15 항에 있어서,
    상기 제 1 정상 이미지가 입력되는 제 1 서브 모델 제 1 채널은,
    상기 제 1 판단 대상 이미지가 입력되는 제 2 서브 모델 제 1 채널과 동일한 가중치를 가지는 링크를 적어도 하나 이상 공유하고, 그리고
    상기 제 2 정상 이미지가 입력되는 제 1 서브 모델 제 2 채널은,
    상기 제 2 판단 대상 이미지가 입력되는 제 2 서브 모델 제 2 채널과 동일한 가중치를 가지는 링크를 적어도 하나 이상 공유하는,
    결함 검사 장치.
  18. 제 15 항에 있어서,
    상기 제어부는,
    제 1 서브 모델 제 1 채널의 적어도 하나의 레이어 및 제 2 서브 모델 제 1 채널의 적어도 하나의 레이어에 기초하여, 적어도 하나의 제 1 레이어 비교 정보를 생성하고, 상기 제 1 레이어 비교 정보를 비교 모듈 제 1 채널의 대응하는 레이어에 전달하여, 제 1 판단 대상 이미지의 어노말리 정보를 연산하고, 그리고
    제 1 서브 모델 제 2 채널의 적어도 하나의 레이어 및 제 2 서브 모델 제 2 채널의 적어도 하나의 레이어에 기초하여, 적어도 하나의 제 2 레이어 비교 정보를 생성하고, 상기 제 2 레이어 비교 정보를 비교 모듈 제 2 채널의 대응하는 레이어에 전달하여, 제 2 판단 대상 이미지의 어노말리 정보를 연산하는,
    결함 검사 장치.
KR1020190009273A 2019-01-24 2019-01-24 결함 검사 장치 KR102206753B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190009273A KR102206753B1 (ko) 2019-01-24 2019-01-24 결함 검사 장치
CN202080010651.2A CN113383227A (zh) 2019-01-24 2020-01-03 缺陷检查装置
PCT/KR2020/000110 WO2020153623A1 (ko) 2019-01-24 2020-01-03 결함 검사 장치
JP2021543228A JP7186304B2 (ja) 2019-01-24 2020-01-03 欠陥検査装置
US17/425,666 US11790512B2 (en) 2019-01-24 2020-01-03 Defect inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190009273A KR102206753B1 (ko) 2019-01-24 2019-01-24 결함 검사 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007122A Division KR20210009411A (ko) 2021-01-19 2021-01-19 결함 검사 장치

Publications (2)

Publication Number Publication Date
KR20200092117A KR20200092117A (ko) 2020-08-03
KR102206753B1 true KR102206753B1 (ko) 2021-01-22

Family

ID=71736295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190009273A KR102206753B1 (ko) 2019-01-24 2019-01-24 결함 검사 장치

Country Status (5)

Country Link
US (1) US11790512B2 (ko)
JP (1) JP7186304B2 (ko)
KR (1) KR102206753B1 (ko)
CN (1) CN113383227A (ko)
WO (1) WO2020153623A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471441B1 (ko) * 2021-12-20 2022-11-28 주식회사 아이코어 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012983A1 (ja) * 2018-07-13 2020-01-16 ソニー株式会社 制御装置、制御方法、およびプログラム
JP7200037B2 (ja) * 2019-04-17 2023-01-06 株式会社日立製作所 機械の自動運転制御方法、及びシステム
US11610390B2 (en) * 2019-05-15 2023-03-21 Getac Technology Corporation System for detecting surface type of object and artificial neural network-based method for detecting surface type of object
US11538146B2 (en) * 2019-12-19 2022-12-27 Qeexo, Co. Automated machine vision-based defect detection
KR102472876B1 (ko) * 2020-11-12 2022-12-01 에이엠티 주식회사 불량 pcb 모듈의 리뷰 장치
KR20230020631A (ko) * 2021-08-03 2023-02-13 삼성디스플레이 주식회사 박형 유리 검사 시스템
US20240005471A1 (en) * 2022-06-29 2024-01-04 Electrical Components International, Inc. Next generation quality inspection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175595B1 (ko) * 2011-09-26 2012-08-24 주식회사 미르기술 비접촉식 부품검사장치 및 부품검사방법
KR101736458B1 (ko) * 2016-01-19 2017-05-17 삼일테크(주) 케이스용 미세 결점 검사 장비
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3379909B2 (ja) 1998-06-22 2003-02-24 株式会社ヒューブレイン 微小物体の外観検査装置
JP2005241469A (ja) 2004-02-26 2005-09-08 Kawaguchiko Seimitsu Co Ltd 製品外観検査方法
KR100753614B1 (ko) 2006-08-29 2007-08-30 송해근 웨이퍼 이송 로봇암
KR100879301B1 (ko) * 2007-06-28 2009-01-19 삼성에스디아이 주식회사 발광 장치 및 이 발광 장치를 광원으로 사용하는 표시 장치
JP4273359B2 (ja) 2007-09-28 2009-06-03 Ｎｅｃソフト株式会社 年齢推定システム及び年齢推定方法
JP2009139209A (ja) * 2007-12-06 2009-06-25 Toppan Printing Co Ltd 欠陥検査方法
KR101119278B1 (ko) * 2009-10-29 2012-03-16 삼성전기주식회사 기판검사시스템 및 기판검사방법
KR20120046494A (ko) 2010-11-02 2012-05-10 삼성테크윈 주식회사 부품 흡착 검사 장치 및 방법
KR101856533B1 (ko) 2011-03-28 2018-05-14 삼성전자주식회사 발광소자 검사 장치 및 그 검사 방법
CN102830123B (zh) * 2012-08-16 2014-07-02 北京科技大学 一种金属板带表面微小缺陷的在线检测方法
KR101442483B1 (ko) 2013-01-10 2014-09-24 주식회사 미르기술 Led 패키지 비전 검사 및 분류 시스템
JP6189127B2 (ja) 2013-07-26 2017-08-30 新電元工業株式会社 はんだ付け検査装置、はんだ付け検査方法および電子部品
JP2015135253A (ja) 2014-01-16 2015-07-27 アイシン精機株式会社 欠陥検査装置
JP2015194368A (ja) * 2014-03-31 2015-11-05 富士通株式会社 欠陥検査方法及び欠陥検査装置
KR101520636B1 (ko) 2014-06-24 2015-05-18 주식회사 에프에스티 불규칙 표면의 영상 취득을 위한 광학적 조명 방법 및 장치
JP6576059B2 (ja) * 2015-03-10 2019-09-18 キヤノン株式会社 情報処理、情報処理方法、プログラム
JP6543070B2 (ja) * 2015-04-01 2019-07-10 株式会社ニューフレアテクノロジー 検査方法および検査装置
JP6650223B2 (ja) 2015-07-22 2020-02-19 倉敷紡績株式会社 物品検査方法
CN105259181A (zh) * 2015-10-26 2016-01-20 华为技术有限公司 显示屏的显示缺陷检测方法、装置及设备
KR101707206B1 (ko) 2016-01-18 2017-02-27 (주)주강 로보테크 그리퍼 이송장치
JP6367862B2 (ja) * 2016-06-09 2018-08-01 本田技研工業株式会社 欠陥検査方法及びその装置
JP2018059830A (ja) 2016-10-06 2018-04-12 川崎重工業株式会社 外観検査方法
KR102576842B1 (ko) * 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
JP6408654B1 (ja) * 2017-06-16 2018-10-17 株式会社オプトン 検査装置
JP6549644B2 (ja) 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
CN108337505B (zh) * 2018-01-30 2020-11-10 百度在线网络技术（北京）有限公司 信息获取方法和装置
IL259143B1 (en) * 2018-05-03 2024-03-01 Inspekto A M V Ltd System and method for visual production line inspection of various production items
US20200005422A1 (en) * 2018-06-29 2020-01-02 Photogauge, Inc. System and method for using images for automatic visual inspection with machine learning
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
WO2020110119A1 (en) * 2018-11-29 2020-06-04 Inspekto A.M.V Ltd Multi-camera visual inspection appliance and method of use

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175595B1 (ko) * 2011-09-26 2012-08-24 주식회사 미르기술 비접촉식 부품검사장치 및 부품검사방법
KR101736458B1 (ko) * 2016-01-19 2017-05-17 삼일테크(주) 케이스용 미세 결점 검사 장비
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471441B1 (ko) * 2021-12-20 2022-11-28 주식회사 아이코어 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템

Also Published As

Publication number Publication date
US11790512B2 (en) 2023-10-17
WO2020153623A1 (ko) 2020-07-30
JP7186304B2 (ja) 2022-12-08
KR20200092117A (ko) 2020-08-03
JP2022520018A (ja) 2022-03-28
US20220092765A1 (en) 2022-03-24
CN113383227A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
KR102206753B1 (ko) 결함 검사 장치
Sassi et al. A smart monitoring system for automatic welding defect detection
CN108548820B (zh) 化妆品纸质标签缺陷检测方法
KR101916347B1 (ko) 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
Deshpande et al. One-shot recognition of manufacturing defects in steel surfaces
JP6576059B2 (ja) 情報処理、情報処理方法、プログラム
US20200133182A1 (en) Defect classification in an image or printed output
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN111712769B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
JP2022550216A (ja) 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US20230129522A1 (en) Artificial intelligence vision inspection system for wiring harness
CN113711234A (zh) 纱线质量控制
US20220284567A1 (en) Teacher data generation method, trained learning model, and system
KR20210009411A (ko) 결함 검사 장치
TWI694250B (zh) 表面缺陷偵測系統及其方法
KR101822963B1 (ko) 이진 영상을 이용한 결함 탐지장치 및 방법
Banus et al. A deep-learning based solution to automatically control closure and seal of pizza packages
Rios-Cabrera et al. ANN analysis in a vision approach for potato inspection
Ettalibi et al. AI and Computer Vision-based Real-time Quality Control: A Review of Industrial Applications
AU2021283683A1 (en) Method and system for training a neural network-implemented sensor system to classify objects in a bulk flow
CN117980964A (zh) 用于确定预定的运输物品是否布置在监控区域内的方法
Sileo Collaborative and Cooperative Robotics Applications using Visual Perception
Güler et al. Visual state estimation in unseen environments through domain adaptation and metric learning
WO2022254747A1 (ja) 外観検査装置、外観検査方法、学習装置および推論装置
JP2023152476A (ja) 検査装置、検査方法及び検査用コンピュータプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant