KR102527061B1 - Mes와 연동된 스마트 공장 제조 지능 서비스 시스템 - Google Patents

Mes와 연동된 스마트 공장 제조 지능 서비스 시스템 Download PDF

Info

Publication number
KR102527061B1
KR102527061B1 KR1020210157125A KR20210157125A KR102527061B1 KR 102527061 B1 KR102527061 B1 KR 102527061B1 KR 1020210157125 A KR1020210157125 A KR 1020210157125A KR 20210157125 A KR20210157125 A KR 20210157125A KR 102527061 B1 KR102527061 B1 KR 102527061B1
Authority
KR
South Korea
Prior art keywords
product
mes
inspection
defect
manufacturing
Prior art date
Application number
KR1020210157125A
Other languages
English (en)
Inventor
김원태
김동권
박시춘
Original Assignee
(주)미래융합정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)미래융합정보기술 filed Critical (주)미래융합정보기술
Priority to KR1020210157125A priority Critical patent/KR102527061B1/ko
Priority to US17/981,006 priority patent/US20230152781A1/en
Application granted granted Critical
Publication of KR102527061B1 publication Critical patent/KR102527061B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31372—Mes manufacturing execution system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)

Abstract

MES와 연동된 스마트 공장 제조 지능 서비스 시스템이 개시된다. MES와 연동된 스마트 공장 제조 지능 서비스 시스템은 각각의 제조 기업의 생산 라인의 머신 비전을 구비하고, 제품ID와 제품의 결함(스크래치, 결함) 정보를 제공하는 제조 실행 시스템(MES); 상기 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버: 및 상기 글라우드 서버에 연동되는 에이전트 서버를 포함하며, 상기 클라우드 서버에서 연동된 제조 기업 제품의 생산 라인의 제품ID와 제품의 결함 정보를 상기 에이전트 서버를 통해 사용자 단말기로 제공한다. 산업체의 공장 자동화(FA, Factory Automation) 공정에서 웨이퍼(wafer), 디스플레이, PCB 결함 검사, LED chip 반도체 패키지 검사, 제품 표면 결함 검사, 등의 여러 분야에서 제품의 불량을 검출하는 머신 비전 검사 시스템을 구비하는 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버를 통해 에이전트 서버로부터 사용자 단말기로 전송되며, 각각의 MES 시스템에 연동되어 제품ID와 제품의 결함 정보와 제조 지능 정보를 제공하는 클라우드 서버에 누적 저장된 제조 기업별 제품의 결함 정보를 제공한다.

Description

MES와 연동된 스마트 공장 제조 지능 서비스 시스템{Manufacturing intelligence service system connected to MES in smart factory}
본 발명은 스마트 공장 제조 지능 서비스 시스템에 관한 것으로, 보다 상세하게는 산업체의 공장 자동화(FA, Factory Automation) 공정에서 제품 표면 결함 검사의 제품의 불량을 검출하는 머신 비전 검사 시스템을 구비하는 적어도 하나의 제조 실행 시스템(Manufacturing Execution System, MES)과 연결되는 클라우드 서버(cloud server)를 통해 에이전트 서버(agent server)로부터 사용자 단말기로 클라우드 서버에 누적 저장된 제조 기업별 제품ID와 제품의 결함 정보를 제공하는, MES와 연동된 스마트 공장 제조 지능 서비스 시스템에 관한 것이다.
머신 비전(MV, machine vision) 검사 시스템은 로봇, 기계, 비전 시스템의 소프트웨어 기술이 융합된 기술로써 산업체의 공장 자동화(FA, Factory Automation) 공정에서 웨이퍼(wafer), 디스플레이, PCB 검사, LED chip 반도체 패키지 검사 등의 여러 분야에서 제품 표면 결함 검사, PCB 결함 검사, LED chip package, 기타 제품의 불량을 검출하는데 사용한다. 머신 비전 검사 시스템은 대량으로 생산되는 제품 표면의 결함을 검사하여 제품의 불량을 검출하는데 사용된다.
머신 비전 검사 시스템은 광학 조명(LED 또는 할로겐 조명), 고해상도 카메라, 카메라 인터페이스 장비[Frame Grabber, Gigabit Ethernet(GigE), IEEE 1394, camera link, USB 3.0], 산업용 PC의 I/O와 모션 제어(motion control)를 담당하는 비전 영상처리 보드, 비전 영상 처리 소프트웨어를 구비한다.
PC 기반의 머신 비전 검사 시스템은 광학 조명(LED 또는 할로겐 조명), 카메라, 카메라 인터페이스[Frame Grabber, Gigabit Ethernet(GigE), IEEE 1394, 카메라 링크, USB 3.0], 컴퓨터에 탑재된 비전 영상처리 보드가 구비된 비전 검사 시스템, 제품 표면 이미지의 검사(inspection)를 위한 비전 검사 영상처리 SW에 의해 이미지 프로세싱(image processing)를 통해 제품 표면의 이물질, 스크래치, 패턴 오류를 검출한다.
비전 검사 영상처리 SW는 이미지 획득(frame grabbing)/이미지 처리(imgae processing)/특징 추출(feature extraction)/결함 검출과 제어 기능을 제공하며, 카메라와 연동된 컴퓨터의 비전 검사 시스템은 실시간으로 제품 표면 결함을 검사하여 영상 처리(image processing)와 결함 검출 알고리즘을 가진 소프트웨어에 의해 정상 이미지와 검사 이미지의 특징값을 비교하여 이물질, 스크래치, 패턴 오류, 찍힘성 결함과 결함 위치를 측정하여 제품 불량을 검출한다.
카메라와 PC를 연결하는 카메라 인터페이스는 프레임 그래버(Frame Grabber), Gigabit Ethernet(GigE), IEEE 1394a, IEEE 1394b, camera link, USB 3.0를 사용한다. 표 1은 머신 비전 카메라 인터페이스를 나타낸다.
비전 검사 시스템은 기존 Frame Grabber를 사용하거나, 또는 ㎛ 단위 고해상도 정밀 측정과 대용량 데이터를 고속으로 처리하기 위해 기가비트 이더넷(GigE), CoaXPres 등의 카메라 인터페이스를 사용하여 영상처리를 한다.
구분 Gigabit Ethernet(GigE) IEEE 1394a IEEE 1394b camera link
케이블 길이 100m 4.5m(리피터를 사용하는 경우 72m까지 가능) 4.5m(리피터를 사용하는 경우 72m까지 가능) 최대 15m

대역폭		 100 Mb/s 32 Mbytes/s 64 Mbytes/s 255Mbytes/s(base configuration)
680Mbytes/s(full
configuration)
Bit rate 1000 Mb/s 400 Mb/s 800 Mb/s > 2000 Mb/s

표준		 GigE Vision Standard IEEE 1394 Trade
Association DCAM
Standard		 IEEE 1394 Trade
Association DCAM
Standard		 AIA 카메라 링크 표준
인터페이스 보드 기가비트 이더넷 보드 IEEE 1394a 보드 특별한 프레임 그래버
카메라 최대수 제한 없음 16대 (DCAM) 16대 (DCAM) 프레임 그래버당
2대
케이블 Industrial and consumer Industrial and consumer Industrial and consumer Industrial
도 1은 엔코더를 구비한 컨베이어 벨트 생산 라인에서 센서와 ID 리더기와 카메라와 광학 조명을 구비하는 비전 검사 시스템 구성도이다.
이와 관련된 선행기술1로써, 특허 등록번호 10-1772673에서는 "멀티 광학 모듈 비전 검사 시스템"이 등록되어 있다.
멀티 광학 모듈 비전 검사 시스템은
기구부와; 상기 기구부의 정면에는 키보드 마우스를 구비하는 컴퓨터와 모니터를 구비하며, 고정된 지지대에 단일 카메라 또는 line scan 카메라 또는 area scan 카메라를 구성하는 적어도 하나 이상의 고해상도 멀티 카메라가 구비된 카메라부와; 카메라부 하단에 설치된 광학 조명부와; 카메라부와 광학조명부 하단에 위치되며 피검사체가 XY-스테이지에 놓이는 검사 스테이지와; 상기 검사 스테이지가 놓이는 베이스와; 상기 베이스 밑에 진동 저감 Air Cylinder 구조의 방진 설비; 비전 검사 장비의 좌우를 지지하는 프레임; XYZ 위치 이동을 제어하는 스테이지 유닛 이송 모듈을 포함한다.
상기 카메라부는 고정된 지지대에 단일 카메라 또는 라인 스캔 카메라 또는 에어리어 스캔 카메라를 구성하는 적어도 하나 이상의 멀티 카메라가 카메라 인터페이스를 통해 각각 하나의 카메라가 각각 하나의 PC에 연결되고, 각각의 PC는 네트워크 허브를 통해 LAN과 TCP/IP를 통해 메인 서버 컴퓨터에 연결되며, 상기 메인 서버 컴퓨터는 네트워크 허브를 통해 LAN과 TCP/IP를 통해 엔코더/분배기와 연결되고, 상기 엔코더/분배기는 라인 스캔 카메라 또는 에어리어 스캔 카메라를 구성하는 멀티 카메라에 연결된다.
상기 카메라부는 각각의 카메라는 제품 표면 결함의 정밀 측정을 위해 일반 CCD 카메라보다 100배 정도 향상된 고해상도 10~100㎛(pixel size)의 정밀 측정 카메라를 사용한다.
1) ID 리더기(제품에 부착된 DPM 코드, 또는 1D 또는 2D 코드 판독): 공장 자동화 공정에서 생산 라인의 컨베이어 벨트로 이송된 검사 대상체, 또는 검사 대상체 이송 로봇의 로더(loader)에 의해 검사 스테이지(XY 스테이지)의 놓인 제품의 ID를 ID 리더기가 판독하여 컴퓨터로 검출된 제품ID를 전송한다.
2) 광학 조명(illumination): 비전 검사 시스템에서 광학 조명은 흰색 또는 적색 LED 조명, 또는 광섬유 가이드를 가지는 할로겐 조명 사용하며, 본 발명의 실시예에서는 LED를 사용하였다.
LED 조명을 사용하는 경우, 일렬로 배열된 white LED와 조명 콘트롤러, 또는 카메라 렌즈 주위를 둘러싼 많은 LED들로 구성된 링 LED와 조명 콘트롤러 사용한다.
3) 카메라
하나의 비전 카메라 또는 Line Scan 카메라 또는 Area Scan 카메라는 멀티 카메라들을 구비하며, 각각의 카메라는 제품 표면 결함의 정밀 측정을 위해 일반 CCD 카메라보다 100배 정도 향상된 고해상도 10~20㎛ 단위까지 정밀 측정이 가능한 TDI 카메라를 사용한다. 또한, 10~20㎛ 단위까지 카메라의 정밀 측정이 요구되지 않는 경우, TDI 카메라 보다 해상도가 낮은 CCD 카메라, 또는 CMOS 이미지 센서(CMOS Image Sensor, CIS)가 사용된다.
4) 엔코더(Encoder)
산업체의 공장 자동화 공정에서 컴퓨터와 연결된 스텝 모터 드라이버(Step Motor Driver)와 스텝 모터(Step Motor, 서보 모터)의 구동에 의해 동작되는 컨베이어 벨트 시스템 위에서 지지대에 고정된 상태에서 광학 조명과 고해상도 멀티 카메라를 구비하는 Line scan 카메라 또는 Area scan 카메라가 설치되며,
엔코더(Encoder)는 공장의 생산 라인에서 컨베이어 벨트(conveyor belt)를 동작시키는 경우, 서보 모터의 정확한 이송량을 측정한다.
상기 기구부는 로더(loader)에 의해 검사 스테이지(XY 스테이지)의 놓는 피검사체 이송 로봇을 더 포함한다.
상기 기구부는 공장 자동화 공정에서 생산 라인의 컨베이어 벨트로 이송된 피검사체, 또는 피검사체 이송 로봇의 로더(loader)에 의해 검사 스테이지(XY 스테이지)의 놓인 제품ID를 위한 제품에 부착된 DPM 코드, 또는 바코드 또는 QR 코드를 판독하여 검출된 제품ID를 컴퓨터로 전송하는 ID 리더기를 더 포함할 수 있다.
상기 스테이지 유닛 이송 모듈은 리니어 모터에 의해 X축 방향으로 라인 스캔 카메라가 이동하고, 리니어 모터에 의해 Y축 방향으로 검사 스테이지의 위치 이동, Z1, Z2, Z3축 상하 방향으로 카메라부가 이동된다.
상기 리니어 모터는 제어 컴퓨터에 연동된 모터 구동부에 의해 작동되며, 모터의 속도와 이동 위치를 제어하기 위해 PID 제어를 사용한다.
상기 방진 설비는 10~100㎛ pixel size의 정밀 측정을 위한 Line Scan 또는 Area scan 카메라를 사용한 비전 검사 시스템의 정밀 측정시 흔들림과 진동을 줄이기 위해 베이스 밑에 격자보 하단의 Air Cylinder 구조를 이용한 방진 시스템을 사용하며, 즉, 석정반과 Isolator를 설치하여 외부 진동에 대한 차단 및 내부 진동을 방지한다.
머신 비전은 기구부와 라인 스캔 카메라 또는 에어리어 스캔 카메라와 연동된 카메라 인터페이스(Frame Grabber, Gigabit Ethernet(GigE), IEEE 1394a, IEEE 1394b, 카메라 링크, USB 3.0)를 통해 연결된 컴퓨터의 비전 검사용 영상처리 알고리즘이 영상 처리(image processing)[(1) 영상 획득, (2) 영상 이진화, (3) 영상 처리, (4) 영상 분석, (5) 영상 해석]를 통해 제품 표면의 디스플레이의 이물질, 스크래치, 패턴 오류 등의 결함과 결함의 위치를 분석하여 제품의 불량을 추출한다.
예를 들면, TFT-LCD 패널의 표면 결함 검사 시에, Line Scan 카메라를 사용하여 획득된 영상이 카메라 인터페이스를 통해 산업용 PC에서 획득된 TFT-LCD의 이미지는 생산 공정에서 빠른 영상 처리 시간이 요구된다. 머신 비전 검사 시스템은 카메라로 촬영된 TFT-LCD 영상이 반복되는 패턴을 갖고 있기 때문에 인접 패턴과의 영상차를 이용하여 쉽게 스크래치, 표면 결함 등의 제품의 불량 영역을 검출한다.
이와 관련된 선행기술2로써, 특허 공개번호 10-2019-0063839에서는 "제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템"이 제공된다.
도 2는 종래의 딥러닝 기반 분류기 생성 과정의 동작 흐름도이다.
제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질 검사 방법은, 학습용 제품 영상을 생성하는 단계; 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기(classifier)를 학습시키는 단계; 및 학습된 분류기(classifier)를 이용하여. 제품을 양품 또는 불량품으로 판정하는 단계를 포함한다. 이에 따라, 학습에 의해 판별 대상의 데이터의 특징값을 스스로 찾을 수 있고, 결함의 정형화가 어려워 수동 검사에 의존하는 검사 영역에 대해서도 머신 비전 기반 검사가 가능해진다.
품질 검사에 의해 제품을 양품 또는 불량으로 판정하기 위해, 먼저, 검사 카메라의 위치를 정렬하여 검사 대상 제품을 카메라로 촬영하고, 카메라 촬영을 통해 생성된 영상에서 관심 영역을 추출하여 저장한다. 관심 영역의 대상 이미지를 학습 모델 생성의 이미지 전처리 과정과 같이, 일정 규격의 사이즈의 작은 이미지로 중첩되도록 cropping한다.
품질 검사 장치는, 각각의 조각 이미지 각각에 대해 분류기를 이용하여 검사를 수행한다. 심층신경망 알고리즘은 분류 결과로 학습을 통해 분류기를 생성할 때 사용된 학습 데이터들 중 가장 근접한 이미지의 분류 번호와 확률 값을 결과로 출력한다. 각각의 조각된 이미지를 딥러닝 기반 분류기를 통해, 해당 인덱스에서 가장 높은 확률로 분류표를 참조하여 양품인지 결함인지 확인하여, 판정 결과값을 표시한다. 이때, 결함 제품인 경우 결함으로 판명하고 결함 영역을 표시하여 준다.
이와 관련된 선행기술3로써, 특허등록번호 10-11827680000에서는 "머신비전 시스템을 위한 검사 장치 및 방법"이 등록되어 있다.
머신비전 시스템을 위한 검사 장치는 내부를 조명하는 하나 이상의 조명들을 구비하며 일정 형상을 갖는 거치대; 카메라가 구비되며, 상기 거치대의 내부에 위치한 검사 객체를 상기 거치대에 고정된 채 촬영 가능한 휴대용 단말기; 및 상기 휴대용 단말기의 지시에 따라 상기 휴대용 단말기의 촬영 조건을 설정하고, 설정된 촬영 조건에 따라 상기 조명들을 제어하는 제어부를 포함한다.
이와 관련된 선행기술4로써, 특허등록번호 10-1688641에서는 "머신 비전 기반 전자부품 검사 시스템"이 등록되어 있다.
머신 비전 기반 전자부품 검사 시스템은, 품질 검사를 위해 다수로 공급된 다종의 전자부품이 미정렬 안착되어 자동 선별되도록 마련된 선별 플레이트가 내부에 구비된 하우징; 상기 선별 플레이트의 상부에서 설정된 거리로 위치 이동가능하게 설치된 위치 이동 장치; 상기 위치 이동 장치에 설치되어 상기 선별 플레이트상에 랜덤하게 배치된 상기 전자 부품을 촬영하는 카메라 장치; 상기 하우징에 설치되어 상기 카메라 장치로부터 촬영된 영상 정보를 기반으로 상기 전자부품 각각의 위치 및 각도를 산출하는 분석 장치; 상기 위치 이동 장치에 설치되어 상기 분석 장치로부터 판별된 상기 전자부품의 위치 및 각도 등의 산출값을 기반으로 상기 선별 플레이트에 랜덤 배치된 상기 전자 부품을 흡착시켜 상기 선별 플레이트상의 지정된 위치로 순차이동시키는 그리퍼 장치; 상기 그리퍼 장치에 의해 이동되어 정렬고정된 상기 전자 부품을 각 대상에 따른 용량에 맞춰 상기 품질 검사를 수행하도록 상기 위치 이동 장치에 설치된 검사 장치; 및 상기 위치 이동 장치, 상기 카메라 장치, 상기 분석 장치, 상기 그리퍼 장치 및 상기 검사 장치의 작동을 제어하는 제어 장치를 포함하며,
상기 그리퍼 장치는 상기 전자부품을 개별적으로 흡착시킨 상태에서 회전되도록 하는 회전 장치가 구비되고,
상기 회전 장치는 상기 그리퍼 장치에 흡착된 상기 전자부품의 각각을 상기 분석장치의 상기 산출값을 토대로 회전시켜 상기 선별 플레이트에 랜덤 배치된 각각의 상기 전자부품이 상기 검사 장치에서 정방향 위치되어 상기 품질검사가 수행된다.
이와 관련된 선행기술5로써, 특허등록번호 10-21089560000에서는 "인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체"가 등록되어 있다.
인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체에 관한 것으로, 발명의 실시예에 따른 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치는, 지정 제품과 관련된 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장하는 저장부, 및 다르게 저장한 제1 볼륨의 학습 샘플 데이터 및 생산 라인의 촬영장치에서 제공하는 촬영 영상을 근거로 검사 항목별로 인공 지능 기반의 딥러닝을 수행하여 지정 제품의 비전 검사를 수행하며, 비전 검사의 결과를 근거로 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 제어부를 포함한다.
이와 관련된 선행기술6로써, 특허공개번호 10-2019-0063839에서는 "제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템"이 공개되어 있다.
제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질 검사 방법은, 학습용 제품 영상을 생성하고, 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키며, 학습된 분류기(classifier)를 이용하여 제품을 양품 또는 불량품으로 판정한다. 이에 의해, 학습에 의해 판별 대상의 데이터의 특징값을 스스로 찾을 수 있어, 결함의 정형화가 어려워 수동 검사에 의존하는 검사 영역에 대해서도 머신 비전 기반 검사가 가능해진다.
이와 관련된 선행기술7로써, 특허공개번호 10-2019-0067439에서는 "딥러닝 기반의 반도체 비전 검사 시스템에서 제어 변수 설정 장치 및 방법"이 공개되어 있다.
딥러닝 기반의 반도체 비전 검사 시스템에서 제어 변수 설정 장치의 동작 방법은, 영상 획득 장치의 동작을 제어하는 복수의 제어 변수들에 대한 정보를 수신하는 단계; 수신된 복수의 제어 변수들에 대한 정보에 포함된 복수의 제어 변수들의 개수 및 복수의 제어 변수들 각각의 변수 값의 개수를 이용하여 제어 변수 집합을 구성하는 단계; 적어도 하나 이상의 비전 검사 샘플에 대해, 구성된 제어 변수 집합의 구성 원소 각각에 대응되는 복수의 제어 변수들의 변수 값들이 각각 반영된 영상 획득 장치에 의해 획득된 이미지들을 수신하는 단계; 및 이미 학습된 딥러닝 기반의 신경망을 이용하여 수신된 이미지들 중 최종 이미지를 결정하고, 결정된 최종 이미지를 획득하기 위한 복수의 제어 변수들 각각의 최종 변수 값들을 획득하는 단계를 포함하고, 구성된 제어 변수 집합의 각각의 구성 원소는 복수의 제어 변수들을 모두 포함하며, 구성된 제어 변수 집합의 서로 다른 임의의 2개의 구성 원소들은 적어도 하나 이상 동일한 제어 변수들간에 다른 변수 값들을 가지도록 대응시킨 것을 특징으로 하는, 제어 변수 설정 장치의 동작 방법이 개시된다.
기업은 스마트 공장(Smart Factory)이 전혀 구축되지 않은 초기 단계에서, 제조 산업 분야에서 원자재 입고, 제품 수발주, 생산 계획, 생산 지시에 의한 작업 관리, LOT 관리, 공정 관리, 품질 관리, 입고/출고/재고 관리, 판매 실적 관리를 제공하여 현장에서 완전 수작업으로 재고 공정 프로세스의 정보들을 전산화하기가 쉽지 않다.
스마트 팩토리는 제조 실행 시스템(Manufacturing Execution System, MES)과 비전 검사 시스템, 품질관리 시스템(Quality Management System, QMS)이 연동되어 구축된다. MES(제조 실행 시스템, Manufacturing Execution System)는 제조 공정상의 실시간 카메라 비전 검사 모니터링, 제어, 물류 및 작업내역 추적 관리, 제품 불량 관리를 제공한다. 바코드 또는 QR 코드 또는 13.56MHz RFID 태그가 부착된 제품의 비전 검사 시스템은 생산 라인의 제조 공정에 따라 실시간으로 컨베이어 벨트를 따라 제조 생산되는 머신 비전 시스템에 의해 비정정형 데이터로 생성되는 제품의 결함을 검출하여 불량을 걸러낸다.
그러나, 비전 검사 시스템은 실시간으로 카메라의 영상을 통해 제품의 비정형 패턴의 결함과 금속 표면의 난반사, 진동에 의해 컴퓨터 비전 인식 오류가 발생된다.
실제 중소기업은 기존의 머신비전 불량 검출 시스템을 구비하는 스마트 팩토리를 구축하여 제조 공정과 제품 생산 라인에 컨베이어 벨트와 인코더, 카메라와 비전 시스템을 설치하기에 고가의 설치 비용이 들고, 이미 머신비전(MV)을 도입한 기업 입장에서 다시 딥러닝 비전 시스템 설치시에 중복 투자가 될 수 있다. 또한, 스마트 팩토리를 구축하는 제조 공정과 생산 라인와 머신 러닝 비전 시스템을 갖춘 대기업 이외에 중소 기업은 현실적으로 생산 라인에 1억이 넘는 컨베이어 벨트와 딥러닝 비전 시스템 구축이 어렵고, 많은 비용이 드는 인공 지능 프로그래밍을 사용한 딥러닝 비전 검사 시스템을 도입하기 어려운게 현실이다.
특허등록번호 10-1772673 (등록일자 2017년 08월 23일), "멀티 광학 모듈 비전 검사 시스템", 주식회사 에이피에스 특허공개번호 10-2019-0063839 (공개일자 2019년 06월 10일), "제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템", 전자부품연구원 특허등록번호 10-11827680000 (등록일자 2012년 09월 07일), "머신비전 시스템을 위한 검사 장치 및 방법", 주식회사 엠비젼 특허등록번호 10-1688641 (등록일자 2016년 12월 15일), "머신 비전 기반 전자부품 검사 시스템", 동서대학교산학협력단, (주)케이엠시스 특허등록번호 10-21089560000 (등록일자 2020년 05월 04일), "인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체", 주식회사 만컴퍼니 특허공개번호 10-2019-0063839 (공개일자 2019년 06월 10일), "제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템", 한국전자기술연구원 특허공개번호 10-2019-0067439 (공개일자 2019년 06월 17일), "딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치 및 방법", 한국전자통신연구원
상기 문제점을 해결하기 위한 본 발명의 목적은 산업체의 공장 자동화(FA, Factory Automation) 공정에서 제품 표면 결함 검사 등의 여러 분야에서 제품의 불량을 검출하는 머신 비전 검사 시스템을 구비하는 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버를 구비하고, 클라우드 서버를 통해 통해 에이전트 서버로부터 사용자 단말기로 클라우드 서버에 누적 저장된 다수의 제조 기업별(MES) 제품ID와 제품의 결함 정보를 제공하는, MES와 연동된 스마트 공장 제조 지능 서비스 시스템을 제공한다.
본 발명의 목적을 달성하기 위해, MES와 연동된 스마트 공장 제조 지능 서비스 시스템은 각각의 제조 기업 제품의 생산 라인의 머신 비전을 구비하고, 제품 ID를 인식하여 미들웨어를 통해 전송하며, 제품ID와 제품의 결함(스크래치, 결함) 정보를 제공하는 적어도 하나의 제조 실행 시스템(MES); 상기 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버: 및 상기 클라우드 서버에 연동되는 에이전트 서버를 포함하며, 상기 에이전트 서버는 상기 클라우드 서버에서 연동되고, 제조 기업 제품의 생산 라인의 제품ID와 제품의 결함 정보를 사용자 단말기로 제공하고,
상기 미들웨어는 제품 코드 전송 미들웨어, 및 딥러닝 미들웨어를 포함하며,
상기 클라우드 서버는 각각의 제조 기업의 제조 실행 시스템(MES1,MES2,MES3..)의 생산 라인의 제품ID와 제품의 결함 정보를 취합하여 이를 제공하는 지역별 에이전트 서버를 통해 사용자 단말기로 제공한다.
본 발명의 MES와 연동된 스마트 공장 제조 지능 서비스 시스템은 산업체의 공장 자동화(FA, Factory Automation) 공정에서 스마트 팩토리를 구축하여 웨이퍼(wafer), 디스플레이, PCB 결함 검사, LED chip 반도체 패키지 검사, 제품의 표면 결함 검사 등의 여러 분야에서 제품 표면 결함 검사, 제품의 불량을 검출하는 머신 비전 검사 시스템을 구비하는 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버를 구비하고, 클라우드 서버로부터 에이전트 서버를 통해 사용자 단말기로 클라우드 서버에 누적 저장된 제조 기업별 제품ID와 제품 결함 정보를 포함하는 제조지능 데이터를 에이전트 서버를 통해 사용자 단말로 제공하는 효과가 있다.
도 1은 엔코더를 구비한 컨베이어 벨트 생산 라인에서 센서와 ID 리더기와 카메라와 광학 조명을 구비하는 비전 검사 시스템 구성도이다.
도 2a, 2b 및 도 3은 PC와 연결되는 카메라와 조명과 콘트롤러를 구비하며, 제품의 결함(이물질, 스크래치 등)을 검출하여 제품의 불량을 판단하는 수동 비전 검사기, 주요 기능을 나타낸 도면이다.
도 4는 딥러닝 알고리즘을 사용한 제품 결함 이미지 원격 학습을 사용한 머신비전 제조지능 플랫폼을 나타낸 도면이다.
도 5는 제품 결함 이미지 원격 학습을 사용한 비전 검사 방법에 의해, 딥러닝 기반의 머신비전 플랫폼에서 센서와 카메라를 사용한 PC의 비전 검사(얼룩, 긁힘), 제품 형상 검사(미타발, 크기 불량), Blob 검사(도금 유무 판단)의 AI View를 나타낸 그림이다.
도 6은 스마트 공장의 클라우드 서버를 나타낸 구성도이다.
도 7은 본 발명에 따른 MES와 연동된 스마트 공장 제조 지능 서비스 시스템 구성도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기술 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면 번호를 부여한다.
MES와 연동된 스마트 공장 제조 지능 서비스 시스템은 하나 이상의 제조 기업들과 산업체의 공장 자동화(FA, Factory Automation) 공정에서 스마트 팩토리를 구축하여 여러 분야에서 제품 표면 결함 검사, 제품의 불량을 검출하는 머신 비전 검사 시스템을 구비하는 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버와 에이전트 서버를 통해 클라우드 서버에 누적 저장된 제조 기업별 제품ID와 제품의 결함 정보를 포함하는 제조 지능 데이터를 사용자 단말로 제공한다.
- 바코드 또는 QR 코드, 제품에 부착된 13.6.MHz 코드 인식(제품 ID 인식)
- 조립 공정 내 부품의 정렬, 스태킹 얼라인, 제품 표면 결함 검사(머신비전)
- 딥러닝 기반의 머신비전 플랫폼에서 센서와 카메라를 사용한 PC의 비전 검사(얼룩, 긁힘, 스크래치), 제품 형상 검사(크기 불량), Blob 검사(도금 유무 판단)의 AI View 제공
도 2a, 2b는 PC와 연결되는 카메라와 조명과 콘트롤러를 구비하며, 제품의 결함(이물질, 스크래치 등)을 검출하여 제품의 불량을 판단하는 비전 검사기의 주요 기능을 나타낸 도면이다.
* MES와 연동된 스마트 공장 제조 지능 서비스 시스템
1) 딥러닝 비전검사 기능을 모듈화하고, 기존 머신비전(MV) 검사시스템과 연동하여 제품을 검사한다(정상/불량). 머신 비전 영상 분석 SW의 딥러닝 알고리즘은 CNN 알고리즘을 사용하며, AlexNet, ZFNet, VGGNet, GoogLeNet, 및 ResNet 중 어느 하나의 알고리즘을 사용한다.
딥러닝 툴은 Tensorflow, Keras, Caffe, 및 PyTorch 중 어느 하나를 사용한다.
2) 머신비전(MV) 검사 시스템에서 취득한 테스트용 이미지와 참조용 판정 결과를 이용하여 딥러닝용 데이터 구축한다.
* 주요기능
1. 머신비전 불량 검출 시스템 : 기존 머신비전 장비가 있는 경우 딥러닝 비전 불량 검출 모듈만 도입 가능하다.
2. 머신비전 인터페이스 : 기존 머신비전으로부터 테스트 시료 이미지와 참조용 판정 결과를 받는다.
3. 딥러닝 학습 : 전달받은 이미지와 참조용 판정 결과로 딥러닝 학습 진행
4. 딥러닝 판정 : 불량검출 대상 시료 이미지에 대하여 2에서 만들어진 학습 모델로 판정 진행
5. 딥러닝 재학습 : 현장 작업자는 3의 판정 결과를 보고 최종 판정을 하며, 이 결과는 딥러닝 학습 자료로 재사용된다.
6. 단계가 충분히 진행되면, 딥러닝 비전검사의 판정 정확도가 높아져 사용자의 별도 판정이 필요없게 된다
도 3은 카메라, 조명, 콘트롤 박스, PC 또는 PLC와 연결되는 비전 시스템 결선도이다.
제품 결함 이미지 원격 학습을 통한 AI 머신 비전 검사 시스템은 PC(100), PLC(110), 카메라(120), 센서(130), 조명(140), 콘트롤러(170)를 포함한다.
콘트롤러(170)는 카메라(120), 센서(130), 조명(140)과 연결되며,
카메라(120)와 연결된 PC(100)는 PLC(110)와 연결될 수 있다.
PC(100)와 연결되는 카메라(120)와 조명(140)과 콘트롤러(170)를 구비하며, 제품의 결함(이물질, 스크래치 등)을 검출하여 제품의 불량(결함, 스크래치, 이물질 등)을 판단하는 수동 비전 검사기는 추가적으로 카메라(120)에 Trigger Input을 제공하는 센서(130)를 더 구비한다.
AI 머신 비전 검사 시스템에서 조명(140)은 흰색 또는 적색 LED 조명, 또는 광섬유 가이드를 가지는 할로겐 조명 사용하며, 실시예에서는 LED 조명과 조명 콘트롤러를 사용하였다.
LED 조명을 사용하는 경우, 일렬로 배열된 white LED와 조명 콘트롤러, 또는 카메라 렌즈 주위를 둘러싼 다수의 LED들로 구성된 링 LED와 조명 콘트롤러 사용한다. 조명은 링 LED 조명, 상면/좌상/우상 경사각도 조명, 백 라이트 조명 등이 사용될 수 있다.
추가적으로 딥러닝 기반의 비전영상처리 SW를 구비하는 PC(100)는 Ethernet cable을 통해 연결되는 PLC(110)를 더 구비한다.
상기 제품의 카메라 영상 데이터의 머신 비전 영상 분석 SW는 i) 그레이 스케일 영상 처리, 또는 ii) 딥러닝 알고리즘을 사용하며,
카메라 영상의 이미지는 그레이스케일 이미지, RGB 이미지, HSI 이미지, YCbCr 이미지, JPEG 이미지, TIFF 이미지, 또는 GIF 이미지를 적용하며,
상기 딥러닝 알고리즘은 CNN(Convolutional Neural Network), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, Faster RCNN(Region based Convolutional Neural Network) 알고리즘, YOLO(You Only Look Once), 및 SSD(Single Shot Detector) 알고리즘 중 어느 하나의 알고리즘을 사용하여 카메라 영상 데이터의 이물질과 스크래치의 결함이 있는 객체들을 검출하여 제품의 불량 여부를 판단한다.
머신 비전 영상 분석 SW의 딥러닝 알고리즘은 CNN(Convolutional Neural Network), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, Faster RCNN(Region based Convolutional Neural Network) 알고리즘, YOLO(You Only Look Once), 및 SSD(Single Shot Detector) 알고리즘 중 어느 하나의 알고리즘을 사용하여 영상의 객체들을 검출하여(object detection) 제품의 불량 여부를 판정한다.
엣지 플랫폼의 머신 비전 영상 분석 SW의 딥러닝 알고리즘은 CNN 알고리즘을 사용하며, AlexNet, ZFNet, VGGNet, GoogLeNet, 또는 ResNet 중 어느 하나의 알고리즘을 사용하며,
상기 CNN 알고리즘을 사용하여 영상의 특징 추출과 분류하고 학습 모델의 누적된 결함 이미지의 학습 데이터와 비교하여 결함이 있는 객체(이물질, 결함, 스크래치)를 추출하고, 결함이 있는 객체를 포함하는 이미지를 상기 서비스 플랫폼으로 전송하여 상기 서비스 플랫폼이 제품의 불량 여부를 판단한다.
제품은 바코드, QR 코드, 또는 13.56MHz RFID 태그가 부착되며, 바코드 리더기, 산업용 PC의 QR 코드 스캐너, 또는 13.56MHz RFID 리더가 사용된다.
추가적으로, PC는 제품에 바코드가 부착된 경우, 제품에 부착된 바코드를 인식하는 바코드 리더기와 인식 모듈을 더 포함할 수 있다.
추가적으로, PC는 제품에 QR 코드가 부착된 경우, 제품에 부착된 QR 코드를 인식하는 QR 코드 인식 모듈을 더 포함할 수 있다.
추가적으로, 제품에 13.56MHz RFID 태그가 부착된 경우, 13.56MHz RFID 리더와 "제품 코드 전송 미들웨어"를 통해 연결되는 PC의 SW 모듈을 더 구비할 수 있다.
상기 미들웨어는
바코드 리더기, QR 코드 인식기 또는 13.56MHz RFID 리더에 의해 인식된 제품에 부착된 추출된 모델정보에 해당하는 바코드, QR 코드 또는 13.56MHz RFID 태그 정보 중 어느 하나를 상기 클라우드 서버로 전송하는 제품 코드 전송 미들웨어; 및
머신 비전 시스템으로부터 전송된 비정형 불량 가공 데이터를 전송받아 딥러닝 모델 훈련 시스템에 의해 누적되어 저장된 불량 이미지 학습 데이터(이물질, 스크래치)와 비교하여 비정형 불량 이미지를 검출하는 비정형 불량 판정 학습 모델을 구비하고, 딥러닝 형상 판단 시스템에 의해 AI 딥러닝 모듈에 의해 카메라 영상 데이터의 이물질 유무 검사, 형상 검사, 정상/불량 판정 결과 데이터를 클라우드 서버로 전송하는 딥러닝 미들웨어를 포함한다.
추가적으로, PC는 딥러닝 기반의 2D 비전 검사 후, 제품 이동을 제어하도록 로봇 인터페이스를 통해 제어 로봇과 연동될 수 있다.
.
도 4는 딥러닝 알고리즘을 사용한 제품 결함 이미지 원격 학습을 사용한 머신비전 제조지능 플랫폼을 나타낸 도면이다.
기존에 보유한 머신비전 검사장비를 Hybrid 형태로 지능화하여 새로운 제품 및 예외적인 불량 유형의 발생에 신속하게 대처할 수 있는 딥러닝 머신비전 플랫폼이 지원된다. 스마트 팩토리 솔류션 도입 기업은 실시간으로 생산되는 제품 품질 검사 지능을 확보할 수 있다.
1. 머신비전 제조지능 플랫폼은 기업에 기 도입된 머신비전 검사장비의 지능화를 지원하는 AI 솔루션을 탑재하여 제조지능 엣지 플랫폼(Edge Platform)을 공급한다.
2. 스마트 팩토리 솔류션 도입 기업의 머신비전 검사 데이터(제품의 카메라 영상 데이터)에 예외적인 불량 유형이 발생하거나 새로운 제품을 검사해야 할 경우, 서비스 플랫폼(Service Platform)에서 딥러닝 솔류션을 사용하여 제조 지능을 엣지 플랫폼(Edge Platform)으로 공급한다.
3. 서비스 플랫폼(Service Platform)에서 유사 업종별 공동의 제조 데이터 학습을 통해 머신비전 제조 지능을 사용하여 기존의 엣지 플랫폼(Edge Platform)의 지능을 향상시킬 수 있도록 지속적인 제조 지능 서비스를 제공한다.
4. 머신 비전 시스템이 MES 시스템과 연동하여 불량 데이터 학습 기반의 제조 지능에 따른 제품 검사 플랫폼을 제공한다.
불량 데이터 학습 기반의 제조 지능에 따른 제품 검사 플랫폼은 제품 ID를 판독하고 카메라 영상 데이터의 형상 판단 검사/이물질 검사/스크래치 검사를 제공하는 불량 검사 모듈과 불량 판정 모듈과 학습용 제조용 데이터 전송 모듈을 구비하는 엣지 플랫폼과 미들웨어를 통해 연동되는 서비스 플랫폼을 구비하며, 서비스 플랫폼은 불량 판정 제조 지능, 불량 예측 제조 지능을 제공하며, 학습 데이터에 기초하여 딥러닝 알고리즘을 사용한다.
상기 제품은 바코드, QR 코드, 또는 13.56MHz RFID 태그 중 어느 하나가 부착된다.
추가적으로, PC는 제품에 바코드가 부착된 경우, 제품에 부착된 바코드를 인식하는 바코드 리더기와 인식 모듈을 더 포함한다.
추가적으로, PC는 제품에 QR 코드가 부착된 경우, 제품에 부착된 QR 코드를 인식하는 QR 코드 인식 모듈을 더 포함한다.
추가적으로, 제품에 13.56MHz RFID 태그가 부착된 경우, 13.56MHz RFID 리더와 "제품 코드 전송 미들웨어"를 통해 연결되는 PC의 SW 모듈을 더 포함한다.
제품 결함 이미지 원격 학습을 통한 비전 검사 시스템은 카메라, 센서와 LED 조명과 콘트롤러와 연결되고, 머신 비전 영상 분석 SW를 구비한 머신 비전 검사 시스템을 구비하며, 머신 비전 검사 시스템의 컴퓨터(PC)에 연결된 인식기(바코드 리더기, QR 코드 인식기 또는 13.56MHz RFID 리더)가 제품 ID(바코드, QR 코드, 또는 13.56MHz RFID 태그)를 판독하고, 제품의 카메라 영상 데이터의 형상 판단 검사/이물질 검사/스크래치 검사를 제공하는 불량 검사 모듈과 불량 판정 모듈과 학습용 제조용 데이터 전송 모듈을 구비하는 에이전트 서버의 엣지 플랫폼; 상기 엣지 플랫폼과 연결되고 클라우드 서버의 서비스 플랫폼과 연동하는 미들웨어; 및 상기 에이전트 서버의 엣지 플랫폼과 상기 미들웨어를 통해 연동되며, 불량 판정 제조 지능, 불량 예측 제조 지능을 제공하며, 누적되어 저장된 불량 이미지 학습 데이터(이물질 또는 스크래치가 포함된 불량의 이미지의 훈련 data set)와 비교하여 비정형 불량 이미지를 검출하고, 제품의 카메라 영상 데이터의 이물질 유무 검사, 형상 검사, 정상/불량 판정 결과 데이터를 제공하는 AI 딥러닝 알고리즘을 사용한 제품 결함 이미지 원격 학습을 통한 비전 검사를 제공하는 서비스 플랫폼을 포함한다.
에이전트 서버의 엣지 플랫폼은 불량 검사 모듈(형상 판단 검사, 이물질 검사, 스크래치 검사, 검사 데이터 기준 스펙 정보 취합, 검사 예측 분석 화면, 검사 결과 화면, 양품/불량 검사 결과 판정 라벨링 저장 및 전송), 불량 판정 모듈(판정 라벨링, 임계치 분석), 불량 예측 모듈(형상 예측 분석, 이물질 예측 분석, 스크래치 예측 분석, 예측 규칙 상관 계수 모듈), 학습용 제조 데이터 전송 모듈(제조 데이터 저장 및 전송 모듈)을 포함한다.
클라우드 서버의 서비스 플랫폼은 제조 실행 시스템(MES)과 연동하여 엣지 플랫폼과 불량 판정 제조 지능, 불량 예측 제조 지능, 및 학습용 제조 데이터를 공유하며,
클라우드 서버의 서비스 플랫폼은 딥러닝 후 개발 지능을 제공하는 제조 지능 서비스 모듈을 구비하며, Python 프레임워크 상에 Scikit-learn Engine, CNN, RNN, 오디오 인코더, 학습용 제조 데이터를 저장하는 DB, 및 커뮤니케이션 모듈을 포함한다.
상기 미들웨어는
제품에 부착된 바코드, QR 코드, 또는 13.56MHz RFID 태그를 인식하는 바코드 리더기, QR 코드 인식기 또는 13.56MHz RFID 리더에 의해 인식된 제품의 바코드, QR 코드 또는 13.56MHz RFID 태그 정보 중 어느 하나를 상기 클라우드 서버로부터 상기 에이전트 서버를 통해 상기 사용자 단말기로 전송하는 제품 코드 전송 미들웨어; 및
제품 결함 이미지 원격 학습을 통한 비전 검사 방법에 따라 머신 비전 시스템으로부터 전송된 비정형 불량 가공 데이터를 전송받아 딥러닝 모델 훈련 시스템에 의해 누적되어 저장된 불량 이미지 학습 데이터(이물질, 스크래치)와 비교하여 비정형 불량 이미지를 검출하는 비정형 불량 판정 학습 모델을 구비하고, 딥러닝 형상 판단 시스템에 의해 AI 딥러닝 모듈에 의해 카메라 영상 데이터의 이물질 유무 검사, 형상 검사, 정상/불량 판정 결과 데이터를 클라우드 서버의 서비스 플랫폼으로부터 에이전트 서버로 전송하는 딥러닝 미들웨어를 포함한다.
상기 시스템은 카메라부와 광학조명부 하단에 위치되며 피검사체가 XY-스테이지에 놓이는 검사 스테이지와, 상기 검사 스테이지가 놓이는 베이스와, 상기 베이스 하단에 에어 실린더 구조로 진동을 저감하는 방진 설비와, 비전 검사 장비를 지지하는 프레임, XYZ 위치 이동을 제어하는 스테이지 유닛 이송 모듈을 더 포함하며,
카메라가 카메라 인터페이스(프레임 그래버, 기가비트 이더넷(GigE), IEEE 1394, 카메라 링크, 또는 USB3.0)를 통해 PC에 연결되고, PC는 네트워크 허브를 통해 LAN과 TCP/IP를 통해 메인 서버 컴퓨터에 연결된다.
도 5는 제품 결함 이미지 원격 학습을 사용한 비전 검사 방법에 의해, 딥러닝 기반의 머신 비전 플랫폼에서 센서와 카메라를 사용한 PC의 비전 검사(얼룩, 찍힘, 긁힘), 제품 형상 검사(미타발, 변형 불량), Blob 검사(도금 유무 판단)의 AI View를 나타낸 그림이다.
센서는 Trigger Input을 발생하여 카메라로 전송하면, 카메라는 조명 Strobe를 제어하기 위해 Digital Output을 발생하여 이미지 센서에서 이미지 데이터를 생성하고 PC로 전송한다.
PC는 필요에 따라, 이미지 데이터의 Inspection 검사(얼룩, 찍힘, 긁힘), 제품 형상 검사(미타발, 변형 불량), Blob 검사(도금 유무)를 검사한다.
Inspection 검사(얼룩, 찍힘, 긁힘)는 양품 이미지와 불량 이미지를 등록한 후 구분 임계치를 기준으로 실시간으로 이미지의 불량을 판단한다.
제품 형상 검사(미타발, 변형 불량)는 제품의 형상의 모양과 크기를 양품 이미지를 기준으로 제품의 형상 변형 유무를 판단한다.
Blob 검사(도금 유무)는 정상 도금 영역의 밝기와 불량 도금 영역의 밝기 비교를 통한 마련된 기준으로 도금 유무를 판단한다.
센서, 카메라, 조명, 콘트롤 박스, PC 또는 PLC와 연결되는 머신비전 AI 시스템 구성도를 참조하면, 딥러닝 기반의 머신 비전 플랫폼에서 제품의 불량 판정 지능을 개발하고 지속적인 학습이 가능하다. 학습된 지능은 딥러닝 기반의 머신 비전 플랫폼에서 실행하여 공정 결함 검출율을 높인다. 지속적인 제조 데이터 결함 검출 기술의 축적을 통해 지능형 제조 지능 비전 검사 시스템으로 사용된다.
도 6은 스마트 공장의 클라우드 서버를 나타낸 구성도이다.
도 7은 본 발명에 따른 MES와 연동된 스마트 공장 제조 지능 서비스 시스템 구성도이다.
MES와 연동된 스마트 공장 제조 지능 서비스 시스템은 하나 이상의 제조 기업들과 산업체의 공장 자동화(FA, Factory Automation) 공정에서 스마트 팩토리를 구축하여 반도체 생산 라인의 웨이퍼(wafer), 디스플레이, PCB 결함 검사, LED chip 반도체 패키지 검사, 제품 표면 결함 검사, 등의 여러 분야에서 제품의 불량을 검출하는 머신 비전 검사 시스템을 구비하는 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버(200)로부터 에이전트 서버(300)를 통해 사용자 단말기(400)로 제조 지능 데이터가 전송되며, 클라우드 서버(200)에 누적 저장된 제조 기업별 제품ID와 제품 정보와 제품의 결함 정보를 포함하는 제조 지능 데이터를 에이전트 서버(300)를 통해 사용자 단말(400)로 제공한다.
본 발명의 MES와 연동된 스마트 공장 제조 지능 서비스 시스템은
각각의 제조 기업 제품의 생산 라인의 머신 비전을 구비하고, 바코드 또는 QR 코드, 또는 13.56MHz RFID 태그를 인식하는 경우 제품 ID를 인식하여 미들웨어를 통해 전송하며, 제품ID와 제품의 결함(스크래치, 또는 결함) 정보를 클라우드 서버로 제공하는 적어도 하나의 제조 실행 시스템(MES)(100);
상기 적어도 하나의 제조 실행 시스템(MES)과 연결되고, 각각의 제조 실행 시스템(MES)의 생산 라인의 제품ID와 제품의 결함 정보를 취합하여 이를 지역별 에이전트 서버(300)를 통해 사용자 단말기(400)로 제공하는 클라우드 서버(200): 및
상기 클라우드 서버(200)에 연동되는 에이전트 서버(300)를 포함하며,
상기 클라우드 서버(200)에서 연동된 제조 기업 제품의 생산 라인의 제품ID와 제품의 결함 정보를 포함하는 제조 지능 데이터를 상기 에이전트 서버(300)를 통해 사용자 단말기(400)로 제공하고,
상기 미들웨어는 제품 코드 전송 미들웨어, 및 딥러닝 미들웨어를 포함하며,
상기 클라우드 서버(200)는 각각의 제조 기업의 제조 실행 시스템(MES1,MES2,MES3,..)의 생산 라인의 제품ID와 제품의 결함 정보를 취합하여 이를 지역별 에이전트 서버(300)를 통해 사용자 단말기(400)로 제공한다.
상기 사용자 단말기(400)는 PC, 노트북, 태블릿 PC, 또는 스마트폰을 사용한다.
제품에 바코드, QR 코드, 또는 13.56MHz RFID 태그가 부착되며, 이를 인식하는 바코드 리더기, QR 코드 인식기 또는 13.56MHz RFID 리더에 의해 인식된 제품에 부착된 바코드, QR 코드 또는 13.56MHz RFID 태그 정보 중 어느 하나를 상기 에이전트 서버로부터 상기 사용자 단말기(400)로 전송한다.
상기 제품은 바코드, QR 코드, 또는 13.56MHz RFID 태그 중 어느 하나가 부착된다.
추가적으로, PC는 제품에 바코드가 부착된 경우, 제품에 부착된 바코드를 인식하는 바코드 리더기와 인식 모듈을 더 포함한다.
추가적으로, PC는 제품에 QR 코드가 부착된 경우, 제품에 부착된 QR 코드를 인식하는 QR 코드 인식 모듈을 더 포함한다.
추가적으로, 제품에 13.56MHz RFID 태그가 부착된 경우, 13.56MHz RFID 리더와 "제품 코드 전송 미들웨어"를 통해 연결되는 PC의 SW 모듈을 더 포함한다.
머신 비전은 기구부와 하나의 카메라, 라인 스캔 카메라 또는 에어리어 스캔 카메라와 연동된 카메라 인터페이스(Frame Grabber, Gigabit Ethernet(GigE), IEEE 1394, 카메라 링크, USB 3.0)를 통해 연결된 컴퓨터의 비전 검사용 영상처리 알고리즘이 영상 처리(image processing)[(1) 영상 획득, (2) 영상 이진화, (3) 영상 처리, (4) 영상 분석, (5)영상 해석]를 통해 제품 표면의 디스플레이의 이물질, 스크래치, 패턴 오류 등의 결함과 결함의 위치를 분석하여 제품의 불량을 판단한다.
센서, 카메라, 조명, 콘트롤 박스, PC 또는 PLC와 연결되는 머신비전 AI 시스템은 딥러닝 기반의 머신 비전 플랫폼에서 제품의 불량 판정 지능을 개발하고 지속적인 학습이 가능하다. 지속적으로 학습된 지능은 딥러닝 기반의 머신 비전 플랫폼에서 실행하여 공정 결함 검출율을 높인다.
각 기업의 스마트 공장(Smart Factory)이 전혀 구축되지 않은 초기에,
클라우드 서버가 제조 실행 시스템(MES)과 연동하여,
제조 분야에서 원자재 입고, 제품 수/발주, 생산 계획, 생산 지시, 작업 상황, LOT 관리, 공정 관리, 머신 비전(MV)을 사용한 양품/불량품을 분류하는 품질 관리, 입고/출고/재고 관리, 및 판매 실적 관리 정보를 제공할 수 있다.
MES(제조 실행 시스템, Manufacturing Execution System)는 제조 공정의 실시간 카메라 비전 검사 모니터링에서 제품의 결함을 인식하여 양품/불량품을 분류하는 제품의 불량 관리에 사용된다.
엔코더(Encoder)는 공장의 생산 라인에서 컨베이어 벨트(conveyor belt)를 동작시키는 경우, 서보 모터의 정확한 이송량을 측정한다.
기구부는 로더(loader)에 의해 검사 스테이지(XY 스테이지)의 놓는 피검사체 이송 로봇을 더 포함할 수 있다.
기구부는 공장 자동화 공정에서 생산 라인의 컨베이어 벨트로 이송된 피검사체, 또는 피검사체 이송 로봇의 로더(loader)에 의해 검사 스테이지(XY 스테이지)의 놓인 제품의 ID를 제품에 부착된 DPM 코드, 바코드, QR 코드, 또는 13.56MHz RFID 태그를 판독하여 컴퓨터로 검출된 제품ID를 전송하는 ID 리더기를 더 포힘한다.
산업체의 공장 자동화(FA, Factory Automation) 공정에서, 웨이퍼(wafer), 디스플레이, PCB 결함 검사, LED chip 반도체 패키지 검사, 제품 표면 결함 검사, 등의 여러 분야에서 제품의 불량을 검출하는 머신 비전 검사 시스템을 구비하는 적어도 하나의 제조 실행 시스템(MES1,MES2,MES3,..)과 연결되는 클라우드 서버를 통해 에이전트 서버로부터 사용자 단말기로 전송되며, 각각의 MES 시스템(MES1,MES2,MES3,..)에 연동되어 제품ID와 제품의 결함 정보와 제조 지능 정보를 제공하는 클라우드 서버에 누적 저장된 제조 기업별 제품의 결함 정보를 제공한다.
클라우드 서버의 서비스 플랫폼은 불량 판정 제조 지능, 불량 예측 제조 지능을 제공하며, 제품의 불량을 지속적으로 학습하여 그 학습 데이터에 기초하여 딥러닝 알고리즘을 사용한 제품 결함 이미지 원격 학습을 통한 비전 검사를 제공한다.
MES와 연동된 스마트 공장 제조 지능 서비스 시스템은 제품에 부착된 바코드 리더, QR 코드 인식 또는 13.56MHz RFID를 RFID 리더로 판독하여 미들웨어를 통해 컴퓨터(PC)로 전송하여 저장하고 제품 ID를 판독하며, 카메라 영상 데이터의 형상 판단 검사/이물질 검사/스크래치 검사를 제공하는 불량 검사 모듈과 불량 판정 모듈과 학습용 제조용 데이터 전송 모듈을 구비하는 엣지 플랫폼과 미들웨어를 통해 연동되는 서비스 플랫폼을구비하며,
클라우드 서버의 서비스 플랫폼은 불량 판정 제조 지능 및 불량 예측 제조 지능을 제공하며, 지속으로 결함 데이터를 누적하여 저장하고, 그 학습 데이터에 기초하여 결함을 검출하는 딥러닝 알고리즘을 사용한다.
클라우드 서버는 각 제조 기업의 머신 비전 영상 분석 SW의 딥러닝 알고리즘은 CNN(Convolutional Neural Network), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, Faster RCNN(Region based Convolutional Neural Network) 알고리즘, YOLO(You Only Look Once), 및 SSD(Single Shot Detector) 알고리즘 중 어느 하나의 알고리즘을 사용하여 영상의 객체들의 특징을 추출하고 분류하여 결함을 검출하며 제품ID의 불량 정보를 제공받고, 이를 상기 클라우드 서버에 저장하여 이를 공유한다.
참고로, 카메라 영상 데이터의 영상 분석 SW는 i) 그레이 스케일 영상 처리, 또는 ii) 딥러닝 알고리즘을 사용할 수 있다. 카메라 영상의 이미지는 그레이스케일 이미지, RGB 이미지, HSI 이미지, YCbCr 이미지, JPEG 이미지, TIFF 이미지, 또는 GIF 이미지 등이 적용가능하다. 실시예에서는 그레이스케일(grayscale) 이미지를 사용하였다.
i) 그레이 스케일 영상 처리
영상 분석 SW는 카메라 영상 데이터(RGB 영상)을 그레이 스케일 영상 데이터로 변환하고, 그레이 스케일 영상을 사용하여 버퍼링하여 저장하고, 이미지 프로세싱(image processing) 및 영상 분석 기능을 제공하며, 관심 영역(ROI, Region of Interest)을 그레이 스케일(grayscale)로 변환하며, 관심 영역(ROI) 이미지의 실험에 의한 특정 임계값(threshold)을 사용하여 관심 영역(ROI) 이미지의 히스토그램(histogram)[x축 영상의 각 픽셀의 화소 값, y축 해당 화소 값의 갯수(빈도수)]을 구하고, 그 관심영역 이미지를 Otsu 알고리즘을 사용하여 임계값을 기준으로 0,1로 이진화(binarization)한 후, 히스토그램 평활화(histogram equalization)를 통해 관심 영역(ROI)의 영상의 전처리를 수행하며, sobel edge operator(소벨 엣지 연산자, sobel mask) 또는 canny edge operator(캐니 엣지 연산자)를 사용하여 x 방향의 미분과 y 방향의 미분을 구하고, sobel mask의 가중치를 영상의 화소 값에 곱하고 이들 더하는 convolution에 의해 관심 영역 이미지의 엣지(edge, 물체 영역, 배경 영역의 경계에 위치하는 화소들)를 검출하고 특정 임계값을 적용하여 생성된 엣지 영상의 결함 객체들의 윤곽선을 검출하고, 형상 특징(Shape Features)을 추출한다.
Otsu 알고리즘을 사용한 임계 방법을 사용하는 경우, 화소 값 f(x,y)들이 특정 임계값을 기준으로 입력 영상에 대하여 물체 영역과 배경 영역으로 분리하고, 화소 값 f(x,y)이 특정 임계값 보다 클 경우 물체 영역에 속하는 화소로 결정하며, 반대로 화소 값 f(x,y)이 특정 임계값 보다 작은 경우 배경 영역에 속하는 화소로 결정한다.
ii) 딥러닝 알고리즘(CNN 알고리즘 등)을 사용하여 영상의 객체들의 특징 추출과 분류하고, 입력 이미지의 특징과 학습 모델의 누적 저장된 학습 데이터DB의 결함 이미지의 학습 데이터(이물질, 스크래치 등)와 비교하여 결함이 있는 객체(이물질, 긁힘, 스크래치 등)를 추출한다.
머신 비전 영상 분석 SW의 딥러닝 알고리즘은 CNN(Convolutional Neural Network), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, Faster RCNN(Region based Convolutional Neural Network) 알고리즘, YOLO(You Only Look Once), 및 SSD(Single Shot Detector) 알고리즘 중 어느 하나의 알고리즘을 사용하여 영상의 객체들을 특징 추출하고 결함 이미지를 검출한다(object detection).
머신 비전 영상 분석 SW의 딥러닝 알고리즘은 CNN 알고리즘을 사용하며, AlexNet, ZFNet, VGGNet, GoogLeNet, 및 ResNet 중 어느 하나의 알고리즘을 사용하며,
상기 CNN 알고리즘은 영상의 객체를 추출하고 객체의 특징 추출(feature extraction)과 분류(classification)하며, 입력 이미지와 학습 모델에 따라 학습데이터DB에 누적되어 저장된 결함 이미지의 학습 데이터와 비교하여 결함이 있는 객체(이물질, 스크래치)를 추출한다.
카메라 입력 영상으로부터 입력층(input layer)/n개의 은닉층(hidden layer)(Layer 1, Layer 2, Layer 3... )/출력층(output layer)으로 구성되는 다층구조의 신경망(MLP)은 Multilayer Perceptron을 통해 영상의 객체들의 특징 추출(feature extraction)과 객체를 분류(classification)하여 결함이 있는 객체(이물질, 결함, 또는 스크래치 등)를 검출한다.
컨볼루션 신경망(CNN, Convolutional Neural Network)은 컨볼루셔널 층(Convolutional Layer), 풀링 층(Pooling Layer), 및 FC 층(Fully Connected Layer, 완전연결층)을 포함하는 3개의 레이어가 사용된다.
Deep CNN 알고리즘은 가중치(weight)를 갖는 마스크(예, 3x3 윈도우, 필터)를 이동해가며 컨볼루셔널 층(Convolutional Layer)과 풀링 층(Pooling Layer)에 의해 각각 convolution(합성곱)과 subsampling을 반복하여 영상의 데이터량을 줄이고, 영상의 왜곡에 강인한 특징을 추출(feature extraction)하며, 컨볼루션에 의해 특징맵(feature map)을 추출하고, 신경망(Neural Network)에 의해 학습 모델에 따라 검출된 결함이 있는 객체(이물질, 스크래치 등)를 분류(classification)한다.
CNN 알고리즘을 사용한 영상 처리에서, 컨볼루션(convolution)은 입력 이미지와 가중치를 갖는 마스크(예, 3x3 윈도우, 필터)를 사용하여 영상처리가 이루어지며, 입력 영상에 가중치를 갖는 마스크(예, 3x3 윈도우, 필터)를 stride에 따라 이동해가며, 현재 입력 영상에 가중치를 갖는 마스크를 씌운 후 입력 영상의 픽셀값과 마스크의 가중치를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정해진다.
subsampling은 화면 크기를 줄이는 과정이며, 해당 영역의 최대치를 선택하는 max pooling을 사용한다.
FC 층(Fully Connected Layer, 완전연결층)은 신경망의 입력 단자에 연결시켜 학습에 의해 객체를 분류한다.
현재 5층의 convolution layer와 3층의 fully_connected layer로 이루어져 있다.
컨볼루셔널 층(Convolutional Layer)의 출력은 Max-Pooling Layer에 의해 subsampling을 진행하여 image의 사이즈가 줄여지며, Max-Pooling의 출력은 FC 층(Fully Connected Layer)에서 객체의 클래스를 분류한다.
결과적으로, 카메라 영상의 결함이 있는 객체들을 추출하기 위해 CNN 구조의 중간 몇 개의 컨볼루션 층(convolutional layer)에서 객체 위치영역과 종류 정보를 포함하는 특징맵(feature map)을 추출하고, 풀링 층(Pooling layer)를 통과함에 따라 특징맵(feature map)의 크기가 작아지며 각각 다른 크기의 특징지도에서 객체 위치 영역 정보를 추출하여 객체들을 검출하고, FC 층(Fully Connected Layer, 완전 연결층)에 의해 학습 모델의 사전 학습 데이터와 비교하여 결함이 있는 객체(이물질, 스크래치)를 분류(classification)한다.
또한, 카메라의 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 MLP 또는 신경망(NN)을 사용하여 영상의 특징 벡터 x를 추출하며; 추출된 영상의 특징 벡터 x로부터
Figure 112022125994457-pat00001
함수를 반복 적용하여 출력 벡터
Figure 112022125994457-pat00002
를 계산한다:
여기서, hi는 i번째 은닉 특징 벡터, hi-1은 i-1번째 은닉 특징 벡터, Wi는 신경망 회로의 가중치 파라미터(weight parameter, 상수값), bi는 신경망 회로의 바이어스 값이다.
입력 특징 벡터는
Figure 112021131745356-pat00003
로 설정되며, 총 L 개의 은닉층(hidden layer)이 존재할 경우 h1,h2,...hL을 차례로 계산하여 최종 출력 벡터는
Figure 112021131745356-pat00004
로 결정된다. 또한, h1,h2,...hL-1은 시스템의 출력으로 드러나지 않는 양으로 은닉 특징 벡터(Hidden Feature Vector)라고 불린다. hL-1은 L-1 번째 은닉 특징 벡터이다.
R-CNN의 기본적인 구조는 입력 이미지에서 Selective Search라는 Region Proposal 생성 알고리즘을 사용하여, 객체가 존재할 것으로 추정되는 Region Proposal들을 추출한다. 각각의 Region Proposal들은 사각형 모양의 Bounding Box 안의 이미지 형태인데, 모든 Region Proposal들에 대하여 크기를 동일하게 만든 후 CNN을 거쳐 분류하는 작업을 수행한다.
R-CNN은 모든 Region Proposal마다 하나의 CNN(Convolutional Neural Network)을 실행해야 하므로 속도가 느려지며, 이미지 특징 추출을 위한 모델, 분류를 위한 모델, Bounding Box를 잡아주는 모델을 동시에 학습해야 하므로 기계 학습에 걸리는 시간이 많이 들었다.
R-CNN의 속도 문제를 해결하기 위해, Fast R-CNN이라는 모델이 개발되었다. Fast R-CNN 모델은 Feature를 입력 이미지로부터 추출하는 것이 아니라, CNN을 거친 특징맵(Feature Map) 상에서 RoI Pooling을 사용하여 특징(Feature)을 추출한다.
Faster R-CNN은, Region Proposal을 생성하는 방법 자체를 CNN 내부에 네트워크 구조로 결합된 네트워크를 RPN(Region Proposal Network)라고 한다. RPN을 통해 RoI Pooling을 수행하는 레이어와 Bounding Box를 추출하는 레이어가 같은 특징 맵(feature map)을 공유할 수 있다.
Fast RCNN은 전체 영상과 객체들을 입력받고, 전체 영상에 대한 CNN의 특징 지도(feature map)를 획득한다. ROI(Region of Interest) 풀링층은 각각의 개체에 대하여 특징맵(feature map)으로부터 고정된 길이의 특징벡터를 추출한다. 각각의 특징벡터는 FC 층(Fully Connected layer)을 통해 하나의 시퀀스가 되어, 소프트맥스(Softmax)를 통한 확률 추정과 경계 박스의 위치를 출력한다.
풀링(Pooling)은 다양한 위치에서 특징의 통계를 집계하여 이미지의 해상도를 줄일 수 있는 하위 샘플링 프로세스이며, 풀링은 회전, 노이즈 및 왜곡과 같은 이미지 변형에 견고성을 향상시켜, 풀링은 최대값 풀링과 평균값 풀링 두 가지 방법이 사용된다.
하나의 CNN 분류기는 컨볼루션층과 풀링층이 반복되며 그 구조에 따라 다양한 기능의 층(layer)들이 추가될 수 있다. 입력 이미지에 대하여 컨볼루션과 풀링 과정을 거쳐 추출된 특징(faeture)은 학습 모델의 학습 데이터에 따라 다양한 분류기들(예, SVM 분류기)을 적용시켜 객체들(예, 이물질, 스크래치, 표면 결함 등)이 분류될 수 있다.
Faster R-CNN은 입력 이미지에 대해 통째로 Convolution Layer를 여러 번 거쳐서 특징을 추출하며, 이렇게 추출된 출력 특징 맵을 RPN과 RoI Pooling Layer가 공유하게 된다. RPN은 특징맵(feature map)에서 Region Proposal들을 추출하며, RoI Pooling Layer는 RPN에서 추출된 Region Proposal들에 대해 RoI 풀링을 수행한다.
딥러닝을 사용한 카메라 영상 데이터의 실시간 객체 인식을 위해 YOLO(You Only Look Once) 모델이 사용될 수 있다.
YOLO는 각 이미지를 SxS 개의 그리드(grid, 경계 상자)로 분할하고, 각 그리드의 신뢰도를 계산하여 그리드 내 객체 인식시 정확도를 반영하여 이미지 전체를 한번에 보는 방식으로 클래스를 구분하며, YOLO는 단순한 처리로 다른 모델에 비해 2배 정도 높은 성능을 갖고 있다. 그리드에 객체 포함 여부를 계산하기 위해, 객체 클래스 점수를 계산한다. 이 결과로 총 S x S x N 객체가 예측된다.
YOLO와 유사하면서 더 나은 성능을 보이는 SSD(Single Shot Detector) 모델은 영상내 객체 검출 속도 및 정확도 사이의 균형감이 고유한 장점이 있고, SSD는 입력 이미지에 대한 CNN을 단 한번만 실행하고도 특징 맵(feature map) 계산이 가능하여 다양한 스케일의 객체들을 검출할 수 있다.
SSD는 카메라 영상 내의 객체 검출(object detection)을 위한 그리드(grid)가 표시되는 객체 검출 속도 및 정확도 사이의 균형이 있는 인공지능 기반 객체 검출 알고리즘이다. SSD는 1회에만 입력 이미지에 대하여 CNN(Convolutional Neural Network)을 실행하고, 특징 맵(feature map)을 계산한다. 그리드 및 객체 분류 확률을 예측하기 위해 특징 맵을 3 × 3 필터 크기로 CNN을 수행한다. SSD는 CNN처리 후, 그리드(grid)를 예측한다. 이 방법은 다양한 스케일의 객체들을 검출할 수 있다.
제조 기업은 엣지 시스템으로써 지능화된 머신 비전 솔류션을 도입하고, 제조 지능 마켓 플레이스(MiraeCIT)에서 학습/불량 판정과 불량 예측 모델을 수행하며, MES와 연동된 스마트 공장 제조 지능 서비스 시스템은 클라우드 컴퓨팅을 통해 클라우드 서버로부터 에이전트 서버를 통해 사용자 단말로 제품ID와 제품 결함 정보를 포함하는 제조 지능 데이터를 제공하게 되었다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고, 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, 스토리지와 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드 뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
100: 정보 제공자 컴퓨터(MES1, MES2, NES3)
200: 클라우드 서버 컴퓨터
300: 에이전트 서버 컴퓨터
400: 사용자 단말기

Claims (9)

  1. 각각의 제조 기업 제품의 생산 라인의 머신 비전을 구비하고, 제품 ID를 인식하여 미들웨어를 통해 전송하며, 제품ID와 제품의 결함(스크래치, 결함) 정보를 제공하는 적어도 하나의 제조 실행 시스템(MES);
    상기 적어도 하나의 제조 실행 시스템(MES)과 연결되는 클라우드 서버: 및
    상기 클라우드 서버에 연동되는 에이전트 서버를 포함하며, 상기 클라우드 서버에서 연동된 제조 기업 제품의 생산 라인의 제품ID와 제품의 결함 정보를 상기 에이전트 서버를 통해 사용자 단말기로 제공하고,
    상기 미들웨어는 제품 코드 전송 미들웨어, 및 딥러닝 미들웨어를 포함하며,
    상기 클라우드 서버는 각각의 제조 기업의 제조 실행 시스템(MES1,MES2,MES3,..)의 생산 라인의 제품ID와 제품의 결함 정보를 취합하여 이를 제공하는 지역별 에이전트 서버를 통해 사용자 단말기로 제공하는, MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
  2. 제1항에 있어서,
    상기 사용자 단말기는 PC, 노트북, 태블릿 PC, 또는 스마트폰을 사용하는, MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
  3. 제1항에 있어서,
    상기 제품은 바코드, QR 코드, 또는 13.56MHz RFID 태그 중 어느 하나가 부착되는, MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
  4. 제3항에 있어서,
    추가적으로, PC는 상기 제품에 바코드가 부착된 경우, 제품에 부착된 바코드를 인식하는 바코드 리더기와 인식 모듈을 더 포함하는, MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
  5. 제3항에 있어서,
    추가적으로, PC는 상기 제품에 QR 코드가 부착된 경우, 제품에 부착된 QR 코드를 인식하는 QR 코드 인식 모듈을 더 포함하는 MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
  6. 제3항에 있어서,
    추가적으로, 상기 제품에 13.56MHz RFID 태그가 부착된 경우, 13.56MHz RFID 리더와 "제품 코드 전송 미들웨어"를 통해 연결되는 PC의 SW 모듈을 더 포함하는 MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 클라우드 서버는
    각 제조 기업의 머신 비전 영상 분석 SW의 딥러닝 알고리즘 인 CNN(Convolutional Neural Network), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, Faster RCNN(Region based Convolutional Neural Network) 알고리즘, YOLO(You Only Look Once), 및 SSD(Single Shot Detector) 알고리즘 중 어느 하나의 알고리즘을 사용하여 영상의 객체들의 특징을 추출하고 분류하여 결함을 검출하며 제품ID의 불량 정보를 제공받고, 이를 상기 클라우드 서버에 저장하는, MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
  9. 제1항에 있어서,
    상기 미들웨어는
    바코드 리더기, QR 코드 인식기 또는 13.56MHz RFID 리더에 의해 바코드, QR 코드 또는 13.56MHz RFID 태그 정보 중 어느 하나를 상기 클라우드 서버로 전송하는 제품 코드 전송 미들웨어; 및
    머신 비전 시스템으로부터 전송된 비정형 불량 가공 데이터를 전송받아 딥러닝 모델 훈련 시스템에 의해 누적되어 저장된 불량 이미지 학습 데이터(이물질, 스크래치)와 비교하여 비정형 불량 이미지를 검출하는 비정형 불량 판정 학습 모델을 구비하고, 딥러닝 형상 판단 시스템에 의해 AI 딥러닝 모듈에 의해 카메라 영상 데이터의 이물질 유무 검사, 형상 검사, 정상/불량 판정 결과 데이터를 상기 클라우드 서버로 전송하는 딥러닝 미들웨어를 포함하는 MES와 연동된 스마트 공장 제조 지능 서비스 시스템.
KR1020210157125A 2021-11-15 2021-11-15 Mes와 연동된 스마트 공장 제조 지능 서비스 시스템 KR102527061B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210157125A KR102527061B1 (ko) 2021-11-15 2021-11-15 Mes와 연동된 스마트 공장 제조 지능 서비스 시스템
US17/981,006 US20230152781A1 (en) 2021-11-15 2022-11-04 Manufacturing intelligence service system connected to mes in smart factory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210157125A KR102527061B1 (ko) 2021-11-15 2021-11-15 Mes와 연동된 스마트 공장 제조 지능 서비스 시스템

Publications (1)

Publication Number Publication Date
KR102527061B1 true KR102527061B1 (ko) 2023-04-28

Family

ID=86143476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210157125A KR102527061B1 (ko) 2021-11-15 2021-11-15 Mes와 연동된 스마트 공장 제조 지능 서비스 시스템

Country Status (2)

Country Link
US (1) US20230152781A1 (ko)
KR (1) KR102527061B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452598B (zh) * 2023-06-20 2023-08-29 曼德惟尔(山东)智能制造有限公司 基于计算机视觉的车桥生产质量快速检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101182768B1 (ko) 2012-02-21 2012-09-13 주식회사 엠비젼 머신비전 시스템을 위한 검사 장치 및 방법
KR101688641B1 (ko) 2015-09-22 2016-12-21 동서대학교산학협력단 머신 비전 기반 전자부품 검사 시스템
KR101772673B1 (ko) 2017-05-13 2017-08-29 주식회사 에이피에스 멀티 광학 모듈 비전 검사 시스템
JP2018060446A (ja) * 2016-10-07 2018-04-12 日本エア・リキード株式会社 工場設備点検用データ収集システム
KR20190026115A (ko) * 2017-09-04 2019-03-13 수상에스티(주) 클라우드 커넥터 기반의 제조설비 공정운영 방법과 이를 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR20190063839A (ko) 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR20190067439A (ko) 2017-12-07 2019-06-17 한국전자통신연구원 딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치 및 방법
KR20190092975A (ko) * 2018-01-31 2019-08-08 삼성전자주식회사 비전 검사 관리 방법 및 비전 검사 시스템
KR102108956B1 (ko) 2019-11-13 2020-05-12 주식회사 만컴퍼니 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101182768B1 (ko) 2012-02-21 2012-09-13 주식회사 엠비젼 머신비전 시스템을 위한 검사 장치 및 방법
KR101688641B1 (ko) 2015-09-22 2016-12-21 동서대학교산학협력단 머신 비전 기반 전자부품 검사 시스템
JP2018060446A (ja) * 2016-10-07 2018-04-12 日本エア・リキード株式会社 工場設備点検用データ収集システム
KR101772673B1 (ko) 2017-05-13 2017-08-29 주식회사 에이피에스 멀티 광학 모듈 비전 검사 시스템
KR20190026115A (ko) * 2017-09-04 2019-03-13 수상에스티(주) 클라우드 커넥터 기반의 제조설비 공정운영 방법과 이를 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR20190063839A (ko) 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR20190067439A (ko) 2017-12-07 2019-06-17 한국전자통신연구원 딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치 및 방법
KR20190092975A (ko) * 2018-01-31 2019-08-08 삼성전자주식회사 비전 검사 관리 방법 및 비전 검사 시스템
KR102108956B1 (ko) 2019-11-13 2020-05-12 주식회사 만컴퍼니 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Also Published As

Publication number Publication date
US20230152781A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
KR102579783B1 (ko) 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
KR101772673B1 (ko) 멀티 광학 모듈 비전 검사 시스템
US10733723B2 (en) Methods and system for improved quality inspection
KR102022496B1 (ko) 비전 이미지 검출을 이용한 공정 관리 및 모니터링 시스템 및 그 방법
US10706525B2 (en) Methods and systems for improved quality inspection
EP4038374A1 (en) System and method for ai visual inspection
US11941799B2 (en) Machine-learning based camera image triggering for quality assurance inspection processes
CN111179250B (zh) 一种基于多任务学习的工业品缺陷检测系统
US20210390677A1 (en) Explainability and Complementary Information for Camera-Based Quality Assurance Inspection Processes
US20200097892A1 (en) System and method for automatic product enrollment
KR101059801B1 (ko) 자동 물류 시스템 및 그 제어방법
Jaffery et al. Scope and prospects of non-invasive visual inspection systems for industrial applications
US20230152781A1 (en) Manufacturing intelligence service system connected to mes in smart factory
US20220392055A1 (en) Machine-Learning Based Continuous Camera Image Triggering for Quality Assurance Inspection Processes
KR20220164124A (ko) 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템
CN114529510A (zh) 一种阴极铜在线质量自动检测分类方法
CN111307817B (zh) 一种智能产线pcb生产过程的在线检测方法及系统
US20220394214A1 (en) Intelligent Quality Assurance and Inspection Device Having Multiple Camera Modules
KR100357764B1 (ko) 지능형 피혁 품질선별 장치
KR102022494B1 (ko) 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법
Ji et al. A Computer Vision-Based System for Metal Sheet Pick Counting.
KR100462121B1 (ko) 카메라를 이용한 피혁상태 검사장치
Smruthi et al. Hardware Implementation of Machine Vision System for Component Detection
Papagianni et al. Surface Defects Detection on Pressure Die Castings by Machine Learning Exploiting Machine Vision Features
KR102618194B1 (ko) Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant