KR102108956B1 - 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 - Google Patents

Abstract

본 발명은 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체에 관한 것으로서, 본 발명의 실시예에 따른 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치는, 지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장하는 저장부, 및 다르게 저장한 제1 볼륨의 학습 샘플 데이터 및 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 지정 제품의 비전 검사를 수행하며, 비전 검사의 결과를 근거로 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 제어부를 포함할 수 있다.

Description

인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체{Apparatus for Performing Inspection of Machine Vision and Driving Method Thereof, and Computer Readable Recording Medium}

본 발명은 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가령 고객 맞춤형으로 모듈형 소프트웨어를 제공하여 영상과 인공지능이 만나 공정을 효율적으로 컨트롤할 수 있는 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체에 관한 것이다.

머신비전(Machine Vision)이란 제조업 분야의 제품 검사 장치로 제조분야의 품질과 생산성, 효율을 높이고 규제를 준수하기 위해 사용되는 전문 분야이다. 제조 과정에서의 물리적 형상 및 결함, 표면 마무리, 색상 등의 상태를 사람이 육안으로 검사하는 대신 고성능 카메라, 이미지 프로세서, 소프트웨어 등의 구성요소로 이루어진 시스템으로 검사하는 것이다. 머신비전은 환경과 관계없이, 작업자의 피로도없이, 마이크로미터 단위까지 정밀하게, 빠른 속도로 검사를 수행할 수 있다. 따라서 전 세계 산업자동화의 발전과 떼려야 뗄 수 없는 밀접한 관계에 있으며, 반도체·PCB(Printed Circuit Board) 관련·소형 전자부품·휴대전화·디스플레이·자동차·철강·식음료 산업 등 산업 전반으로 적용 분야가 확대되고 있다. 이중 이미지 프로세서와 검사 소프트웨어 분야의 최근 국·내외 수요자 동향을 살펴보면 검사 대상이 소형화되고 내부 패턴이 복잡해지면서 고도의 영상처리 기술을 필요로 하고, 생산성 향상을 위한 고속검사처리 기술이 지속적으로 요구되고 있다.

그런데, 기술적인 측면에서 알고리즘의 정확도 문제로 인해 완전 자동화는 힘들고 마지막 단계에서 검출된 결함들을 작업자가 한번 더 확인하는 문제가 있다.

머신 비전에 의한 검사 자동화는 인쇄, 화폐, 목재 식품, 기계, 옷감 등 산업 전방에 걸쳐 확산되어 있으며, 특히 전자 산업에서 반도체, PCB, 각종, 각종 부품, 액정 패널, 배터리 등 수많은 종류의 불량검사에 적용되고 있다. 최근 들어 국·내외 산업현장에서는 액정 패널, 케이스 등의 숙련공의 눈에 의존했던 표면 결함 검사를 머신 비전으로 대체하려는 사업이 진행되고 있다.

그런데, 종래에는 특징 기반의 머신 비전의 검사 방법은 결함의 특징을 잘 찾기 위해 이미지에서의 잡음을 없애기 위한 중간값필터(Median Filter) 등의 전처리 기법을 사용하고 있으며 이러한 방법은 이미지에서의 결함의 특징까지 제거를 해 버리는 문제가 있다. 특히, 결함의 깊이가 얕은 미세 갈라짐(혹은 크랙)과 흠집은 전처리 과정에서 사라지기 때문에 검출하기가 매우 어렵다.

또한 종래와 같은 전처리 과정을 수행하기 위해서 여러 단계의 공정을 거쳐 고속처리 기술을 확보하지 못하면 생산라인 운영에 불필요한 비용을 발생시킬 수 있어 전체 공정에서 차질을 빚는 일이 간헐적으로 발생하고 있다.

한국등록특허공보 제10-1631841호(2016.06.14) 한국공개특허공보 제10-2019-0063839호(2019.06.10) 한국공개특허공보 제10-2019-0092975호(2019.08.08)

본 발명의 실시에는, 가령 고객 맞춤형으로 모듈형 소프트웨어를 제공하여 영상과 인공지능이 만나 공정을 효율적으로 컨트롤할 수 있는 인공지능을 활용한 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치는, 지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장하는 저장부, 및 상기 다르게 저장한 제1 볼륨의 학습 샘플 데이터 및 상기 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 상기 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 상기 지정 제품의 비전 검사를 수행하며, 상기 비전 검사의 결과를 근거로 상기 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 제어부를 포함한다.

상기 제어부는, 상기 지정 제품에 대한 복수의 인공지능 기술이 각각 적용된 분류기를 이용해 학습 정확도를 측정하고 측정 결과를 근거로 최적의 분류기를 선택하여 사용할 수 있다.

상기 저장부는, 기개발되어 사용된 머신비전 검사 라이브러리를 확보해 고객 맞춤형으로 상기 제1 볼륨의 학습 샘플 데이터로 저장할 수 있다.

상기 제어부는, 상기 복수의 검사 항목별로 상기 학습 샘플 데이터를 자동으로 분류시킬 수 있다.

상기 제어부는, 인공지능 검사기법으로서 전처리 과정을 최소화하고 시간 변화에 따라 학습을 통해 높은 정확도를 확보하기 위한 컨볼루션신경망(CNN), R-CNN 또는 알렉스넷(AlexNet)을 사용할 수 있다.

또한, 본 발명의 실시예에 따른 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치의 구동방법은, 지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장부에 저장하는 단계, 및 제어부가, 상기 저장한 제1 볼륨의 학습 샘플 데이터 및 상기 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 상기 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 상기 지정 제품의 비전 검사를 수행하며, 상기 비전 검사의 결과를 근거로 상기 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 단계를 포함한다.

상기 구동방법은, 상기 지정 제품에 대한 복수의 인공지능 기술이 각각 적용된 분류기를 이용해 학습 정확도를 측정하고 측정 결과를 근거로 최적의 분류기를 선택하여 사용하는 단계를 더 포함할 수 있다.

상기 저장하는 단계는, 기개발되어 사용된 머신비전 검사 라이브러리를 확보해 고객 맞춤형으로 상기 제1 분량의 학습 샘플 데이터로 저장할 수 있다.

상기 구동방법은, 상기 복수의 검사 항목별로 상기 학습 샘플 데이터를 자동으로 분류시키는 단계를 더 포함할 수 있다.

인공지능 검사기법으로서 전처리 과정을 최소화하고 시간 변화에 따라 학습을 통해 높은 정확도를 확보하기 위한 컨볼루션신경망(CNN), R-CNN 또는 알렉스넷(AlexNet)을 사용할 수 있다.

한편, 본 발명의 실시예에 따른 컴퓨터 판독가능 기록매체는, 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체로서, 상기 머신비전 검사장치의 구동방법은, 지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장하는 단계, 및 상기 다르게 저장한 제1 볼륨의 학습 샘플 데이터 및 상기 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 상기 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 상기 지정 제품의 비전 검사를 수행하며, 상기 비전 검사의 결과를 근거로 상기 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 단계를 실행한다.

본 발명의 실시예에 따르면, 전처리 과정을 최소화하고 시간이 지남이 따라 학습을 통한 높은 검사 정확도를 확보할 수 있을 것이다.

좀더 구체적으로, 본 발명의 실시예에 따르면, 인공지능 기술의 활용시 초기 데이터가 부족하여 인공지능 기술을 적용하기 어려운 문제점을 개선할 수 있다.

또한, 본 발명의 실시예는 종래 전처리 기법에서 이미지에서의 결함 특징까지 제거해 버리는 문제를 개선할 수 있을 것이다. 가령, 결함의 깊이가 얕은 미세 갈라짐 즉 크랙과 흠집은 종래의 전처리 과정에서 사라지기 때문에 검출이 어려웠는데, 본 발명의 실시예는 이러한 문제를 해결할 수 있을 것이다.

나아가, 종래 전처리 과정을 수행하기 위해 여러 단계의 공정을 거쳐 고속처리 기술을 확보하지 못하면 생산라인 운영에 불필요한 비용을 발생시킬 수 있어 전체 공정에서 차질을 빚는 일이 본 발명의 실시예에서는 없게 될 것이다.

도 1은 본 발명의 실시예에 따른 인공지능 기반의 머신비전시스템을 나타내는 도면,
도 2는 도 1의 시스템의 주요 동작을 도식화하여 나타낸 도면,
도 3은 도 2의 고객 맞춤형 제품 제공을 부연 설명하기 위한 도면,
도 4는 종래 대비 제품불량 검사를 설명하기 위한 도면,
도 5는 본 발명의 실시예에 따른 검사 결과 화면의 예시도,
도 6은 도 1의 머신비전 검사장치의 세부구조를 예시한 블록다이어그램,
도 7은 도 6의 머신비전처리부의 세부구조를 예시한 블록다이어그램, 그리고
도 8은 본 발명의 실시예에 따른 머신비전 검사장치의 구동 과정의 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 인공지능 기반의 머신비전시스템을 나타내는 도면, 도 2는 도 1의 시스템의 주요 동작을 도식화하여 나타낸 도면, 도 3은 도 2의 고객 맞춤형 제품 제공을 부연 설명하기 위한 도면, 도 4는 종래 대비 제품불량 검사를 설명하기 위한 도면, 그리고 도 5는 본 발명의 실시예에 따른 검사 결과 화면의 예시도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능 기반의 머신비전시스템(90)은 복수의 촬영장치(120, 130), 조명장치(140) 및 모듈형 소프트웨어를 갖는 머신비전 검사장치(이하, 머신비전 검사장치)(150, 160)의 일부 또는 전부를 포함하며, 생산라인에 설치되는 엔코더(encoder)(100), 센서(110), 통신 케이블(125), 프레임 그래버(미표기) 등의 일부 또는 전부를 더 포함할 수 있다.

여기서, "일부 또는 전부를 포함한다"는 것은 엔코더(100) 등의 일부 구성요소가 생략되어 시스템(90)이 구성되거나, 조명장치(140)와 같은 일부 구성요소가 촬영장치(120, 130)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

예를 들어, 액정패널, 케이스, 인쇄, 화폐, 목재 식품, 기계, 옷감, 반도체, PCB, 각종 부품 등 산업 현장에서 사용되는 다양한 제품들은 생산 라인에서 생산된 후 소정의 검사 공정을 거치게 된다. 생산된 제품의 품질 검사는 생산 라인에 설치된 컨베이어벨트시스템(97)을 통해 생산된 제품을 이동시키면서 검사가 이루어질 수 있다. 종래에는 육안 검사를 통해 품질 검사가 일부 또는 전부 이루어졌다면, 최근에는 이를 자동화하여 영상처리기술을 통해 검사하고 있다. 물론 이는 비전검사라 명명된다. 컨베이어벨트시스템(97)의 컨베이어 벨트에 놓인 생산 제품들은 벨트의 움직임에 따라 함께 움직이면서 비전영역으로 들어간다.

컨베이어벨트 시스템(97)은 엔코더(100) 및 센서(110)를 포함할 수 있다. 가령 MOF(Marking on the Fly)는 움직이는 연속 제로 공정에서 컨베이어 벨트를 멈추지 않고 마킹하는 기술이다. 해당 기술은 레이저 마킹기가 움직이는 방향과 속도를 엔코더 신호로 측정하기 때문에 움직이는 애플리케이션에 정확하게 마킹을 할 수 있다. 실제로 오토닉스의 마킹기는 1분당 180m로 움직이는 속도에서 최대 5자까지 마킹이 가능하다. 본 발명의 실시예에 따른 엔코더(100)는 방향과 속도, 더 정확하게는 속도를 측정할 수 있으면 그것으로 충분할 수 있다. 특히 속도에 의해 촬영장치(120, 130)의 동작이 달라질 수도 있기 때문이다. 또는 고장 여부를 판단하기 위해 이용될 수도 있다. 또한, 센서(110)는 컨베이어 벨트를 따라 움직이는 생산 제품이 비전 영역에 들어오고 있는지를 판단하기 위해 사용될 수 있으며, 생산 제품이 비전 영역에 들어올 때 센서(110)에 의해 센싱되고, 이때 센싱신호는 컨베이어 벨트의 상측, 즉 비전 영역의 상부에 위치하는 촬영장치(120, 130)나 조명장치(140)를 가동하기 위해 사용될 수 있다.

이와 같이, 컨베이어 벨트의 상측에는 촬영장치(120, 130)나 조명장치(140)를 포함하는 촬영 즉 비전 시스템이 구성된다. 촬영장치(120, 130)는 카메라이며, 카메라(130)는 내부에 렌즈(120)를 포함한다. 고해상도의 렌즈(130)를 사용함으로써 생산 제품에 대한 정확한 촬영이 가능할 수 있고, 이를 통해 정밀한 품질 검사가 이루어질 수 있다. 렌즈(120)는 고정렌즈가 아니라 PTZ(Pan-Tilt-Zoom)가 가능한 렌즈가 사용될 수도 있다. 예를 들어, 이물질로 유추될 때 확대 촬영을 통해 촬영하여 제공할 수 있다. 줌은 자동 동작이 가능할 수 있을 것이다. 촬영장치(120, 130)는 설정된 구동 주파수에 따라 가령 1초에 60장의 영상 프레임을 생성하거나 120장의 영상 프레임을 생성할 수 있다. 따라서, 본 발명의 실시예에서는 촬영장치(120, 130)의 구동 주파수와 컨베이어 벨트의 속도 사이에 일정한 상관관계를 가질 수 있을 것이다. 가령, 속도가 빠르면 구동 주파수는 높아야 한다. 본 발명의 실시예에서는 생산 제품이 컨베이어 벨트를 따라 비전영역을 지날 때 촬영장치(120, 130)는 연속적인, 다시 말해 일종의 동영상과 같은 촬영을 실시할 수 있다. 가령, 센서(110)로부터 센싱신호가 입력되었을 때 촬영 동작을 시행하여 기설정된 시간이 경과되면 촬영 동작을 멈출 수 있다. 이와 같은 과정에 의해 촬영된 촬영영상은 통신 케이블(125)을 통해 머신비전 검사장치(150)로 제공된다. 더 정확하게는 본 발명의 실시예에 따른 모듈형 소프트웨어(160)를 탑재한 머신비전 검사장치(150)이다. 여기서, 모듈형 소프트웨어(160)의 대표적인 특징은 고객들마다 서로 다른 볼륨(volumn) 즉 분량의 학습 샘플 데이터를 라이브러리에 포함할 수 있다는 것과, 다양한 유형의 분류기 중 고객에게 맞는 분류기가 선택되어 사용될 수 있다는 것이다.

조명장치(140)는 통상 후레쉬라 명명된다. 본 발명의 실시예에서는 센서(110)의 센싱신호에 의해 촬영장치(120, 130)가 촬영동작을 시작할 때, 조명장치(140)도 함께 조명이 턴온 즉 켜질 수 있지만, 조명장치(140)는 품질 검사가 이루어지는 동안 상시 켜져 있을 수도 있으므로 이에 대하여 특별히 한정하지는 않을 것이다. 촬영장치(120, 130)가 포함되는 비전 영역을 생산 제품이 지날 때, 가령 도 1에서와 같이 라인 형태로 일렬로 구비되는 촬영장치(120, 130)들이 동시 동작하여 촬영 동작을 수행하고, 동시에 촬영 동작을 멈출 수 있다. 물론, 컨베이어 벨트를 이동하는 생산 제품은 가령 디스플레이 패널의 경우 각각의 촬영장치(120, 130)가 각 영역을 담당하지만, 라인 형태의 촬영장치(120, 130)는 생산 제품이 비전 영역으로 입고되면서 출고될 때까지의 전 모습을 촬영한다고 볼 수 있다.

촬영장치(120, 130)는 검사의 효율을 높일 수 있다면 다양한 형태로 배치되거나 동작할 수 있다. 예를 들어, 촬영장치(120, 130)의 렌즈는 촬영 시야각 즉 화각을 갖는다. 따라서, 이 화각에 의해 촬영장치(120, 130)의 개수와 촬영 영역이 결정될 수 있다. 화각은 카메라로 포착되는 장면의 시야로 광각 렌즈는 화각이 넓고 망원 렌즈는 화각이 좁다. 일반적인 렌즈의 화각 범위는 15도(°)에서 60도이다. 인간의 시각이 약 50도이므로 표준 렌즈는 44도 ~ 55도, 광각 렌즈는 60도 ~ 80도, 망원 렌즈는 30도 이하, 어안 렌즈는 180도 정도이다. 이를 고려하여 촬영장치(120, 130)의 배치가 결정될 수 있다. 또한, 조명장치(140)와의 관계에서 빛의 반사율 등을 고려하여 배치가 이루어질 수도 있으므로, 본 발명의 실시예에서는 다양한 상황을 고려하여 최적의 촬영장치(120, 130)의 배치와 설계가 이루어진다고 볼 수 있다.

프레임 그래버(Frame Grabber)(미표기)는 통상 촬영장치(120, 130)로서 CCD 카메라 등과 같은 영상 매체를 통해 나타나는 아날로그 영상 신호를 샘플당 정의된 비트로 디지털화하여 개인용 컴퓨터(PC)가 처리할 수 있는 신호로 바꾸어 주는 영상장치에 해당된다. 화상 처리에 사용되는 고해상도의 그래픽 카드가 이에 해당될 수 있다. 프레임 그래버는 머신비전검장치(150) 내에 구성될 수도 있으므로, 본 발명의 실시예에서는 그 구성에 특별히 한정하지는 않을 것이다.

머신비전 검사장치(150)는 도 2 내지 도 5에서 볼 수 있는 바와 같이 촬영장치(120, 130)로부터 제공되는 촬영영상을 분석하여 제품의 불량을 판별한다. 판별된 결과는 도 5에와 같이 검사자의 컴퓨터 모니터의 화면 등을 통해 확인이 가능할 수 있으며, 인터페이스 화면은 다양하게 생성될 수 있다. 다만, 본 발명의 실시예에 따른 머신비전 검사장치(150)에 구축되는 모듈형 소프트웨어(160)는 고객 맞춤형 제품이 제공된다. 여기서, "고객 맞춤형 제품"이란 생산 라인이나 지정 상품에 따라 조금 다른 인공지능 기술과 데이터를 활용할 수 있도록 한 제품이라 볼 수 있다. 예를 들어, A사의 생산 라인에서 이루어지는 비전 검사는 인공지능 기술 기법 중에서 컨볼루션신경망(CNN)을 이용한 분류기가 적용된다면, B사의 비전 검사는 알렉스넷(AlexNet) 기술이 적용된 분류기가 적용될 수 있다. 이는 가령 머신비전 검사장치(150)를 설치한 후, 복수의 분류기에 대하여 각 분류기의 성능을 측정한 후 최종적으로 결정되어 세팅이 이루어질 수 있다. 또한, 본 발명의 실시예에 따른 모듈형 소프트웨어(160)는 라이브러리의 구성, 더 정확하게는 라이브러리 내의 컨텐츠 즉 데이터가 그 종류 또는 성격에 있어 다소 상이할 수 있다. 가령 고객마다 학습 샘플 데이터의 양이 다를 수 있다. 프로그램의 라이브러리는 컴퓨터 프로그램의 조직화된 집합을 말한다면, 데이터의 라이브러리는 관련한 파일의 집합을 말한다. 가령, 도 2나 도 6에서 볼 때, 라이브러리의 데이터는 이물질 검사 SW, 흠집·주름 검사 SW, 오물 검사 SW 및 분열·균열검사 SW 중에서 A사는 일부 SW가 필요하지 않을 수 있고, B사는 전체 SW가 필요할 수 있다. 이와 같은 SW의 선택사항도 생산라인의 지정 제품에 따라 결정될 수 있다. 모듈형 소프트웨어(160)는 저장매체(예: USB)를 통해 제공되거나 다양한 형태로 제공되어 세팅 즉 구축될 수 있다.

모듈형 소프트웨어(160)가 머신비전 검사장치(150)에 세팅되고 난 후, 머신비전 검사장치(150)는 모듈형 소프트웨어(160)와 관련되는 분류기가 적용된 인공지능 기반의 동작을 수행하고, 이를 통해 제품불량 검사를 수행할 수 있으며, 또 그에 따른 데이터를 확보하여 빅데이터를 생성할 수 있다. 예를 들어 머신비전 검사장치(150)는 입력된 촬영영상에서 잡음을 제거하기 위한 전처리 동작을 수행하지 않고, 해당 부위를 캡쳐한 캡쳐 이미지를 분류기를 통해 학습하여 불량을 판단하는 동작을 수행할 수 있다. 다시 말해 머신비전 검사장치(150)는 영상 분석을 통해 생산 제품의 이물질을 이물질과 관련한 분류기를 통해 학습하여 이물질 여부를 정확히 판단한 후 그 결과에 따라 최종적으로 이물질로 분류할 수 있다. 이물질로 분류된 해당 이미지는 다양한 형태의 이물질을 판단하기 위한 또다른 학습 데이터가 되는 것이다.

그런데, 본 발명의 실시예에 따른 머신비전 검사장치(150)는 바로 생산 현장에 투입되어 98%의 정확도를 달성할 수 있어야 하므로, 이를 위해서는 충분한 학습 데이터가 이미 확보되어 있어야 한다. 따라서, 본 발명의 실시예에 따른 모듈형 소프트웨어(160)는 지정 제품과 관련한 인공지능 동작이 초기에 이루어질 수 있도록 최초의 학습 데이터를 라이브러리에 포함하여 제공할 수 있다. 최초의 학습 샘플 데이터는 고객 맞춤형으로 제공되는 것이다.

본 발명의 실시예에 따른 머신비전 검사장치(150)는 비전 검사를 위하여 인공지능을 활용한다. 인공지능의 딥러닝을 위해 다양한 모델을 활용할 수 있지만, 대표적으로 컨볼루션신경망(CNN), R-CNN 및 알렉스넷(AlexNet)을 활용한다. 이러한 인공지능 검사 기법을 도입하여 전처리 과정을 최소화하고 시간이 지남에 따라 학습을 통한 높은 검사 정확도를 확보할 수 있다. 즉 인공지능 기반 머신비전 모듈형 소프트웨어(160)는 가령 PC 기반 검사시스템에 도입하여 시간이 지남에 따라 학습을 통한 높은 정확도를 확보할 수 있는 시스템을 구축할 수 있게 된다.

그러나, 위의 인공지능 검사 기법은 앞서 언급한 대로 방대한 양의 학습 빅 데이터를 필요로 하므로 빅 데이터의 획득이 충분치 않은 경우에는 위의 인공지능 검사 기법을 적용하기에 한계가 있다. 이는 실제 산업분야의 검사에서는 보안 등의 이유로 적은 수량의 데이터만 제공하는 경우가 대부분이었기 때문이다. 이를 위하여, 본 발명의 실시예는 기존에 보유하고 있는 머신비전 라이브러리를 활용해 검사에 적용한다. 일반적인 생산 라인에서 검사 장비의 도입 및 적용에는 3 ~ 5개월의 기간이 소요되는데, 이는 검사 장비의 설치 및 운영까지의 시간이므로 실제 장비 설치 후 인공지능 기술을 도입하기 위한 영상 획득에는 짧은 시간이 소요된다. 이는 인공지능 기반 검사기술의 정확도를 올리기 위한 학습량의 부족으로 나타날 수 있다. 즉 수만장의 샘플 확보가 어려운 상황에서 적은 샘플(예: 수십~ 수백장)에서 효율적인 학습 샘플 수를 확보할 수 있는 기술 및 검사 정확도를 98% 이상의 효율을 가질 수 있도록 하기 위해서 해당 검사기(인공지능 기술)의 비교 및 업데이트 기능이 필요한 것이다.

이러한 이유로 본 발명의 실시예에서는 기개발되어 운영되는 머신 비전 검사 라이브러리 외에 인공지능 관련 라이브러리가 구축된 인공지능형 비전 검사 라이브러리를 구축한다. 생산 라인에 적합한 형태를 가질 수 있도록 영상 처리 기반의 영상 확대(augmentation) 기능이 포함되며, 영상 크기에 따라 2.0M 영상을 기준으로 40장의 영상을 최대 20,000장의 학습 영상으로 분기시키게 된다.

본 발명의 실시예에 따른 머신비전 검사장치(150), 더 정확하게는 빅 데이터 수집을 통한 인공지능 기술을 도입하여 개발한 스마트한 검사 소프트웨어를 고객이 필요한 라이브러리만 제공하는 모듈형 소프트웨어(160)를 제공하게 된다. 좀더 구체적으로, 머신비전 검사장치(150)는 여러 종류의 인공지능기술에 대한 학습 정확도를 데이터로 산정하여 최적의 학습 방법을 도출하고, 장비 설치 후 데이터 획득 및 확장, 학습까지 모든 기능이 모듈화되어 라이브러리로 제공되며, 영상 처리 기반의 자동 클래스(class) 분류 동작도 수행하게 된다. 본 발명의 실시예에 따른 모듈형 소프트웨어(160)는 생산 라인의 현장에 최적화되고 인공지능화된 머신비전 라이브러리에 해당된다. 영상 처리 기반의 자동 클래스 분류 기능을 가짐으로써 학습 샘플의 클래스 분류 시간 단축이 가능해지고, 비전공자인 고객들도 쉽게 사용할 수 있다. 또한, 저용량의 학습 데이터를 사용자의 선택에 따라 자동으로 학습하여 빅 데이터 형태로 양을 증가시킬 수도 있다. 또 여러 종류의 인공지능 기술 분류기에 대한 평가표가 제공되어 해당 시스템에 맞는 분류기가 선정된다. 나아가 검사 장비 설치 후 또는 기설치된 영상획득장치로 영상 확보 후 학습 및 검사 결과를 보기까지 메뉴얼화되는 구조로 쉽고 빠른 결과를 얻을 수 있다(도 5 참조). 영상처리 및 인공지능 기술 비전공자도 쉽게 셋업(set-up) 및 구동이 가능해진다. 고객이 필요한 라이브러리만 제공하는 표준 형태의 모듈형 소프트웨어를 제공한다고 볼 수 있다. 이러한 인공지능 기반의 머신비전 모듈형 소프트웨어(160)를 통해 데이터를 수집하여 검사 정확도를 높일 수 있게 된다.

다시 정리해 보면, 본 발명의 실시예에 따른 머신비전 검사장치(150)는 생산라인, 더 정확하게는 지정 제품에 최적화된 모듈형 소프트웨어(160)를 가동한다. 또한 인공지능의 딥러닝 동작을 수행하기 위한 분류기의 경우에도 복수의 인공지능 기술이 접목된 분류기 중 (검사될) 지정 제품과 관련한 최적의 분류기가 사용된다. 이를 위하여 초기에는 분류기에 대한 평가가 이루어질 수 있으며, 이러한 평가를 통해 지정 생산라인이나 지정 제품에 최적화된 분류기가 선택된다.

또한, 머신비전 검사장치(150)는 특정 제품의 검사를 위하여 다시 말해 인공지능 동작을 위하여 초기 정확도를 최대 98%까지 확보하기 위해서는 학습을 위한 다량의 데이터가 필요하지만, 현실적으로 머신비전 검사장치(150)의 설치 초기에 이를 확보한다는 것은 불가능하다. 다시 말해, 초기 데이터가 부족하므로 장비의 가동이 불가하게 된다. 따라서, 본 발명의 실시예에서는 다양한 루트, 가령 기개발되어 운영된 바 있는 머신비전 데이터를 수집하여 이를 라이브러리에 생성하고 본 발명의 실시예에 따른 모듈형 소프트웨어(160)에 포함시킬 수 있다. 따라서, 본 발명의 실시예에 따른 머신비전 검사장치(150)는 어디에 설치되느냐에 따라 그에 적합한 모듈형 소프트웨어(160)가 설치될 수 있고, 이때 인공지능 초기 동작시 기확보된 빅데이터를 통해 검사의 정확도를 98%까지 달성하면서, 동시에 새로운 인공지능 기반의 데이터를 확보할 수 있게 되는 것이다. 이에 근거해 볼 때, 본 발명의 실시예에 따른 모듈형 소프트웨어(160)는 고객에 맞춤화된 맞춤형 S/W라 볼 수 있다.

본 발명의 실시예에 따른 모듈형 소프트웨어(160)는 영상 수집 및 머신비전 데이터 생성 소프트웨어, 인공지능 기반 머신비전 검사 알고리즘, 및 모듈형 비전검사 플랫폼 인터페이스 소프트웨어를 갖는다고 볼 수 있다. 영상 데이터 수집 및 관리, 그리고 학습/검증 비전 데이터 생성은 첫째 기능에 해당될 수 있다. 비전 검사용 데이터 학습 및 검사 모델 생성, 이물질, 흠집, 오류 등 머신비전 검사는 두번째 기능에 해당될 수 있다. 또한, 비전 검사 인터페이스 및 모듈형 사용자 인터페이스 제공은 세번째 기능에 해당될 수 있다. 상기의 기능 및 동작에 따라 검사 대상 분류 및 흠집 등 제품불량 검사정확도는 96% 이상이 될 수 있고, 인공지능 기반 머신비전 검사속도는 1초 이내가 될 수 있으며, 제품불량검사 최적화 기간(프로그램이 생산라인에 도입되는 시간)은 1달 이내가 될 수 있다.

나아가, 본 발명의 실시예에 따른 도 1의 머신비전 검사장치(150)는 도 5에서와 같이 메뉴얼화되는 사용자 인터페이스 검사 화면을 제공할 수 있다. 해당 검사 화면은 크게 ① 프리뷰 영역, ②③ 학습 영역, ④ 데이터 설정 영역, ⑤ 평가결과 오분류 데이터 발생시 재분류 영역으로 구분될 수 있다. ①에서는 필요시 프리뷰(preview) 탭을 확인하여 데이터 분류를 수행할 수 있다. ②③에서는 학습 실시를 위한 학습 버튼이 표시되고, 자동으로 이루어진 평가 실시가 화면에 표시된다. ④에서는 탐색기에서 폴더를 끌어와 데이터 셋 리스트에 추가할 수 있다. ⑤에서는 평가 결과 오분류 데이터 발생시 재분류를 수행할 수 있다.

도 6은 도 1의 머신비전 검사장치의 세부구조를 예시한 블록다이어그램이며, 도 7은 도 6의 머신비전처리부의 세부구조를 예시한 블록다이어그램이다.

도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 머신비전 검사장치(150)는 통신 인터페이스부(600), 제어부(610), 머신비전처리부(620) 및 저장부(630)의 일부 또는 전부를 포함하며, 디스플레이부를 더 포함할 수 있다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(630)와 같은 일부 구성요소가 생략되어 머신비전 검사장치(150)가 구성되거나 머신비전처리부(620)와 같은 일부 구성요소가 제어부(610)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(600)는 본 발명의 실시예에 따른 모듈형 소프트웨어(160)의 설치에 관련되는 동작을 수행할 수 있다. 예를 들어, USB와 같은 저장매체가 제공되는 경우, 저장매체의 프로그램을 제어부(610)로 제공하여 머신비전처리부(620)에 세팅되도록 할 수 있다. 물론 해당 소프트웨어는 온라인을 통해 원격으로 제공될 수도 있으므로, 통신 인터페이스부(600)는 이에도 관여할 수 있다. 다시 말해, 소프트웨어를 제공하는 운영사에서 서버를 운영하는 경우, 통신사의 통신망을 통해 해당 서버에 접속하여 다운로드받을 수 있을 것이다.

이와 같이, 고객 맞춤형 제품에 대한 설정 동작이 완료되면, 통신 인터페이스부(600)는 도 1의 촬영장치(120, 130)로부터 제공되는 촬영영상을 제어부(610)로 제공하여 머신비전처리부(620)로 하여금 인공지능 기반의 영상 분석을 통한 비전 검사 동작이 이루어지도록 할 수 있다.

또한, 통신 인터페이스부(600)는 제어부(610)의 제어하에 촬영장치(120, 130)를 제어하기 위한 동작을 수행할 수도 있다. 대표적으로, 촬영장치(120, 130)의 줌인(zoom-in) 촬영이 이루어지도록 하는 것이다. 이는 도 1의 컨베이어 벨트를 통과하는 제품의 크기가 상이할 때, 더욱 유용할 수 있다.

제어부(610)는 도 1의 머신비전검장치(150)를 구성하는 도 6의 통신 인터페이스부(600), 머신비전처리부(620) 및 저장부(630)의 전반적인 제어 동작을 담당한다. 대표적으로, 제어부(610)는 머신비전처리부(620)에 본 발명의 실시예에 따른 모듈형 소프트웨어(160)를 세팅한 후, 최적의 분류기를 선택하기 위한 동작을 수행할 수 있다. 서로 다른 인공지능 기술이 접목된 복수의 분류기에 대하여 정확도를 측정한 후, 정확도가 높게 측정되는 분류기를 선택하여 제품 검사를 위한 딥러닝 동작이 이루어지도록 하는 것이다.

머신비전처리부(620)는 고객 맞춤형 제품으로서의 모듈형 소프트웨어(160)를 세팅한다. 여기서, 고객 맞춤형이란 비전검사를 위한 제품에 관련되는 검사 솔루션을 갖는다는 것을 의미한다. 예를 들어, A사는 총50개의 검사 솔루션에서 45개만 필요할 수 있고, B사는 30개만 필요할 수 있다. A사의 검사 솔루션과 B사의 검사 솔루션은 검사하려는 제품에 따라 다르다. 이와 같이, 검사 솔루션이 다르면, 인공지능 딥러닝 동작을 위한 분류기도 다르게 선택될 수 있다. 검사 솔루션에 따라 서로 다른 분류기가 선택될 수도 있다.

이와 같이, 머신비전처리부(620)는 복수의 분류기를 포함한 후 데이터 분석 정확도를 측정하여 특정 분류기를 선택해 이후에 선택된 분류기를 통한 인공지능 동작을 수행할 수 있지만, 다시 말해 제품에 대한 비전 검사를 인공지능의 딥러닝을 통해 수행할 수 있지만, 만약 정확한 실험 데이터가 있는 경우에는 이를 기반으로 선택되는 하나의 분류기만을 포함하여 SW를 제공할 수도 있을 것이다. 본 발명의 실시예에서는 다양한 동작이 가능할 수 있으므로 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

무엇보다 분류기는 지정 제품의 검사 항목에 따라 서로 다른 분류기를 포함할 수 있다. 다시 말해, 위의 B사의 경우 30개의 솔루션을 필요로 하는 경우 이는 검사 항목에 해당할 수 있으므로, 각 항목에 대한 이미지를 학습 후 분류하기 위한 각각의 분류기를 포함할 수 있다는 것이다. 이를 통해 데이터 처리 속도를 빠르게 증가시킬 수 있다. A 분류기는 A 분류기와 관련한 검사 항목에 대해서만 샘플 데이터를 대비하여 비교한 후 오류를 분류해 내고, 또 오류로 분류된 데이터를 신규 샘플 데이터로 생성하는 등의 동작을 수행하는 것이다.

본 발명의 실시예에 따른 머신비전처리부(620)는 도 4에서와 같이, 별도의 이미지 처리(예: 전처리) 동작을 수행하지 않게 되므로, 흠집이나 주름 등의 검사가 정확히 이루어질 수 있게 된다. 이러한 점에서, 머신비전처리부(620)는 입력된 영상에서 흠집 부위가 발견되면 해당 부위의 영상을 분할 또는 캡쳐하여 분할 또는 캡쳐한 이미지의 분석을 통해 제품불량 검사를 수행할 수 있다. 예를 들어, 흠집과 관련한 50개의 학습 샘플 데이터가 있다면 이와 대비하여 불량 여부를 판별하고, 만약 해당 불량에 포함되지 않는다 하더라도, 새로운 샘플 데이터로서 활용될 수 있도록 하기 위하여 별도의 분류 동작을 수행할 수 있다. 가령, 반도체의 경우 생산 라인의 챔버 환경은 불시에 변경될 수도 있는 것이므로 이에 대한 데이터가 없는 경우에는 별도로 분류된 데이터에서 작업자가 육안으로 확인한 후 학습 샘플 데이터로 분류해 주는 것이 바람직할 수 있다.

본 발명의 실시예에 따른 머신비전처리부(620)는 도 7에서와 같이, 머신비전데이터생성부(700), 머신비전검사부(710) 및 사용자 인터페이스부(720)의 일부 또는 전부를 포함할 수 있으며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다. 머신비전데이터생성부(700)는 분류기의 학습을 위한 학습 샘플 데이터의 저장 및 관리에 관여한다. 예를 들어, 고객 맞춤형으로 제공되는 경우, 머신비전데이터생성부(700)는 지정 제품과 관련되는 다수의 학습 샘플 데이터를 포함하는 라이브러리를 포함할 수 있다. 이에 따라 머신비전검사부(710)는 초기 동작시에 머신비전데이터생성부(700)의 데이터를 활용하여 불량검사 동작을 수행하고, 이를 통해 신규의 학습 샘플 데이터를 생성하여 별도로 분류해 관리할 수 있다. 머신비전검사부(710)는 복수의 분류기 중 데이터 학습에 의해 측정된 정확도를 근거로 선택되는 분류기가 동작할 수 있다. 가령, CNN, R-CNN, 알렉스넷 중 어느 하나의 분류기가 동작할 수 있다. 사용자 인터페이스부(720)는 도 5에서와 같은 화면 구성에 관여할 수 있다. 사용자 인터페이스부(720)는 머신비전데이터생성부(700)의 데이터를 분석하여 불량률 등을 분석해 사용자에게 제공할 수 있다.

저장부(630)는 제어부(610)의 제어하에 처리되는 다양한 종류의 데이터 및 정보를 저장하고, 제어부(610)의 요청이 있을 때 출력할 수 있다. 저장부(630)는 하드웨어적인 메모리를 의미할 수도 있다.

한편, 도 6의 제어부(610)는 본 발명의 다른 실시예로서 CPU와 메모리를 포함할 수 있으며, CPU와 메모리는 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부, 레지스트리 등을 포함하며, 메모리는 램(RAM)을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트정보의 연산동작을, 그리고 명령어해석부는 인터프리터 등과 같이 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 등의 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 도 1의 머신기반검사장치(150)는 동작 초기에 또는 필요시에 도 6의 머신비전처리부(620)에 저장되는 프로그램을 복사하여 메모리에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수도 있을 것이다.

도 8은 본 발명의 실시예에 따른 머신비전 검사장치의 구동 과정의 흐름도이다.

설명의 편의상 도 8을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 머신비전 검사장치(150)는 지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨(volume) 또는 분량의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장한다(S800). 여기서, 학습 샘플 데이터는 가령 고객사의 지정 제품에 따라 다르게 선택될 수 있다.

또한, 머신비전 검사장치(150)는 다르게 저장한 제1 볼륨의 학습 샘플 데이터 및 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 지정 제품의 비전 검사를 수행하되, 비전 검사의 결과를 근거로 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시킬 수 있다(S810).

나아가, 머신비전 검사장치(150)는 복수의 인공지능기술이 접목된 분류기 중 학습 정확도를 데이터로 산정하여 최적의 학습방법을 도출하는 분류기를 지정 제품의 분류기로 작동시키기 위한 동작을 수행할 수 있다. 예를 들어, CNN 기반의 분류기와 알렉스넷 기반의 분류기 중 학습 정확도를 근거로 하나의 분류기가 선택되어 사용될 수 있을 것이다.

이외에도 본 발명의 실시예에 따른 머신비전 검사장치(150)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 엔코더 110: 센서
120: 렌즈 125: 통신 케이블
130: 카메라 140: 조명장치
150: 머신비전 검사장치 160: 모듈형 소프트웨어
600: 통신 인터페이스부 610: 제어부
620: 머신비전처리부 630: 저장부
700: 머신비전데이터생성부 710: 머신비전검사부
720: 사용자 인터페이스부

Claims (11)

1. 지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장하는 저장부; 및
   상기 다르게 저장한 제1 볼륨의 학습 샘플 데이터 및 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 상기 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 상기 지정 제품의 비전 검사를 수행하며, 상기 비전 검사의 결과를 근거로 상기 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 제어부;를 포함하되,
   상기 제어부는,
   상기 지정 제품에 대한 복수의 인공지능 기술이 각각 적용된 복수의 분류기를 이용해 학습 정확도를 측정하고 측정 결과 정확도가 높게 측정되는 최적의 분류기를 선택하여 사용하고,
   상기 저장부는,
   기개발되어 사용된 머신비전 검사 라이브러리를 확보해 고객 맞춤형으로 상기 제1 볼륨의 학습 샘플 데이터로 저장하며,
   상기 제어부는,
   상기 복수의 검사 항목별로 상기 학습 샘플 데이터를 자동으로 분류시키는 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 제어부는, 인공지능 검사기법으로서 전처리 과정을 최소화하고 시간 변화에 따라 학습을 통해 높은 정확도를 확보하기 위한 컨볼루션신경망(CNN), R-CNN 또는 알렉스넷(AlexNet)을 사용하는 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치.
6. 지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장부에 저장하는 단계; 및
   제어부가, 상기 저장한 제1 볼륨의 학습 샘플 데이터 및 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 상기 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 상기 지정 제품의 비전 검사를 수행하며, 상기 비전 검사의 결과를 근거로 상기 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 단계;
   상기 제어부가, 상기 지정 제품에 대한 복수의 인공지능 기술이 각각 적용된 복수의 분류기를 이용해 학습 정확도를 측정하고 측정 결과 정확도가 높은 최적의 분류기를 선택하여 사용하는 단계; 및
   상기 제어부가, 상기 복수의 검사 항목별로 상기 학습 샘플 데이터를 자동으로 분류시키는 단계;를 포함하되,
   상기 저장하는 단계는,
   기개발되어 사용된 머신비전 검사 라이브러리를 확보해 고객 맞춤형으로 상기 제1 볼륨의 학습 샘플 데이터로 저장하는 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치의 구동방법.
7. 삭제
8. 삭제
9. 삭제
10. 제6항에 있어서,
    인공지능 검사기법으로서 전처리 과정을 최소화하고 시간 변화에 따라 학습을 통해 높은 정확도를 확보하기 위한 컨볼루션신경망(CNN), R-CNN 또는 알렉스넷(AlexNet)을 사용하는 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치의 구동방법.
11. 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체로서,
    상기 머신비전 검사장치의 구동방법은,
    지정 제품과 관련한 복수의 검사 항목에 대한 제1 볼륨의 학습 샘플 데이터를 인공지능 기반의 비전 검사를 위해 사용자마다 다르게 저장하는 단계;
    상기 다르게 저장한 제1 볼륨의 학습 샘플 데이터 및 생산 라인의 촬영장치에서 제공하는 촬영영상을 근거로 상기 검사 항목별로 인공지능 기반의 딥러닝을 수행하여 상기 지정 제품의 비전 검사를 수행하며, 상기 비전 검사의 결과를 근거로 상기 제1 볼륨에서 제2 볼륨으로 학습 샘플 데이터를 확장시키는 단계;
    상기 지정 제품에 대한 복수의 인공지능 기술이 각각 적용된 복수의 분류기를 이용해 학습 정확도를 측정하고 측정 결과 정확도가 높은 최적의 분류기를 선택하여 사용하는 단계; 및
    상기 복수의 검사 항목별로 상기 학습 샘플 데이터를 자동으로 분류시키는 단계;를 포함하되,
    상기 저장하는 단계는,
    기개발되어 사용된 머신비전 검사 라이브러리를 확보해 고객 맞춤형으로 상기 제1 볼륨의 학습 샘플 데이터로 저장하는 단계를 실행하는 컴퓨터 판독가능 기록매체.

Images