KR102269741B1 - 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법 - Google Patents

Abstract

본 발명은 특정 유형의 제품에 대하여 검사 환경별로 발생되는 이미지의 변화에 능동적으로 대응하여 정확성을 향상할 수 있고 보이드와 같은 불량의 검출이 효율적으로 이루어질 수 있도록 하는 엑스선 검사 수행기술에 관한 것으로서, 검사대상에 대한 기본이미지를 생성하며 최소한 일부분이 오버랩된 복수의 파트로 구성된 부분으로부터 머신러닝을 통하여 하나 이상의 파트영역을 추출하는 오버랩 패턴의 엑스선 검사 방법을 제시한다.

Description

머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법{X-RAY INSPECTION METHOD FOR OVERLAP PATTERN USING MACHINE LEARNING}

본 발명은 엑스선 검사장비의 분석 알고리즘 기술에 관한 것으로서, 보다 구체적으로는 특정 유형의 제품에 대한 검사 환경별로 발생되는 이미지의 변화에 능동적으로 대응하여 정확성을 향상할 수 있고 보이드와 같은 불량의 검출이 효율적으로 이루어질 수 있도록 하는 엑스선 검사 수행기술에 관한 것이다.

가전제품이나 컴퓨터 등과 같은 전기전자제품의 주요부품으로 내장되는 인쇄회로기판(printed circuit board, PCB)에는 예컨대, 반도체칩이나 콘덴서, 저항기 등과 같은 능동, 수동 소자들이나 전자부품이 실장된다. 이러한 인쇄회로기판은 전기전자제품 세트에 내장되는 과정에 있어서 실장된 전자부품의 납땜 상태를 검사하는 과정을 거치게 된다. 기판이나 반도체의 제조공정에 있어서 보이드(Void)가 다수 형성되고 이러한 보이드는 제조 후속공정이나 제품의 신뢰성에 있어서 문제를 야기하기 때문에 이에 대한 검사가 요청된다.

한국등록특허공보 제10-071192호는 종래기술에서 반도체 소자의 보이드를 검출하는 방법을 제시하고 있으며 도 1은 이를 설명하기 위한 개념도이다.

이를 구체적으로 살펴보면, 광원을 이용하여 테스트 패턴이 형성된 반도체 기판에 광을 조사하여 산란되는 광을 검출하고 상기 광원을 통한 광의 입사각에 따라 산란되는 광신호의 신호 대 노이즈의 비를 검토함으로써 상기 반도체 기판에 보이드가 형성되어 있는지를 판단한다. 이러한 판단 과정을 거쳐서 비파괴적으로 보이드의 발생 여하를 판단할 수 있다.

다만, 광학적 반사의 검출만으로 보이드를 검출하여 내기 때문에 육안으로 보는 경우에 비하여 진일보하였다고 볼 수 있으나 광의 제어가 쉽지 않고 산란광의 이미지화 과정에서의 노이즈나 판단 오류 가능성이 있어 산업 현장에서 보이드 검출에 약점이 많다.

인쇄회로기판의 납땜 상태를 검사하기 위하여, 최근 케이스 내부에 스테이지, 엑스레이튜브, 디텍터로 구성되어 스테이지 상의 피측정 인쇄회로기판을 엑스레이튜브에서 조사되는 엑스레이를 디텍터로 촬상하여 인쇄회로기판을 검사하는 엑스레이(X-ray) 검사장치가 사용되고 있다. 이러한 엑스레이 검사장치는 엑스선을 여러 각도에서 조사하여 검사 대상 물체에 투영하고 이를 컴퓨터로 재구성하여 디스플레이 장치를 통해 검사 대상 물체의 내부 단면의 모습을 화상으로 처리하는 장치를 말한다.

상기 엑스레이 검사장치는 최근에는 기판의 불량 유무는 물론 스마트폰이나 태블릿 피씨와 같은 조립품의 불량이나 반도체 칩 자체의 검사 등 다양한 품질관리 분야에 활용되고 있는 실정이다.

그러나, 기존의 엑스레이 검사장치는 통상 검사위치에 세팅된 인쇄회로기판등의 하방과 상방에 각각 엑스레이튜브와 엑스레이 디텍터를 고정된 상태로 설치하여 납땜상태를 검사함으로써, 납땜 검사부위에 대해 입체적인 다양한 형태의 촬상 입사각을 얻기가 어렵고 그에 따라 검사 정밀도가 저하되는 단점이 있다.

특히, 엑스선 튜브나 디텍터의 각도나 물품의 컨베이어 이송 과정에서의 배치상태, 약간의 자세 변화 등의 요소에 의하여 이미지가 달라지기 때문에 기존의 방식으로는 대응이 어렵다.

최근에는 다층구조를 가지는 인쇄회로기판은 물론 중첩되는 레이어를 가지는 부품이 많이 제조되고 있고 제품의 구조가 밀집화되고 복잡해짐에 따라 엑스레이 검사장치가 한계를 나타내고 있다.

한편, 최근 산업이 고도화되고 인터넷과 정보처리기술이 발달함에 따라 인공지능을 다양한 산업분야에 활용하려고 하는 시도들이 있다. 워런 맥컬로(Warren McCulloch)와 월터 피츠(Walter Pitts)는 수학과 임계논리라 불리는 알고리즘을 바탕으로 신경망을 위한 계산학 모델을 만들었다. 이 모델은 신경망 연구의 두 가지 다른 접근법에 대한 기초를 제공했다. 하나는 뇌의 신경학적 처리에 집중하는 것이고 다른 하나는 인공 신경망의 활용에 집중하는 것이다.

1940년 후반에 심리학자 도널드 헤비안(Donald Hebbian)은 헤비안 학습이라 불리는 신경가소성의 원리에 근거한 학습의 기본 가정을 만들었다. 헤비안 학습은 전형적인 자율학습으로 이것의 변형들은 장기강화(Long Term Potentiation)의 초기모델이 된다. 1980년대 중반 병렬 분산 처리는 연결주의(Connectionism)라는 이름으로 각광을 받았다.

인공신경망이 어느정도 뇌의 기능을 반영하는지 불분명하기 때문에 뇌신경 처리의 간단한 모델과 뇌 생물학적 구조간의 상관관계에 대해 논란 중에 있으나 인공지능에서 사용되는 신경망은 전통적으로 뇌 신경처리의 간단한 모델로 간주된다. 인공신경망은 SVM과 같은 다른 기계학습 방법들의 인기를 점차적으로 추월하고 있다. 2000년대 딥 러닝이 출현된 이후 신경집합에 대한 관심이 증가된다.

머신러닝은 대량의 데이터를 통해 컴퓨터로 하여금 스스로 학습할 수 있는 알고리즘으로 영상인식, 음성인식 등 다양한 분야에 활용되고 있다. 현재 머신러닝은 크게 지도학습, 비지도학습, 준지도학습의 세 가지로 분류되는 것이 통상이다. 지도학습에서는 예제 (x, y), x∈X, y∈Y의 집합이 주어졌을 때 가능한 함수 f:X, Y의 목록 중 예제에 제일 적합한 함수를 고르는 것을 목표로 한다. 즉, 주어진 데이터로부터 함수를 추론하는 것이다. 이 경우 비용함수는 주어진 데이터가 추론한 함수와 얼마나 어긋나느냐에 달려 있고 문제에 대한 사전 지식을 암시적으로 포함한다. 지도학습 패러다임에 해당하는 과제에는 패턴인식과 회귀분석이 있다. 지도학습은 음성인식이나 모션인식 분야에 나타나는 순차적 데이터에도 적용시킬 수 있다. 이것은 현재까지 얻어진 답의 품질에 대해 계속해서 피드백을 주는 함수의 형태로서 교수를 받는다고 생각할 수 있다.

비지도학습에서는 데이터 x가 주어졌을 때 데이터 x와 망의 출력 f에 대한 임의의 비용함수를 최소화한다. 비용함수는 수행할 과제와 선험적 가정에 따라 결정된다. 간단한 예로, 비용함수 C=E[(x-f(x))^2]가 주어져 있고 f(x)=a(상수)에 대해 비용을 최소화하면 데이터의 평균인 a값이 나올 것이다. 비지도학습 패러다임에 속하는 과제는 일반적으로 근사와 관련된 문제들이다. 클러스터링, 확률분포의 예측, 데이터 압축, 베이지언 스팸 필터링 등에 응용할 수 있다.

준지도학습에서 데이터 x는 주어지지 않고, 대신 행위자가 환경과 상호작용을 함으로써 생성된다. 시간(t) 마다 행위자는 행동(y1)을 취하고 환경에서 xt와 순간적인 비용 ct가 알려지지 않은 특정한 법칙에 따라 생성되어 관측된다. 이때 목표는 예상되는 장기적 비용을 최소화하는 특정한 행동을 고르는 정책을 찾는 것이다. 환경의 법칙과 각각의 정책에 따른 장기적 비용은 모르지만 예측할 수는 있다. 준지도학습의 패러다임에 속하는 과제에는 제어, 게임, 순차적 결정의 문제 등이 있을 것이다.

지금까지 전자기기나 기판 등의 검사는 엑스선 이미지를 통한 시각 인지로 이루어지고 있었으며 인건비에 비하여 정밀도가 낮은 경향을 가진다. 따라서, 근래에는 복잡하고 다층 구조를 가지는 소자나 기판, 제품 등의 검사시 다양한 환경에서 능동적으로 대응하여 검사를 수행할 수 있는 기술이 요청되고 있는 것이다.

이에 본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 다양한 환경에서 추출된 영상이미지들에 대한 패턴을 학습하고 검사 환경의 유연성을 가질 수 있는 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법을 제공하는 것을 목적으로 한다.

본 발명은, a) 엑스선 검사장비(50)로부터 전송된 검사대상의 이미지신호를 통해 기본이미지 처리부(210)에서 기본이미지를 생성하는 단계; b) 오버랩 검출부(221)에서 머신러닝 알고리즘(300)에 의하여 오버랩 영역이 검출되는 단계; c) 파트영역 추출부(222)에서 머신러닝 알고리즘에 의하여 중첩되는 부품에 대응되는 오버랩 영역의 변화를 학습되어 각각의 부품에 대응되는 파트영역이 클러스터링되는 단계; d) 상기 추출된 하나 이상의 파트영역에 대하여 영역 내에 존재하는 픽셀을 카운팅하는 단계; f) 유효한 것으로 판단되고 선택된 파트영역에 대해 검증부가 픽셀값을 기초로 불량을 검출하는 단계;를 포함하는 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법을 제시한다.

상기 머신러닝 알고리즘은, 중첩되는 부품에 대응되는 오버랩 영역의 검사환경에 따른 변화에 따른 모양의 변화를 학습하고 부품에 대응되는 파트영역을 클러스터링할 수 있다.

또한, 상기 f) 단계 이전에, e) 각 파트영역에 대하여 카운팅된 픽셀에 따라 유효성을 검증하는 단계를 더 포함할 수 있다.

일실시예로서, 상기 e) 단계는 선택된 파트영역에 대한 픽셀비율과 기준되는 픽셀비율을 비교하여 머신러닝 알고리즘(300)의 개입 결과의 유효성에 대한 판단을 수행할 수 있다.

또한, 상기 e) 단계에서 유효하지 않은 결과로 판단된 경우 사용자에 의하여 선택된 파트영역에 대한 픽셀을 입력부에서 입력받아 피드백부(240)에서 학습의 데이터로 사용할 수 있다.

삭제

본 발명에 따라, 검사대상의 위치의 차이, 조사각도, 제조상의 오차나 공차, 보이드의 존재, 산란 등 다양한 검사환경에 의하여 발생되는 모양의 변화에 대응하여 품질관리의 정확성을 향상할 수 있는 효과가 있다.

또한, 입체적이며 복잡한 제품의 품질 검사시 각 파트들을 이미지에서 분리 및 추출한 이후에 다양한 판단이 가능하기 때문에 불량의 검출에 대한 효율성이 비약적으로 향상되며, 머신러닝 기법을 적용함으로써 새로운 유형의 물품이나 부품에 대한 새로운 알고리즘의 개발 없이도 유연하게 대응 가능하기 때문에 경제적인 동시에 신뢰성이 향상되는 효과가 있다.

도 1은 종래기술의 반도체 소자의 보이드 검출하는 방법에 대한 개념도이다.
도 2는 본 발명의 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 시스템에 대한 구성도이다.
도 3은 본 발명의 오버랩 패턴을 가지는 검사대상에 대한 이미지의 예시이다.
도 4는 본 발명의 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 시스템에서 제어부의 실시예를 나타내는 블록도이다.
도 5는 본 발명의 개념에 따른 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법에서 보이드를 검출하는 과정을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법을 더욱 구체적으로 설명한다.

이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

도면에 대한 설명에서, 본 발명의 요지를 흐릴 수 있는 부분, 장치 및/또는 구성 등은 기술하지 않았으며, 당업자의 수준에서 이해할 수 있을 정도의 부분, 장치 및/또는 구성 또한 기술하지 아니하였다. 또한, 도면에서 동일한 도면 부호를 사용하여 지칭하는 부분은 장치 구성 또는 방법에서 동일한 구성 요소 또는 단계를 의미한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부" 또는 "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미한다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

본 발명은 기본적으로 엑스선 검사장비를 이용하여, 검사대상에 대한 기본이미지를 생성하며, 상기 기본이미지의 최소한 일부분이 오버랩된 복수의 파트로 구성된 부분으로부터 머신러닝을 통하여 하나 이상의 파트영역을 추출하는 오버랩 패턴의 엑스선 검사 방법을 제시한다.

본 발명의 설명에서 엑스선 검사장비는, 엑스선을 방출하는 엑스선 발생장치, 검사 대상 물체를 투과한 엑스선을 전기적인 신호로 변환하여 감지신호를 출력하는 디텍터, 상기 감지신호를 데이터로 하여 화상 출력을 위한 제어신호를 출력하는 제어부 및 상기 제어신호를 입력받아 시각적으로 확인할 수 있는 디스플레이 장치를 포함할 수 있으며, 기계적 학습을 위한 알고리즘 내지는 시스템장치를 포함한다.

또한, 엑스선 검사장비의 검사대상이란 제조공정 상에서 입체적으로 중첩된 영역이 존재하는 복수의 부품 내지는 소자를 가지며 불량에 대한 품질관리를 엑스선 검사장치를 통하여 수행할 수 있는 다양한 유형의 기판, 소자, 부품, 모듈, 장치 등 제한되지 않는다.

도 2는 본 발명의 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 시스템에 대한 구성도이다.

기본적으로 엑스선 검사장비(50), 이에 대하여 제어신호를 입력하고 이미지신호를 수신하여 처리하는 제어부(200), 사용자 인터페이스를 구성하는 입출력부(53) 및 상기 제어부에서 오버랩 이미지의 처리를 위한 머신러닝 알고리즘(300)을 포함하여 구성될 수 있다.

엑스선 검사장비에 구성되는 엑스선 발생장치(51), 디텍터(52)와 관련하여 공지의 구성이 적용될 수 있을 것이며, 이미지를 형성하여 출력할 수 있는 다양한 장비로 구성될 수 있을 것이므로 구체적인 설명은 생략하도록 한다.

상기 엑스선 발생장치(51)로의 전압을 제어하는 제어신호를 전송하고, 디텍터(52)로부터 이미지를 수신하여 데이터화하며 머신러닝 기법을 통하여 파트영역을 처리하는 제어부(200)가 구비되는데 이러한 제어부(200)는 소프트웨어적 구성요소로서 머신러닝 알고리즘(300)을 포함하거나, 머신러닝 알고리즘(300) 처리장치와 연결된 시스템 장치로서 구성될 수 있을 것이다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

한편, 상기 제어부(200)에서 처리결과를 사용자가 인식 가능하도록 처리하여 출력하고 소정의 피드백을 수행하여 강화하기 위하여 소정의 사용자 입력을 제어부(200)로 송출하는 입출력부(53)가 구성될 수 있고, 상기 입출력부를 구성하는 출력부로서의 디스플레이 등의 화상표시장치와, 입력부로서 키보드나 마우스 등은 물리적으로 별개의 구성으로 이루어질 수 있음은 물론이다.

도시된 실시예에서, 엑스선 검사장비(50)에 배치되는 검사대상(60)은 입체적인 형상을 가지며 투과된 엑스선 영상이 2차원적인 이미지인 기본이미지를 생성한다. 이상적으로는 동일한 제품에 대하여 상기 기본이미지가 동일한 크기나 픽셀, 비율, 모양, 그레이스케일로 이루어질 것이나 현실적으로 이러한 결과물은 엑스선 검사장비(50)를 통과하는 검사대상(60)에 따라 다르다. 엑스선 빔의 범위가 고정되어 있는 경우라 하더라도 컨베이어 등을 통하여 장비로 이송 및 반송되는 검사대상(60)의 위치의 차이, 조사각도, 제조상의 오차나 공차, 보이드(Void)의 존재, 산란빔 등 다양한 검사환경에 따라 2차원적으로 형성되는 기본이미지의 모양과 그레이스케일값, 픽셀의 수 등에 있어서 차이를 가진다. 이는 입체적으로 배치되는 각 부품의 형상과 높이방향의 위치에 빔의 방향성에 기인한 것으로서 검사되는 시간이나 대상에 따라 기본이미지가 변화되기 때문에 이러한 변형을 어떻게 처리를 할 것인지가 품질관리에 있어서 관건이다.

도 3는 본 발명의 오버랩 패턴을 가지는 검사대상에 대한 이미지의 예시이다.

도시된 이미지는 소정의 부품 및 칩을 포함하는 경우이며, 최소한 두 개 이상의 부품에 대한 오버랩 영역이 존재한다. 본 발명의 설명에서는 부품 내지는 파트는 각종 소자, 부속품, 모듈 내 결합되는 소정의 장치, 기판 등 제조시 상호 소정의 위치를 가지고 배치 및 결합되는 다양한 구성을 포함하는 것으로 이해된다.

전체적으로 기본이미지(100)는 디텍터(52)로부터 생성되어 제어부(200)로 입력된 초기 이미지를 의미하며, 중첩된 영역을 가지는 부품에 대한 이미지들을 제1파트(121)와 제2파트(122)로 정한다.

도 2를 참고하면 검사의 시간이나 대상에 따른 기본이미지(100)의 변화는 특히 상하로 중첩되는 부품에 있어서 더욱 심화되기 때문에 입체적으로 오버랩되는 영역에 있어서 특정한 부품의 테두리를 규정하고 그 범위에서 불량을 발견해내는 것은 현실적으로 상당히 어려운 과제이다.

본 발명에서는 변화되는 기본이미지들을 가지고 머신러닝 알고리즘을 통해 소정의 공통점을 발굴하여 파트영역을 추출하고 불량을 판정해낼 수 있는 방안을 제시한다.

도 4는 본 발명의 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 시스템에서 제어부의 실시예를 나타내는 블록도이다.

기본이미지 처리부(210)는 엑스선 검사장비(50)로부터 검사되어 출력된 이미지신호로부터 기본이미지(100)를 생성하여 데이터로 처리할 수 있도록 한다.

파트영역 추출부(222)는 소정의 파트의 영역 테두리 이내의 범위를 구별하여 한정하여 추출하도록 기능하며, 도 3을 참고하면 칩(110) 부분과 같이 픽셀이 확연하게 구별될 수 있는 영역의 경우는 기본이미지(100) 상의 변화가 크지 않을 것이다. 다만, 제1파트(121)와 제2파트(122)와 같이 오버랩된 영역에 있어서는 육안으로의 식별도 한계가 있고 지도학습 알고리즘에 의하여서도 해소가 어려울 것이다.

따라서, 파트영역 추출부(222)의 작동을 위하여 머신러닝 알고리즘(300), 특히 기본적으로 비지도학습이 적용될 수 있을 것이며 추출된 전체적인 싱호의 특징을 토대로 파트의 특징들을 분류할 수 있을 것이다.

이러한 파트영역 추출부(222)의 작동 전에 오버랩 검출부(221)가 기능하여 오버랩 영역의 유무와 확실성 및 그 범위를 규정하는 기능을 수행하고 상기 오버랩 영역이 어느 파트에 속하고 있는지를 머신러닝 알고리즘(300)이 클러스터링(Clustering)할 수 있다. 여기서 클러스터링이란 유사성 등의 개념에 기초하여 데이터를 몇몇의 그룹으로 분류하는 수법을 의미한다. 즉, 파트영역의 추출이나 오버랩 검출을 각 파트 그룹을 유사성을 기반으로 유형별로 분류하는 것을 의미한다. 비지도 학습 기반의 클러스터링의 방식은 다양할 수 있다. 예시적으로, 본 실시예의 클러스터링의 알고리즘은 KNN(K-Nearest Neighbor), K-Means, Kohenen, VQ(learning vector quantization), C-Means 및 t-SNE(tDistributed Stochastic Neighbor Embedding) 중 적어도 하나를 포함할 수 있다. 단, 본 발명이 머신러닝 기법은 설명된 예에 제한되는 것은 아니며, 엑스선 검사 이미지의 처리에 있어서 본 발명의 개념이 적용된다는 공지의 다양한 신경망계층 내지 머신러닝 기법이 적용될 수 있을 것이다.

이러한 파트영역 추출부(222)와 오버랩 검출부(221)의 작동 전에 소정의 노이즈의 제거 등의 단계가 추가될 수도 있을 것인데, CT이미지 등에서 노이즈 처리를 위한 공지의 요소가 적용될 수 있을 것이므로 이에 대한 설명은 생략한다.

상기와 같이 오버랩이미지의 검출과 파트영역의 추출이 완료되면 해당 파트에 대한 픽셀 카운팅이 수행될 수 있으며, 이렇게 카운팅된 픽셀 값의 비율 내지는 값 자체가 머신러닝 알고리즘(300)의 학습에서 각 파트 이미지에 대한 검증요소로 기능할 수 있을 것이다. 검증부(232)는 이렇게 카운팅된 각 파트영역에 대한 픽셀값을 기초로 판단의 유효성과 불량 유무 등에 대한 판정을 수행할 수 있으며, 이에 대한 실시예는 후술한다.

상기와 같이 각 파트영역의 추출과 픽셀 카운팅이 완료되면 공통 군집들에서 소정의 차이를 가지는 경우를 분류할 수 있고, 이를 오차나 불량으로 이해할 수 있을 것이다. 경우에 따라, 상기 머신러닝 알고리즘(300)은 어느 하나 분류된 파트영역 내에서 추가적인 파트를 추출해낼 수도 있으며, 상기 추가적인 파트영역은 예를 들어 보이드에 대한 이미지일 수 있다.

상기와 같이 검증부(232)의 검증에서 분류되어 표시된 검사대상(60)에 대해서는 사용자의 소정의 입력을 수신하여 학습을 강화하는데 사용할 수 있으며, 바람직한 실시예로서 상기 입출력부(53)에 기본이미지 또는 파트영역이 디스플레이된 상태에서 사용자가 직접 영역에 픽셀을 지정하도록 피드백부(240)가 기능할 수 있다.

도 5는 본 발명의 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법에 대한 순서도이다.

엑스선 검사장비(50)에 의하여 생산되어 기본이미지 처리부(210)에서 데이터화하는 과정으로서 기본이미지 생성단계(S110)로부터 개시되며, 오버랩 검출부(221)에서 기본 이미지로부터 오버랩 부분이 검출되는 오버랩 이미지 검출 단계(S210)가 진행된다.

상기 오버랩 영역은 예를 들어 제1파트(121)와 제2파트(122)의 중첩 영역으로 볼 수 있고, 이러한 오버랩 영역과 교차부분이 존재하지 않은 순수한 제1파트(121) 및 제2파트(122)의 영역의 그레이스케일 값의 차이가 있으므로 머신러닝 알고리즘(300)으로부터 상기 상기 오버랩 영역의 여하 및 영역이 분류될 수 있다. 이에, 상기 오버랩 이미지 검출 단계(S210)에서 머신러닝 알고리즘 작동 단계(S420)가 개입된다.

또한, 상기와 같이 오버랩 이미지가 분류되고 난 이후에 파트 영역에 대한 추출이 루어지며(S220), 상기 파트 영역은 각 구별된 영역에서 부품들의 범위를 의미하는 파트영역의 한계 및 픽셀들을 규정짓는다. 상기 오버랩 이미지 검출 단계(S210)와 함께 상기 머신러닝 알고리즘 작동 단계(S420)가 개입된다.

이렇게 분류되어 한정된 하나 이상의 파트영역에 대하여 픽셀 카운팅부(231)에서 해당 범위 내의 픽셀을 카운팅(S230)하게 되며, 이러한 카운팅 값을 바탕으로 검증이 수행된다.

상기 검증(S310)은 기본적으로 특정 파트영역에 대한 픽셀 비율의 평균값 또는 설정 내지 기준값(C_S)과 카운팅된 픽셀비율의 값(C_M)이 비교되는 방식으로 이루어질 수 있다. 상기 검증은 머신러닝 알고리즘(300)의 개입 결과의 유효성에 대한 판단을 포함할 수 있다.

예를 들어, 유효하지 않은 픽셀비율(또는 값)이 결과로 도출되는 경우 검증부(232)는 이를 비유효성으로 분류하여 입출력부(53)에 표시하며, 사용자가 이를 픽셀로서 직접 입력하고 이를 카운팅하여 피드백부(240)에서 학습강화를 위한 데이터로 사용하는 피드백 단계(S410)가 수행될 수 있을 것이다.

또한, 상기 유효한 것으로 판단된 경우 불량의 검출 단계(S320)가 수행될 수 있고, 상기 불량의 검출을 위하여 마검증부(232) 또는 추가적인 불량 판단요소가 작용할 수 있을 것이다.

예를 들어, 파트영역 내 보이드의 존재 판단을 하는 경우 이 범위에 한정하여 추가적인 파트영역 추출부(222)의 작동이 수행될 수도 있을 것이며, 해당 범위 내에서 그레이스케일 값의 분류와 영역 설정 방식으로 불량의 영역이 판단될 수 있다.

상기 검증 결과 및 불량 판단 결과는 출력 및 보고 단계(S33)에서 사용자 인터페이스로 출력될 수 있을 것이며, 여기서 육안으로 판단된 추가적인 수정 데이터가 피드백부(240)에 의하여 학습강화에 이용될 수 있을 것이다. 이러한 경우 본 발명의 머신러닝 알고리즘(300)은 준지도학습(Semi-Supervised Learning) 기법을 사용하는 알고리즘으로 이해될 수도 있다.

도 6은 본 발명의 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법에서 보이드를 검출하는 실시예를 설명하기 위한 도면이다.

도 6의 (a)에서는 실제 검사대상(60)에 대한 이상적인 파트영역을 가상화한 것이다. 이러한 경우 이상적인 파트영역(121a)에서 보이드(123a)가 존재하고, 솔더링 부분에 비하여 보이드의 그레이스케일이 다르므로 육안은 물론 알고리즘에 의하여서도 영역의 추출이 가능할 것이다.

도 6의 (b)는 검사대상의 특정 시점 및 환경에서 개체제1파트(121b)에 대한 영역을 도시한 것이다. 이 경우 이상적인 파트영역(121a)에 비하여 개별화영역(130)의 차이가 존재하고 상기 개별화영역(130)에 의한 픽셀 수는 이상적인 영역에 비하여 양의 값일 수도 있고 음의 값일 수도 있다. 상기의 차이는 검증부(232)에 의하여 소정의 설정값과 대비하고 유효성이 판단될 수 있을 것이다.

또한, 개체보이드파트(123b)는 추출된 영역에서 다른 픽셀로 분류된 범위이며 이러한 영역의 판단에 의하여 불량에 대한 판단이 이루어질 수 있을 것이다. 이러한 개체제1파트(121b)에 대해서 파트영역 추출부(222)가 추가로 작동될 수도 있음은 상기한 바와 같다.

다만, 상기 불량의 판단은 다양한 환경에서 다양한 방식으로 이루어질 것이며, 본 발명의 기본적인 오버랩 이미지에 대한 검출 및 파트영역 추출이 선행된다면 본 발명의 개념에 포함될 것이다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상술된 본 발명에 의하여 검사대상의 위치의 차이, 조사각도, 제조상의 오차나 공차, 보이드의 존재, 산란빔 등 다양한 검사환경에 의하여 발생되는 모양의 변화에 대응하여 품질관리의 정확성을 향상할 수 있는 이점이 있다.

또한, 입체적이며 복잡한 제품의 품질 검사시 각 파트들을 이미지에서 분리 및 추출한 이후에 다양한 판단이 가능하기 때문에 불량의 검출에 대한 효율성이 비약적으로 향상된다.

또한, 머신러닝 기법을 적용함으로써 새로운 유형의 물품이나 부품에 대한 새로운 알고리즘의 개발 없이도 유연하게 대응 가능하기 때문에 경제적인 동시에 신뢰성이 향상되는 효과가 있다.

이상에서, 본 발명은 실시예 및 첨부도면에 기초하여 상세히 설명되었다. 그러나, 이상의 실시예들 및 도면에 의해 본 발명의 범위가 제한되지는 않으며, 본 발명의 범위는 후술한 특허청구범위에 기재된 내용에 의해서만 제한될 것이다.

50...엑스선 검사장비 53...입출력부
60...검사대상 100...기본이미지
110...칩 121...제1파트
121b...개체제1파트 122...제2파트
123a...보이드 123b...개체보이드파트
130...개별화영역 200...제어부
210...기본이미지 처리부 221...오버랩 검출부
222...파트영역 추출부 231...픽셀 카운팅부
232...검증부 240...피드백부
300...머신러닝 알고리즘

Claims (5)

1. a) 엑스선 검사장비(50)로부터 전송된 검사대상의 이미지신호를 통해 기본이미지 처리부(210)에서 기본이미지를 생성하는 단계;
   b) 오버랩 검출부(221)에서 머신러닝 알고리즘(300)에 의하여 오버랩 영역이 검출되는 단계;
   c) 파트영역 추출부(222)에서 머신러닝 알고리즘에 의하여 중첩되는 부품에 대응되는 오버랩 영역의 변화를 학습되어 각각의 부품에 대응되는 파트영역이 클러스터링되는 단계;
   d) 상기 추출된 하나 이상의 파트영역에 대하여 영역 내에 존재하는 픽셀을 카운팅하는 단계;
   f) 선택된 파트영역에 대해 검증부가 픽셀값을 기초로 불량을 검출하는 단계;를 포함하는 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법.
   
2. 제1항에 있어서,
   상기 f) 단계 이전에,
   e) 각 파트영역에 대하여 카운팅된 픽셀에 따라 유효성을 검증하는 단계;를 더 포함하는 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법.
   
3. 제2항에 있어서,
   상기 e) 단계는,
   선택된 파트영역에 대한 픽셀비율과 기준되는 픽셀비율을 비교하여 머신러닝 알고리즘(300)의 개입 결과의 유효성에 대한 판단을 수행하는 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법.
   
4. 제2항에 있어서,
   상기 e) 단계에서 비유효성으로 분류된 경우 사용자에 의하여 선택된 파트영역에 대한 픽셀을 입력부에서 입력받아 피드백부(240)에서 학습강화를 위한 데이터로 사용하도록 하는 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법.
5. 삭제

Images