KR20230081910A - 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템 - Google Patents

Abstract

본 명세서에서는 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템이 제공된다. 상기 인공 지능 기반 대상체에 대한 앙상블 비파괴 검사를 수행하는 전자 장치는, 상기 대상체의 이미지 데이터를 입력받는 입력부; 상기 입력받은 대상체의 이미지 데이터로부터 결함 여부를 검사하는 검사부; 및 결함 여부 검사 결과를 출력하는 출력부를 포함하되, 상기 검사부는, 상기 대상체의 이미지 데이터로부터 앙상블을 구현하여 결함 여부 검사를 수행하는 적어도 하나의 처리부와, 상기 적어도 하나의 처리부의 결함 여부 검사 결과를 통합 처리하는 적어도 하나의 통합부를 포함한다.

Description

인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR ENSEMBLE NON-CONSTRUCTING INSPECTION OF OBJECT BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 대상체에 대한 비파괴 검사에 관한 것으로, 보다 자세하게는 상기 대상체의 이미지에 대하여 인공 지능 기반 앙상블 비파괴 검사 시스템을 통하여 결함 검출 여부를 검사하여 제공하는 방법, 장치 및 시스템에 관한 것이다.

제품의 불량은 공급망 서비스의 저하, 자동화 설비의 손실 등을 발생시킬수 있다. 그러므로 제품의 불량을 제대로 검출하는 것이 매우 중요하다.

관련하여, 방사선 특히, 엑스레이(X-ray)를 활용하여 대상체(object)를 파괴하지 않는 즉, 비파괴 검사가 품질 검사에 활용되고 있는데, 종래 방사선 비파괴 검사는 단일 기술을 적용하여 대상체에 대한 엑스레이 영상 내 불량 여부를 검출하였다. 이 때, 상기 불량 여부 검출을 위한 단일 기술로는 SVM(Support Vector Machines)을 활용한 패턴 인식, 패턴 매칭(pattern matching)을 통한 범프(bump) 검출, 세그멘테이션(segmentation) 기반 범프 검출이 대표적인 예이다. 그러나 이러한 종래 검사 방식은 불량 검출 성능의 한계가 있어, 상기 엑스레이 영상으로부터 모든 불량을 검출하지 못하는 즉, 미검출되는 불량이 있는 문제점이 있었다. 이러한 문제점을 해소하고자, 단일 기술을 단계적으로 적용하는 방식이 제시되었으나, 그럼에도 불구하고 여전히 불량 검출에 기반한 검사 성능의 한계가 있어 문제가 있었다.

대한민국 등록특허공보 제10-2249836호 (2021.05.03)

본 발명이 해결하고자 하는 과제는 방사선 조사를 통해 획득된 대상체의 이미지로부터 결함 미검출을 최소화하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공 지능 기반 대상체에 대한 앙상블 비파괴 검사를 수행하는 전자 장치는, 상기 대상체의 이미지 데이터를 입력받는 입력부; 상기 입력받은 대상체의 이미지 데이터로부터 결함 여부를 검사하는 검사부; 및 결함 여부 검사 결과를 출력하는 출력부를 포함하되, 상기 검사부는, 상기 대상체의 이미지 데이터로부터 앙상블을 구현하여 결함 여부 검사를 수행하는 적어도 하나의 처리부와, 상기 적어도 하나의 처리부의 결함 여부 검사 결과를 통합 처리하는 적어도 하나의 통합부를 포함한다.

본 발명의 일 면에 따른 인공 지능 기반 전자 장치가 수행하는 대상체 앙상블 비파괴 검사 방법은, 상기 대상체의 이미지 데이터를 수신하는 단계; 상기 수신한 대상체의 이미지 데이터를 적어도 하나의 전처리 모듈에서 전처리하는 단계; 복수의 검사 모듈에서 미리 정의된 결함 검사 방식을 이용하여 상기 전처리 된 대상체의 이미지 데이터로부터 결함 부분을 검사하는 단계; 상기 각 검사 모듈에서 검사된 대상체에 대한 결함 부분 검사 결과 데이터를 통합하는 단계; 및 상기 통합된 결함 부분 검사 결과 데이터를 출력하는 단계를 포함한다.

본 발명의 일면에 따른 인공 지능 기반 대상체 앙상블 비파괴 검사 시스템은, 방사선을 조사하여 대상체에 대한 이미지 데이터를 획득하는 영상 획득 장치; 및 전자 장치를 포함하되, 상기 전자 장치는, 상기 영상 획득 장치로부터 대상체의 이미지 데이터를 수신하여 입력받는 입력부; 상기 입력받은 대상체의 이미지 데이터로부터 결함 여부를 검사하는 검사부; 및 결함 여부 검사 결과를 출력하는 출력부를 포함하되, 상기 검사부는, 상기 대상체의 이미지 데이터로부터 앙상블을 구현하여 결함 여부 검사를 수행하는 적어도 하나의 처리부와, 상기 적어도 하나의 처리부의 결함 여부 검사 결과를 통합 처리하는 적어도 하나의 통합부를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 다음과 같은 효과들을 가질 수 있다.

본 발명에 따르면, 방사선 조사를 통해 획득된 대상체의 이미지로부터 결함 미검출을 최소화하는 방법을 제공할 수 있다.

또한, 본 발명에 따르면, 대상체에 대한 비파괴 검사시 결함 미검출을 최소화하여 비파괴 검사에 대한 신뢰성을 높일 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 은 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 방법을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 구성 블록도이다.
도 5 내지 도 7은 본 발명에 따른 앙상블 검사 시스템을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 다른 일 실시 예에 따른 전자 장치의 구성 블록도이다.
도 9는 본 발명의 또 다른 일 실시 예에 따른 전자 장치의 구성 블록도이다.
도 10은 본 발명의 일 실시 예에 따른 검사 모듈의 구성 방식을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 '이미지 또는 이미지 데이터(image data)'는 방사선을 이용하는 튜브(Tube), 디텍터(Detector) 등을 통해 얻어진 정지 영상(still image)이나 동영상(video) 데이터를 의미한다. 일 실시 예로, 상기 이미지는 X-ray 튜브나 X-ray 디텍터를 통해 대상체(object)에 대한 X-ray 이미지일 수 있다. 이 때, 상기 X-ray 이미지는 예를 들어, 2D(Dimensional) 이미지와 연속적인 2D 이미지 집합(image aggregation)으로부터 재구성(reconstruction)된 CT(Computed Tomography) 이미지, 재구성된 CT 볼륨(volume) 데이터의 단면(slice) 이미지를 포함할 수 있다.

본 명세서에서 '결함'은 본 발명에 따른 검사의 대상이 되는 대상체에 대한 비파괴 검사시, 상기 대상체에 대하여 정상(normal)으로 정의된 또는 정의될 수 있는 부분이 아닌 부분을 나타내는 것으로, 이는 불량 또는 오류 등 다양한 명칭으로 표현할 수도 있다. 실시 예에 따라, 본 발명은 그러한 표현에 한정되지 않고, 통상적인 의미에서의 결함과 동일 또는 유사한 의미도 포함할 수 있다.

도 1 은 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 시스템을 도시한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사를 수행하는 시스템은, 전자 장치(100)와 영상 획득 장치(150)를 포함하여 구성될 수 있다. 이 때, 도 1에 도시된 전자 장치(100)와 영상 획득 장치(150)의 구성은 일 실시 예로서, 이에 한정되지 않으며, 본 발명에 따른 동작 수행과 관련하여, 하나 또는 그 이상의 구성요소가 추가되어 구성될 수도 있고, 그 반대일 수도 있다.

전자 장치(100)는 메모리(memory)와 프로세서(processor)를 포함하여 구성될 수 있으며, 이 때 상기 메모리는 데이터베이스(120)에 대응되거나 그를 포함할 수 있고, 상기 프로세서는 제어부(110)와 AI 엔진(130) 중 적어도 하나를 포함할 수 있다. 이 때, AI 엔진(130)은 딥러닝 네트워크를 포함하나, 이에 한정되는 것은 아니다.

상기 전자 장치(100)는, 상기 영상 획득 장치(150)와 네트워크를 통해 연결되어 대상체에 대한 엑스레이 이미지를 수신할 수 있다.

영상 획득 장치(150)는 디텍터(160), 엑스레이 튜브(170) 및 광원(lighting source)(미도시)를 포함하여 구성될 수 있으며, 상기 디텍터(160)는 2D 디텍터와 3D 디텍터 중 적어도 하나일 수 있다. 상기에서, 디텍터(160) 및 엑스레이 튜브(170)는 각각 대상체에 대한 엑스레이 영상 획득 장치로, 이는 기존의 공지된 구성으로 이루어질 수 있다. 이외에도,　영상 획득 장치(150)는 이동 대상체의 움직임(motion)을 촬영할 수 있는 장치 및　CT　디텍터(미도시)를　추가로 구비할 수도 있다. 광원은 투과성 광원인 테라헤르츠(terahertz)를 포함하나, 이에 한정되는 것은 아니다.

전자 장치(100)의 일 구성요소로서, 제어부(110)는 전자 장치(100)에서 수행되는 동작을 제어할 수 있으며, 데이터베이스(120)는 영상 획득 장치(150)로부터 수신되는 대상체의 이미지, 상기 대상체 이미지에 대한 결함 검출을 위한 학습 데이터셋(learning dataset), 상기 학습 데이터셋 기반 생성된 학습 모델(learning model) 등 전자 장치(100)에 의해 수신, 처리 등이 이루어지는 데이터를 저장할 수 있다.

제어부(110)는 앙상블(Ensemble)을 위한 딥러닝(deep-learning)을 포함하여 다양한 기계학습 모델(Machine-learning model)의 알고리즘 및 관련 애플리케이션을 수행하는 연산 능력이 있는 하드웨어 유닛(hardware unit)을 포함할 수 있다.　예를 들어,　제어부(110)는 중앙 처리 장치(Central Processing Unit),　마이크로 프로세서(microprocessor)　및 그래픽 프로세서(Graphic Processing Unit)　중 적어도 하나를 포함할 수 있다.　또한,　제어부(110)는 기계 학습 모델 알고리즘 또는 애플리케이션을 저장하는 메모리(미도시)를 더 포함할 수 있다.

전자 장치(100)는 결함 검사를 위하여 대상체에 대한 이미지 데이터를 학습시켜서, AI 엔진(130)에 입력하여 (고화질 또는 개선된) 대상체 이미지 데이터를 획득할 수 있다. 이 때, AI 엔진(130)을 통해 획득된 이미지는 반드시 일반적인 의미에서 영상 획득 장치(150)로부터 입력된 대상체 이미지 데이터보다 전체적으로 고화질이거나 개선된 이미지 데이터뿐만 아니라 인공 지능 기반으로 대상체에 대한 비파괴 검사시 결함 검사의 관점에서 전부 또는 일부 개선된 또는 새로운 이미지 데이터를 나타낼 수 있다.

일 실시 예에 따라, 전자 장치(100)는 상기 학습 전 대상체에 대한 이미지 데이터에 대한 검사 결과와 상기 AI 엔진(130)을 통해 획득한 대상체에 대한 이미지 데이터에 대한 검사 결과를 비교하여 새로운 학습 모델을 추가 정의할 수도 있다. 전자 장치(100)는 이렇게 추가된 학습 모델에 기반하여 입력되는 대상체의 이미지로부터 AI 엔진(130)의 이용 여부 즉, 입력된 대상체의 이미지 데이터가 아닌 상기 AI 엔진(130)을 통해 획득한 대상체의 이미지 데이터를 결함 여부 검사에 이용할 지 여부를 결정하고, 그에 따른 동작을 수행할 수도 있다.

따라서, 본 발명과 관련하여 전자 장치(100)로 입력되는 대상체의 엑스레이 이미지는 검사 장비 예를 들어, 반도체 불량 검출, PCB 기판 불량 검출, 식품 및 제약 분야의 이물질 검출 등의 다양한 분야의 검사에 활용될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 방법을 설명하기 위해 도시한 도면이다. 도 4는 본 발명의 일 실시 예에 따른 전자 장치(100)의 구성 블록도이다.

도 2의 동작들은 도 1의 전자 장치(100)를 통해 수행될 수 있다. 여기서, 도 2는 특히, 도 4에 도시된 전자 장치(100)의 구성을 참조하여 설명한다.

이하 도 2의 동작들을 도 3과 도 4를 참조하여 설명한다.

도 4를 참조하면, 전자 장치(100)는 입력부(210), 앙상블 검사 시스템부(검사부) 및 출력부(240)를 포함하여 구성될 수 있다. 이 때, 상기 앙상블 검사 시스템부는 앙상블을 구현하는 적어도 하나의 처리부(Processing part)(220)와 적어도 하나의 통합부(Integrator)(230)를 포함하여 구성될 수 있다. 상기 앙상블은 룰 베이스(Rule base)와 딥러닝을 조합하여 생성할 수 있으며, 각각은 특정 특징을 입력하여 해당 특징을 기초로 결함을 검출하는 룰 베이스 학습 모델과 이미지 데이터를 기초로 학습한 딥러닝 모델에 기초한다. 여기서, 상기 처리부(220)는 적어도 하나의 전처리 모듈(image preprocessing module)과 복수의 검사 모듈(inspecting module)을 포함하여 구성될 수 있다. 상기 통합부(230)는 유저 파라미터들(User parameters)를 입력받아 처리부(220)에서 처리된 데이터의 통합에 참조할 수 있다. 상기 앙상블 검사 시스템부 구성의 다양한 실시예는 후술한다. 상기에서, 유저 파라미터들은 상기 룰 베이스 및 딥러닝에서 이용되는 파라미터를 나타낼 수 있다.

동작 11에서, 입력부(210)는 영상 획득 장치(150)로부터 방사선 조사를 통해 획득된 도 3의 (a)에 도시된 바와 같은 대상체의 이미지 데이터를 수신한다.

이 때, 도 3의 (a)에 도시된 입력되는 대상체의 이미지 데이터는, 상기 영상 획득 장치(150)로부터 수신된 로 데이터(raw data)이거나 전술한 바와 같이, AI 엔진(130)을 통하여 후술하는 동작 12에서의 처리에 적합하도록 적어도 일부에 대해 가공 처리된 이미지 데이터일 수 있다.

일 실시 예에서, 수신한 대상체의 이미지 데이터 즉, 로 데이터가 동작 12에서 전자 장치(100)에서 바로 전처리 동작 수행 여부를 미리 판단할 수 있다. 만약 로 데이터에 오류가 있는 경우에는 후술되는 이후의 동작은 제대로 된 결과 예를 들어, 도 3의 (d)와 같은 그라운드 트루쓰(Ground Truth)에 해당하는 결과를 얻기 어려울 뿐만 아니라 설령 유사한 결과를 얻는다고 하더라도 그것을 신뢰할 수 없기 때문이다. 따라서, 로 데이터에 오류 등 문제가 있는 경우에는, 전술한 바와 같이 AI 엔진(130) 등을 통하여 그러한 문제가 해소된 이미지 데이터를 획득하든지 아니면 대상체의 이미지 데이터를 영상 획득 장치(150)에 재요청하여 새로운 로 데이터를 획득하는 것이 바람직하며, 그 판단은 전자 장치(100)에 미리 설정된 기준에 근거하여 판단할 수 있다. 한편, 재획득된 새로운 로 데이터에 대해서도 전술한 과정을 수행할 수 있다.

앙상블 검사 시스템부에서는, 입력되는 대상체의 이미지 데이터에 대하여 다음과 같은 동작을 통해 결함 부분 존재 여부에 대해 검사를 수행한다. 이 때, 상기 수행되는 검사에서는 도 3의 (b)와 같이, N(여기서, N은 양의 정수)개의 검사 기술이 적용될 수 있다. 상기 N은 전자 장치(100)에 미리 설정되거나 임의 조정 가능하다. 한편, 도 3의 (b)에 도시된 바와 같이, 각 검사 기술에 의해 대상체의 이미지 데이터 내 전체에서 결함 부분 존재 여부가 판단되는 부분은 동일 또는 상이할 수 있다. 다시 말해, 도 3의 (b)를 참조하면, 입력되는 대상체의 이미지 데이터로부터 검사 기술 1에 의해 결함 부분 존재 여부가 판단되는 부분과 검사 기술 N에 의해 결함 부분 존재 여부가 판단되는 부분은 상이할 수도 있고, 그렇지 않을 수도 있다. 다만, 이 경우, N개의 검사 기술은 대상체의 이미지 데이터 내 모든 검사 대상 부분에 대하여 적어도 1회 이상 결함 부분 존재 여부 판단이 되도록 구성되어야 하고, 상기 N개의 검사 기술에 의한 결함 부분 존재 여부 판단 결과는 통합부(230)에서 도 3의 (c)와 같이 통합 처리한다. 이 때, 일 실시 예에 따르면, 결함 부분 존재 여부는 각 검사 모듈의 투표(voting)로 결정될 수 있다.

처리부(220) 내 적어도 하나의 전처리 모듈은, 동작 12에서, 상기 수신한 대상체의 이미지 데이터를 에서 전처리한다.

처리부(220) 내 복수의 검사 모듈은, 동작 13에서, 미리 정의된 결함 검사 방식을 이용하여 상기 전처리 된 대상체의 이미지 데이터로부터 결함 부분을 검사한다.

통합부(230)는, 동작 14에서, 처리부(220) 내 각 검사 모듈로부터 대상체에 대한 결함 부분 검사 결과 데이터를 수신하여 통합 처리한다.

출력부(240)는, 동작 15에서, 상기 통합 처리된 예를 들어, 도 3의 (c)에 도시된 바와 같은 통합 처리된 결함 부분 검사 결과 데이터를 출력한다.

이 때, 상기 출력부(240)는 도 3의 (a)에 도시된 대상체의 입력 이미지 데이터에 도 3의 (c)와 같이 결함 검출 검사 결과 데이터가 함께 출력되도록 제어할 수 있다. 일 실시 예에서, 출력부(240)는 대상체의 이미지 데이터로부터 판단된 결함 부분 검출 결과 데이터만을 출력하도록 제어할 수도 있다. 이 때, 상기 출력 제어되는 결함 부분 검출 결과 데이터는 다향한 포맷 예를 들어, 텍스트, 오디오, 그래프 등 이미지 등 중 어느 하나 또는 그 조합으로 구성되어 제공될 수 있다. 상기에서, 대상체의 이미지 데이터가 2D 이미지 데이터이고 결함 부분 검출 결과 데이터를 텍스트로 구현하는 경우에는 예를 들어, X-Y 좌표를 통해 결함 부분의 위치를 표시하거나 결함 부분 존재 여부만을 표시할 수도 있다.

한편, 출력부(240)는 동작 15에서 결함 부분 검사 결과 데이터를 제공할 때, 도 3의 (c)와 같은 이미지와 함께 결함 부분에 대한 상세 정보를 제공할 수도 있다. 예컨대, 상기 상세 정보에는 검출된 결함 부분의 위치, 결함 부분의 표시(결함이 아닌 부분과 구분되는 컬러, 플리커링(flickering) 등을 이용), 결함 부분의 종류(어떤 종류 내지 타입의 결함인지 등), 결함 부분의 개수 등 중 적어도 하나가 포함될 수 있다. 이것은 예를 들어, 앙상블 검사 시스템의 구성, 성능 등에 의해 결정될 수 있다.

상술한 입력 데이터의 처리 과정에서 이용되는 전처리 및 검사 기술은, 사용하는 특징(feature) 및 처리 기술(algorithm)에 따라 그 성능의 차이가 존재할 수 있다. 관련하여, 전술한 바와 같이, 본 발명에서는 그러한 성능의 차이로부터 발생 가능한 미검출 오류를 미연에 방지하고자 처리 데이터를 통합하여, 결함 부분 검출의 정확도를 획기적으로 개선하여, 결함 부분 미검출로 인해 발생 가능한 문제를 최소화할 수 있게 된다.

한편, 본 발명과 관련하여, 앙상블 검사 시스템은 앙상블을 위한 인공 지능 특히, 딥러닝 기술을 이용하는데, 이 때 상기 딥러닝 기술에는 XavisDet, Faster RCNN, Mask RCNN, YOLO와 같은 2D 디텍션 기술, XavisSeg, Mask RCNN과 같은 2D 세그멘테이션 기술 등을 이용하여 결함 부분 검출 동작을 수행할 수 있다. 다만, 본 발명은 전술한 딥러닝 기술에 한정되는 것은 아니다.

다음으로, 도 5 내지 7을 참조하여, 앙상블 검사 시스템 특히, 처리부(220)를 구성 방법에 관해 기술한다.

도 5 내지 도 7은 본 발명에 따른 앙상블 검사 시스템을 설명하기 위해 도시한 도면이다.

도 5를 참조하면, 처리부(220)는 복수의 처리 모듈(process #1 내지 process #M, 여기서 M은 양의 정수)을 포함하여 구성될 수 있다.

각 처리 모듈은 1개의 전처리 모듈과 1개의 검사 모듈로 구성될 수 있다. 이 때, 상기 각 처리 모듈을 구성하는 각 전처리 모듈은 서로 다른 방식의 전처리 동작을 수행할 수 있다.

한편, 상기에서, 각 처리 모듈을 구성하는 각 검사 모듈은 해당 전처리 모듈에 따라 또는 그와 무관하게 서로 다른 검사 방식을 채용하거나 그렇지 않을 수 있다. 상기 검사 모듈과 관련된 별도의 설명은 후술하는 도 10을 참조하고, 여기서는 도 5 내지 7에서는 처리부(220) 내 전처리 부분에 관해서만 기술한다.

도 5에 도시된 바와 달리, 도 6을 참조하면, 처리부(220)는 하나의 전처리 모듈과 복수의 검사 모듈을 포함하여 구성된다. 즉, 입력부(210)로부터 입력되는 이미지 데이터는 동일 전처리 모듈을 거쳐 복수 개의 검사 모듈 각각에 동시 또는 이시에 입력될 수 있다.

한편, 도 7을 참조하면, 처리부(220)는 적어도 둘 이상의 전처리 모듈과 복수의 검사 모듈을 포함하여 구성된다. 이 때, 상기 적어도 둘 이상의 전처리 모듈 중 어느 하나의 전처리 모듈은 복수의 검사 모듈 중 적어도 둘 이상의 검사 모듈과 매칭되어 해당 각 검사 모듈에 동일하게 전처리된 이미지 데이터를 입력할 수 있다. 즉, 검사 모듈의 관점에서, 복수의 전처리 모듈 중 일부는 공유될 수 있다.

한편, 도시되진 않았으나, 도 6 또는 도 7과 반대로 처리부(220)가 구성될 수도 있다. 예를 들어, 도 6에 도시된 처리부(220)의 구성과 달리, 처리부(220)는 복수의 전처리 모듈과 하나의 검사 모듈로 구현될 수도 있다. 또한, 도 7에 도시된 처리부(220)의 구성과 달리, 처리부(220) 내 복수의 전처리 모듈이 하나의 검사 모듈과 매칭되어 상기 검사 모듈이 일부 공유되는 형태로 구현될 수도 있다. 이러한 구성은 일반적으로 도 6 또는 도 7에 비하여 효율이 떨어질 수 있으나, 전처리 모듈 및/또는 검사 모듈의 성능, 처리 용량 등에 따라 반드시 그렇지는 않을 수도 있다.

전술한 도 5 내지 7의 처리부(220)의 구성은 예컨대, 입력부(210)를 통해 앙상블 검사 시스템부로 입력되는 이미지 데이터에 따라 결정되거나 그와 무관하게 미리 설정된 바에 따를 수 있다.

도 8은 본 발명의 다른 일 실시 예에 따른 전자 장치(100)의 구성 블록도이다. 도 9는 본 발명의 또 다른 일 실시 예에 따른 전자 장치(100)의 구성 블록도이다.

도 4에서는 앙상블 검사 시스템부는, 기본적으로 하나의 처리부와 하나의 통합부를 가정한 것으로 볼 수 있다.

반면, 도 8을 참조하면, 앙상블 검사 시스템부는, n개의 처리부(220-1, …, 220-n, 여기서 n은 양의 정수로, 적어도 2 이상)와 1개의 통합부를 포함하여 구성될 수 있다. 상기 각 처리부는 도 5 내지 7 중 적어도 하나의 구성과 동일하거나 그렇지 않을 수 있다.

도 9를 참조하면, 앙상블 검사 시스템부는, n개의 처리부(220-1, …, 220-n)와 m개의 제1 통합부(230-1, …, 230-m) 및 적어도 하나의 제2 통합부(235)를 포함하여 구성될 수 있다. 이 때, 상기 n은 양의 정수로, 도 8과 같이 적어도 2 이상이다. 한편, 상기 m 역시 양의 정수로서, 적어도 2 이상이나, n과 같을 수도 있고 그렇지 않을 수도 있다. 다시 말해, 상기 m은 적어도 2 이상이나 상기 n보다 크거나 작을 수 있다. m개의 제1 통합부에서 통합 처리된 결과는 제2 통합부(235)에서 재구성될 수 있다. 일 실시 예에 따라, 상기 제2 통합부(235)는 필요하지 않을 수도 있다.

도 10은 본 발명의 일 실시 예에 따른 검사 모듈의 구성 방식을 설명하기 위한 도면이다.

전술한 바와 같이, 전처리 모듈에서 전처리된 이미지 데이터를 입력으로 하여 검사 모듈은 도 10에 도시된 바와 같이 3가지 형태 중 적어도 어느 하나를 통해 상기 이미지 데이터 내 결함 부분 검사를 수행한다.

검사 모듈의 제1 형태(1010)는 모든 검사 모듈 각각이 개별 알고리즘으로 구성된다. 여기서, 개별 알고리즘은 Rule 기반의 검사 기술, 딥러닝 검사 기술 등을 포함한다.

검사 모듈의 제2 형태(1020)는 모든 검사 모듈이 동일 알고리즘으로 구성된다. 다만, 이 때, 개별 검사 모듈은 서로 다른 유저 파라미터를 가질 수 있다. 일 실시 예로, 모든 검사 모듈 중 적어도 하나의 검사 모듈은 다른 검사 모듈과 다른 유저 파라미터로 동작할 수 있다. 다른 일 실시 예로, 모든 검사 모듈은 모두 서로 다른 유저 파라미터로 동작할 수 있다.

검사 모듈의 제3 형태(1030)는 검사 모듈 중 일부는 개별 알고리즘으로 구성되고, 나머지 일부는 동일 알고리즘으로 구성된 조합 형태일 수 있다. 이 때, 상기 나머지 일부의 검사 모듈 즉, 동일 알고리즘을 가진 검사 모듈의 유저 파라미터는 전술한 제2 형태의 유저 파라미터 내용을 참조하여 구성될 수 있다.

상술한 제2 형태의 유저 파라미터와 제3 형태의 알고리즘 조합은, 전자 장치(100)에 미리 설정된 바에 따르거나 이미지 데이터에 따라 유연하게 변경될 수도 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 전자 장치
150 : 이미지 획득 장치
210: 입력부
220: 처리부
230: 통합부
240: 출력부

Claims (10)

1. 인공 지능 기반 대상체에 대한 앙상블 비파괴 검사를 수행하는 전자 장치에 있어서,
   상기 대상체의 이미지 데이터를 입력받는 입력부;
   상기 입력받은 대상체의 이미지 데이터로부터 결함 여부를 검사하는 검사부; 및
   결함 여부 검사 결과를 출력하는 출력부를 포함하되,
   상기 검사부는, 상기 대상체의 이미지 데이터로부터 앙상블을 구현하여 결함 여부 검사를 수행하는 적어도 하나의 처리부와, 상기 적어도 하나의 처리부의 결함 여부 검사 결과를 통합 처리하는 적어도 하나의 통합부를 포함하는,
   전자 장치.
2. 제1항에 있어서,
   상기 적어도 하나의 처리부는,
   상기 대상체의 이미지 데이터를 개별 전처리하는 복수의 전처리 모듈과,
   개별 매칭된 해당 전처리 모듈에서 상기 전처리된 대상체의 이미지 데이터로부터 미리 정의된 결함 검사 방식을 이용하여 결함 부분을 검사하는 복수의 검사 모듈을 포함하는,
   전자 장치.
3. 제1항에 있어서,
   상기 적어도 하나의 처리부는,
   상기 대상체의 이미지 데이터를 전처리하는 하나의 전처리 모듈과,
   상기 하나의 전처리 모듈에서 전처리된 대상체의 이미지 데이터로부터 미리 정의된 결함 검사 방식을 이용하여 결함 부분을 검사하는 복수의 검사 모듈을 포함하는,
   전자 장치.
4. 제1항에 있어서,
   상기 적어도 하나의 처리부는,
   상기 대상체의 이미지 데이터를 전처리하는 복수의 전처리 모듈과,
   미리 정의된 결함 검사 방식을 이용하여 상기 전처리 된 대상체의 이미지 데이터로부터 결함 부분을 검사하는 복수의 검사 모듈을 포함하되,
   상기 복수의 전처리 모듈 중 적어도 하나는 복수의 검사 모듈 중 적어도 둘 이상과 매칭된,
   전자 장치.
5. 제2항 내지 제4항 중 어느 한 항에 있어서,
   상기 복수의 검사 모듈 각각은,
   개별 알고리즘으로 구성하되,
   상기 개별 알고리즘은 룰 기반의 검사 기술과 딥러닝 검사 기술을 포함하는,
   전자 장치.
6. 제2항 내지 제4항 중 어느 한 항에 있어서,
   상기 복수의 검사 모듈 각각은,
   모두 동일 알고리즘으로 구성하되 서로 다른 유저 파라미터로 동작하는,
   전자 장치.
7. 제2항 내지 제4항 중 어느 한 항에 있어서,
   상기 복수의 검사 모듈은,
   일부 검사 모듈은 개별 알고리즘으로 구성하고, 나머지 검사 모듈은 동일 알고리즘으로 구성하는 조합 형태인,
   전자 장치.
8. 제1항에 있어서,
   상기 앙상블은,
   룰 베이스와 딥러닝 조합으로 생성되는,
   전자 장치.
9. 전자 장치에서 수행되는 인공 지능 기반 대상체 앙상블 비파괴 검사 방법에 있어서,
   상기 대상체의 이미지 데이터를 수신하는 단계;
   상기 수신한 대상체의 이미지 데이터를 적어도 하나의 전처리 모듈에서 전처리하는 단계;
   복수의 검사 모듈에서 미리 정의된 결함 검사 방식을 이용하여 상기 전처리 된 대상체의 이미지 데이터로부터 결함 부분을 검사하는 단계;
   상기 각 검사 모듈에서 검사된 대상체에 대한 결함 부분 검사 결과 데이터를 통합하는 단계; 및
   상기 통합된 결함 부분 검사 결과 데이터를 출력하는 단계를 포함하는,
   대상체 앙상블 비파괴 검사 방법.
10. 인공 지능 기반 대상체 앙상블 비파괴 검사 시스템에 있어서,
    방사선을 조사하여 대상체에 대한 이미지 데이터를 획득하는 영상 획득 장치; 및
    전자 장치를 포함하되, 상기 전자 장치는,
    상기 영상 획득 장치로부터 대상체의 이미지 데이터를 수신하여 입력받는 입력부; 상기 입력받은 대상체의 이미지 데이터로부터 결함 여부를 검사하는 검사부; 및 결함 여부 검사 결과를 출력하는 출력부를 포함하되, 상기 검사부는, 상기 대상체의 이미지 데이터로부터 앙상블을 구현하여 결함 여부 검사를 수행하는 적어도 하나의 처리부와, 상기 적어도 하나의 처리부의 결함 여부 검사 결과를 통합 처리하는 적어도 하나의 통합부를 포함하는,
    대상체 앙상블 비파괴 검사 시스템.

Images