KR102451758B1

KR102451758B1 - 이물질 선별 방법 및 장치

Info

Publication number: KR102451758B1
Application number: KR1020200174893A
Authority: KR
Inventors: 손국진; 김영덕; 곽동훈; 이진서
Original assignee: 재단법인대구경북과학기술원
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2022-10-05
Also published as: KR20220084931A

Abstract

이물질 선별 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 이물질 선별 방법은, 이물질 선별 대상 객체를 촬영한 이미지를 획득하는 단계와, 특정 객체를 정상 또는 비정상으로 분류하도록 훈련된 이미지 처리 기반 학습 모델을 로딩하는 단계와, 획득한 대상 객체 이미지에 학습 모델을 적용하여 대상 객체에 대해 정상 또는 비정상 여부를 출력하는 단계와, 학습 모델을 통해 출력된 대상 객체에 대한 정상 또는 비정상 여부에 기반하여, 비정상 객체를 이물질로 선별하여 표시하는 단계를 포함할 수 있다.

Description

이물질 선별 방법 및 장치{METHOD AND APPARATUS FOR CLASSIFYING FOREIGN MATTER}

본 개시는 딥러닝 기반 이미지 처리 기술에 있어, 이물질 선별을 위한 인공신경망 학습 데이터 증강을 통해 데이터간의 균형을 맞춰 학습 정확도를 향상시킬 수 있도록 하는 이물질 선별 방법 및 장치에 관한 것이다.

인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.

인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.

특히, 기존에는 컴퓨터가 스스로 물체를 인식하기 위해선 인식이 필요한 이미지의 특징을 사람이 사전에 알려주는 handcrafted feature를 사용했다. 그러나 최근에는 사람이 데이터만 제공하면 그 특징을 컴퓨터가 직접 학습하여 물체를 인식하는 인공신경망을 주로 사용한다. 인공신경망은 가중치가 포함된 layer를 깊게 쌓는 형태를 갖고 있다. 인공신경망은 제공받은 데이터를 토대로 공통된 특징을 가중치의 형태로 저장하므로 제공받는 데이터가 성능에 중요한 역할을 한다.

한편, 최근 소비자들이 건강에 대한 관심이 높아지면서 건강과 직접적인 연관이 있는 식품의 품질, 식품 내 이물질 여부 등의 관심도 함께 높아지고 있다. 예를 들어 이물질은 원재료에서 자연적으로 발생 가능한 나뭇가지, 벌레, 흙, 돌 등과 현장에서 인공적으로 발생 가능한 플라스틱, 고무, 머리카락, 실리콘 등이 있다. 즉, 식품 제조현장에서 이물질을 분류하는 기준은 정상식품을 제외한 모든 객체를 이물질로 분류하며, 정상식품을 제외한 모든 객체를 이물질로 분류할 수 있다.

따라서 정상식품과 그 외의 객체를 어떻게 하면 정확하게 구분 할 수 있는지가 중요한 문제이며, 그에 따라 식품을 생산, 가공하는 제조현장에서는 소비자에게 혐오감을 주거나 건강상의 문제를 야기하는 이물질을 찾아서 제거하기 위해 많은 노력을 기울이고 있다.

이에 선행기술 1과 같이 식품 제조 공정에서 인공신경망을 이용하여 이물질을 선별하고자 하는 기술이 개발되었다. 선행기술 1은 컨베이어 벨트를 통해 들어오는 대상 김 및 이물질에 대해 빛을 조사하고, 카메라를 통해 조사된 빛의 산란 및 반사광을 촬영하여 촬영된 결과를 바탕으로 블록체인 네트워크의 컨벌루션 신경망에 입력하고, 컨벌루션 신경망의 출력 신호에 기초하여 이물질을 선별하는 것을 특징으로 한다.

그러나 인공신경망은 분류하고자 하는 클래스의 데이터가 균형을 이룰 때 클래스별 특징을 잘 학습할 수 있으나, 상기와 같은 종래기술의 경우, 실제 식품 제조현장에선 발견되는 이물질의 개수가 정상식품에 비해 워낙 적어 이물질 클래스의 이미지 획득이 상대적으로 어렵다. 따라서 식품 이미지와 이물질 이미지 간의 데이터 불균형이 발생하고 데이터 불균형은 이물질 분류를 수행하는 인공신경망이 제대로 학습되지 않는 문제를 야기할 수 있다.

또한, 종래에는 일반적으로 서로 독립된 위치에 존재하는 정상식품과 이물질을 학습하여 이물질을 선별한다. 서로 독립된 위치에 존재하는 정상식품과 이물질을 학습할 경우, 이물질 모양이 다양하여 특징을 정확히 학습하기 어렵지만 정상식품이 일관성 있는 형태를 갖고 있어 비교적 쉽게 학습이 가능하다. 그러나 이 경우 이물질의 특징을 잘 학습한다기 보단 정상식품의 특정부위 특징을 잘 학습하여 정상제품과 이물질을 분류하는 것이다.

이런 경우 정상식품과 이물질이 겹쳐진 객체에 대해서 제조현장에선 정상식품에 이물질이 포함되어 있으므로 제거해야 할 이물질이지만 정상식품의 특정부위 특징을 학습한 인공신경망은 해당 특징을 발견하면 정상식품과 겹쳐진 이물질을 이물질이 아닌 정상식품으로 오판하는 문제가 발생할 수 있다. 즉 정상식품과 이물질이 함께 겹쳐진 이물질은 두 객체의 특징을 모두 갖고 있으므로, 정상식품의 특징과 이물질의 특징을 모두 갖는 겹쳐진 이물질을 분류할 수 있는 방법이 필요하다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

선행기술 1: 한국등록특허 제10-2116137호(2020.05.21.등록)

본 개시의 실시 예의 일 과제는, 현장에서 구하기 힘든 다양한 형태의 이물질 클래스를 외부에서 수집하여 현장에서 자주 발생하는 클래스 간 발생하는 데이터 불균형 문제를 해결하고자 하는데 있다.

본 개시의 실시 예의 일 과제는, 인공신경망이 학습과정에서 정상식품의 특정부위만을 학습하여 겹쳐진 이물질을 정상식품으로 판단하는 문제를 해결하여, 인공신경망이 식품현장에서 정상식품을 제외한 모든 객체를 이물질로 판단할 수 있도록 하는데 있다.

본 개시의 실시 예의 일 과제는, 단순히 수집한 데이터의 클래스가 독립적으로 분리된 경우에 한해서 정확도를 좀 더 상승시키는 것이 아니라, 다수의 클래스가 겹쳐진 경우(예를 들어, 식품 제조현장에서 생산하는 식품과 이물질이 겹쳐진 상황과 같이 특정 클래스들이 겹쳐져 각 클래스들의 특징을 모두 갖고 있는 경우)를 고려하여 신경망의 정확도를 향상시키고자 하는데 있다.

본 개시의 실시 예의 일 과제는, 부족한 클래스의 데이터를 외부에서 수집하여 클래스 간 발생하는 데이터 불균형 문제를 해결할 뿐만 아니라 실제 데이터와 가상 데이터를 합성하는 방법을 통해 신경망이 정상식품을 제외한 모든 객체는 이물로 분류가 가능하도록 학습하고자 하는데 있다.

본 개시의 실시 예의 일 과제는, 정상식품 이미지와 이물질 이미지를 인위적으로 합성하여 겹쳐진 이물질 이미지를 생성하고, 해당 이미지를 이물질 클래스로 분류하여 학습에 사용하여, 정상식품과 이물질이 겹쳐진 경우 정상식품의 특정부위 특징을 학습한 인공신경망이 정상식품과 겹쳐진 이물질을 이물질이 아닌 정상식품으로 오판하는 문제를 극복할 수 있도록 하는데 있다.

본 개시의 실시 예의 일 과제는, 특정 객체(예를 들어, 식품 이미지)를 촬영한 이미지를 입력으로 하여 해당 객체의 정상 또는 비정상 여부를 분류하는 이미지 처리 기반 딥러닝 알고리즘을 이용해, 복수 개의 특정 객체들 사이에서 이물질을 선별하고자 하는데 있다.

본 개시의 실시 예의 일 과제는, 이미지 처리 기반 딥러닝 알고리즘을 이용하여 이물질 선별을 간단하고 정확하게 수행할 수 있도록 하여, 정상 식품 내 이물질 선별에 소요되는 시간과 비용을 줄이고자 하는데 있다.

본 개시의 실시 예의 일 과제는, 제조단계에서 이물질 선별을 위한 딥러닝 알고리즘을 통해 정상식품과 이물질을 구분하고, 이물질 제거 후 소비자에게 안전한 식품이 제공되도록 하여, 사용자 만족도 및 신뢰도를 향상시키고자 하는데 있다.

본 개시의 실시 예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.

본 개시의 일 실시 예에 따른 이물질 선별 방법은, 딥러닝 기반 이미지 처리 기술에 있어, 이물질 선별을 위한 인공신경망 학습 데이터 증강을 통해 데이터간의 균형을 맞추는 단계를 포함할 수 있다.

구체적으로 본 개시의 일 실시 예에 따른 이물질 선별 방법은, 이물질 선별 대상 객체를 촬영한 이미지를 획득하는 단계와, 특정 객체를 정상 또는 비정상으로 분류하도록 훈련된 이미지 처리 기반 학습 모델을 로딩하는 단계와, 획득한 대상 객체 이미지에 학습 모델을 적용하여 대상 객체에 대해 정상 또는 비정상 여부를 출력하는 단계와, 학습 모델을 통해 출력된 대상 객체에 대한 정상 또는 비정상 여부에 기반하여, 비정상 객체를 이물질로 선별하여 표시하는 단계를 포함할 수 있다.

본 개시의 일 실시 예에 따른 이물질 선별 방법을 통하여, 현장에서 구하기 힘든 다양한 형태의 이물질 클래스를 외부에서 수집하여 현장에서 자주 발생하는 클래스 간 발생하는 데이터 불균형으로 문제를 해결할 뿐만 아니라, 실제 데이터와 가상 데이터를 합성하는 방법을 통해 신경망이 정상식품을 제외한 모든 객체를 이물질로 분류가 가능하도록 학습하여 이물질 선별을 위한 학습 모델의 정확도를 향상시킬 수 있다.

이 외에도, 본 발명의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 개시의 실시 예에 의하면, 정상식품과 이물질이 학습된 인공신경망에 있어, 합성 이물질 데이터를 이물질 클래스로 분류하여 함께 학습하여, 정상식품의 특정부위의 특징보다 정상식품이라도 이물질 형태의 객체가 있는지 없는지의 여부가 중요한 학습 평가의 척도가 되도록 함으로써, 단순히 정상식품의 특징만의 학습이 아닌 정상식품이어도 내부에 이물질의 특징을 갖는 요소가 있는지를 파악하는 학습효과를 기대할 수 있다.

또한, 정상식품 이미지와 이물질 이미지를 인위적으로 합성하여 겹쳐진 이물질 이미지를 생성하고, 해당 이미지를 이물질 클래스로 분류하여 학습에 사용함으로써, 정상식품과 이물질이 겹쳐진 경우 이물질이 아닌 정상식품으로 오판하는 오류를 방지할 수 있다.

또한, 분류하고자 하는 클래스의 특징을 제공 받은 데이터를 통해 스스로 찾고 이를 학습하는 인공신경망을 적용함으로써, 처음 보는 데이터도 실제 클래스로 정확하게 분류하도록 할 수 있다.

또한, 데이터를 단순히 수집에서 그치지 않고 식품 제조현장에서 발생하는 겹쳐진 이물질을 학습하기 위해, 실제 이미지와 수집 이미지를 합성하여 학습함으로써, 학습 모델의 정확도를 향상시킬 수 있다.

또한, 전체 데이터(실제 정상식품 이미지, 실제 이물질 이미지, 가상 이물질 이미지, 이물질 합성 이미지)를 사용해 이물질 검출을 위한 인공신경망을 학습함으로써, 가상 이물질과 겹쳐진 이물질에 의해 기존 데이터 수 대비 전체 데이터 수를 증가시킬 수 있으며, 인공신경망 학습에 문제가 되었던 데이터 불균형 문제가 해소되도록 하여, 학습 모델의 성능을 향상시킬 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시 예에 따른 이물질 선별 시스템의 개략적인 예시도이다.
도 2는 본 개시의 일 실시 예에 따른 정상 이미지, 이물질 이미지 및 정상 객체에 이물질이 겹쳐진 이미지를 나타낸 예시도이다.
도 3은 본 개시의 일 실시 예에 따른 이물질 선별 장치를 개략적으로 나타낸 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 가상 이물질 이미지를 나타낸 예시도이다.
도 5는 본 개시의 일 실시 예에 따른 이물질 합성 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 합성 이미지를 나타낸 예시도이다.
도 7은 본 개시의 일 실시 예에 따른 이물질 선별 출력 화면을 나타낸 예시도이다.
도 8은 본 개시의 일 실시 예에 따른 미세한 이물질 선별 방법을 설명하기 위한 예시도이다.
도 9는 본 개시의 일 실시 예에 따른 이물질 선별 방법을 설명하기 위한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른 이물질 선별 학습 모델의 학습 방법을 설명하기 위한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.

그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 개시의 일 실시 예에 따른 이물질 선별 시스템의 개략적인 예시도이다.

도 1에 도시된 바와 같이, 이물질 선별 시스템(1)은 이물질 선별 장치(100), 사용자 단말(200), 서버(300) 및 네트워크(400)를 포함할 수 있다.

본 실시 예에서, 이물질 선별 시스템(1)은 딥러닝 기반 이미지 처리 기술을 이용하여 이미지를 분류하는 것으로, 예를 들어, 식품 제조 현장에서 식품을 촬영하여 식품 내 이물질을 선별하고자 하는 것이다. 즉 정상적인 식품과 이물질(정상적인 식품을 제외한 모든 객체)을 분류하여, 식품 내에서 이물질을 제거할 수 있도록 하는 것이다. 이에 본 실시 예에서는, 식품 클래스(정상 객체)와 이물질 클래스(비정상 객체)를 학습하고 분류하는 것을 실시 예로 하여 설명하도록 한다.

본 실시 예에서, 딥러닝 기반 이미지 처리를 수행하는데 있어, 분류하고자 하는 클래스 간의 데이터가 균형을 이룰 때 각 클래스의 특징을 잘 학습하므로, 분류하고자 하는 클래스 간의 데이터의 균형을 맞추는 것이 매우 중요하다. 그러나 실제 식품 제조현장에서 발견되는 이물질의 개수가 정상 식품에 비해 워낙 적어 이물질 클래스의 이미지 획득이 상대적으로 어렵다. 따라서 식품 이미지와 이물질 이미지 간의 데이터 불균형이 발생하고 데이터 불균형은 이물질 분류를 수행하는 인공신경망이 제대로 학습되지 않는 문제를 야기할 수 있다.

이에 본 실시 예에서는, 이물질 선별을 위한 인공신경망 학습 데이터 증강을 통해 데이터 간의 균형을 맞춰 학습 정확도를 향상시킬 수 있도록 하고자 하는 것이다.

예를 들어, 본 실시 예에서는, 실제 현장에서 획득되는 이물질 이미지를 서버(예를 들어, 데이터베이스 서버, 인터넷 등)를 통해 검색하여 실제 이물질 이미지와 유사한 가상 이물질 이미지를 수집할 수 있다. 이는 인터넷, 빅데이터 등이 발달했기 때문이며, 다양한 이미지가 공유되고 있다. 따라서, 본 실시 예에서는, 식품에서 발생한 이물질 이미지 또는 식품에서 발견되진 않았지만 식품에서 발생 가능한 이물질과 유사한 형태의 이미지를 용이하게 수집할 수 있다.

또한 본 실시 예에서는, 식품 이미지를 회득하여 해당 이미지를 딥러닝을 기반으로 정상 식품과 이물질로 분류할 수 있는데, 정상 식품과 이물질이 겹쳐져 있는 상태에 대해서도 고려해야 한다.

도 2는 본 개시의 일 실시 예에 따른 정상 이미지, 이물질 이미지 및 정상 객체에 이물질이 겹쳐진 이미지를 나타낸 예시도이다.

도 2를 참조하면, 도 2(a)는 정상 식품 이미지를 나타내는 것으로, 예를 들어, 원재료 상태의 대파분태 이미지이다. 그리고 도2(b)는 이물질 이미지를 나타내는 것으로, 예를 들어, 원재료에서 자연적으로 발생 가능한 나뭇가지, 벌레, 흙, 돌 등과 현장에서 인공적으로 발생 가능한 플라스틱, 고무, 머리카락, 실리콘 등의 이미지이다.

특히, 도 2(c)는 정상 식품과 이물질이 함께 겹쳐져 있는 이미지를 나타내는 것으로, 정상 식품과 이물질 두 객체의 특징을 모두 갖고 있다. 따라서 인공신경망은 정상 식품의 특징과 이물질의 특징을 모두 갖는 겹쳐진 이물질을 분류할 수 있어야 한다. 따라서 본 실시 예에서는, 정상 식품의 특징과 이물질의 특징을 모두 갖는 겹쳐진 이미지에 대해서도 이물질 클래스로 학습하여, 이물질 선별의 정확도를 향상시킬 수 있다. 이에 본 실시 예의 이물질 선별 시스템(1)은 제조 단계에서 정상 식품과 이물질을 보다 정확하게 구분하여 이물질을 제거한 후 소비자에게 안전한 식품을 제공할 수 있도록 할 수 있다.

한편 본 실시 예에서는, 사용자들이 사용자 단말(200)에서 구현되는 어플리케이션 또는 웹사이트에 접속하여, 이물질 선별을 위한 대상 객체 이미지(예를 들어, 제조 단계에서 이물질 식별을 위해 식품을 촬영한 이미지)를 입력하거나, 이물질 선별 결과에 따라 이물질을 제거하거나, 이물질 선별 결과를 확인하는 등의 과정을 수행할 수 있다. 이러한 사용자 단말(200)은 이물질 선별 어플리케이션 또는 이물질 선별 웹사이트에 접속한 후 인증 과정을 통하여 이물질 선별 서비스를 제공받을 수 있다. 인증 과정은 회원가입 등 사용자 정보를 입력하는 인증, 사용자 단말에 대한 인증 등을 포함할 수 있으나, 이에 한정되지 않고 이물질 선별 장치(100) 및/또는 서버(300)에서 전송되는 링크에 접속하는 것만으로 인증 과정이 수행될 수도 있다. 또한 본 실시 예에서, 사용자는 식품 제조 단계에서 식품 내 이물질 선별 등의 업무를 수행하는 사용자를 의미할 수 있다.

본 실시 예에서, 사용자 단말(200)은 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말(200)은 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말(200)은 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.

한편, 본 실시 예에서 이물질 선별 시스템(1)은 이물질 선별 장치(100) 및/또는 서버(300)에 의해 구현될 수 있다.

도 3은 본 개시의 일 실시 예에 따른 이물질 선별 장치를 개략적으로 나타낸 블록도이다.

도 3에 도시된 바와 같이, 이물질 선별 장치(100)는 메모리(110), 통신부(120), 프로세서(130) 및 사용자 인터페이스(140)를 포함할 수 있다.

메모리(110)는 이물질 선별 장치(100)의 동작에 필요한 각종 정보들을 저장하고, 이물질 선별 장치(100)를 동작시킬 수 있는 제어 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.

메모리(110)는 하나 이상의 프로세서(130)와 연결되는 것으로, 프로세서(130)에 의해 실행될 때, 프로세서(130)로 하여금 이물질 선별 장치(100)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.

여기서, 메모리(110)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(110)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.

특히, 본 실시 예에서, 메모리(110)에는 본 개시에 따른 신경망 모델, 신경망 모델을 이용하여 본 개시의 다양할 실시 예를 구현할 수 있도록 구현된 모듈이 저장될 수 있다. 그리고, 메모리(110)에는 본 개시에 따른 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(110)에 저장될 수 있으며, 메모리(110)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

이때, 서버(300)는 이물질 선별 장치(100)가 포함되는 이물질 선별 시스템(1)을 운용하기 위한 서버일 수 있다. 또한 서버(300)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터와, 이물질 선별 장치(100)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 이물질 선별 시스템(1)이 구현될 수 있도록 하는 웹 서버 또는 어플리케이션 서버, 그리고 딥러닝 등의 인공지능 프로세스를 수행하는 학습 서버 등을 포함할 수 있다. 본 실시 예에서, 서버(300)는 상술하는 서버들을 포함하거나 이러한 서버들과 네트워킹 할 수 있다.

특히, 본 실시 예에서, 서버(300)는 이물질 선별 장치(100)로부터 이물질 선별을 하기 위한 식품 이미지를 수신하고, 식품 이미지에 이물질 선별 학습 알고리즘을 적용하여, 상기 식품에 대한 정상 또는 비정상(이물질) 여부를 판단하고 분석할 수 있다.

통신부(120)는 네트워크(400)와 연동하여 외부 장치(서버를 포함) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부(120)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 이러한 통신부(120)는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.

이때, 네트워크(400)는 이물질 선별 시스템(1)에서 이물질 선별 장치(100), 서버(300) 및 사용자 단말(200)을 연결하는 역할을 수행할 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.

네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(400)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.

즉, 프로세서(130)는 통신부(120)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다. 그리고, 통신부(120)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스(140)는 이물질 선별을 위해 이물질 선별 장치(100)에 적용되는 정상 식품 이미지 및 이물질 이미지들이 획득 및 수집되고, 이물질 선별을 위한 사용자 요청 및 명령들이 입력되는 입력 인터페이스를 포함할 수 있다. 이때 정상 식품 이미지 및 이물질 이미지들은 사용자에 의해 입력되거나 서버로부터 획득될 수 있다.

그리고 사용자 인터페이스(140)는 이물질 선별 장치(100)에서 수행된 결과가 출력되는 출력 인터페이스를 포함할 수 있다. 예를 들어, 이물질 판단 결과에 따른 이물질 선별 표시가 출력될 수 있으며, 그 외 식품 내 이물질 비율 등이 출력될 수 있다. 즉 사용자 인터페이스(140)는 이물질 선별을 위한 사용자 요청 및 명령에 따른 결과를 출력할 수 있다.

이러한 사용자 인터페이스(140)의 입력 인터페이스와 출력 인터페이스는 동일한 인터페이스에서 구현될 수 있다.

프로세서(130)는 이물질 선별 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(130)는 상술한 바와 같은 메모리(110)를 포함하는 이물질 선별 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(110)에 저장된 적어도 하나의 명령을 실행하여 이물질 선별 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서(130)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(130)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.

프로세서(130)는 일종의 중앙처리장치로서 메모리(110)에 탑재된 제어 소프트웨어를 구동하여 이물질 선별 장치(100) 전체의 동작을 제어할 수 있다. 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

본 실시 예에서 프로세서(130)는 이물질 선별 장치(100)가 최적의 이물질 선별 결과를 출력하도록, 획득된 이물질 선별 대상 객체 이미지(식품 이미지)에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(110)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.

즉 본 실시 예에서, 프로세서(130)는 딥러닝 기반 이미지 처리 기술을 활용한 이물질 선별을 수행하는 것으로, 이물질을 선별하고자 하는 이물질 선별 대상 객체를 촬영한 이미지(식품 이미지)를 획득하고, 특정 객체를 정상(정상 식품) 또는 비정상(이물질)으로 분류하도록 훈련된 이미지 처리 기반 학습 모델을 로딩할 수 있다. 본 실시 예에서, 이물질 선별 장치(100)는 카메라(미도시)를 구비하여 대상 객체를 촬영할 수 있고 대상 객체에 대한 이미지를 획득할 수 있다.

그리고 프로세서(130)는 획득한 대상 객체 이미지에 상기 로딩한 학습 모델을 적용하여 대상 객체에 대해 정상 또는 비정상 여부를 출력하고, 대상 객체에 대한 정상 또는 비정상 여부에 기반하여, 비정상 객체를 이물질로 선별하여 표시할 수 있다. 예를 들어, 대파분태 사이의 이물질들을 분류하고자 하는 경우, 복수 개의 대파분태들과 대파분태를 제외한 나머지 이물질들을 분류하고, 이물질에 대해서만 선별하여 표시하거나 대파분태와 이물질을 구분할 수 있도록 서로 다르게 표시하여, 사용자에게 제공할 수 있다. 따라서 사용자는 표시된 이물질을 확인하여 이물질이 제거되도록 할 수 있다.

즉 본 실시 예는, 식품 제조 현장에서 발생하는 이물질을 분류하는 인공신경망의 효과적인 학습방법을 제안하는 것으로, 인공신경망은 분류하고자 하는 클래스의 특징을 제공 받은 데이터를 통해 스스로 찾고 이를 학습할 수 있다. 잘 학습된 인공신경망은 처음 보는 데이터도 실제 클래스로 잘 분류할 수 있다.

이와 같이, 본 실시 예에서의 특정 객체를 정상 또는 비정상으로 분류하도록 훈련된 이미지 처리 기반 학습 모델은 딥러닝 기반 인공신경망에 기반하여 구현될 수 있다.

특히 인공신경망은 분류하고자 하는 클래스의 데이터가 균형을 이룰 때 클래스별 특징을 잘 학습하기 때문에, 본 실시 예에서는, 정상 클래스와 비정상 클래스의 데이터가 균형을 이룰 수 있도록 하여 학습 모델을 학습할 수 있다. 즉 본 실시 예에서는, 실제 이물질 이미지와 유사한 가상 이물질 이미지를 수집하고, 정상 식품 이미지와 이물질 이미지를 합성하여 정상 식품 이미지와 이물질 이미지 간의 데이터가 균형을 이룰 수 있도록 할 수 있다.

또한, 인공신경망은 서로 독립된 위치에 존재하는 정상식품과 이물질을 학습할 경우, 정상 식품의 특정부위 특징을 학습하여 정상 제품과 이물질을 분류할 수 있으나, 정상 식품과 이물질이 겹쳐진 경우에는 정상 식품의 특정부위 특징을 학습했기 때문에 정상 식품과 겹쳐진 이물질을 이물질이 아닌 정상 식품으로 오판할 수 있다. 따라서 본 실시 예에서는, 정상 식품 이미지와 이물질 이미지를 인위적으로 합성하여 겹쳐진 이물질 이미지를 생성하고 해당 이미지를 이물질 클래스로 분류하여 학습에 사용할 수 있다.

이와 같이, 인공신경망이 정상 식품과 이물질을 잘 학습된 상황에서 합성 이물질 데이터를 이물질 클래스로 분류하여 함께 학습하는 경우, 인공신경망은 정상 식품의 특정부위의 특징보다 정상 식품이라도 이물질 형태의 객체가 있는지 없는지의 여부가 중요한 학습 평가의 척도가 된다. 따라서 단순히 정상 식품의 특징만의 학습이 아닌 정상 식품이어도 내부에 이물질의 특징을 갖는 요소가 있는지를 파악하는 학습 효과를 기대할 수 있다.

보다 구체적으로 설명하면, 프로세서(130)는 이물질 선별을 위한 학습 모델을 학습하는 모델 생성부(131)를 포함할 수 있으며, 모델 생성부(131)는 먼저 특정 객체에 대한 실제 정상 이미지 및 실제 이물질 이미지를 획득할 수 있다. 예를 들어, 본 실시 예에서는, 대파분태 제조현장에서 대파분태 이미지와 실제 발견되는 이물질 이미지를 수집할 수 있으며, 수집한 이미지들을 메모리(110)에 저장할 수 있다. 대파분태 이미지는 제조현장에서 필요로 하는 정상적인 식품을 의미하고, 이물질 이미지는 대파분태를 제외한 모든 객체를 의미한다.

그리고 모델 생성부(131)는 실제 정상 이미지를 정상 데이터 셋으로 레이블링 하고, 실제 이물질 이미지를 비정상 데이터 셋으로 레이블링 할 수 있다. 예를 들어, 본 실시 예에서는, 대파분태 이미지(실제 정상 이미지)를 정상 식품으로 분류할 수 있도록 '정상'으로 레이블링 할 수 있고, 대파분태를 제외한 객체들의 이미지(실제 이물질 이미지)를 이물질으로 분류할 수 있도록 '비정상'으로 레이블링 할 수 있다.

이때, 본 실시 예에서는, 정상 클래스와 비정상 클래스 간의 균형을 이룰 수 있도록 하기 위하여, 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이 값에 기반하여 이물질 선별 알고리즘 학습 수행 여부를 설정할 수 있다.

모델 생성부(131)는 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이가 설정치 미만인 경우, 정상 데이터 셋 및 비정상 데이터 셋으로 이물질 선별 알고리즘을 학습할 수 있다. 즉 본 실시 예에서는, 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이가 설정치 미만으로, 학습을 수행하기에 적절한 데이터 균형이 이루어졌다고 판단되는 경우 학습이 수행되도록 할 수 있다. 다만 이에 한정되는 것은 아니며 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이 값에 상관없이 학습이 수행되도록 할 수 있으나, 학습 정확도 향상을 위해서 데이터 수의 균형이 맞추어졌을 때 학습이 수행되도록 하는 것이 바람직할 것이다.

따라서, 모델 생성부(131)는 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이가 설정치 이상인 경우, 이물질 이미지를 수집 및 생성하여 비정상 데이터 셋을 추가할 수 있다.

이때, 모델 생성부(131)는 획득한 실제 이물질 이미지와 유사한 가상 이물질 이미지를 수집하고, 수집한 가상 이물질 이미지를 비정상 데이터 셋으로 레이블링 할 수 있다. 모델 생성부(131)는 실제 이물질 이미지를 기반으로 키워드를 설정하여, 서버로부터 실제 이물질 이미지에 대한 이미지 크롤링(crawling)을 수행하여, 도 4에 도시된 것과 같은 가상 이물질 이미지를 수집할 수 있다.

이미지 크롤링은 인터넷에 데이터가 방대해지면서 그런 정보들을 활용하기 위해 데이터를 수집하는 행위를 말하며, 예를 들어, 본 실시 예에서는, 서버(예를 들어, 인터넷이나 이미지 데이터베이스 서버 등)에서 실제 이물질과 유사한 가상의 이물질 이미지를 검색할 수 있다. 즉, 본 실시 예에서, 이물질 선별 장치(100) 및/또는 서버(300)는 다양한 형태의 콘텐츠를 제공하는 서버에 접속하여(또는 연동하여), 이물질 이미지를 크롤링 방식을 통해 수집할 수 있다. 여기서, 서버는 상술하는 서버뿐만 아니라, 소셜 네트워크 서비스(Social Network Service: SNS) 서버, 이미지 콘텐츠 제공 서버, 클라우드 서버 등도 포함할 수 있다.

이때, 이미지 크롤링에 필요한 키워드는 현장에서 획득한 이물질을 학습하여 분류(Classification)를 통해 이물질에 대한 객체 특징을 추출하고 매칭시켜주는 방법을 고려하여 설정될 수 있다. 여기서, 가상 이물질은 실제 현장에서 발견한 이물질과 유사하지만 실제 현장에서 발견된 이물질은 아니며, 즉 다른 환경에서 발견되지만 현장의 이물질과 유사한 형태를 갖는 객체를 의미할 수 있다.

이미지 크롤링은 한정되지 않고 다양한 방법에 의해 구현될 수 있으나, 본 실시 예에서는, 웹 기반의 이미지 크롤링을 수행할 수 있으며, 웹 상에 존재하는 방대한 양의 데이터들 중 분석에 필요한 데이터들만을 수집할 수 있다. 즉 본 실시 예에서는, 키워드에 대응하는 이미지를 검색하고, 검색된 이미지의 소스 URL을 추출할 수 있으며, 키워드에 대한 검색에 응답하여 웹 서버로부터 웹 소스(이미지가 포함된 웹 페이지의 소스 데이터)를 획득할 수 있다. 그리고 본 실시 예에서는,획득된 웹 소스에 기반하여 웹 서버로부터 제공되는 이미지를 포함하는 웹 페이지(즉, 검색 결과 페이지)의 구조를 분석하기 위해 파싱(parsing)을 수행할 수 있으며, 이후, 파싱을 통해 웹 페이지에 포함된 각 이미지의 소스 URL을 추출할 수 있다. 이때, 이미지의 소스 URL을 추출할 때에는, 웹 페이지 내에서의 각 이미지들의 태그 정보와 위치 정보 등이 더 추출될 수 있다. 웹 페이지로부터 이미지의 소스 URL을 추출하는 과정의 경우, 웹 페이지의 구조가 동일한 경우에 대해서는 어떠한 객체 이미지가 입력되더라도 동일하게 적용될 수 있으며, 웹 서버의 특성을 고려하여, 해당 웹 서버에서 제공하는 웹 페이지의 구조에 맞추어 크롤링 프로세스(즉, 객체 이미지들의 소스 URL 값을 추출하는 과정)가 구현될 수 있다.

또한 모델 생성부(131)는 실제 이물질 이미지의 형태 및 색상을 랜덤으로 변경하여 가상 이물질 이미지를 생성하고, 생성한 가상 이물질 이미지를 수집할 수 있다. 예를 들어, 본 실시 예에서는, 이물질은 정상 식품에 비해 형태가 일정하게 정해져 있지 않기 때문에, 랜덤의 형태(N각형(삼각형, 사각형 등등))와 색상 등을 변경하여 실제 이물질 이미지에 합성함으로써 가상 이물질을 생성할 수도 있다.

도 5는 본 개시의 일 실시 예에 따른 이물질 합성 과정을 설명하기 위한 도면이고, 도 6은 본 개시의 일 실시 예에 따른 합성 이미지를 나타낸 예시도이다.

도 5에 도시된 바와 같이, 모델 생성부(131)는 수집한 가상 이물질 이미지 및 획득한 실제 이물질 이미지를 실제 정상 이미지에 합성하고, 합성한 이미지를 비정상 데이터 셋으로 레이블링 할 수 있다. 예를 들어, 본 실시 예에서는, 메모리(110)에 저장된 실제 정상 이미지(예를 들어, 대파분태 이미지)와 가상 이물질 이미지를 합성하여 도 6에 도시된 것과 같은 겹쳐진 이물질 이미지를 생성할 수 있다.

이때, 본 실시 예에서는, 실제 이물질 이미지를 획득할 때와 가상 이물질 이미지를 수집할 때, 실제 이물질 이미지 및 가상 이물질 이미지 각각에 대한 사본을 생성할 수 있으며, 생성된 실제 이물질 이미지 사본 및 생성된 가상 이물질 사본으로 합성을 수행할 수 있다. 즉 본 실시 예에서는, 가상 이물질 이미지의 원본은 메모리(110)에 저장하고 사본은 이미지 합성에 사용할 수 있다. 따라서, 메모리(110)에 저장된 가상 이물질 이미지 원본은 이물질 식별 알고리즘 학습 시 정상 식품 이미지와 이물질 이미지 간의 데이터 불균형 해소를 위해 사용될 수 있다.

한편 본 실시 예에서는, 실제 이물질 이미지에 기반하여 수집된 가상 이물질 이미지만을 이용하여 실제 정상 이미지와 합성할 수 있으나, 가상 이물질 이미지뿐만 아니라 실제로 획득된 실제 이물질 이미지들도 이용하여 실제 정상 이미지와 합성을 수행할 수 있다.

본 실시 예에서, 모델 생성부(131)는 실제 이물질 이미지 및 가상 이물질 이미지를 실제 정상 이미지의 임의의 위치에 합성할 수 있다. 그리고 모델 생성부(131)는 모든 실제 정상 이미지에 대해, 실제 이물질 이미지 및 가상 이물질 이미지를 임의의 위치에 합성하는 과정을 설정 횟수 반복할 수 있다. 즉 이물질이 식품의 모든 위치에 위치할 수 있기 때문에, 임의의 위치들에 합성할 수 있으며, 획득된 모든 실제 정상 이미지에 대해서 모든 이물질 이미지들로 합성을 수행하거나, 실시 예에 따라서 의의로 실제 정상 이미지 및 이물질 이미지가 선택되어 합성이 수행될 수 있다. 합성을 수행하는 횟수는 설정에 따라 달라질 수 있으며, 정상 데이터 셋과 비정상 데이터 셋의 데이터 수 차이가 기준치에 도달할 때까지로 설정될 수 있다.

또한 본 실시 예에서는, 도 5에 도시된 바와 같이, 합성을 수행할 수 있다. 즉 모델 생성부(131)는 RGB 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 그레이 스케일(GrayScale) 기반의 이미지로 변경하고, 그레이 스케일 기반의 이미지에서, 이물질 부분은 1의 값을 갖고 배경 부분은 0의 값을 갖는 바이너리 값의 제 1 마스크 이미지를 생성할 수 있다.

그리고 모델 생성부(131)는 제 1 마스크 이미지와, RGB 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 AND 연산하여, 배경 부분은 0의 값을 갖고 이물질 부분은 RGB값을 갖는 제 1 이미지를 생성할 수 있다. 또한 모델 생성부(131)는 그레이 스케일 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 반전하여 배경은 1의 값을 갖고 이물질 부분은 0의 값을 갖는 바이너리 값의 제 2 마스크 이미지를 생성할 수 있다.

그리고 모델 생성부(131)는 제 2 마스크 이미지와, RGB 기반의 실제 정상 이미지의 AND 연산을 통해 이물질 부분의 RGB 값은 0이고 나머지 부분은 실제 정상 이미지의 RGB 값을 갖는 제 2 이미지를 생성할 수 있으며, 마지막으로 제 1 이미지와 제 2 이미지를 합성할 수 있다.

즉 본 실시 예에서, 모델 생성부(131)는 실제 정상 이미지, 실제 이물질 이미지, 가상 이물질 이미지, 합성 이미지를 포함하는 전체 데이터를 이용하여 이물질 선별 알고리즘을 학습할 수 있다. 예를 들어, 본 실시 예에서는, 전체 데이터(대파분태 이미지, 실제 이물질 이미지, 가상 이물질 이미지, 겹쳐진 이물질 이미지)를 사용해 이물질 검출을 위한 인공신경망을 학습할 수 있다. 따라서 본 실시 예에서는, 가상 이물질과 겹쳐진 이물질에 의해 기존 데이터 수 대비 전체 데이터 수가 증가되도록 할 수 있으며, 인공신경망 학습에 문제가 되었던 데이터 불균형 문제가 해소되도록 할 수 있다.

그리고 모델 생성부(131)는 상기의 과정을 통해 학습된 이물질 선별 알고리즘의 가중치를 내부 인공신경망에 저장할 수 있다. 즉 본 실시 예에서, 프로세서(130)는 이물질 선별 대상 객체를 촬영한 이미지를 입력으로 하여, 이물질 선별 알고리즘을 통해 해당 이미지의 이물질 여부 또는 해당 이미지 내의 이물질 포함 여부를 판단할 수 있으며, 그 결과를 출력할 수 있다. 예를 들어, 본 실시 예에서는, 식품 제조 현장에서 식품 이미지를 촬영하고, 해당 이미지가 인공신경망의 입력 값으로 제공되어 이미지 내 이물질 포함 여부가 판단되면, 도 7에 도시된 것과 같이, 최종 이물질 선별 결과를 표시하여 출력할 수 있다. 도 7의 초록색 박스는 대파분태를 의미하며 빨간색 박스는 이물질을 의미한다.

한편, 본 실시 예에서는, 이물질 선별 학습 모델의 정확도 향상을 위해 테스트를 수행할 수 있으며, 정상 데이터 셋과 비정상 데이터 셋에서 일부를 테스트 셋으로 설정하여 테스트를 수행할 수 있다. 이때, 테스트 셋 설정 방법은 한정되지 않고 다양한 방법이 적용될 수 있다.

도 8은 본 개시의 일 실시 예에 따른 미세한 이물질 선별 방법을 설명하기 위한 예시도이다.

도 8을 참조하면 본 실시 예에서는, 매우 미세하거나 색상이 유사한 이물질이 식품에 겹쳐져 있는 합성 이미지들을 이용하여 보다 정확하게 이물질을 선별할 수 있는데, 이때 미세한 이물질을 선별하는 방법은 합성한 이물질을 원하는 이물질의 최소 크기로 그리드로 분류하여 딥러닝의 학습 데이터로 입력할 수 있다. 그리고 그리드로 인해 조각난 부분을 확대하여 네트워크의 입력 값으로 입력할 수 있다. 이 경우, 그리드를 확대하여 미세한 이물질도 크게 확대되는 효과를 가질 수 있는 것이다. 이때 딥러닝 네트워크는 한정되지 않고 분류 네트워크 중 가장 최신의 성능을 발휘하는 네트워크로 선정될 수 있다.

따라서, 본 실시 예에서는, 부족한 클래스의 데이터를 수집하여 클래스 간 발생하는 데이터 불균형으로 인한 문제를 해소할 뿐만 아니라 실제 데이터와 가상 데이터를 합성하는 방법을 통해 신경망이 보다 정확하게 정상 식품을 제외한 모든 객체를 이물질로 분류할 수 있도록 학습이 수행되도록 할 수 있다.

도 9는 본 개시의 일 실시 예에 따른 이물질 선별 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, S10단계에서, 이물질 선별 시스템(1)은 이물질 선별 대상 객체를 촬영한 이미지를 획득한다. 즉 본 실시 예에서, 이물질 선별 시스템(1)은 이물질을 선별하고자 하는 이물질 선별 대상 객체를 촬영한 이미지(식품 이미지)를 획득할 수 있다.

S20단계에서, 이물질 선별 시스템(1)은 특정 객체를 정상 또는 비정상으로 분류하도록 훈련된 이미지 처리 기반 학습 모델을 로딩한다. 즉 본 실시 예에서, 이물질 선별 시스템(1)은 특정 객체를 정상(정상 식품) 또는 비정상(이물질)으로 분류하도록 훈련된 이미지 처리 기반 학습 모델을 로딩할 수 있다.

S30단계에서, 이물질 선별 시스템(1)은 획득한 대상 객체 이미지에 학습 모델을 적용하여 대상 객체에 대해 정상 또는 비정상 여부를 판단하고, S40단계에서, 학습 모델을 통해 출력된 대상 객체에 대한 정상 또는 비정상 여부에 기반하여, 비정상 객체를 이물질로 선별하여 표시한다.

즉, 본 실시 예에서, 이물질 선별 시스템(1)은 획득한 대상 객체 이미지에 상기 로딩한 학습 모델을 적용하여 대상 객체에 대해 정상 또는 비정상 여부를 출력하고, 대상 객체에 대한 정상 또는 비정상 여부에 기반하여, 비정상 객체를 이물질로 선별하여 표시할 수 있다. 예를 들어, 대파분태 사이의 이물질들을 분류하고자 하는 경우, 복수 개의 대파분태들과 대파분태를 제외한 나머지 이물질들을 분류하고, 이물질에 대해서만 선별하여 표시하거나 대파분태와 이물질을 구분할 수 있도록 서로 다르게 표시하여, 사용자에게 제공할 수 있다. 따라서 사용자는 표시된 이물질을 확인하여 이물질이 제거되도록 할 수 있다.

한편, 본 실시 예에서는, 부족한 클래스의 데이터를 수집하여 클래스 간 발생하는 데이터 불균형으로 인한 문제를 해소할 뿐만 아니라 실제 데이터와 가상 데이터를 합성하는 방법을 통해 신경망이 보다 정확하게 정상 식품을 제외한 모든 객체를 이물질로 분류할 수 있도록 학습을 수행할 수 있는데, 도 10을 참조하여 설명하도록 한다.

도 10은 본 개시의 일 실시 예에 따른 이물질 선별 학습 모델의 학습 방법을 설명하기 위한 흐름도이다. 도 10에 도시된 바와 같이, S21단계에서, 이물질 선별 시스템(1)은 특정 객체에 대한 실제 정상 이미지 및 실제 이물질 이미지를 획득한다. 이때 이물질 선별 시스템(1)은 실제 정상 이미지를 정상 데이터 셋으로 레이블링 하고, 실제 이물질 이미지를 비정상 데이터 셋으로 레이블링 할 수 있다.

특히 본 실시 예에서는, 정상 클래스와 비정상 클래스 간의 균형을 이룰 수 있도록 하기 위하여, 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이 값에 기반하여 이물질 선별 알고리즘 학습 수행 여부를 설정할 수 있다.

따라서, 이물질 선별 시스템(1)은 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이가 설정치 미만인 경우, 정상 데이터 셋 및 비정상 데이터 셋으로 이물질 선별 알고리즘을 학습할 수 있다. 즉 본 실시 예에서는, 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이가 설정치 미만으로, 학습을 수행하기에 적절한 데이터 균형이 이루어졌다고 판단되는 경우 학습이 수행되도록 할 수 있다. 다시 말해, 본 실시 예에서는, 정상 데이터 셋의 수와 비정상 데이터 셋의 수의 차이가 설정치 이상인 경우, 이물질 이미지를 수집 및 생성하여 비정상 데이터 셋을 추가할 수 있다.

즉 S22단계에서, 이물질 선별 시스템(1)은 획득한 실제 이물질 이미지와 유사한 가상 이물질 이미지를 수집한다. 이때, 이물질 선별 시스템(1)은 획득한 실제 이물질 이미지와 유사한 가상 이물질 이미지를 수집하고, 수집한 가상 이물질 이미지를 비정상 데이터 셋으로 레이블링 할 수 있다. 그리고 이물질 선별 시스템(1)은 실제 이물질 이미지를 기반으로 키워드를 설정하여, 서버로부터 실제 이물질 이미지에 대한 이미지 크롤링 (crawling)을 수행하여, 가상 이물질 이미지를 수집할 수 있다. 예를 들어, 본 실시 예에서는, 서버(예를 들어, 인터넷이나 이미지 데이터베이스 서버 등)에서 실제 이물질과 유사한 가상의 이물질 이미지를 검색할 수 있다.

그 외에도 본 실시 예에서는, 실제 이물질 이미지의 형태 및 색상을 랜덤으로 변경하여 가상 이물질 이미지를 생성하고, 생성한 가상 이물질 이미지를 수집할 수 있다. 예를 들어, 본 실시 예에서는, 이물질은 정상 식품에 비해 형태가 일정하게 정해져 있지 않기 때문에, 랜덤의 형태(N각형(삼각형, 사각형 등등))와 색상 등을 변경하여 실제 이물질 이미지에 합성함으로써 가상 이물질을 생성할 수도 있다.

그리고 S23단계에서, 이물질 선별 시스템(1)은 이물질 이미지와 정상 이미지를 합성한다. 즉 이물질 선별 시스템(1)은 이물질 이미지(수집한 가상 이물질 이미지 및 획득한 실제 이물질 이미지)를 실제 정상 이미지에 합성하고, 합성한 이미지를 비정상 데이터 셋으로 레이블링 할 수 있다.

이때, 이물질 선별 시스템(1)은 실제 이물질 이미지 및 가상 이물질 이미지를 실제 정상 이미지의 임의의 위치에 합성할 수 있으며, 모든 실제 정상 이미지에 대해, 이물질 이미지를 임의의 위치에 합성하는 과정을 설정 횟수 반복할 수 있다.

또한 이물질 선별 시스템(1)은 RGB 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 그레이 스케일(GrayScale) 기반의 이미지로 변경하고, 그레이 스케일 기반의 이미지에서, 이물질 부분은 1의 값을 갖고 배경 부분은 0의 값을 갖는 바이너리 값의 제 1 마스크 이미지를 생성할 수 있다. 그리고 이물질 선별 시스템(1)은 제 1 마스크 이미지와, RGB 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 AND 연산하여, 배경 부분은 0의 값을 갖고 이물질 부분은 RGB값을 갖는 제 1 이미지를 생성할 수 있다. 또한 이물질 선별 시스템(1)은 그레이 스케일 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 반전하여 배경은 1의 값을 갖고 이물질 부분은 0의 값을 갖는 바이너리 값의 제 2 마스크 이미지를 생성할 수 있다. 그리고 이물질 선별 시스템(1)은 제 2 마스크 이미지와, RGB 기반의 실제 정상 이미지의 AND 연산을 통해 이물질 부분의 RGB 값은 0이고 나머지 부분은 실제 정상 이미지의 RGB 값을 갖는 제 2 이미지를 생성할 수 있으며, 제 1 이미지와 제 2 이미지를 합성할 수 있다.

마지막으로, S24단계에서, 이물질 선별 시스템(1)은 실제 정상 이미지, 실제 이물질 이미지, 가상 이물질 이미지, 합성 이미지를 포함하는 전체 데이터를 이용하여 이물질 선별 알고리즘을 학습한다. 예를 들어, 본 실시 예에서는, 전체 데이터(대파분태 이미지, 실제 이물질 이미지, 가상 이물질 이미지, 겹쳐진 이물질 이미지)를 사용해 이물질 검출을 위한 인공신경망을 학습할 수 있다. 따라서 본 실시 예에서는, 가상 이물질과 겹쳐진 이물질에 의해 기존 데이터 수 대비 전체 데이터 수가 증가되도록 할 수 있으며, 인공신경망 학습에 문제가 되었던 데이터 불균형 문제가 해소되도록 할 수 있다. 그리고 이물질 선별 시스템(1)은 상기의 과정을 통해 학습된 이물질 선별 알고리즘의 가중치를 내부 인공신경망에 저장할 수 있다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

1 : 이물질 선별 시스템
100 : 이물질 선별 장치
110 : 메모리
120 : 통신부
130 : 프로세서
131 : 모델 생성부
140 : 사용자 인터페이스
200 : 사용자 단말
300 : 서버
400 : 네트워크

Claims

딥러닝 기반 이미지 처리 기술을 활용한 이물질 선별 방법으로서,
이물질 선별 대상 객체를 촬영한 이미지를 획득하는 단계;
특정 객체를 정상 또는 비정상으로 분류하도록 훈련된 이미지 처리 기반 학습 모델을 로딩하는 단계;
상기 획득한 대상 객체 이미지에 상기 학습 모델을 적용하여 상기 대상 객체에 대해 정상 또는 비정상 여부를 출력하는 단계; 및
상기 학습 모델을 통해 출력된 상기 대상 객체에 대한 정상 또는 비정상 여부에 기반하여, 비정상 객체를 이물질로 선별하여 표시하는 단계를 포함하되,
상기 학습 모델을 학습하는 단계를 더 포함하고,
상기 학습 모델을 학습하는 단계는,
특정 객체에 대한 실제 정상 이미지 및 실제 이물질 이미지를 획득하는 단계;
상기 실제 정상 이미지를 정상 데이터 셋으로 레이블링 하고, 상기 실제 이물질 이미지를 비정상 데이터 셋으로 레이블링 하는 단계;
상기 정상 데이터 셋의 수와 상기 비정상 데이터 셋의 수의 차이가 설정치 미만인 경우, 상기 정상 데이터 셋 및 상기 비정상 데이터 셋으로 이물질 선별 알고리즘을 학습하는 단계; 및
상기 정상 데이터 셋의 수와 상기 비정상 데이터 셋의 수의 차이가 설정치 이상인 경우, 이물질 이미지를 수집 및 생성하여 상기 비정상 데이터 셋을 추가하는 단계를 포함하며,
상기 추가하는 단계는,
상기 획득한 실제 이물질 이미지와 유사한 가상 이물질 이미지를 수집하는 단계; 및
상기 수집한 가상 이물질 이미지를 상기 비정상 데이터 셋으로 레이블링 하는 단계를 포함하고,
상기 수집하는 단계는,
상기 실제 이물질 이미지의 형태 및 색상을 랜덤으로 변경하여 가상 이물질 이미지를 생성하는 단계를 포함하는,
이물질 선별 방법.
삭제
삭제
삭제
제 1 항에 있어서,
상기 수집하는 단계는,
상기 실제 이물질 이미지를 기반으로 키워드를 설정하여, 외부 서버로부터 상기 실제 이물질 이미지에 대한 이미지 크롤링(crawling)을 수행하는 단계를 포함하는,
이물질 선별 방법.
삭제
제 1 항에 있어서,
상기 추가하는 단계는,
상기 수집한 가상 이물질 이미지 및 상기 획득한 실제 이물질 이미지를 상기 실제 정상 이미지에 합성하는 단계; 및
상기 합성한 이미지를 상기 비정상 데이터 셋으로 레이블링 하는 단계를 포함하는,
이물질 선별 방법.
제 7 항에 있어서,
상기 합성하는 단계는,
상기 실제 이물질 이미지 및 상기 가상 이물질 이미지를 상기 실제 정상 이미지의 임의의 위치에 합성하는 단계; 및
모든 실제 정상 이미지에 대해, 상기 실제 이물질 이미지 및 상기 가상 이물질 이미지를 임의의 위치에 합성하는 단계를 설정 횟수 반복하는 단계를 포함하는,
이물질 선별 방법.
제 7 항에 있어서,
상기 합성하는 단계는,
RGB 기반의 상기 가상 이물질 이미지 및 상기 실제 이물질 이미지를 그레이 스케일(GrayScale) 기반의 이미지로 변경하는 단계;
그레이 스케일 기반의 이미지에서, 이물질 부분은 1의 값을 갖고 배경 부분은 0의 값을 갖는 바이너리 값의 제 1 마스크 이미지를 생성하는 단계;
상기 제 1 마스크 이미지와, 상기 RGB 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 AND 연산하여, 배경 부분은 0의 값을 갖고 이물질 부분은 RGB값을 갖는 제 1 이미지를 생성하는 단계;
상기 그레이 스케일 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 반전하여 배경은 1의 값을 갖고 이물질 부분은 0의 값을 갖는 바이너리 값의 제 2 마스크 이미지를 생성하는 단계;
상기 제 2 마스크 이미지와, RGB 기반의 상기 실제 정상 이미지의 AND 연산을 통해 이물질 부분의 RGB 값은 0이고 나머지 부분은 상기 실제 정상 이미지의 RGB 값을 갖는 제 2 이미지를 생성하는 단계; 및
상기 제 1 이미지와 상기 제 2 이미지를 합성하는 단계를 포함하는,
이물질 선별 방법.
제 7 항에 있어서,
상기 실제 이물질 이미지를 획득할 때와 상기 가상 이물질 이미지를 수집할 때, 상기 실제 이물질 이미지 및 상기 가상 이물질 이미지 각각에 대한 사본을 생성하는 단계를 더 포함하고,
상기 합성하는 단계는,
상기 생성된 실제 이물질 이미지 사본 및 상기 생성된 가상 이물질 사본으로 합성을 수행하는 단계를 포함하는,
이물질 선별 방법.
딥러닝 기반 이미지 처리 기술을 활용한 이물질 선별 장치로서,
메모리; 및
상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
이물질 선별 대상 객체를 촬영한 이미지를 획득하는 동작,
특정 객체를 정상 또는 비정상으로 분류하도록 훈련된 이미지 처리 기반 학습 모델을 로딩하는 동작,
상기 획득한 대상 객체 이미지에 상기 학습 모델을 적용하여 상기 대상 객체에 대해 정상 또는 비정상 여부를 출력하는 동작, 및
상기 학습 모델을 통해 출력된 상기 대상 객체에 대한 정상 또는 비정상 여부에 기반하여, 비정상 객체를 이물질로 선별하여 표시하는 동작을 수행하도록 구성되며,
상기 적어도 하나의 프로세서는,
상기 학습 모델을 학습하는 동작을 더 수행하도록 구성되고,
상기 학습 모델을 학습하는 동작은,
특정 객체에 대한 실제 정상 이미지 및 실제 이물질 이미지를 획득하는 동작,
상기 실제 정상 이미지를 정상 데이터 셋으로 레이블링 하고, 상기 실제 이물질 이미지를 비정상 데이터 셋으로 레이블링 하는 동작,
상기 정상 데이터 셋의 수와 상기 비정상 데이터 셋의 수의 차이가 설정치 미만인 경우, 상기 정상 데이터 셋 및 상기 비정상 데이터 셋으로 이물질 선별 알고리즘을 학습하는 동작, 및
상기 정상 데이터 셋의 수와 상기 비정상 데이터 셋의 수의 차이가 설정치 이상인 경우, 이물질 이미지를 수집 및 생성하여 상기 비정상 데이터 셋을 추가하는 동작을 포함하며,
상기 추가하는 동작은,
상기 획득한 실제 이물질 이미지와 유사한 가상 이물질 이미지를 수집하는 동작, 및
상기 수집한 가상 이물질 이미지를 상기 비정상 데이터 셋으로 레이블링 하는 동작을 포함하고,
상기 수집하는 동작은,
상기 실제 이물질 이미지의 형태 및 색상을 랜덤으로 변경하여 가상 이물질 이미지를 생성하는 동작을 포함하는,
이물질 선별 장치.
삭제
삭제
삭제
제 11 항에 있어서,
상기 수집하는 동작은,
상기 실제 이물질 이미지를 기반으로 키워드를 설정하여, 외부 서버로부터 상기 실제 이물질 이미지에 대한 이미지 크롤링(crawling)을 수행하는 동작을 포함하는,
이물질 선별 장치.
삭제
제 11 항에 있어서,
상기 추가하는 동작은,
상기 수집한 가상 이물질 이미지 및 상기 획득한 실제 이물질 이미지를 상기 실제 정상 이미지에 합성하는 동작, 및
상기 합성한 이미지를 상기 비정상 데이터 셋으로 레이블링 하는 동작을 포함하는,
이물질 선별 장치.
제 17 항에 있어서,
상기 합성하는 동작은,
상기 실제 이물질 이미지 및 상기 가상 이물질 이미지를 상기 실제 정상 이미지의 임의의 위치에 합성하는 동작, 및
모든 실제 정상 이미지에 대해, 상기 실제 이물질 이미지 및 상기 가상 이물질 이미지를 임의의 위치에 합성하는 과정을 설정 횟수 반복하는 동작을 포함하는,
이물질 선별 장치.
제 17 항에 있어서,
상기 합성하는 동작은,
RGB 기반의 상기 가상 이물질 이미지 및 상기 실제 이물질 이미지를 그레이 스케일(GrayScale) 기반의 이미지로 변경하는 동작,
그레이 스케일 기반의 이미지에서, 이물질 부분은 1의 값을 갖고 배경 부분은 0의 값을 갖는 바이너리 값의 제 1 마스크 이미지를 생성하는 동작,
상기 제 1 마스크 이미지와, 상기 RGB 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 AND 연산하여, 배경 부분은 0의 값을 갖고 이물질 부분은 RGB값을 갖는 제 1 이미지를 생성하는 동작,
상기 그레이 스케일 기반의 가상 이물질 이미지 및 실제 이물질 이미지를 반전하여 배경은 1의 값을 갖고 이물질 부분은 0의 값을 갖는 바이너리 값의 제 2 마스크 이미지를 생성하는 동작,
상기 제 2 마스크 이미지와, RGB 기반의 상기 실제 정상 이미지의 AND 연산을 통해 이물질 부분의 RGB 값은 0이고 나머지 부분은 상기 실제 정상 이미지의 RGB 값을 갖는 제 2 이미지를 생성하는 동작, 및
상기 제 1 이미지와 상기 제 2 이미지를 합성하는 동작을 포함하는,
이물질 선별 장치.
제 17 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 실제 이물질 이미지를 획득할 때와 상기 가상 이물질 이미지를 수집할 때, 상기 실제 이물질 이미지 및 상기 가상 이물질 이미지 각각에 대한 사본을 생성하는 동작을 더 수행하도록 구성되고,
상기 합성하는 동작은,
상기 생성된 실제 이물질 이미지 사본 및 상기 생성된 가상 이물질 사본으로 합성을 수행하는 동작을 포함하는,
이물질 선별 장치.