KR102594810B1 - 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법 - Google Patents

비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법 Download PDF

Info

Publication number
KR102594810B1
KR102594810B1 KR1020220126073A KR20220126073A KR102594810B1 KR 102594810 B1 KR102594810 B1 KR 102594810B1 KR 1020220126073 A KR1020220126073 A KR 1020220126073A KR 20220126073 A KR20220126073 A KR 20220126073A KR 102594810 B1 KR102594810 B1 KR 102594810B1
Authority
KR
South Korea
Prior art keywords
image
domain
vision inspection
domain converter
train
Prior art date
Application number
KR1020220126073A
Other languages
English (en)
Inventor
이동익
남영우
Original Assignee
세이지리서치 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세이지리서치 주식회사 filed Critical 세이지리서치 주식회사
Priority to KR1020220126073A priority Critical patent/KR102594810B1/ko
Application granted granted Critical
Publication of KR102594810B1 publication Critical patent/KR102594810B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G06T5/002—
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 일 실시예에 따른 도메인 변환기의 학습 방법은, 제1 도메인의 트레인 이미지를 획득하는 단계; 상기 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하는 단계; 상기 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하는 단계; 및 상기 타겟 이미지 및 상기 테스트 이미지로 구성된 제1 이미지 페어(pair)를 포함하는 학습 데이터 풀(Train Data Pool)에 기반하여, 도메인 변환기(Domain Transfer)를 학습시키는 단계;를 포함한다.

Description

비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법{A TRAINING METHOD OF A DOMAIN TRANSFER FOR GENRATING IMAGE FOR VISION INSPECTION}
본 출원은 제품의 이상 여부를 분석하기 위한 비전 검사 장치 및 비전 검사 시스템에 관한 것이다. 구체적으로 본 출원은, 비전 검사를 위한 최적의 이미지를 생성하기 위한 도메인 변환기의 학습 방법, 이를 수행하기 위한 비전 검사 장치, 및 비전 검사 시스템에 관한 것이다.
인공지능 기술이 발전하면서 다양한 산업 분야에서 인공지능 기술들이 활용되고 있다. 특히 최근에는 컴퓨터 단층촬영(Computed Tomography, CT)을 활용하여 완성된 제품의 이상 여부를 검사하기 위한 인공지능 기술들이 활발하게 개발되고 있다.
종래의 CT를 이용한 비전 검사는 고정된 환경에서 오랜 시간에 걸쳐 촬영된 CT 이미지를 분석하여 제품의 이상 여부를 검사하였다. 다만 실제 제조 환경에서는 실시간으로 제품의 이상 여부를 검사해야 하기 때문에, 충분한 촬영 시간을 확보하기 어렵다는 제약이 존재하였다. 충분한 촬영 시간이 확보되지 않음에 따라, 촬영된 CT 이미지의 품질이 저하되었으며, CT 이미지의 품질의 저하는 비전 검사의 성능의 저하를 야기하였다.
나아가 종래의 CT를 이용한 비전 검사는 환경의 변화(예컨대, 공장 내의 환경 변화, CT 장치의 세팅 변화, CT 장치의 노화 등)에 취약하다는 제약이 존재하였다. 구체적으로 환경의 변화에 따라 촬영된 CT 이미지의 도메인이 빈번하게 달라지게 되는데, 이러한 CT 이미지의 도메인 변화는 비전 검사 기술의 성능을 저하시키는 문제를 야기하였다. 이에 환경의 변화에 따른 비전 검사의 성능 저하 문제를 해결하기 위하여 환경의 변화에 대응하여 새로운 학습 데이터를 수집하여 추가적으로 비전 검사 모델을 훈련시키거나 새로운 비전 검사 규칙을 생성하는 방식이 제안되었다. 다만 비전 검사 모델을 훈련시키거나 새로운 비전 검사 규칙을 생성하기 위하여 주기적으로 공정 가동을 중단해야 하는 문제와 새로운 비전 검사 모델이나 비전 검사 규칙을 최적화하는 데 시간이 소요되어 공정의 검사를 제대로 수행하지 못한다는 문제가 존재하였다.
이에 CT 이미지의 품질 저하나 다양한 환경 변화에도 제품의 이상 여부를 검사하기 위한 새로운 기술이 요구되는 실정이다.
본 발명이 해결하고자 하는 일 과제는, CT 이미지의 품질 저하나 다양한 환경 변화에도 제품의 이상 여부를 검사하기 위한 비전 검사 장치 및 비전 검사 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 실제 제조 공정에서 촬영된 CT 이미지를 비전 검사 기술이 최적으로 동작될 수 있는 도메인의 CT 이미지로 변환하기 위한 도메인 변환기의 학습 방법, 비전 검사 장치 및 비전 검사 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따른 도메인 변환기의 학습 방법은, 제1 도메인의 트레인 이미지를 획득하는 단계; 상기 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하는 단계; 상기 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하는 단계; 및 상기 타겟 이미지 및 상기 테스트 이미지로 구성된 제1 이미지 페어(pair)를 포함하는 학습 데이터 풀(Train Data Pool)에 기반하여, 도메인 변환기(Domain Transfer)를 학습시키는 단계;를 포함할 수 있다.
본 출원의 일 실시예에 따른 비전 검사 장치는, 제1 도메인의 트레인 이미지를 획득하고, 상기 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하고, 상기 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하고, 상기 타겟 이미지 및 상기 테스트 이미지로 구성된 제1 이미지 페어(pair)를 포함하는 학습 데이터 풀(Train Data Pool)에 기반하여, 도메인 변환기(Domain Transfer)를 학습시키도록 구성된, 프로세서를 포함할 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 실시예에 따른 도메인 변환기의 학습 방법, 비전 검사 장치, 및 비전 검사 시스템에 의하면, 도메인 변환기를 이용하여 비전 검사에 적합한 타겟 도메인에 속하는 CT 이미지를 생성함으로써, 타겟 도메인의 CT 이미지를 수집하기 어려운 실제 제품 제조 공정 하에서도 높은 성능으로 제품의 이상 여부를 실시간으로 검사할 수 있는 효과를 제공할 수 있다.
본 출원의 실시예에 따른 도메인 변환기의 학습 방법, 비전 검사 장치, 및 비전 검사 시스템에 의하면, 픽셀 단위 별로 얼라인(align)된 이미지 페어를 이용하여 지도 학습(supervised learning) 방식으로 도메인 변환기를 훈련시킴으로써, 도메인 변환기의 성능을 높이는 효과를 제공할 수 있다.
본 출원의 실시예에 따른 도메인 변환기의 학습 방법, 비전 검사 장치, 및 비전 검사 시스템에 의하면, 학습된 도메인 변환기를 실행(inference)하는 과정에서 획득되는 데이터들을 추가적으로 활용하여 학습된 도메인 변환기를 추가적으로 학습시킴으로써, 도메인 변환기의 성능 또는 비전 검사의 성능을 극대화하는 효과를 제공할 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 비전 검사 시스템의 개략도이다.
도 2는 본 출원의 일 실시예에 따른 비전 검사 장치의 동작들을 도시한 도면이다.
도 3은 본 출원의 일 실시예에 따른 학습된 도메인 변환기를 통하여 타겟 도메인의 CT 이미지를 생성하는 양상을 설명하기 위한 도면이다.
도 4는 본 출원의 일 실시예에 따른 도메인 변환기의 학습 방법을 도시한 순서도이다.
도 5는 본 출원의 일 실시예에 따른 도메인 변환기를 훈련시키기 위한 학습 데이터 셋을 생성하는 양상을 설명하기 위한 도면이다.
도 6은 본 출원의 일 실시예에 따른 도메인 변환기를 학습시키는 단계를 구체화한 순서도이다.
도 7은 본 출원의 일 실시예에 따른 도메인 변환기를 훈련시키는 양상과 학습된 도메인 변환기를 이용하여 비전 검사에 이용될 이미지를 생성하는 양상을 설명하기 위한 도면이다.
도 8은 본 출원의 일 실시예에 따른 도메인 변환기를 학습시키는 단계를 구체화한 순서도이다.
도 9는 본 출원의 일 실시예에 따른 도메인 변환기를 재학습시키는 양상을 설명하기 위한 도면이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
본 출원의 일 실시예에 따른 도메인 변환기의 학습 방법은, 제1 도메인의 트레인 이미지를 획득하는 단계; 상기 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하는 단계; 상기 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하는 단계; 및 상기 타겟 이미지 및 상기 테스트 이미지로 구성된 제1 이미지 페어(pair)를 포함하는 학습 데이터 풀(Train Data Pool)에 기반하여, 도메인 변환기(Domain Transfer)를 학습시키는 단계;를 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 도메인 변환기를 학습시키는 단계는, 상기 테스트 이미지를 상기 도메인 변환기에 입력하는 단계; 상기 도메인 변환기를 통하여 출력 이미지를 획득하는 단계; 및 상기 출력 이미지와 상기 타겟 이미지에 기초하여 상기 도메인 변환기의 파라미터를 갱신하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 도메인 변환기의 파라미터를 갱신하는 단계는, 상기 출력 이미지와 상기 타겟 이미지의 차이에 기초하여 손실함수를 연산하는 단계; 및 상기 연산된 손실함수에 기반하여 상기 도메인 변환기의 파라미터를 갱신하는 단계;를 더 포함하되, 상기 손실함수는, L1 로스, L2 로스, LPIPS(Learned Perceptual Image Patch Similarity) 로스, 및 GAN 로스 중 적어도 하나와 관련된 함수일 수 있다.
본 출원의 일 실시예에 따르면, 상기 도메인 변환기를 학습시키는 단계는, 학습 결과에 따라 학습이 1차적으로 완료된 제1 도메인 변환기를 획득하는 단계; 및 상기 제1 도메인 변환기에 제1 이미지를 입력하고, 상기 제1 도메인 변환기를 통하여 제2 이미지를 획득하는 단계; 상기 제1 이미지와 상기 제2 이미지로 구성된 제2 이미지 페어를 상기 학습 데이터 풀에 추가하여 상기 학습 데이터 풀을 갱신하는 단계; 및 갱신된 학습 데이터 풀에 기반하여 상기 제1 도메인 변환기(Domain Transfer)를 재학습시키는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제2 도메인의 타겟 이미지를 생성하는 단계는, 이미지 디노이징(Image Denoizing), 이미지 디블러링(Image Deblurring), 이미지 디해징(Image Dehazing), 이미지 샤프닝(Image Sharpening), 이미지 리스토레이션(Image Restoration), 이미지 인핸스먼트(Image Enhancement), 및 이들의 조합 중 적어도 하나와 관련된 알고리즘을 이용하여 상기 트레인 이미지를 변환하여 상기 타겟 이미지를 생성하는 단계를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제3 도메인의 테스트 이미지를 생성하는 단계는, 가우시안 노이즈(Gaussian Noise), 멀티플리케이티브 노이즈(Multiplicative Noise), 이미지 블러링(Image Blurring), 이미지 해이징(Image Hazing), 밝기 변경(Brightness Change), 감마 값 변경(Gamma Value Change) 및 이들의 조합 중 적어도 하나와 관련된 알고리즘을 이용하여 상기 트레인 이미지를 변환하여 상기 테스트 이미지를 생성하는 단계를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 도메인 변환기의 학습 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 출원의 일 실시예에 따른 비전 검사 장치는, 제1 도메인의 트레인 이미지를 획득하고, 상기 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하고, 상기 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하고, 상기 타겟 이미지 및 상기 테스트 이미지로 구성된 제1 이미지 페어(pair)를 포함하는 학습 데이터 풀(Train Data Pool)에 기반하여, 도메인 변환기(Domain Transfer)를 학습시키도록 구성된, 프로세서를 포함할 수 있다.
이하에서는 도면들을 참고하여 본 출원의 비전 검사 시스템, 비전 검사 장치 및 비전 검사 장치에 의해 수행되는 다양한 동작에 관하여 설명한다.
도 1은 본 출원의 일 실시예에 따른 비전 검사 시스템(10)의 개략도이다.
본 출원의 일 실시예에 따른 비전 검사 시스템(10)은 컴퓨터 단층촬영 장치(100) 및 비전 검사 장치(1000)를 포함할 수 있다.
본 출원의 일 실시예에 따른 컴퓨터 단층촬영 장치(100)는, 컴퓨터 단층촬영 기법을 이용하여, 제품과 관련된 CT 이미지를 획득할 수 있다. 예컨대, 컴퓨터 단층촬영 장치(100)는, 후술할 도메인 변환기를 학습시키기 위한 학습 데이터 풀을 생성하는 데 기초가 되는 CT 이미지들을 획득할 수 있다. 예컨대, 컴퓨터 단층촬영 장치(100)는, 비전 검사를 통하여 제품의 이상 여부를 분석하기 위하여 기초가 되는 분석 대상 CT 이미지를 획득할 수 있다. 나아가 컴퓨터 단층촬영 장치(100)는 획득된 CT 이미지들을 비전 검사 장치(1000)로 전달하도록 구성될 수 있다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 컴퓨터 단층촬영 장치(100)를 통하여 촬영된 CT 이미지에 기반하여 제품의 이상 여부를 검사하는 동작을 수행할 수 있다. 구체적으로 비전 검사 장치(1000)는 비전 검사 알고리즘을 통하여 CT 이미지에 기반하여 제품의 이상 여부를 검사할 수 있다. 이때, 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 비전 검사 알고리즘에 최적인 도메인의 CT 이미지를 생성하거나 획득하는 동작을 수행할 수 있다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 송수신부(1100), 메모리(1200), 및 프로세서(1300)를 더 포함할 수 있다.
비전 검사 장치(1000)의 송수신부(1100)는 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 비전 검사 장치(1000)는, 송수신부(1100)를 통해, 컴퓨터 단층촬영 장치(100)를 통하여 촬영한 이미지(예컨대, CT 이미지)를 수신할 수 있다. 또한, 비전 검사 장치(1000)는, 송수신부(1100)를 통해, 후술할 도메인 변환기를 훈련시키기 위한 학습 데이터 셋(또는 학습 데이터 풀)이나 학습이 완료된 도메인 변환기를 실행시키기 위한 실행 데이터를 획득할 수 있다. 또한 비전 검사 장치(1000)는, 송수신부(1100)를 통해, 비전 검사 알고리즘을 통하여 분석한 결과를 포함하여 제품의 이상 여부를 분석하기 위하여 이용된 임의의 정보들을 임의의 외부 장치(혹은 외부 서버)로 송신할 수 있다.
비전 검사 장치(1000)는, 송수신부(1100)를 통해, 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(1100)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 비전 검사 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.
비전 검사 장치(1000)의 메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 비전 검사 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 비전 검사 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 비전 검사 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 비전 검사 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.
프로세서(1300)는 비전 검사 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(1300)는 후술할 도메인 변환기를 학습시키는 동작, 및/또는 학습된 도메인 변환기를 통하여 생성된 이미지를 이용하여 비전 검사를 수행하는 동작 등 비전 검사 장치(1000)의 전반적인 동작을 제어할 수 있다. 구체적으로 프로세서(1300)는 메모리(1200)로부터 비전 검사 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 프로세서(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit), MCU(Microcontroller Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.
이하에서는 도 2 내지 도 3을 참고하여 본 출원의 일 실시예에 따른 비전 검사 장치(1000)의 동작들을 보다 구체적으로 서술한다. 도 2는 본 출원의 일 실시예에 따른 비전 검사 장치(1000)의 동작들을 도시한 도면이다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 도메인 변환기를 학습시키는 동작을 수행할 수 있다. 보다 구체적으로 비전 검사 장치(1000)는 타겟 도메인의 CT 이미지(이하, 타겟 이미지)를 생성하기 위한 도메인 변환기(Domain Transfer)를 학습시키는 동작을 수행할 수 있다. 여기서 타겟 도메인이란 비전 검사 기술이 일정 성능 이상으로 동작될 수 있는 CT 이미지의 도메인을 지칭한다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 트레인 도메인의 CT 이미지(이하, 트레인 이미지)를 획득할 수 있다. 여기서 트레인 도메인이란 도메인 변환기를 학습시키기 위하여 촬영된 CT 이미지의 도메인을 지칭한다. 트레인 도메인에 속하는 CT 이미지는, 통제된 환경에서 촬영될 수 있으며, 이에 따라 후술할 테스트 도메인의 CT 이미지보다는 타겟 도메인의 CT 이미지와 상대적으로 가까운 도메인에 분포하는 특징을 가진다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 트레인 이미지를 이용하여 도메인 변환기(Domain Transfer)를 훈련시키기 위한 학습 데이터 풀(Train Data Pool)을 생성하는 동작을 수행할 수 있다. 구체적으로 비전 검사 장치(1000)는 트레인 이미지로부터 타겟 도메인의 타겟 이미지를 생성할 수 있다. 예컨대, 비전 검사 장치(1000)는 제1 알고리즘(예컨대, 이미지 품질을 향상시키기 위한 임의의 알고리즘)을 이용하여 트레인 이미지로부터 타겟 도메인의 타겟 이미지를 생성할 수 있다.
나아가 비전 검사 장치(1000)는 트레인 이미지로부터 테스트 도메인의 CT 이미지(이하, 테스트 이미지)를 생성할 수 있다. 여기서 테스트 도메인이란 비전 검사 기술이 일정 성능 미만으로 동작될 수 있는 CT 이미지의 도메인을 지칭한다. 구체적으로 테스트 도메인의 CT 이미지는 제품의 실제 제조 환경에서 획득할 수 있는 CT 이미지의 도메인을 지칭할 수 있다. 테스트 도메인의 CT 이미지는 실시간 비전 검사를 위하여 상대적으로 짧은 시간 동안 촬영되었기 때문에, 이미지의 품질이 트레인 이미지와 타겟 이미지보다 상대적으로 낮은 특징을 가진다. 예컨대, 비전 검사 장치(1000)는 제2 알고리즘(예컨대, 이미지 품질을 저하시키기 위한 임의의 알고리즘)을 이용하여 트레인 이미지로부터 타겟 도메인의 타겟 이미지를 생성할 수 있다.
나아가 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 공통의 트레인 이미지로부터 각각 생성된 타겟 이미지와 테스트 이미지로 구성된 이미지 페어(image pair)들을 포함하는 학습 데이터 풀을 생성할 수 있다. 구체적으로 비전 검사 장치(1000)는 타겟 이미지와 테스트 이미지를 매칭시킨 이미지 페어들로 구성된 학습 데이터 풀을 생성할 수 있다. 이때, 공통의 트레인 이미지로부터 각각 생성된 타겟 이미지와 테스트 이미지가 매칭됨으로써 픽셀 단위로 얼라인(align)된 이미지 페어들로 구성된 학습 데이터 풀이 생성될 수 있다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 학습 데이터 풀을 이용하여 지도 학습(supervised learning) 방식으로 도메인 변환기를 학습시킬 수 있다. 일 예로, 비전 검사 장치(1000)는 테스트 이미지로부터 타겟 이미지를 생성하도록 도메인 변환기를 훈련시킬 수 있다. 구체적으로 비전 검사 장치(1000)는 테스트 이미지를 도메인 변환기에 입력하고, 도메인 변환기를 통하여 출력 이미지를 획득하고, 출력 이미지와 타겟 이미지에 기초하여 도메인 변환기의 파라미터를 갱신함으로써, 도메인 변환기를 훈련시킬 수 있다. 예컨대, 비전 검사 장치(1000)는 도메인 변환기를 통하여 출력되는 출력 이미지와 타겟 이미지의 차이에 기초하여, 출력 이미지가 타겟 이미지에 근사되도록 도메인 변환기에 포함된 파라미터를 갱신함으로써, 도메인 변환기를 학습시킬 수 있다.
도메인 변환기를 학습시키는 내용에 대하여는 도 4 내지 도 9에서 보다 구체적으로 설명하기로 한다.
도 3은 본 출원의 일 실시예에 따른 학습된 도메인 변환기를 통하여 타겟 도메인의 CT 이미지를 생성하는 양상을 설명하기 위한 도면이다. 본 출원의 일 실시예에 따라 학습된 도메인 변환기는, 전술한 바와 같이, 테스트 도메인의 CT 이미지에 기반하여 타겟 도메인의 CT 이미지를 생성하도록 훈련되었기에, 테스트 도메인의 CT 이미지를 수신하여 타겟 도메인의 CT 이미지를 출력할 수 있다.
다시 도 2를 참고하면, 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 비전 검사를 수행할 수 있다. 보다 구체적으로 비전 검사 장치(1000)는 학습된 도메인 변환기를 통하여 생성된 이미지에 기반하여 제품의 이상 여부를 분석하기 위한 비전 검사를 수행할 수 있다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 학습된 도메인 변환기를 획득할 수 있다. 구체적으로 비전 검사 장치(1000)는 학습된 도메인 변환기를 실행시키기 위한 실행 데이터를 획득할 수 있다. 나아가 비전 검사 장치(1000)는 학습된 도메인 변환기에 테스트 도메인에 속하는 제1 이미지를 입력하고, 학습된 도메인 변환기를 통하여 출력되는 제2 이미지를 획득할 수 있다. 이때, 전술한 바와 같이, 학습된 도메인 변환기는 테스트 도메인의 CT 이미지에 기반하여 타겟 도메인의 CT 이미지를 생성하도록 훈련되었기에, 제2 이미지는 타겟 도메인에 속하는 CT 이미지일 수 있다.
나아가 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 제2 이미지에 기반하여 비전 검사를 수행할 수 있다. 제2 이미지는 타겟 도메인에 속하는 CT 이미지이기에, 비전 검사 기술이 일정 성능 이상으로 동작될 수 있다. 이를 통하여 비전 검사 장치(1000)는 높은 성능으로 제품의 이상 여부를 실시간으로 분석할 수 있다.
한편 도 2에서는 도시하지는 않았지만, 비전 검사 장치(1000)는 학습된 도메인 변환기를 재학습시키는 동작을 수행할 수 있다. 구체적으로 비전 검사 장치(1000)는 제1 이미지와 제2 이미지를 매칭시켜 이미지 페어를 생성하고, 생성된 이미지 페어를 학습 데이터 풀에 추가하여 학습 데이터 풀을 갱신할 수 있다. 이때, 비전 검사 장치(1000)는 갱신된 학습 데이터 풀에 기반하여 학습된 도메인 변환기를 재학습시킬 수 있다. 본 출원의 일 실시예에 따르면, 제품의 비전 검사를 수행하면서 추가적으로 획득되는 데이터를 이용하여 도메인 변환기를 재학습시킴으로써, 도메인 변환기의 성능을 극대화시키는 효과를 제공할 수 있다. 학습된 도메인 변환기를 재학습시키는 내용에 관하여는 도 8 및 도 9에서 보다 구체적으로 서술하기로 한다.
이하에서는 도 4 내지 도 9를 참고하여 본 출원의 비전 검사 장치(1000) 및 비전 검사 장치(1000)에 의해 수행되는 도메인 변환기의 학습 방법에 대하여 보다 구체적으로 서술하기로 한다. 도메인 변환기의 학습 방법을 설명함에 있어, 도 2 및 도 3에서 설명한 중복되는 내용들은 생략될 수 있다. 다만 이는 설명의 편의를 위한 것일 뿐이며, 이에 제한적으로 해석되어서는 아니된다.
도 4는 본 출원의 일 실시예에 따른 도메인 변환기의 학습 방법을 도시한 순서도이다.
본 출원의 일 실시예에 따른 도메인 변환기의 학습 방법은, 제1 도메인의 트레인 이미지를 획득하는 단계(S1000), 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하는 단계(S2000), 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하는 단계(S3000), 및 도메인 변환기를 학습시키는 단계(S4000)를 포함할 수 있다.
제1 도메인의 트레인 이미지를 획득하는 단계(S1000)에서는, 비전 검사 장치(1000)는 송수신부(1100)를 통하여, 컴퓨터 단층촬영 장치(100)를 통하여 촬영된 제1 도메인(즉, 트레인 도메인)에 속하는 트레인 이미지를 획득할 수 있다. 여기서 트레인 도메인이란 도메인 변환기를 학습시키기 위하여 촬영된 CT 이미지가 분포하는 도메인을 지칭한다. 트레인 도메인에 속하는 CT 이미지는 통제된 환경에서 촬영되었기 때문에, 후술할 테스트 도메인의 CT 이미지보다는 타겟 도메인의 CT 이미지와 상대적으로 가까운 도메인에 분포하는 특징을 가진다.
트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하는 단계(S2000)에서는, 비전 검사 장치(1000)는 트레인 이미지로부터 제2 도메인(즉, 타겟 도메인)에 속하는 타겟 이미지를 생성할 수 있다. 여기서 타겟 도메인이란, 전술한 바와 같이, 비전 검사 기술이 일정 성능 이상으로 동작될 수 있는 CT 이미지의 도메인을 지칭한다.
도 5는 본 출원의 일 실시예에 따른 도메인 변환기를 훈련시키기 위한 학습 데이터 셋을 생성하는 양상을 설명하기 위한 도면이다.
구체적으로 비전 검사 장치(1000)는 제1 알고리즘을 이용하여 트레인 이미지를 변환하여 타겟 이미지를 생성할 수 있다. 예컨대, 비전 검사 장치(1000)는 이미지 디노이징(Image Denoizing), 이미지 디블러링(Image Deblurring), 이미지 디해징(Image Dehazing), 이미지 샤프닝(Image Sharpening), 이미지 리스토레이션(Image Restoration), 이미지 인핸스먼트(Image Enhancement), 및/또는 이들의 조합 중 적어도 하나와 관련된 알고리즘을 이용하여 트레인 이미지를 변환하여 타겟 이미지를 생성할 수 있다.
한편, 비전 검사 장치(1000)는 S2000 단계를 통하여 생성된 CT 이미지가 타겟 도메인에 속하도록 생성되었는지 여부를 검증하는 동작을 수행할 수 있다. 일 예로, 비전 검사 장치(1000)는 S2000 단계를 통하여 생성된 CT 이미지를 비전 검사 알고리즘에 입력하고, 해당 CT 이미지에 기반한 비전 검사의 성능을 수치화한 정량 정보를 획득하고, 정량 정보를 이용하여 S2000 단계를 통하여 생성된 CT 이미지가 타겟 도메인에 속하도록 생성되었는지 검증할 수 있다. 예컨대, 비전 검사 장치(1000)는 정량 정보가 미리 정해진 값보다 큰 지 여부에 따라 S2000 단계를 통하여 생성된 CT 이미지가 타겟 도메인에 속하도록 생성되었는지 여부를 검증할 수 있다.
나아가 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 S2000 단계를 통하여 생성된 CT 이미지가 타겟 도메인에 속하는 지 여부에 따라, 제1 알고리즘에 대한 파라미터를 튜닝할 수 있다. 구체적으로 트레인 도메인에 속하는 CT 이미지로부터 타겟 도메인에 속하는 CT 이미지를 생성하기 위한 제1 알고리즘은 전술한 바와 같이, 디노이징, 디블러링 등의 여러 연산들을 조합해서 결정되게 된다. 이때, 비전 검사 장치(1000)는 S2000 단계를 통하여 생성된 CT 이미지가 타겟 도메인에 속하는 지 여부에 따라, 제1 알고리즘에 조합되는 연산의 종류, 강도, 및/또는 조합 방식과 관련된 최적화 파라미터를 연산할 수 있다. 예컨대, 비전 검사 장치(1000)는 베이지안 최적화, 유전 알고리즘, 또는 경사하강법 등의 최적화 알고리즘을 통하여 제1 알고리즘에 대한 최적화 파라미터를 연산하여 S2000 단계를 통하여 타겟 이미지를 생성하는 정확도를 증대시킬 수 있다.
다시 도 4를 참고한다. 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하는 단계(S3000)에서는, 비전 검사 장치(1000)는 트레인 이미지로부터 제3 도메인(즉, 테스트 도메인)에 속하는 테스트 이미지를 생성할 수 있다. 여기서 테스트 도메인이란 비전 검사 기술이 일정 성능 미만으로 동작될 수 있는 CT 이미지의 도메인을 지칭한다. 구체적으로 테스트 도메인의 CT 이미지는 제품의 실제 제조 환경에서 획득할 수 있는 CT 이미지의 도메인을 지칭할 수 있다. 테스트 도메인의 CT 이미지는 실시간 비전 검사를 위하여 상대적으로 짧은 시간 동안 촬영되었기 때문에, 이미지의 품질이 트레인 이미지와 타겟 이미지보다는 상대적으로 낮은 특징을 가진다.
구체적으로 비전 검사 장치(1000)는 제2 알고리즘을 이용하여 트레인 이미지를 변환하여 테스트 이미지를 생성할 수 있다. 예컨대, 비전 검사 장치(1000)는 가우시안 노이즈(Gaussian Noise), 멀티플리케이티브 노이즈(Multiplicative Noise), 이미지 블러링(Image Blurring), 이미지 해이징(Image Hazing), 밝기 변경(Brightness Change), 감마 값 변경(Gamma Value Change) 및/또는 이들의 조합 중 적어도 하나와 관련된 알고리즘을 이용하여 트레인 이미지를 변환하여 테스트 이미지를 생성할 수 있다.
한편, 비전 검사 장치(1000)는 S3000 단계를 통하여 생성된 CT 이미지가 테스트 도메인에 속하도록 생성되었는지를 검증할 수 있다. 일 예로, 비전 검사 장치(1000)는 테스트 도메인에 속하는 복수의 테스트 이미지로 구성된 테스트 도메인 데이터를 수집하고, 수집된 테스트 도메인 데이터를 이용하여, CT 이미지가 테스트 도메인에 속하는지 아닌지를 구분하기 위한 바이너리 분류기(Binary Classifier)를 훈련시킬 수 있다. 구체적으로 바이너리 분류기는, 테스트 도메인 데이터에 포함된 테스트 이미지는 테스트 도메인에 속하는 CT 이미지로 분류하도록, 테스트 도메인 이외의 CT 이미지는 테스트 도메인에 속하지 않는 CT 이미지로 분류하도록 훈련될 수 있다. 이때, 비전 검사 장치(1000)는 학습된 바이너리 분류기를 이용하여 S3000 단계를 통하여 생성된 CT 이미지를 분류하여 S3000 단계를 통하여 생성된 CT 이미지가 테스트 도메인에 속하도록 생성되었는지 여부를 검증할 수 있다.
나아가 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하는 단계(S3000)에서는, 비전 검사 장치(1000)는 공통의 트레인 이미지로부터 각각 생성된 타겟 이미지와 테스트 이미지로 구성된 이미지 페어(image pair)들을 포함하는 학습 데이터 풀을 생성할 수 있다. 구체적으로 비전 검사 장치(1000)는 타겟 이미지와 테스트 이미지를 매칭시킨 이미지 페어(도 5의 제1 이미지 페어)들로 구성된 학습 데이터 풀을 생성할 수 있다. 이때, 공통의 트레인 이미지로부터 각각 생성된 타겟 이미지와 테스트 이미지를 매칭시킴으로써 픽셀 단위로 얼라인(align)된 이미지 페어들로 구성된 학습 데이터 풀이 생성될 수 있다.
도메인 변환기를 학습시키는 단계(S4000)에서는, 비전 검사 장치(1000)는 S2000 단계를 통하여 생성된 타겟 이미지와 S3000 단계를 통하여 생성된 테스트 이미지로 구성된 이미지 페어를 포함하는 학습 데이터 풀(또는 학습 데이터 셋)에 기반하여 도메인 변환기를 훈련시킬 수 있다.
이하에서는 도 6 내지 도 9를 참고하여 본 출원의 일 실시예에 따른 도메인 변환기를 학습시키는 단계(S4000)를 보다 구체적으로 설명하기로 한다.
도 6은 본 출원의 일 실시예에 따른 도메인 변환기를 학습시키는 단계(S4000)를 구체화한 순서도이다. 도 7은 본 출원의 일 실시예에 따른 도메인 변환기를 훈련시키는 양상과 학습된 도메인 변환기를 이용하여 비전 검사에 이용될 이미지를 생성하는 양상을 설명하기 위한 도면이다. 구체적으로 도 7(a)는 본 출원의 일 실시예에 따른 도메인 변환기를 훈련시키는 양상을 설명하기 위한 도면이며, 도 7(b)는 본 출원의 일 실시예에 따른 도메인 변환기를 이용하여 비전 검사에 이용될 이미지를 생성하는 양상을 설명하기 위한 도면이다.
본 출원의 일 실시예에 따른 도메인 변환기를 학습시키는 단계(S4000)는, 테스트 이미지를 도메인 변환기에 입력하는 단계(S4110), 도메인 변환기를 통하여 출력 이미지를 획득하는 단계(S4120), 및 출력 이미지와 타겟 이미지에 기초하여 도메인 변환기의 파라미터를 갱신하는 단계(S4130)를 더 포함할 수 있다.
구체적으로 비전 검사 장치(1000)는 제1 이미지 페어에 포함된 테스트 이미지를 도메인 변환기에 입력(S4110)하고, 도메인 변환기를 통하여 출력 이미지를 획득(S4120)하고, 제1 이미지 페어의 테스트 이미지와 페어된 타겟 이미지와 출력 이미지에 기초하여 도메인 변환기의 파라미터를 갱신함으로써 도메인 변환기를 훈련시킬 수 있다. (S4130)
일 예로, 비전 검사 장치(1000)는 도메인 변환기를 통하여 출력되는 출력 이미지와 타겟 이미지의 차이에 기초하여, 도메인 변환기에 포함된 파라미터를 갱신함으로써 도메인 변환기를 학습시킬 수 있다. 예컨대, 비전 검사 장치(1000)는 출력 이미지와 타겟 이미지의 차이에 기초하여 손실함수를 연산하고, 연산된 손실함수에 기반하여 출력 이미지가 타겟 이미지에 근사되도록 도메인 변환기의 파라미터를 갱신할 수 있다. 한편 손실함수는 L1 로스, L2 로스, LPIPS(Learned Perceptual Image Patch Similarity) 로스, 및 GAN 로스 중 적어도 하나와 관련된 함수일 수 있다. 예컨대, 비전 검사 장치(1000)는 출력 이미지와 타겟 이미지의 차이에 기초하여 L1 로스와 LPIPS 로스를 각각 연산하고, L1 로스와 LPIPS 로스에 기반하여 도메인 변환기의 파라미터를 갱신하도록 구현될 수 있다. 다만, 이는 예시에 불과하며 전술한 손실함수들의 임의의 적절한 조합으로 타겟 이미지에 근사되도록 출력 이미지를 출력하도록 도메인 변환기를 훈련시킬 수 있을 것이다.
한편 본 출원의 일 실시예에 따른 도메인 변환기는 신경망(Neural Network)의 형태일 수 있다. 일 예로, 도메인 변환기는 엔코더(enconder)-디코더(decoder) 형태의 신경망일 수 있다. 다른 예로, 도메인 변환기는 U-net 계열의 신경망일 수 있다. 다만 이는 예시에 불과하며 이미지를 입력으로 하여 이미지를 출력하도록 구성된 임의의 적절한 형태의 신경망이 본 출원의 도메인 변환기로 구성될 수 있을 것이다.
본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 학습된 도메인 변환기에 테스트 도메인에 속하는 제1 이미지를 입력하고, 학습된 도메인 변환기를 통하여 출력되는 제2 이미지를 획득할 수 있다. 이때, 전술한 바와 같이, 학습된 도메인 변환기는 테스트 도메인의 CT 이미지에 기반하여 타겟 도메인의 CT 이미지를 생성하도록 훈련되었기에, 제2 이미지는 타겟 도메인에 속하는 CT 이미지일 수 있다. 나아가 비전 검사 장치(1000)는 타겟 도메인에 속하는 제2 이미지에 기반하여 비전 검사를 수행할 수 있다. 제2 이미지는 타겟 도메인에 속하는 CT 이미지이므로, 비전 검사 기술이 일정 성능 이상으로 동작될 수 있다. 이를 통하여 비전 검사 장치(1000)는 높은 성능으로 제품의 이상 여부를 실시간으로 분석할 수 있다.
한편 도 7에서는 도시하지는 않았지만, 비전 검사 장치(1000)는 비전 검사의 성능을 높이기 위하여 학습된 도메인 변환기에 입력되는 CT 이미지에 대한 전처리(Preprocessing) 및/또는 학습된 도메인 변환기를 통하여 출력된 CT 이미지에 대한 후처리(Postprocessing)를 수행할 수 있다. 예컨대, 비전 검사 장치(1000)는 비전 검사의 성능을 높이기 위하여 CT 이미지를 크롭(crop)하는 전처리를 수행하도록 구현될 수 있다. 예컨대, 비전 검사 장치(1000)는 비전 검사의 성능을 높이기 위하여 CT 이미지의 콘트라스트(constrast)를 높이거나 CT 이미지에 포함된 노이즈를 제거하기 위한 디노이징(Denozing)의 후처리를 수행하도록 구현될 수 있을 것이다.
한편 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 도메인 변환기의 성능을 보다 높이기 위하여 학습된 도메인 변환기(이하, 제1 도메인 변환기로 지칭)를 추가적으로 학습시키는 동작을 수행하도록 구현될 수 있다.
도 8은 본 출원의 일 실시예에 따른 도메인 변환기를 학습시키는 단계(S4000)를 구체화한 순서도이다. 도 9는 본 출원의 일 실시예에 따른 도메인 변환기를 재학습시키는 양상을 설명하기 위한 도면이다.
본 출원의 일 실시예에 따른 도메인 변환기를 학습시키는 단계(S4000)는, 제1 도메인 변환기를 획득하는 단계(S4210), 제1 도메인 변환기에 제1 이미지를 입력하고, 제1 도메인 변환기를 통하여 제2 이미지를 획득하는 단계(S4220), 제1 이미지와 제2 이미지로 구성된 제2 이미지 페어를 학습 데이터 풀에 추가하여 학습 데이터 풀을 갱신하는 단계(S4230), 및 갱신된 학습 데이터 풀에 기반하여 제1 도메인 변환기를 재학습시키는 단계(S4240)를 포함할 수 있다.
제1 도메인 변환기를 획득하는 단계(S4210)에서는, 비전 검사 장치(1000)는 S4000 단계를 통하여 학습이 1차적으로 완료된 제1 도메인 변환기를 실행시키기 위한 실행 데이터를 획득할 수 있다. 여기서 실행 데이터란, 제1 도메인 변환기의 구조 정보, 연산 정보, 계층 정보 및/또는 파라미터 정보를 포함하여 제1 도메인 변환기를 적절하게 실행시키기 위한 임의의 데이터를 포괄하는 의미일 수 있다.
제1 도메인 변환기에 제1 이미지를 입력하고, 제1 도메인 변환기를 통하여 제2 이미지를 획득하는 단계(S4220)에서는, 비전 검사 장치(1000)는, 컴퓨터 단층촬영 장치(100)로부터 비전 검사를 수행하고자 하는 제1 이미지(예컨대, 테스트 도메인에 속하는 CT 이미지)를 획득하고, 제1 이미지를 제1 도메인 변환기에 입력할 수 있다. 나아가 비전 검사 장치(1000)는 제1 도메인 변환기를 통하여 출력되는 제2 이미지를 획득할 수 있다. 이때, 제2 이미지는, 전술한 바와 같이 제1 도메인 변환기는 테스트 이미지로부터 타겟 이미지를 생성하도록 훈련이 되었기 때문에, 타겟 도메인에 속할 수 있다.
제1 이미지와 제2 이미지로 구성된 제2 이미지 페어를 학습 데이터 풀에 추가하여 학습 데이터 풀을 갱신하는 단계(S4230)에서는, 비전 검사 장치(1000)는 제1 이미지와 제2 이미지에 기반하여 제2 이미지 페어를 생성하고, 제2 이미지 페어를 학습 데이터 풀에 추가하여 학습 데이터 풀을 갱신하도록 구현될 수 있다.
한편 도 9에서는 도시하지 않았지만, 도메인 변환기의 학습 단계(S4000)에서 훈련되지 않은 테스트 이미지가 S4220 단계의 제1 이미지로 획득될 수 있으며, 훈련되지 않은 테스트 이미지로부터 S4220 단계를 통하여 변환 이미지(제2 이미지)가 타겟 도메인에 속하지 않는 경우가 발생될 수 있다. 이에 따라 변환 이미지에 근거한 비전 검사 결과의 성능이 상대적으로 낮은 경우가 존재할 수 있다. 이때, 비전 검사 장치(1000)는 타겟 도메인에 속하지 않는 변환 이미지에 대하여 전술한 제1 알고리즘을 적용하여 타겟 도메인에 속하는 CT 이미지(제3 이미지)를 생성하고, 생성된 타겟 도메인에 속하는 CT 이미지(제3 이미지)와 도메인 변환기의 학습 단계(S4000)에서 훈련되지 않은 테스트 이미지(제1 이미지) 간의 이미지 페어를 학습 데이터 풀에 추가하도록 구현될 수 있을 것이다. 이를 통하여 도메인 변환기의 성능이 극대화될 수 있다.
갱신된 학습 데이터 풀에 기반하여 제1 도메인 변환기를 재학습시키는 단계(S4240)에서는, 비전 검사 장치(1000)는 갱신된 학습 데이터 풀에 포함된 이미지 페어들을 이용하여 제1 도메인 변환기를 추가적으로 학습시키도록 구현될 수 있다. 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 실제 제품 검사를 통하여 획득한 이미지(즉, 도메인 변환기의 인퍼런스 단에서 획득한 이미지)를 학습 데이터 풀에 추가하여 도메인 변환기를 추가적으로 학습시킴으로써, 도메인 변환기의 성능을 최대화하는 효과를 제공할 수 있다.
한편 도시하지는 않았지만, 본 출원의 일 실시예에 따른 비전 검사 장치(1000)는 도메인 변환기의 성능(또는 비전 검사의 정확도)를 극대화하기 위한 목적을 달성하기 위하여 다양한 동작을 수행할 수 있다.
일 예로, 비전 검사 장치(1000)는 비전 검사 알고리즘의 성능을 고려하여 도메인 변환기의 파라미터를 갱신할 수 있다. 예컨대, 비전 검사 장치(1000)는 도메인 변환기를 통하여 출력되는 출력 이미지(도 7을 참고)를 비전 검사 알고리즘을 통하여 분석하고, 출력 이미지의 비전 검사에 대한 성능(혹은 적합도)와 관련된 정량 정보에 기반하여, 비전 검사에 대한 적합도를 높이는 출력 이미지를 생성하도록, 도메인 변환기의 파라미터를 갱신할 수 있다.
일 예로, 비전 검사 장치(1000)는, 도메인 변환기의 재학습 시, 비전 검사 알고리즘의 성능이 상대적으로 높은 CT 이미지(예컨대, 도 9의 제2 이미지)를 테스트 도메인의 CT 이미지(예컨대, 도 9의 제1 이미지)와 페어하여 학습 데이터 풀에 추가하도록 구현될 수 있다. 예컨대, 제2 이미지를 프로세싱하여 프로세싱된 이미지에 대하여 비전 검사 알고리즘을 수행하여 비전 검사 성능이 높아졌다면, 비전 검사 장치(1000)는 프로세싱된 이미지와 제1 이미지를 페어하여 학습 데이터 풀에 추가하거나 도메인 변환기를 통하여 출력되는 CT 이미지를 프로세싱하도록 구현될 수 있다.
다만 이는 예시에 불과하며, 비전 검사 장치(1000)는 도메인 변환기의 성능(또는 비전 검사의 성능)을 극대화하기 위한 목적을 달성하기 위하여 임의의 적절한 방법을 이용하여 도메인 변환기를 훈련시키도록 구현될 수 있을 것이다.
본 출원의 실시예에 따른 도메인 변환기의 학습 방법, 비전 검사 장치, 및 비전 검사 시스템에 의하면, 도메인 변환기를 이용하여 비전 검사에 적합한 타겟 도메인에 속하는 CT 이미지를 생성함으로써, 타겟 도메인의 CT 이미지를 수집하기 어려운 실제 제품 제조 공정 하에서도 높은 성능으로 제품의 이상 여부를 실시간으로 검사할 수 있는 효과를 제공할 수 있다.
본 출원의 실시예에 따른 도메인 변환기의 학습 방법, 비전 검사 장치, 및 비전 검사 시스템에 의하면, 트레인 도메인에 속하는 공통의 CT 이미지에 기반하여 테스트 이미지와 타겟 이미지를 각각 생성하여 픽셀 단위 별로 얼라인(align)된 이미지 페어를 이용하여 지도 학습(supervised learning) 방식으로 도메인 변환기를 훈련시킴으로써, 도메인 변환기의 성능을 높이는 효과를 제공할 수 있다.
본 출원의 실시예에 따른 도메인 변환기의 학습 방법, 비전 검사 장치, 및 비전 검사 시스템에 의하면, 학습된 도메인 변환기를 실행(inference)하는 과정에서 획득되는 데이터들을 추가적으로 활용하여 학습된 도메인 변환기를 추가적으로 학습시킴으로써, 도메인 변환기의 성능 또는 비전 검사의 성능을 극대화하는 효과를 제공할 수 있다.
상술한 비전 검사 장치(1000)의 다양한 동작들은 비전 검사 장치(1000)의 메모리(1200)에 저장될 수 있으며, 비전 검사 장치(1000)의 프로세서(1300)는 메모리(1200)에 저장된 동작들을 수행하도록 제공될 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 비전 검사 장치

Claims (8)

  1. 제품과 관련된 CT 이미지에 기반하여 제품의 이상 여부를 검사하는 비전 검사 장치가, 비전 검사를 위한 CT 이미지를 생성하는 도메인 변환기(Domain Transfer)를 학습시키는 방법에 있어서,
    제1 도메인의 트레인 이미지를 획득하는 단계;
    제1 알고리즘을 이용하여 상기 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하는 단계;
    제2 알고리즘을 이용하여 상기 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하는 단계; 및
    상기 타겟 이미지 및 상기 테스트 이미지로 구성된 제1 이미지 페어(pair)를 포함하는 학습 데이터 풀(Train Data Pool)에 기반하여, 도메인 변환기(Domain Transfer)를 학습시키는 단계;를 포함하고,
    상기 제2 도메인의 타겟 이미지를 생성하는 단계는,
    상기 생성된 타겟 이미지가 상기 제2 도메인에 속하는지 여부에 따라, 상기 제1 알고리즘에 대한 파라미터를 튜닝하고, 상기 파라미터가 튜닝된 상기 제1 알고리즘을 이용하여 상기 트레인 이미지로부터 상기 제2 도메인의 새로운 타겟 이미지를 생성하는 단계를 더 포함하는,
    도메인 변환기의 학습 방법.
  2. 제1 항에 있어서,
    상기 도메인 변환기를 학습시키는 단계는,
    상기 테스트 이미지를 상기 도메인 변환기에 입력하는 단계;
    상기 도메인 변환기를 통하여 출력 이미지를 획득하는 단계; 및
    상기 출력 이미지와 상기 타겟 이미지에 기초하여 상기 도메인 변환기의 파라미터를 갱신하는 단계;를 더 포함하는,
    도메인 변환기의 학습 방법.
  3. 제2 항에 있어서,
    상기 도메인 변환기의 파라미터를 갱신하는 단계는,
    상기 출력 이미지와 상기 타겟 이미지의 차이에 기초하여 손실함수를 연산하는 단계; 및
    상기 연산된 손실함수에 기반하여 상기 도메인 변환기의 파라미터를 갱신하는 단계;를 더 포함하되,
    상기 손실함수는,
    L1 로스, L2 로스, LPIPS(Learned Perceptual Image Patch Similarity) 로스, 및 GAN 로스 중 적어도 하나와 관련된 함수인,
    도메인 변환기의 학습 방법.
  4. 제1 항에 있어서,
    상기 도메인 변환기를 학습시키는 단계는,
    학습 결과에 따라 학습이 1차적으로 완료된 제1 도메인 변환기를 획득하는 단계; 및
    상기 제1 도메인 변환기에 제1 이미지를 입력하고, 상기 제1 도메인 변환기를 통하여 제2 이미지를 획득하는 단계;
    상기 제1 이미지와 상기 제2 이미지로 구성된 제2 이미지 페어를 상기 학습 데이터 풀에 추가하여 상기 학습 데이터 풀을 갱신하는 단계; 및
    갱신된 학습 데이터 풀에 기반하여 상기 제1 도메인 변환기(Domain Transfer)를 재학습시키는 단계;를 더 포함하는,
    도메인 변환기의 학습 방법.
  5. 제1 항에 있어서,
    상기 제2 도메인의 타겟 이미지를 생성하는 단계는,
    이미지 디노이징(Image Denoizing), 이미지 디블러링(Image Deblurring), 이미지 디해징(Image Dehazing), 이미지 샤프닝(Image Sharpening), 이미지 리스토레이션(Image Restoration), 이미지 인핸스먼트(Image Enhancement), 및 이들의 조합 중 적어도 하나와 관련된 상기 제1 알고리즘을 이용하여 상기 트레인 이미지를 변환하여 상기 타겟 이미지를 생성하는 단계를 더 포함하는,
    도메인 변환기의 학습 방법.
  6. 제1 항에 있어서,
    상기 제3 도메인의 테스트 이미지를 생성하는 단계는,
    가우시안 노이즈(Gaussian Noise), 멀티플리케이티브 노이즈(Multiplicative Noise), 이미지 블러링(Image Blurring), 이미지 해이징(Image Hazing), 밝기 변경(Brightness Change), 감마 값 변경(Gamma Value Change) 및 이들의 조합 중 적어도 하나와 관련된 상기 제2 알고리즘을 이용하여 상기 트레인 이미지를 변환하여 상기 테스트 이미지를 생성하는 단계를 더 포함하는,
    도메인 변환기의 학습 방법.
  7. 컴퓨터에 제1 항 내지 제6 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  8. 제품과 관련된 CT 이미지에 기반하여 제품의 이상 여부를 검사하는 비전 검사 장치에 있어서,
    제1 도메인의 트레인 이미지를 획득하고, 제1 알고리즘을 이용하여 상기 트레인 이미지로부터 제2 도메인의 타겟 이미지를 생성하고, 제2 알고리즘을 이용하여 상기 트레인 이미지로부터 제3 도메인의 테스트 이미지를 생성하고, 상기 타겟 이미지 및 상기 테스트 이미지로 구성된 제1 이미지 페어(pair)를 포함하는 학습 데이터 풀(Train Data Pool)에 기반하여, 도메인 변환기(Domain Transfer)를 학습시키도록 구성된, 프로세서를 포함하되,
    상기 프로세서는,
    상기 생성된 타겟 이미지가 상기 제2 도메인에 속하는지 여부에 따라, 상기 제1 알고리즘에 대한 파라미터를 튜닝하고, 상기 파라미터가 튜닝된 상기 제1 알고리즘을 이용하여 상기 트레인 이미지로부터 상기 제2 도메인의 새로운 타겟 이미지를 더 생성하도록 구성되는,
    비전 검사 장치.
KR1020220126073A 2022-10-04 2022-10-04 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법 KR102594810B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220126073A KR102594810B1 (ko) 2022-10-04 2022-10-04 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220126073A KR102594810B1 (ko) 2022-10-04 2022-10-04 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법

Publications (1)

Publication Number Publication Date
KR102594810B1 true KR102594810B1 (ko) 2023-10-30

Family

ID=88557844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220126073A KR102594810B1 (ko) 2022-10-04 2022-10-04 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법

Country Status (1)

Country Link
KR (1) KR102594810B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190058285A (ko) * 2017-11-20 2019-05-29 주식회사 클라리파이 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법
JP2020057161A (ja) * 2018-10-01 2020-04-09 オムロン株式会社 学習装置、制御装置、学習方法、及び学習プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190058285A (ko) * 2017-11-20 2019-05-29 주식회사 클라리파이 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법
JP2020057161A (ja) * 2018-10-01 2020-04-09 オムロン株式会社 学習装置、制御装置、学習方法、及び学習プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GPR B-Scan Image Denoising via Multi-Scale Convolutional Autoencoder with Data Augmentation, Electronics 2021.05.* *

Similar Documents

Publication Publication Date Title
KR101967089B1 (ko) 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
JP7074460B2 (ja) 画像検査装置および方法
US20210295485A1 (en) Inspection device and inspection method
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
JP6844563B2 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
KR20190115713A (ko) 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법
US20140286527A1 (en) Systems and methods for accelerated face detection
CN111179235B (zh) 图像检测模型的生成方法及装置、应用方法及装置
TWI743837B (zh) 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體
CN109740553B (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN105550710A (zh) 基于非线性拟合的接触网运行异常状态智能检测方法
US20210337073A1 (en) Print quality assessments via patch classification
CN117147561B (zh) 用于金属拉链的表面质量检测方法及系统
CN113554624B (zh) 异常检测方法、装置及计算机存储介质
Gan et al. AutoBCS: Block-based image compressive sensing with data-driven acquisition and noniterative reconstruction
Liu et al. A multiscale approach to deep blind image quality assessment
WO2019176988A1 (ja) 検査システム、識別システム、及び識別器評価装置
KR102594810B1 (ko) 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법
KR20180063869A (ko) 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
Jayageetha et al. Medical image quality assessment using CSO based deep neural network
KR20230077367A (ko) 송전탑 영상을 기초로 열화 정도를 판단하는 인공지능 장치 및 그 방법
Zhang et al. Edge detection by adaptive neuro-fuzzy inference system
CN114170214A (zh) 基于眼底图像的高度近视检测方法及相关装置
US20210004954A1 (en) Neural network-type image processing device, appearance inspection apparatus and appearance inspection method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant