KR20200080409A - 미세 조직 분석 장치 - Google Patents

Abstract

본 발명은, 기계학습을 통해 EBSD 데이터와 정합된 SEM 이미지를 생성하고, 생성된 SEM 이미지와 EBSD 라벨데이터를 학습에 이용할 수 있는 미세 조직 분석 장치에 관한 것으로, 본 발명의 일 실시예에 따른 미세 조직 분석 장치는 금속의 미세 조직의 EBSD((Electron Back Scattered Diffraction) 데이터와 동일한 위치의 SEM(Scanning electron microscope) 이미지를 생성하는 학습 데이터 생성부; 및 상기 학습 데이터 생성부로부터의 EBSD 데이터를 라벨 데이터로 사용하여 상기 SEM 이미지를 학습하는 패턴 학습부를 포함할 수 있다.

Description

미세 조직 분석 장치{APPARATUS FOR ANALYZING MICROSTRUCTURE}

본 발명은 미세 조직 분석 장치에 관한 것이다.

금속의 미세 조직을 분석하는 경우 패턴분류를 위해서 라벨된 데이터로 학습하는 것이 우수한 효과를 야기한다. 즉, 학습을 이용한 패턴분류 기술의 발달로 미세조직 이미지와 구별하고 싶은 부분의 정답지(라벨데이터)를 학습시킴으로서 기존의 색, 밝기 등의 구분만 가능했던 이미지 분석기와 달리, 패턴에 의한 미세조직 자동분석이 가능해졌다.

하지만, 금속의 미세조직 패턴 분류에서 라벨데이터를 생산하는 일은 가장 어려운 분야에 속한다. 예를 들어, 에칭 기술로 구별이 가능한 마르텐사이트(martensite) 상(Phase)의 경우, 누구나 정확한 라벨링이 가능하지만, 에칭 기술로 현출이 되지 않는 정보들은(ex. 미세한 잔류오스테나이트, 초기 오스테나이트 결정립계 등) 라벨데이터를 만들 수 없기 때문에 자동 분석 기술을 개발하기 어렵다.

이와 같이 형상만으로 구별이 어려운 정보들은 EBSD(Electron Back Scattered Diffraction, 이하 EBSD) 관찰을 통한 구조분석으로 구별이 가능하여 EBSD 데이터를 라벨데이터로 사용하여 SEM(Scanning electron microscope, 이하 SEM) 이미지 패턴학습을 한다면, EBSD로만 구별이 가능했던 정보를 SEM 이미지로부터 얻는 것이 가능하다. 하지만, EBSD 이미지 데이터와 pixel 단위로 정합된 SEM 이미지를 얻는 것이 불가능한 문제점이 있다.

대한민국 공개특허공보 제10-2017-0058702호 대한민국 등록특허공보 제10-1397599호

본 발명의 일 실시예에 따르면, 기계학습을 통해 EBSD 데이터와 정합된 SEM 이미지를 생성하고, 생성된 SEM 이미지와 EBSD 라벨데이터를 학습에 이용할 수 있는 미세 조직 분석 장치가 제공된다.

상술한 본 발명의 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 미세 조직 분석 장치는 금속의 미세 조직의 EBSD((Electron Back Scattered Diffraction) 데이터와 동일한 위치의 SEM(Scanning electron microscope) 이미지를 생성하는 학습 데이터 생성부; 및 상기 학습 데이터 생성부로부터의 EBSD 데이터를 라벨 데이터로 사용하여 상기 SEM 이미지를 학습하는 패턴 학습부를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 기존에 SEM으로 구분할 수 없었던 구조분석에 기인한 미세조직 패턴 분류를 할 수 있고, 사람의 주관이 개입된 수동 라벨데이터가 아닌, EBSD 데이터를 라벨데이터로 사용함으로써, 학습결과에 대한 신뢰도가 매우 높으며, 과거 측정했거나 혹은 임의의 위치에서 측정된 EBSD 데이터로부터 SEM 이미지를 생성하는 기술로서, 소량의 SEM 데이터로 데이터 증가(data augmentation)가 가능하여 데이터 생산 시간이 단축할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 학습 데이터 생성부의 개략적인 구성도이다.
도 3은 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 패턴 학습부의 개략적인 구성도이다.
도 4는 본 발명의 일 실시예에 따른 미세 조직 분석 장치에서 라벨 데이터로 사용되는 EBSD 상 맵(Phase Map)을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 학습 데이터 생성부에 의해 처리되는 이미지를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 패턴 학습부에 의해 처리되는 이미지를 나타내는 도면이다.
도 7은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 개략적인 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 미세 조직 분석 장치(100)는 학습 데이터 생성부(110), 패턴 학습부(120)를 포함할 수 있다.

학습 데이터 생성부(110)는 금속의 미세 조직의 EBSD((Electron Back Scattered Diffraction) 데이터와 동일한 위치의 SEM(Scanning electron microscope) 이미지를 생성할 수 있다.

패턴 학습부(120)는 학습 데이터 생성부(110)로부터의 EBSD 데이터를 라벨 데이터로 사용하여 상기 SEM 이미지를 학습할 수 있으며, 예측하고자 하는 SEM 이미지를 입력하여 분석 결과를 출력할 수 있다.

보다 상세하게는, 학습 데이터 생성부(110)는 생성적 적대 신경망(Generative Adversarial Network; GAN) 등의 이미지 생성 알고리즘을 이용하여 EBSD 이미지(ex. IQ map)로부터 SEM이미지와 유사한 이미지를 생성할 수 있다.

학습 데이터 생성부(110)는 SEM보다 많은 정보를 가지고 있는 EBSD 이미지를 학습 데이터로 사용함으로써, EBSD데이터를 라벨데이터로 사용하여 SEM 이미지로부터 EBSD로만 알 수 있는 구조적 정보를 학습시킬 수 있다.

따라서, EBSD데이터와 동일한 위치에서의 SEM 이미지가 있어야 하며, 이를 기계적 연마로 얻기는 매우 어렵다. 이에 따라, EBSD와 동일한 위치에서의 SEM 이미지를 얻기 위하여, 종래 방법처럼 EBSD를 먼저 측정한다. EBSD를 측정한 동일면에서 SEM 이미지를 얻게 되면 미소 두께만큼의 기계적 연마가 필수적이므로, 이미지 형상이 달라지게 된다. 따라서, SEM 이미지를 얻기 위한 방법으로서, 생성적 적대 신경망을 이용한다.

도 2는 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 학습 데이터 생성부의 개략적인 구성도이다.

도 1과 함께 도 2를 참조하면, 생성적 적대 신경망은 EBSD이미지로부터 SEM이미지를 생성하는 생성기(111)와 생성된 데이터를 실제 데이터와 비교를 통해 데이터 간의 차이값(Loss function)을 계산하는 비교기(112)로 이루어질 수 있다.

상술한 생성기(111) 및 비교기(112)는 상기 차이값을 줄여가면서 점점 더 실제 이미지와 유사한 SEM 이미지를 생성할 수 있다.

본 발명에서는 생성적 적대 신경망만을 특정한 것이 아니라 다양한 다른 생성적 알고리즘 또한 사용이 가능하다.

한편, 생성기(111)는 측정된 EBSD 데이터의 이미지 변환을 통해 다양한 형태의 맵(map)을 얻을 수 있는데, 최종 SEM 이미지를 얻기 위하여 유리하게 적용될 수 있는 맵은 모두 사용이 가능하다.

도 5는 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 학습 데이터 생성부에 의해 처리되는 이미지를 나타내는 도면이다.

도 5를 참조하면, 일 예로, EBSD IQ map(Image quality map)(좌)은 결정립계나 상 경계 등의 경계 부분에서 후방 산란 전자(back scattered electron)의 키쿠치(kikuchi) 패턴이 나타나지 않아 이미지 상으로 검은색으로 보이게 되는 특성을 가진 맵이다. 따라서, 결정립계 등의 구분이 용이하므로, SEM 이미지(우)와 가장 유사한 이미지를 나타낸다.

상술한 바와 같이, 생성기(111)는 EBSD 이미지와 정합하면서, 같은 해상도를 가지는 SEM 이미지를 생성할 수 있으며, 생성된 SEM 이미지에서 연결이 되지 않은 선이나, 일반적인 SEM 이미지에는 나타날 수 없는 잘못된 부분이 존재한다면, 이는 이미지 후처리기(113)에서 이미지를 수정할 수 있다. 이미지 후처리기(113)는 색상 조절 등의 이미지 노말라이징(normalizing), 끊어진 경계를 연결해주는 수동 수정 등을 수행할 수 있다.

다시 도 1을 참조하면, 패턴 학습부(120)는 SEM 이미지로부터 구분하고 싶은 부분을 색 또는 선으로 구분한 EBSD 맵과 기계학습을 통해 생성된 SEM 이미지를 학습할 수 있다.

즉, 패턴 학습부(120)는 학습데이터 생성부(110)를 통해 EBSD 이미지와 정합하는 SEM 이미지를 얻은 후에는, 패턴학습을 위한 CNN(Convolutional Neural Network, 이하 CNN)을 사용하여 EBSD를 라벨 데이터로 사용하여, SEM 이미지를 학습할수 있다.

학습데이터 생성부(110)로부터 전달받은 EBSD 이미지와 SEM 이미지는 같은 해상도로 이루어져 있으며, CNN 엔진에 바로 사용이 가능하다.

도 4는 본 발명의 일 실시예에 따른 미세 조직 분석 장치에서 라벨 데이터로 사용되는 EBSD 상 맵(Phase Map)을 나타내는 도면이다.

도 4를 참조하면, 여기서, EBSD 이미지라고 하면, SEM이미지에 학습시키고 싶은 구조적 정보를 담고 있는 이미지로서, 예를 들어, SEM 이미지로부터 잔류 오스테나이트를 구분을 하려면 EBSD 상 맵(Phase map)을 이용한다.

또한, 특정한 오정렬(misorientation)을 갖는 결정립계를 구분하려고 하면 EBSD IQ 맵이나, EBSD 회전 각도 맵(Rotaion angle map)을 사용할 수 있다.

상기에 언급된 잔류 오스테나이트나 특정 경계 등은 EBSD 측정을 통해서만 구분이 가능한 정보들로서, 잔류 오스테나이트 혹은 2차상들, 경계 이미지의 이미지 패턴을 학습한다면 SEM 이미지로부터 구분이 가능하며, 이를 통해 EBSD 측정을 하지 않고도 SEM 이미지만으로 EBSD 이미지에서만 구분 가능한 정보들을 구별해 낼 수 있다.

패턴 학습부(120)는 EBSD 이미지와 정합된 SEM 이미지를 학습하기 위해 해상도의 변형없이 이미지를 그대로 사용할 수 있는 이미지 분할(Segmentation)용 컨벌루션 신경망(Convolutional Neural Networks; CNN) 엔진을 사용할 수 있다. 이미지의 정보 소실 없이 정확한 데이터를 얻기 위해선 학습 단계에서 해상도의 축소가 일어나서는 안된다. 이미지 분할용 컨벌루션 신경망 엔진으로서, FCN이나 U-Net이 사용시 학습 성능이 좋으며, 그 외 어떤 CNN엔진도 사용이 가능하다.

FCN이나 U-Net 모두 이미지 분할용 컨벌루션 신경망 엔진으로서, 입력부와 결과 출력부의 픽셀 단위 비교를 통해 원래 이미지 해상도에서 원하는 정보의 위치정보를 보존하면서 결과를 출력해준다.

도 3은 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 패턴 학습부의 개략적인 구성도이다.

도 1과 함께, 도 3을 참조하면, 이미지 분할용 컨벌루션 신경망 엔진은 이미지 입력부(121), 학습부(122), 결과 도출부(123)로 이루어질 수 있다.

도 6은 본 발명의 일 실시예에 따른 미세 조직 분석 장치의 패턴 학습부에 의해 처리되는 이미지를 나타내는 도면이다.

도 6을 참조하면, 이미지 입력부(121)에는 EBSD 이미지(라벨데이터)(우)와 SEM 이미지(입력 데이터)(좌)가 모두 입력된다. 그래픽 처리 장치(Graphic Processing Unit; GPU)의 성능에 따라 원 해상도 그대로 학습에 사용될 수도 있고, 이미지를 잘라서 사용될 수도 있다. 이미지를 자를 때, 너무 작게 자르게 되면, 패턴이 달라지게 되므로, 적절하게 패턴이 구분될 수 있을 정도의 최적의 해상도를 결정해야 한다. (예를 들어, 800x800 픽셀)

학습부(122)에서는 EBSD 이미지(라벨데이터)와 SEM 이미지(입력 데이터)의 학습을 통해 결과치의 파라미터를 조정할 수 있다. 여기서는 커널(kernel)수, 배치(batch)수 등이 변수로 조정이 가능하며, 파라미터 수는 최대 수 기가까지 나타날 수 있다. 검증 오류(Validation error)가 한 값에 수렴하게 되면, 학습이 완료가 된다.

결과 도출부(123)는 이미 학습된 엔진에 예측하고자 하는 SEM 이미지를 입력하면, 학습된 파라미터에 기인하여 이미지를 구별해주며, 최종 학습 성능 결과를 볼 수 있다.

도 7은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.

컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.

또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다.

또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다. 여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.

또한, 컴퓨팅 디바이스(1100)는 네트워크(1200)을 통하여 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다. 여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다.

상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크에 의해 상호접속될 수도 있다.

본 명세서에서 사용되는 "구성요소", "모듈", "시스템", "인터페이스" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다. 예를 들어, 구성요소는 프로세서상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.

상술한 바와 같이, 본 발명에 따르면, EBSD이미지를 라벨데이터로 사용하는 SEM 이미지 학습 엔진을 제작할 수 있으며, 이를 통해 기존에 SEM 이미지로부터 형상정보만으로 구별할 수 없었던 구조적 정보를 학습할 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.

100: 미세 조직 분석 장치
110: 학습 데이터 생성부
111: 생성기
112: 비교기
113: 이미지 후처리기
120: 패턴 학습부
121: 이미지 입력부
122: 학습부
123: 결과 도출부

Claims (7)

1. 금속의 미세 조직의 EBSD((Electron Back Scattered Diffraction) 데이터와 동일한 위치의 SEM(Scanning electron microscope) 이미지를 생성하는 학습 데이터 생성부; 및
   상기 학습 데이터 생성부로부터의 EBSD 데이터를 라벨 데이터로 사용하여 상기 SEM 이미지를 학습하는 패턴 학습부
   를 포함하는 미세 조직 분석 장치.
   
2. 제1항에 있어서,
   상기 학습 데이터 생성부는
   상기 EBSD 데이터로부터 상기 SEM 이미지를 생성하는 생성기; 및
   상기 생성기에 의해 생성된 상기 SEM 이미지와 실제 이미지를 비교하여 차이값을 계산하는 비교기
   를 포함하는 미세 조직 분석 장치.
   
3. 제2항에 있어서,
   상기 학습 데이터 생성부는
   생성된 SEM 이미지의 오류를 수정하는 이미지 후처리기를 더 포함하는 미세 조직 분석 장치.
   
4. 제1항에 있어서,
   상기 학습 데이터 생성부는 측정된 EBSD 데이터를 이미지 변환하여 실제 SEM 이미지와 유사한 EBSD IQ 맵(Image Quality Map)을 생성하는 미세 조직 분석 장치.
   
5. 제1항에 있어서,
   상기 학습 데이터 생성부는 상기 SEM 이미지를 상기 EBSD 데이터와 동일한 해상도로 생성하는 미세 조직 분석 장치.
   
6. 제1항에 있어서,
   상기 패턴 학습부는 예측하고자 하는 SEM 이미지를 입력하여 분석 결과를 출력하는 미세 조직 분석 장치.
   
7. 제6항에 있어서,
   상기 패턴 학습부는
   EBSD 이미지와 SEM 이미지를 입력받는 이미지 입력부;
   EBSD 이미지와 SEM 이미지의 학습을 통해 결과치의 파라미터를 조정하는 학습부; 및
   학습된 파라미터에 기인하여 이미지를 구별해주고, 최종 학습 성능 결과를 출력하는 결과 도출부
   를 포함하는 미세 조직 분석 장치.
   

Images