KR20220001918A - 강판 미세조직 상 분류 장치 및 방법 - Google Patents

강판 미세조직 상 분류 장치 및 방법 Download PDF

Info

Publication number
KR20220001918A
KR20220001918A KR1020200080423A KR20200080423A KR20220001918A KR 20220001918 A KR20220001918 A KR 20220001918A KR 1020200080423 A KR1020200080423 A KR 1020200080423A KR 20200080423 A KR20200080423 A KR 20200080423A KR 20220001918 A KR20220001918 A KR 20220001918A
Authority
KR
South Korea
Prior art keywords
label data
phase
microstructure
classifying
data
Prior art date
Application number
KR1020200080423A
Other languages
English (en)
Inventor
강민우
권순우
이충안
김현기
홍승현
강전연
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200080423A priority Critical patent/KR20220001918A/ko
Priority to US17/230,455 priority patent/US20210407094A1/en
Priority to CN202110466888.8A priority patent/CN113870276A/zh
Publication of KR20220001918A publication Critical patent/KR20220001918A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 강판 미세조직 상 분류 장치 및 방법에 관한 것으로, 기계학습 알고리즘을 저장하는 저장부 및 상기 기계학습 알고리즘을 이용하여 미세조직 상 분류를 수행하는 처리부를 포함하고, 상기 처리부는 레이블 데이터를 수신하고, 상기 레이블 데이터를 학습 데이터로 이용하여 기계학습 모델을 학습시키고, 학습된 기계학습 모델을 이용하여 강판 미세조직 이미지의 구성상을 분류한다.

Description

강판 미세조직 상 분류 장치 및 방법{APPARATUS AND METHOD FOR PHASE SEGMENTATION OF STEEL MICROSTRUCTURE}
본 발명은 강판 미세조직 상 분류 장치 및 방법에 관한 것이다.
핫 스템핑(hot stamping) 공법으로 제작되는 부품의 원가부담을 낮추기 위해 3세대 강판의 적용이 증가하는 추세이다. 3세대 강판은 기존 강의 단점인 낮은 성형성을 극복하기 위해 TRIP(TRransformation Induced Plasticity) 현상을 이용한다. TRIP 현상을 이용하기 위해서는 강판이 페라이트(ferrite), 베이나이트(bainite), 마르텐사이트(martensite) 및 오스테나이트(austenite)로 구성되는 복합상 미세조직(multi-phase microstructure)을 가진다. 소재의 미세조직은 성형성과 충돌성능과 밀접한 연관이 있으므로, 구성상(phase)의 정확한 구분과 정량 분석이 반드시 필요하다.
이에, 종래에는 EBSD(Electron Back Scatter Diffraction) 상구분 기법을 이용하였다. 이 상구분 기법은 EBSD 측정영역의 특정 데이터를 히스토그램(histogram) 및 1-D 분광학(spectroscopy) 데이터화하여 상별로 구간을 구분한다. EBSD와 같은 구분자 상구분 방법은 다수의 다상 복합 조직 강판 특히, 3세대 초고장력강판(Advanced High Strength Steel, AHSS)에 대한 정량적 상(phase) 분석에서 우수한 효율성을 보이나, 다음과 같은 2가지 문제점이 있다. 첫 번째는 상 구분자의 기준 값을 미세조직 이미지와 분포도로부터 사용자가 직접 판단해야 한다. 두 번째는 제시된 상 구분자가 충분한 상대비능을 가지지 못하는 경우도 존재한다.
본 발명은 기계학습을 이용하여 강판의 미세조직 구성상(phase)을 분류하는 강판 미세조직 상 분류 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시 예에 따른 강판 미세조직 상 분류 장치는 기계학습 알고리즘을 저장하는 저장부 및 상기 기계학습 알고리즘을 이용하여 미세조직 상 분류를 수행하는 처리부를 포함하고, 상기 처리부는 레이블 데이터를 수신하고, 상기 레이블 데이터를 학습 데이터로 이용하여 기계학습 모델을 학습시키고, 학습된 기계학습 모델을 이용하여 강판 미세조직 이미지의 구성상을 분류하는 것을 특징으로 한다.
상기 레이블 데이터는 구분자 상구분 알고리즘에 의해 구분된 상별 개별 결정립 이미지인 것을 특징으로 한다.
상기 구분자 상구분 알고리즘은 IQ(Image Quality)와 KAM(Kernel Average Misorientation)의 컨볼루션 연산을 수행하는 것을 특징으로 한다.
상기 레이블 데이터는 구분 대상인 결정립 정보와 결정립의 주변 정보를 포함하는 것을 특징으로 한다.
상기 결정립의 주변 정보는 상기 결정립 정보와 구분하기 위해 마스킹 처리되는 것을 특징으로 한다.
상기 처리부는 상기 레이블 데이터의 IQ(Image Quality) 값을 정규화하여 상 명암차를 제거하는 것을 특징으로 한다.
상기 처리부는 상기 레이블 데이터를 임의로 좌우 및 상하 반전시켜 학습 데이터로 이용하는 것을 특징으로 한다.
상기 처리부는, 상기 레이블 데이터를 임의 각도로 회전시켜 학습 데이터로 이용하는 것을 특징으로 한다.
본 발명의 다른 실시 예에 따른 강판 미세조직 상 분류 방법은 레이블 데이터를 획득하는 단계, 상기 레이블 데이터를 학습 데이터로 이용하여 기계학습 모델을 학습시키는 단계, 및 학습된 기계학습 모델을 이용하여 강판 미세조직 이미지의 구성상을 분류하는 단계를 포함한다.
상기 레이블 데이터를 획득하는 단계는, 구분자 상구분 알고리즘을 활용하여 상별로 구분된 개별 결정립 이미지를 획득하는 단계를 포함한다.
상기 개별 결정립 이미지는 구분 대상인 결정립 정보와 결정립의 주변 정보를 포함하는 것을 특징으로 한다.
상기 레이블 데이터를 획득하는 단계는, 상기 결정립 정보와 구분하기 위하여 상기 결정립의 주변 정보를 마스킹 처리하는 단계를 더 포함한다.
상기 레이블 데이터를 획득하는 단계는, 상기 레이블 데이터의 IQ(Image Quality)를 정규화하여 상 명암차를 제거하는 단계를 더 포함한다.
상기 레이블 데이터를 획득하는 단계는, 상기 레이블 데이터를 임의로 좌우 및 상하 반전시켜 상기 학습 데이터로 추가하는 단계를 더 포함한다.
상기 레이블 데이터를 획득하는 단계는, 상기 레이블 데이터를 임의 각도로 회전시켜 상기 학습 데이터로 추가하는 단계를 더 포함한다.
본 발명에 따르면, 구분자 상구분 기법으로 분류된 결정립 단위의 이미지 정보를 이용하여 기계학습 모델을 학습시키고, 학습된 기계학습 모델을 이용하여 강판의 미세조직 구성상을 분류(구분)할 수 있다. 따라서, 사용자의 개입이 불필요하며 다양한 강종에 유연하게 적용할 수 있으며 분석의 일관성(consistency)을 유지할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 강판 미세조직 상 분류 장치의 블록구성도를 도시한다.
도 2 내지 도 4는 본 발명의 일 실시 예에 따른 구분자 상구분 알고리즘을 이용한 레이블 데이터 추출을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 강판 미세조직 상 분류 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 상별 레이블 데이터를 도시한 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 강판 미세조직 상 분류 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시 예에 따른 강판 미세조직 상 분류 장치의 블록구성도를 도시한다.
도 1을 참조하면, 강판 미세조직 상 분류 장치(이하, 장치)(100)는 통신부(110), 입력부(120), 출력부(130), 저장부(140) 및 처리부(150)를 포함한다.
통신부(110)는 장치(100)가 외부기기와 통신을 수행하게 한다. 즉, 장치(100)는 통신부(110)을 이용하여 외부기기와 데이터를 주고받을 수 있다. 외부기기는 통신이 가능한 전자기기로, 노트북 컴퓨터, 데스크톱 컴퓨터, 휴대단말기, 서버 및/또는 영상기기(imaging instrument) 등일 수 있다. 여기서, 영상기기로는 SEM(Scanning Electron Microscopy) 또는 LOM(Light Optical Microscopy) 등이 사용될 수 있다.
통신부(110)는 외부로부터 수신한 데이터를 처리부(150)로 직접 전송하거나 또는 입력부(120)를 통해 처리부(150)에 전송할 수 있다. 통신부(110)는 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(ethernet), WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), 블루투스(Bluetooth), NFC(Near Field Communication), HSDPA(High Speed Downlink Packet Access), CDMA(Code Division Multiple Access), GSM(Global System for Mobile communication), LTE(Long Term Evolution), LTE-Advanced 및/또는 IMT(International Mobile Telecommunication)-2020 등의 통신 기술을 이용할 수 있다.
입력부(120)는 통신부(110) 또는 외부기기로부터 레이블 데이터(label data 또는 ground truth data)를 수신할 수 있다. 레이블 데이터는 레이블(학습 데이터의 속성)이 지정된 데이터로, 지도 학습(supervised learning)에 사용되는 학습 데이터이다.
입력부(120)는 레이블 데이터를 가공하여 처리부(150)로 전송할 수 있다. 즉, 입력부(120)는 레이블 데이터를 처리부(150)가 처리할 수 있는 데이터 형태로 전처리(pre-processing)하여 처리부(150)로 전송할 수 있다.
또한, 입력부(120)는 사용자의 조작에 따라 입력 데이터를 발생시키는 사용자 입력장치를 포함할 수 있다. 사용자 입력장치는 키보드(keyboard), 키패드(keypad), 터치 패드(touch pad), 터치스크린(touch screen), 마우스(mouse), 바코드 판독기(bar code reader), QR(Quick Response) 코드 스캐너(code scanner), 및/또는 조이스틱(joystick) 등을 포함할 수 있다.
출력부(130)는 처리부(150)의 동작에 따른 진행 상태 및 결과를 출력할 수 있다. 또한, 출력부(130)는 UI(User Interface) 또는 GUI(Graphic User Interface)를 출력할 수 있다. 출력부(130)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 및 터치스크린 등의 표시장치 중 적어도 하나를 포함할 수 있다.
저장부(140)는 처리부(150)에 의해 실행되는 명령어들을 저장할 수 있다. 저장부(140)는 처리부(150)의 입/출력 데이터들을 임시 저장할 수도 있다. 저장부(140)는 기계학습 알고리즘(기계학습 모델), 학습 데이터 및/또는 레이블 데이터 등을 저장할 수 있다. 또한, 저장부(140)는 기계학습 과정에서 발생되는 데이터 및/또는 기계학습 모델에 의해 강판 미세조직 구성상 분류 결과 등을 저장할 수 있다.
저장부(140)는 처리부(150)의 내부 및/또는 외부에 설치될 수 있다. 저장부(140)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), PROM(programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 레지스터, 착탈형 디스크 및 웹 스토리지(web storage) 등의 저장매체 중 적어도 하나 이상의 저장매체(기록매체)로 구현될 수 있다.
처리부(150)는 장치(100)의 전반적인 동작을 제어한다. 처리부(150)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나를 포함할 수 있다.
처리부(150)는 통신부(110) 또는 입력부(120)를 통해 레이블 데이터 세트를 수신하고, 수신된 레이블 데이터를 학습 데이터로 활용하기 위해 전처리를 수행할 수 있다. 레이블 데이터 세트는 구분자 상구분 기법(구분자 상구분 알고리즘)에 의해 추출된 레이블 데이터의 집합이다. 레이블 데이터는 각 구성상 예컨대, 페라이트 및 베이나이트의 개별 결정립 이미지(결정립 단위의 이미지)이다. 개별 결정립 이미지는 IQ 맵을 활용한 정사각형 이미지이며 개별 결정립의 주변 인접한 영역(주변 정보)를 포함한다. 이와 같이, 단위 결정립 이미지가 개별 결정립의 주변 정보를 포함하므로, 상구분에 있어 대상 결정립 주변의 상황을 활용하여 구성상 인식율을 향상시킬 수 있다.
처리부(150)는 구분 대상이 되는 결정립 영역을 주변 배경과 구분시키기 위해 주변 영역을 마스킹 처리한다. 이러한 마스킹 처리로 인해 레이블 데이터 즉, 단위 결정립 이미지(개별 결정립 이미지) 내 관심 결정립 영역과 주변 배경을 구분할 수 있다. 처리부(150)는 레이블 데이터의 IQ(Image Quality) 값을 정규화(normalization)하여 상에 따른 명암 차이를 제거할 수 있다. 상 명암차를 제거함으로써, 상구분 시 개별 결정립과 주변의 형상만을 고려하게 된다.
처리부(150)는 레이블 데이터를 임의로 좌우 및 상하 반전(reflection)시키고, 0 °-360 ° 사이의 각도로 회전시켜 학습 데이터를 이용할 수 있다. 레이블 데이터의 반전은 시험편의 측정 방향이 미치는 영향을 줄여주므로, 상구분 인식율을 향상시킬 수 있다.
처리부(150)는 전처리된 각 상별 레이블 데이터를 이용하여 기계학습 모델을 학습시킨다. 기계학습 모델로는 컨볼루션 신경망(convolution neural network, CNN)이 사용될 수 있다. 처리부(150)는 기계학습 모델을 활용하여 측정 데이터에서 페라이트와 베이나이트 영역을 구분한 결과를 출력할 수 있다. CNN은 동물의 대뇌 시각 피질(visual cortex)의 작동 원리를 모사한 신경망 모델로, 이미지 인식에서 우수한 성능을 보인다. 본 실시 예에서는 CNN 중 심층신경망(deep neural network) 모델인 AlexNet의 구조를 차용하였다. AlexNet은 적녹청(red-green-blue, RGB)의 3개 채널로 구성된 입력 이미지가 해당 모델의 컨볼루션 층(layer)들을 거치면서 이미지의 특징들을 추출하고 추출된 특징에 근거하여 어느 하나의 개체로 분류한다. AlexNet은 최근 개발된 훨씬 많은 수의 은닉층(hidden layer)을 가지는 심층신경망들에 비해 인식률이 다소 떨어지나 간단한 구조에 기인한 적은 수의 파라미터(parameter) 및 빠른 구동 속도의 장점을 가진다.
처리부(150)는 전이학습(transfer learning) 방식을 이용하여 기계학습 모델을 학습시킨다. 전이학습을 통해 기계학습 모델(CNN 모델)의 말단(terminal)에 위치하는 기존의 완전연결층(fully-connected layer)을 페라이트와 베이나이트 2 개의 개체만을 분류하는 층으로 대체하였고, 해당 층에 이전 층에 비해 10배의 학습 속도(learn rate)를 부여한다. 처리부(150)는 각 상별 레이블 데이터 중 일부 데이터(예: 85%의 데이터)를 이용하여 기계학습 모델에 대한 1차 학습을 수행한다. 처리부(150)는 1차 학습이 완료되면 기계학습 모델의 말단층의 학습 속도를 기존 층과 동일하게 복귀시킨다. 처리부(150)는 각 상별 레이블 데이터 중 일부 1차 학습에 사용된 일부 데이터를 제외한 나머지 데이터를 이용하여 기계학습 모델에 대한 2차 학습을 수행하여 해당 모델을 최적화한다. 최적화된 기계학습 모델 즉, 학습이 완료된 기계학습 모델은 컨볼루션층(convolution 2D layer), ReLU 층(Rectified Linear Unit layer), 교차 채널 정규화층(Cross channel normalization layer), 최대 풀링층(max pooling 2D layer), 완전연결층(Fully connected layer), 드롭아웃층(drop out layer), 및 소프트맥스층(softmax layer) 등 총 25개의 은닉층으로 구성된다.
처리부(150)는 학습이 완료된 기계학습 모델 즉, 상구분 모델을 이용하여 미세조직 이미지 내 구성상을 분류할 수 있다. 다시 말해서, 기계학습된 상구분 모델(알고리즘)에 미세조직 이미지가 입력되면, 상구분 모델은 미세조직 이미지 내 구성상을 분류하여 분류결과를 출력장치(예: 디스플레이)로 출력한다. 여기서, 미세조직 이미지는 SEM 또는 LOM 등의 영상기기를 통해 획득될 수 있다.
도 2 내지 도 4는 본 발명의 일 실시 예에 따른 구분자 상구분 알고리즘을 이용한 레이블 데이터 추출을 설명하기 위한 도면이다.
구분자 상구분 알고리즘은 IQ(Image Quality)만을 이용하여 페라이트와 베이나이트를 구분하기 어렵기 때문에 KAM(Kernel Average Misorientation)을 동시에 활용하여 상 구분자(phase discriminant)를 구성한다. 도 2를 참조하면, 구분자 상구분 알고리즘은 IQ 맵(map)과 KAM 맵을 컨볼루션(convolution)한다. 다시 말해서, 구분자 상구분 알고리즘은 IQ 맵에 대해 KAM 맵으로 구성한 마스크를 적용하여 컨볼루션 연산을 수행하므로 KAM 마스크에 의해 필터링된 IQ 맵 즉, fIQ(filtered IQ)를 구할 수 있다. 구분자 상구분 알고리즘은 fIQ를 결정립 평균(grain-averaged) fIQ 분포로 변환하여 페라이트와 베이나이트의 중첩영역을 제거하여 페라이트와 베이나이트의 구분을 용이하게 한다. fIQ 이용 시 페라이트 상과 베이나이트 상을 구분하는 상구분 기준이 되는 구분 수치(ref)를 제시할 수 있으며, 구성상 분율 정량화가 가능하다. 예를 들어, 도 3에 도시된 바와 같이, 구분자 상구분 알고리즘은 원시 데이터(raw data)로부터 추출된 IQ 분포(301) 및 IQ 맵(302)을 입력받으면, 상구분 결과(311 및 312)를 출력한다.
구분자 상구분 알고리즘에 의한 상구분 결과에 근거하여 학습 데이터로 사용할 레이블 데이터를 추출할 수 있다. 이때, 도 4에 도시된 바와 같이 기준값 즉, 구분 수치(ref)로부터 기설정된 차이값을 가지는 결정립(410 및 420)만 활용한다.
도 5는 본 발명의 일 실시 예에 따른 강판 미세조직 상 분류 방법을 도시한 흐름도이고, 도 6은 본 발명의 일 실시 예에 따른 상별 레이블 데이터를 도시한 예시도이다.
도 5를 참조하면, 처리부(150)는 레이블 데이터를 학습 데이터로 수신한다(S110). 처리부(150)는 통신부(110) 또는 입력부(120)를 통해 레이블 데이터를 수신할 수 있다. 처리부(150)는 레이블 데이터를 학습 데이터로 이용하기 위하여 전처리를 수행할 수 있다. 처리부(150)는 EBSD(Electron Back Scatter Diffraction)를 통해 획득한 개별 결정립 이미지를 이용할 수 있다. 처리부(150)는 구분자 상구분 알고리즘을 이용하여 개별 결정립 이미지의 구성상을 구분하여 레이블 데이터를 생성할 수 있다. 구분자 상구분 알고리즘은 IQ와 KAM의 컨볼루션으로 구성된 결정립의 상 구분자 fIQ를 활용하여 레이블 데이터를 생성할 수 있다. 처리부(150)는 다수의 레이블 데이터 중 구분 기준값에서 충분히 멀리 떨어진 값을 가지는 결정립들만을 활용하여 레이블 데이터 세트를 학습 데이터로 마련할 수 있다. 학습 데이터는 도 6에 도시된 바와 같이 각 상별 레이블 데이터 세트 예컨대, 페라이트 레이블 데이터 세트(610)와 베이나이트 레이블 데이터 세트(620)를 포함할 수 있다. 각 상별 레이블 데이터 중 일부 데이터(예: 85%)는 1차 학습에 사용되고, 나머지 데이터(예: 15%)는 2차 학습을 통한 최적화 과정을 평가(validation)하기 위하여 사용될 수 있다.
처리부(150)는 학습 데이터를 이용하여 기계학습 모델에 대한 1차 학습을 수행한다(S120). 처리부(150)는 학습 데이터 중 일부 데이터를 이용하여 기계학습 모델을 학습시킬 수 있다. 기계학습 모델로는 CNN 모델이 사용될 수 있다.
처리부(150)는 1차 학습이 완료되면 기계학습 모델에 대한 2차 학습을 수행한다(S130). 처리부(150)는 학습 데이터 중 1차 학습에 사용된 일부 데이터를 제외한 나머지 데이터를 이용하여 2차 학습을 수행하여 기계학습 모델을 최적화할 수 있다. 처리부(150)는 1차 학습된 기계학습 모델(기계학습 알고리즘)의 파라미터를 최적화하여 상구분 모델(상구분 알고리즘)을 생성할 수 있다.
처리부(150)는 2차 학습을 통해 통해 학습된 기계학습 모델을 이용하여 입력 미세조직 이미지 내 구성상을 분류한다(S140). 처리부(150)는 영상기기에 의해 획득된 강판 미세조직 이미지가 입력되면 학습된 기계학습 모델 즉, 기계학습 기반 상구분 모델을 활용하여 강판 미세조직 이미지의 구분상을 분류(구분)하고 분류결과로 상 분율(fraction)을 출력할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 강판 미세조직 상 분류 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서(1100) 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서(1100) 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 강판 미세조직 상 분류 장치
110: 통신부
120: 입력부
130: 저장부
140: 출력부
150: 처리부

Claims (15)

  1. 기계학습 알고리즘을 저장하는 저장부; 및
    상기 기계학습 알고리즘을 이용하여 미세조직 상 분류를 수행하는 처리부를 포함하고,
    상기 처리부는 레이블 데이터를 수신하고, 상기 레이블 데이터를 학습 데이터로 이용하여 기계학습 모델을 학습시키고, 학습된 기계학습 모델을 이용하여 강판 미세조직 이미지의 구성상을 분류하는 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  2. 제1항에 있어서,
    상기 레이블 데이터는 구분자 상구분 알고리즘에 의해 구분된 상별 개별 결정립 이미지인 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  3. 제2항에 있어서,
    상기 구분자 상구분 알고리즘은 IQ(Image Quality)와 KAM(Kernel Average Misorientation)의 컨볼루션 연산을 수행하는 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  4. 제2항에 있어서,
    상기 레이블 데이터는 구분 대상인 결정립 정보와 결정립의 주변 정보를 포함하는 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  5. 제4항에 있어서,
    상기 결정립의 주변 정보는 상기 결정립 정보와 구분하기 위해 마스킹 처리되는 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  6. 제2항에 있어서,
    상기 레이블 데이터의 IQ(Image Quality) 값을 정규화하여 상 명암차를 제거하는 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  7. 제2항에 있어서,
    상기 처리부는, 상기 레이블 데이터를 임의로 좌우 및 상하 반전시켜 학습 데이터로 이용하는 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  8. 제7항에 있어서,
    상기 처리부는, 상기 레이블 데이터를 임의 각도로 회전시켜 학습 데이터로 이용하는 것을 특징으로 하는 강판 미세조직 상 분류 장치.
  9. 레이블 데이터를 획득하는 단계;
    상기 레이블 데이터를 학습 데이터로 이용하여 기계학습 모델을 학습시키는 단계; 및
    학습된 기계학습 모델을 이용하여 강판 미세조직 이미지의 구성상을 분류하는 단계를 포함하는 강판 미세조직 상 분류 방법.
  10. 제9항에 있어서,
    상기 레이블 데이터를 획득하는 단계는,
    구분자 상구분 알고리즘을 활용하여 상별로 구분된 개별 결정립 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 강판 미세조직 상 분류 방법.
  11. 제2항에 있어서,
    상기 개별 결정립 이미지는 구분 대상인 결정립 정보와 결정립의 주변 정보를 포함하는 것을 특징으로 하는 강판 미세조직 상 분류 방법.
  12. 제11항에 있어서,
    상기 레이블 데이터를 획득하는 단계는,
    상기 결정립 정보와 구분하기 위하여 상기 결정립의 주변 정보를 마스킹 처리하는 단계를 더 포함하는 것을 특징으로 하는 강판 미세조직 상 분류 방법.
  13. 제11항에 있어서,
    상기 레이블 데이터를 획득하는 단계는,
    상기 레이블 데이터의 IQ(Image Quality)를 정규화하여 상 명암차를 제거하는 단계를 더 포함하는 것을 특징으로 하는 강판 미세조직 상 분류 방법.
  14. 제11항에 있어서,
    상기 레이블 데이터를 획득하는 단계는,
    상기 레이블 데이터를 임의로 좌우 및 상하 반전시켜 상기 학습 데이터로 추가하는 단계를 더 포함하는 것을 특징으로 하는 강판 미세조직 상 분류 방법.
  15. 제11항에 있어서,
    상기 레이블 데이터를 획득하는 단계는,
    상기 레이블 데이터를 임의 각도로 회전시켜 상기 학습 데이터로 추가하는 단계를 더 포함하는 것을 특징으로 하는 강판 미세조직 상 분류 방법.
KR1020200080423A 2020-06-30 2020-06-30 강판 미세조직 상 분류 장치 및 방법 KR20220001918A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200080423A KR20220001918A (ko) 2020-06-30 2020-06-30 강판 미세조직 상 분류 장치 및 방법
US17/230,455 US20210407094A1 (en) 2020-06-30 2021-04-14 Apparatus and method for segmenting steel microstructure phase
CN202110466888.8A CN113870276A (zh) 2020-06-30 2021-04-28 用于分割钢微观组织相的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200080423A KR20220001918A (ko) 2020-06-30 2020-06-30 강판 미세조직 상 분류 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220001918A true KR20220001918A (ko) 2022-01-06

Family

ID=78989855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200080423A KR20220001918A (ko) 2020-06-30 2020-06-30 강판 미세조직 상 분류 장치 및 방법

Country Status (3)

Country Link
US (1) US20210407094A1 (ko)
KR (1) KR20220001918A (ko)
CN (1) CN113870276A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619799B (zh) * 2022-12-15 2023-04-18 北京科技大学 一种基于迁移学习的晶粒图像分割方法及系统
TWI813530B (zh) * 2023-03-06 2023-08-21 中國鋼鐵股份有限公司 相鑑定分析方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743824B2 (en) * 2013-09-04 2017-08-29 Siemens Medical Solutions Usa, Inc. Accurate and efficient polyp detection in wireless capsule endoscopy images
CN112106127A (zh) * 2018-04-27 2020-12-18 克里赛利克斯有限公司 医疗平台
EP3831971B1 (en) * 2018-07-31 2023-03-15 JFE Steel Corporation High-strength hot-rolled plated steel sheet
US10937158B1 (en) * 2019-08-13 2021-03-02 Hong Kong Applied Science and Technology Research Institute Company Limited Medical image segmentation based on mixed context CNN model

Also Published As

Publication number Publication date
US20210407094A1 (en) 2021-12-30
CN113870276A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
Zalpour et al. A new approach for oil tank detection using deep learning features with control false alarm rate in high-resolution satellite imagery
CN112508850B (zh) 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
Fenstermaker et al. Development and validation of a deep-learning model to assist with renal cell carcinoma histopathologic interpretation
Marpu et al. Classification of hyperspectral data using extended attribute profiles based on supervised and unsupervised feature extraction techniques
Bertram et al. Are pathologist-defined labels reproducible? Comparison of the TUPAC16 mitotic figure dataset with an alternative set of labels
Marami et al. Ensemble network for region identification in breast histopathology slides
JP2023543044A (ja) 組織の画像を処理する方法および組織の画像を処理するためのシステム
US20220028068A1 (en) Multi-scale tumor cell detection and classification
KR20220001918A (ko) 강판 미세조직 상 분류 장치 및 방법
Barbu et al. An analysis of robust cost functions for CNN in computer-aided diagnosis
Akbar et al. The transition module: a method for preventing overfitting in convolutional neural networks
Sadanandan et al. Feature augmented deep neural networks for segmentation of cells
Jain et al. A CNN-based neural network for tumor detection using cellular pathological imaging for lobular carcinoma
CN113516194B (zh) 高光谱遥感影像半监督分类方法、装置、设备及存储介质
KR101821770B1 (ko) 특징 추출을 위한 기법들
Niruban et al. Graph neural network-based remote target classification in hyperspectral imaging
Graziani et al. Attention-based interpretable regression of gene expression in histology
Ahmed et al. PMNet: a probability map based scaled network for breast cancer diagnosis
WO2023204959A1 (en) Cell classification using center emphasis of a feature map
Darapaneni et al. Nuclei Segmentation Approach for Computer Aided Diagnosis
Basymeleh et al. Acute lymphoblastic leukemia image classification performance with transfer learning using CNN architecture
CN106504259B (zh) 一种多尺度的图像分割方法
CN115115878A (zh) 一种结合随机遮挡和byol结构的高光谱图像分类方法及其装置
JP2024503977A (ja) ペットの癌を特定するためのシステム及び方法
Ju et al. Mitigating viewpoint sensitivity of self-supervised one-class classifiers