KR20220073287A - 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템 - Google Patents

딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템 Download PDF

Info

Publication number
KR20220073287A
KR20220073287A KR1020200161208A KR20200161208A KR20220073287A KR 20220073287 A KR20220073287 A KR 20220073287A KR 1020200161208 A KR1020200161208 A KR 1020200161208A KR 20200161208 A KR20200161208 A KR 20200161208A KR 20220073287 A KR20220073287 A KR 20220073287A
Authority
KR
South Korea
Prior art keywords
feature map
order
information
cumulative
steel
Prior art date
Application number
KR1020200161208A
Other languages
English (en)
Other versions
KR102456461B1 (ko
KR102456461B9 (ko
Inventor
이종혁
구남훈
김성환
Original Assignee
현대제철 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대제철 주식회사 filed Critical 현대제철 주식회사
Priority to KR1020200161208A priority Critical patent/KR102456461B1/ko
Publication of KR20220073287A publication Critical patent/KR20220073287A/ko
Application granted granted Critical
Publication of KR102456461B1 publication Critical patent/KR102456461B1/ko
Publication of KR102456461B9 publication Critical patent/KR102456461B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/20—Metals
    • G01N33/204—Structure thereof, e.g. crystal structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/418—Imaging electron microscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/421—Imaging digitised image, analysed in real time (recognition algorithms)
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/624—Specific applications or type of materials steel, castings

Landscapes

  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 광학 현미경, 주사 전자 현미경 등으로 얻을 수 있는 철강의 미세 조직 이미지에서 특정 상의 분율 및 상간 경계 등을 명확하게 수치하여 정량적인 정보를 얻을 수 있게 하는 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템에 관한 것으로서, (a) 철강의 미세 조직 이미지 정보를 입력 레이어(Input Layer)에 입력하는 단계; (b) 상기 입력 레이어에 입력된 상기 미세 조직 이미지 정보를 컨볼류션 레이어에서 1차 특징 맵으로 추출하는 단계; (c) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 1차 밀도 블록(Dense Block)에서 상기 1차 특징 맵이 2차 컨볼류션된 2차 특징 맵에 상기 1차 특징 맵을 연계(concatenation)하여 1차 누적 특징 맵으로 누적시키는 단계; 및 (d) 1차 트랜지션 다운(Transition Down)에서 상기 1차 누적 특징 맵의 해상도를 감소시키는 단계;를 포함할 수 있다.

Description

딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템{Analysis method and system for micro structures of steel using deep learning}
본 발명은 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템에 관한 것으로서, 보다 상세하게는 광학 현미경, 주사 전자 현미경 등으로 얻을 수 있는 철강의 미세 조직 이미지에서 특정 상의 분율 및 상간 경계 등을 명확하게 수치하여 정량적인 정보를 얻을 수 있게 하는 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템에 관한 것이다.
일반적으로, 철강의 미세조직이란 재료 내부의 서로 다른 상(phase)이 이루는 공간 구조를 말하는 것으로서, 철강 재료의 중요 품질 특성은 이러한 미세 조직과 밀접한 관련이 있다.
예를 들어, 단단한 조직의 마르텐사이트와 연한 조직의 페라이트의 두 종류의 상이 공존하는 이상 조직강(Dual phase steel)에서는, 두 상의 분율 및 모양이 강도 및 성형성을 결정하는 중요 요소이다. 따라서, 철강 제품의 미세조직의 상분석은 강종개발 실험과정이나 품질평가를 위해 필수적인 업무 과정이다. 미세 조직의 상분석에는 통상적으로 조직을 현미경으로 관찰하여 판단하는 정성적인 방법 그리고 분석 기기를 사용한 정량적인 방법이 있다.
전자의 방법은 대개 광학 현미경(Optical Microscope, OM), 주사 전자 현미경(Scanning Electron Microscope, SEM)등 조직의 모양을 이미지로 얻은 후 관찰자의 경험적 판단에 의해 결정되었다.
그러나, 철강은 합금성분 및 열처리 방법에 따라 다양하고 복잡한 패턴의 미세조직이 발생하기 때문에, 미세 조직의 분석은 숙달된 전문가의 경험이 필요하고 많은 시간이 소요되는 실정이다.
또한, 전문가들이 조직 이미지의 특정 상을 정성적으로 구별하였다 하더라도 각 상의 분율을 정량화시키기 위해서는 추가적인 작업이 필요하다. 따라서 앞서 말한 분석 기기를 사용한 정량적인 방법이 필요한 경우가 발생하며, 여기에는 X-ray회절(X-ray Diffusion, XRD) 분석법 혹은 후방 산란 전자 회절 패턴(Electron Backscatter Diffraction, EBSD) 분석 방법 등이 주로 사용될 수 있다.
이러한 기존의 수작업에 의한 분석 방법들은 추가적인 시편 가공 절차가 필요하며, 분석 기기의 사용 및 분석 방법 등 추가적인 비용, 시간 및 인력이 소요될 수 있다.
이러한 기존의 문제점을 해결하기 위하여, 종래에는 보다 빠르고 정확한 미세 조직 상분석을 위해서 현미경적 관찰단계에서 얻어진 미세 조직 이미지를 숙달된 사람의 경험이 아닌 딥러닝(Deep Learning)방법으로 분석하는 기술이 개발된 방 있다.
컴퓨터 비전 분야에서는 이미지의 처리 목적에 따라 여러 가지 접근 방법이 존재하며, 대표적인 방법은 분류(Classification)와 분할(Semantic Segmentation)이 있다.
분류는 입력 이미지가 여러 라벨(label) 중 어떤 라벨에 해당하는지를 판단하는 기술이다. 이는 입력이미지 전체가 하나의 라벨에 해당되기에 철강 조직에서는 단상(Single Phase)조직의 경우에만 사용할 수 있다. 반면에 분할은 이미지 내 여러 객체를 픽셀(pixel)단위로 구별하여 같은 라벨(label)끼리 표기하는 기법이다. 철강 미세조직은 여러 상이 공존하기 때문에 객체가 둘 이상 존재하는 경우에 적용 할 수 있는 분할 기법으로 접근하여야 한다.
분할 기법에서 널리 알려진 대표적인 인공 신경망은 완전합성곱 신경망(Fully Convolutional Network, FCN)이다. 완전합성곱 신경망은 분류기법을 위해 개발된 VGG 인공신경망의 마지막 단의 완전 연결(Fully-connected) 계층 대신 같은 기능의 1ㅧ1 합성곱 계층으로 대체할 수 있다.
이를 통해 사라지는 공간 정보를 유지하고 이를 후단의 역합성곱(deconvolution)연산으로 확장하여 최종 분할 결과를 얻을 수 있다.
도 1은 기존의 철강의 미세 조직 이미지를 딥러닝으로 분석한 추론 맵 결과를 나타내는 사진들이다.
도 1에 도시된 바와 같이, 이러한 분할 기법의 학습 및 평가 이미지를 위해서는 원본 이미지와 이에 해당하는 지도용 이미지(Ground Truth)가 필요하다.
그러나, 도 1에 도시된 바와 같이, 이러한 완전합성곱 신경망을 이용하는 경우, 추론 결과, 실패한 사례들이 많이 발생될 수 있었다.
도 2는 도 1의 추론 결과에 따른 평균 정확도와 평균 합집합 대비 교집합 비율을 나타내는 도표이다.
종래의 경우, 페라이트, 펄라이트, 마르텐사이트, 템퍼드 마르텐사이트 그리고 베이나이트 5가지 상을 라벨로 분류하여 학습을 진행한 결과, 평균 정확도(Global Accuracy)는 93.94 퍼센트이고, 평균 IOU(Mena Intersection over union)는 67.84로 산출되었다.
그러나, 이러한 종래의 경우와 같이, 실패하는 사례들은 대부분 템퍼드 마르텐사이트, 베이나이트처럼 숙달된 사람의 경험으로도 판별하기 어려운 상에서 주로 발생하였다. 따라서, 보다 높은 분석의 정확도를 확보하기 위하여 새로운 딥러닝 알고리즘의 개발의 필요했었다.
한국특허출원번호 제10-2018-016394
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 미세 조직의 상분석을 현미경적 관찰방법으로 사람이 판단하는 업무를 딥러닝을 통해 자동화하여 아니라 보다 빠른 분석이 가능하고, 철강 미세조직에 적용한 완전합성곱 신경망(FCN)보다 고도화된 인공신경망인 FC-DenseNet을 사용하여 보다 높은 분류 정확도를 얻을 수 있으며, 광학현미경, 주사전자현미경 등 통상적으로 얻은 미세조직 이미지에서 특정상의 분율 및 상간 경계등을 명확히 수치화하여 추가적인 정량적 정보를 얻는 것을 가능하게 하는 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
상기 과제를 해결하기 위한 본 발명의 사상에 따른 딥러닝을 이용한 철강 미세 조직 분석 방법은, (a) 철강의 미세 조직 이미지 정보를 입력 레이어(Input Layer)에 입력하는 단계; (b) 상기 입력 레이어에 입력된 상기 미세 조직 이미지 정보를 컨볼류션 레이어에서 1차 특징 맵으로 추출하는 단계; (c) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 1차 밀도 블록(Dense Block)에서 상기 1차 특징 맵이 2차 컨볼류션된 2차 특징 맵에 상기 1차 특징 맵을 연계(concatenation)하여 1차 누적 특징 맵으로 누적시키는 단계; 및 (d) 1차 트랜지션 다운(Transition Down)에서 상기 1차 누적 특징 맵의 해상도를 감소시키는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (d) 단계 이후에, (e) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 2차 밀도 블록에서 해상도가 감소된 상기 1차 누적 특징 맵이 3차 컨볼류션된 3차 특징 맵에 상기 2차 특징 맵 또는 상기 1차 특징 맵을 연계하여 2차 누적 특징 맵으로 누적시키는 단계; 및 (f) 2차 트랜지션 다운에서 상기 2차 누적 특징 맵의 해상도를 감소시키는 단계;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (f) 단계 이후에, (g) 3차 밀도 블록에서 해상도가 감소된 상기 2차 누적 특징 맵이 4차 컨볼류션된 4차 특징 맵으로 추출하는 단계; 및 (h) 1차 트랜지션 업(Transition Up)에서 상기 4차 특징 맵의 해상도를 증가시키는 단계;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (h) 단계 이후에, (i) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 4차 밀도 블록에서 해상도가 증가된 상기 4차 특징 맵이 5차 컨볼류션된 5차 특징 맵에 적어도 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 3차 누적 특징 맵으로 누적시키는 단계; 및 (j) 2차 트랜지션 업에서 상기 3차 누적 특징 맵의 해상도를 증가시키는 단계;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (j) 단계 이후에, (k) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 5차 밀도 블록에서 해상도가 증가된 상기 3차 누적 특징 맵이 6차 컨볼류션된 6차 특징 맵에 적어도 상기 5차 특징 맵, 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 4차 누적 특징 맵으로 누적시키는 단계; 및 (l) 철강의 미세 조직을 분할하여 판별할 수 있도록 추론 맵을 디컨볼류션 레이어에서 출력 레이어로 출력하는 단계;를 더 포함할 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 사상에 따른 딥러닝을 이용한 철강 미세 조직 분석 시스템은, 철강의 미세 조직 이미지 정보를 입력하는 입력 레이어(Input Layer); 상기 입력 레이어에 입력된 상기 미세 조직 이미지 정보를 1차 특징 맵으로 추출하는 컨볼류션 레이어; 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 상기 1차 특징 맵이 2차 컨볼류션된 2차 특징 맵에 상기 1차 특징 맵을 연계(concatenation)하여 1차 누적 특징 맵으로 누적시키는 1차 밀도 블록(Dense Block); 및 상기 1차 누적 특징 맵의 해상도를 감소시키는 1차 트랜지션 다운(Transition Down);을 포함할 수 있다.
또한, 본 발명에 따르면, 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 감소된 상기 1차 누적 특징 맵이 3차 컨볼류션된 3차 특징 맵에 상기 2차 특징 맵 또는 상기 1차 특징 맵을 연계하여 2차 누적 특징 맵으로 누적시키는 2차 밀도 블록; 및 상기 2차 누적 특징 맵의 해상도를 감소시키는 2차 트랜지션 다운;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 해상도가 감소된 상기 2차 누적 특징 맵이 4차 컨볼류션된 4차 특징 맵으로 추출하는 3차 밀도 블록; 및 상기 4차 특징 맵의 해상도를 증가시키는 1차 트랜지션 업(Transition Up);을 더 포함할 수 있다.
또한, 본 발명에 따르면, 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 증가된 상기 4차 특징 맵이 5차 컨볼류션된 5차 특징 맵에 적어도 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 3차 누적 특징 맵으로 누적시키는 4차 밀도 블록; 및 상기 3차 누적 특징 맵의 해상도를 증가시키는 2차 트랜지션 업;을 더 포함할 수 있다.
또한, 본 발명에 따르면, 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 증가된 상기 3차 누적 특징 맵이 6차 컨볼류션된 6차 특징 맵에 적어도 상기 5차 특징 맵, 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 4차 누적 특징 맵으로 누적시키는 5차 밀도 블록; 및 철강의 미세 조직을 분할하여 판별할 수 있도록 추론 맵을 출력 레이어(Output Layer)로 출력하는 디컨볼류션 레이어;를 더 포함할 수 있다.
상기한 바와 같이 이루어진 본 발명의 일부 실시예들에 따르면, 미세 조직의 상분석을 현미경적 관찰방법으로 사람이 판단하는 업무를 딥러닝을 통해 자동화하여 아니라 보다 빠른 분석이 가능하고, 철강 미세조직에 적용한 완전합성곱 신경망보다 고도화된 인공신경망인 FC-DenseNet을 사용하여 보다 높은 분류 정확도를 얻을 수 있으며, 광학현미경, 주사전자현미경 등 통상적으로 얻은 미세조직 이미지에서 특정상의 분율 및 상간 경계등을 명확히 수치화하여 추가적인 정량적 정보를 얻을 수 있는 효과를 갖는 것이다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 기존의 철강의 미세 조직 이미지를 딥러닝으로 분석한 추론 맵 결과를 나타내는 사진들이다.
도 2는 도 1의 추론 결과에 따른 평균 정확도와 평균 합집합 대비 교집합 비율을 나타내는 도표이다.
도 3은 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 방법을 나타내는 순서도이다.
도 4는 도 3의 딥러닝을 이용한 철강 미세 조직 분석 방법의 개념적으로 설명한 개념도이다.
도 5는 도 3의 딥러닝을 이용한 철강 미세 조직 분석 시스템을 나타내는 블록도이다.
도 6은 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 시스템의 신경망 구조의 일례를 나타내는 도표이다.
도 7은 도 6의 딥러닝을 이용한 철강 미세 조직 분석 방법 시스템의 정확도를 나타내는 도표이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 실시예들을 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 3은 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 방법을 나타내는 순서도이고, 도 4는 도 3의 딥러닝을 이용한 철강 미세 조직 분석 방법의 개념적으로 설명한 개념도이고, 도 5는 도 3의 딥러닝을 이용한 철강 미세 조직 분석 시스템을 나타내는 블록도이다.
먼저, 도 3 내지 도 5에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 방법은, (a) 철강의 미세 조직 이미지 정보(M)를 입력 레이어(IL)(Input Layer)에 입력하는 단계와, (b) 상기 입력 레이어(IL)에 입력된 상기 미세 조직 이미지 정보(M)를 컨볼류션 레이어(CL)에서 1차 특징 맵(M1)으로 추출하는 단계와, (c) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 1차 밀도 블록(DB1)(Dense Block)에서 상기 1차 특징 맵(M1)이 2차 컨볼류션된 2차 특징 맵(M2)에 상기 1차 특징 맵(M1)을 연계(concatenation)하여 1차 누적 특징 맵(T1)으로 누적시키는 단계와, (d) 1차 트랜지션 다운(TD1)(Transition Down)에서 상기 1차 누적 특징 맵(T1)의 해상도를 감소시키는 단계와, (e) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 2차 밀도 블록(DB2)에서 해상도가 감소된 상기 1차 누적 특징 맵(T1)이 3차 컨볼류션된 3차 특징 맵(M3)에 상기 2차 특징 맵(M2) 또는 상기 1차 특징 맵(M1)을 연계하여 2차 누적 특징 맵(T2)으로 누적시키는 단계와, (f) 2차 트랜지션 다운(TD2)에서 상기 2차 누적 특징 맵(T2)의 해상도를 감소시키는 단계와, (g) 3차 밀도 블록(DB3)에서 해상도가 감소된 상기 2차 누적 특징 맵(T2)이 4차 컨볼류션된 4차 특징 맵(M4)으로 추출하는 단계와, (h) 1차 트랜지션 업(TU1)(Transition Up)에서 상기 4차 특징 맵(M4)의 해상도를 증가시키는 단계와, (i) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 4차 밀도 블록(DB4)에서 해상도가 증가된 상기 4차 특징 맵(M4)이 5차 컨볼류션된 5차 특징 맵(M5)에 적어도 상기 4차 특징 맵(M4), 상기 3차 특징 맵(M3), 상기 2차 특징 맵(M2), 상기 1차 특징 맵(M1) 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 3차 누적 특징 맵(T3)으로 누적시키는 단계와, (j) 2차 트랜지션 업(TU2)에서 상기 3차 누적 특징 맵(T3)의 해상도를 증가시키는 단계와, (k) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 5차 밀도 블록(DB5)에서 해상도가 증가된 상기 3차 누적 특징 맵(T3)이 6차 컨볼류션된 6차 특징 맵(M6)에 적어도 상기 5차 특징 맵(M5), 상기 4차 특징 맵(M4), 상기 3차 특징 맵(M3), 상기 2차 특징 맵(M2), 상기 1차 특징 맵(M1) 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 4차 누적 특징 맵(T4)으로 누적시키는 단계 및 (l) 철강의 미세 조직을 분할하여 판별할 수 있도록 추론 맵(MM)을 디컨볼류션 레이어(DCL)에서 출력 레이어(OL)로 출력하는 단계를 포함할 수 있다.
여기서, 도 4에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 방법의 원리를 간단하게 설명하면, 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 방법은, 완전합성곱 신경망보다 더 발전된 형태의 FC-DenseNet이라는 인공 신경망을 이용하는 것으로서, FC-DenseNet은 DenseNet의 구조를 분할 기법을 사용하기 위해 개발된 인공신경망이다.
즉, 기존의 합성곱 신경망은 층이 깊어질수록 효율이 증가하나 일정 이상의 층으로 깊어지면, 학습 효과가 오히려 저하는 문제가 발생할 수 있다. 이는 기존의 합성곱 신경망에서 20층 이상의 깊은 망을 사용하지 못하는 주요 원인 중 하나였다. 이를 극복하기 위해 개발된 신경망이 DenseNet이다. DenseNet은 층이 깊어질수록 앞단의 데이터 정보가 흐릿해지는 문제를 해결하기 위하여, 앞 단의 데이터 정보를 다음 단의 채널(channel)방향으로 모두 더해주는 딥러닝 기법인 Concatenation 기법을 도입하였다.
따라서, 이를 통해 앞 단의 정보를 신경망의 끝까지 유지하는 것이 가능하여 층이 깊어져도 학습효과가 저하되지 않는다. DenseNet에서는 각 단에서 추가되는 채널의 수는 성장률(growth rate), 집약된 정보의 덩어리 구간은 DenseBlock이라 할 수 있다.
도 5는 도 3의 딥러닝을 이용한 철강 미세 조직 분석 시스템을 나타내는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 시스템은, 상술된 FC-DenseNet이라는 인공 신경망을 이용하는 것으로서, 철강의 미세 조직 이미지 정보(M)를 입력하는 입력 레이어(IL)(Input Layer)와, 상기 입력 레이어(IL)에 입력된 상기 미세 조직 이미지 정보(M)를 1차 특징 맵(M1)으로 추출하는 컨볼류션 레이어(CL)와, 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 상기 1차 특징 맵(M1)이 2차 컨볼류션된 2차 특징 맵(M2)에 상기 1차 특징 맵(M1)을 연계(concatenation)하여 1차 누적 특징 맵(T1)으로 누적시키는 1차 밀도 블록(DB1)(Dense Block)와, 상기 1차 누적 특징 맵(T1)의 해상도를 감소시키는 1차 트랜지션 다운(TD1)(Transition Down)와, 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 감소된 상기 1차 누적 특징 맵(T1)이 3차 컨볼류션된 3차 특징 맵(M3)에 상기 2차 특징 맵(M2) 또는 상기 1차 특징 맵(M1)을 연계하여 2차 누적 특징 맵(T2)으로 누적시키는 2차 밀도 블록(DB2)과, 상기 2차 누적 특징 맵(T2)의 해상도를 감소시키는 2차 트랜지션 다운(TD2)과, 해상도가 감소된 상기 2차 누적 특징 맵(T2)이 4차 컨볼류션된 4차 특징 맵(M4)으로 추출하는 3차 밀도 블록(DB3)과, 상기 4차 특징 맵(M4)의 해상도를 증가시키는 1차 트랜지션 업(TU1)(Transition Up)과, 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 증가된 상기 4차 특징 맵(M4)이 5차 컨볼류션된 5차 특징 맵(M5)에 적어도 상기 4차 특징 맵(M4), 상기 3차 특징 맵(M3), 상기 2차 특징 맵(M2), 상기 1차 특징 맵(M1) 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 3차 누적 특징 맵(T3)으로 누적시키는 4차 밀도 블록(DB4)과, 상기 3차 누적 특징 맵(T3)의 해상도를 증가시키는 2차 트랜지션 업(TU2)과, 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 증가된 상기 3차 누적 특징 맵(T3)이 6차 컨볼류션된 6차 특징 맵(M6)에 적어도 상기 5차 특징 맵(M5), 상기 4차 특징 맵(M4), 상기 3차 특징 맵(M3), 상기 2차 특징 맵(M2), 상기 1차 특징 맵(M1) 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 4차 누적 특징 맵(T4)으로 누적시키는 5차 밀도 블록(DB5) 및 철강의 미세 조직을 분할하여 판별할 수 있도록 추론 맵(MM)을 출력 레이어(OL)(Output Layer)로 출력하는 디컨볼류션 레이어(DCL)를 포함할 수 있다.
따라서, 초기 단계의 정보가 후기 단계까지 이어질 수 있기 때문에 앞 단의 정보를 신경망의 끝까지 유지할 수 있어서 학습 효과의 저하를 방지하여 평균 정확도와 평균 합집합 대비 교집합 비율을 크게 향상시킬 수 있다.
그러므로, 미세 조직의 상분석을 현미경적 관찰방법으로 사람이 판단하는 업무를 딥러닝을 통해 자동화하여 아니라 보다 빠른 분석이 가능하고, 철강 미세조직에 적용한 완전합성곱 신경망보다 고도화된 인공신경망인 FC-DenseNet을 사용하여 보다 높은 분류 정확도를 얻을 수 있으며, 광학현미경, 주사전자현미경 등 통상적으로 얻은 미세조직 이미지에서 특정상의 분율 및 상간 경계등을 명확히 수치화하여 추가적인 정량적 정보를 얻을 수 있다.
도 6은 본 발명의 일부 실시예들에 따른 딥러닝을 이용한 철강 미세 조직 분석 시스템의 신경망 구조의 일례를 나타내는 도표이고, 도 7은 도 6의 딥러닝을 이용한 철강 미세 조직 분석 방법 시스템의 정확도를 나타내는 도표이다.
따라서, 도 6에 기재된 FC-DenseNet 신경망의 경우, 도 7에 도시된 바와 같이, 다양한 growth rate에서도 평균 정확도(Global Accuracy)와 평균 IOU(Mena Intersection over union) 모두 90퍼센트 이상으로서 분석의 정확도가 크게 올라가는 것을 확인할 수 있었다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
M: 미세 조직 이미지 정보
IL: 입력 레이어
CL: 컨볼류션 레이어
M1: 1차 특징 맵
M2: 2차 특징 맵
M3: 3차 특징 맵
M4: 4차 특징 맵
M5: 5차 특징 맵
M6: 6차 특징 맵
T1: 1차 누적 특징 맵
T2: 2차 누적 특징 맵
T3: 3차 누적 특징 맵
T4: 4차 누적 특징 맵
DB1: 1차 밀도 블록
DB2: 2차 밀도 블록
DB3: 3차 밀도 블록
DB4: 4차 밀도 블록
DB5: 5차 밀도 블록
TD1: 1차 트랜지션 다운
TD2: 2차 트랜지션 다운
TU1: 1차 트랜지션 업
TU2: 2차 트랜지션 업
MM: 추론 맵
DCL: 디컨볼류션 레이어
OL: 출력 레이어

Claims (10)

  1. (a) 철강의 미세 조직 이미지 정보를 입력 레이어(Input Layer)에 입력하는 단계;
    (b) 상기 입력 레이어에 입력된 상기 미세 조직 이미지 정보를 컨볼류션 레이어에서 1차 특징 맵으로 추출하는 단계;
    (c) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 1차 밀도 블록(Dense Block)에서 상기 1차 특징 맵이 2차 컨볼류션된 2차 특징 맵에 상기 1차 특징 맵을 연계(concatenation)하여 1차 누적 특징 맵으로 누적시키는 단계; 및
    (d) 1차 트랜지션 다운(Transition Down)에서 상기 1차 누적 특징 맵의 해상도를 감소시키는 단계;
    를 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 방법.
  2. 제 1 항에 있어서,
    상기 (d) 단계 이후에,
    (e) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 2차 밀도 블록에서 해상도가 감소된 상기 1차 누적 특징 맵이 3차 컨볼류션된 3차 특징 맵에 상기 2차 특징 맵 또는 상기 1차 특징 맵을 연계하여 2차 누적 특징 맵으로 누적시키는 단계; 및
    (f) 2차 트랜지션 다운에서 상기 2차 누적 특징 맵의 해상도를 감소시키는 단계;
    를 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 방법.
  3. 제 2 항에 있어서,
    상기 (f) 단계 이후에,
    (g) 3차 밀도 블록에서 해상도가 감소된 상기 2차 누적 특징 맵이 4차 컨볼류션된 4차 특징 맵으로 추출하는 단계; 및
    (h) 1차 트랜지션 업(Transition Up)에서 상기 4차 특징 맵의 해상도를 증가시키는 단계;
    를 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 방법.
  4. 제 3 항에 있어서,
    상기 (h) 단계 이후에,
    (i) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 4차 밀도 블록에서 해상도가 증가된 상기 4차 특징 맵이 5차 컨볼류션된 5차 특징 맵에 적어도 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 3차 누적 특징 맵으로 누적시키는 단계; 및
    (j) 2차 트랜지션 업에서 상기 3차 누적 특징 맵의 해상도를 증가시키는 단계;
    를 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 방법.
  5. 제 4 항에 있어서,
    상기 (j) 단계 이후에,
    (k) 초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 5차 밀도 블록에서 해상도가 증가된 상기 3차 누적 특징 맵이 6차 컨볼류션된 6차 특징 맵에 적어도 상기 5차 특징 맵, 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 4차 누적 특징 맵으로 누적시키는 단계; 및
    (l) 철강의 미세 조직을 분할하여 판별할 수 있도록 추론 맵을 디컨볼류션 레이어에서 출력 레이어로 출력하는 단계;
    를 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 방법.
  6. 철강의 미세 조직 이미지 정보를 입력하는 입력 레이어(Input Layer);
    상기 입력 레이어에 입력된 상기 미세 조직 이미지 정보를 1차 특징 맵으로 추출하는 컨볼류션 레이어;
    초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 상기 1차 특징 맵이 2차 컨볼류션된 2차 특징 맵에 상기 1차 특징 맵을 연계(concatenation)하여 1차 누적 특징 맵으로 누적시키는 1차 밀도 블록(Dense Block); 및
    상기 1차 누적 특징 맵의 해상도를 감소시키는 1차 트랜지션 다운(Transition Down);
    을 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 시스템.
  7. 제 6 항에 있어서,
    초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 감소된 상기 1차 누적 특징 맵이 3차 컨볼류션된 3차 특징 맵에 상기 2차 특징 맵 또는 상기 1차 특징 맵을 연계하여 2차 누적 특징 맵으로 누적시키는 2차 밀도 블록; 및
    상기 2차 누적 특징 맵의 해상도를 감소시키는 2차 트랜지션 다운;
    을 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 시스템.
  8. 제 7 항에 있어서,
    해상도가 감소된 상기 2차 누적 특징 맵이 4차 컨볼류션된 4차 특징 맵으로 추출하는 3차 밀도 블록; 및
    상기 4차 특징 맵의 해상도를 증가시키는 1차 트랜지션 업(Transition Up);
    을 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 시스템.
  9. 제 8 항에 있어서,
    초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 증가된 상기 4차 특징 맵이 5차 컨볼류션된 5차 특징 맵에 적어도 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 3차 누적 특징 맵으로 누적시키는 4차 밀도 블록; 및
    상기 3차 누적 특징 맵의 해상도를 증가시키는 2차 트랜지션 업;
    을 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 시스템.
  10. 제 9 항에 있어서,
    초기 단계의 정보가 후기 단계의 정보로 이어질 수 있도록 해상도가 증가된 상기 3차 누적 특징 맵이 6차 컨볼류션된 6차 특징 맵에 적어도 상기 5차 특징 맵, 상기 4차 특징 맵, 상기 3차 특징 맵, 상기 2차 특징 맵, 상기 1차 특징 맵 중 어느 하나 이상을 선택하여 연계(concatenation)함으로써 4차 누적 특징 맵으로 누적시키는 5차 밀도 블록; 및
    철강의 미세 조직을 분할하여 판별할 수 있도록 추론 맵을 출력 레이어(Output Layer)로 출력하는 디컨볼류션 레이어;
    를 더 포함하는, 딥러닝을 이용한 철강 미세 조직 분석 시스템.
KR1020200161208A 2020-11-26 2020-11-26 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템 KR102456461B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200161208A KR102456461B1 (ko) 2020-11-26 2020-11-26 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161208A KR102456461B1 (ko) 2020-11-26 2020-11-26 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템

Publications (3)

Publication Number Publication Date
KR20220073287A true KR20220073287A (ko) 2022-06-03
KR102456461B1 KR102456461B1 (ko) 2022-10-19
KR102456461B9 KR102456461B9 (ko) 2023-05-11

Family

ID=81983398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161208A KR102456461B1 (ko) 2020-11-26 2020-11-26 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102456461B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180016394A (ko) 2015-06-15 2018-02-14 신에쯔 한도타이 가부시키가이샤 Soi웨이퍼의 제조방법
KR20200080391A (ko) * 2018-12-18 2020-07-07 주식회사 포스코 딥 러닝 기반의 금속 미세조직 이미지를 이용한 소재 물성 예측 시스템 및 방법
CN111696632A (zh) * 2020-06-22 2020-09-22 钢铁研究总院 一种金属材料中γ′相微观组织全视场定量统计分布表征方法
CN111783338A (zh) * 2020-06-30 2020-10-16 平安国际智慧城市科技股份有限公司 基于人工智能的微观组织金属强度分布预测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180016394A (ko) 2015-06-15 2018-02-14 신에쯔 한도타이 가부시키가이샤 Soi웨이퍼의 제조방법
KR20200080391A (ko) * 2018-12-18 2020-07-07 주식회사 포스코 딥 러닝 기반의 금속 미세조직 이미지를 이용한 소재 물성 예측 시스템 및 방법
CN111696632A (zh) * 2020-06-22 2020-09-22 钢铁研究总院 一种金属材料中γ′相微观组织全视场定量统计分布表征方法
CN111783338A (zh) * 2020-06-30 2020-10-16 平安国际智慧城市科技股份有限公司 基于人工智能的微观组织金属强度分布预测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Simon J´egou 등, The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation, [online], 2016년 11월, 인터넷:* *

Also Published As

Publication number Publication date
KR102456461B1 (ko) 2022-10-19
KR102456461B9 (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
JP4118703B2 (ja) 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
TW202142852A (zh) 半導體試樣的基於深度學習之檢查的方法及其系統
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
JP7271216B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021157067A1 (ja) 学習処理装置及び方法
WO2019188941A1 (ja) 解析システム、解析方法、およびプログラム
US11321633B2 (en) Method of classifying defects in a specimen semiconductor examination and system thereof
CN114299000A (zh) 一种基于可微分神经网络架构搜索的缺陷检测方法及系统
US20220374785A1 (en) Machine Learning System
Rios et al. Feature visualization for 3D point cloud autoencoders
KR102456461B1 (ko) 딥러닝을 이용한 철강 미세 조직 분석 방법 및 시스템
CN110378916B (zh) 一种基于多任务深度学习的tbm图像出渣分割方法
Dorozynski et al. Multi-task deep learning with incomplete training samples for the image-based prediction of variables describing silk fabrics
CN110580726B (zh) 基于动态卷积网络的自然场景下人脸素描生成模型及方法
CN108932564A (zh) 一种用于确定集配一体化一致性车辆的路径规划的方法及系统
JP6555275B2 (ja) 可視化装置、可視化方法および可視化プログラム
CN108399609A (zh) 一种三维点云数据的修补方法、装置和机器人
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Drumetz et al. Semiautomatic classification of cementitious materials using scanning electron microscope images
Zhang et al. Building marginal pattern library with unbiased training dataset for enhancing model-free load-ED mapping
Jiang et al. Difference value network for image super-resolution
CN115575392A (zh) 一种生成融合显微图像所需焦距的方法和系统
DE102020215589A1 (de) Steuern eines deep-sequence-modells mit prototypen
Liu Concrete Crack Segmentation Using UNet Algorithm with Swin Transformer Block & CPAM
WO2023238384A1 (ja) 試料観察装置および方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]