KR102349156B1 - 미세 조직의 상 분할 장치 및 방법 - Google Patents
미세 조직의 상 분할 장치 및 방법 Download PDFInfo
- Publication number
- KR102349156B1 KR102349156B1 KR1020190168809A KR20190168809A KR102349156B1 KR 102349156 B1 KR102349156 B1 KR 102349156B1 KR 1020190168809 A KR1020190168809 A KR 1020190168809A KR 20190168809 A KR20190168809 A KR 20190168809A KR 102349156 B1 KR102349156 B1 KR 102349156B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- microstructure
- learning
- phase
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치는 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지에 따라 상(Phase) 패턴을 학습하는 학습부, 상기 학습부의 학습 결과에 따라 새로운 미세 조직의 이미지의 상 분할을 예측하는 예측부, 상기 예측부에 의해 예측된 이미지를 수퍼픽셀(super-pixel)로 분할하여 이미지를 수정하고, 수정된 이미지를 상기 학습부에 전달하는 수정부, 상기 수정부에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면 상 분율 계산을 수행하여 최종 결과값을 도출하는 결과 도출부를 포함할 수 있고, 본 발명의 일 실시예에 따른 미세 조직의 상 분할 방법은 예측부가 사전에 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지에 따라 상(Phase) 패턴을 학습하는 학습부의 학습 결과에 따라 새로운 미세 조직의 이미지의 상 분할을 예측하는 단계, 수정부가 상기 예측부에 의해 예측된 이미지를 수퍼픽셀(super-pixel)로 분할하여 이미지를 수정하고, 수정된 이미지를 상기 학습부에 전달하는 단계, 결과 도출부가 상기 수정부에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면 상 분율 계산을 수행하여 최종 결과값을 도출하는 단계를 포함할 수 있다.
Description
본 발명은 미세 조직의 상 분할 장치 및 방법에 관한 것이다.
금속의 기계적 특성은 결정립이나 상(phase)의 크기 및 이들의 부피 분율에 의하여 결정되는 경우가 많으므로 금속의 기계적 특성을 파악하기 위하여 결정립이나 상(phase)의 크기 및 이들의 부피분율의 분석이 필요하다. 금속 미세조직의 상을 분석하기 위하여 영상 분석기(image analyzer)를 이용하고 있으나, 상이 미세해지고 복잡해 질수록 영상 분석기를 통한 상 분석이 어려워 수작업으로 영역을 그려야 하는 어려움이 있었다.
한편, 인공지능의 발달로 이미지 자동 분할 기술이 많이 보급되어 있으나, 미세조직 내 여러 상들이 상당한 유사도를 가지고 있기 때문에, 미세조직에서는 자동 분할이 어려운 문제점이 있다.
본 발명의 일 실시예에 따르면, 미세 조직을 학습하여, 상 분할 후 수정된 이미지를 학습에 활용하는 미세 조직의 상 분할 장치 및 방법이 제공된다.
상술한 본 발명의 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치는 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지에 따라 상(Phase) 패턴을 학습하는 학습부, 상기 학습부의 학습 결과에 따라 새로운 미세 조직의 이미지의 상 분할을 예측하는 예측부, 상기 예측부에 의해 예측된 이미지를 수퍼픽셀(super-pixel)로 분할하여 이미지를 수정하고, 수정된 이미지를 상기 학습부에 전달하는 수정부, 상기 수정부에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면 상 분율 계산을 수행하여 최종 결과값을 도출하는 결과 도출부를 포함할 수 있다.
본 발명의 일 실시예에 따른 미세 조직의 상 분할 방법은 예측부가 사전에 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지를 학습하는 학습부의 학습 결과에 따라 새로운 미세 조직의 이미지의 상 분할을 예측하는 단계, 수정부가 상기 예측부에 의해 예측된 이미지를 수퍼픽셀(super-pixel)로 분할하여 이미지를 수정하고, 수정된 이미지를 상기 학습부에 전달하는 단계, 결과 도출부가 상기 수정부에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면 상 분율 계산을 수행하여 최종 결과값을 도출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 미세조직의 상 분할의 정확도를 높일 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 방법의 개략적인 동작을 나타내는 플로우챠트이다.
도 3은 미세 조직의 원본 이미지 및 이미지 분석 결과를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 학습부에 입력된 원본 이미지 및 라벨링 이미지를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 예측부에 입력된 새로운 이미지 및 예측 이미지를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 수정부의 수정된 이미지 및 라벨 이미지를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 방법의 개략적인 동작을 나타내는 플로우챠트이다.
도 3은 미세 조직의 원본 이미지 및 이미지 분석 결과를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 학습부에 입력된 원본 이미지 및 라벨링 이미지를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 예측부에 입력된 새로운 이미지 및 예측 이미지를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 수정부의 수정된 이미지 및 라벨 이미지를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치(100)는 학습부(110), 예측부(120), 수정부(130) 및 결과 도출부(140)를 포함할 수 있다.
학습부(110)는 사전에 미세 조직의 원본 이미지와 상기 미세 조직에 해당하는 라벨링 이미지에 따라 상(Phase) 패턴을 학습할 수 있다.
학습부(110)는 U-Net 컨볼류션 네트워크(Convolutional Neural Network; CNN)를 포함할 수 있고, U-Net 컨볼류션 네트워크는 상기 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지를 학습하여 모델 파라미터를 출력할 수 있다.
예측부(120)는 학습부(110)의 학습 결과에 따라 새로운 미세 조직의 이미지의 상 분할을 예측할 수 있다.
즉, 예측부(120)는 미세조직의 원본 이미지를 입력으로 학습한 학습부(110)의 모델 파라미터를 이용하여 상 분할된 예측 결과를 도출할 수 있다.
수정부(130)는 예측부(120)에 의해 예측된 이미지를 수퍼픽셀(super-pixel)로 분할하여 이미지를 수정할 수 있다. 또한, 수정된 이미지를 학습부(110)에 전달할 수 있다. 수정부(130)는 상기 미세 조직의 원본 이미지 위에 분할된 복수개의 슈퍼 픽셀을 이용하여 상기 예측된 이미지를 수정할 수 있으며, 예를 들어 미세 조직의 원본 이미지 위에 분할된 10000~50000개의 슈퍼 픽셀을 이용하여 예측된 이미지를 수정할 수 있다.
결과 도출부(140)는 수정부(130)에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면 상 분율 계산을 수행하여 최종 결과값을 도출할 수 있다.즉, 결과 도출부(140)는 수정부(130)에 의해 수정 완료된 이미지의 전체 픽셀수를 분할된 각 상별 픽셀수로 나누어 상분율을 계산할 수 있다.
도 2는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 방법의 개략적인 동작을 나타내는 플로우챠트이다.
도 1과 함께 도 2를 참조하면, 본 발명의 일 실시예에 따른 미세 조직의 상 분할 방법은 먼저, 학습부(110)가 사전에 미세 조직의 원본 이미지와 상기 미세 조직에 해당하는 라벨링 이미지를 입력받아(S10), 딥러닝 방식으로 사전에 미세 조직의 원본 이미지와 상기 미세 조직에 해당하는 라벨링 이미지에 의한 상(Phase) 패턴을 학습할 수 있다(S20). 학습부(110)는 학습 결과에 따라 모델 파라미터를 예측부(120)에 제공할 수 있다(S30).
도 3은 미세 조직의 원본 이미지 및 이미지 분석 결과를 나타내는 도면이다.
도 3을 참조하면, 그레이 밸류(Gray value)로만 표현된 전자현미경 이미지(SEM image)(좌측)를 이미지 분석기(Image analyzer)를 이용해 자동 분석을 수행할 경우(우측), 밝은 부분만 선택적으로 표시되어 상 분석이 어려울 수 있다. 이에 따라 주사 전자 현미경(Scanning Electron Microscope; SEM) 영상으로부터 상 분율 값을 알고자 할 때는 포토샵으로 일일이 색을 칠하거나 투명 종이에 색을 칠하여 값을 구할 수 있다.
한편, 도 4는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 학습부에 입력된 원본 이미지 및 라벨링 이미지를 나타내는 도면이다.
도 4를 참조하면, 학습부(110)에 입력되는 미세 조직의 원본 이미지(좌측)에 대비하여 라벨링 이미지(우측)의 색상을 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 예측부에 입력된 새로운 이미지 및 예측 이미지를 나타내는 도면이다.
도 1 및 도 2와 함께, 도 5를 참조하면, 예측부(120)는 미세 조직의 새로운 이미지(좌측)를 입력받을 수 있으며(S40), 예측부(120)는 학습부(110)의 모델 파라미터에 따라 미세 조직의 새로운 이미지의 상 분할 예측 후 이미지(우측)를 생성할 수 있다(S50). 도시된 바와 같이 예측 후 이미지는 상 별로 각각 다른 색으로 구분되어 진 것을 볼 수 있다.
도 6은 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 수정부의 수정된 이미지 및 라벨 이미지를 나타내는 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 미세 조직의 상 분할 장치의 수정부(130)는 미세 조직의 원본 이미지 위에 분할된 10000~50000개의 Super pixel을 이용하여 예측 이미지의 수정을 수행할 수 있다(좌측)(S60).
우측의 표를 참조하면, 분할된 상 (베이나이트, 마르텐사이트, 2차 상) 및 라벨링된 이미지의 색깔을 확인할 수 있다.
결과 도출부(140)는 수정부(130)에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면, 최종적으로 수정을 완료한 이미지로부터 전체 픽셀수를 각 상별 픽셀수로 나누어 상 분율을 계산할 수 있다(S70).
상술한 바와 같이, 본 발명에 따르면, 색 차이가 없는 광학 현미경, 전자현미경 이미지로부터 자동 상 분율 계산이 가능하고, 기존의 수동으로 상 분석하는 시간(수 시간)에 대비하여 자동으로 상 분석(수 초)하여 시간 단축이 가능하며, 딥러닝 이용한 자동 상 분석 수행 후, 수정 기능을 통해 정확도를 높일 수 있고, 예측 결과를 다시 라벨링 이미지로 사용 가능하며, 인공지능이 탑재된 자동 라벨링 툴로도 사용할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100: 미세 조직의 상 분할 장치
110: 학습부
120: 예측부
130: 수정부
140: 결과 도출부
110: 학습부
120: 예측부
130: 수정부
140: 결과 도출부
Claims (9)
- 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지에 따라 상(Phase) 패턴을 학습하는 학습부;
상기 학습부의 학습 결과에 따라 새로운 미세 조직의 이미지의 상 분할을 예측하는 예측부;
상기 예측부에 의해 예측된 이미지를 수퍼픽셀(super-pixel)로 분할하여 이미지를 수정하고, 수정된 이미지를 상기 학습부에 전달하는 수정부; 및
상기 수정부에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면 상 분율 계산을 수행하여 최종 결과값을 도출하는 결과 도출부를 포함하고,
상기 수정부는 상기 수정된 이미지를 상기 학습부에 라벨링 이미지로 전달하고, 상기 미세 조직의 원본 이미지 위에 분할된 복수개의 슈퍼 픽셀을 이용하여 상기 예측된 이미지를 수정하며,
상기 학습부는 상기 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지를 학습하여 상기 예측부에 모델 파라미터를 출력하는 U-Net 컨볼류션 네트워크를 포함하고,
상기 결과 도출부는 상기 수정부에 의해 수정 완료된 이미지의 전체 픽셀수를 분할된 각 상별 픽셀수로 나누어 상분율을 계산하는 미세 조직의 상 분할 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 예측부가 사전에 미세 조직의 이미지 및 상기 미세조직의 라벨링 이미지에 따라 상(Phase) 패턴을 학습하는 학습부의 학습 결과에 따라 새로운 미세 조직의 이미지의 상 분할을 예측하는 단계;
수정부가 상기 예측부에 의해 예측된 이미지를 수퍼픽셀(super-pixel)로 분할하여 이미지를 수정하고, 수정된 이미지를 상기 학습부에 전달하는 단계; 및
결과 도출부가 상기 수정부에 의해 수정된 이미지의 정확도가 사전에 설정된 기준값 이상이면 상 분율 계산을 수행하여 최종 결과값을 도출하는 단계를 포함하고,
상기 전달하는 단계는 상기 수정부가 상기 수정된 이미지를 상기 학습부에 라벨링 이미지로 전달하고, 상기 수정부가 상기 미세 조직의 원본 이미지 위에 분할된 복수개의 슈퍼 픽셀을 이용하여 상기 예측된 이미지를 수정하며,
상기 도출하는 단계는 상기 결과 도출부가 상기 수정부에 의해 수정 완료된 이미지의 전체 픽셀수를 분할된 각 상별 픽셀수로 나누어 상분율을 계산하는 미세 조직의 상 분할 방법.
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190168809A KR102349156B1 (ko) | 2019-12-17 | 2019-12-17 | 미세 조직의 상 분할 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190168809A KR102349156B1 (ko) | 2019-12-17 | 2019-12-17 | 미세 조직의 상 분할 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210077308A KR20210077308A (ko) | 2021-06-25 |
| KR102349156B1 true KR102349156B1 (ko) | 2022-01-10 |
Family
ID=76629250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190168809A KR102349156B1 (ko) | 2019-12-17 | 2019-12-17 | 미세 조직의 상 분할 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102349156B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102658266B1 (ko) * | 2022-05-04 | 2024-04-19 | 한국생산기술연구원 | 미세조직 영상 기반 접합성능 평가 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016133918A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社神戸製鋼所 | 当たり面積率の測定方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101565748B1 (ko) * | 2013-05-31 | 2015-11-05 | 삼성에스디에스 주식회사 | 이미지에서 반복 패턴을 검출하는 방법 및 장치 |
| KR20170032288A (ko) * | 2014-07-10 | 2017-03-22 | 톰슨 라이센싱 | 이미지를 업-스케일링하기 위한 방법 및 장치 |
| KR102010086B1 (ko) | 2017-12-26 | 2019-08-12 | 주식회사 포스코 | 미세조직의 상 분할 방법 및 장치 |
| KR20190121549A (ko) * | 2018-04-18 | 2019-10-28 | 한국전자통신연구원 | 영상 내 객체의 의미론적 분석 및 인식 방법과 장치 |
-
2019
- 2019-12-17 KR KR1020190168809A patent/KR102349156B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016133918A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社神戸製鋼所 | 当たり面積率の測定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 이대연 외1, "슈퍼픽셀 기반의 그래프 컷을 이용한 객체 추적", 한국방송공학회 하계학술대회, 2013. 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210077308A (ko) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102411775B (zh) | 一种校正文本图像亮度的方法和系统 | |
| CN104658002A (zh) | 一种无参考图像客观质量评价方法 | |
| CN104902267A (zh) | 一种基于梯度信息的无参考图像质量评价方法 | |
| CN103065334B (zh) | 一种基于hsv颜色空间的偏色检测、校正方法及装置 | |
| KR102349156B1 (ko) | 미세 조직의 상 분할 장치 및 방법 | |
| CN113083804A (zh) | 激光智能除锈方法、系统及可存读介质 | |
| KR102237288B1 (ko) | 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 | |
| CN104349017A (zh) | 视频信号处理电路、视频显示设备和视频信号处理方法 | |
| Smelyakov et al. | Comparative efficiency analysis of gradational correction models of highly lighted image | |
| EP2375719A1 (en) | Color gamut mapping method having one step preserving the lightness of the cusp colors | |
| EP3716103A3 (en) | Method and apparatus for determining transformation matrix, and non-transitory computer-readable recording medium | |
| CN110782470A (zh) | 一种基于形状信息的腕骨区域分割方法 | |
| CN112967250B (zh) | 一种基于非邻近色块的陷印区优化方法及装置 | |
| CN109978804A (zh) | 基于深度学习的人眼视线矫正方法及系统 | |
| CN106254844A (zh) | 一种全景拼接颜色校正方法 | |
| CN106504203B (zh) | 一种应用筛选策略的块匹配图像修复方法 | |
| CN107211067A (zh) | 校正扫描仪模块之间的色差 | |
| CN107274388A (zh) | 一种基于全局信息的无参考屏幕图像质量评价方法 | |
| KR102146665B1 (ko) | Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법 | |
| CN105657213A (zh) | 图像处理装置和图像形成装置 | |
| JP7381384B2 (ja) | 風速データの使用方法 | |
| CN104318526A (zh) | 基于mtf的遥感器在轨自动优化在轨参数的方法 | |
| US20070035784A1 (en) | Image processing method and apparatus | |
| CN115424107A (zh) | 基于图像融合与深度学习的水下桥墩表观病害检测方法 | |
| CN108257082B (zh) | 基于固定区域去除图像手指的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |