KR20230036270A - Apparatus and method generating 3d image of target metalic grain - Google Patents

Apparatus and method generating 3d image of target metalic grain Download PDF

Info

Publication number
KR20230036270A
KR20230036270A KR1020210118936A KR20210118936A KR20230036270A KR 20230036270 A KR20230036270 A KR 20230036270A KR 1020210118936 A KR1020210118936 A KR 1020210118936A KR 20210118936 A KR20210118936 A KR 20210118936A KR 20230036270 A KR20230036270 A KR 20230036270A
Authority
KR
South Korea
Prior art keywords
images
target metal
microstructure
image
metal surface
Prior art date
Application number
KR1020210118936A
Other languages
Korean (ko)
Other versions
KR102654133B1 (en
Inventor
이진이
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020210118936A priority Critical patent/KR102654133B1/en
Publication of KR20230036270A publication Critical patent/KR20230036270A/en
Application granted granted Critical
Publication of KR102654133B1 publication Critical patent/KR102654133B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/32Polishing; Etching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

The present disclosure relates to a method by which an electronic device generates a three-dimensional image of a target metal microstructure and an electronic device that performs the same. According to one embodiment, the method by which an electronic device generates a three-dimensional image of a target metal microstructure may comprise the steps of: acquiring a plurality of measurement images including at least one microstructure appearing on a target metal surface while physically or chemically processing the target metal surface; determining an average height value of the target metal surface appearing in the measurement images; generating region-of-interest images including the at least one microstructure from the measurement images; identifying a boundary of at least one microstructure appearing on the target metal surface in the generated region-of-interest images; and generating a three-dimensional image by stacking the region of interest images in which the boundary of the at least one microstructure is identified based on the determined average height value. Accordingly, a metal surface can be monitored effectively.

Description

대상 금속 미세조직에 대한 3차원 이미지를 생성하는 방법 및 장치 {APPARATUS AND METHOD GENERATING 3D IMAGE OF TARGET METALIC GRAIN}Method and apparatus for generating a three-dimensional image of a target metal microstructure

본 개시는 금속 미세 조직의 3차원 이미지를 생성하는 방법 및 장치에 관한 것이다. 보다 상세하게는 대상 금속 표면에서 관찰되는 미세 조직에 대한 3차원 형상을 포함하는 이미지를 생성하는 방법 및 장치에 관한 것이다.The present disclosure relates to methods and apparatus for generating three-dimensional images of metal microstructures. More specifically, it relates to a method and apparatus for generating an image including a three-dimensional shape of a microstructure observed on a target metal surface.

금속 조직의 3차원 관찰은 보다 고차원의 유한 요소 해석은 물론 초음파 검사법, 자분 탐상법, 와전류 검사법과 같은 비파괴 검사법의 한계를 극복하기 위한 기초 연구에 활용될 수 있다. 유한 요소 방법은 구조의 하중, 응력-변형 및 파괴 저항 사이의 관계를 분석하는데 사용되는데, 기존 연구에 따르면 미세 구조의 크기 모양은 구조의 강도, 인성 및 크리프 저항에 영향을 미친다. 그러나, 유한 요소법에서 사용되는 요소는 구조의 형태이고, 구조 자체의 미세 구조는 포함하지 않기 때문에 유한 요소법으로 반영하는 것은 쉽지 않으며, 유한 요소법에서 분석 조건으로 미세 구조 크기를 삽입한 예는 개시된바 없다. 3D observation of metal structures can be used for higher-order finite element analysis as well as basic research to overcome the limitations of non-destructive testing methods such as ultrasonic testing, magnetic particle testing, and eddy current testing. The finite element method is used to analyze the relationship between load, stress-strain and fracture resistance of a structure. According to previous studies, the size and shape of a microstructure affects the strength, toughness and creep resistance of a structure. However, since the element used in the finite element method is the shape of the structure and does not include the microstructure of the structure itself, it is not easy to reflect it to the finite element method, and an example in which the size of the microstructure is inserted as an analysis condition in the finite element method has not been disclosed. .

한편 금속결정의 크기와 모양은 초음파 검사, 자분 검사 및 와전류 검사와 같은 비파괴 검사의 분석 결과에 영향을 미칠 수 있으며, 미세구조의 평균 크기만을 고려한 분석 또는 정성적 분석 기술은 일부 개시되어 있으니, 실제 대상 금속 미세 구조의 크기와 모양을 대상으로 한 초음파 산란에 대한 기술은 개시된바 없다.On the other hand, the size and shape of metal crystals can affect the analysis results of non-destructive tests such as ultrasonic inspection, magnetic particle inspection, and eddy current inspection, and some analysis or qualitative analysis techniques considering only the average size of microstructures are disclosed. A technique for ultrasonic scattering targeting the size and shape of a target metal microstructure has not been disclosed.

자분 검사법에서는 시료를 자화하여 결함 주변에 발생하는 누설 자속에 의한 자분 흡착을 관찰하게 되는데 이때 강한 외부 자기장이 가해졌다가 제거되면서 잔류 자화가 발생하고, 이로 인해 결함이 없는 영역에서도 자기 입자가 흡착되는 유사한 오류 신호가 생성될 수 있는 한계가 있다. 또한, 외부 힘에 의해 열과 잔류 응력이 발생하는 용접에서 잔류 자화 역시 자주 발생하는 한계가 있다. 자구는 금속결정의 내부에 3차원으로 분포하기 때문에 잔류 자화의 본질을 더 깊이 이해하기 위해서는 금속결정 내부의 잔류 자화의 분포를 파악할 필요가 있다.In the magnetic particle inspection method, a sample is magnetized and magnetic particle adsorption by leakage magnetic flux generated around defects is observed. At this time, a strong external magnetic field is applied and then removed, resulting in residual magnetization, which causes magnetic particles to be adsorbed even in areas without defects. There are limits to which similar error signals can be generated. In addition, in welding where heat and residual stress are generated by an external force, residual magnetization also frequently occurs. Since the magnetic domains are distributed in three dimensions inside the metal crystal, it is necessary to understand the distribution of the remanent magnetization inside the metal crystal in order to further understand the nature of the remanent magnetization.

또한, 와전류 검사법에서는 측정 대상물에 유도 전류를 인가하고 결함 주변에서 발생하는 유도 전류의 왜곡, 즉 와전류에 의한 임피던스 변화와 위상차를 측정하게 되는데, 측정 대상물의 끝부분에서 발생하는 가장자리 효과로 인해 결함의 유무나 크기를 파악하기 어려운 한계가 있다. 이러한 효과의 영향, 즉 자구의 형성, 잔류 자화 및 형상과 크기에 따른 에지의 영향을 파악하기 위해서는 금속결정의 3차원 형상을 정량적으로 측정하고 표현하는 수단을 제공하는 기술 개발이 필요하다.In addition, in the eddy current inspection method, an induced current is applied to the object to be measured and the distortion of the induced current generated around the defect, that is, the impedance change and phase difference due to the eddy current are measured. There are limitations that make it difficult to determine the presence or size. In order to understand the effects of these effects, that is, the formation of magnetic domains, residual magnetization, and the effects of edges according to shape and size, it is necessary to develop a technology that provides a means to quantitatively measure and express the three-dimensional shape of a metal crystal.

또한, 크리스탈 나노 방사선 촬영과 단층 촬영에 따르면 금속결정은 3차원으로 이미지화 될 수 있다. 그럼에도 불구하고 이것은 X선 차폐를 포함하여 매우 높은 정확도와 값 비싼 장비를 필요로 한다. 더욱이, 금속결정 내의 자구 분포를 3 차원으로 측정하는 것은 어려운 한계가 있다. In addition, according to crystal nano-radiography and tomography, metal crystals can be imaged in three dimensions. Nevertheless, this requires very high accuracy and expensive equipment, including X-ray shielding. Moreover, it is difficult to measure the magnetic domain distribution in a metal crystal in three dimensions.

따라서, 낮은 비용으로 금속 미세 조직의 모양과 크기를 효과적으로 분석하기 위해, 미세 조직의 모양을 3차원으로 형상화 하기 위한 기술 개발이 요구되고 있다.Therefore, in order to effectively analyze the shape and size of the metal microstructure at a low cost, the development of a technology for shaping the shape of the microstructure in three dimensions is required.

일본공개특허 제1992-072551호Japanese Laid-open Patent No. 1992-072551

일 실시 예에 의하면, 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 방법 및 이를 수행하는 전자 장치가 제공될 수 있다.According to an embodiment, a method of generating a 3D image of a target metal microstructure and an electronic device performing the same may be provided.

보다 상세하게는 금속 미세 조직에 대한 현미경 조직 이미지들을 적층함으로써 3차원 이미지로 재구성하는 방법 및 이를 수행하는 전자 장치가 제공될 수 있다.More specifically, a method of reconstructing a metal microstructure into a 3D image by stacking microstructure images and an electronic device performing the same may be provided.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 의하면, 전자 장치가 대상 금속 미세조직에 대한 3차원 이미지를 생성하는 방법은 대상 금속 표면을 물리적 또는 화학적으로 처리하면서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득하는 단계; 상기 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정하는 단계; 상기 측정 이미지들로부터 상기 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성하는 단계; 상기 생성된 관심 영역 이미지들에서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별하는 단계; 및 상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성하는 단계; 를 포함할 수 있다.As a technical means for achieving the above-mentioned technical problem, according to an embodiment, a method for generating a three-dimensional image of a target metal microstructure by an electronic device is to physically or chemically treat the target metal surface while at the target metal surface. obtaining a plurality of measurement images including at least one microstructure appearing; determining an average height value of a target metal surface appearing in the measured images; generating ROI images including the at least one microstructure from the measurement images; identifying a boundary of at least one microstructure appearing on the target metal surface from the generated ROI images; and generating a 3D image by stacking ROI images in which a boundary of the at least one microtissue is identified, based on the determined average height value. can include

상술한 기술적 과제를 달성하기 위한 또 다른 실시 예에 따라, 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 전자 장치는 디스플레이; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 대상 금속 표면을 물리적 또는 화학적으로 처리하면서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득하고, 상기 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정하고, 상기 측정 이미지들로부터 상기 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성하고, 상기 생성된 관심 영역 이미지들에서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별하고, 상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성할 수 있다.According to another embodiment for achieving the above-described technical problem, an electronic device generating a three-dimensional image of a target metal microstructure includes a display; a memory that stores one or more instructions; and at least one processor executing the one or more instructions; wherein the at least one processor obtains a plurality of measurement images including at least one microstructure appearing on the target metal surface while physically or chemically treating the target metal surface by executing the one or more instructions; Determining an average height value of a target metal surface appearing in the measurement images, generating ROI images including the at least one microstructure from the measurement images, and generating the target metal surface from the generated ROI images. A 3D image may be generated by identifying a boundary of at least one microstructure appearing in , and stacking ROI images in which the boundary of the at least one microstructure is identified based on the determined average height value.

상술한 기술적 과제를 달성하기 위한 또 다른 실시 예에 의하면, 전자 장치가 대상 금속 미세조직에 대한 3차원 이미지를 생성하는 방법에 있어서, 대상 금속 표면을 물리적 또는 화학적으로 처리하면서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득하는 단계; 상기 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정하는 단계; 상기 측정 이미지들로부터 상기 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성하는 단계; 상기 생성된 관심 영역 이미지들에서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별하는 단계; 및 상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성하는 단계; 를 포함하는, 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.According to another embodiment for achieving the above-described technical problem, in a method for generating a three-dimensional image of a target metal microstructure by an electronic device, while physically or chemically treating the target metal surface, the surface of the target metal appears. acquiring a plurality of measurement images including at least one microstructure; determining an average height value of a target metal surface appearing in the measured images; generating ROI images including the at least one microstructure from the measurement images; identifying a boundary of at least one microstructure appearing on the target metal surface from the generated ROI images; and generating a 3D image by stacking ROI images in which a boundary of the at least one microtissue is identified, based on the determined average height value. A computer-readable recording medium in which a program for performing the method including a may be provided.

일 실시 예에 의하면 대상 금속의 미세 조직에 대한 3차원 이미지를 생성할 수 있다.According to an embodiment, a 3D image of a microstructure of a target metal may be generated.

일 실시 예에 의하면 대상 금속의 미세 조직에 대한 3차원 이미지를 이용하여 금속 표면을 효과적으로 모니터링할 수 있다.According to an embodiment, a metal surface can be effectively monitored using a 3D image of a microstructure of a target metal.

도 1은 일 실시 예에 따른 전자 장치가 대상 금속 표면의 미세 조직에 대한 3차원 이미지를 생성하는 과정을 개략적으로 나타내는 도면이다.
도 2는 일 실시 예에 따른 전자 장치가 현미경을 통해 마운트된 대상 금속 시편에 대한 복수의 측정 이미지들을 획득하는 과정을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 전자 장치가 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 방법의 흐름도이다.
도 4는 일 실시 예에 따른 전자 장치가 대상 금속 표면의 높이를 측정하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 전자 장치가 대상 금속 표면에 대한 물리적 연마 및 화학적 에칭후 측정한 대상 금속 표면의 높이 값들을 포함하는 테이블이다.
도 6은 일 실시 예에 따른 전자 장치가 대상 금속 표면을 3번, 4번 및 5번 폴리싱한 후 현미경을 통해 획득한 측정 이미지와, 측정 이미지들에서 관심 영역을 식별하기 위해 선택한 레퍼런스 이미지 및 타겟 이미지를 나타낸다.
도 7은 일 실시 예에 따른 전자 장치가 측정 이미지들에 대한 로컬 포지셔닝 알고리즘을 수행함으로써 관심 영역 이미지들을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 대상 금속 표면을 3번 및 4번 폴리싱 한 후 획득되는 측정 이미지들의 특정 영역에 대해 로컬 포지셔닝 알고리즘을 적용함으로써 추출된 관심 영역 이미지를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 미세 조직의 경계를 식별하는 방법의 흐름도이다.
도 10은 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 미세 조직의 경계를 식별하는 예를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 식별된 미세 조직의 경계를 리사이징하는 방법의 흐름도이다.
도 12는 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 식별된 미세 조직의 경계를 리사이징하는 예를 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른 전자 장치가 3차원 이미지를 생성하는 구체적인 방법의 흐름도이다.
도 14는 일 실시 예에 따른 전자 장치가 3차원 이미지를 생성하기 위해 이용하는 소정의 미세 조직들이 나타나는 관심 영역 이미지들의 예시이다.
도 15는 일 실시 예에 따른 전자 장치가 미세 조직 별 복수의 관심 영역 이미지들을 적층한 결과를 도시한 도면이다.
도 16은 일 실시 예에 따른 전자 장치가 도 15에서 적층된 관심 영역 이미지들에 나타나는 미세 조직의 경계를 면처리 함으로써 생성한 3차원 이미지를 설명하기 위한 도면이다.
도 17은 일 실시 예에 따른 전자 장치의 블록도이다.
도 18은 또 다른 실시 예에 따른 전자 장치의 블록도이다.
1 is a diagram schematically illustrating a process of generating a 3D image of a microstructure of a target metal surface by an electronic device according to an exemplary embodiment.
2 is a diagram for explaining a process of acquiring a plurality of measurement images of a target metal specimen mounted through a microscope by an electronic device according to an embodiment.
3 is a flowchart of a method of generating a 3D image of a target metal microstructure by an electronic device according to an exemplary embodiment.
4 is a diagram for explaining a process of measuring a height of a target metal surface by an electronic device according to an exemplary embodiment.
5 is a table including height values of a target metal surface measured after physical polishing and chemical etching of the target metal surface by an electronic device according to an embodiment.
6 illustrates measurement images acquired through a microscope after an electronic device polishes a target metal surface three times, four times, and five times, and reference images and targets selected to identify a region of interest in the measurement images according to an embodiment. represents an image.
7 is a diagram for explaining a process of generating ROI images by performing a local positioning algorithm on measurement images by an electronic device according to an embodiment.
8 is a view for explaining an image of a region of interest extracted by applying a local positioning algorithm to a specific region of measurement images obtained after polishing a target metal surface three times and four times.
9 is a flowchart of a method of identifying, by an electronic device, a boundary of a microtissue in ROI images according to an embodiment.
10 is a diagram for explaining an example in which an electronic device identifies a boundary of microstructure in ROI images according to an exemplary embodiment.
11 is a flowchart of a method of resizing, by an electronic device, a boundary of a microtissue identified in ROI images according to an embodiment.
12 is a diagram for explaining an example in which an electronic device resizes a boundary of a microtissue identified in ROI images according to an embodiment.
13 is a flowchart of a specific method of generating a 3D image by an electronic device according to an embodiment.
14 is an example of ROI images showing predetermined microstructures used by an electronic device to generate a 3D image according to an embodiment.
15 is a diagram illustrating a result of stacking a plurality of ROI images for each microstructure by an electronic device according to an embodiment.
FIG. 16 is a diagram for explaining a 3D image generated by surface-processing the boundary of microstructures appearing in the stacked ROI images of FIG. 15 by the electronic device according to an exemplary embodiment.
17 is a block diagram of an electronic device according to an embodiment.
18 is a block diagram of an electronic device according to another embodiment.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present disclosure will be described in detail.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present disclosure have been selected from general terms that are currently widely used as much as possible while considering the functions in the present disclosure, but they may vary according to the intention or precedent of a person skilled in the art, the emergence of new technologies, and the like. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, terms used in the present disclosure should be defined based on the meaning of the term and the general content of the present disclosure, not simply the name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a certain part "includes" a certain component throughout the specification, it means that it may further include other components without excluding other components unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present disclosure will be described in detail so that those skilled in the art can easily carry out the present disclosure. However, the present disclosure may be implemented in many different forms and is not limited to the embodiments described herein. And in order to clearly describe the present disclosure in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

도 1은 일 실시 예에 따른 전자 장치가 대상 금속 표면의 미세 조직에 대한 3차원 이미지를 생성하는 과정을 개략적으로 나타내는 도면이다.1 is a diagram schematically illustrating a process of generating a 3D image of a microstructure of a target metal surface by an electronic device according to an exemplary embodiment.

일 실시 예에 의하면, 전자 장치(1000)는 대상 금속 표면에 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들(102, 104)을 획득하고, 획득된 복수의 측정 이미지들을 이용하여 3차원 이미지(160)를 생성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 대상 금속의 미세 조직 별로 3차원 이미지(162, 164, 166)를 생성할 수도 있으나, 복수의 미세 조직을 포함하는 3차원 이미지(168)를 생성할 수도 있다.According to an embodiment, the electronic device 1000 obtains a plurality of measurement images 102 and 104 including at least one microstructure appearing on a target metal surface, and uses the obtained plurality of measurement images to obtain a 3D image. Image 160 may be created. According to an embodiment, the electronic device 1000 may generate 3D images 162, 164, and 166 for each microstructure of the target metal, but may generate a 3D image 168 including a plurality of microstructures. may be

일 실시 예에 의하면, 전자 장치(1000)는 하나 이상의 인스트럭션을 저장하는 메모리(120) 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서(140)를 포함할 수 있다. 프로세서는 메모리(120)에 저장된 하나 이상의 인스트럭션을 수행함으로써 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 방법을 수행할 수 있다. According to an embodiment, the electronic device 1000 may include a memory 120 storing one or more instructions and at least one processor 140 executing the one or more instructions. The processor may perform a method of generating a 3D image of a target metal microstructure by executing one or more instructions stored in the memory 120 .

일 실시 예에 의하면, 전자 장치(1000)는 현미경 장치를 포함할 수도 있으나, 현미경 장치와 연결됨으로써, 현미경 장치로부터 대상 금속에 대한 복수의 측정 이미지들을 획득할 수도 있다. 또한, 도 1에는 도시되지 않았지만, 전자 장치(1000)는 대상 금속의 표면을 물리적으로 연마하기 위한 연마 장치 또는 대상 금속 표면을 화학적으로 에칭하기 위한 에칭 장치를 더 포함할 수 있다. According to an embodiment, the electronic device 1000 may include a microscope device, but may acquire a plurality of measurement images of a target metal from the microscope device by being connected to the microscope device. Also, although not shown in FIG. 1 , the electronic device 1000 may further include a polishing device for physically polishing the surface of the target metal or an etching device for chemically etching the target metal surface.

일 실시 예에 의하면, 전자 장치(1000)는 현미경 장치에 마운팅된 대상 금속 시편을 폴리싱하면서 금속 현미경을 통해 조직 사진으로써 복수의 측정 이미지들을 획득할 수 있으며, 획득된 측정 이미지들에 대해 로컬 포지셔닝(LOCAL POSITIONING), 금속결정 선택(금속결정 SELECTION), 이진화(BINARYZATION), 리사이징(RESIZEING), 적층(STACKING) 및 면처리(SURFACING)를 수행함으로써 3차원 이미지들을 생성할 수 있다. 본 개시에서 대상 금속에서 관측되는 금속 결정은 미세 조직에 대응될 수 있다.According to an embodiment, the electronic device 1000 may acquire a plurality of measurement images as a tissue picture through a metal microscope while polishing a target metal specimen mounted on a microscope device, and perform local positioning on the acquired measurement images ( 3D images can be created by performing LOCAL POSITIONING, METAL SELECTION, BINARYZATION, RESIZEING, STACKING, and SURFACING. In the present disclosure, a metal crystal observed in a target metal may correspond to a microstructure.

일 실시 예에 의하면, 전자 장치가 측정하는 대상 금속은 탄소강 SA106일 수 있으나, 이에 한정되는 것은 아니다. 또한, 일 실시 예에 의하면, 전자 장치(1000)가 측정하는 대상 금속은 가로 25mm, 세로 9mm, 높이 25mm로 잘려진 상태일 수 있으며, 직경 35mm, 높이 27mm의 실린더 형태의 레진(resin)에 마운팅되어 현미경 장치의 스테이지상에 고정될 수 있다. 또한, 전자 장치(1000)는 연마 장치 및 에칭 장치를 이용하여 현미경 장치에 마운팅된 대상 금속의 관찰면과 뒷면이 수지 밖으로 노출되도록 연마할 수 있고, 이를 통해 보다 정확한 폴리싱 이후의 대상 금속 표면의 평균 높이를 측정할 수 있다.According to an embodiment, the target metal measured by the electronic device may be carbon steel SA106, but is not limited thereto. In addition, according to an embodiment, the target metal to be measured by the electronic device 1000 may be cut to a width of 25 mm, a length of 9 mm, and a height of 25 mm, and is mounted on a cylindrical resin having a diameter of 35 mm and a height of 27 mm. It can be fixed on a stage of a microscope device. In addition, the electronic device 1000 may use a polishing device and an etching device to polish the observation surface and the back surface of the target metal mounted on the microscope device to be exposed to the outside of the resin, and through this, the average surface of the target metal after polishing is more accurate. height can be measured.

전자 장치(1000)는 연마 장치 및 에칭 장치를 통하여 연마된 대상 금속의 측정면의 높이 변화를 마이크로미터를 이용하여 측정할 수 있고, 이때 금속면이 아닌 수지를 기준으로 할 때 레진(resin)의 압축에 의해 발생하는 오차를 피할 수 있다. 본 개시에 따른 전자 장치(1000)는 대상 금속의 미세 조직을 3차원으로 이미지 또는 영상화 함으로써, 금속 미세 조직을 정확하고 객관적으로 측정할 수 있다.The electronic device 1000 may measure the height change of the measurement surface of the target metal polished through the polishing device and the etching device using a micrometer. Errors caused by compression can be avoided. The electronic device 1000 according to the present disclosure can accurately and objectively measure a metal microstructure by imaging or imaging the microstructure of a target metal in 3D.

도 2는 일 실시 예에 따른 전자 장치가 현미경을 통해 마운트된 대상 금속 시편에 대한 복수의 측정 이미지들을 획득하는 과정을 설명하기 위한 도면이다.2 is a diagram for explaining a process of acquiring a plurality of measurement images of a target metal specimen mounted through a microscope by an electronic device according to an embodiment.

도 2의 그림 (202)를 참조하면, 대상 금속의 측면을 1,84mm 편향되도록 연마된 상태가 도시되고, 이렇게 편향되기 연마된 이후, 연마면(예컨대 key hole)은 현미경 관찰을 위한 기준면으로 설정될 수 있다. 도 2의 그림 (204)를 참조하면, 연마면을 균일하게 연마하기 위한 지그가 도시되며, 그림 (206)을 참조하면 지그에 장착된 대상 금속 시편에 연마면(예컨대 key hole)이 연마된 상태가 도시된다. Referring to figure 202 of FIG. 2, a state in which the side surface of the target metal is polished to be deflected by 1,84 mm is shown, and after being polished to be deflected in this way, the polished surface (eg, key hole) is set as a reference surface for microscopic observation. It can be. Referring to figure 204 of FIG. 2, a jig for uniformly polishing the polishing surface is shown, and referring to figure 206, the polishing surface (eg, key hole) is polished on the target metal specimen mounted on the jig. is shown

마운팅된 샘플은 그림 (208)에 도시된 바와 같이, 현미경 장치의 XY 스테이지의 치구에 장착되고, 키(KEY)에 의해 고정될 수 있다. 전자 장치(1000)는 XY 스테이지 및 키를 이용하여 약 10 내지 20 마이크로미터의 반복 정밀도로 대상 금속을 고정할 수 있다.As shown in Figure 208, the mounted sample may be mounted on the jig of the XY stage of the microscope device and fixed by a key. The electronic device 1000 may fix the target metal with a repetition accuracy of about 10 to 20 micrometers using an XY stage and a key.

도 3은 일 실시 예에 따른 전자 장치가 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 방법의 흐름도이다.3 is a flowchart of a method of generating a 3D image of a target metal microstructure by an electronic device according to an exemplary embodiment.

S310에서, 전자 장치(1000)는 대상 금속 표면을 물리적 또는 화학적으로 처리하면서 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 현미경과 연결됨으로써, 현미경으로부터 복수의 측정 이미지들을 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 대상 금속 표면을 물리적으로 연마하고, 대상 금속 표면을 물리적으로 연마한 이후, 화학적으로 에칭하며, 화학적으로 에칭된 대상 금속 표면을 촬영함으로써 측정 이미지를 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 대상 금속 표면을 연마하고, 에칭한 이후 측정 이미지를 획득하는 동작을 반복하여 수행함으로써 복수의 측정 이미지들을 획득할 수 있다.In operation S310, the electronic device 1000 may acquire a plurality of measurement images including at least one microstructure appearing on the target metal surface while physically or chemically treating the target metal surface. According to an embodiment, the electronic device 1000 may acquire a plurality of measurement images from the microscope by being connected to the microscope. According to an embodiment, the electronic device 1000 obtains a measurement image by physically polishing a target metal surface, chemically etching the target metal surface, and photographing the chemically etched target metal surface. can do. According to an embodiment, the electronic device 1000 may acquire a plurality of measurement images by repeatedly performing an operation of obtaining measurement images after polishing and etching a target metal surface.

S320에서, 전자 장치(1000)는 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 대상 금속 표면의 높이를 여러 지점에서 마이크로미터를 이용하여 측정하고, 측정된 높이 값들의 평균 높이 값을 결정할 수 있다. 전자 장치(1000)는 측정된 평균 높이 값을 측정 이미지 또는 상기 측정 이미지로부터 획득되는 관심 영역 이미지와 매칭하여 메모리에 저장할 수 있다.In S320, the electronic device 1000 may determine an average height value of the target metal surface appearing in the measurement images. For example, the electronic device 1000 may measure the height of the target metal surface using a micrometer at several points and determine an average height value of the measured height values. The electronic device 1000 may match the measured average height value with a measurement image or an ROI image obtained from the measurement image and store the measured average height value in a memory.

S330에서, 전자 장치(1000)는 측정 이미지들로부터 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성할 수 있다. 예를 들어, 전자 장치(1000)가 획득하는 복수의 측정 이미지들은 대상 금속 시편을 폴리싱하고, 에칭한 이후 현미경의 스테이지에 재위치 시키는 과정에서 대상 금속을 촬영하기 위한 기준위치가 변경될 수 있다. 따라서, 전자 장치(1000)는 복수의 측정 이미지들에 로컬 포지셔닝 알고리즘을 수행함으로써, 위치가 보정된 관심 영역 이미지들을 생성할 수 있다.In operation S330, the electronic device 1000 may generate ROI images including at least one microstructure from the measured images. For example, a plurality of measurement images acquired by the electronic device 1000 may change reference positions for photographing the target metal during the process of polishing and etching the target metal specimen and then repositioning the target metal specimen on the stage of the microscope. Accordingly, the electronic device 1000 may generate ROI images whose positions are corrected by performing a local positioning algorithm on a plurality of measurement images.

S340에서, 전자 장치(1000)는 생성된 관심 영역 이미지들에서 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별할 수 있다. 일 실시 예에 의하면 전자 장치(1000)는 관심 영역 이미지들에서 나타나는 미세 조직의 경계를 식별하고, 식별된 미세 조직의 경계에 기초하여, 관심 영역 이미지들 내부에 나타나는 미세 조직의 수, 식별 정보 등을 관심 영역 이미지들과 함께 매칭하여 저장할 수 있다.In operation S340, the electronic device 1000 may identify a boundary of at least one microstructure appearing on the target metal surface in the generated ROI images. According to an embodiment, the electronic device 1000 identifies microtissue boundaries appearing in ROI images, and based on the identified microtissue boundaries, the number of microtissues appearing inside the ROI images, identification information, etc. may be matched and stored together with the ROI images.

S350에서, 전자 장치(1000)는 평균 높이 값에 기초하여, 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성할 수 있다. 예를 들어, 전자 장치(1000)는 측정 이미지들 또는 상기 측정 이미지들로부터 생성된 관심 영역 이미지들에 매칭된 대상 금속 표면의 평균 높이 값에 기초하여, 미세 조직의 경계가 식별된 관심 영역 이미지들을 3차원 공간에 적층함으로써 3차원 이미지를 생성할 수 있다. 전자 장치(1000)가 측정한 관심 영역 이미지들의 평균 높이 값은, 3차원 이미지상에서 Z축의 위치를 나타내는 값일 수 있다.In operation S350, the electronic device 1000 may generate a 3D image by stacking ROI images in which at least one microtissue boundary is identified based on the average height value. For example, the electronic device 1000 may generate ROI images in which a boundary of a microtissue is identified based on measurement images or an average height value of a target metal surface matched to ROI images generated from the measurement images. A 3D image can be created by stacking in a 3D space. The average height value of the ROI images measured by the electronic device 1000 may be a value representing a Z-axis position on the 3D image.

도 4는 일 실시 예에 따른 전자 장치가 대상 금속 표면의 높이를 측정하는 과정을 설명하기 위한 도면이다.4 is a diagram for explaining a process of measuring a height of a target metal surface by an electronic device according to an exemplary embodiment.

S410에서, 전자 장치(1000)는 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들이 획득되면, 각 측정 이미지들이 획득될 때마다 대상 금속 표면의 모서리들의 중심에서 중심 높이 값들을 측정할 수 있다. 예를 들어, 전자 장치(1000)는 측정 이미지들이 획득되면, 마이크로미터를 이용하여, 측정 이미지들에 나타나는 대상 금속 표면의 평균 높이를 측정할 수 있다.In S410, when a plurality of measurement images including at least one microstructure appearing on the target metal surface are obtained, the electronic device 1000 calculates center height values from the center of corners of the target metal surface whenever each measurement image is acquired. can be measured For example, when measurement images are obtained, the electronic device 1000 may measure an average height of a target metal surface appearing in the measurement images using a micrometer.

일 실시 예에 의하면, 전자 장치(1000)는 대상 금속 표면을 연마한 후, 마이크로미터로 시료의 높이를 측정함에 있어, 시료의 표면이 아닌 수지(RESIN)을 측정 기준으로 사용함으로써 수지의 압축으로 인해 발생할 수 있는 오차를 피할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)가 관측하는 대상 금속 표면은 직사각형 형태의 표면 형상을 가질 수 있고, 전자 장치(1000)는 대상 금속 표면의 모서리들 변의 중심 각각에서 마이크로미터를 이용하여 높이 값들을 측정할 수 있다. 전자 장치(1000)는 대상 금속 표면의 모서리들의 중심에서 측정된 중심 높이 값들의 평균 값을, 측정 이미지 별 대상 금속의 평균 높이 값으로 결정할 수 있다.According to an embodiment, when the electronic device 1000 measures the height of a sample with a micrometer after polishing the surface of a target metal, the electronic device 1000 uses a resin (RESIN), not the surface of the sample, as a measurement criterion, resulting in compression of the resin. possible errors can be avoided. According to an embodiment, the target metal surface observed by the electronic device 1000 may have a rectangular surface shape, and the electronic device 1000 uses a micrometer at the center of each corner of the target metal surface to determine the height of the target metal surface. values can be measured. The electronic device 1000 may determine an average value of center height values measured at the center of edges of the target metal surface as an average height value of the target metal for each measured image.

도 5는 일 실시 예에 따른 전자 장치가 대상 금속 표면에 대한 물리적 연마 및 화학적 에칭후 측정한 대상 금속 표면의 높이 값들을 포함하는 테이블이다.5 is a table including height values of a target metal surface measured after physical polishing and chemical etching of the target metal surface by an electronic device according to an embodiment.

일 실시 예에 의하면, 전자 장치(1000)는 대상 금속 표면에 대한 물리적 연마 및 화학적 에칭을 처리한 후, 대상 금속의 복수의 포인트 별 높이 값들을 측정하고, 측정된 높이 값들의 평균 값을 결정할 수 있다. 전자 장치(1000)는 대상 금속 표면에 대한 물리적 연마 및 화학적 에칭 처리 시마다 측정한 복수의 포인트 별 높이 값들 및 측정된 높이 값들의 평균 값을 테이블 형식으로 저장할 수 있다. According to an embodiment, the electronic device 1000 may perform physical polishing and chemical etching on the surface of the target metal, measure height values of a plurality of points of the target metal, and determine an average value of the measured height values. there is. The electronic device 1000 may store height values for each point measured at each physical polishing and chemical etching treatment of the target metal surface and an average value of the measured height values in a table format.

예를 들어, 전자 장치(1000)는 대상 금속의 관찰면을 연마 장치에 마련되는 SiC polishing pad인 FEPA P200, P400, P800, P1200, P2000 중 적어도 하나를 이용하여 연마할 수 있다. 일 실시 예에 의하면, 마지막 연마에 사용되는 P2000의 그리드 크기는 10.3 마이크로미터일 수 있으며, 전자 장치(1000)는 마지막으로 연마포와 격자 크기가 1 마이크로미터의 그리드 크기를 가지는 다결정 다이아몬드 페이스트를 사용하여 20초 동안 미세 연마를 수행할 수 있다. 전자 장치(1000)는 연마 장치를 이용하여 대상 금속에 대한 물리적 연마를 수행한 이후, 화학적 에칭을 수행할 수 있다.For example, the electronic device 1000 may polish the observation surface of the target metal using at least one of FEPA P200, P400, P800, P1200, and P2000, which are SiC polishing pads provided in the polishing device. According to an embodiment, the grid size of the P2000 used for final polishing may be 10.3 micrometers, and the electronic device 1000 finally uses a polishing cloth and a polycrystalline diamond paste having a grid size of 1 micrometer. and fine polishing can be performed for 20 seconds. The electronic device 1000 may perform chemical etching after performing physical polishing on the target metal using a polishing device.

예를 들어, 전자 장치(1000)는 미세 연마가 완료되면 질산 3g을 에탄올 65g에 희석하여 얻은 식각액을 대상 금속의 관찰면에 5초간 노출시킨 후, 증류수로 초음파세정을 15초간 수행하고, 초음파 세정 이후, 에탄올로 10초간 세정함으로써 대상 금속의 표면을 화학적으로 에칭할 수 있다. 일 실시 예에 의하면, 물리적 연마 이후, 대상 금속 표면에 대한 화학적 에칭은 총 3회 반복될 수 있으나, 이에 한정되는 것은 아니다. 본 개시에 따른 전자 장치(1000)는 미세 연마, 화학적 에칭, 높이 측정을 반복함으로써 복수의 측정 이미지들을 획득하고, 획득된 측정 이미지들에서 포인트 별 높이 값들 및 상기 높이 값들의 평균 값을 결정하며, 결정된 높이 값들 및 평균 값을 복수의 측정 이미지와 매칭하여 저장할 수 있다. 전자 장치(1000)는 대상 금속 표면에서 미세 조직 결정이 나타낼 때까지 대상 금속 표면을 물리적으로 폴리싱하고 화학적 에칭한 후, 현미경 이미지를 촬영할 수 있다.For example, when the fine polishing is completed, the electronic device 1000 exposes an etchant obtained by diluting 3 g of nitric acid in 65 g of ethanol to the observation surface of the target metal for 5 seconds, performs ultrasonic cleaning with distilled water for 15 seconds, and performs ultrasonic cleaning. Thereafter, the surface of the target metal may be chemically etched by washing with ethanol for 10 seconds. According to one embodiment, after physical polishing, chemical etching of the target metal surface may be repeated three times in total, but is not limited thereto. The electronic device 1000 according to the present disclosure obtains a plurality of measurement images by repeating fine polishing, chemical etching, and height measurement, determines height values for each point in the obtained measurement images and an average value of the height values, The determined height values and average values may be matched with a plurality of measured images and stored. The electronic device 1000 may capture a microscope image after physically polishing and chemically etching the target metal surface until microstructure crystals appear on the target metal surface.

도 5를 참조하면, 테이블의 레이어(502)는 물리적 및 화학적 연마의 횟수, 해당 횟수에서 측정된 이미지의 레이어 번호를 나타낼 수 있다. 또한, 포인트 식별 번호(512, 514, 516, 518)는 해당 레이어 번호의 측정 이미지에서, 각 포인트 별로 측정된 높이 값들을 나타낼 수 있다. 또한, 평균(520)은 해당 레이어 번호의 측정 이미지에서, 포인트 별로 측정된 높이 값들의 평균 값을 나타낼 수 있다. 후술하는 바와 같이, 전자 장치(1000)는 결정된 평균 높이 값(520)에 기초하여, 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성할 수 있다. 전자 장치(1000)는 결정이 나타날때까지 폴리싱 및 화학적 에칭을 수행하고, 결정이 나타날때까지 현미경을 통해 모니터링을 수행할 수 있다.Referring to FIG. 5 , a layer 502 of the table may indicate the number of times of physical and chemical polishing and a layer number of an image measured at the corresponding number of times. In addition, the point identification numbers 512, 514, 516, and 518 may represent height values measured for each point in the measurement image of the corresponding layer number. Also, the average 520 may indicate an average value of height values measured for each point in the measurement image of the corresponding layer number. As will be described later, the electronic device 1000 may generate a 3D image by stacking ROI images based on the determined average height value 520 . The electronic device 1000 may perform polishing and chemical etching until crystals appear, and may perform monitoring through a microscope until crystals appear.

도 6은 일 실시 예에 따른 전자 장치가 대상 금속 표면을 3번, 4번 및 5번 폴리싱한 후 현미경을 통해 획득한 측정 이미지와, 측정 이미지들에서 관심 영역을 식별하기 위해 선택한 레퍼런스 이미지 및 타겟 이미지를 나타낸다.6 illustrates measurement images acquired through a microscope after an electronic device polishes a target metal surface three times, four times, and five times, and reference images and targets selected to identify a region of interest in the measurement images according to an embodiment. represents an image.

본 개시에 따른 전자 장치(1000)는 대상 금속 표면을 촬영함으로써 획득되는 현미경 이미지인 금속결정 이미지를 3차원으로 이미지화 하기 위해, 반복적으로 폴리싱 및 에칭을 통해 현미경 사진을 획득하는데, 이러한 과정에서 대상 금속 시편을 폴리싱하고, 동일한 영역을 관찰함에 있어 위치 오차가 발생할 수 있다. 전자 장치(1000)는 측정 이미지별로 나타나는 위치 오차를 보정하기 위해, 측정 이미지들 별로 관심 영역 이미지들을 생성하며, 생성된 관심 영역 이미지들에 기초하여 3차원 이미지를 생성함으로써, 대상 금속 표면을 더 정확하게 나타낼 수 있다.The electronic device 1000 according to the present disclosure obtains a microscope picture through repeated polishing and etching in order to three-dimensionally image a metal crystal image, which is a microscopic image obtained by photographing a target metal surface. In this process, the target metal Positional errors may occur in polishing the specimen and observing the same area. The electronic device 1000 generates ROI images for each measurement image in order to correct positional error appearing for each measured image, and generates a 3D image based on the generated ROI images, thereby more accurately measuring the target metal surface. can indicate

예를 들어, 도 6의 그림 (602, 604, 606)을 참조하면 500 배율의 현미경에 의해 130um*98um의 영역을 각각 3,4,5번 폴리싱한 후, 촬영한 사진이 도시된다. 비교 기준으로 각 그림 (602, 604, 606)에는 중앙에 십자선이 표시된다. 그림 602를 기준으로 그림 604는 위치가 왼쪽 윗방향으로 이동되어 있으며, 그림 604를 기준으로 하면, 그림 606은 오른쪽으로 이동된 것을 볼 수 있다. 따라서, 전자 장치(1000)가 현미경을 통해 획득된 측정 이미지들에 나타나는 대상 금속 시편의 위치는 동일하지 않을 수 있다.For example, referring to drawings 602 , 604 , and 606 of FIG. 6 , pictures taken after polishing an area of 130 μm×98 μm 3, 4, and 5 times using a microscope with a magnification of 500 are shown. For comparison, each figure (602, 604, 606) is marked with a crosshair in the center. Based on Figure 602, the position of Figure 604 is moved to the upper left direction, and based on Figure 604, Figure 606 is moved to the right. Therefore, the position of the target metal specimen appearing in measurement images obtained by the electronic device 1000 through a microscope may not be the same.

본 개시에 따른 전자 장치(1000)는 측정 이미지들에 로컬 포지셔닝 알고리즘을 수행함으로써, 측정 이미지들에서 나타나는 위치 오차를 자동으로 보정할 수 있다. 그림 (612)는 n번째 폴리싱 후 촬영된 측정 이미지이고, 그림 614는 n+1번째 폴리싱 후 촬영된 측정 이미지로, 복수의 측정 이미지들 중에서 인접한 2개의 이미지이다. 전자 장치(1000)는 그림 612에 나타나는 n번째 측정 이미지를 레퍼런스 이미지로 활용하고, 그림 614에 나타나는 n+1 번째를 타겟 이미지로 활용할 수 있다. 도 7에서 상술하는 바와 같이, 전자 장치(1000)는 레퍼런스 이미지 내 소정의 영역에 대한 매트릭스를 탁세 이미지 내에서 이동시키면서, 매트릭스 연산을 수행하고, 매트릭스 연산 결과 값에 기초하여 레퍼런스 이미지 및 타겟 이미지 각각에서 관심 영역 이미지들을 생성할 수 있다.The electronic device 1000 according to the present disclosure may automatically correct position errors appearing in the measurement images by performing a local positioning algorithm on the measurement images. Figure 612 is a measurement image taken after the nth polishing, Figure 614 is a measurement image taken after the n+1th polishing, and is two adjacent images among a plurality of measurement images. The electronic device 1000 may use the nth measurement image shown in Figure 612 as a reference image and use the n+1th measurement image shown in Figure 614 as a target image. As described above with reference to FIG. 7 , the electronic device 1000 performs a matrix operation while moving a matrix for a predetermined area within the reference image within the taxic image, and each of the reference image and the target image is based on the result of the matrix operation. Region-of-interest images can be generated from

도 7은 일 실시 예에 따른 전자 장치가 측정 이미지들에 대한 로컬 포지셔닝 알고리즘을 수행함으로써 관심 영역 이미지들을 생성하는 과정을 설명하기 위한 도면이다.7 is a diagram for explaining a process of generating ROI images by performing a local positioning algorithm on measurement images by an electronic device according to an embodiment.

S710에서, 전자 장치(1000)는 측정 이미지들 중에서 인접한 측정 이미지들을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 측정 이미지들 중에서 폴리싱 횟수에 따른 레이어 번호가 인접한 2개의 측정 이미지들을 식별할 수 있다. S720에서, 전자 장치(1000)는 대상 금속 표면에 대한 물리적 또는 화학적 처리 횟수를 나타내는 레이어 번호에 기초하여 2개의 이미지 중 하나를 레퍼런스 이미지 나머지를 타겟 이미지로 결정할 수 있다.In S710, the electronic device 1000 may identify adjacent measurement images among measurement images. For example, the electronic device 1000 may identify two measurement images having adjacent layer numbers according to the number of polishings among measurement images. In S720, the electronic device 1000 may determine one of the two images as a reference image and the other target image based on the layer number indicating the number of physical or chemical treatments for the target metal surface.

S730에서, 전자 장치(1000)는 레퍼런스 이미지 내 소정의 영역에 대한 매트릭스를 타겟 이미지 내에서 이동시키면서 매트릭스 연산을 수행할 수 있다. 구체적으로, 전자 장치(1000)는 하기 수학식들에 기초하여 매트릭스 연산을 수행하고, 연산 결과에 기초하여 복수의 측정 이미지들에서 관심 영역 이미지를 생성할 수 있다.In S730, the electronic device 1000 may perform a matrix operation while moving a matrix for a predetermined area in the reference image in the target image. Specifically, the electronic device 1000 may perform a matrix operation based on the following equations, and generate an ROI image from a plurality of measurement images based on a result of the operation.

Figure pat00001
Figure pat00001

상기 수학식 1에서 나타난 (x1, y1)과 (x2, y2)는 로컬 포지셔닝 알고리즘을 적용하기 위해 선택한 영역의 대각선 방향의 꼭지점의 좌표일 수 있다. 그리고,

Figure pat00002
,
Figure pat00003
는 해석 영역의 가로변과 세로변의 길이이다. 도 6의 그림 612의 경우 (251, 201)과 (1900, 1300)을 꼭지점으로 하고,
Figure pat00004
는 1650,
Figure pat00005
는 1100인 영역을 선택한 예이다.(x 1 , y 1 ) and (x 2 , y 2 ) shown in Equation 1 may be coordinates of vertices in a diagonal direction of a region selected to apply the local positioning algorithm. and,
Figure pat00002
,
Figure pat00003
is the length of the horizontal and vertical sides of the analysis domain. In the case of figure 612 in FIG. 6, (251, 201) and (1900, 1300) are vertices,
Figure pat00004
is 1650,
Figure pat00005
is an example of selecting an area of 1100.

Figure pat00006
Figure pat00006

상기 수학식 2에서, 도 6의 그림 612의 영역은 첫번째 레이어 번호를 가지는 측정 이미지에서 선택되었고, 이는 레퍼런스 이미지로 사용됨을 나타낼 수 있다. 즉, 측정 이미지를 스택함에 있어, 가장 먼저 정의된 측정 이미지를 기준으로 배치될 수 있다. In Equation 2, the area of Figure 612 of FIG. 6 is selected from the measurement image having the first layer number, which may indicate that it is used as a reference image. That is, in stacking the measurement images, the first defined measurement image may be placed as a reference.

Figure pat00007
Figure pat00007

Figure pat00008
Figure pat00008

또한, 전자 장치(1000)는 상기 수학식 3 및 수학식 4를 이용하여 로컬 포지셔닝 알고리즘 적용 대상이 되는 타겟 이미지인 두번째 레이어 번호를 가지는 측정 이미지에서, 레퍼런스 이미지의 해석 영역과 비교 대상이 되는 해석 영역을 선택할 수 있다. 예를 들어, 전자 장치(1000)는 수학식 3 및 수학식 4를 이용하여, (x1-h, y1-h)과 (x2-h, y2-h)의 영역에서 (x1+h, y1+h)과 (x2+h, y2+h)의 영역까지 총 4h제곱 개의 경우를 선택할 수 있다. 여기에서 +h,-h는 각 레이어 번호 별 측정 이미지에서의 최대 위치 오차를 나타낸다. In addition, the electronic device 1000 uses Equations 3 and 4 to determine the analysis region of the reference image and the analysis region to be compared in the measurement image having the second layer number, which is the target image to which the local positioning algorithm is applied. can choose For example, the electronic device 1000 uses Equations 3 and 4 to obtain (x 1 -h, y 1 -h) and (x 2 -h , y 2 -h) regions. +h, y 1 +h) and (x 2 +h, y 2 +h), a total of 4h square cases can be selected. Here, +h and -h represent the maximum position error in the measured image for each layer number.

도 6의 그림 614는 h=100인 경우로, (151, 101)과 (1800, 1200)의 영역에서 (351, 301)과 (2000, 1400)의 영역까지 총 40,000개 경우의 수가 선택된 것을 도시화한 것이다.Figure 614 of FIG. 6 shows that a total of 40,000 cases are selected from the areas of (151, 101) and (1800, 1200) to the areas of (351, 301) and (2000, 1400) in the case of h = 100. it did

Figure pat00009
Figure pat00009

상기 수학식 5의 S1(i,j) 레퍼런스 이미지 및 타겟 이미지에서 각각 선택된 영역의 매트릭스에서 각 요소들(예컨대 픽셀)간의 차이 값(픽셀 차이 값)에 대한 절대 값을 모두 합한 값을 나타낼 수 있다. 본 명세서에서 매트릭스에서 각 요소들 간의 차이 값에 대한 절대 값을 모두 합한 값은 매트릭스 연산 결과 값에 대응될 수 있다.S 1 (i,j) of Equation 5 may represent a sum of absolute values of difference values (pixel difference values) between elements (eg, pixels) in the matrix of each selected region in the reference image and the target image. there is. In this specification, a sum of absolute values of difference values between elements in a matrix may correspond to a result value of matrix operation.

Figure pat00010
Figure pat00010

상기 수학식 6은 S1(i,j)에서 최소 값을 갖는 행

Figure pat00011
과 열
Figure pat00012
을 의미할 수 있다. 일 실시 예에 의하면,
Figure pat00013
일 수 있다. 일 실시 예에 의하면 S1(i,j)의 최소 값은 레퍼런스 이미지 및 타겟 이미지가 거의 일치하는 위치에서 생성될 수 있다. 전자 장치(1000)는 상기 수학식 1 내지 6에 기초하여, 레퍼런스 이미지 및 타겟 이미지에 대하여 매트릭스 연산을 수행할 수 있다.Equation 6 above is the row with the minimum value in S 1 (i, j)
Figure pat00011
overheat
Figure pat00012
can mean According to one embodiment,
Figure pat00013
can be According to an embodiment, the minimum value of S 1 (i,j) may be generated at a position where the reference image and the target image almost coincide. The electronic device 1000 may perform a matrix operation on the reference image and the target image based on Equations 1 to 6 above.

S740에서, 전자 장치(1000)는 매트릭스 연산 결과 값에 기초하여 레퍼런스 이미지 및 타겟 이미지 각각에서 관심 영역 이미지들을 생성한다. 본 개시에 따른 전자 장치(1000)는 상기 과정을 복수의 측정 이미지들 중 인접한 2개 이미지들에 대하여 반복하여 수행할 수 있다. 예를 들어, 전자 장치(1000)는 하기 수학식 7 내지 9를 이용하여 N번째 레이어 번호의 측정 이미지에서

Figure pat00014
Figure pat00015
를 반영한 영역을 레퍼런스로 하고, 타겟이 되는 N+1 번째 레이어 번호의 측정 이미와 서로 비교함으로써 로컬 포지셔닝 알고리즘을 반복적으로 수행할 수 있다.In S740, the electronic device 1000 generates ROI images from each of the reference image and the target image based on the result of the matrix operation. The electronic device 1000 according to the present disclosure may repeatedly perform the above process on two adjacent images among a plurality of measurement images. For example, the electronic device 1000 uses the following Equations 7 to 9 in the measurement image of the Nth layer number.
Figure pat00014
class
Figure pat00015
The local positioning algorithm can be repeatedly performed by using the area reflecting ? as a reference and comparing it with the measured image of the N+1 th layer number, which is the target.

Figure pat00016
Figure pat00016

Figure pat00017
Figure pat00017

Figure pat00018
Figure pat00018

상기 수학식 7 내지 9를 이용한 과정과 하기 수학식 10을 이용하여 구한 각 레이어 번호에 따른 측정 이미지에서의

Figure pat00019
Figure pat00020
을 이용하면, 하기 수학식 11에 나타난 바와 같이, 첫번째 레이어 번호의 측정 이미지에서의 관심 영역, 즉 (X1, Y1)과 (X2, Y2)를 대각선 꼭지점으로 하는 영역의 각 로컬 포지셔닝 알고리즘이 적용된 관심 영역 이미지를 생성할 수 있다.In the measured image according to each layer number obtained using the process using Equations 7 to 9 and Equation 10 below,
Figure pat00019
class
Figure pat00020
As shown in Equation 11 below, as shown in Equation 11 below, the region of interest in the measurement image of the first layer number, that is, the interest to which each local positioning algorithm of the region having (X1, Y1) and (X2, Y2) as diagonal vertices is applied. You can create an area image.

Figure pat00021
Figure pat00021

Figure pat00022
Figure pat00022

상기 수학식 11에서,

Figure pat00023
는 로컬 포지셔닝 알고리즘 적용을 위해 선택된 상기 수학식 1, 2, 7 및 8의
Figure pat00024
와 독립적일 수 있다.In Equation 11 above,
Figure pat00023
of Equations 1, 2, 7 and 8 selected for applying the local positioning algorithm.
Figure pat00024
can be independent of

도 8은 대상 금속 표면을 3번 및 4번 폴리싱 한 후 획득되는 측정 이미지들의 특정 영역에 대해 로컬 포지셔닝 알고리즘을 적용함으로써 추출된 관심 영역 이미지를 설명하기 위한 도면이다.8 is a view for explaining an image of a region of interest extracted by applying a local positioning algorithm to a specific region of measurement images obtained after polishing a target metal surface three times and four times.

일 실시 예에 의하면, 전자 장치(1000)는

Figure pat00025
Figure pat00026
에서, 로컬 포지셔닝 알고리즘을 수행하였고, 그 결과, 도 8의 그림 802, 806에 도시된 3번째 레이어 넘버의 측정 이미지에서
Figure pat00027
Figure pat00028
와 같은 결과 값을 획득하였고, 그림 804 및 808에 도시된 4번째 레이어 넘버의 측정 이미지에서
Figure pat00029
Figure pat00030
와 같은 결과를 획득하였다. 그리고, 전자 장치(1000)는
Figure pat00031
를 조정함으로써, 그림 802 및 806에서,
Figure pat00032
픽셀들, 그림 804 및 808에서,
Figure pat00033
픽셀들의 영역을 각각 관심 영역 이미지로 선택할 수 있다.According to an embodiment, the electronic device 1000
Figure pat00025
and
Figure pat00026
, a local positioning algorithm was performed, and as a result, in the measurement images of the third layer number shown in Fig. 8, 802 and 806,
Figure pat00027
and
Figure pat00028
The same result value was obtained, and in the measurement image of the 4th layer number shown in Figures 804 and 808
Figure pat00029
and
Figure pat00030
The same result was obtained. And, the electronic device 1000
Figure pat00031
By adjusting , in figures 802 and 806,
Figure pat00032
pixels, in Figures 804 and 808,
Figure pat00033
Each region of pixels may be selected as a region of interest image.

도 9는 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 미세 조직의 경계를 식별하는 방법의 흐름도이다.9 is a flowchart of a method of identifying, by an electronic device, a boundary of a microtissue in ROI images according to an embodiment.

도 10은 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 미세 조직의 경계를 식별하는 예를 설명하기 위한 도면이다.10 is a diagram for explaining an example in which an electronic device identifies a boundary of microstructure in ROI images according to an exemplary embodiment.

도 9 내지 10을 참조하여 전자 장치(1000)가 미세 조직의 경계를 식별하는 과정을 구체적으로 설명하기로 한다.A process of identifying the boundary of the microstructure by the electronic device 1000 will be described in detail with reference to FIGS. 9 and 10 .

S910에서, 전자 장치(1000)는 관심 영역 이미지들 내 임의 두 지점의 픽셀 값의 차이에 기초하여 임계치를 결정할 수 있다. 예를 들어, 도 10에 도시된 그림 1002를 참조하면, 전자 장치(1000)는 관심 영역 이미지 내 미세 조직 경계의 내부 한 지점(1021)의 밝기 값(또는 픽셀 값)을 식별하고, 미세 조직 경계 영역에 위치하는 한 지점(1022)의 밝기 값(또는 픽셀 값)을 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 두 지점(1021, 1022)의 밝기 값의 차이의 절반 값을 임계치로 결정할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 두 지점(1021, 1022)의 픽셀 값의 차이의 절반을 임계치로 결정할 수도 있다.In S910, the electronic device 1000 may determine a threshold based on a difference between pixel values of two arbitrary points in the ROI images. For example, referring to FIG. 1002 shown in FIG. 10 , the electronic device 1000 identifies a brightness value (or pixel value) of a point 1021 inside the microtissue boundary in the ROI image, and identifies the microtissue boundary. A brightness value (or pixel value) of a point 1022 located in the area may be identified. According to an embodiment, the electronic device 1000 may determine a half value of a difference between brightness values of the two points 1021 and 1022 as a threshold value. According to another embodiment, the electronic device 1000 may determine half of the difference between pixel values of the two points 1021 and 1022 as the threshold.

S920에서, 전자 장치(1000)는 임계치에 기초하여 관심 영역 이미지들을 이진화 할 수 있다. 예를 들어, 전자 장치(1000)는 임계치에 기초하여 관심 영역 이미지들을 이진화할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 임계치에 기초하여 임계치 보다 밝은 값을 나타내는 픽셀의 픽셀 값을 1로 결정하고, 임계치 보다 어두운 값을 나타내는 픽셀의 픽셀 값을 0으로 결정함으로써, 관심 영역 이미지들을 이진화할 수 있다.In S920, the electronic device 1000 may binarize the ROI images based on the threshold. For example, the electronic device 1000 may binarize the ROI images based on a threshold. According to an embodiment, the electronic device 1000 determines a pixel value of a pixel having a value brighter than the threshold as 1 based on a threshold and determines a pixel value of a pixel having a value darker than the threshold as 0, thereby determining the region of interest. Images can be binarized.

S930에서, 전자 장치(1000)는 이진화된 관심 영역 이미지들 내 임의 지점에서 생성된 포인트를 이동시키면서 픽셀 값의 변화 여부를 식별할 수 있다. S940에서, 전자 장치(1000)는 식별된 픽셀 값의 변화 여부에 기초하여 관심 영역 이미지들 내 상기 적어도 하나의 미세 조직의 경계를 식별한다. 예를 들어, 그림 (1002)에서 횡방향이 행(Column)이고, 종방향이 열(row)일 수 있따. 그리고 행은 오른쪽으로 갈수록 행의 번호가 증가할 수 있으며, 열은 아래쪽으로 갈수록 열번호가 증가할 수 있다. 따라서, 그림 1004에서, 위쪽의 화살표는 행이 작아짐을 의미할 수 있다. 전자 장치(1000)는 첫번째 0이 나오는 열(row)에서 1을 더함으로써 미세조직 경계의 시작점을 식별할 수 있다.In S930, the electronic device 1000 may identify whether a pixel value has changed while moving a point generated at an arbitrary point in the binarized ROI images. In operation S940, the electronic device 1000 identifies a boundary of the at least one microstructure in ROI images based on whether the identified pixel value changes. For example, in the drawing 1002, the horizontal direction may be a column and the vertical direction may be a row. Further, row numbers may increase toward the right, and column numbers may increase toward the bottom of a column. Thus, in Figure 1004, an upward arrow may mean that the row is getting smaller. The electronic device 1000 may identify the starting point of the microstructure boundary by adding 1 to a row where the first 0 appears.

일 실시 예에 의하면, 현미경 사진에 의한 조직 내부에서 voids가 발생하거나, 탈락에 의하여 검은 점으로 표현될 수 있는 문제점이 있으며, 이러한 점의 존재는 첫번째 0이 나오는 열(row)의 위치에 혼동을 줄 수 있는 문제점이 있다. 따라서, 본 개시의 일 실시 예에 의하면, 전자 장치(1000)는 그림 1006에 나타나는 바와 같이, 이진화된 관심 영역 이미지에서 넓은 1의 분포에 둘러 쌓여 있는 작은 0은 전부 1로 변경할 수 있다. 전자 장치(1000)는 관심 영역 이미지들을 이진화하고, 이진화된 관심 영역 내 일부 0을 나타내는 픽셀 값들을 미세 조정함으로써, 관심 영역 이미지 내 미세조직의 경계를 정확하게 식별할 수 있다.According to one embodiment, there is a problem that voids occur inside the tissue by micrographs or can be expressed as black dots due to dropout, and the existence of these dots confuses the position of the row where the first 0 appears. There are problems that can be given. Accordingly, according to an embodiment of the present disclosure, the electronic device 1000 may change all of the small 0's surrounded by the wide distribution of 1's to 1's in the binarized ROI image, as shown in FIG. 1006 . The electronic device 1000 may accurately identify the boundary of the microstructure in the ROI image by binarizing the ROI images and finely adjusting pixel values representing some 0s in the binarized ROI image.

그림 1008을 참조하면, 전자 장치(1000)가 그림 1006에서 경계의 시작점을 찾은 이후, 경계의 좌표를 찾는 과정이 도시된다. 현재 전자 장치(1000)는 첫번째 0과 마지막 1의 위치를 인식한 상태이므로, 두개의 픽셀을 포함하는 4개의 인접한 픽셀에서 1과 0의 유무를 확인할 수 있다.Referring to Figure 1008, after the electronic device 1000 finds the starting point of the border in Figure 1006, a process of finding coordinates of the border is shown. Since the current electronic device 1000 recognizes the positions of the first 0 and the last 1, it can check the presence or absence of 1 and 0 in four adjacent pixels including the two pixels.

지점 (1023)은 위쪽으로 이동하여 1과 0의 경계에서 정지하므로 고정된 조건일 수 있다. 이 고정된 조건을 포함하여 총 4가지 경우를 가정할 수 있다. 예를 들어, 오른쪽 위 및 오른쪽 측면이 1-1, 0-1, 0-0, 1-0인 경우를 가정할 수 있다. 예를 들어 0-1의 경우 경계는 그림 (1008)에 나타난 종단점(break point)의 경우와 같이 오른쪽이고, 1-1의 경우, 경계는 그림 (1008)에 나타난 바와 같이 우상단이며, 0-0의 경우, 그림 (1008)에 나타난 바와 같이, 화살표가 도시된 부분에서 피크일 수 있다.Point 1023 may be a fixed condition as it moves upward and stops at the boundary of 1 and 0. Including this fixed condition, a total of four cases can be assumed. For example, it can be assumed that the top right and right sides are 1-1, 0-1, 0-0, 1-0. For example, in the case of 0-1, the boundary is on the right as in the case of the break point shown in Figure 1008, and in the case of 1-1, the boundary is in the upper right as shown in Figure 1008, and 0-0 In the case of , as shown in the figure 1008, the arrow may be a peak in the portion shown.

도 11은 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 식별된 미세 조직의 경계를 리사이징하는 방법의 흐름도이다.11 is a flowchart of a method of resizing, by an electronic device, a boundary of a microtissue identified in ROI images according to an embodiment.

도 12는 일 실시 예에 따른 전자 장치가 관심 영역 이미지들에서 식별된 미세 조직의 경계를 리사이징하는 예를 설명하기 위한 도면이다.12 is a diagram for explaining an example in which an electronic device resizes a boundary of a microtissue identified in ROI images according to an embodiment.

도 11 내지 12를 참조하여 전자 장치(1000)가 미세 조직의 경계를 리사이징하는 과정을 구체적으로 설명하기로 한다. 본 개시에 따른 전자 장치가 이용하는 금속 현미경은 500배 배율로 설정하였을 때, 픽셀 1개당 분해능(예컨대 해상도)이 약 0.063마이크로미터이고, 높이 측정을 위한 마이크로미터의 정확도는 0.01 마이크로미터일 수 있다. 결과적으로 대상 금속 표면에 대한 측정 이미지에서 취득한 (x,y)좌표로 표현되는 경계는 높이 z에 비해 상대적으로 매우 많은 노드와 필요 이상으로 높은 공간 분해능으로 표현될 수 있다.A process of resizing the boundary of the microstructure by the electronic device 1000 will be described in detail with reference to FIGS. 11 and 12 . When the metal microscope used by the electronic device according to the present disclosure is set at a magnification of 500 times, the resolution (eg, resolution) per pixel is about 0.063 micrometers, and the accuracy of the micrometer for height measurement may be 0.01 micrometers. As a result, the boundary expressed by the (x,y) coordinates obtained from the measured image of the target metal surface can be expressed with a relatively high number of nodes compared to the height z and a higher spatial resolution than necessary.

따라서, 전자 장치(1000)가 대상 금속 표면을 촬영함으로써 획득한 이미지에 기초하여 3차원 이미지를 생성함에 있어, 계산 속도의 저하와 상하로 침상의 면을 형성할 수 있는 문제점이 있다. 다만 노드의 개수를 줄일 경우 조직의 형상이 왜곡될 수 있으므로, 조직의 형상 왜곡을 최소화하면서 3차원 이미지 생성에 필요한 연산량을 최적화 하기 위한 노드수 선택 또는 미세조직 경계의 리사이징이 필요할 수 있다.Therefore, when the electronic device 1000 generates a 3D image based on an image acquired by photographing the target metal surface, there are problems in that calculation speed is reduced and acicular planes may be formed vertically. However, since the shape of the tissue may be distorted when the number of nodes is reduced, it may be necessary to select the number of nodes or resize the microstructure boundary to optimize the amount of calculation required for generating a 3D image while minimizing the shape distortion of the tissue.

S1110에서, 전자 장치(1000)는 관심 영역 이미지들이 생성된 측정 이미지들에 미리 매칭된 대상 금속 표면의 평균 높이 값에 기초하여, 관심 영역 이미지들에 포함된 적어도 하나의 미세 조직의 경계를 리사이징할 수 있다. 예를 들어, 본 개시에 따른 전자 장치(1000)는 하기 수학식 12 내지 15에 기초하여 최적의 노드수를 결정하고, 결정된 노드수에 기초하여 관심 영역 이미지 내 경계를 리사이징할 수 있다.In operation S1110, the electronic device 1000 resizes the boundary of at least one microstructure included in the ROI images based on the average height value of the target metal surface pre-matched to the measurement images from which the ROI images are generated. can For example, the electronic device 1000 according to the present disclosure may determine the optimal number of nodes based on Equations 12 to 15 below, and resize the boundary within the ROI image based on the determined number of nodes.

Figure pat00034
Figure pat00034

전자 장치(1000)는 상기 수학식 12에 기초하여 카메라(또는 현미경 장치)의 픽셀을 정의할 수 있다. 일반적으로 수직 및 수평 픽셀의 비율 m/n은 4/3일 수 있으나, 이에 한정되는 것은 아니다. 전자 장치(1000)가 현미경 장치를 통하여 획득 가능한 영상의 공간 해상도는 광학 렌즈계에 따라 달라질 수 있고, 수학식 13과 같이 정의될 수 있다.The electronic device 1000 may define a pixel of a camera (or microscope device) based on Equation 12 above. In general, the ratio m/n of vertical and horizontal pixels may be 4/3, but is not limited thereto. The spatial resolution of an image obtainable by the electronic device 1000 through the microscope device may vary depending on the optical lens system and may be defined as Equation 13.

Figure pat00035
Figure pat00035

상기 수학식 13에서, w와 h는 각 측정 이미지의 너비와 높이 값을 의미한다. 각 픽셀 사이의 정량적 거리는 하기 수학식 14에 기초하여 유도될 수 있다.In Equation 13, w and h mean the width and height values of each measured image. The quantitative distance between each pixel can be derived based on Equation 14 below.

Figure pat00036
Figure pat00036

일 실시 예에 의하면, m=2048, w=130um일 경우, 상기 수학식 14에서, P는 0.063(um/pixels)에 해당하는 130/2048 (um/pixels)일 수 있다. 그러나, 그림 5의 테이블에서 나타나는 바와 같이, 폴리싱 후 각 레이어 번호에서의 측정 이미지의 높이는 1-2um이므로, 만약 P=0.063 (um/pixels)로 사용하는 경우, 결정의 측면 표면이 바늘 모양의 사각형들(needle-like squares)로 표현되며, 표면이 균일하지 않은 문제가 있다. 따라서, 결과를 잘 생성하기 위해서는, 하기 수학식 15에 따른 P'를 정의할 필요가 있다.According to an embodiment, when m = 2048 and w = 130um, in Equation 14 above, P may be 130/2048 (um/pixels) corresponding to 0.063 (um/pixels). However, as shown in the table in Figure 5, since the height of the measured image at each layer number after polishing is 1-2um, if P=0.063 (um/pixels) is used, the lateral surface of the crystal is a needle-shaped rectangle. It is expressed as needle-like squares, and the surface is not uniform. Therefore, in order to generate a good result, it is necessary to define P' according to Equation 15 below.

Figure pat00037
Figure pat00037

상기 수학식 15에서

Figure pat00038
이고,
Figure pat00039
일 수 있다. S1120에서, 전자 장치(1000)는 상기 수학식 12 내지 15에 기초하여 리사이징된 적어도 하나의 미세 조직의 경계를 관심 영역 이미지들 내 미세조직의 경계로 식별할 수 있다.In Equation 15 above
Figure pat00038
ego,
Figure pat00039
can be In operation S1120, the electronic device 1000 may identify the boundary of at least one microstructure resized based on Equations 12 to 15 as the boundary of the microstructure in the ROI images.

구체적으로, 도 12의 그림 (1202)에는, 도 3의 그림 (806)의 미세 조직 이미지로부터 결정된 미세조직 경계 좌표에 따른 다각형이 도시된다. 그림 (1202)를 참조하면, 3084개의 다각형 꼭지점에 의해 정의되는 파란색 실선(1212)와, 3개씩 건너뛰어서 1028개의 다각형 꼭지점에 의해 정의되는 녹색 실선(1214)과, 9개씩 건너 뛰어서 343개의 다각형 꼭지점으로 정의되는 빨간색 실선(1216)과, 27개씩 건너 뛰어서 114개의 다각형 꼭지점으로 정의되는 검은색 점선(1218)이 도시된다.Specifically, the drawing 1202 of FIG. 12 shows a polygon according to the microstructure boundary coordinates determined from the microstructure image of the drawing 806 of FIG. 3 . Referring to figure 1202, a blue solid line 1212 defined by 3084 polygon vertices, a green solid line 1214 defined by 1028 polygon vertices by 3 skips, and 343 polygon vertices by 9 skips. A red solid line 1216 defined by , and a black dotted line 1218 defined by 114 polygon vertices skipped by 27 are shown.

그림 (1202)에서 나타난 다각형(1219)의 만(움푹 파여진 부분)을 확대한 그림 (1220)을 참조하면, 검은색 점선(1218)으로는 정확하게 표현할 수 없으나, 빨간색 실선(1216)을 이용하면 만의 형상이 표시됨을 확인할 수 있다. 이는 약 0.57um의 공간 분해능으로 그림 (1202) 내 다각형(1219)의 세부 영역을 표현할 수 있음을 나타낸다. 그림 (1204)는 다각형의 꼭지점 개수에 따른 폴리곤의 면적을 나타낸다. 27개씩 건너 뛰어서 60개의 꼭지점으로 그린 다각형의 면적은 약 50% 감소하나, 13개 이하로 건너뛴 경우 면적비가 거의 변하지 않음을 알 수 있다. 따라서, 일 실시 예에 따른 전자 장치(1000)는 9개씩 건너뛴 0.57um의 공간 분해능을 가지는 미세조직의 경계를 대상 금속 표면의 미세 조직의 경계로 식별할 수 있다. Referring to the drawing 1220 in which the bay (dented part) of the polygon 1219 shown in the drawing 1202 is enlarged, it cannot be accurately expressed with the black dotted line 1218, but using the red solid line 1216 It can be seen that the shape of the bay is displayed. This indicates that a detailed area of the polygon 1219 in the drawing 1202 can be expressed with a spatial resolution of about 0.57 μm. Figure 1204 shows the area of a polygon according to the number of vertices of the polygon. The area of a polygon drawn with 60 vertices skipped by 27 is reduced by about 50%, but it can be seen that the area ratio hardly changes when skipped by 13 or less. Accordingly, the electronic device 1000 according to an embodiment may identify the boundary of the microstructure having a spatial resolution of 0.57 μm skipped by 9 as the boundary of the microstructure of the target metal surface.

본 개시에 따른 전자 장치(1000)는 수학식 12 내지 15에 따라 관심 영역 이미지 내 미세조직의 경계를 리사이징함으로써 연산량 대비 최적의 미세조직 경계를 식별할 수 있다.The electronic device 1000 according to the present disclosure may identify an optimal microstructure boundary compared to the amount of computation by resizing the boundary of the microstructure in the ROI image according to Equations 12 to 15.

도 13은 일 실시 예에 따른 전자 장치가 3차원 이미지를 생성하는 구체적인 방법의 흐름도이다.13 is a flowchart of a specific method of generating a 3D image by an electronic device according to an embodiment.

S1310에서, 전자 장치(1000)는 평균 높이 값에 기초하여, 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층할 수 있다. 예를 들어, 전자 장치(1000)는 대상 금속 표면을 폴리싱 한 후 대상 금속 표면을 현미경을 통해 촬영함으로써 측정 이미지를 획득하고, 마이크로미터를 이용하여 대상 금속의 평균 높이 값을 결정한다. 전자 장치(1000)는 폴리싱 마다 측정된 평균 높이 값을 3차원 이미지상의 Z축 값으로 활용함으로써, 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층할 수 있다.In operation S1310, the electronic device 1000 may stack the ROI images in which at least one microtissue boundary is identified based on the average height value. For example, the electronic device 1000 obtains a measurement image by photographing the surface of the target metal through a microscope after polishing the surface of the target metal, and determines an average height value of the target metal using a micrometer. The electronic device 1000 may stack the ROI images in which the boundary of the microstructure is identified by using the average height value measured for each polishing as a Z-axis value on the 3D image.

S1320에서, 전자 장치(1000)는 평균 높이 값에 기초하여 적층된 관심 영역 이미지들에 나타나는, 적어도 하나의 미세 조직의 경계를 면처리(SURFACING)할 수 있다. 예를 들어, 전자 장치(1000)는 관심 영역 이미지들에 미리 매칭된 평균 높이 값에 기초하여 관심 영역 이미지들을 3차원 공간상에 적층시 3차원 공간의 z축을 기준으로 적층된 관심 영역 이미지들 면상의 경계들이 적층될 수 있다. 전자 장치(1000)는 적층된 경계들 사이를 면처리함으로써 소정의 면을 생성할 수 있다. In operation S1320, the electronic device 1000 may surface-process a boundary of at least one microstructure appearing in the stacked ROI images based on the average height value. For example, when the electronic device 1000 stacks the ROI images on the 3D space based on the average height value matched with the ROI images in advance, the electronic device 1000 stacks the stacked ROI images with respect to the z-axis of the 3D space. The boundaries of can be stacked. The electronic device 1000 may generate a predetermined surface by surface processing between the stacked boundaries.

S1330에서, 전자 장치(1000)는 면처리된 적어도 하나의 미세 조직의 경계를 3차원 이미지로 생성할 수 있다. 후술하는 도 14 내지 16을 참조하여, 전자 장치(1000)가 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성하는 구체적인 예를 설명하기로 한다.In operation S1330, the electronic device 1000 may generate a boundary of at least one surface-processed microstructure as a 3D image. A specific example in which the electronic device 1000 generates a 3D image by stacking ROI images will be described with reference to FIGS. 14 to 16 described later.

도 14는 일 실시 예에 따른 전자 장치가 3차원 이미지를 생성하기 위해 이용하는 소정의 미세 조직들이 나타나는 관심 영역 이미지들의 예시이다.14 is an example of ROI images showing predetermined microstructures used by an electronic device to generate a 3D image according to an embodiment.

도 14에 도시된 그림 (1402, 1404, 1406, 1408)에는 각각, 3번, 7번, 10번, 26번 폴리싱에 따라 달라지는 z축 높이를 가지는 관심 영역 이미지들이 도시된다. 그림 (1402, 1404, 1406, 1408)에는 현미경의 xy 단면 이미지의 공간 해상도가 0.57um이고, #1, #3, #5번으로 구분되는 미세 조직(예컨대 메탈 그레인, metal grain, mg)이 경계에 의해 구분된 상태가 도시된다. 그림 (1402)에서 그림 (1408)로 갈수록, 폴리싱 횟수가 증가함에 따라 미세 조직 일부는 면적이 점점 좁아지고, 미세 조직의 다른 일부는 면적이 점점 넓어지는 것을 볼 수 있다.Figures 1402, 1404, 1406, and 1408 shown in FIG. 14 show ROI images having different z-axis heights according to polishing 3, 7, 10, and 26, respectively. In the drawings (1402, 1404, 1406, 1408), the spatial resolution of the xy cross-sectional images of the microscope is 0.57um, and the microstructures (e.g., metal grain, mg) divided into #1, #3, and #5 are bordered. The state divided by is shown. From Figure 1402 to Figure 1408, it can be seen that as the number of polishing increases, the area of some microstructures gradually narrows and the area of other parts of microstructures gradually widens.

예를 들어, 그림 (1402)에서 그림 (1408)로 갈수록, #1, #2 미세 조직은 연마되면서 폭이 점점 좁아지고, #1 미세 조직은 최종적으로 여러 개의 미세 조직으로 나뉘어 질 수 있음을 관측할 수 있다. For example, from Figure 1402 to Figure 1408, it is observed that #1 and #2 microstructures become narrower as they are polished, and that #1 microstructure can finally be divided into several microstructures. can do.

도 15는 일 실시 예에 따른 전자 장치가 미세 조직 별 복수의 관심 영역 이미지들을 적층한 결과를 도시한 도면이다.15 is a diagram illustrating a result of stacking a plurality of ROI images for each microstructure by an electronic device according to an embodiment.

도 15에 도시된 그림 (1502)는 도 14의 관심 영역 이미지들(1402, 1404, 1406, 1408)에서 나타나는 미세 조직 #1에 대한 부분 관심 영역 이미지들을 적층한 결과이고, 그림 (1504)는 도 14의 관심 영역 이미지들에서 나타나는 미세 조직 #3에 대한 부분 관심 영역 이미지를 적층한 결과이고, 그림 (1506)은 도 14의 관심 영역 이미지들에서 나타나는 미세조직 #5에 대한 부분 관심 영역 이미지를 적층한 결과이며, 그림 (1508)은 도 14의 관심 영역 이미지들에서 나타나는 미세 조직 #6에 대한 부분 관심 영역 이미지를 적층한 결과이다. A drawing 1502 shown in FIG. 15 is a result of stacking partial ROI images of microstructure #1 appearing in the ROI images 1402, 1404, 1406, and 1408 of FIG. 14, and a drawing 1504 is a drawing 1504. This is a result of stacking partial ROI images for microstructure #3 appearing in the ROI images of FIG. 14, and a figure 1506 shows stacking partial ROI images for microstructure #5 appearing in the ROI images of FIG. 14. As a result, figure 1508 is a result of stacking partial ROI images of microstructure #6 shown in the ROI images of FIG. 14 .

도 15에 도시된 바와 같이, 각 관심 영역 이미지들에서의 경계를 스택한 결과를 볼륨(volumn)으로 표현하기 위해서는 각 관심영역 이미지들에서 나타나는 경계 내 좌표점과 인접한 높이의 위치를 잇는 면을 형성할 필요가 있다. 전자 장치(1000)는 적층된 관심 영역 이미지들에서 나타나는 미세 조직의 경계들을 면처리함으로써 후술하는 도 16에 도시된 3차원 이미지들을 생성할 수 있다.As shown in FIG. 15, in order to express the result of stacking boundaries in each ROI image as a volume, a plane connecting coordinate points within the boundary appearing in each ROI image and an adjacent height position is formed. Needs to be. The electronic device 1000 may generate 3D images illustrated in FIG. 16 described later by surface-processing the boundaries of microstructures appearing in the stacked ROI images.

도 16은 일 실시 예에 따른 전자 장치가 도 15에서 적층된 관심 영역 이미지들에 나타나는 미세 조직의 경계를 면처리 함으로써 생성한 3차원 이미지를 설명하기 위한 도면이다.FIG. 16 is a diagram for explaining a 3D image generated by surface-processing the boundary of microstructures appearing in the stacked ROI images of FIG. 15 by the electronic device according to an exemplary embodiment.

도 16을 참조하면 그림 (1602, 1604, 1606)에서 각 적층된 관심 영역 이미지들에서 나타나는 미세 조직의 경계들을 면처리함으로써 생성된 3차원 이미지들이 도시된다. 본 개시에 따른 전자 장치(1000)는 대상 금속의 표면에서 관측되는 복수의 미세 조직 별 3차원 이미지를 생성할 수도 있지만, 복수의 미세 조직을 포함하는 3차원 이미지(1608)를 생성할 수도 있다.Referring to FIG. 16 , in figures 1602 , 1604 , and 1606 , 3D images generated by face-processing the boundaries of microstructures appearing in the stacked ROI images are shown. The electronic device 1000 according to the present disclosure may generate a 3D image for each of a plurality of microstructures observed on the surface of a target metal, but may also generate a 3D image 1608 including a plurality of microstructures.

일 실시 예에 따른 전자 장치(1000)는 관심 영역 이미지들 중 특정 미세 조직에 대한 부분 관심 영역 이미지들을 적층하고, 적층된 부분 관심 영역 이미지들 상의 미세 조직 경계를 면처리함으로써 미세 조직 별 3차원 이미지들 (1602, 1604, 1606)를 생성할 수도 있지만, 복수의 미세 조직 경계를 포함하는 관심 영역 이미지들을 적층하고, 적층된 관심 영역 이미지들에 나타나는 경계를 면처리함으로써 복수의 미세 조직들을 포함하는 3차원 이미지(1608)를 생성할 수도 있다. 본 개시에 따른 전자 장치(1000)는 대상 금속의 미세 조직을 3차원으로 영상화함으로써 대상 금속 내 미세조직의 객관적인 관측이 가능하게 할 수 있다.The electronic device 1000 according to an embodiment stacks partial ROI images for a specific microstructure among ROI images, and surface-processes microtissue boundaries on the stacked partial ROI images, thereby forming a 3D image for each microtissue. s 1602, 1604, and 1606 may be generated, but 3 regions including a plurality of microstructures may be generated by stacking the ROI images including a plurality of microstructure boundaries and surface-processing the boundary appearing in the stacked ROI images. A dimensional image 1608 may also be created. The electronic device 1000 according to the present disclosure can objectively observe the microstructure of the target metal by imaging the microstructure of the target metal in 3D.

도 17은 일 실시 예에 따른 전자 장치의 블록도이다.17 is a block diagram of an electronic device according to an embodiment.

도 18은 또 다른 실시 예에 따른 전자 장치의 블록도이다.18 is a block diagram of an electronic device according to another embodiment.

일 실시 예에 의하면, 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 디지털 카메라, 모바일 단말, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다.According to an embodiment, the electronic device 1000 may be implemented in various forms. For example, the electronic device 1000 described in this specification includes a digital camera, a mobile terminal, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcasting terminal, and a personal digital assistant (PDA). Digital Assistants), PMP (Portable Multimedia Player), navigation, MP3 player, etc. may exist, but are not limited thereto.

일 실시 예에 의하면, 전자 장치(1000)는 디스플레이(1210), 프로세서(1300) 및 메모리(1700)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 대상 금속의 미세 조직을 3차원 이미지화 하기 위한 방법을 수행하기 위한 기타 장치들을 더 포함할 수도 있다. 일 실시 예에 의하면, 전자 장치(1000)는 도 18에 도시된 바와 같이, 사용자 입력 인터페이스(1100), 출력부(1200)로 마련되는 음향 출력부(1220), 연마 장치(1400), 에칭 장치(1410), 네트워크 인터페이스(1500), A/V 입력부(1600), 메모리(1700)를 더 포함할 수도 있다.According to an embodiment, the electronic device 1000 may include a display 1210, a processor 1300, and a memory 1700. However, it is not limited thereto, and may further include other devices for performing a method for 3D imaging a microstructure of a target metal. According to an embodiment, as shown in FIG. 18 , the electronic device 1000 includes a user input interface 1100, an audio output unit 1220 provided as an output unit 1200, a polishing device 1400, and an etching device. 1410, a network interface 1500, an A/V input unit 1600, and a memory 1700 may be further included.

사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The user input unit 1100 means a means through which a user inputs data for controlling the electronic device 1000 . For example, the user input unit 1100 includes a key pad, a dome switch, a touch pad (contact capacitance method, pressure resistive film method, infrared sensing method, surface ultrasonic conduction method, integral type tension measuring method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.

사용자 입력부(1100)는, 전자 장치(1000)가 대상 금속 미세 조직에 대한 3차원 이미지를 생성하기 위한 적어도 하나의 사용자 입력을 수신할 수 있다.The user input unit 1100 may receive at least one user input for the electronic device 1000 to generate a 3D image of the target metal microstructure.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220)를 포함할 수 있다.The output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210 and a sound output unit 1220.

디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력하기 위한 화면을 포함한다. 또한, 화면은 영상을 디스플레이 할 수 있다. 예를 들면, 디스플레이부(1210)는 복수의 측정 이미지들, 복수의 관심 영역 이미지들, 관심 영역 이미지들을 적층한 결과, 적층된 결과를 면처리함으로써 생성되는 3차원 이미지 또는 영상을 출력할 수 있다.The display unit 1210 includes a screen for displaying and outputting information processed by the electronic device 1000 . Also, the screen may display an image. For example, the display unit 1210 may output a result of stacking a plurality of measurement images, a plurality of ROI images, and a plurality of ROI images, and a 3D image or video generated by face-processing the stacked result. .

음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.The audio output unit 1220 outputs audio data received from the communication unit 1500 or stored in the memory 1700 . Also, the sound output unit 1220 outputs sound signals related to functions performed by the electronic device 1000 (eg, a call signal reception sound, a message reception sound, and a notification sound).

프로세서(1300)는 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 연마장치(1400), 에칭 장치(1410), 마이크로미터(1420), 네트워크 인터페이스(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 16에 기재된 전자 장치(1000)의 기능을 수행할 수 있다.The processor 1300 typically controls overall operations of the electronic device 1000 . For example, the processor 1300 executes the programs stored in the memory 1700, so that the user input unit 1100, the output unit 1200, the polishing device 1400, the etching device 1410, the micrometer 1420 , the network interface 1500, the A/V input unit 1600, etc. can be generally controlled. Also, the processor 1300 may perform the functions of the electronic device 1000 described in FIGS. 1 to 16 by executing programs stored in the memory 1700 .

일 실시 예에 의하면, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 대상 금속 표면을 물리적 또는 화학적으로 처리하면서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득하고, 상기 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정하고, 상기 측정 이미지들로부터 상기 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성하고, 상기 생성된 관심 영역 이미지들에서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별하고, 상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성할 수 있다.According to an embodiment, the at least one processor obtains a plurality of measurement images including at least one microstructure appearing on the target metal surface while physically or chemically treating the target metal surface by executing the one or more instructions. determine an average height value of a target metal surface appearing in the measured images, generate ROI images including the at least one microstructure from the measured images, and generate the target from the generated ROI images. A boundary of at least one microstructure appearing on the metal surface may be identified, and a 3D image may be generated by stacking ROI images in which the boundary of the at least one microstructure is identified based on the determined average height value.

일 실시 예에 의하면, 프로세서(1300)는 상기 대상 금속 표면을 연마하는 연마 장치 및 에칭 장치를 제어함으로써, 상기 대상 금속 표면을 물리적으로 연마하고, 상기 대상 금속 표면을 물리적으로 연마한 이후 화학적으로 에칭하고, 상기 화학적으로 에칭된 대상 금속 표면을 촬영함으로써 측정 이미지를 획득하고, 상기 물리적 연마, 화학적 에칭된 대상 금속 표면을 촬영하는 동작을 반복함으로써 상기 복수의 측정 이미지들을 획득할 수 있다.According to an embodiment, the processor 1300 controls a polishing device and an etching device for polishing the target metal surface to physically polish the target metal surface, and chemically etch the target metal surface after physically polishing the target metal surface. The plurality of measurement images may be obtained by repeating an operation of acquiring a measurement image by photographing the chemically etched target metal surface and photographing the physically polished and chemically etched target metal surface.

일 실시 예에 의하면, 프로세서(1300)는 측정 이미지가 획득되면, 상기 대상 금속 표면의 모서리들의 중심에서 중심 높이 값들을 측정하고, 상기 중심 높이 값들의 평균 값을 상기 평균 높이 값으로 결정할 수 있다.According to an embodiment, when a measurement image is obtained, the processor 1300 may measure center height values at the center of corners of the target metal surface and determine an average value of the center height values as the average height value.

일 실시 예에 의하면, 프로세서(1300)는 상기 측정 이미지들 중에서 인접한 측정 이미지들을 식별하고, 상기 대상 금속 표면에 대한 상기 물리적 또는 화학적 처리 횟수에 기초하여 상기 복수의 측정 이미지들 중 인접한 2개의 이미지를 레퍼런스 이미지 및 타겟 이미지로 결정하고, 상기 결정된 레퍼런스 이미지 내 소정의 영역에 대한 매트릭스를 상기 타겟 이미지 내에서 이동시키면서 매트릭스 연산을 수행하고, 상기 매트릭스 연산 결과값에 기초하여 상기 레퍼런스 이미지 및 상기 타겟 이미지 각각에서 관심 영역 이미지들을 생성할 수 있다.According to an embodiment, the processor 1300 identifies adjacent measurement images among the measurement images, and generates two adjacent images among the plurality of measurement images based on the number of physical or chemical treatments for the target metal surface. A reference image and a target image are determined, a matrix operation is performed while moving a matrix for a predetermined area in the determined reference image within the target image, and each of the reference image and the target image is performed based on the matrix operation result value. Region-of-interest images can be generated from

일 실시 예에 의하면, 프로세서(1300)는 상기 관심 영역 이미지들 내 임의 두 지점의 픽셀 값의 차이에 기초하여 임계치를 결정하고, 상기 임계치에 기초하여 상기 관심 영역 이미지들을 이진화 하고, 상기 이진화된 관심 영역 이미지들 내에서 임의 지점에서 생성된 포인트를 이동시키면서 픽셀 값의 변화 여부를 식별하고, 상기 식별된 픽셀 값의 변화 여부에 기초하여 상기 관심 영역 이미지들 상기 적어도 하나의 미세 조직의 경계를 식별할 수 있다.According to an embodiment, the processor 1300 determines a threshold based on a difference between pixel values of two arbitrary points in the ROI images, binarizes the ROI images based on the threshold, and performs the binarized ROI images. It is possible to identify whether a pixel value has changed while moving a point generated at an arbitrary point within the region images, and to identify a boundary of the at least one microtissue of the ROI images based on the change in the identified pixel value. can

일 실시 예에 의하면, 프로세서(1300)는 상기 관심 영역 이미지들이 생성된 측정 이미지들에 미리 매칭된 상기 대상 금속 표면의 평균 높이 값에 기초하여, 상기 관심 영역 이미지들에 포함된 상기 적어도 하나의 미세 조직의 경계를 리사이징 하고, 상기 리사이징된 적어도 하나의 미세 조직의 경계를 상기 적어도 하나의 미세 조직의 경계를 미세 조직의 경계로 식별할 수 있다.According to an embodiment, the processor 1300 determines the at least one fine detail included in the ROI images based on an average height value of the target metal surface previously matched to measurement images from which the ROI images are generated. The boundary of the tissue may be resized, and the boundary of the resized at least one microstructure may be identified as the boundary of the microstructure.

일 실시 예에 의하면, 적어도 하나의 프로세서는 상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층하고, 상기 평균 높이 값에 기초하여 적층된 관심 영역 이미지들에 나타나는, 적어도 하나의 미세 조직의 경계를 면처리 하고, 상기 면처리된 상기 적어도 하나의 미세 조직의 경계를 상기 3차원 이미지로 생성할 수 있다.According to an embodiment, the at least one processor stacks the ROI images in which the boundary of the at least one microtissue is identified based on the determined average height value, and stacks the ROI images based on the average height value. A boundary of at least one microstructure appearing in the field may be face-processed, and the face-treated boundary of the at least one microstructure may be generated as the 3D image.

네트워크 인터페이스(1500)는 전자 장치(1000)가 다른 장치(미도시) 또는 서버와 통신을 하게 하는 하나 이상의 구성 요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 예를 들어, 네트워크 인터페이스(1500)는, 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다. The network interface 1500 may include one or more components that allow the electronic device 1000 to communicate with other devices (not shown) or servers. Another device (not shown) may be a computing device such as the electronic device 1000 or a sensing device, but is not limited thereto. For example, the network interface 1500 may include a short-distance communication unit, a mobile communication unit, and a broadcast reception unit.

연마 장치(1400)는 프로세서(1300)의 제어에 의해 대상 금속 표면을 연마할 수 있다. 일 실시 예에 의하면, 연마 장치는 미리 설정된 타입의 연마 패드가 장착되는 스테이지, 상기 스테이지를 회전시키거나, 이동시키는 구동모터 및 상기 연마 패드가 장착되는 스테이지를 이동시키기 위한 구동 모듈을 포함할 수 있으나, 이에 한정되는 것은 아니다. 연마 장치(1400)는 프로세서(1300)의 제어에 의해 미리 설정된 횟수로 대상 금속 표면을 물리적으로 연마할 수 있다.The polishing device 1400 may polish the target metal surface under the control of the processor 1300 . According to one embodiment, the polishing apparatus may include a stage on which a polishing pad of a preset type is mounted, a driving motor for rotating or moving the stage, and a driving module for moving the stage on which the polishing pad is mounted. , but is not limited thereto. The polishing device 1400 may physically polish the target metal surface a preset number of times under the control of the processor 1300 .

에칭 장치(1410)는 프로세서(1300)의 제어에 의해 대상 금속 표면을 에칭할 수 있다. 일 실시 예에 의하면, 에칭 장치(1410)는 식각액, 세정액 또는 증류수가 저장되는 복수 타입의 저장부, 상기 식각액, 세정액 또는 증류수를 상기 대상 금속에 공급하기 위한 복수의 채널을 포함할 수 있으나, 이에 한정되는 것은 아니다. 마이크로미터(1420)는 대상 금속 시편의 높이를 측정할 수 있다. 예를 드렁, 마이크로미터(1420)는 프로세서의 제어에 의하여 대상 금속 시편의 높이를 전자적으로 계측하기 위한 기타 높이 측정 장치로 마련될 수 있다.The etching device 1410 may etch a target metal surface under the control of the processor 1300 . According to an embodiment, the etching apparatus 1410 may include a plurality of types of storage units for storing etching liquid, cleaning liquid, or distilled water, and a plurality of channels for supplying the etching liquid, cleaning liquid, or distilled water to the target metal. It is not limited. The micrometer 1420 may measure the height of a target metal specimen. For example, the micrometer 1420 may be provided as other height measuring devices for electronically measuring the height of a target metal specimen under the control of a processor.

A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. An audio/video (A/V) input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 and a microphone 1620. The camera 1610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode. An image captured through the image sensor may be processed through the processor 1300 or a separate image processing unit (not shown).

마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. The microphone 1620 receives external sound signals and processes them into electrical voice data. For example, the microphone 1620 may receive a sound signal from an external device or a user. The microphone 1620 may receive a user's voice input. The microphone 1620 may use various noise cancellation algorithms to remove noise generated in the process of receiving an external sound signal.

메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 또한, 메모리(1700)에는 대상 금속 표면을 복수회 관측함으로써 획득되는 복수의 측정 이미지들, 관심 영역 이미지들, 관심 영역 이미지들을 적층한 결과, 적층된 관심 영역 이미지들의 경계를 면처리함으로써 생성된 3차원 이미지들이 저장될 수 있다.The memory 1700 may store programs for processing and control of the processor 1300 and may store data input to or output from the electronic device 1000 . In addition, the memory 1700 includes a plurality of measurement images obtained by observing the target metal surface a plurality of times, ROI images, and 3 images generated by surface-processing the boundary of the stacked ROI images as a result of stacking the ROI images. Dimensional images may be stored.

또한, 일 실시 예에 의하면, 메모리(1700)는 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 방법을 수행하기 위한 하나 이상의 인스트럭션을 저장할 수 있다. 일 실시 예에 의하면, 메모리(1700)는 매트랩, C언어, 파이썬과 같은 범용 소프트웨어에서 프로세서에 의해 동작 가능한 하나 이상의 인스트럭션을 포함할 수 있다.Also, according to an embodiment, the memory 1700 may store one or more instructions for performing a method of generating a 3D image of a target metal microstructure. According to one embodiment, the memory 1700 may include one or more instructions operable by a processor in general-purpose software such as MATLAB, C language, and Python.

메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , an optical disk, and at least one type of storage medium.

일 실시예에 따른 전자 장치가 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 본 개시의 일 실시 예에 따르면 대상 금속 미세 조직에 대한 3차원 이미지를 생성하는 방법을 수행하도록 하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 장치가 제공될 수 있다. A method of generating a 3D image of a target metal microstructure by an electronic device according to an embodiment may be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software. In addition, according to an embodiment of the present disclosure, a computer program device including a recording medium storing a program for performing a method of generating a 3D image of a target metal microstructure may be provided.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품(computer program product)으로도 구현될 수 있다.Some embodiments may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Also, some embodiments may be implemented as a computer program or computer program product including instructions executable by a computer, such as a computer program executed by a computer.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also included in the scope of the present invention. fall within the scope of the right

Claims (15)

전자 장치가 대상 금속 미세조직에 대한 3차원 이미지를 생성하는 방법에 있어서,
대상 금속 표면을 물리적 또는 화학적으로 처리하면서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득하는 단계;
상기 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정하는 단계;
상기 측정 이미지들로부터 상기 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성하는 단계;
상기 생성된 관심 영역 이미지들에서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별하는 단계; 및
상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성하는 단계; 를 포함하는, 방법.
A method for generating a three-dimensional image of a target metal microstructure by an electronic device,
obtaining a plurality of measurement images including at least one microstructure appearing on the target metal surface while physically or chemically treating the target metal surface;
determining an average height value of a target metal surface appearing in the measured images;
generating ROI images including the at least one microstructure from the measurement images;
identifying a boundary of at least one microstructure appearing on the target metal surface from the generated ROI images; and
generating a 3D image by stacking ROI images in which a boundary of the at least one microtissue is identified, based on the determined average height value; Including, method.
제1항에 있어서, 상기 복수의 측정 이미지들을 획득하는 단계는
상기 대상 금속 표면을 물리적으로 연마하는 단계;
상기 대상 금속 표면을 물리적으로 연마한 이후 화학적으로 에칭하는 단계;
상기 화학적으로 에칭된 대상 금속 표면을 촬영함으로써 측정 이미지를 획득하는 단계; 및
상기 연마하는 단계, 상기 에칭하는 단계 및 상기 측정 이미지를 획득하는 단계를 반복함으로써 상기 복수의 측정 이미지들을 획득하는 단계; 를 포함하는, 방법.
The method of claim 1 , wherein acquiring the plurality of measurement images comprises:
physically polishing the target metal surface;
chemically etching the target metal surface after physically polishing it;
obtaining a measurement image by photographing the chemically etched target metal surface; and
acquiring the plurality of measurement images by repeating the polishing step, the etching step, and the acquiring the measurement image; Including, method.
제2항에 있어서, 상기 평균 높이 값을 결정하는 단계는
상기 측정 이미지가 획득되면, 상기 대상 금속 표면의 모서리들의 중심에서 중심 높이 값들을 측정하는 단계; 및
상기 중심 높이 값들의 평균 값을 상기 평균 높이 값으로 결정하는 단계; 를 포함하는, 방법.
3. The method of claim 2, wherein determining the average height value comprises:
measuring center height values at centers of corners of the target metal surface when the measurement image is obtained; and
determining an average value of the central height values as the average height value; Including, method.
제1항에 있어서, 상기 관심 영역 이미지들을 생성하는 단계는
상기 측정 이미지들 중에서 인접한 측정 이미지들을 식별하는 단계;
상기 대상 금속 표면에 대한 상기 물리적 또는 화학적 처리 횟수에 기초하여 상기 복수의 측정 이미지들 중 인접한 2개의 이미지를 레퍼런스 이미지 및 타겟 이미지로 결정하는 단계;
상기 결정된 레퍼런스 이미지 내 소정의 영역에 대한 매트릭스를 상기 타겟 이미지 내에서 이동시키면서 매트릭스 연산을 수행하는 단계; 및
상기 매트릭스 연산 결과값에 기초하여 상기 레퍼런스 이미지 및 상기 타겟 이미지 각각에서 관심 영역 이미지들을 생성하는 단계; 를 포함하는, 방법.
2. The method of claim 1, wherein generating the region-of-interest images
identifying adjacent measurement images among the measurement images;
determining two adjacent images among the plurality of measured images as a reference image and a target image based on the number of physical or chemical treatments for the target metal surface;
performing a matrix operation while moving a matrix for a predetermined area within the determined reference image within the target image; and
generating ROI images from each of the reference image and the target image based on the resultant value of the matrix operation; Including, method.
제1항에 있어서, 상기 적어도 하나의 미세 조직의 경계를 식별하는 단계는
상기 관심 영역 이미지들 내 임의 두 지점의 픽셀 값의 차이에 기초하여 임계치를 결정하는 단계;
상기 임계치에 기초하여 상기 관심 영역 이미지들을 이진화 하는 단계;
상기 이진화된 관심 영역 이미지들 내에서 임의 지점에서 생성된 포인트를 이동시키면서 픽셀 값의 변화 여부를 식별하는 단계; 및
상기 식별된 픽셀 값의 변화 여부에 기초하여 상기 관심 영역 이미지들 상기 적어도 하나의 미세 조직의 경계를 식별하는 단계; 를 포함하는, 방법.
The method of claim 1 , wherein identifying the boundary of the at least one microstructure comprises:
determining a threshold value based on a difference between pixel values of two arbitrary points in the ROI images;
binarizing the ROI images based on the threshold;
identifying whether a pixel value has changed while moving a point generated at an arbitrary point within the binarized ROI images; and
identifying a boundary of the at least one microstructure of the ROI images based on whether the identified pixel value changes; Including, method.
제5항에 있어서, 상기 적어도 하나의 미세 조직의 경계를 식별하는 단계는
상기 관심 영역 이미지들이 생성된 측정 이미지들에 미리 매칭된 상기 대상 금속 표면의 평균 높이 값에 기초하여, 상기 관심 영역 이미지들에 포함된 상기 적어도 하나의 미세 조직의 경계를 리사이징 하는 단계; 및
상기 리사이징된 적어도 하나의 미세 조직의 경계를 상기 적어도 하나의 미세 조직의 경계를 미세 조직의 경계로 식별하는 단계; 를 포함하는, 방법.
6. The method of claim 5, wherein identifying the boundary of the at least one microstructure comprises
resizing a boundary of the at least one microstructure included in the ROI images based on an average height value of the target metal surface pre-matched to measurement images from which the ROI images are generated; and
identifying a boundary of the at least one resized microstructure as a boundary of the at least one microstructure; Including, method.
제1항에 있어서, 상기 3차원 이미지를 생성하는 단계는
상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층하는 단계;
상기 평균 높이 값에 기초하여 적층된 관심 영역 이미지들에 나타나는, 적어도 하나의 미세 조직의 경계를 면처리 하는 단계; 및
상기 면처리된 상기 적어도 하나의 미세 조직의 경계를 상기 3차원 이미지로 생성하는 단계; 를 포함하는, 방법.
The method of claim 1, wherein generating the three-dimensional image
stacking ROI images in which a boundary of the at least one microtissue is identified, based on the determined average height value;
surface-processing a boundary of at least one microstructure appearing in the stacked ROI images based on the average height value; and
generating a boundary of the at least one surface-processed microstructure as the 3D image; Including, method.
대상 금속 미세조직에 대한 3차원 이미지를 생성하는 전자 장치에 있어서,
디스플레이;
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고,
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
대상 금속 표면을 물리적 또는 화학적으로 처리하면서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득하고,
상기 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정하고,
상기 측정 이미지들로부터 상기 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성하고,
상기 생성된 관심 영역 이미지들에서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별하고,
상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성하는, 전자 장치.
An electronic device for generating a three-dimensional image of a target metal microstructure,
display;
a memory that stores one or more instructions; and
at least one processor to execute the one or more instructions; including,
By executing the one or more instructions, the at least one processor:
Obtaining a plurality of measurement images including at least one microstructure appearing on the target metal surface while physically or chemically treating the target metal surface;
Determining an average height value of a target metal surface appearing in the measured images;
generating region-of-interest images including the at least one microstructure from the measured images;
identifying a boundary of at least one microstructure appearing on the target metal surface in the generated ROI images;
The electronic device generates a 3D image by stacking ROI images in which a boundary of the at least one microtissue is identified, based on the determined average height value.
제8항에 있어서, 상기 전자 장치는
상기 대상 금속 표면을 연마하는 연마 장치; 및
상기 대상 금속 표면을 화학적으로 에칭하는 에칭 장치; 를 더 포함하고,
상기 적어도 하나의 프로세서는 상기 연마 장치 및 상기 에칭 장치를 제어함으로써,
상기 대상 금속 표면을 물리적으로 연마하고,
상기 대상 금속 표면을 물리적으로 연마한 이후 화학적으로 에칭하고,
상기 화학적으로 에칭된 대상 금속 표면을 촬영함으로써 측정 이미지를 획득하고,
상기 대상 금속 표면을 물리적으로 연마하고, 화학적으로 에칭하고, 상기 화학적으로 에칭된 대상 금속 표면을 촬영함으로써 측정 이미지를 획득하는 동작을 반복함으로써, 상기 복수의 측정 이미지들을 획득하는, 전자 장치.
The method of claim 8, wherein the electronic device
a polishing device for polishing the target metal surface; and
an etching device that chemically etches the target metal surface; Including more,
The at least one processor controls the polishing device and the etching device, thereby
physically polishing the target metal surface;
Chemically etching after physically polishing the target metal surface,
Obtaining a measurement image by photographing the chemically etched target metal surface;
Acquiring the plurality of measurement images by repeating an operation of physically polishing the target metal surface, chemically etching, and photographing the chemically etched target metal surface to obtain a measurement image.
제9항에 있어서, 상기 적어도 하나의 프로세서는
상기 측정 이미지가 획득되면, 상기 대상 금속 표면의 모서리들의 중심에서 중심 높이 값들을 측정하고,
상기 중심 높이 값들의 평균 값을 상기 평균 높이 값으로 결정하는, 전자 장치.
10. The method of claim 9, wherein the at least one processor
When the measured image is acquired, measure center height values at the center of corners of the target metal surface;
An electronic device that determines an average value of the center height values as the average height value.
제8항에 있어서, 상기 적어도 하나의 프로세서는
상기 측정 이미지들 중에서 인접한 측정 이미지들을 식별하고,
상기 대상 금속 표면에 대한 상기 물리적 또는 화학적 처리 횟수에 기초하여 상기 복수의 측정 이미지들 중 인접한 2개의 이미지를 레퍼런스 이미지 및 타겟 이미지로 결정하고,
상기 결정된 레퍼런스 이미지 내 소정의 영역에 대한 매트릭스를 상기 타겟 이미지 내에서 이동시키면서 매트릭스 연산을 수행하고,
상기 매트릭스 연산 결과값에 기초하여 상기 레퍼런스 이미지 및 상기 타겟 이미지 각각에서 관심 영역 이미지들을 생성하는, 전자 장치.
9. The method of claim 8, wherein the at least one processor
Identifying adjacent measurement images among the measurement images;
determining two adjacent images among the plurality of measured images as a reference image and a target image based on the number of physical or chemical treatments for the target metal surface;
Performing a matrix operation while moving a matrix for a predetermined area in the determined reference image in the target image;
The electronic device generates ROI images from each of the reference image and the target image based on the result of the matrix operation.
제8항에 있어서, 상기 적어도 하나의 프로세서는
상기 관심 영역 이미지들 내 임의 두 지점의 픽셀 값의 차이에 기초하여 임계치를 결정하고,
상기 임계치에 기초하여 상기 관심 영역 이미지들을 이진화 하고,
상기 이진화된 관심 영역 이미지들 내에서 임의 지점에서 생성된 포인트를 이동시키면서 픽셀 값의 변화 여부를 식별하고,
상기 식별된 픽셀 값의 변화 여부에 기초하여 상기 관심 영역 이미지들 상기 적어도 하나의 미세 조직의 경계를 식별하는, 전자 장치.
9. The method of claim 8, wherein the at least one processor
determining a threshold based on a difference between pixel values of two arbitrary points in the ROI images;
binarizing the ROI images based on the threshold;
Identifying whether a pixel value is changed while moving a point generated at an arbitrary point within the binarized ROI images;
The electronic device may identify a boundary of the at least one microstructure of the ROI images based on whether the identified pixel value changes.
제12항에 있어서, 상기 적어도 하나의 프로세서는
상기 관심 영역 이미지들이 생성된 측정 이미지들에 미리 매칭된 상기 대상 금속 표면의 평균 높이 값에 기초하여, 상기 관심 영역 이미지들에 포함된 상기 적어도 하나의 미세 조직의 경계를 리사이징 하고,
상기 리사이징된 적어도 하나의 미세 조직의 경계를 상기 적어도 하나의 미세 조직의 경계를 미세 조직의 경계로 식별하는, 전자 장치.
13. The method of claim 12, wherein the at least one processor
Resizing a boundary of the at least one microstructure included in the ROI images based on an average height value of the target metal surface pre-matched to measurement images from which the ROI images are generated;
and identifying a boundary of the at least one resized microstructure as a boundary of the at least one microstructure.
제8항에 있어서, 상기 적어도 하나의 프로세서는
상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층하고,
상기 평균 높이 값에 기초하여 적층된 관심 영역 이미지들에 나타나는, 적어도 하나의 미세 조직의 경계를 면처리 하고,
상기 면처리된 상기 적어도 하나의 미세 조직의 경계를 상기 3차원 이미지로 생성하는, 전자 장치.
9. The method of claim 8, wherein the at least one processor
Stacking ROI images in which a boundary of the at least one microtissue is identified based on the determined average height value;
Surface-processing a boundary of at least one microstructure appearing in the stacked ROI images based on the average height value;
An electronic device generating a boundary of the at least one surface-processed microstructure as the 3D image.
전자 장치가 대상 금속 미세조직에 대한 3차원 이미지를 생성하는 방법에 있어서,
대상 금속 표면을 물리적 또는 화학적으로 처리하면서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직을 포함하는 복수의 측정 이미지들을 획득하는 단계;
상기 측정 이미지들에서 나타나는 대상 금속 표면의 평균 높이 값을 결정하는 단계;
상기 측정 이미지들로부터 상기 적어도 하나의 미세 조직을 포함하는 관심 영역 이미지들을 생성하는 단계;
상기 생성된 관심 영역 이미지들에서 상기 대상 금속 표면에서 나타나는 적어도 하나의 미세 조직의 경계를 식별하는 단계; 및
상기 결정된 평균 높이 값에 기초하여, 상기 적어도 하나의 미세 조직의 경계가 식별된 관심 영역 이미지들을 적층함으로써 3차원 이미지를 생성하는 단계; 를 포함하는, 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체.
A method for generating a three-dimensional image of a target metal microstructure by an electronic device,
obtaining a plurality of measurement images including at least one microstructure appearing on the target metal surface while physically or chemically treating the target metal surface;
determining an average height value of a target metal surface appearing in the measurement images;
generating ROI images including the at least one microstructure from the measurement images;
identifying a boundary of at least one microstructure appearing on the target metal surface from the generated ROI images; and
generating a 3D image by stacking ROI images in which a boundary of the at least one microtissue is identified, based on the determined average height value; A computer-readable recording medium in which a program for performing the method is stored, including a.
KR1020210118936A 2021-09-07 2021-09-07 Apparatus and method generating 3d image of target metalic grain KR102654133B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210118936A KR102654133B1 (en) 2021-09-07 2021-09-07 Apparatus and method generating 3d image of target metalic grain

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210118936A KR102654133B1 (en) 2021-09-07 2021-09-07 Apparatus and method generating 3d image of target metalic grain

Publications (2)

Publication Number Publication Date
KR20230036270A true KR20230036270A (en) 2023-03-14
KR102654133B1 KR102654133B1 (en) 2024-04-04

Family

ID=85502641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210118936A KR102654133B1 (en) 2021-09-07 2021-09-07 Apparatus and method generating 3d image of target metalic grain

Country Status (1)

Country Link
KR (1) KR102654133B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0472551A (en) 1989-09-26 1992-03-06 Kawasaki Steel Corp Method and device for measuring configuration of surface of metal plate
KR20170132841A (en) * 2015-03-31 2017-12-04 케이엘에이-텐코 코포레이션 Sub-pixel and sub-resolution localization of defects on patterned wafers
KR20190029765A (en) * 2016-08-10 2019-03-20 케이엘에이-텐코 코포레이션 Optical measurement of step size and plated metal thickness
KR20190078331A (en) * 2017-12-26 2019-07-04 주식회사 포스코 Method and apparatus for producing labeling image of microstructure using super-pixels
KR20190078348A (en) * 2017-12-26 2019-07-04 주식회사 포스코 Method and apparatus for phase segmentation of microstructure
KR20200080391A (en) * 2018-12-18 2020-07-07 주식회사 포스코 System and method for predicting material properties using metal microstructure images based on deep running
KR20210001688A (en) * 2019-06-28 2021-01-06 두산인프라코어 주식회사 System and method for automatically extracting reference points of images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0472551A (en) 1989-09-26 1992-03-06 Kawasaki Steel Corp Method and device for measuring configuration of surface of metal plate
KR20170132841A (en) * 2015-03-31 2017-12-04 케이엘에이-텐코 코포레이션 Sub-pixel and sub-resolution localization of defects on patterned wafers
KR20190029765A (en) * 2016-08-10 2019-03-20 케이엘에이-텐코 코포레이션 Optical measurement of step size and plated metal thickness
KR20190078331A (en) * 2017-12-26 2019-07-04 주식회사 포스코 Method and apparatus for producing labeling image of microstructure using super-pixels
KR20190078348A (en) * 2017-12-26 2019-07-04 주식회사 포스코 Method and apparatus for phase segmentation of microstructure
KR20200080391A (en) * 2018-12-18 2020-07-07 주식회사 포스코 System and method for predicting material properties using metal microstructure images based on deep running
KR20210001688A (en) * 2019-06-28 2021-01-06 두산인프라코어 주식회사 System and method for automatically extracting reference points of images

Also Published As

Publication number Publication date
KR102654133B1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
US20140355883A1 (en) Method and system for recognizing information
US10621740B2 (en) 3D modeling method based on point cloud data
JP6384340B2 (en) Ultrasonic diagnostic equipment
US11657644B2 (en) Automatic ruler detection
JP2008100073A (en) Ultrasonic diagnostic apparatus and method for measuring size of target object
JPWO2016174926A1 (en) Image processing apparatus, image processing method, and program
TWI664421B (en) Method,apparatus ,and computer software product for image processing
CN111862097A (en) Data enhancement method and device for micro defect detection rate
US10324021B2 (en) Magnetophorisis measuring system for determining motion status of object and quantifying amount of magnetic particles contained therein
JP5111055B2 (en) Image processing apparatus, image processing method, and computer program
JP2001082931A (en) Method and apparatus for measuring depth of hole
JP2018173275A (en) Notification device, notification processing program and notification processing method
TW201113926A (en) Method for characterizing vibrational performance of charged particle beam microscope system and application thereof
KR102654133B1 (en) Apparatus and method generating 3d image of target metalic grain
JP2019215788A (en) Material composition analyzing method and analyzing system
JPWO2011080808A1 (en) Radiation image processing apparatus and radiation image processing program
US20010002462A1 (en) Size inspection/measurement method and size inspection/measurement apparatus
JP4327654B2 (en) Image processing method, image processing apparatus, image processing program, and recording medium on which image processing program is recorded
JP5314018B2 (en) Factor measurement and display device, factor measurement and display method, factor measurement and display program for causing computer to execute factor measurement and display method, and acoustic scanner
CN114519697A (en) Hole defect quantitative detection method based on micro CT
EP1439689A1 (en) Mobile telephone with scanning functionality
Popek et al. Assessing frequency response of video motion magnification techniques
JP2007104296A (en) Method, apparatus, and program for measuring resolution
JPH10214349A (en) Method and instrument for measuring photographic parameter and recording medium
JP5849282B2 (en) Method for increasing resolution of scanning SQUID microscope image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right