KR101543417B1 - Improvement Method of Image Alignment Accuracy in Electron-Tomography - Google Patents

Improvement Method of Image Alignment Accuracy in Electron-Tomography Download PDF

Info

Publication number
KR101543417B1
KR101543417B1 KR1020130146893A KR20130146893A KR101543417B1 KR 101543417 B1 KR101543417 B1 KR 101543417B1 KR 1020130146893 A KR1020130146893 A KR 1020130146893A KR 20130146893 A KR20130146893 A KR 20130146893A KR 101543417 B1 KR101543417 B1 KR 101543417B1
Authority
KR
South Korea
Prior art keywords
image
equation
indicator
dimensional
tomography
Prior art date
Application number
KR1020130146893A
Other languages
Korean (ko)
Other versions
KR20150062344A (en
Inventor
주형태
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020130146893A priority Critical patent/KR101543417B1/en
Publication of KR20150062344A publication Critical patent/KR20150062344A/en
Application granted granted Critical
Publication of KR101543417B1 publication Critical patent/KR101543417B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222Image processing arrangements associated with the tube
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

전자 토모그래피에서 이미지 정렬 정확도 향상 방법을 개시한다.
상기 이미지 정렬 정확도 향상 방법은 EM 투사 이미지 획득단계, 획득된 이미지를 정렬하는 이미지 정렬 단계, 정렬된 이미지를 3차원 토모그램(영상결과)으로 재구성하는 재구성 단계 및 시각화 단계를 순차적으로 수행하여 이루어지는 전자 토모그래피에서, 상기 이미지 정렬 단계 시에, 위치 기준 표시자를 이용한 방법으로, 아래의 식 1을 통해 상기 이미지 정렬 단계를 수행하는 것을 특징으로 한다.
[식 1]

Figure 112013109234636-pat00135

여기서,
Figure 112013109234636-pat00136
Figure 112013109234636-pat00137
번째 표시자의 위치를 나타내며,
Figure 112013109234636-pat00138
는 기울임 각,
Figure 112013109234636-pat00139
는 기울임 축이 x-y 평면과 이루는 편위 (declination)이며,
Figure 112013109234636-pat00140
는 z 방향의 투영행렬을 나타내고,
Figure 112013109234636-pat00141
는 투영 평면상의 회전각,
Figure 112013109234636-pat00142
Figure 112013109234636-pat00143
번째 이미지의 축척을 나타내며,
Figure 112013109234636-pat00144
Figure 112013109234636-pat00145
번째 이미지에서
Figure 112013109234636-pat00146
번째 표시자의 2차원 위치를 나타내고,
Figure 112013109234636-pat00147
Figure 112013109234636-pat00148
번째 이미지의 이차원 평행이동량을 나타낸다.A method for improving image alignment accuracy in electronic tomography is disclosed.
The method for improving the image alignment accuracy includes an EM projection image acquiring step, an image aligning step of aligning the acquired image, a reconstruction step of reconstructing the aligned image into a 3D tomogram (image result), and an electronic In the tomogram, in the image alignment step, the image alignment step is performed by the following formula 1 using a position reference indicator.
[Formula 1]
Figure 112013109234636-pat00135

here,
Figure 112013109234636-pat00136
The
Figure 112013109234636-pat00137
Represents the position of the second marker,
Figure 112013109234636-pat00138
Lt; / RTI >
Figure 112013109234636-pat00139
Is the declination that the tilt axis makes with the xy plane,
Figure 112013109234636-pat00140
Represents a projection matrix in the z direction,
Figure 112013109234636-pat00141
The rotation angle on the projection plane,
Figure 112013109234636-pat00142
The
Figure 112013109234636-pat00143
Represents the scale of the second image,
Figure 112013109234636-pat00144
The
Figure 112013109234636-pat00145
In the second image
Figure 112013109234636-pat00146
Dimensional position of the second indicator,
Figure 112013109234636-pat00147
The
Figure 112013109234636-pat00148
Dimensional image of the second image.

Description

전자―토모그래피에서 이미지 정렬의 정확도 향상 방법{Improvement Method of Image Alignment Accuracy in Electron-Tomography}[0001] The present invention relates to a method of improving image alignment in electronic tomography,

본 발명은 전자-토모그래피에서 중요한 과정인 이미지정렬을 효율적으로 수행할 수 있는 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법에 관한 발명이다.
The present invention relates to a method for improving the accuracy of image alignment in electronic tomography, which can efficiently perform image alignment, which is an important process in electronic tomography.

전자-토모그래피는 물질의 3차원적 구조 분석법으로, 일반적인 분해능은 원자분해능과 X선 토모그래피(μm) 사이 정도이다.Electron-tomography is a three-dimensional structural analysis of a material, with typical resolutions between atomic resolution and X-ray tomography (μm).

전자-토모그래피 기술의 발달에 따라 2004년 약 1nm 였던 분해능은 최근 10nm 나노 금입자의 3차원 구조 연구에서 2.4Å까지 향상되었다. 전자 토모그래피는 다음 네 단계를 거쳐 완성된다. 첫째, 시료를 일정 범위 내에서 연속적으로 기울인 2차원 EM 투사 이미지의 획득, 둘째, 얻어진 이미지의 정렬, 셋째, 3차원 토모그램(tomogram)으로 재구성, 넷째, 시각화 과정이다.
With the development of electron-tomography technology, the resolution, which was about 1 nm in 2004, has been improved to 2.4 Å in recent 3-dimensional structure studies of 10 nm nano-gold particles. Electronic tomography is completed through the following four steps. First, acquisition of a 2D EM projection image in which the sample is inclined continuously within a certain range, second, alignment of the obtained image, third, reconstruction with a 3D tomogram, and fourth, visualization process.

전자-토모그래피의 과정 중 가장 중요한 것 중 하나가 TEM 이미지를 가지런히 정렬하는 것이다. 컴퓨터 계산시간 및 메모리 등의 제약으로 3차원적 재구성을위해 독립적인 2-D 연산을 연속으로 사용하기 때문에 모든 영상이 정확하게 정렬되지 않으면 좋은 결과를 낼 수 없다.One of the most important processes of electron-tomography is to align the TEM image. Due to the constraints of computer computation time and memory, independent 2D 2-D operations are used consecutively for 3-D reconstruction, which can not produce good results if all images are not correctly aligned.

그동안 이미지의 정렬에 대해 많은 연구가 있어 왔으며, 효과적인 정렬을 위해 가능한 경우 나노 금입자 등의 위치기준 표시자(fiducial marker)를 사용한다. Luther et al. (1988)가 제시한 방법은 여러 가지 변수들을 다양하게 적용시킬 수 있는 편리한 방법으로 IMOD S/W (Kremer et al., 1996) 등에 사용되고 있다.
Much research has been done on image alignment, and fiducial markers, such as nanocomposite particles, are used where possible for effective alignment. Luther et al. (1988) have used IMOD S / W (Kremer et al., 1996) as a convenient way to apply various parameters in various ways.

그러나 위치기준 표시자가 모든 이미지에 존재해야 하는 약점이 있다. 두께가 얇거나 탄소 등 가벼운 원소로 구성된 생체 시료의 경우 고각에서도 표시자를 잘 관찰할 수 있지만, 두꺼운 시료 혹은 무거운 원소 성분의 시료에서는 고각에서 특정 표시자가 잘 구분되지 않기 때문이다. 이의 해결을 위해 Jing and Sachs (1991)와 Penczek et al. (1995) 등이 최소자승법을 변형시킨 여러 방법을 제시하였다. However, there is a drawback that the position reference indicator must be present in all images. Biological samples composed of thin or light carbon elements such as carbon can be used to observe the markers at high angles, however, because thick specimens or heavy element samples do not distinguish specific markers from elevation angles. Jing and Sachs (1991) and Penczek et al. (1995) have suggested various methods of transforming least squares.

Diez et al. (2006)는 비선형 최소자승법의 효율적인 풀이를 위해 Newton법과 Conjugate Gradient 법을 병용해서 사용하였다.
Diez et al. (2006) used the Newton method and the Conjugate Gradient method together for efficient solution of the nonlinear least squares method.

한편, 본 발명에서 제시하는 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법은 위치기준 표시자를 이용한 이미지의 정렬에 사용되는 몇 가지 방법들의 제약을 극복할 수 있는 방법으로, 이미지를 정렬하기 위한 수정된 모델식과, 충분한 수의 위치기준 표시자를 선택할 수 없을 경우를 고려할 수 있는 비선형 역산식을 제시하였으며, 여기서, 수학적 풀이를 위해 지구물리 분야에서 널리 사용되고 있는 Levenberg-Marquardt 방법 (Levenberg, 1944; Marquardt, 1963)을 사용하였다. Meanwhile, the method for enhancing the image alignment accuracy in the electronic tomography according to the present invention can overcome the limitation of several methods used for aligning images using the position reference indicator. In the modified model, The Levenberg-Marquardt method (Levenberg, 1944; Marquardt, 1963), which is widely used in the field of geophysics for solving mathematical problems, presents a nonlinear inversion equation that can be considered when a sufficient number of position- Were used.

또한 수렴의 안정성 및 효율성을 높일 수 있는 효과적인 초기치 선정방법을 제시하였다. In addition, an effective initial value selection method to improve convergence stability and efficiency is proposed.

최종적으로는 지오폴리머 시료에 대한 토모그래피 과정을 통해 본 발명에서 제안된 방법의 우수성을 검증하고자 한다.
Finally, we try to verify the superiority of the method proposed by the present invention through a tomography process for a geopolymer sample.

[1] De Rosier DJ, Klug A: Reconstruction of three dimensional structures from electron micrographs. Nature 217: 130-134, 1968.[1] De Rosier DJ, Kluge: Reconstruction of three dimensional structures from electron micrographs. Nature 217: 130-134, 1968. [2] Diez D C, Seybert A, and Frangakis A S: Tilt-series and electron microscope alignment for the correction of the non-perpendicularity of beam and tilt-axis. Ultramicroscopy 154(2): 195-205, 2006.[2] Diez D C, Seybert A, and Frangakis A: Tilt-series and electron microscope alignment for the non-perpendicularity of beam and tilt-axis. Ultramicroscopy 154 (2): 195-205, 2006. [3] Jing Z, Sachs F: Alignment of tomographic projections using an incomplete set of fiducial markers. Ultramicroscopy 35(1): 37-43, 1991.[3] Jing Z, Sachs F: Alignment of tomographic projections using an incomplete set of fiducial markers. Ultramicroscopy 35 (1): 37-43, 1991. [4] Kremer JR, Mastronarde DN, McIntosh JR: Computer Visualization of Three-Dimensional Image Data Using IMOD. J. Struct. Biology 116(1): 71-76, 1996.[4] Kremer JR, Mastronarde DN, McIntosh JR: Computer Visualization of Three-Dimensional Image Data Using IMOD. J. Struct. Biology 116 (1): 71-76,1996. [5] Levenberg K: A method for the solution of certain problems in least squares. Quart. Appl. Math. 2: 164-168, 1944.[5] Levenberg K: A method for the solution of certain problems in least squares. Quart. Appl. Math. 2: 164-168, 1944. [6] Luther PK, Lawrence MC, and Crowther RA: A method for monitoring the collapse of plastic sections as a function of electron dose. Ultramicroscopy 24(1): 7-18, 1988.[6] Luther PK, Lawrence MC, and Crowther RA: A method for monitoring the collision of plastic sections as a function of electron dose. Ultramicroscopy 24 (1): 7-18, 1988. [7] Marquardt D: An algorithm for least-squares estimation of nonlinear parameters. SIAM J. Appl. Math. 11: 431-441, 1963.[7] Marquardt D: An algorithm for least-squares estimation of nonlinear parameters. SIAM J. Appl. Math. 11: 431-441, 1963. [8] Midgley PA, Dunin-Borkowski RE: Electron tomography and holography in materials science. Nature Mater 8: 271-280, 2009.[8] Midgley PA, Dunin-Borkowski RE: Electron tomography and holography in materials science. Nature Mater 8: 271-280, 2009. [9] Penczek P, Marko M, Buttle K, Frank J: Double-tilt electron tomography. Ultramicroscopy 60(3): 393-410, 1995,[9] Penczek P, Marko M, Buttle K, Frank J: Double-tilt electron tomography. Ultramicroscopy 60 (3): 393-410, 1995, [10] Scott MC, Chen C-C, Mecklenburg M, Zhu C, Xu R, Ercius P, Dahmen U, Regan BC, Miao J: Electron tomography at 2.4-anggstrom resolution. Nature 483: 444-447, 2012.[10] Scott MC, Chen C-C, Mecklenburg M, Zhu C, Xu R, Ercius P, Dahmen U, Regan BC, Miao J: Electron tomography at 2.4-angstrom resolution. Nature 483: 444-447, 2012. [11] Ziese U, Jong KP de, Koster AJ: Electron tomography: A tool for 3D structural probing of heterogeneous catalysts at the nanometer scale. Applied Catalysis A-General 260: 71-74, 2004.[11] Ziesei, Jong KP, Koster AJ: Electron tomography: A tool for 3D structural probing of heterogeneous catalysts at the nanometer scale. Applied Catalysis A-General 260: 71-74, 2004.

본 발명이 해결하고자 하는 과제는 전자토모그래피에서 이미지 정렬을 보다 효과적으로 수행할 수 있는 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method for enhancing the accuracy of image alignment in electronic tomography that can more effectively perform image alignment in electronic tomography.

여기서, 본 발명에서 제시된 이미지 정렬에 필요한 새로운 모델식 및 최소화 식은 임의의 이미지에서 선택된 모든 표시자들을 사용할 수 있는 장점이 있으며, Levenberg-Marquardt 방법은 최소화 식의 해를 안정하게 구해줌으로써, 기본적인 L-M 법의 계산시간을 매우 많이 개선시켜 줄 수 있다. Here, the new model expression and minimization formula necessary for the image sorting proposed in the present invention have an advantage that all the selected markers in an arbitrary image can be used, and the Levenberg-Marquardt method stably obtains the solution of the minimization formula, Can be greatly improved.

또한, 두꺼운 시료나 잡음이 많아 표시자를 전체 이미지에 모두 선택하기 어려운 경우에도 매우 유용하게 사용될 수 있다.
In addition, it is very useful even when it is difficult to select all of the markers on the whole image because of thick samples or a lot of noise.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법은 EM 투사 이미지 획득단계, 획득된 이미지를 정렬하는 이미지 정렬 단계, 정렬된 이미지를 3차원 토모그램(영상결과)으로 재구성하는 재구성 단계 및 시각화 단계를 순차적으로 수행하여 이루어지는 전자 토모그래피에서, 상기 이미지 정렬 단계 시에, 위치 기준 표시자를 이용한 방법으로, 아래의 식 1을 통해 상기 이미지 정렬 단계를 수행하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for improving the accuracy of image alignment in electronic tomography, comprising the steps of: acquiring an EM projection image; arranging an image to align the acquired image; And a reconstruction step of reconstructing the image using the position reference indicator and the visualization step in the order of the image sorting step, the image sorting step is performed by the following formula 1 using the position reference indicator in the image sorting step .

[식 1][Formula 1]

Figure 112013109234636-pat00001
Figure 112013109234636-pat00001

여기서,

Figure 112015045340837-pat00002
는 i번째 표시자의 위치를 나타내며,
Figure 112015045340837-pat00004
는 기울임 각,
Figure 112015045340837-pat00005
는 기울임 축이 x-y 평면과 이루는 편위 (declination)이며,
Figure 112015045340837-pat00006
는 z 방향의 투영행렬을 나타내고,
Figure 112015045340837-pat00007
는 투영 평면상의 회전각,
Figure 112015045340837-pat00008
는 j번째 이미지의 축척을 나타내며,
Figure 112015045340837-pat00010
는 j번째 이미지에서 i번째 표시자의 2차원 위치를 나타내고,
Figure 112015045340837-pat00013
는 j번째 이미지의 이차원 평행이동량을 나타낸다.
here,
Figure 112015045340837-pat00002
Indicates the position of the i-th marker,
Figure 112015045340837-pat00004
Lt; / RTI >
Figure 112015045340837-pat00005
Is the declination that the tilt axis makes with the xy plane,
Figure 112015045340837-pat00006
Represents a projection matrix in the z direction,
Figure 112015045340837-pat00007
The rotation angle on the projection plane,
Figure 112015045340837-pat00008
Represents the scale of the j-th image,
Figure 112015045340837-pat00010
Represents the two-dimensional position of the i-th indicator in the j-th image,
Figure 112015045340837-pat00013
Represents the two-dimensional translation of the jth image.

상기 식 1을 이용한 이미지 정렬 단계는, 각 이미지에서의 위치기준 표시자의 좌표

Figure 112013109234636-pat00015
Figure 112013109234636-pat00016
의 차이를 최소화시키는 미지변수인 축척
Figure 112013109234636-pat00017
, 평면상에서의 회전각
Figure 112013109234636-pat00018
, 기울임 각
Figure 112013109234636-pat00019
, 상기 위치기준 표시자의 3차원 위치
Figure 112013109234636-pat00020
, 평행이동량
Figure 112013109234636-pat00021
를 산출하기 위하여, 아래에 기재된 최소 자승식으로 표현되는 RMS(root mean squares) 오차인 L을 최소화시키는 것을 특징으로 한다.The image aligning step using Equation (1) may include:
Figure 112013109234636-pat00015
Wow
Figure 112013109234636-pat00016
Scale, which is an unknown variable that minimizes the difference
Figure 112013109234636-pat00017
, The rotational angle on the plane
Figure 112013109234636-pat00018
, Tilt angle
Figure 112013109234636-pat00019
, A three-dimensional position of the position reference indicator
Figure 112013109234636-pat00020
, Parallel movement amount
Figure 112013109234636-pat00021
The root mean squares (RMS) error represented by the minimum square matrix described below is minimized.

[식 2][Formula 2]

Figure 112013109234636-pat00022
Figure 112013109234636-pat00022

여기서, Np는 최소자승법에 사용될 선택된 표시자 위치의 총 개수이다.
Where N p is the total number of selected marker positions to be used in the least squares method.

상기 L을 최소화하기 위한 연산과정에서 비선형 최소자승방법인 Levenberg- Marquardt(L-M) 방법을 적용하는 것을 특징으로 한다.
And the Levenberg-Marquardt (LM) method, which is a nonlinear least squares method, is applied in the calculation process for minimizing the L. [

상기 연산과정은 상기 기울임 각

Figure 112013109234636-pat00024
을 기 설정된 값으로 설정한 후, 나머지 변수들을 추정하는 역산단계 및 상기 기울임 각
Figure 112013109234636-pat00025
을 도출하는 기울임 각 추정 단계를 포함하는 것을 특징으로 한다.
The calculation process includes the steps of:
Figure 112013109234636-pat00024
To a preset value, and then estimates remaining variables,
Figure 112013109234636-pat00025
And a tilt angle estimating step of deriving the tilt angle.

본 발명에 따른 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법은 새로운 제시된 모델식 및 최소화 식은 임의의 이미지에서 선택된 모든 표시자들을 사용할 수 있는 장점이 있으며, Levenberg-Marquardt 방법은 최소화 식의 해를 안정하게 구해준다는 이점을 제공한다.The method of improving the image alignment accuracy in electronic tomography according to the present invention is advantageous in that the new model equation and the minimization formula can use all the selected markers in an arbitrary image and the Levenberg-Marquardt method can stabilize the solution of the minimization formula It provides the advantage of saving.

또한, 초기치 선정 과정을 통해 기본적인 L-M 법의 계산시간을 매우 많이 개선시켜 줄 수 있다는 이점을 제공한다.In addition, the calculation time of the basic L-M method can be greatly improved through the initial value selection process.

또한, 두꺼운 시료나 잡음이 많아 표시자를 전체 이미지에 모두 선택하기 어려운 경우에 매우 유용하게 사용될 수 있다는 이점을 제공한다.
In addition, it provides an advantage that it can be very usefully used when it is difficult to select all of the markers on the entire image because of thick samples or a lot of noise.

도 1은 초기치 선정시 최소화 문제에서 국부적인 극소값의 영향을 나타낸 예시도이다.
도 2는 L-M(Levenberg-Marquardt) 방법을 이용한 이미지 정렬 과정을 설명하기 위한 플로우 챠트이다.
도 3은 지오폴리머의 TEM 이미지를 나타낸 예시도이다.
도 4는 IMOD S/W에서 표시자의 위치 및 정렬 과정을 나타낸 예시도이다.
도 5는 6개의 표시자 만을 사용한 결과와 전체 30개의 표시자들을 모두 사용한 결과를 비교하기 위해 각각의 정렬된 이미지들을 겹쳐서 나타낸 예시도이다.
도 6은 도 5의 윗쪽 부분에 정렬된 점들의 좌표를 심볼로 찍어 서로 비교한 도이다.
도 7의 (a)는 6개의 표시자를 사용한 토모그래피 단면을 나타내며, 도 7의 (b)는 30개의 표시자를 사용한 토모그래피 단면을 나타낸 예시도이다.
FIG. 1 is an exemplary diagram showing the effect of a local minimum value in minimizing the initial value.
FIG. 2 is a flow chart for explaining an image alignment process using the Lemann-Marquardt (LM) method.
3 is an exemplary view showing a TEM image of a geopolymer.
FIG. 4 is an exemplary view showing the position and alignment process of the indicator in the IMOD S / W.
FIG. 5 is an exemplary view showing the overlapping of the respective sorted images to compare the result using only six indicators and the result using all 30 indicators. FIG.
FIG. 6 is a diagram showing coordinates of points arranged in the upper part of FIG.
Fig. 7 (a) shows a tomographic cross section using six indicators, and Fig. 7 (b) shows an example of a tomographic section using thirty indicators.

이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
Embodiments in accordance with the concepts of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It is to be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ",or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

이하에서는 도면을 참고하여 본 발명의 실시 예에 따른 전자-토모그래피에서 이미지 정렬의 정확도 향상 기법 및 기록매체를 보다 상세하게 설명하도록 한다.Hereinafter, an image alignment accuracy enhancement method and a recording medium in the electronic tomography according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 초기치 선정시 최소화 문제에서 국부적인 극소값의 영향을 나타낸 예시도이다.FIG. 1 is an exemplary diagram showing the effect of a local minimum value in minimizing the initial value.

도 2는 L-M(Levenberg-Marquardt) 방법을 이용한 이미지 정렬 과정을 설명하기 위한 플로우 챠트이다.FIG. 2 is a flow chart for explaining an image alignment process using the L-M (Levenberg-Marquardt) method.

도 3은 지오폴리머의 TEM 이미지를 나타낸 예시도이다.3 is an exemplary view showing a TEM image of a geopolymer.

도 4는 IMOD S/W에서 표시자의 위치 및 정렬 과정을 나타낸 예시도이다.FIG. 4 is an exemplary view showing the position and alignment process of the indicator in the IMOD S / W.

도 5는 6개의 표시자 만을 사용한 결과와 전체 30개의 표시자들을 모두 사용한 결과를 비교하기 위해 각각의 정렬된 이미지들을 겹쳐서 나타낸 예시도이다.FIG. 5 is an exemplary view showing the overlapping of the respective sorted images to compare the result using only six indicators and the result using all 30 indicators. FIG.

도 6은 도 5의 윗쪽 부분에 정렬된 점들의 좌표를 심볼로 찍어 서로 비교한 도이다.FIG. 6 is a diagram showing coordinates of points arranged in the upper part of FIG.

도 7의 (a)는 6개의 표시자를 사용한 토모그래피 단면을 나타내며, 도 7의 (b)는 30개의 표시자를 사용한 토모그래피 단면을 나타낸 예시도이다.
Fig. 7 (a) shows a tomographic cross section using six indicators, and Fig. 7 (b) shows an example of a tomographic section using thirty indicators.

먼저, 본 발명의 전자 토모그래피에서 이미지 정렬의 정확도 향상 기법을 설명하기 앞서, 일반적인 이미지 정렬 기법을 설명하도록 한다. First, prior to describing the technique of improving the accuracy of image alignment in electronic tomography according to the present invention, a general image alignment technique will be described.

일반적으로 전자 토모그래피에서 이미지 정렬은 표시자를 이용하며, 표시자를 이용한 이미지를 정렬하기 위해서 먼저 3차원상에서의 표시자의 실제 위치가 각 이미지에 어떻게 투영되는 지 확인하기 위한 수학적인 모델식이 필요하다. Generally, image alignment in electronic tomography uses an indicator. In order to align an image using an indicator, a mathematical model equation is first required to confirm how the actual position of the marker on the three-dimensional image is projected on each image.

수학적인 모델식은 여러 가지가 있으며, 이 중 대표적인 모델식인 Luther et al. (1988)와 Diez et al.(2006)가 사용한 각 식에 대해 설명하면 다음과 같다.
There are many mathematical model expressions, and Luther et al. (1988) and Diez et al. (2006) are as follows.

첫 번째, Luther et al. (1988)는 아래와 같은 모델식을 제시하였다First, Luther et al. (1988) presented the following model equation

[참조식 1][Reference expression 1]

Figure 112013109234636-pat00026
Figure 112013109234636-pat00026

여기서,

Figure 112015045340837-pat00027
Figure 112015045340837-pat00028
개의 표시자 중에서 j번째 표시자의 i번째 이미지에서의 2차원 좌표를 나타낸다. yj는 j번째 표시자의 3D 상에서의 실제 위치좌표를, M은 3x3 대각 행렬로 각 원소
Figure 112015045340837-pat00034
,
Figure 112015045340837-pat00035
,
Figure 112015045340837-pat00036
는 각각 x, y, z 방향으로의 축척계수 (scale factor)를 나타낸다.
Figure 112015045340837-pat00037
는 시료의 기울어진 정도를 정의하는 3x3 회전 행렬로 여기서는 y축을 중심으로 한 기울임만을 고려한다.
Figure 112015045340837-pat00038
는 3차원 시료를 2차원의 투영 이미지로 만드는 투영 행렬 (projection matrix)이며,
Figure 112015045340837-pat00039
Figure 112015045340837-pat00040
번째 이미지의 2차원 회전 행렬이다.
Figure 112015045340837-pat00041
Figure 112015045340837-pat00042
번째 이미지의 2차원 평행이동 벡터이다.
here,
Figure 112015045340837-pat00027
The
Figure 112015045340837-pat00028
Dimensional coordinate in the i-th image of the j-th marker among the three markers. y j is the actual position coordinate on the 3D of the jth indicator, M is the 3x3 diagonal matrix,
Figure 112015045340837-pat00034
,
Figure 112015045340837-pat00035
,
Figure 112015045340837-pat00036
Represents a scale factor in the x, y, and z directions, respectively.
Figure 112015045340837-pat00037
Is a 3x3 rotation matrix that defines the degree of tilting of the sample, where only tilts about the y axis are considered.
Figure 112015045340837-pat00038
Is a projection matrix that transforms a three-dimensional sample into a two-dimensional projection image,
Figure 112015045340837-pat00039
The
Figure 112015045340837-pat00040
Lt; th > image.
Figure 112015045340837-pat00041
The
Figure 112015045340837-pat00042
Lt; th > image.

두 번째, Diez et al.(2006)은 참조식 2를 제시했다.Second, Diez et al. (2006) presented the reference equation 2.

[참조식 2][Reference expression 2]

Figure 112013109234636-pat00043
Figure 112013109234636-pat00043

Figure 112013109234636-pat00044

Figure 112013109234636-pat00044

Figure 112013109234636-pat00045
Figure 112013109234636-pat00045

Figure 112013109234636-pat00046
Figure 112013109234636-pat00047

Figure 112013109234636-pat00046
Figure 112013109234636-pat00047

여기서

Figure 112015045340837-pat00048
는 i번째 표시자의 위치를 나타내며,
Figure 112015045340837-pat00050
는 기울임 각,
Figure 112015045340837-pat00051
는 기울임 축이 x-y 평면과 이루는 편위 (declination)이며,
Figure 112015045340837-pat00052
는 z 방향의 투영행렬을 나타내고,
Figure 112015045340837-pat00053
는 투영 평면상의 회전각, s(j)는 j번째 이미지의 축척을 나타낸다.
Figure 112015045340837-pat00056
는 j번째 이미지에서 i번째 표시자의 2차원 위치를 나타낸다.
here
Figure 112015045340837-pat00048
Indicates the position of the i-th marker,
Figure 112015045340837-pat00050
Lt; / RTI >
Figure 112015045340837-pat00051
Is the declination that the tilt axis makes with the xy plane,
Figure 112015045340837-pat00052
Represents a projection matrix in the z direction,
Figure 112015045340837-pat00053
Is the rotation angle on the projection plane, s (j) is the scale of the jth image.
Figure 112015045340837-pat00056
Represents the two-dimensional position of the i-th indicator in the j-th image.

위의 참조식 1 및 참조식 2는 공통적으로 y 축을 중심으로 한 기울임 각, 축척, 2차원 투영, 2차원 회전으로 구성되어 있으나, 몇 가지 점에서 차이가 난다. The reference equations 1 and 2 commonly consist of a tilt angle, a scale, a two-dimensional projection, and a two-dimensional rotation around the y-axis, but there are differences in some points.

참조식 1에서 x, y, z 방향으로 독립적인 3개의 축적계수를 준 반면, 참조식 2에서는 투영된 다음 하나의 축척만을 적용한다는 점에서 차이가 있다.
In reference equation 1, three independent accumulation factors are given in the x, y and z directions, whereas in reference equation 2, only the next projected scale is applied.

특히 참조식 2에선 장비의 문제나 실험상의 오차 등으로 기울임 축이 z축과 수직이지 않고 차이가 나는 경우를 가정하여 편위항을 새롭게 첨가하였다. In particular, in Ref. Eq. 2, a deflection term is newly added assuming that the tilt axis is not perpendicular to the z axis due to equipment problems or experimental errors.

또한 참조식 2에서는 평행이동 항이 사라졌는데 이는 표기상의 실수이거나 전자현미경 이미지 획득시 이미 고려되어 생략된 것으로 가정하였다.
In addition, in the reference equation 2, the translational term disappears, which is assumed to be a mistake in the notation or omitted in consideration of the electron microscope image acquisition.

먼저 참조식 1에서 x, y, z 방향으로 독립적인 축척를 사용하는 방법은 여러 가지 오차를 줄일 수 있는 유연성은 증가시킨다. 그러나 이는 실제 실험환경과는 거리가 있으며, 2차원 평면에 투영 된 다음 각 이미지에서 배율의 오차를 보정할 수 있는 하나의 축척 만을 사용하는 것이 현실적이다라는 문제점이 제기되었다(Jing and Sachs, 1991; Penczek et al., 1995).First, using the independent scale in the x, y, and z directions in the reference equation 1 increases the flexibility to reduce various errors. However, this is different from the actual experimental environment, and it is realistic to use only one scale that can be projected on a two-dimensional plane and then correct the magnification error in each image (Jing and Sachs, 1991; Penczek et al., 1995).

한편, 참조식 2에서 첨가한 편위항의 경우 실제 실험에서 발생할 수 있는 오차를 측정할 수 있어 유용한 측면이 있다. On the other hand, there is a useful aspect to measure the error that may occur in the actual experiment in the case of the deviation term added in Reference Equation 2.

그러나 2차원 토모그래피연산에서는 사용될 수 없는 값이며, 토모그래피용 고니어미터(goniometer)의 경우 이 편위를 최소화 하도록 설계되어 있어 이 항을 생략할 수 있다. 또한 참조식 2에서 빠져 있는 평행이동 항은 보통의 토모그래피 이미지정렬 과정에서는 반드시 포함되어야 한다.
However, this value can not be used in 2-dimensional tomography operation. In the case of a goniometer for tomography, this term is designed to minimize this deviation, so this term can be omitted. Also, the missing translation term in the reference equation 2 must be included in the normal tomographic image alignment process.

이에 본 발명은 앞에서 언급한 참조식 1 및 참조식 2의 문제점을 해결하며, 동시에, 이미지 정렬시 정확도를 향상시킬 수 있는 방법을 제시하고자 한다.Accordingly, the present invention solves the above-mentioned problems of the reference expressions 1 and 2, and at the same time, suggests a method of improving the accuracy in image alignment.

도 1에 도시된 바와 같이, 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법(S100)은 EM 투사 이미지 획득단계, 획득된 이미지를 정렬하는 이미지 정렬 단계, 정렬된 이미지를 3차원 토모그램(영상결과)으로 재구성하는 재구성 단계 및 시각화 단계를 순차적으로 수행하여 이루어지는 전자 토모그래피에서, 상기 이미지 정렬 단계 시에, 위치 기준 표시자를 이용하여 아래의 식 1을 통해 상기 이미지 정렬 단계를 수행한다.As shown in FIG. 1, a method for improving the accuracy of image alignment in electronic tomography (S100) includes an EM projection image acquiring step, an image aligning step for aligning the acquired images, a 3D tomogram , And a visualization step. In the electronic tomography, the image alignment step is performed using the position reference indicator using the following equation (1).

[식 1][Formula 1]

Figure 112013109234636-pat00059
Figure 112013109234636-pat00059

여기서,

Figure 112015045340837-pat00060
는 i번째 표시자의 위치를 나타내며,
Figure 112015045340837-pat00062
는 기울임 각,
Figure 112015045340837-pat00063
는 기울임 축이 x-y 평면과 이루는 편위 (declination)이며,
Figure 112015045340837-pat00064
는 z 방향의 투영행렬을 나타내고,
Figure 112015045340837-pat00065
는 투영 평면상의 회전각,
Figure 112015045340837-pat00066
는 j번째 이미지의 축척을 나타내며,
Figure 112015045340837-pat00068
는 j번째 이미지에서 i번째 표시자의 2차원 위치를 나타내고,
Figure 112015045340837-pat00071
는 j번째 이미지의 이차원 평행이동량을 나타낸다.
here,
Figure 112015045340837-pat00060
Indicates the position of the i-th marker,
Figure 112015045340837-pat00062
Lt; / RTI >
Figure 112015045340837-pat00063
Is the declination that the tilt axis makes with the xy plane,
Figure 112015045340837-pat00064
Represents a projection matrix in the z direction,
Figure 112015045340837-pat00065
The rotation angle on the projection plane,
Figure 112015045340837-pat00066
Represents the scale of the j-th image,
Figure 112015045340837-pat00068
Represents the two-dimensional position of the i-th indicator in the j-th image,
Figure 112015045340837-pat00071
Represents the two-dimensional translation of the jth image.

여기서, 식 1을 이용한 이미지 정렬 단계는 각 이미지에서의 표시자의 좌표

Figure 112015045340837-pat00073
와 식 1의 이론모델 값
Figure 112015045340837-pat00074
의 차이를 최소화시키는 미지변수인 축척
Figure 112015045340837-pat00075
, 평면상에서의 회전각
Figure 112015045340837-pat00076
, 기울임 각
Figure 112015045340837-pat00077
, 표시자의 3차원 위치
Figure 112015045340837-pat00078
, 평행이동량
Figure 112015045340837-pat00079
를 구하는 문제로 귀결된다. 즉 아래의 RMS (root mean squares) 오차 L인 식 2를 최소화하는 해를 구해야 한다.Here, the image alignment step using equation (1)
Figure 112015045340837-pat00073
And the theoretical model values of Equation 1
Figure 112015045340837-pat00074
Scale, which is an unknown variable that minimizes the difference
Figure 112015045340837-pat00075
, The rotational angle on the plane
Figure 112015045340837-pat00076
, Tilt angle
Figure 112015045340837-pat00077
, The three-dimensional position of the marker
Figure 112015045340837-pat00078
, Parallel movement amount
Figure 112015045340837-pat00079
. In other words, we need to find a solution that minimizes the root mean squares (RMS) error L expression 2 below.

[식 2][Formula 2]

Figure 112015045340837-pat00159
Figure 112015045340837-pat00159

여기서 Np는 최소자승법에 사용될 선택된 표시자 위치의 총 개수이다.
Where N p is the total number of selected marker positions to be used in least squares.

상기 식 2는 미지수 사이에 복잡한 관계를 가지는 전형적인 비선형 역산 문제로, 앞에서 언급한 선행연구에서 이러한 비선형 최소자승법를 풀기 위해 다양한 방법을 동원하였으며, 각 방법 모두 수렴의 안정성이 가장 큰 문제로 대두되었다.
Equation 2 is a typical nonlinear inversion problem having a complex relationship between unknowns. In the above-mentioned prior studies, various methods have been used to solve the nonlinear least squares method, and the stability of convergence has been the biggest problem in each method.

예컨대, Luther et al. (1988)는 위의 L을 직접 최소화하는 방식을 택하지 않고 사전에 가능한 한 모든 변수들이 서로 영향을 주지 못하도록 여러 가지 조건을 사용하였다.
See, for example, Luther et al. (1988) used various conditions to prevent all variables from affecting each other as much as possible without choosing to directly minimize L above.

이 중 가장 중요한 조건은 계산에 사용된 표시자들은 모든 이미지에 존재하여야 한다는 것이다. 이 조건은 문제를 매우 단순하게 만들어 수렴의 안정성을 높인다. The most important of these is that the markers used in the calculations must be present in all images. This condition makes the problem very simple and increases the stability of convergence.

그러나 실제적으로 시료가 두껍거나 실험 잡음이 많은 경우 고각으로 갈수록 전자현미경 이미지에서 표시자의 잘 구분되지 않으며, 이러한 이유로 얇은 생체시료의 경우를 제외하곤 이 조건을 만족하기 쉽지 않다.
However, in practice, the thicker the specimen or the greater the experimental noise, the more difficult it is to distinguish the indicator from the electron microscope image, and for this reason it is not easy to satisfy this condition except for the thin bio sample.

식 2에서의

Figure 112013109234636-pat00084
을 직접 최소화할 경우 각 이미지에서 구분이 가능한 표시자들 만으로 이루어진
Figure 112013109234636-pat00085
을 만들 수 있어 위에서 언급한 Luther et al. (1988)의 제약이 없다.
Figure 112013109234636-pat00086
을 최소화하기 위해 비선형 최소자승방법을 사용하여 풀어야 한다.In Equation 2,
Figure 112013109234636-pat00084
If you minimize it directly, you will see only the indicators that can be distinguished from each image.
Figure 112013109234636-pat00085
Luther et al. (1988).
Figure 112013109234636-pat00086
The least squares method should be used to solve the problem.

따라서, 본 발명에서는 지구물리 분야 등 여러 분야의 비선형역산에서 널리 쓰이고 있는 비선형 최소자승방법인 Levenberg-Marquardt(L-M) 방법을 이용한다. Accordingly, the present invention uses the Levenberg-Marquardt (L-M) method, which is a nonlinear least squares method widely used in nonlinear inversion in various fields such as geophysical fields.

참고로, L-M 방법은 수렴은 느리지만 정확한 해에 접근하는 최소강화 (Gradient Decent) 법과 수렴 속도가 빠르지만 발산의 위험이 있는 뉴톤(Newton)법을 혼용한 방법으로 두 가지 장점인 수렴의 안정성과 효율성을 모두 갖춘 방법이다.
For reference, the LM method is a combination of the Gradient Decent method, which approaches convergence is slow but approaches the exact solution, and the Newton method, which has a fast convergence speed but a risk of divergence. It is an efficient method.

한편, 식 2에서

Figure 112013109234636-pat00087
을 최소화하기 위해 L-M 방법을 사용하는데 있어 가장 문제가 되는 것은 변수들 사이의 의존성 (dependency)과 초기치 문제이다. In Equation 2,
Figure 112013109234636-pat00087
The most problematic of using the LM method to minimize the dependency and initial value problems between variables.

실제로 위의 식 1에서 각 매개변수는 서로 밀접한 관계에 있기 때문에 매우 많은 극소 값이 존재하게 되며, 이런 경우 초기치의 선정은 수렴의 안정성에 큰 영향을 미친다. 최소화 문제에서 국부적인 극소값의 영향을 도 1에 모식적으로 나타내었다.
In fact, since each parameter is closely related to each other in equation 1 above, there are very many very small values. In this case, selection of the initial value greatly affects the stability of convergence. Figure 1 schematically shows the effect of local minimum values in the minimization problem.

도 1을 참조하면, 극소점은 3개가 존재하며, 이중 참 최소값은

Figure 112013109234636-pat00088
에서 가진다. Referring to FIG. 1, there are three minimum points,
Figure 112013109234636-pat00088
.

도 1에서 어떤 점을 초기치로 선택하게 되면 수렴의 방향은 RMS 값을 감소시키는 방향으로 진행하게 되며,

Figure 112013109234636-pat00089
를 초기치로 선택한 경우 참 최소값인
Figure 112013109234636-pat00090
로 수렴한다.If a certain point is selected as an initial value in FIG. 1, the direction of convergence proceeds in the direction of decreasing the RMS value,
Figure 112013109234636-pat00089
Is selected as the initial value,
Figure 112013109234636-pat00090
.

그러나 만약 초기치를

Figure 112013109234636-pat00091
혹은
Figure 112013109234636-pat00092
로 선택한 경우 정확한 최소값인
Figure 112013109234636-pat00093
로 수렴하지 못하고
Figure 112013109234636-pat00094
Figure 112013109234636-pat00095
같은 국부적인 극소치로 접근하게 된다. However,
Figure 112013109234636-pat00091
or
Figure 112013109234636-pat00092
If you select the correct minimum value
Figure 112013109234636-pat00093
Not converging to
Figure 112013109234636-pat00094
I
Figure 112013109234636-pat00095
It is approached with the same local minimum.

즉, 서로 복잡한 비선형 최소자승법의 경우 초기값의 선정이 매우 중요함을 알 수 있다. 특히 미지변수의 개수가 많고 각 변수들 사이의 의존성이 심할 경우 수렴이 제대로 이루어지지 않을 수 있으므로, 이에 대한 대책도 필요하다.
That is, the selection of the initial value is very important for the complex nonlinear least squares method. In particular, if the number of unknown variables is large and the dependency between the variables is severe, convergence may not be achieved properly.

위의 식에서 이미지의 총 개수를

Figure 112013109234636-pat00096
, 표시자의 총 종류를
Figure 112013109234636-pat00097
, 전체 이미지에서 선택한 표시자 좌표의 총 수를
Figure 112013109234636-pat00098
라 하자. 주어진 측정치는
Figure 112013109234636-pat00099
개의
Figure 112013109234636-pat00100
좌표로
Figure 112013109234636-pat00101
개이며, 미지수는 각 이미지당 축척, 회전각, 기울임각, x-y 평행이동 등 변수 5개이므로
Figure 112013109234636-pat00102
, 각 표시자의
Figure 112013109234636-pat00103
좌표의 변수가
Figure 112013109234636-pat00104
으로 총 미지수의 수는
Figure 112013109234636-pat00105
이 된다. In the above equation, the total number of images
Figure 112013109234636-pat00096
, The total type of indicator
Figure 112013109234636-pat00097
, The total number of marker coordinates selected in the
Figure 112013109234636-pat00098
Let's say. Given the measurements
Figure 112013109234636-pat00099
doggy
Figure 112013109234636-pat00100
By coordinates
Figure 112013109234636-pat00101
, And the number of unknowns is 5 for each image such as scale, rotation angle, tilt angle, and xy translation.
Figure 112013109234636-pat00102
, Of each marker
Figure 112013109234636-pat00103
The variables of the coordinates are
Figure 112013109234636-pat00104
The total number of unknowns is
Figure 112013109234636-pat00105
.

예를 들어, 이미지 100개, 표시자 종류 30개 정도만 해도 미지변수의 개수가 590개 정도가 되어 매우 큰 역산 문제가 되어 해를 구하는데 어려움이 예상된다. For example, if there are 100 images and 30 indicator types, the number of unknown variables is about 590, which is a very large inversion problem.

즉, 식 1에서 기울임각과 여러 다른 변수들은 서로 밀접하게 연관되어 있어 전체 미지수에 대해 직접 최소화를 수행하는 것은 수렴하지 않을 가능성이 크다. That is, in Equation (1), the italic angle and various other variables are closely related to each other, so direct minimization of the entire unknown is highly unlikely to converge.

이러한 문제점을 해결하기 위하여 본 발명에서는 상기 기울임 각

Figure 112013109234636-pat00106
을 기 설정된 값으로 설정한 후, 나머지 변수들을 추정하는 역산단계(Main stage)(S120) 및 상기 기울임 각
Figure 112013109234636-pat00107
을 도출하는 기울임 각 추정 단계(Tilt estimate)(S130)를 이용한다.
In order to solve such a problem, in the present invention,
Figure 112013109234636-pat00106
A main stage (S120) for setting the predetermined value to a predetermined value and then estimating remaining variables,
Figure 112013109234636-pat00107
A tilt estimate step (S130) is used.

또한, 본 발명에서는 역산단계(S120)의 연산 효율을 증가시키기 위하여 초기치 추정단계(Initial stage)를 더 포함한다.In addition, the present invention further includes an initial value estimation step (Initial stage) to increase the computation efficiency of the inverse calculation step (S120).

여기서, 상기 초기치 추정단계는 역산 단계 이전에 수행되며, 의존성이 심한 변수들의 수를 가능한 줄여 미지수의 개수를 최소화하여 역산을 수행하게 된다. Here, the initial value estimating step is performed before the inverse calculation step, and the inverse calculation is performed by minimizing the number of unknowns by reducing the number of variables with a high dependency.

이러한 상기 초기치 추정단계를 통해 국부적인 극소값들의 숫자가 감소하여 안정적인 해를 구할 수 있다. Through the initial value estimation step, the number of local minimum values decreases, and a stable solution can be obtained.

따라서, 초기치 추정단계에서 구해진 미지변수들의 값들은 미지변수를 늘린 본 역산에서 초기치로 재사용하게 되어 수렴의 안정성 및 속도를 향상시키게 된다.
Therefore, the values of the unknown variables obtained in the initial value estimation step are reused as initial values in the inversion of the unknown variable, thereby improving the stability and speed of convergence.

이하에서는 본 발명에서 제시된 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법의 실험 예를 설명하도록 한다.Hereinafter, an experimental example of a method for improving the accuracy of image alignment in the electronic tomography according to the present invention will be described.

● 시험자료● Examination materials

본 발명에서 실험에 사용된 이미지는 지오폴리머의 TEM 이미지로서, 본 발명의 이미지 정렬의 정확도 향상 방법을 이용하여 지오폴리머 상의 기공(pore)의 특성을 분석하고자 한다.The image used in the experiment in the present invention is a TEM image of a geopolymer, which is to analyze the characteristics of pores on the geopolymer using the method of improving the accuracy of image alignment of the present invention.

TEM 관찰은 120 kV 가속전압의 Tecnai G2 Spirit (FEI사, 미국)에서 얻어졌으며, 배율은 4만2천배, 기울임 각도는 -55에서 53까지 1도 간격으로 사이즈 2048 x 2048 pixel의 총 107개의 이미지를 획득하였다.  TEM observation was obtained from a Tecnai G2 Spirit (FEI, USA) with a 120 kV accelerating voltage and a magnification of 42,000 times and a tilt angle of -55 to 53 at a 1 degree interval with a total of 107 images of 2048 x 2048 pixels .

이때 사용된 표시자는 10nm 직경의 나노 금입자이다. The indicator used here is a 10 nm diameter nano gold particle.

도 3에 나타낸 이미지는 기울임 각도 0도에서의 이미지이며, 이미지상의 하얀 원은 선택된 표시자의 위치를, 그 옆의 숫자는 표시자의 번호를 나타낸다.The image shown in Fig. 3 is an image at an oblique angle of 0 degrees, a white circle on the image indicates the position of the selected indicator, and the number next to it indicates the number of the indicator.

도 3을 참조하면, 대체로 둥근 모양의 하얀 부분이 지오폴리머 내에 존재하는 기공에 의해 나타나는 부분이고 검게 보이는 부분은 나노 금입자 및 결정질 물질에 의한 회절에 의한 영향이며, 시료의 대부분은 비정질이다.
Referring to FIG. 3, a generally rounded white portion is represented by pores present in the geopolymer, and a black portion is affected by diffraction by nano gold particles and crystalline material, and most of the sample is amorphous.

참고로, 본 실험에서 시험자료의 정렬을 위해 주의할 점으로 도 3에 나타낸 결정질 물질에 의한 회절효과가 기울임에 따라 명암의 변화가 빈번하여 토모그래피 결과에 잡음으로 작용하고, 또한 표시자의 구별이 쉽지 않아 이미지정렬을 어렵게 하는 점이다. For reference, in order to align the test data in this experiment, as the diffraction effect by the crystalline material shown in FIG. 3 is tilted, the change of light and shade is frequent and acts as a noise in the tomography result, This makes it difficult to sort the images.

총 30개의 표시자에 대하여 모든 TEM 기울임 이미지에서 위치를 선택하려고 시도하였으며 구별이 쉽지 않은 곳에서는 선택하지 않았다. Attempts were made to select locations in all TEM italic images for a total of 30 indicators, which were not selected where distinction was difficult.

이렇게 표시자 선택을 실시한 결과 최종적으로 약 2900개의 위치선택이 이루어 졌으며, 이 때 전 이미지에서 공통적으로 존재하는 표시자는 도 3에 표시된 표시자 중 번호 2, 6, 7, 12, 19, 20 등 6개에 불과하였다.
As a result of selecting the markers as described above, finally, about 2900 positions were selected. In this case, the markers common to all the images are numbered 6, 7, 12, 19, 20, .

● 실험결과● Experimental results

1. IMOD S/W의 결과1. Results of IMOD S / W

먼저 전자-토모그래피에서 널리 사용되는 IMOD S/W를 사용하여 이미지 정렬을 시도해 보았다. IMOD S/W는 Luther (1998)의 이론을 전제로 전체이미지에 모두 존재하는 표시자만 사용가능한 것으로 하여 도 3에서 6개의 표시자 (2, 6, 7, 12, 19, 206번)만 선택하여 사용하였다. First, we tried to arrange images using IMOD S / W, which is widely used in electronic tomography. In IMOD S / W, it is assumed that only the indicators existing in the entire image can be used, assuming the theory of Luther (1998), and only 6 indicators (2, 6, 7, 12, 19, 206) Respectively.

도 4 는 IMOD S/W에서 표시자의 위치 및 정렬 과정을 보여주는 그림이며, 정렬을 수행한 결과 RMS 오차는 0.839으로 구해졌으며, 계산시간은 8초 정도 걸렸다.
FIG. 4 is a diagram showing the position and alignment process of the markers in the IMOD S / W. As a result of the alignment, the RMS error is 0.839, and the calculation time is about 8 seconds.

2. Levenberg-Marquardt 방법을 이용한 해2. Using the Levenberg-Marquardt method

먼저 IMOD S/W에 사용한 경우와 같이 표시자를 6개 만을 선택하여 본 실험에서 제안한 L-M 방법을 적용시켜 보았다. 총 이미지수가 107개, 표시자의 종류가 6이므로 총 측정치는 107*6*2=1284, 미지수의 총 개수는 107*5 + 6*3 = 553 개가 된다. 먼저 기본적인 L-M 방법의 경우 먼저 전체 미지변수에서 기울임 각의 정보는 직접 입력하여 미지수의 개수를 533-107=426개로 줄여 역산을 수행한 다음 기울임 각 추정을 하게 된다. (도 2 참조).
First, only six markers were selected as in the case of IMOD S / W, and the proposed LM method was applied. Since the total number of images is 107 and the type of indicator is 6, the total measurement value is 107 * 6 * 2 = 1284 and the total number of unknowns is 107 * 5 + 6 * 3 = 553. First, in case of the basic LM method, the information of the tilt angle is input directly to the unknown variable, and the number of unknowns is reduced to 533-107 = 426, and then the inversion is performed. (See Fig. 2).

역산단계(S120)을 수행하기 전에 초기치 결정 과정을 수행하게 되는데 이를 위해 몇 가지 변수를 미리 고정시켜 미지수의 숫자를 줄인다.
The initial value determination process is performed before the inverse calculation step (S120). To this end, some variables are fixed in advance to reduce the number of unknowns.

먼저 기울임 각 0도 이미지는 원래의 시료가 기울임, 회전, 평행이동 등 어떠한 변환도 수행하지 않고 그대로 투영만 수행되었다고 가정한 다음, 0도에서 얻어진 이미지에서 선택된 좌표값을 미리 고정시킨다. 그 다음 각 이미지마다 배율의 차이는 매우 적으므로 모든 축척을 1.0으로 고정시킨다.
First, the tilted angle 0 degree image assumes that the original sample is projected only without performing any transformation such as tilting, rotating, or translating, and then fixes the selected coordinate value in the image obtained at 0 degree in advance. Then, for each image, the magnification difference is very small, so all scales are fixed at 1.0.

이 두 가지 과정을 통해 초기치 결정과정에서 사용되는 L-M 방법에서 총 미지수의 개수는 현저히 줄어들게 되며, 이번 예에서는 119개가 줄어들어 총 미지수는 426-119=307개가 된다. 이 상태에서 L-M 법을 적용시켜 미지변수의 값을 추정하고 이를 초기 값으로 하여 일반 L-M과정을 밟게 된다.
Through these two processes, the number of total unknowns in the LM method used in the initial value decision process is significantly reduced. In this example, the number of total unknowns is reduced to 426-119 = 307 by 119. In this state, the value of the unknown variable is estimated by applying the LM method, and the general LM process is performed using the initial value.

표 1은 L-M 방법을 이용한 이미지 정렬의 결과를 나타낸 표이다.Table 1 shows the results of image alignment using the L-M method.

Figure 112013109234636-pat00108

Figure 112013109234636-pat00108

표 1에 제시된 바와 같이, 초기치 추정단계(S110)의 유무에 따른 차이를 비교하였다. As shown in Table 1, differences in the presence or absence of the initial value estimation step (S110) are compared.

결과를 살펴보면 RMS 오차(L)는 0.653으로 IMOD S/W의 0.839에 비해 개선되었으나 계산시간은 약간 더 걸렸다. The results show that the RMS error (L) is 0.653, which is better than the 0.839 of IMOD S / W, but the calculation time is slightly longer.

그리고 개선된 L-M 방법의 경우는 일반 L-M 방법에 비해 계산시간이 다소 적게 걸렸으나, 미지변수의 개수가 적어 큰 차이는 나지 않는다. L-M 방법의 경우가 IMOD에 비해 RMS 오차가 적은 것은 알고리즘 특성 및 수렴 조건 등에 의한 것으로 이미지정렬의 결과는 거의 동일하다고 볼 수 있다.
In the case of the improved LM method, the computation time is somewhat less than that of the general LM method, but the number of unknown variables is small. In the case of the LM method, the RMS error is smaller than that of the IMOD because of the algorithm characteristics and the convergence condition, and the result of the image alignment is almost the same.

다음으로, 역산방법의 효율성을 검증하기 위해 선택된 모든 점들에 대하여 역산결과를 수행했을 때의 결과를 살펴보도록 하자.Next, let's take a look at the results of inversion results for all selected points to verify the effectiveness of the inversion method.

표시자의 종류는 30개를 모두 선택하고, 전체 이미지에서 선택된 2900여개의 모든 표시자들의 좌표를 모두 사용하여 L-M 방법을 적용시켰다.
We select all 30 types of marker and apply the LM method using all the coordinates of all 2900 selected markers in the whole image.

표 2는 L-M방법을 적용한 역산 결과를 나타낸 표이다.Table 2 is a table showing inversion results using the L-M method.

[표 2][Table 2]

Figure 112013109234636-pat00109

Figure 112013109234636-pat00109

결과를 살펴보면 최종 RMS 오차는 표 1에 나타낸 6개의 표시자의 경우보다 약간 높게 나타났으며, 계산시간은 상당히 많이 소요되었다. As a result, the final RMS error was slightly higher than that of the six indicators shown in Table 1, and the calculation time was considerably high.

또한 기존의 L-M방법에 비해 초기치 추정단계(S110)가 적용된 L-M 방법이 수렴 속도에서 2.5배 정도 빠르게 나타났다.
Also, compared with the conventional LM method, the LM method using the initial value estimation step (S110) was 2.5 times faster than the convergence speed.

3. 토모그래피 결과비교3. Comparison of tomography results

IMOD S/W의 경우처럼 모든 이미지에 존재하는 6개의 표시자만을 사용하였을 경우와 임의로 존재하는 총 30개의 표시자를 전부 사용하였을 경우의 이미지정렬 결과를 비교해 보고자 한다.We compare the image alignment results of the case where only 6 markers exist in all images and all 30 markers are used as in IMOD S / W.

이미지정렬의 정확도를 살펴보는 방법은 정렬된 각 이미지들을 겹친 다음 눈에 잘 띄는 표시자들의 변화를 관찰하는 방법이 있다. One way to look at the accuracy of image alignment is to superimpose each of the sorted images and observe changes in prominent markers.

정렬이 잘될 경우 겹친 이미지 상의 표시자들의 움직임은 x축에 평행하게 움직인다 (즉 일정한 y의 값을 유지한다). If alignment is successful, the movement of the markers on the overlapping image moves parallel to the x-axis (ie, maintains a constant y value).

그러나 시험에 사용된 TEM 이미지(도 3)에서 표시자가 명확히 잘 구분되고 있지 않아 이 방법을 사용하기는 어렵다, However, it is difficult to use this method because the markers in the TEM images used in the test (Figure 3) are not clearly distinguished,

이의 해결을 위해 모든 이미지에서 선택된 표시자들의 좌표에 인위적으로 강한 대조를 이루는 점을 첨가한 다음 정렬된 이미지들을 겹치는 방법을 사용하였다.
To solve this problem, we used a method of artificially adding strong contrasting points to the coordinates of selected markers in all images and then superimposing the aligned images.

도 5은 6개의 표시자 만을 사용한 결과와 전체 30개의 표시자들을 모두 사용한 결과를 비교하기 위해 각각의 정렬된 이미지들을 겹쳐서 나타낸 예시도이다.FIG. 5 is an exemplary diagram showing the overlapping of the respective sorted images to compare the result using only six indicators and the result using all 30 indicators. FIG.

도 5를 살펴보면, (a)의 6개의 표시자를 사용한 경우보다 (b)의 30개의 표시자를 사용한 경우가 다소 나아 보이지만 뚜렷하게 차이나 보이진 않는다. Referring to FIG. 5, the case of using 30 indicators of (b) is somewhat better than the case of using 6 indicators of (a), but it does not show a clear difference.

좀 더 자세한 비교를 위해 도 6에 도 5의 윗쪽 부분에 정렬된 점들의 좌표를 심볼로 찍어 서로 비교하였다. For a more detailed comparison, the coordinates of the points arranged in the upper part of FIG. 5 are plotted with symbols in FIG.

비교의 편의를 위해 y축 변화를 3배 정도 강조하여 나타내었다.
For convenience of comparison, the y-axis change is emphasized by about three times.

도 6에서 18, 28, 29번 표시자의 변화는 30개의 표시자를 사용한 경우가 좋은 결과를 보여주고 있으며, 20번 표시자의 경우는 6개의 표시자 만을 사용했을 때가 더 나은 결과를 보여주고 있다. 이는 20번 표시자가 6개의 표시자만으로 정렬을 수행할 때 직접 사용된 표시자이기 때문으로 생각된다.In FIG. 6, the change of the indicator 18, 28, 29 shows a good result when 30 indicators are used, and in the case of the indicator 20, it is better when only 6 indicators are used. This is presumably because the indicator 20 is a marker used directly when performing alignment with only six indicators.

이 두 가지 이미지정렬 결과가 토모그래피에 미치는 영향을 보기 위해 각각의 정렬된 이미지에 FBP (filtered back-projection) 방법을 이용한 토모그래피를 수행하였다. 결과를 비교하기 위해 토모그래피 결과 구해진 각각의 최종 토모그램들로부터 x-y 단면을 추출하여 도 7(a) 및 도 7(b)에 나타내었다. To see the effect of these two image alignment results on tomography, we performed tomography using filtered back-projection (FBP) method on each aligned image. In order to compare the results, the x-y cross section was extracted from each final tomogram obtained from the tomography results and shown in Figs. 7 (a) and 7 (b).

도 7(a) 및 도 7(b)를 살펴보면, 두 가지 경우가 대체로 비슷한 결과를 보여주고 있지만, 그림에 나타낸 원 내부의 결과에 집중해서 살펴보면, 6개의 표시자를 사용한 토모그래피 단면 (도 7 (a))보다 30개의 표시자를 사용한 토모그래피 결과 (도 7(b))가 보다 향상된 뚜렷한 이미지를 보여주고 있음을 알 수 있다.7 (a) and 7 (b), the two cases show generally similar results, but focusing on the results inside the circle shown in the figure, the tomographic cross section using six markers ) (Fig. 7 (b)) shows a more distinct and clear image with the use of thirty markers.

즉, 보다 고해상도의 토모그래피 결과를 얻기 위해선 매우 정밀한 이미지정렬이 필요하며, 위에서 제시된 개선된 L-M 방법은 정교한 이미지정렬을 효율적으로 구할 수 있게 한다. In other words, a very precise image alignment is required to obtain a higher resolution tomography result, and the improved L-M method described above can efficiently obtain sophisticated image alignment.

따라서, 본 발명은 두꺼운 시료나 잡음이 많은 TEM 이미지에 토모그래피를 적용하는 경우와 같이 표시자의 판별이 어려운 경우에 매우 유용하게 사용될 수 있다는 이점을 제공할 수 있다.
Therefore, the present invention can provide an advantage that it can be very usefully used when it is difficult to discriminate an indicator, such as when a tomogram is applied to a thick sample or a noise-rich TEM image.

즉, 본 발명의 전자-토모그래피에서 이미지 정렬의 정확도 향상 방법은 새로운 제시된 모델식 및 최소화 식은 임의의 이미지에서 선택된 모든 표시자들을 사용할 수 있는 장점이 있으며, Levenberg-Marquardt 방법은 최소화 식의 해를 안정하게 구해준다는 이점을 제공한다.That is, the method of improving the accuracy of image alignment in the electronic tomography according to the present invention is advantageous in that the new model expression and minimization formula can use all the selected markers in an arbitrary image, and the Levenberg-Marquardt method can solve the minimization formula And the like.

또한, 초기치 선정 과정을 통해 기본적인 L-M 법의 계산시간을 매우 많이 개선시켜 줄 수 있다는 이점을 제공한다.In addition, the calculation time of the basic L-M method can be greatly improved through the initial value selection process.

또한, 두꺼운 시료나 잡음이 많아 표시자를 전체 이미지에 모두 선택하기 어려운 경우에 매우 유용하게 사용될 수 있다는 이점을 제공한다.
In addition, it provides an advantage that it can be very usefully used when it is difficult to select all of the markers on the entire image because of thick samples or a lot of noise.

개시된 예시적인 실시형태들의 이전의 설명은 당업자로 하여금 본 발명을 제조하거나 또는 사용할 수 있게 하기 위해 제공된다. 이들 예시적인 실시형태들에 대한 다양한 변형들은 당업자에게 자명하게 될 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위로부터 벗어나지 않으면서 다른 실시형태들에 적용될 수도 있다. 따라서, 본 발명은 본 명세서에 나타낸 실시형태들에 한정되지 않고, 본 명세서에서 개시되는 원리들 및 신규한 특징들과 일치하는 최광의 범위가 부여되도록 의도된다.
The previous description of the disclosed exemplary embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these exemplary embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the spirit or scope of the invention. Accordingly, the present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

S100: 이미지 정렬의 정확도 향상 방법
S110: 초기치 추정단계
S120: 역산단계
S130: 기울임 각 추정단계
S100: How to improve the accuracy of image alignment
S110: Initial value estimation step
S120:
S130: Tilt angle estimation step

Claims (5)

위치 기준 표시자를 이용한 이미지 정렬 정확도 향상 방법에 있어서,
EM 투사 이미지 획득단계;
획득된 이미지를 정렬하는 이미지 정렬 단계;
정렬된 이미지를 3차원 토모그램(영상결과)으로 재구성하는 재구성 단계; 및
재구성된 영상을 시각적으로 보여주는 시각화 단계를 포함하며,
상기 이미지 정렬 단계 시에, 아래의 식 1을 통해 상기 이미지 정렬 단계를 수행하는 것을 특징으로 하는 이미지 정렬 정확도 향상 방법.
[식 1]
Figure 112015045340837-pat00110

(
Figure 112015045340837-pat00111
는 i번째 표시자의 위치를 나타내며,
Figure 112015045340837-pat00113
는 기울임 각,
Figure 112015045340837-pat00114
는 기울임 축이 x-y 평면과 이루는 편위 (declination)이며, PZ는 z 방향의 투영행렬을 나타내고,
Figure 112015045340837-pat00116
는 투영 평면상의 회전각, s(j)는 j번째 이미지의 축척을 나타내며,
Figure 112015045340837-pat00119
는 j번째 이미지에서 i번째 표시자의 2차원 위치를 나타내고,
Figure 112015045340837-pat00122
는 j번째 이미지의 이차원 평행이동량임)
A method for improving image alignment accuracy using a position reference indicator,
EM projection image acquisition step;
An image sorting step of sorting the acquired images;
A reconstruction step of reconstructing the aligned image into a three-dimensional tomogram (image result); And
And a visualization step of visually displaying the reconstructed image,
Wherein in the image alignment step, the image alignment step is performed through Equation 1 below.
[Formula 1]
Figure 112015045340837-pat00110

(
Figure 112015045340837-pat00111
Indicates the position of the i-th marker,
Figure 112015045340837-pat00113
Lt; / RTI >
Figure 112015045340837-pat00114
Is the declination that the tilt axis makes with the xy plane, P z is the projection matrix in the z direction,
Figure 112015045340837-pat00116
Is the rotation angle on the projection plane, s (j) is the scale of the jth image,
Figure 112015045340837-pat00119
Represents the two-dimensional position of the i-th indicator in the j-th image,
Figure 112015045340837-pat00122
Is the two-dimensional translation of the j-th image)
제1항에 있어서,
상기 식 1을 이용한 이미지 정렬 단계는,
각 이미지에서의 위치기준 표시자의 좌표
Figure 112015045340837-pat00124
Figure 112015045340837-pat00125
의 차이를 최소화시키는 미지변수인 축척
Figure 112015045340837-pat00126
, 평면상에서의 회전각
Figure 112015045340837-pat00127
, 기울임 각
Figure 112015045340837-pat00128
, 상기 위치기준 표시자의 3차원 위치
Figure 112015045340837-pat00129
, 평행이동량
Figure 112015045340837-pat00130
를 산출하기 위하여, 아래에 기재된 최소 자승식인 식 2로 표현되는 RMS(root mean squares) 오차인 L을 최소화시키는 것을 특징으로 하는 이미지 정렬 정확도 향상 방법.
[식 2]
Figure 112015045340837-pat00160

(Np는 최소자승법에 사용될 선택된 표시자 위치의 총 개수임)
The method according to claim 1,
The image aligning step using Equation (1)
The coordinates of the position reference marker in each image
Figure 112015045340837-pat00124
Wow
Figure 112015045340837-pat00125
Scale, which is an unknown variable that minimizes the difference
Figure 112015045340837-pat00126
, The rotational angle on the plane
Figure 112015045340837-pat00127
, Tilt angle
Figure 112015045340837-pat00128
, A three-dimensional position of the position reference indicator
Figure 112015045340837-pat00129
, Parallel movement amount
Figure 112015045340837-pat00130
The root mean squares (RMS) error represented by Equation (2), which is the least squares equation described below, is minimized in order to calculate the image alignment accuracy.
[Formula 2]
Figure 112015045340837-pat00160

(Where N p is the total number of selected marker positions to be used in least squares)
제2항에 있어서,
상기 L을 최소화하기 위한 연산과정에서 비선형 최소자승방법인 Levenberg- Marquardt(L-M) 방법을 적용하는 것을 특징으로 하는 이미지 정렬 정확도 향상 방법.
3. The method of claim 2,
And a Levenberg-Marquardt (LM) method, which is a nonlinear least squares method, is applied in the calculation process for minimizing the L.
제3항에 있어서,
상기 연산과정은,
상기 기울임 각
Figure 112013109234636-pat00133
을 기 설정된 값으로 설정한 후, 나머지 변수들을 추정하는 역산단계 및 상기 기울임 각
Figure 112013109234636-pat00134
을 도출하는 기울임 각 추정 단계를 포함하는 것을 특징으로 하는 이미지 정렬 정확도 향상 방법.
The method of claim 3,
Wherein,
The tilt angle
Figure 112013109234636-pat00133
To a preset value, and then estimates remaining variables,
Figure 112013109234636-pat00134
And a tilt angle estimation step of deriving a tilt angle estimation step.
삭제delete
KR1020130146893A 2013-11-29 2013-11-29 Improvement Method of Image Alignment Accuracy in Electron-Tomography KR101543417B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130146893A KR101543417B1 (en) 2013-11-29 2013-11-29 Improvement Method of Image Alignment Accuracy in Electron-Tomography

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130146893A KR101543417B1 (en) 2013-11-29 2013-11-29 Improvement Method of Image Alignment Accuracy in Electron-Tomography

Publications (2)

Publication Number Publication Date
KR20150062344A KR20150062344A (en) 2015-06-08
KR101543417B1 true KR101543417B1 (en) 2015-08-10

Family

ID=53500372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130146893A KR101543417B1 (en) 2013-11-29 2013-11-29 Improvement Method of Image Alignment Accuracy in Electron-Tomography

Country Status (1)

Country Link
KR (1) KR101543417B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557623B (en) * 2023-11-14 2024-05-14 上海月新生科信息科技有限公司 Accurate and rapid alignment method for frozen electron microscope image sequence

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009152120A (en) 2007-12-21 2009-07-09 Fujitsu Ltd Electron beam tomography method, and electron beam tomography device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009152120A (en) 2007-12-21 2009-07-09 Fujitsu Ltd Electron beam tomography method, and electron beam tomography device

Also Published As

Publication number Publication date
KR20150062344A (en) 2015-06-08

Similar Documents

Publication Publication Date Title
Larson et al. Atom probe tomography spatial reconstruction: Status and directions
Marinello et al. Critical factors in SEM 3D stereo microscopy
Houben et al. Refinement procedure for the image alignment in high-resolution electron tomography
Kingston et al. Reliable automatic alignment of tomographic projection data by passive auto‐focus
Britton et al. Factors affecting the accuracy of high resolution electron backscatter diffraction when using simulated patterns
Arslan et al. Reducing the missing wedge: High-resolution dual axis tomography of inorganic materials
Moeck et al. High spatial resolution semi‐automatic crystallite orientation and phase mapping of nanocrystals in transmission electron microscopes
Wolf et al. Towards automated electron holographic tomography for 3D mapping of electrostatic potentials
Arslan et al. Towards better 3-D reconstructions by combining electron tomography and atom-probe tomography
Tong et al. A novel dual-axis iterative algorithm for electron tomography
Zhu et al. Quantitative stereovision in a scanning electron microscope
Breen et al. Correlating atom probe crystallographic measurements with transmission Kikuchi diffraction data
Maraghechi et al. Correction of scan line shift artifacts in scanning electron microscopy: An extended digital image correlation framework
JP2002533718A (en) Nano tomography (tomography apparatus and method)
JPH07181125A (en) Particle analysis of wafer in which notch is provided
Sanders et al. Physically motivated global alignment method for electron tomography
Podor et al. 3D-SEM height maps series to monitor materials corrosion and dissolution
Phan et al. TxBR montage reconstruction for large field electron tomography
Fleischmann et al. Revealing the 3-dimensional shape of atom probe tips by atomic force microscopy
Oveisi et al. Stereo-vision three-dimensional reconstruction of curvilinear structures imaged with a TEM
Winiarski et al. Correction of artefacts associated with large area EBSD
Chen et al. Intelligent adaptive sampling guided by Gaussian process inference
Trampert et al. Exemplar-based inpainting as a solution to the missing wedge problem in electron tomography
KR101543417B1 (en) Improvement Method of Image Alignment Accuracy in Electron-Tomography
Petersen et al. Electron tomography using a geometric surface-tangent algorithm: Application to atom probe specimen morphology

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5