WO2012073424A1 - 電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法 - Google Patents

電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法 Download PDF

Info

Publication number
WO2012073424A1
WO2012073424A1 PCT/JP2011/005750 JP2011005750W WO2012073424A1 WO 2012073424 A1 WO2012073424 A1 WO 2012073424A1 JP 2011005750 W JP2011005750 W JP 2011005750W WO 2012073424 A1 WO2012073424 A1 WO 2012073424A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reconstructed
correction
amount
common line
Prior art date
Application number
PCT/JP2011/005750
Other languages
English (en)
French (fr)
Inventor
久保 貴
小林 弘幸
Original Assignee
株式会社 日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 日立ハイテクノロジーズ filed Critical 株式会社 日立ハイテクノロジーズ
Priority to EP11844611.1A priority Critical patent/EP2648206B1/en
Priority to US13/883,989 priority patent/US8704177B2/en
Publication of WO2012073424A1 publication Critical patent/WO2012073424A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical or photographic arrangements associated with the tube
    • H01J37/222Image processing arrangements associated with the tube
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22Treatment of data
    • H01J2237/226Image reconstruction
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/28Scanning microscopes
    • H01J2237/2802Transmission microscopes

Definitions

  • the present invention relates to a system and method for reconstructing a three-dimensional structure from a two-dimensional image acquired by an electron microscope.
  • the structure to be observed is more intuitively observed by reconstructing the three-dimensional structure from the acquired two-dimensional image, and further, an arbitrary part is extracted and quantified from the reconstructed image. Needs are growing.
  • the three-dimensional image is reconstructed by back-projecting each continuously inclined two-dimensional image acquired by continuously tilting the observation target from the inclination angle at the time of acquisition.
  • Non-Patent Document 1 Back projection method (see pp 228-231 of Non-Patent Document 1) or the above-mentioned continuous inclined two-dimensional image as a true value image in each projection direction, and the result of projecting an unknown three-dimensional image in each direction and the true value
  • a method of algebraically reconfiguring so as to minimize the error see pp231-234 of Non-Patent Document 1 is used.
  • Non-patent document 1 a technique in which a sample is tilted with different sample tilt axes and a plurality of three-dimensional reconstructed images using the captured tilt images are overlaid (non-patent document) 1) pp225-228 and pp264), or a Dots concentration reconstraction method that considers an image as a collection of points and optimizes a point arrangement of a three-dimensional image based on the above-described continuous inclined two-dimensional image (see Non-Patent Document 2) Discrete algebraic reconstruction technique that creates a reference reconstructed image by algebraic reconstruction method, divides the reconstructed image into regions by a certain threshold, and then performs algebraic reconstruction again using the information of the region (DART) (see Non-Patent Document 3) or the like is used.
  • the three-dimensional reconstruction method described in Non-Patent Document 1 can reduce an information missing region, and can reduce a false image and a missing image in a reconstructed image.
  • samples are tilted at different sample tilt axes, and multiple three-dimensional reconstruction images using the captured tilt images are overlaid, thereby reducing false images and missing images caused by information missing regions.
  • This is a method for creating a three-dimensional reconstructed image. For this reason, in order to perform the above reconstruction method, a plurality of three-dimensional reconstructed images using tilted images obtained by tilting with different sample tilt axes are required. Further, when overlaying a plurality of three-dimensional reconstructed images, mutual misalignment correction is required.
  • FIG. 15 is a screen diagram showing a schematic diagram of a reconstructed image of a sample coated with a marker. Since the method uses a sign with high contrast, many artifacts 43 generated from the sign 42 appear in the three-dimensional reconstructed image 40 in the figure, and the structure of the observation object 41 disappears. In addition, since the marker is applied to the observation object, the observation object may be contaminated by the marker. Furthermore, depending on the sample, the label is localized and cannot be used for alignment.
  • Non-Patent Document 1 Although the 3D reconstruction method described in Non-Patent Document 1 has an established algorithm, the use of a label alignment algorithm imposes limitations on the sample, and 3D reconstruction. When it was done, there was a problem that the contrast of artifacts generated by the label was strong and the structure of the object to be observed disappeared, and it was rarely used in practice. Also, even if it is actually used, there is a lot of burden on the user because it is not automated.
  • the object of the present invention is to reduce the burden on the user by automating the process of tilting the sample with different sample tilt axes and obtaining a photographed tilt image, and further mounting an alignment algorithm that does not use a marker. It is an object of the present invention to provide a system capable of realizing a multi-axis reconstruction method that eliminates strong contrast artifacts, sample contamination, and application sample constraints that have been caused by using labels.
  • the above problem is to obtain a plurality of tilt images obtained by tilting a sample with different sample tilt axes, perform positional deviation correction for each rotation step angle, and tilt and image the rotated observation target at different angle steps. Then, two reconstructed images are generated by correcting the positional deviation of the two reconstructed images respectively created from the respective tilted image groups, and one reconstructed image is created by superimposing the two reconstructed images.
  • the first storage means for tilting the observation object at different angle steps and storing the first inclined image group obtained by the imaging device, and correcting the positional deviation of the observation object for each rotation step angle.
  • Rotation means for rotating to a specified rotation angle;
  • second storage means for tilting the observation object rotated by the rotation means at different angle steps and storing a second tilted image group obtained by the imaging device;
  • Computation means for creating third and fourth reconstructed images in which the positional deviations of the first and second reconstructed images created from the first and second inclined image groups are corrected, respectively, And the fourth reconstructed image are overlapped to create a fifth reconstructed image.
  • the present invention it is possible to significantly reduce the burden on the user when acquiring a plurality of tilt images necessary for performing the multi-axis reconstruction method. Furthermore, it is possible to eliminate strong contrast artifacts, sample contamination, and restrictions on the applied sample, which have occurred in the image by using the label.
  • FIG. 6 is a flowchart showing a procedure for creating a three-dimensional reconstructed image DATI (X, Y, Z) in the first embodiment. It is a flowchart which shows the procedure of a sample rotation process.
  • FIG. 4 is an enlarged view of a portion of a sample holder 32 that holds a sample. It is a flowchart which shows the procedure of the positional offset correction process of a three-dimensional image. It is a screen figure which shows the image of a reconstruction result.
  • FIG. 10 is a flowchart illustrating a procedure for creating a three-dimensional reconstructed image DATI (X, Y, Z) in the second embodiment. It is a flowchart which shows the procedure of a position shift correction process. It is a flowchart which shows the procedure of a position shift correction process. It is a perspective view which shows the concept which divides
  • Non-Patent Document 1 The configuration of the electron microscope of the present invention and the image processing method will be described.
  • the reconstruction technique described in pp225-228 and pp264 of Non-Patent Document 1 described above creates one reconstructed image using two or more continuous tilt images acquired by tilting the same sample with different axes. Thus, it is possible to reduce the false image of the reconstructed image and the loss of the image caused by the information missing region.
  • the present invention automates the acquisition of each continuous tilt image necessary for the reconstruction method described above, and further incorporates a misregistration correction algorithm that does not use a marker, thereby reducing the burden on the user and constraining the sample to be applied. Therefore, it is intended to provide a system that can realize the reconstruction method described in Non-Patent Document 1.
  • two continuous tilt images obtained by tilting the same sample with different axes are used to create one reconstructed image.
  • the example has been performed several times and the principle is the same. Note that this embodiment does not limit the scope of rights.
  • FIG. 1 is a configuration diagram of a system including an electron microscope according to the present invention.
  • An electron microscope according to the present invention includes an irradiation lens system 2 for irradiating a sample 1 with an electron beam, an objective lens system 3 for focusing on the sample, and a magnification lens system 4 for enlarging an electron beam image transmitted through the sample.
  • Location 16 a power supply 15 for outputting to the sample rotating unit 17 and the sample moving device 18 includes an input device 19 for inputting parameters, and an output device 20 for outputting an image.
  • FIG. 2 is a perspective view showing the definition of coordinates in the present invention.
  • the irradiation direction of the electron beam 70 is Z
  • the captured image 71 using the first image detection unit 5 and the second image detection unit 7 is an XY plane image.
  • the rotation angle on each axis the rotation angle on the X axis is ⁇
  • the rotation angle on the Y axis is ⁇
  • the rotation angle on the Z axis is ⁇ .
  • FIG. 3 is a screen view of the GUI of the present system displayed on the output device 20.
  • the GUI main window 80 includes a target rotation angle input unit 81, a rotation step angle input unit 82, a set tilt angle input unit 84, a tilt step angle input unit 85, a total of four numerical value input units, and a current rotation angle display unit.
  • 83 and the current inclination angle display part 86 there are a total of two numerical value display parts.
  • FIG. 4 is a screen view of a GUI for multi-axis reconstruction displayed on the output device 20.
  • a calculation range X input unit 91 a calculation range Y input unit 92, a calculation range Z input unit 93, a common line search angle input unit 94, a template range input unit 95, a total of five inputs.
  • a reconstructed image (1) display unit 96 and a reconstructed image (2) display unit 97 which are two image display units.
  • the five values input in this GUI are used in a 3D image alignment calculation described later. Note that a default value is set for the value used for the alignment calculation, and this GUI may not be displayed when the calculation is performed using the default value.
  • FIG. 5 is a flowchart showing a procedure for creating the three-dimensional reconstructed image DATI (X, Y, Z) according to the first embodiment of the present invention.
  • step 501 the tilt angle range ⁇ and the tilt step angle ⁇ set by the input device 19 are sent from the communication interfaces 11 a and 11 b to the microprocessor 13 via the bus 12.
  • the signal is input from the microprocessor 13 to the DAC 14 via the bus 12, amplified by the power supply 15, and then output to the sample tilting device 16.
  • the sample 1 is continuously tilted by the sample tilting device 16 within the tilt angle range ⁇ at the tilt step angle ⁇ , and the first image detection unit 5 detects an image at each tilt angle.
  • the images at the respective inclination angles detected by the first image detection unit 5 are stored in the storage device 10 inside the computer as images of continuous inclination images TI1 (X, Y) -1 to TI1 (X, Y) -N.
  • step 502 the rotation angle ⁇ and the rotation step angle ⁇ set by the input device 19 are sent from the communication interfaces 11a and 11b to the microprocessor 13 via the bus 12. Thereafter, the signal is input from the microprocessor 13 to the DAC 14 via the bus 12, amplified by the power supply 15, and then output to the sample rotating device 17.
  • the sample 1 is rotated up to the rotation angle ⁇ by correcting the displacement by the sample moving device 18 for each rotation step angle ⁇ .
  • Step 503 stores the images of the continuous tilt images TI2 (X, Y) -1 to TI2 (X, Y) -N in the storage device 10 inside the computer, as in Step 501 above.
  • step 504 and step 505 the tilt images taken in steps 501 and 503 are used, respectively, and three-dimensional reconstruction is performed by the arithmetic unit 9, and three-dimensional reconstruction images RI1 (X, Y, Z) and RI2 (X , Y, Z) are created and stored in the storage device 10.
  • Step 506 calculates the three-dimensional displacement amounts ⁇ X, ⁇ Y, ⁇ Z, ⁇ , ⁇ , ⁇ of the three-dimensional reconstructed images RI1 (X, Y, Z) and RI2 (X, Y, Z) by the arithmetic unit 9. Calculate with Thereafter, three-dimensional reconstructed images CRI1 (X, Y, Z) and CResult (X, Y, Z) in which the three-dimensional positional deviation is corrected are created and stored in the storage device 10.
  • step 507 the three-dimensional reconstructed image CRI1 (X, Y, Z) and the three-dimensional reconstructed image CResult (X, Y, Z) are superposed to produce a false image generated by the information missing region. And a three-dimensional reconstructed image DATI (X, Y, Z) with reduced image loss.
  • the outline of the sample rotation process in step 502 in FIG. 5 is described below. First, preconditions for executing the rotation process will be described.
  • the sample 1 is not inserted in advance, and the second image detection unit 7 captures one image in a state where the diameter of the electron beam is equal to or larger than the diameter of the fluorescent plate 6, and from the image, It is assumed that a rectangle inscribed in the fluorescent plate 6 is derived and stored as the template range T. Further, it is assumed that a counter i is defined as a variable and 0 is input as an initial value.
  • FIG. 6 is a flowchart showing the procedure of the sample rotation process.
  • the sample tilting device 16 sets the tilt angle ⁇ of the sample to 0 degree.
  • the first image detection unit 5 is used to capture the reference image A_base (X, Y) and store it in the storage device 10.
  • the arithmetic unit 9 creates a rotated image A_rot (X, Y) obtained by rotating the image A_base (X, Y) by ⁇ degrees with the electron beam irradiation direction Z as the rotation axis.
  • step 604 the wide-area image detection unit 7 that captures an image on the fluorescent screen 6 captures the reference image B_base (X, Y) and stores it in the storage device 10.
  • step 606 the image B_rot (X, Y) is cut out in the template range T and stored in the storage device 10 as a reference image B_refer (X, Y).
  • FIG. 7 is an enlarged view of a portion of the sample holder 32 that holds the sample.
  • the sample is rotated by a rotation step angle ⁇ degree using the sample holder 32 having the sample rotating device 17 that rotates the sample mesh fixing portion 31 via the wire 30 as shown in FIG. 7.
  • the image B_I (X, Y) is photographed using the wide area image detection unit 7.
  • step 609 the image B_I (X, Y) is cut out in the template range T in the same manner as the reference image B_refer (X, Y) to create a template image B_I_temp (X, Y).
  • step 610 using the reference image B_refer (X, Y) and the template image B_I_temp (X, Y), the arithmetic device 9 uses the template image B_I_temp () for the reference image B_refer (X, Y).
  • X, Y) positional deviation amounts ⁇ X and ⁇ Y are derived.
  • step 611 the displacement amounts ⁇ X and ⁇ Y are converted into the displacement amount of the sample moving device 18, and the sample moving device 18 corrects the displacement of the sample 1.
  • step 616 the displacement amounts ⁇ X and ⁇ Y are converted into the displacement amounts of the sample moving device 18, and the displacement of the sample 1 is corrected using the sample moving device 18.
  • the sample 1 can be automatically rotated at an arbitrary rotation angle ⁇ degrees. Steps 504 and 505 in FIG. 5 are well-known techniques and will not be described.
  • This process calculates the translation displacement amounts ⁇ X, ⁇ Y, ⁇ Z and rotational displacement amounts ⁇ , ⁇ , ⁇ of the two input three-dimensional reconstructed images, and corrects the displacement.
  • the parameters used in this process may be the values of the calculation range X91, calculation range Y92, calculation range Z93, and common line search angle 94 input in FIG.
  • FIG. 8 is a flowchart showing the procedure of the misalignment correction process.
  • steps 801 and 802 two three-dimensional reconstructed images RI1 (X, Y, Z) and RI2 (X, Y, Z) are input.
  • step 803 three-dimensional cross-correlation is performed at the center of each image in order to correct the translational displacement between RI1 (X, Y, Z) and RI2 (X, Y, Z).
  • RI2 (X, Y, Z) translation amounts ⁇ X, ⁇ Y, ⁇ Z with respect to X, Y, Z) are calculated, and in step 804, each translational displacement of RI2 (X, Y, Z) is corrected.
  • SRI2 (X, Y, Z) is created.
  • step 805 the three-dimensional reconstructed image RI1 (X, Y, Z) and the three-dimensional reconstructed image SRI2 (X, Y, Z) obtained by correcting the translation displacement are within the calculation ranges X, Y, Z.
  • the density values of all the pixels in Z) are added in the Z direction, and the respective added images ARI1 (X, Y) and ARI2 (X, Y) are created.
  • step 806 using the added images ARI1 (X, Y) and ARI2 (X, Y), a common line of these images (described in the above document 1 (pp 180-183)) is derived. Thereafter, the rotation angles ⁇ A1 and ⁇ A2 for matching the common lines in each added image are searched with the accuracy of the common line search angle.
  • step 807 the three-dimensional reconstructed image RI (X, Y, Z) is rotated by ⁇ A1 about the Z axis, and the three-dimensional image CRI1 (X, Y, Z) corrected for the rotational movement deviation ⁇ about the Z axis as the rotation axis. ).
  • step 808 similarly to step 807, SRI2 (X, Y, Z) is rotated by ⁇ A2 about the Z axis, and the three-dimensional image CRI2 (X, Y, Z) obtained by correcting the rotational displacement ⁇ with the Z axis as the rotation axis is corrected.
  • step 809 an arbitrary plane CRI1 (i, j) is extracted from a plane perpendicular to the common line in CRI1 (X, Y, Z), and step 810 is calculated from the CRI2 (X, Y, Z).
  • the rotational displacements ⁇ and ⁇ with the X axis and the Y axis as rotational axes can be corrected.
  • ZCRI1 (i, j) and ZCRI2 (i, j) are generated by performing polar coordinate transformation on the two planes as in steps 811 and 812, and the two-dimensional cross-correlation result of the two images. Is used to derive the rotational movement amount ⁇ c of ZCRI2 (i, j) with respect to ZCRI1 (i, j).
  • step 813 the rotational movement deviation ⁇ c is corrected using the common line of the three-dimensional image CRI2 (X, Y, Z) corrected for the rotational movement deviation ⁇ with the Z axis as the rotational axis.
  • CResult (X, Y, Z) in which the rotational movement deviations ⁇ , ⁇ with the X axis and the Y axis as the rotation axes are corrected can be created.
  • FIG. 9 is a screen diagram showing an image of a reconstruction result of the present invention using a label-uncoated sample and an image of a multi-axis reconstruction result in which a positional shift has occurred.
  • FIG. 9A shows an intermediate slice image (X, Y) of the reconstructed image CRI1 (X, Y, Z) according to the conventional method created using a sample to which no label is applied.
  • FIG. 9B is a reconstruction result of the present invention
  • FIG. 9C is an intermediate slice image (X, Y) of a multi-axis reconstruction result in which positional deviation has occurred. Above each of the three images, enlarged views of the portions indicated by arrows are shown.
  • FIG. 9A and FIG. 9B Comparing FIG. 9A and FIG. 9B, it can be seen that the reconstruction result of the present invention is interpolated in structure compared to the result of the conventional method.
  • the above enlarged view is an enlarged view of the A capillaries, B capillaries, and dynein arm projections of cilia.
  • the two thin tubes are circular.
  • the dynein arm protrusion has a claw-like shape (see [Translation] Yasuo Uchiyama, Tissue Cell Biology (2006), Nanedo, pp. 26).
  • the result image of the conventional method shown in FIG. 9A the structures of the thin tubes and the dynein arm protrusions are separated.
  • the result image of the present invention is connected to the above structure, and the structure is interpolated.
  • FIG. 9 (c) is an image in which two images have a displacement amount of 2 piXel in the X and Y directions.
  • the structure is blurred or blurred, which is different from the original structure.
  • the result image of the present invention shows no blurring or blurring of the structure even when compared with the image of the conventional method of FIG. That is, it can be seen that the alignment method of the present invention can correct a three-dimensional displacement even for a sample on which a marker is not applied.
  • the sample is not coated with a label, it can be seen that the phenomenon that the structure of the sample is erased does not occur due to the strong contrast generated from the artifact of the label.
  • the present invention enables visualization and measurement of three-dimensional shapes of semiconductor devices, particle size measurement of catalyst particles, observation of distribution states, and accurate three-dimensional material analysis of nanomaterials, and is widely applied in the field of material analysis. Can be expected. In addition, in cells and polymer materials, applications such as visualization of the morphology of intracellular organs and observation of mixed components can be expected.
  • the reconstruction method described in pp225-228 and pp264 of Non-Patent Document 1 described above creates one reconstructed image using two or more continuous tilt images acquired by tilting the same sample with different axes. By doing so, it is possible to reduce the false image of the reconstructed image and the loss of the image caused by the information missing region.
  • the present embodiment reduces the burden on the user and applies it by automating the shooting of each continuous tilt image necessary for the reconstruction method and further mounting a positional deviation correction algorithm that does not use a marker.
  • the present invention intends to provide a system that can realize the reconstruction method described in pp225-228 and pp264 of Non-Patent Document 1 described above without restricting a sample.
  • the following embodiment describes an example in which one reconstructed image is created using two continuous tilt images obtained by tilting the same sample with different axes, but this example is used when two or more tilt axes are used. Is performed a plurality of times, and the principle is the same. Note that this embodiment does not limit the scope of rights.
  • FIG. 10 is a flowchart showing a procedure for creating the three-dimensional reconstructed image DATI (X, Y, Z).
  • Steps 1001 to 1006 and step 1008 are the same items as in the first embodiment. Hereinafter, detailed description of step 1007 will be described.
  • FIG. 11 and FIG. 12 are flowcharts showing the procedure of the 3D image misalignment correction process performed in step 1007.
  • the positional deviation correction is further performed on the two three-dimensional reconstructed images subjected to the positional deviation correction in Step 1006 by using an algorithm different from the positional deviation correction algorithm.
  • the parallel movement positional deviation amounts ⁇ X, ⁇ Y, ⁇ Z and the rotational movement positional deviation amounts ⁇ , ⁇ are corrected.
  • step 1101 and step 1102 the misalignment correction result images CRI1 (X, Y, Z) and CResult (X, Y, Z) of step 1006 are input.
  • step 1103 in order to correct the translation displacement of CRI 1 (X, Y, Z) and CResult (X, Y, Z), three-dimensional cross-correlation is performed at the center of each image, and CRI 1 (X, FSRI2 (C, (X, Y, Z)) for each translation amount ⁇ X, ⁇ Y, ⁇ Z of CResult (X, Y, Z) relative to (Y, Z) is calculated, and each translational position shift of CResult (X, Y, Z) is corrected in step 1104.
  • X, Y, Z a feature extraction image ChRI1 (X, Y, Z) is created by extracting the feature amount of CRI1 (X, Y, Z).
  • FIG. 13 is a perspective view showing the concept of dividing the feature extraction image ChRI1 (X, Y, Z) and the misregistration correction image FSRI2 (X, Y, Z) into four regions.
  • the value of the template range 95 input in FIG. 4 can be used in addition to the default value.
  • the region (3) and the region (3) calculated by dividing the rotational movement deviation ⁇ with the X axis as the rotational axis are calculated from the divided regions (1) and (2), and the rotational displacement deviation ⁇ with the Y axis as the rotational axis is divided. Calculate from 4).
  • step 1106 the feature extraction image ChRI1 (X, Y, Z) is divided into four regions as shown in FIG. 13, and region (1) ChRI1_1 (X, Y, Z) 51 and region (2) are respectively obtained.
  • step 1107 the parallel displacement correction image FSRI2 (X, Y, Z) is divided into four in the same manner as in step 1106, and the region (1) FSRI2_1 (X, Y, Z) 51, region (2) FSRI2_2. (X, Y, Z) 52, region (3) FSRI2_3 (X, Y, Z) 53, region (4) FSRI2_4 (X, Y, Z) 54 are created.
  • FIG. 14 is a perspective view for explaining a method of searching for a template region ChRI1_1 (X, Y) having the maximum feature amount in the region (1) ChRI1_1 (X, Y, Z). Template matching is performed using the template regions ChRI1_1 (X, Y), ChRI1_2 (X, Y), ChRI1_3 (X, Y), and ChRI1_4 (X, Y) having the maximum feature value searched by the method as templates. Then, each rotational position deviation amount is calculated.
  • step 1108 in each area divided in step 1106, as shown in FIG. 14, the template area is shifted pixel by pixel, and the integrated values A1 i , A2 i , A3 i of the density values in the template area are shifted. , A4 i are calculated and stored.
  • step 1109 template areas ChRI1_1 (X, Y), ChRI1_2 (X, Y), ChRI1_3 (X, Y), ChRI1_4 in which the integrated values A1 i , A2 i , A3 i , A4 i in the respective areas are maximized.
  • Search for (X, Y) the same regions as the template regions of the misalignment correction result image CRI1 (X, Y, Z) are converted into template images TRI1_1 (X, Y), TRI1_2 (X, Y), TRI1_3 (X, Y ), TRI1_4 (X, Y).
  • step 1111 the areas FSRI2_1 (X, Y, Z), FSRI2_2 (X, Y, Z), FSRI2_3 (X, Y, Z), and FSRI2_4 (X, Y, Z) divided in step 1107 are searched.
  • template matching is performed using the corresponding template images TRI1_1 (X, Y), TRI1_2 (X, Y), TRI1_3 (X, Y), and TRI1_4 (X, Y) as templates.
  • the maximum correlation values ME1, ME2, ME3, and ME4 are calculated.
  • step 1112 the two maximum correlation values ME1 and ME2 in the region (1) and the region (2) are compared, and the template image having a high correlation value and the center coordinates MEPX_T and MEPX_S of the search result image are stored.
  • step 1113 the two maximum correlation values ME3 and ME4 in the region (3) and the region (4) are compared, and the center coordinates MEPY_T and MEPY_S of the template image and search result image having a high correlation value are stored. .
  • step 1114 the rotational displacement deviation ⁇ of FSRI2 (X, Y, Z) with respect to CRI1 (X, Y, Z) when the Y axis is the rotation axis is calculated from the center coordinates MEPX_T, MEPX_S.
  • step 1115 the rotational displacement deviation ⁇ of FSRI2 (X, Y, Z) with respect to CRI1 (X, Y, Z) when the X axis is the rotation axis is calculated from the center coordinates MEPY_T, MEPY_S.
  • step 1116 FSRI2 (X, Y, Z) is used to create FResult (X, Y, Z) in which the rotational movement deviations ⁇ , ⁇ with the X and Y axes as rotational axes are corrected.
  • steps 1117 and 1118 CRI1 (X, Y, Z) and FResult (X, Y, Z) are output.
  • the translation displacements ⁇ X, ⁇ Y, ⁇ Z and the rotational displacements ⁇ , ⁇ can be further corrected with respect to the result of performing the displacement correction in step 1006.
  • the positional deviation correction algorithm in step 1007 is different from the algorithm in step 1006 and corrects rotational movement positional deviations ⁇ and ⁇ using information of the XY plane image.
  • the two three-dimensional reconstructed images used in the present invention are the continuous tilt images photographed in step 501 or step 1001 and step 503 or step 1003. Therefore, the XY plane image is clear with no information deterioration. It is an image.
  • the method according to the second embodiment that performs the rotational movement positional deviation correction processing using the information of the XY plane image can improve the positional deviation correction accuracy more than the method according to the first embodiment described above.
  • the high-definition image DATI (X, Y, Z) of the present invention can be created.
  • First image detection unit 7 Second image detection unit 8
  • Computer 9 Computing device 10
  • Microprocessor 19 Input device 20
  • Output device 32 Sample holder 71 Captured image 80 Main window 81 Target rotation angle input Unit 82 Rotation step angle input unit 83 Current rotation angle display unit 84 Set inclination angle input unit 85 Inclination step angle input unit 86 Current inclination angle display unit 87
  • Image capture execution button 90 90 Window 91 Calculation range X input Unit 92 calculation range Y input unit 93 calculation range Z input unit 94 common line search angle input unit 95 template range input unit 96 reconstructed image (1) display unit 97 reconstructed image (2) display unit

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

 本発明の電子顕微鏡は、試料(1)を異なる試料傾斜軸で傾斜させて撮影した複数の傾斜画像を得、回転刻み角度毎に位置ずれ補正を行い、回転された観察対象物を異なる角度ステップで傾斜して撮像し、それぞれの傾斜画像群からそれぞれ作成した2つの再構成画像の位置ずれを補正した2つの再構成画像を作成し、該2つの再構成画像を重ね合わせてひとつの再構成画像を作成することを特徴とする。 これにより、ユーザーの負担を軽減し、標識を用いることによって生じていた強いコントラストのアーティファクトや試料の汚染,適用試料の制約を排除した多軸再構成手法を実現可能とする画像再構成システムを提供することが可能になった。

Description

電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法
 本発明は、電子顕微鏡により取得された二次元画像から三次元構造を再構成するシステムおよび方法に関する。
 電子顕微鏡において、取得された二次元画像から三次元構造を再構成することによって観察対象となる構造をより直感的に観察し、さらに、再構成した画像から、任意の箇所を抽出し定量化するニーズが高まっている。このような観察を行うために、一般的には、観察対象を連続的に傾斜させて取得された各連続傾斜二次元画像を取得時の傾斜角度から逆投影させて、三次元画像を再構成する逆投影手法(非特許文献1のpp228-231参照)や、上記連続傾斜二次元画像を各投影方向における真値画像とし、未知なる三次元画像を各方向に投影した結果と該真値の誤差が最小となるよう代数的に再構成する手法(非特許文献1のpp231-234参照)が用いられている。
 また、上記手法の問題点である情報欠落領域を低減する手法として、試料を異なる試料傾斜軸で傾斜し、撮影した傾斜画像を用いた複数の三次元再構成画像を重ね合わせる手法(非特許文献1のpp225-228,pp264参照)や、画像が点の集合体と考え、上記連続傾斜二次元画像を基に三次元画像の点配置を最適化するDots concentration reconstraction法(非特許文献2参照)や、基準となる再構成画像を代数的再構成法にて作成し、該再構成画像をある閾値で領域分けした後、該領域の情報を用いて再度代数的再構成を行うDiscrete algebraic reconstruction technique(DART)(非特許文献3参照)などが用いられている。
Jose-Maria Carazo et al., Algorithms for 3D reconstruction, Joachim Frank, ELECTRON TOMOGRAPHY 2(2005) Springer, New York, pp180-183, pp225-234, pp264. N.Baba, et al.,Anovel Method of Reconstructing a Tomogram by Convergence of an Innumerable Dots Map Without the "Missing-Wedge"Effect, Frontiers of Electron Microscopy in Materials, S-15, Session-1, 2October, 2009. K.J.Batenburg, et al., 3D imaging of nanomaterials by disctrete tomography, Ultramicroscopy 109(2009), pp730-740.
 上記非特許文献1に記載の三次元再構成手法は、情報欠落領域を低減することができ、再構成画像の偽像や像の欠落を低減することができる。上記再構成手法は試料を異なる試料傾斜軸で傾斜し、撮影した傾斜画像を用いた複数の三次元再構成画像を重ね合わせることで、情報欠落領域によって発生する偽像や像の欠落が低減された三次元再構成画像を作成する手法である。このため、上記再構成手法を行うためには、異なる試料傾斜軸で傾斜し、撮影した傾斜画像を用いた複数の三次元再構成画像が必要となる。また、複数の三次元再構成画像を重ね合わせる際、相互の位置ずれ補正が必要となる。
 従来は、異なる試料傾斜軸で傾斜し、撮影した傾斜画像を得るために、ピンセットなどを用いて直接試料を回転させるか、試料保持部が回転するホルダーを用い、遠隔操作にて試料を手動で回転させていた。このため、上記再構成手法に用いる各傾斜画像の取り込みが自動化されておらず、該画像の撮影がユーザーの大きな負担となっていた。
 複数の三次元再構成画像を重ね合わせる際の位置ずれ補正に関しては、試料に金粒子などの標識を塗布し、これら標識の座標を一致させる手法が行われている。
 図15は、標識を塗布した試料の再構成画像の模式図を示す画面図である。上記手法はコントラストの強い標識を用いるため、図には、三次元再構成画像40に標識42から発生した多くのアーティファクト43が現れ、観察対象物41の構造を消してしまう。また、観察対象物に標識を塗布するため、該標識によって観察対象物を汚染してしまう可能性がある。更に、試料によっては、標識が局在してしまい、該標識を位置合わせに用いることができないものもある。
 以上の様に、上記非特許文献1に記載の三次元再構成法は、アルゴリズムは確立していたものの、標識による位置合わせアルゴリズムを用いることによって、試料に制限がかかること、三次元再構成を行った際、標識によって発生するアーティファクトのコントラストが強く、観察対象の構造が消えてしまう、などの問題があり、実際に使用されることは少なかった。また、実際に使用する場合であっても、自動化がなされていないため、ユーザーに多くの負担がかかっていた。
 本発明の目的は、試料を異なる試料傾斜軸で傾斜し、撮影した傾斜画像を得る工程を自動化し、更に標識を用いない位置合わせアルゴリズムを搭載することで、ユーザーの負担を軽減し、更に、標識を用いることによって生じていた、強いコントラストのアーティファクトや試料の汚染、適用試料の制約を排除した多軸再構成手法を実現可能とするシステムを提供することである。
 上記課題は、試料を異なる試料傾斜軸で傾斜させて撮影した複数の傾斜画像を得、回転刻み角度毎に位置ずれ補正を行い、回転された観察対象物を異なる角度ステップで傾斜して撮像し、それぞれの傾斜画像群からそれぞれ作成した2つの再構成画像の位置ずれを補正した2つの再構成画像を作成し、該2つの再構成画像を重ね合わせてひとつの再構成画像を作成する。
 詳しくは、観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第一の傾斜画像群を格納する第一の格納手段,該観察対象物を回転刻み角度毎に位置ずれ補正を行い、指定した回転角度まで回転する回転手段,該回転手段によって回転された観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第二の傾斜画像群を格納する第二の格納手段,上記第一と第二の傾斜画像群からそれぞれ作成した第一,第二の再構成画像の位置ずれを補正した第三,第四の再構成画像を作成する演算手段を有し、上記第三と第四の再構成画像を重ね合わせて第五の再構成画像を作成することで解決することができる。
 本発明によれば、多軸再構成手法を行うために必要な複数の傾斜画像取得時にユーザーにかかっていた負担を大幅に低減できる。更に、標識を用いることによって画像に生じていた、強いコントラストのアーティファクトや試料の汚染,適用試料の制約を排除することができる。
電子顕微鏡を含むシステムの構成図である。 座標の定義を示す斜視図である。 出力装置に表示される本システムのGUIの画面図である。 出力装置に表示される多軸再構成のGUIの画面図である。 実施例1における三次元再構成画像DATI(X,Y,Z)を作成する手順を示すフロー図である。 試料回転処理の手順を示すフロー図である。 試料ホルダー32の試料を保持する部分の拡大図である。 三次元画像の位置ずれ補正処理の手順を示すフロー図である。 再構成結果の画像を示す画面図である。 実施例2における三次元再構成画像DATI(X,Y,Z)を作成する手順を示すフロー図である。 位置ずれ補正処理の手順を示すフロー図である。 位置ずれ補正処理の手順を示すフロー図である。 特徴抽出画像ChRI1(X,Y,Z)及び位置ずれ補正画像FSRI2(X,Y,Z)を四つの領域に分割する概念を示す斜視図である。 領域ChRI1_1(X,Y,Z)内で特徴量が最大となるテンプレート領域ChRI1_1(X,Y)を探索する方法を説明する斜視図である。 標識を塗布した試料の再構成画像の模式図を示す画面図である。
 以下、図面を用いて本発明の実施例を説明する。
 本発明の電子顕微鏡の構成、及び画像処理方法について説明する。上述した非特許文献1のpp225-228およびpp264に記載された再構成手法は、同一試料を異なる軸で傾斜させて取得した二つ以上の連続傾斜画像を用い、一つの再構成画像を作成することで、情報欠落領域によって発生する再構成画像の偽像や像の欠落の低減を図るものである。
 本発明は、上記再構成手法に必要な各連続傾斜画像の撮影を自動化し、更に標識を用いない位置ずれ補正アルゴリズムを搭載することで、ユーザーの負担を低減し、適用する試料に制約を与えずに上記非特許文献1に記載された再構成手法を実現可能とするシステムの提供を図るものである。以下の実施例は、同一試料を異なる軸で傾斜させて取得した二つの連続傾斜画像を用い、一つの再構成画像を作成する例を記すが、二つ以上の傾斜軸を用いた場合は本例を複数回行ったものであり、原理は同一である。尚、本実施例は権利の範囲を限定するものではない。
 図1は、本発明における電子顕微鏡を含むシステムの構成図である。本発明に係わる電子顕微鏡は、電子線を試料1に照射するための照射レンズ系2と、試料に焦点を合わせるための対物レンズ系3,試料を透過した電子線像を拡大する拡大レンズ系4,拡大した像を検出する第一の画像検出部5と、蛍光板6上に写しだされた像を検出する第二の画像検出部7,種々の演算制御処理を行うコンピュータ8とコンピュータ内部の演算装置9と、データを記憶する記憶装置10と、コンピュータとマイクロプロセッサとの通信を行うコミュニケーションインターフェイス11aおよび11bと、バス12を介して制御信号を送るマイクロプロセッサ13と、マイクロプロセッサ13より出力された信号をデジタル信号からアナログ信号へ変換するDAC14と、DAC14より出力された信号を増幅し、試料傾斜装置16,試料回転装置17及び試料移動装置18へ出力する電源15と、パラメータの入力を行うための入力装置19と、画像を出力するための出力装置20とを備えている。
 図2は、本発明における座標の定義を示す斜視図である。電子線70の照射方向をZとし、第一の画像検出部5及び第二の画像検出部7を用いた撮影画像71はXY平面画像とする。また、各軸での回転角度は、X軸での回転角度をα、Y軸での回転角度をβ、Z軸での回転角度をγとする。図3は出力装置20に表示される本システムのGUIの画面図である。GUIのメインウィンドウ80には、目標回転角度入力部81,回転刻み角度入力部82,設定傾斜角度入力部84,傾斜刻み角度入力部85、計4つの数値入力部と、現在の回転角度表示部83及び現在の傾斜角度表示部86、計2つの数値表示部がある。また、取得画像が表示される撮影画像表示部87がある。処理の実行は、上記4つの数値入力部に任意のパラメータを入力した後、画像取り込み実行ボタン88を押すことで行うことができる。
 以上のGUIに加え、本システムは次図に示すGUIを有している。図4は出力装置20に表示される多軸再構成のGUIの画面図である。多軸再構成GUIのウィンドウ90には、演算範囲X入力部91,演算範囲Y入力部92,演算範囲Z入力部93,コモンライン探索角度入力部94,テンプレート範囲入力部95、計5つの入力部と、2つの画像表示部である再構成画像(1)表示部96,再構成画像(2)表示部97がある。本GUIで入力する5つの値は、後述する三次元画像の位置合わせ演算の中で使用される。尚、該位置合わせ演算に用いる上記値はデフォルト値が定められており、デフォルト値で演算を行う場合は、本GUIを表示しなくても良い。
 図5は本発明の実施例1の三次元再構成画像DATI(X,Y,Z)を作成する手順を示すフロー図である。ステップ501では入力装置19で設定した傾斜角度範囲α、傾斜刻み角度Δαがコミニュケーションインターフェイス11a,bからバス12を介してマイクロプロセッサ13に送られる。その後、マイクロプロセッサ13からバス12を介してDAC14に入力され、電源15で増幅された後、試料傾斜装置16へと出力される。その後、試料1は試料傾斜装置16にて連続的に上記傾斜角度範囲α内を上記傾斜刻み角度Δαで傾斜され、各々の傾斜角度で第一の画像検出部5により像を検出する。第一の画像検出部5により検出した各傾斜角度の画像は連続傾斜画像TI1(X,Y)-1からTI1(X,Y)-Nの画像としてコンピュータ内部の記憶装置10へ格納する。
 ステップ502では入力装置19で設定した回転角度γ、回転刻み角度Δγがコミニュケーションインターフェイス11a,bからバス12を介してマイクロプロセッサ13に送られる。その後、マイクロプロセッサ13からバス12を介してDAC14に入力され、電源15で増幅された後、試料回転装置17へと出力される。試料1は上記回転刻み角度Δγ毎に試料移動装置18にて位置ずれ補正を行い、上記回転角度γまで回転される。
 ステップ503は、上記ステップ501と同様に連続傾斜画像TI2(X,Y)-1からTI2(X,Y)-Nの画像をコンピュータ内部の記憶装置10へ格納する。
 ステップ504とステップ505では、上記ステップ501と503で撮影した傾斜画像をそれぞれ用い、演算装置9にて三次元再構成を行い、三次元再構成画像RI1(X,Y,Z)とRI2(X,Y,Z)を作成し、記憶装置10へ格納する。
 ステップ506は、上記三次元再構成画像RI1(X,Y,Z)とRI2(X,Y,Z)の三次元的な位置ずれ量ΔX,ΔY,ΔZ,Δα,Δβ,Δγを演算装置9にて算出する。その後、該三次元的な位置ずれを補正した三次元再構成画像CRI1(X,Y,Z),CResult(X,Y,Z)を作成し、記憶装置10へ格納する。
 最後にステップ507にて、上記三次元再構成画像CRI1(X,Y,Z)と上記三次元再構成画像CResult(X,Y,Z)を重ね合わすことにより、情報欠落領域によって発生する偽像や像の欠落が低減された三次元再構成画像DATI(X,Y,Z)を作成することができる。
 図5に於けるステップ502の試料回転処理の概略を以下に記す。はじめに、上記回転処理実行時の前提条件を示す。本処理は予め試料1が挿入されておらず、電子線の径が蛍光板6の直径以上となっている状態で、第二の画像検出部7にて画像を一枚撮影し、該画像から、蛍光板6に内接する四角形を導出し、該四角形をテンプレート範囲Tとして記憶してあるものとする。また、変数として、カウンタiが定義されており、初期値に0が入力されているものとする。
 図6は上記試料回転処理の手順を示すフロー図である。ステップ601は、試料傾斜装置16にて試料の傾斜角度αを0度に設定する。ステップ602では、第一の画像検出部5を用いて、基準画像A_base(X,Y)を撮影し、記憶装置10へ格納する。続いて、ステップ603では、演算装置9にて、電子線照射方向Zを回転軸として上記画像A_base(X,Y)をγ度回転させた回転画像A_rot(X,Y)を作成する。
 ステップ604では、蛍光板6上の像を撮影する広域画像検出部7にて基準画像B_base(X,Y)を撮影し、記憶装置10へ格納する。ステップ605では、該画像B_base(X,Y)を上記回転軸Zでγ′(=回転刻み角度Δγ度×(カウンタi+1))度回転させ、回転画像B_rot(X,Y)を作成する。その後、ステップ606にて、該画像B_rot(X,Y)を上記テンプレート範囲Tで切り出し、参照画像B_refer(X,Y)として記憶装置10へ格納する。
 図7は、試料ホルダー32の試料を保持する部分の拡大図である。図6のステップ607にて、図7に示すような、ワイヤー30を介して試料メッシュ固定部31を回転させる試料回転装置17を有する試料ホルダー32を用いて試料を回転刻み角度Δγ度回転させた後、ステップ608にて、広域画像検出部7を用いて画像B_I(X,Y)を撮影する。
 ステップ609では、上記参照画像B_refer(X,Y)と同様に該画像B_I(X,Y)をテンプレート範囲Tで切り出し、テンプレート画像B_I_temp(X,Y)を作成する。その後、ステップ610にて、上記参照画像B_refer(X,Y)と該テンプレート画像B_I_temp(X,Y)を用い、演算装置9にて、上記参照画像B_refer(X,Y)に対する該テンプレート画像B_I_temp(X,Y)の位置ずれ量ΔX及びΔYを導出する。ステップ611では、該位置ずれ量ΔX及びΔYを試料移動装置18の移動量に換算し、試料移動装置18にて、試料1の位置ずれを補正する。
 ステップ612及び613では、演算装置9にてカウンタiをカウントアップし、試料回転終了(i=α/Δα)の判定を行う。該判定結果が“No”であった場合は、ステップ605の処理に移行し、“Yes”であった場合は、ステップ614の処理に移行する。該判定にてステップ614に移行した場合、ステップ615にて、第一の画像検出部5にて画像A_γ(X,Y)を撮影し、記憶装置10に格納する。次に、上記回転画像A_rot(X,Y)と該画像A_γ(X,Y)を用い、演算装置9にて、上記回転画像A_rot(X,Y)に対する該画像A_γ(X,Y)の位置ずれ量ΔX及びΔYを導出する。
 最後にステップ616にて、該位置ずれ量ΔX及びΔYを試料移動装置18の移動量に換算し、試料移動装置18を用いて試料1の位置ずれを補正する。以上の工程により、自動で試料1を任意の回転角度α度回転することができる。図5に於けるステップ504及び505は公知の技術であるため、説明を省く。
 続いて、上記ステップ506における演算装置9にて行われる処理の詳細説明を記す。本処理は入力された二つの三次元再構成画像の平行移動位置ずれ量ΔX,ΔY,ΔZ及び、回転移動位置ずれ量Δα,Δβ,Δγを算出し、上記位置ずれを補正するものである。尚、本処理で用いるパラメータはデフォルト値の他に上記図4にて入力した演算範囲X91,演算範囲Y92,演算範囲Z93及びコモンライン探索角度94の値を用いることもできる。
 図8は、位置ずれ補正処理の手順を示すフロー図である。ステップ801,802にて、二つの三次元再構成画像RI1(X,Y,Z)とRI2(X,Y,Z)を入力する。続いて、ステップ803で、RI1(X,Y,Z)とRI2(X,Y,Z)の平行移動位置ずれを補正するため、それぞれの画像中心部にて三次元相互相関を行い、RI1(X,Y,Z)に対するRI2(X,Y,Z)の各平行移動量ΔX,ΔY,ΔZを算出し、ステップ804にてRI2(X,Y,Z)の各平行移動位置ずれを補正したSRI2(X,Y,Z)を作成する。
 ステップ805では、上記演算範囲X,Y,Z内にて、上記三次元再構成画像RI1(X,Y,Z)と該平行移動位置ずれを補正した三次元再構成画像SRI2(X,Y,Z)の全ピクセルの濃度値をZ方向へ加算し、それぞれの加算画像ARI1(X,Y)とARI2(X,Y)を作成する。
 ステップ806では、該加算画像ARI1(X,Y)とARI2(X,Y)を用い、これら画像のコモンライン(上記文献1(pp180-183)記載)を導出する。その後、各加算画像における該コモンラインを一致させるための回転角度ΔA1,ΔA2を上記コモンライン探索角度の精度で探索する。
 ステップ807にて上記三次元再構成画像RI(X,Y,Z)をZ軸でΔA1回転させ、Z軸を回転軸とした回転移動ずれΔγを補正した三次元画像CRI1(X,Y,Z)を作成する。ステップ808も上記ステップ807と同様にSRI2(X,Y,Z)をZ軸でΔA2回転させ、Z軸を回転軸とした回転移動ずれΔγを補正した三次元画像CRI2(X,Y,Z)を作成する。
 ステップ809では、CRI1(X,Y,Z)における上記コモンラインと垂直な平面から任意の平面CRI1(i,j)を抽出し、ステップ810は、上記CRI2(X,Y,Z)から、該平面CRI1(i,j)と同座標の平面CRI2(i,j)を抽出する。該二つの平面、CRI1(i,j)とCRI2(i,j)はコモンラインを回転軸とし、回転移動ずれを起こしたものであるため、該回転移動ずれ量を算出し、補正することで、X軸及びY軸を回転軸とした回転移動ずれΔα,Δβを補正することができる。尚、本例では、ステップ811及びステップ812のように上記二つの平面を極座標変換してZCRI1(i,j)とZCRI2(i,j)を作成し、該二つの画像の二次元相互相関結果からZCRI1(i,j)に対するZCRI2(i,j)の回転移動量Δcを導出している。
 最後にステップ813にて、上記Z軸を回転軸とした回転移動ずれΔγを補正した三次元画像CRI2(X,Y,Z)の上記コモンラインを回転軸とし、上記回転移動ずれΔcを補正することで、X軸及びY軸を回転軸とした回転移動ずれΔα,Δβを補正したCResult(X,Y,Z)を作成することができる。
 以上の工程にて、RI1(X,Y,Z)とRI2(X,Y,Z)の三次元的な位置ずれ量ΔX,ΔY,ΔZ,Δα,Δβ,Δγの補正が終了する。ステップ814,815では、それぞれの補正結果画像CRI1(X,Y,Z),CResult(X,Y,Z)を出力する。以上の処理にて、三次元的な位置ずれ量を補正することが可能である。
 図9は、標識無塗布試料を用いた本発明の再構成結果の画像と、位置ずれを起こした多軸再構成結果の画像を示す画面図である。図9(a)は、標識が塗布されていない試料を用いて作成した従来法による再構成画像CRI1(X,Y,Z)の中間スライス画像(X,Y)である。図9(b)は、本発明の再構成結果、図9(c)は、位置ずれを起こした多軸再構成結果の中間スライス画像(X,Y)である。以上3つの画像上部にはそれぞれ矢印で示した部分の拡大図を示している。
 図9(a)と図9(b)とを比較すると、本発明の再構成結果は従来法の結果に比べ、構造が補間されていることが分かる。上記拡大図は、線毛のA細管,B細管とダイニン腕突起部を拡大したものである。上記2つの細管は、円状になっている。また、ダイニン腕突起は鉤爪状の形状をしている([監訳]内山安男,組織細胞生物学(2006),南江堂,pp26参照)。図9(a)に示す従来法の結果画像では、各細管とダイニン腕突起の構造が分離してしまっている。これに対し、本発明の結果画像は上記構造が繋がっており、構造が補間されていることが分かる。
 また、図9(b)と図9(c)の比較で、本発明の位置合わせ精度が十分であることが分かる。図9(c)は、2つの画像の位置ずれ量がX及びY方向に2piXel有る画像同士を重ね合わせたものである。位置がずれた2つの画像を重ね合わせると、図9(c)に示すように、構造にボケやブレが見られ、本来の構造とは異なったものとなってしまう。これに対し、本発明の結果画像は図9(a)の従来法の画像と比較しても構造のボケやブレが見られない。つまり、本発明の位置合わせ方法は標識が塗布されていない試料に対しても三次元的な位置ずれ補正が可能であることが分かる。また、上記試料は標識を塗布していないため、標識のアーティファクトから発生する強いコントラストによって試料の構造が消される現象は発生しないことが分かる。
 上記実施例には電子顕微鏡を用いた電子線コンピュータトモグラフィを例として記載したが、本発明はエックス線コンピュータトモグラフィにも適用可能である。上記実施例には連続傾斜画像を用いた場合を例として記載したが、本発明は不連続な傾斜画像に対しても適用可能である。
 尚、本発明は、半導体デバイスの三次元形状の可視化,計測や、触媒粒子の粒径計測,分布状態の観察やナノ材料の正確な三次元材料解析を可能とし、材料解析分野での幅広い適用が期待できる。また、細胞や高分子材料においても、細胞内器官の形態の可視化,成分混合状態の観察などの適用が期待できる。
 上述した非特許文献1のpp225-228、およびpp264に記載された再構成手法は、同一試料を異なる軸で傾斜させて取得した二つ以上の連続傾斜画像を用い、一つの再構成画像を作成することで、情報欠落領域によって発生する再構成画像の偽像や像の欠落の低減を図るものである。
 これに対して本実施例は、上記再構成手法に必要な各連続傾斜画像の撮影を自動化し、更に標識を用いない位置ずれ補正アルゴリズムを搭載することで、ユーザーの負担を低減し、適用する試料に制約を与えずに上述した非特許文献1のpp225-228、およびpp264に記載された再構成手法を実現可能とするシステムの提供を図るものである。以下の実施例は同一試料を異なる軸で傾斜させて取得した二つの連続傾斜画像を用い、一つの再構成画像を作成する例を記すが、二つ以上の傾斜軸を用いた場合は本例を複数回行ったものであり、原理は同一である。尚、本実施例は権利の範囲を限定するものではない。
 以下、本発明の電子顕微鏡及び画像処理方法の実施の形態について説明する。尚、本実施例の装置構成は上記実施例1と共通であるため、割愛する。図10は、三次元再構成画像DATI(X,Y,Z)を作成する手順を示すフロー図である。
 ステップ1001~1006及びステップ1008に関しては上記実施例1と共通項目である。以下、ステップ1007の詳細説明を記す。
 図11及び図12は、ステップ1007で行われる三次元画像の位置ずれ補正処理の手順を示すフロー図である。本処理は、ステップ1006で位置ずれ補正を行った二つの三次元再構成画像に対し、該位置ずれ補正アルゴリズムとは異なったアルゴリズムを用いて更に位置ずれ補正を行うものである。尚、本位置ずれ補正処理では、平行移動位置ずれ量ΔX,ΔY,ΔZ及び、回転移動位置ずれ量Δα,Δβを補正する。
 初めに、ステップ1101及びステップ1102にて、ステップ1006の位置ずれ補正結果画像CRI1(X,Y,Z),CResult(X,Y,Z)をそれぞれ入力する。ステップ1103にて、CRI1(X,Y,Z)とCResult(X,Y,Z)の平行移動位置ずれを補正するため、それぞれの画像中心部にて三次元相互相関を行い、CRI1(X,Y,Z)に対するCResult(X,Y,Z)の各平行移動量ΔX,ΔY,ΔZを算出し、ステップ1104にてCResult(X,Y,Z)の各平行移動位置ずれを補正したFSRI2(X,Y,Z)を作成する。ステップ1105では、CRI1(X,Y,Z)の特徴量を抽出した特徴抽出画像ChRI1(X,Y,Z)を作成する。
 図13は、特徴抽出画像ChRI1(X,Y,Z)及び位置ずれ補正画像FSRI2(X,Y,Z)を四つの領域に分割する概念を示す斜視図である。上記領域の範囲はデフォルト値の他に上記図4にて入力したテンプレート範囲95の値を用いることもできる。以下、X軸を回転軸とした回転移動ずれΔαを分割した領域(1)及び領域(2)から算出し、Y軸を回転軸とした回転移動ずれΔβを分割した領域(3)及び領域(4)から算出する。
 ステップ1106では、該特徴抽出画像ChRI1(X,Y,Z)を上記図13に示すように四つの領域に分割し、それぞれ領域(1)ChRI1_1(X,Y,Z)51,領域(2)ChRI1_2(X,Y,Z)52,領域(3)ChRI1_3(X,Y,Z)53,領域(4)ChRI1_4(X,Y,Z)54を作成する。
 ステップ1107では、平行移動位置ずれ補正画像FSRI2(X,Y,Z)を上記ステップ1106と同様に四つに分割し、領域(1)FSRI2_1(X,Y,Z)51,領域(2)FSRI2_2(X,Y,Z)52,領域(3)FSRI2_3(X,Y,Z)53,領域(4)FSRI2_4(X,Y,Z)54を作成する。
 図14は、領域(1)ChRI1_1(X,Y,Z)内で特徴量が最大となるテンプレート領域ChRI1_1(X,Y)を探索する方法を説明する斜視図である。該方法にて探索された特徴量が最大となるテンプレート領域ChRI1_1(X,Y),ChRI1_2(X,Y),ChRI1_3(X,Y),ChRI1_4(X,Y)をテンプレートとし、テンプレートマッチングを行い、各回転位置ずれ量を算出する。
 ステップ1108では、上記ステップ1106で分割した各領域に於いて、上記図14に示す様に、テンプレート領域を1ピクセルずつシフトし、テンプレート領域内の濃度値の積算値A1i,A2i,A3i,A4iを算出し、それぞれを格納する。
 ステップ1109では、上記各領域での積算値A1i,A2i,A3i,A4iが最大となるテンプレート領域ChRI1_1(X,Y),ChRI1_2(X,Y),ChRI1_3(X,Y),ChRI1_4(X,Y)を探索する。続いて、ステップ1110で上記位置ずれ補正結果画像CRI1(X,Y,Z)の上記各テンプレート領域と同領域をテンプレート画像TRI1_1(X,Y),TRI1_2(X,Y),TRI1_3(X,Y),TRI1_4(X,Y)として格納する。
 ステップ1111では、上記ステップ1107で分割した領域FSRI2_1(X,Y,Z),FSRI2_2(X,Y,Z),FSRI2_3(X,Y,Z),FSRI2_4(X,Y,Z)をそれぞれサーチ領域とし、また、これに対応するテンプレート画像TRI1_1(X,Y),TRI1_2(X,Y),TRI1_3(X,Y),TRI1_4(X,Y)をテンプレートとして、テンプレートマッチングを行い、各領域に於ける最大相関値ME1,ME2,ME3,ME4を算出する。
 ステップ1112では、領域(1)及び領域(2)に於ける二つの最大相関値ME1,ME2を比較し、高い相関値を有するテンプレート画像及びサーチ結果画像の中心座標MEPX_T,MEPX_Sを記憶する。同様にステップ1113では、領域(3)及び領域(4)に於ける二つの最大相関値ME3,ME4を比較し、高い相関値を有するテンプレート画像及びサーチ結果画像の中心座標MEPY_T,MEPY_Sを記憶する。
 ステップ1114では、上記中心座標MEPX_T,MEPX_Sより、Y軸を回転軸としたときのCRI1(X,Y,Z)に対するFSRI2(X,Y,Z)の回転移動ずれ量Δβを算出する。同様に、ステップ1115にて、上記中心座標MEPY_T,MEPY_Sより、X軸を回転軸としたときのCRI1(X,Y,Z)に対するFSRI2(X,Y,Z)の回転移動ずれ量Δαを算出する。
 ステップ1116では、FSRI2(X,Y,Z)を用いて、X軸とY軸を回転軸とした回転移動ずれΔα,Δβを補正したFResult(X,Y,Z)を作成する。最後に、ステップ1117,1118にてCRI1(X,Y,Z)とFResult(X,Y,Z)を出力する。
 以上の処理によって、上記ステップ1006にて位置ずれ補正を行った結果に対し、更に平行移動位置ずれΔX,ΔY,ΔZ及び、回転移動位置ずれΔα,Δβを補正することができる。
 上記ステップ1007による位置ずれ補正アルゴリズムは、ステップ1006のアルゴリズムと異なり、XY平面画像の情報を用いて回転移動位置ずれΔα,Δβを補正している。本発明で用いる二つの三次元再構成画像は、上記ステップ501またはステップ1001、及びステップ503またはステップ1003で撮影された連続傾斜画像を用いているため、XY平面像は情報の劣化が無い鮮明な画像である。このため、XY平面画像の情報を用いた回転移動位置ずれ補正処理を行っている本実施例2による方法は、上述の実施例1による方法よりも位置ずれ補正精度を向上することができ、より高精細な本発明の結果画像DATI(X,Y,Z)を作成することができる。
5 第一の画像検出部
7 第二の画像検出部
8 コンピュータ
9 演算装置
10 記憶装置
11a,11b コミュニケーションインターフェイス
13 マイクロプロセッサ
19 入力装置
20 出力装置
32 試料ホルダー
71 撮影画像
80 メインウィンドウ
81 目標回転角度入力部
82 回転刻み角度入力部
83 現在の回転角度表示部
84 設定傾斜角度入力部
85 傾斜刻み角度入力部
86 現在の傾斜角度表示部
87 撮影画像表示部
88 画像取り込み実行ボタン
90 ウィンドウ
91 演算範囲X入力部
92 演算範囲Y入力部
93 演算範囲Z入力部
94 コモンライン探索角度入力部
95 テンプレート範囲入力部
96 再構成画像(1)表示部
97 再構成画像(2)表示部

Claims (22)

  1.  観察対象物に電子線を照射する照射装置と、観察対象物からの応答を検出する第一及び第二の検出装置と、観察対象物を保持し、移動させる移動装置と、観察対象物の傾斜角度を任意に設定できる傾斜装置と観察対象物の回転角度を任意に設定できる回転装置と、各種演算を行う演算装置を備える電子顕微鏡において、上記観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第一の傾斜画像群を格納する第一の格納手段、該観察対象物を回転刻み角度毎に位置ずれ補正を行い、指定した回転角度まで回転する回転手段、該回転手段によって回転された観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第二の傾斜画像群を格納する第二の格納手段、上記第一と第二の傾斜画像群からそれぞれ作成した第一,第二の再構成画像の位置ずれを補正した第三,第四の再構成画像を作成し、上記第三と第四の再構成画像を重ね合わせて第五の再構成画像を作成する演算手段を備えることを特徴とする電子顕微鏡。
  2.  請求項1において、上記演算装置は上記回転手段を上記傾斜装置を用いて試料の傾斜角度を0度付近に設定し、第一の検出装置にて第一の基準画像を撮影し、該基準画像を目標回転角度回転した目標参照画像を作成し、第二の検出装置にて第二の基準画像を撮影し、該第二の基準画像を回転刻み角度回転した刻み参照画像を作成し、回転装置を用いて試料を刻み角度回転させて第二の検出装置にて刻み画像を撮影し、上記刻み参照画像と上記刻み画像を用いて、位置ずれ量を算出し、該位置ずれ量だけ上記移動装置を用いて観察対象物を移動して位置ずれ補正をし、上記刻み参照画像の作成と上記刻み画像の撮影、上記位置ずれ量の算出及び上記位置ずれ補正を上記目標回転角度まで繰り返し、第一の検出装置にて目標画像を撮影し、上記目標参照画像と上記目標画像を用いて、位置ずれ量を算出し、該位置ずれ量だけ上記移動装置を用いて観察対象物を移動させて位置ずれ補正をするように制御することを特徴とする電子顕微鏡。
  3.  請求項1において、上記演算手段は、第一の再構成画像に対する第二の再構成画像の平行位置ずれ量を三次元相互相関を用いて算出し、第二の再構成画像を該平行位置ずれ量移動させた平行位置ずれ補正画像を作成し、上記第一の再構成画像と上記平行位置ずれ補正画像をそれぞれZ方向に各ピクセルの濃度値を加算した第一の加算画像と第二の加算画像を作成し、該第一の加算画像と該第二の加算画像からコモンラインを導出し、該コモンラインを一致させるためのそれぞれの回転角度を算出し、上記第一の再構成画像と上記平行位置ずれ補正画像をそれぞれ該回転角度回転させてコモンラインを一致させた第一のコモンライン補正画像と第二のコモンライン補正画像を作成し、上記第一のコモンライン補正画像から上記コモンラインと垂直な平面より任意の平面を抽出して第一のスライス画像を作成し、上記第二のコモンライン補正画像から上記コモンラインと垂直な平面より上記第一のスライス画像と同座標の平面を抽出して第二のスライス画像を作成し、上記第一のスライス画像に対する上記第二のスライス画像の回転移動ずれ量を算出し、上記第二のコモンライン補正画像をコモンラインを回転軸として該回転移動ずれ量回転させた回転位置ずれ補正画像を作成し、上記第一のコモンライン補正画像を第三の再構成画像として出力し、上記回転位置ずれ補正画像を第四の再構成画像として出力するように演算することを特徴とする電子顕微鏡。
  4.  請求項3において、上記演算手段は、上記回転位置ずれ補正画像を作成する工程の後に、第三の再構成画像に対する第四の再構成画像の平行位置ずれ量を三次元相互相関を用いて算出し、第四の再構成画像を該平行位置ずれ量移動させた平行位置ずれ補正画像を作成し、第三の再構成画像の特徴を抽出した特徴抽出画像を作成し、該特徴抽出画像を一つまたは、複数の領域に分割し、上記平行位置ずれ補正画像を一つまたは、複数の領域に分割し、上記特徴抽出画像の各領域でテンプレート領域を移動しながらテンプレート領域内の濃度値の積算値を各々算出し、各領域で該積算値が最大となるテンプレート領域を探索し、第三の再構成画像の該テンプレート領域を各領域のテンプレート画像とし、該各テンプレート画像と対応する上記平行位置ずれ補正画像の各領域を探索画像とし、それぞれ対応する該各探索画像と上記各テンプレート画像から最も類似度が高い領域を算出し、各テンプレート画像の座標と該最も類度が高い各領域の座標から上記第三の再構成画像に対する上記平行位置ずれ補正画像の回転移動ずれ量を算出し、上記平行位置ずれ補正画像を該回転移動ずれ量回転させた回転移動ずれ補正画像を作成し、該回転移動ずれ補正画像を第三の再構成画像として出力するように演算することを特徴とする電子顕微鏡。
  5.  請求項4において、上記演算手段は特徴量算出を画像の微分によって行うことを特徴とする電子顕微鏡。
  6.  請求項4において、上記演算手段は特徴量算出を画像二値化によって行うことを特徴とする電子顕微鏡。
  7.  請求項4において、上記演算手段は特徴量算出を第四の再構成画像を用いて行うことを特徴とする電子顕微鏡。
  8.  観察対象物に電子線を照射する照射装置と、観察対象物からの応答を検出する第一及び第二の検出装置と、観察対象物を保持し、移動させる移動手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置と観察対象物の回転角度を任意に設定できる回転装置と、各種演算を行う演算装置を備える測定装置を用いた電子顕微鏡用画像再構成システムにおいて、上記観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第一の傾斜画像群を格納する第一の格納手段、該観察対象物を回転刻み角度毎に位置ずれ補正を行い、指定した回転角度まで回転する回転手段、該回転手段によって回転された観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第二の傾斜画像群を格納する第二の格納手段、上記第一と第二の傾斜画像群からそれぞれ作成した第一,第二の再構成画像の位置ずれを補正した第三,第四の再構成画像を作成し、上記第三と第四の再構成画像を重ね合わせて第五の再構成画像を作成する演算手段を備えることを特徴とする電子顕微鏡用画像再構成システム。
  9.  請求項8において、上記演算装置は上記回転手段を上記傾斜装置を用いて試料の傾斜角度を0度付近に設定し、第一の検出装置にて第一の基準画像を撮影し、該基準画像を目標回転角度回転した目標参照画像を作成し、第二の検出装置にて第二の基準画像を撮影し、該第二の基準画像を回転刻み角度回転した刻み参照画像を作成し、回転装置を用いて試料を刻み角度回転させて第二の検出装置にて刻み画像を撮影し、上記刻み参照画像と上記刻み画像を用いて、位置ずれ量を算出し、該位置ずれ量だけ上記移動装置を用いて観察対象物を移動して位置ずれ補正をし、上記刻み参照画像の作成と上記刻み画像の撮影、上記位置ずれ量の算出及び上記位置ずれ補正を上記目標回転角度まで繰り返し、第一の検出装置にて目標画像を撮影し、上記目標参照画像と上記目標画像を用いて、位置ずれ量を算出し、該位置ずれ量だけ上記移動装置を用いて観察対象物を移動させて位置ずれ補正をするように制御することを特徴とする画像再構成システム。
  10.  請求項8において、上記演算手段は、第一の再構成画像に対する第二の再構成画像の平行位置ずれ量を三次元相互相関を用いて算出し、第二の再構成画像を該平行位置ずれ量移動させた平行位置ずれ補正画像を作成し、上記第一の再構成画像と上記平行位置ずれ補正画像をそれぞれZ方向に各ピクセルの濃度値を加算した第一の加算画像と第二の加算画像を作成し、該第一の加算画像と該第二の加算画像からコモンラインを導出し、該コモンラインを一致させるためのそれぞれの回転角度を算出し、上記第一の再構成画像と上記平行位置ずれ補正画像をそれぞれ該回転角度回転させてコモンラインを一致させた第一のコモンライン補正画像と第二のコモンライン補正画像を作成し、上記第一のコモンライン補正画像から上記コモンラインと垂直な平面より任意の平面を抽出して第一のスライス画像を作成し、上記第二のコモンライン補正画像から上記コモンラインと垂直な平面より上記第一のスライス画像と同座標の平面を抽出して第二のスライス画像を作成し、上記第一のスライス画像に対する上記第二のスライス画像の回転移動ずれ量を算出し、上記第二のコモンライン補正画像をコモンラインを回転軸として該回転移動ずれ量回転させた回転位置ずれ補正画像を作成し、上記第一のコモンライン補正画像を第三の再構成画像として出力し、上記回転位置ずれ補正画像を第四の再構成画像として出力するように演算することを特徴とする電子顕微鏡用画像再構成システム。
  11.  請求項10において、上記演算手段は、上記回転位置ずれ補正画像を作成する工程の後に、第三の再構成画像に対する第四の再構成画像の平行位置ずれ量を三次元相互相関を用いて算出し、第四の再構成画像を該平行位置ずれ量移動させた平行位置ずれ補正画像を作成し、第三の再構成画像の特徴を抽出した特徴抽出画像を作成し、該特徴抽出画像を一つまたは、複数の領域に分割し、上記平行位置ずれ補正画像を一つまたは、複数の領域に分割し、上記特徴抽出画像の各領域でテンプレート領域を移動しながらテンプレート領域内の濃度値の積算値を各々算出し、各領域で該積算値が最大となるテンプレート領域を探索し、第三の再構成画像の該テンプレート領域を各領域のテンプレート画像とし、該各テンプレート画像と対応する上記平行位置ずれ補正画像の各領域を探索画像とし、それぞれ対応する該各探索画像と上記各テンプレート画像から最も類似度が高い領域を算出し、各テンプレート画像の座標と該最も類度が高い各領域の座標から上記第三の再構成画像に対する上記平行位置ずれ補正画像の回転移動ずれ量を算出し、上記平行位置ずれ補正画像を該回転移動ずれ量回転させた回転移動ずれ補正画像を作成し、該回転移動ずれ補正画像を第三の再構成画像として出力するように演算することを特徴とする電子顕微鏡用画像再構成システム。
  12.  請求項11において、上記演算手段は特徴量算出を画像の微分によって行うことを特徴とする電子顕微鏡用画像再構成システム。
  13.  請求項11において、上記演算手段は特徴量算出を画像二値化によって行うことを特徴とする電子顕微鏡用画像再構成システム。
  14.  請求項11において、上記演算手段は特徴量算出を第四の再構成画像を用いて行うことを特徴とする電子顕微鏡用画像再構成システム。
  15.  観察対象物に電子線を照射する照射装置と、観察対象物からの応答を検出する第一及び第二の検出装置と、観察対象物を保持し、移動させる移動手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置と観察対象物の回転角度を任意に設定できる回転装置と、各種演算を行う演算装置を備える測定装置を用いた電子顕微鏡用画像再構成方法において、上記観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第一の傾斜画像群を格納し、該観察対象物を回転刻み角度毎に位置ずれ補正を行い、指定した回転角度まで回転し、該観察対象物を異なる角度ステップで傾斜し、撮像装置によって得られた第二の傾斜画像群を格納し、上記第一と第二の傾斜画像群からそれぞれ作成した第一,第二の再構成画像の位置ずれを補正した第三,第四の再構成画像を作成し、上記第三と第四の再構成画像を重ね合わせて第五の再構成画像を作成することを特徴とする電子顕微鏡用画像再構成方法。
  16.  請求項15において、上記回転工程は上記傾斜装置を用いて試料の傾斜角度を0度付近に設定し、第一の検出装置にて第一の基準画像を撮影し、該基準画像を目標回転角度回転した目標参照画像を作成し、第二の検出装置にて第二の基準画像を撮影し、該第二の基準画像を回転刻み角度回転した刻み参照画像を作成し、回転装置を用いて試料を刻み角度回転させて第二の検出装置にて刻み画像を撮影し、上記刻み参照画像と上記刻み画像を用いて、位置ずれ量を算出し、該位置ずれ量だけ上記移動装置を用いて観察対象物を移動して位置ずれ補正をし、上記刻み参照画像の作成と上記刻み画像の撮影、上記位置ずれ量の算出及び上記位置ずれ補正を上記目標回転角度まで繰り返し、第一の検出装置にて目標画像を撮影し、上記目標参照画像と上記目標画像を用いて、位置ずれ量を算出し、該位置ずれ量だけ上記移動装置を用いて観察対象物を移動させて位置ずれ補正することを特徴とする電子顕微鏡用画像再構成方法。
  17.  請求項15において、上記第三,第四の再構成画像を作成する工程は、第一の再構成画像に対する第二の再構成画像の平行位置ずれ量を三次元相互相関を用いて算出し、第二の再構成画像を該平行位置ずれ量移動させた平行位置ずれ補正画像を作成し、上記第一の再構成画像と上記平行位置ずれ補正画像をそれぞれZ方向に各ピクセルの濃度値を加算した第一の加算画像と第二の加算画像を作成し、該第一の加算画像と該第二の加算画像からコモンラインを導出し、該コモンラインを一致させるためのそれぞれの回転角度を算出し、上記第一の再構成画像と上記平行位置ずれ補正画像をそれぞれ該回転角度回転させてコモンラインを一致させた第一のコモンライン補正画像と第二のコモンライン補正画像を作成し、上記第一のコモンライン補正画像から上記コモンラインと垂直な平面より任意の平面を抽出して第一のスライス画像を作成し、上記第二のコモンライン補正画像から上記コモンラインと垂直な平面より上記第一のスライス画像と同座標の平面を抽出して第二のスライス画像を作成し、上記第一のスライス画像に対する上記第二のスライス画像の回転移動ずれ量を算出し、上記第二のコモンライン補正画像をコモンラインを回転軸として該回転移動ずれ量回転させた回転位置ずれ補正画像を作成し、上記第一のコモンライン補正画像を第三の再構成画像として出力し、上記回転位置ずれ補正画像を第四の再構成画像として出力することを特徴とする電子顕微鏡用画像再構成方法。
  18.  請求項17において、上記回転位置ずれ補正画像を作成する工程の後に、第三の再構成画像に対する第四の再構成画像の平行位置ずれ量を三次元相互相関を用いて算出し、第四の再構成画像を該平行位置ずれ量移動させた平行位置ずれ補正画像を作成し、第三の再構成画像の特徴を抽出した特徴抽出画像を作成し、該特徴抽出画像を一つまたは、複数の領域に分割し、上記平行位置ずれ補正画像を一つまたは、複数の領域に分割し、上記特徴抽出画像の各領域でテンプレート領域を移動しながらテンプレート領域内の濃度値の積算値を各々算出し、各領域で該積算値が最大となるテンプレート領域を探索し、第三の再構成画像の該テンプレート領域を各領域のテンプレート画像とし、該各テンプレート画像と対応する上記平行位置ずれ補正画像の各領域を探索画像とし、それぞれ対応する該各探索画像と上記各テンプレート画像から最も類似度が高い領域を算出し、各テンプレート画像の座標と該最も類度が高い各領域の座標から上記第三の再構成画像に対する上記平行位置ずれ補正画像の回転移動ずれ量を算出し、上記平行位置ずれ補正画像を該回転移動ずれ量回転させた回転移動ずれ補正画像を作成し、該回転移動ずれ補正画像を第三の再構成画像として出力することを特徴とする電子顕微鏡用画像再構成方法。
  19.  請求項18において、特徴量算出工程は画像の微分によって行うことを特徴とする電子顕微鏡用画像再構成方法。
  20.  請求項18において、特徴量算出工程は画像二値化によって行うことを特徴とする電子顕微鏡用画像再構成方法。
  21.  請求項18において、特徴量算出工程は第四の再構成画像を用いて行うことを特徴とする電子顕微鏡用画像再構成方法。
  22.  試料を異なる試料傾斜軸で傾斜させて撮影した複数の傾斜画像を得、回転刻み角度毎に位置ずれ補正を行い、回転された観察対象物を異なる角度ステップで傾斜して撮像し、それぞれの傾斜画像群からそれぞれ作成した2つの再構成画像の位置ずれを補正した2つの再構成画像を作成し、該2つの再構成画像を重ね合わせてひとつの再構成画像を作成することを特徴とする電子顕微鏡用画像再構成方法。
PCT/JP2011/005750 2010-11-30 2011-10-14 電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法 WO2012073424A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11844611.1A EP2648206B1 (en) 2010-11-30 2011-10-14 Transmission electron microscope for reconstructing a three-dimensional structure and transmission electron microscope image reconstruction method
US13/883,989 US8704177B2 (en) 2010-11-30 2011-10-14 Electron microscope, electron-microscope image-reconstruction system and electron-microscope image-reconstruction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-265895 2010-11-30
JP2010265895A JP5331780B2 (ja) 2010-11-30 2010-11-30 電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法

Publications (1)

Publication Number Publication Date
WO2012073424A1 true WO2012073424A1 (ja) 2012-06-07

Family

ID=46171401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/005750 WO2012073424A1 (ja) 2010-11-30 2011-10-14 電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法

Country Status (4)

Country Link
US (1) US8704177B2 (ja)
EP (1) EP2648206B1 (ja)
JP (1) JP5331780B2 (ja)
WO (1) WO2012073424A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016103387A (ja) * 2014-11-28 2016-06-02 株式会社日立ハイテクノロジーズ 荷電粒子線装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5331780B2 (ja) * 2010-11-30 2013-10-30 株式会社日立ハイテクノロジーズ 電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法
US20180252907A1 (en) * 2013-06-28 2018-09-06 Discover Echo Inc. Upright and inverted standing microscope
JP6272153B2 (ja) * 2014-06-10 2018-01-31 株式会社日立ハイテクノロジーズ 荷電粒子線装置、三次元画像の再構成画像処理システム、方法
JP6346034B2 (ja) * 2014-08-29 2018-06-20 日本電子株式会社 3次元像構築方法、画像処理装置、および電子顕微鏡
JP6595856B2 (ja) * 2015-09-07 2019-10-23 日本電子株式会社 荷電粒子装置および測定方法
CN106783496B (zh) * 2016-12-23 2018-05-22 北京大学 一种电子显微镜断层成像方法及系统
EP3657528A1 (en) 2018-11-26 2020-05-27 FEI Company Method of imaging a sample using an electron microscope
DE102019214879A1 (de) * 2019-09-27 2021-04-01 Carl Zeiss Microscopy Gmbh Verfahren zum Reduzieren topologischer Artefakte in EDS-Analysen
DE102020101835B4 (de) 2020-01-27 2021-12-09 Lisa Dräxlmaier GmbH Vorrichtung und verfahren zum herstellen eines kabelbaums

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03255303A (ja) * 1990-03-05 1991-11-14 Jeol Ltd 多方向からのステレオペア像を用いた三次元立体像再構築方法
JP2006134749A (ja) * 2004-11-08 2006-05-25 Hitachi High-Technologies Corp 荷電粒子線装置及び試料像観察方法
JP2010040381A (ja) * 2008-08-06 2010-02-18 Hitachi High-Technologies Corp 傾斜観察方法および観察装置
JP2010092869A (ja) * 2003-11-25 2010-04-22 Hitachi High-Technologies Corp 試料の観察方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4069545B2 (ja) * 1999-05-19 2008-04-02 株式会社日立製作所 電子顕微方法及びそれを用いた電子顕微鏡並び生体試料検査方法及び生体検査装置
JP2004214060A (ja) * 2003-01-06 2004-07-29 Hitachi High-Technologies Corp 走査電子顕微鏡及びそれを用いた試料観察方法
JP2005019218A (ja) * 2003-06-26 2005-01-20 Jeol Ltd 電子顕微鏡装置
JP4533306B2 (ja) * 2005-12-06 2010-09-01 株式会社日立ハイテクノロジーズ 半導体ウェハ検査方法及び欠陥レビュー装置
CN102680507B (zh) * 2006-02-17 2015-05-06 株式会社日立高新技术 扫描型电子显微镜装置以及使用它的摄影方法
US7885483B2 (en) * 2006-11-24 2011-02-08 National Synchrotron Radiation Research Center Image alignment method
JP4538472B2 (ja) * 2007-03-15 2010-09-08 株式会社日立ハイテクノロジーズ 画像形成方法、及び電子顕微鏡
JP5309552B2 (ja) * 2007-12-21 2013-10-09 富士通株式会社 電子線トモグラフィ法及び電子線トモグラフィ装置
JP4988662B2 (ja) * 2008-07-25 2012-08-01 株式会社日立ハイテクノロジーズ 荷電粒子線装置
US8203120B2 (en) * 2008-10-09 2012-06-19 California Institute Of Technology 4D imaging in an ultrafast electron microscope
JP5047318B2 (ja) * 2010-03-05 2012-10-10 株式会社日立ハイテクノロジーズ 電子顕微鏡画像と光学画像を重ねて表示する方法
JP5331780B2 (ja) * 2010-11-30 2013-10-30 株式会社日立ハイテクノロジーズ 電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法
JP5364112B2 (ja) * 2011-01-25 2013-12-11 株式会社日立ハイテクノロジーズ 荷電粒子線装置
JP5963453B2 (ja) * 2011-03-15 2016-08-03 株式会社荏原製作所 検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03255303A (ja) * 1990-03-05 1991-11-14 Jeol Ltd 多方向からのステレオペア像を用いた三次元立体像再構築方法
JP2010092869A (ja) * 2003-11-25 2010-04-22 Hitachi High-Technologies Corp 試料の観察方法
JP2006134749A (ja) * 2004-11-08 2006-05-25 Hitachi High-Technologies Corp 荷電粒子線装置及び試料像観察方法
JP2010040381A (ja) * 2008-08-06 2010-02-18 Hitachi High-Technologies Corp 傾斜観察方法および観察装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JOSE-MARIA CARAZO ET AL.: "ELECTRON TOMOGRAPHY", vol. 2, 2005, SPRINGER, article "Algorithms for 3D reconstruction, Joachim Frank", pages: 180 - 183,225-
K. J. BATENBURG ET AL.: "3D imaging of nanomaterials by discrete tomography", ULTRAMICROSCOPY, vol. 109, 2009, pages 730 - 740, XP026064057, DOI: doi:10.1016/j.ultramic.2009.01.009
N. BABA ET AL.: "Anovel Method of Reconstructing a Tomogram by Convergence of an Innumerable Dots Map without the ''Missing-Wedge'' Effect", FRONTIERS OF ELECTRON MICROSCOPY IN MATERIALS, vol. S-15, 20 October 2009 (2009-10-20)
NONPATENT DOCUMENT 1, pages 225 - 228,264
NONPATENT DOCUMENT 1, pages 228 - 231
YASUO UCHIYAMA: "Tissue Cell Biology", 2006, NANKAIDOU, pages: 26

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016103387A (ja) * 2014-11-28 2016-06-02 株式会社日立ハイテクノロジーズ 荷電粒子線装置

Also Published As

Publication number Publication date
US8704177B2 (en) 2014-04-22
EP2648206A4 (en) 2018-03-14
EP2648206B1 (en) 2019-03-20
EP2648206A1 (en) 2013-10-09
US20130234024A1 (en) 2013-09-12
JP5331780B2 (ja) 2013-10-30
JP2012119100A (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
JP5331780B2 (ja) 電子顕微鏡,電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法
US11290704B2 (en) Three dimensional scanning system and framework
US20240192150A1 (en) Systems and Methods for X-Ray Computed Tomography
Gontard et al. Photogrammetry of the three-dimensional shape and texture of a nanoscale particle using scanning electron microscopy and free software
US10352881B2 (en) Computed tomography
US20160300689A1 (en) Scanning transmission electron microscope having multiple beams and post-detection image correction
AU2015202937A1 (en) Systems and methods for registration of images
Phan et al. TxBR montage reconstruction for large field electron tomography
JP6429958B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210231589A1 (en) Imaging system and method for specimen detection
US10152785B2 (en) Positional error correction in a tomographic imaging apparatus
Pizarro et al. Towards dense motion estimation in light and electron microscopy
JP7042361B2 (ja) 撮像装置
José Querino de Vasconcelos et al. Responsive alignment for X-ray tomography beamlines
KR102243079B1 (ko) 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
JP6391544B2 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
JP2015232958A (ja) 荷電粒子線装置、三次元画像の再構成画像処理システム、方法
Pongnumkul et al. Deformable registration for generating dissection image of an intestine from annular image sequence
JP2007101247A (ja) X線断層撮像装置及びx線断層撮像方法
RU2743231C1 (ru) Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком
JP2013171818A (ja) 透過型電子顕微鏡および三次元画像取得方法
US20220122277A1 (en) Coordinate Linking System and Coordinate Linking Method
WO2019215861A1 (ja) 撮像装置
EP3444779B1 (en) Method for determining a registration between a 3d image and a set of at least two 2d images
JP4352962B2 (ja) 画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11844611

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13883989

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE