WO2012008512A1 - 画像処理方法、画像処理システム、およびエックス線コンピュータトモグラフィシステム - Google Patents

画像処理方法、画像処理システム、およびエックス線コンピュータトモグラフィシステム Download PDF

Info

Publication number
WO2012008512A1
WO2012008512A1 PCT/JP2011/066035 JP2011066035W WO2012008512A1 WO 2012008512 A1 WO2012008512 A1 WO 2012008512A1 JP 2011066035 W JP2011066035 W JP 2011066035W WO 2012008512 A1 WO2012008512 A1 WO 2012008512A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
density
observation object
image processing
images
Prior art date
Application number
PCT/JP2011/066035
Other languages
English (en)
French (fr)
Inventor
久保　貴
隆仁 橋本
矢口　紀恵
馬場　則男
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to US13/810,034 priority Critical patent/US8588499B2/en
Priority to EP11806842.8A priority patent/EP2595172B1/en
Publication of WO2012008512A1 publication Critical patent/WO2012008512A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/20—Means for supporting or positioning the objects or the material; Means for adjusting diaphragms or lenses associated with the support
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/419—Imaging computed tomograph
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/20—Positioning, supporting, modifying or maintaining the physical state of objects being observed or treated
    • H01J2237/202—Movement
    • H01J2237/20207—Tilt

Definitions

  • the present invention relates to image processing of an observation object using an electron beam or X-ray, and more particularly to a method for reconstructing a three-dimensional structure from an acquired two-dimensional image.
  • the structure to be observed is more intuitively observed by reconstructing the three-dimensional structure from the acquired two-dimensional image, and further, an arbitrary part is extracted and quantified from the reconstructed image. Needs are growing. Various techniques have been devised for performing such observation.
  • Non-Patent Document 1 the inverse of reconstructing a three-dimensional image by back-projecting each continuously-graded two-dimensional image acquired by continuously tilting the observation object from the tilt angle at the time of acquisition.
  • the continuous gradient two-dimensional image is used as a true value image in each projection direction, and an unknown three-dimensional image is projected in each direction and an error between the true values is calculated.
  • Non-Patent Document 3 an image is considered as a collection of points, and a Dots concentration reconstraction method for optimizing a point arrangement of a three-dimensional image based on the continuous inclined two-dimensional image.
  • a reference reconstructed image is created by an algebraic reconstruction method, and the reconstructed image is divided into regions by a certain threshold, and then algebraic reconstruction is performed again using the information of the region.
  • DART Discrete-algebraic-reconstruction-technique
  • Non-Patent Documents 1 and 2 since the information of the reconstructed three-dimensional image has no information other than the inclination angle at the time of acquiring the continuous inclined two-dimensional image, back projection method and algebraic reconstruction method are used. In order to perform three-dimensional reconstruction with higher accuracy, it is necessary to set the tilt angle range to -90 ° to + 90 ° and set the tilt increment angle as small as possible when acquiring an image.
  • an electron microscope currently used for general purposes has a structure in which an observation target is processed into a thin film and placed on a sample holder for observation.
  • an electron microscope there is a limit to the tilt angle at which observation can be performed, such as when there is tilt limitation, or even if the tilt is greatly tilted, the structure of the sample holder interferes with the electron beam and an image cannot be formed. That is, when an electron microscope used for general purposes is used, an information missing portion occurs in the three-dimensional reconstructed image.
  • FIG. 1 shows the reconstruction of a two-dimensional structure as an example.
  • a is a reconstruction using a one-dimensional image with an inclination range of ⁇ 60 °.
  • the information by the tilted image of ⁇ 60 ° or more is lost, and many false images or images are displayed as compared with the reconstructed image using the one-dimensional image with the tilted range shown in FIG. Missing image appears.
  • the false image blurs the reconstructed structure, it is difficult to determine the boundary of the structure, and the quantitativeness is also lowered.
  • FIG.1 (c) shows the shape of a structure.
  • Non-Patent Document 3 is a technique for complementing the information missing part, and can greatly reduce the false image and missing of the reconstructed image.
  • this technique has a single component structure of the observation object. It is assumed that there is an application condition. Structures suitable for the application conditions are limited, and the method is not a general-purpose method.
  • Non-Patent Document 4 is a technique for complementing the information missing part, and can greatly reduce the false image and missing of the reconstructed image, but the technique has a known number of compositions of the observation object. Is an applicable condition. However, there are limited cases where the composition number of the structure to be reconstructed is known (especially in many cases, the composition number of biological structures is unknown), and this method is limited to the sample to be applied. is there.
  • the present invention has been made in view of the various problems described above.
  • the object of the present invention is to greatly reduce false images and missing images in a reconstructed image, improve the accuracy of reconstruction, and
  • An object of the present invention is to provide an image processing that can be applied to both an observation object composed of components and a sample whose composition number is unknown.
  • an irradiation apparatus that irradiates an observation object with an electron beam or an X-ray, a detection apparatus that detects a response from the observation object, and means for holding the observation object
  • an image processing method using a measuring device including a tilting device that can arbitrarily set the tilt angle of the observation object, tilt the observation target at a certain angle step, and obtain the first image for each tilt angle.
  • an alignment calculation is performed to align the stored first to N-th image data, and an initial reconstructed image is generated based on the projection image of the observation object,
  • the reconstructed image is projected at an arbitrary angle to generate and store the 1'th to N'th image data, and corresponds to each of the first to Nth images and the first to N 'images.
  • Error calculation function to calculate the error of the pixel to be
  • the processing priority is determined from the error
  • the density calculation calculation is performed to calculate the density for each gradation level
  • the processing priority is determined from the density
  • the reconfiguration is performed with the respective priorities.
  • the purpose is to change the density value of each pixel of the image.
  • the present invention has various features for achieving the above object, and details thereof will be clarified in embodiments described below.
  • the present invention it is possible to perform three-dimensional reconstruction that complements the missing information portion even for an observation target composed of a plurality of components, greatly reducing false images and missing images in the reconstructed image, An accurate three-dimensional reconstruction image can be obtained.
  • FIG. 4 is a diagram for explaining a method for generating an initial reconstructed image in the present embodiment, where (a) is an unknown structure (image), and (b) is a diagram illustrating a relationship between a pixel one-dimensional projection image and the number of quantum unit units of each pixel.
  • (C) is a figure which shows the relationship between an initial reconstruction image and the number of quantum unit units of each pixel.
  • the figure explaining the integrated value calculation method of each quantum unit surplus error of a present Example The figure explaining the derivation method of the temporary movement destination of a present Example
  • Conceptual diagram of the structure in the image of this embodiment Quantum unit rearrangement processing explanatory drawing with the continuum formation of this embodiment as a constraint It is a diagram showing a comparison of the reconstruction results of the present embodiment and the conventional method using a model, (a) is a model, (b) is the result of the embodiment, (c) is a diagram showing the result of the conventional method
  • one feature of the present invention is to optimize the density value of each pixel of the reconstructed three-dimensional image, thereby reducing the false image or missing image of the reconstructed image that is generated due to the tilt angle limitation.
  • the following examples describe the reconstruction of a two-dimensional image.
  • a three-dimensional image is a combination of a plurality of two-dimensional images in the thickness direction, and the principle of two-dimensional image reconstruction and three-dimensional image reconstruction. Are the same.
  • FIG. 2 shows an embodiment of the apparatus configuration according to the present invention.
  • the electron microscope in the present example is an irradiation lens system 2 for irradiating the sample 1 with an electron beam, an objective lens system 3 for focusing the sample, an enlargement lens system 4 for enlarging an electron beam image transmitted through the sample,
  • An image detection unit 5 that detects an enlarged image
  • a computer 6 that performs various arithmetic control processes
  • an arithmetic device 7 inside the computer a storage device 8 that stores data
  • a communication interface that communicates between the computer and the microprocessor 9a, 9b, a microprocessor 11 for sending a control signal via the bus 10
  • a DAC 12 for digital-analog conversion of the signal output from the microprocessor 11, and a signal output from the DAC 12 are amplified and supplied to the sample tilting device 13.
  • the tilt angle range and tilt step angle set by the input device 15 are sent from the communication interfaces 9a and 9b to the microprocessor 11 via the bus 10. Thereafter, the signal is input from the microprocessor 11 to the DAC 12 via the bus 10, amplified by the power supply 14, and then output to the sample tilting device 13.
  • the sample 1 is continuously tilted by the sample tilting device 13 within the tilt angle range at the tilt increment angle, and the image detection unit 5 detects an image at each tilt angle.
  • the images at the respective inclination angles detected by the image detection unit 5 are stored in the storage device 8 inside the computer as first to Nth images.
  • An initial reconstructed image is generated by the computing device 7 using one of the stored images having an inclination angle near 0 °.
  • the initial reconstructed image is projected within the tilt angle range at the tilt step angle to generate the 1 ′ to N ′ images, the first to Nth images, and the 1 ′ to Nth images.
  • the error of the image of ′ is calculated by the calculation device 7 respectively.
  • the density value of the initial reconstructed image is optimized by the arithmetic device 7 so that the error is minimized, and the optimized image is stored in the storage device 8.
  • the arithmetic device 7 uses the constraint that the structure forms a continuum, and the density value of the reconstructed image is optimized again and stored in the storage device 8. By repeating the above calculation until the conditions of the different optimization methods are satisfied, it is possible to reconstruct a three-dimensional image in which false images and image loss caused by tilt angle limitation are reduced.
  • An image is an array of pixels having various density values. That is, a two-dimensional image is an image in which density values are two-dimensionally arranged. However, as shown in FIG. 3, in this embodiment, a certain density value is quantized, this unit quantum is considered as a quantum unit, and the density value of a pixel is represented by an integration of the quantum unit. That is, the two-dimensional image is considered to be a three-dimensional arrangement of the quantum units.
  • an unknown two-dimensional image can be reconstructed using a plurality of one-dimensional images obtained by projecting the two-dimensional image from various directions. It can be reconstructed from a plurality of two-dimensional projection images.
  • reconstruction is performed using a plurality of projection images, as in the prior art. Images obtained by projecting the reconstruction target in different directions are defined as first to Nth images, and the projection directions are defined as first to Nth directions.
  • the one-dimensional projection image is a two-dimensional image compressed in the projection direction, and the total density value of the reconstructed image can be determined from a single projection image.
  • the total number of quantum units in the reconstructed image can be determined from the total density value. That is, a two-dimensional image can be reconstructed by rearranging all the quantum units to predetermined positions in the reconstructed image using a one-dimensional projection image.
  • One projection image contains information on the amount of the quantum unit and information on the position perpendicular to the projection direction. However, the image does not include information regarding the position in the projection direction. Information about the position in the projection direction can be derived using images in various projection directions.
  • FIG. 4 shows a schematic flow of the quantum unit rearrangement unit in the present embodiment.
  • N and M are counters
  • Nmax and Mmax are the maximum number of repetitions
  • F is a flag for determining whether or not it is necessary to repeat step 404.
  • a projection image I i (x) obtained by projecting an unknown two-dimensional structure in a plurality of directions in step 402 is input. Then, among the I i (x) in step 403, using the information of a single projection image I i1 (x), generates an initial reconstructed image G (x, y).
  • step 404 using the information obtained by projecting the reconstructed image G (x, y) and the total projected image I i (x) input in step 402, all the reconstructed images G (x, y) Rearrange the quantum units (step 404). A detailed description of this step will be described later with reference to FIGS.
  • step 405. If the flag is “false”, the current loop count is determined in step 406. If the loop count has not reached the set count, step 404 is repeated until the loop count is reached. After exiting the loop, the flag is changed to “true” in step 408, and the processing in step 409 is performed.
  • step 409 a constraint condition that the structure always forms a continuum is added to the reconstructed image G (x, y), and the reconstructed image G (x, y) Rearrange quantum units. A detailed description of this step will be described later with reference to FIGS.
  • step 410 determines the loop number in step 410, and if the number of times does not reach the set number, the process proceeds to step 404. At this time, since the flag is “true”, step 404 does not loop, and the process proceeds to step 409. If the determination condition in step 410 is satisfied, the reconstructed image is output in step 412 and the reconstruction is completed.
  • step 403 a two-dimensional image is generated in which the size of each side is equal to the projection image and the density value of each pixel is zero.
  • the amount of the quantum unit and the position in the direction perpendicular to the projection direction are determined from the one-dimensional projection image FIG. 5 (b) on which the unknown structural diagram 5 (a) is projected.
  • the quantum units are arranged in the two-dimensional image to generate the initial reconstructed image FIG. 5 (c).
  • position information in the projection direction is determined using a random number.
  • Each quantum unit arranged in the initial reconstructed image is individually managed, and the density values of all the pixels of the reconstructed image are optimized by moving each quantum unit.
  • step 404 first, the initial reconstructed image is projected in the first to Nth directions to generate the first ′ to N′th projected images.
  • each surplus error in the projection image in the same direction is calculated using the first to Nth projection images as true values and the 1 ′ to N ′ projection images as estimated values.
  • the axis in each projection direction is the S axis
  • the axis perpendicular to this is the T axis
  • the value of the coordinate T i in the error is the S axis (S Ti axis) passing through the coordinate T i.
  • the destination of each quantum unit is determined.
  • the destination determination process is performed from the quantum unit having the higher priority.
  • the destination determination process is roughly divided into two processes. The temporary movement destination in each projection direction is determined in the first process, and the actual movement destination is determined from the average value of the temporary movement amount in the second process.
  • the deficiency error between the first projection image (true value) and the first ′ projection image (estimation value) is calculated, and the coordinate Tm with the largest deficiency error is calculated.
  • the temporary movement destination in the first projection direction of the quantum unit performing the movement destination determination process is a position where the error of Tm is reduced.
  • the following constraint conditions are set for the movement of the movement source quantum unit.
  • the quantum unit having the second highest movement priority after the quantum unit whose movement destination is determined as described above also determines the temporary movement destination in the same manner.
  • the coordinate Tm ′ having the maximum error is calculated using the result obtained by subtracting the density value for one quantum unit from the value of the coordinate Tm having the maximum shortage error.
  • the above processing is performed on all quantum units in descending order of priority, and the temporary movement destinations of all quantum units in the first projection direction are determined. Also, the temporary movement destinations of all quantum units are determined in the same manner as described above for the second to Nth projection directions.
  • the temporary movement destination in all projection directions of all quantum units is determined by the first process, and the actual movement destination of all quantum units is determined by the second process.
  • the actual movement destination is the average value of the temporary movement amounts in all projection directions.
  • the actual movement destination is the average value of the temporary movement amounts in all projection directions, but the algorithm for determining the actual movement destination is a method using the median in addition to the average value, A method using values can be considered.
  • step 409 the quantum units are rearranged in a different manner from step 404.
  • rearrangement is performed using only the information of the initial reconstructed image without using the projection image.
  • step 409 in order to recognize a structure in an image, pixels having the same gradation must exist continuously several pixels or more.
  • the following constraint condition is added to the initial reconstructed image, and rearrangement is performed so as to satisfy this.
  • the initial reconstructed image can be divided for each gradation level.
  • an image constrained under the above condition can be reconstructed by moving the quantum unit so that the quantum unit existing at each gradation level forms a continuous region.
  • a quantum unit that must move to satisfy the above constraint condition is selected from all quantum units in the initial reconstructed image.
  • the density of quantum units existing in a certain region around the target quantum unit is used as a continuum determination method. That is, a threshold is provided for the density, and if it is equal to or greater than the threshold, it is regarded as a continuum. From the above, the selection of the moving quantum unit is performed by calculating the above-mentioned density for all the quantum units and setting all the quantum units below the threshold as moving objects.
  • the movement priority order of the quantum unit as a movement target is determined.
  • the priority order is not determined in the image in which the quantum unit as the movement target exists, but in the axis where the quantum unit exists as shown in FIG.
  • the shaft of the present embodiment (S b axis) is an axis parallel to the projection direction used during the initial reconstructed image generated and an axis passing through the coordinates of T axis orthogonal to the S b axis (e.g. when passing through the coordinates Ti, shaft is S BTI axis, when passing through the coordinates T i + 1, the shaft is a S BTI + 1 axis.).
  • the priority is set higher for a quantum unit having a lower density.
  • the density is calculated by providing an area centered on the quantum unit that is the target for determining the rank, and the number of pixels existing in the area and the quantum unit at the same gradation level as the quantum unit in the area.
  • the number ratio (quantum unit number / pixel number) is used. Perform the above operation for all the quantum units present in the S b axis, giving priority to move to the order of the ratio is low.
  • the priority of the destination is determined. Similar to the above-described order of priority, the priority is determined by the ratio of the number of pixels existing in a certain area and the number of quantum units. However, in this process, the density is calculated for all the pixels on the Sb axis, and priority is given to the destination in descending order of the ratio.
  • Quantum units with high source priority are moved sequentially to pixels with high destination priority, and rearrangement of quantum units when the T-axis coordinate is Ti is completed. Thereafter, the T-axis coordinates are sequentially moved as Ti + 1 and Ti + 2, and the rearrangement process is performed.
  • the rearrangement of the quantum unit by this process is completed when the rearrangement for all axes is completed.
  • step 409 After the rearrangement process in step 409, if the determination criterion in step 410 is satisfied, the initial reconstructed image is output, and the reconstruction process ends. If the determination criterion of step 410 is not reached, the process returns to step 404, and the rearrangement processing of step 404 and step 409 is repeated until the determination criterion is satisfied.
  • FIG. 10 shows a comparative example of the reconstruction result between this embodiment using the model and the conventional method.
  • FIG. 10A shows the model
  • FIG. 10B shows the result of this example
  • FIG. 10C shows the result of the conventional method.
  • the tilt angle range of the observation target is ⁇ 60 ° to + 60 °
  • the tilt step angle is 2 °.
  • the ring-shaped portion has a part of the image lacking and does not form a continuum, and the rod-like portion has no image of the middle abdomen and does not form a rod.
  • the false image and the missing image are greatly reduced.
  • step 406 and step 410 the determination based on the number of repetitions is used in step 406 and step 410.
  • the determination in this step is not limited to this method, and other methods such as using an error from the projection image are conceivable.
  • the present invention enables visualization and measurement of three-dimensional shapes of semiconductor devices, particle size measurement of catalyst particles, observation of distribution states, and accurate three-dimensional material analysis of nanomaterials, and is widely applied in the field of material analysis. Can be expected. In addition, in cells and polymer materials, applications such as visualization of the morphology of intracellular organs and observation of mixed components can be expected.
  • the structure to be observed is a constraint condition that each component always forms a continuum, and the density of pixels having the same or the same or higher density value (quantum unit)
  • the density threshold may be arbitrarily set.
  • the calculation device 7 calculates the error of the corresponding pixel for each of the first to Nth images that are true values and the first to N ′ images that are estimated values, The priority of processing is determined from the error, the pixel density is calculated for each gradation level, the priority of processing is determined from this density, and the density value of each pixel of the reconstructed image is changed at each of the above priorities.
  • the result area obtained by such an image processing method may be used to define the area of the result for each density value or for any density value range.
  • the volume of the arbitrary region, the surface area, the number of continuous regions, the mass, etc. in the observation object are calculated. Also good.
  • the number of times of the error calculation calculation and the density calculation calculation may be set individually.
  • Measurement consisting of a detection device that irradiates an observation target with an electron beam or X-ray and detects a response from the observation target, a means for holding the observation target, and a tilting device that can arbitrarily set the tilt angle of the observation target
  • the observation object is tilted at a certain angle step, and the obtained image is stored as first to Nth image data for each tilt angle, and the stored first to Nth image data are aligned.
  • the density value of the image may be an integrated value of unit density values.
  • the total number of unit density values may be common to all projected images.
  • the total number of unit density values parallel to the projection direction at the time of image generation may be set as a constraint condition.
  • the structure in the initial reconstructed image may be a constraint condition that a continuum is always formed by each component.
  • the structure in the initial reconstructed image may be determined by the density of pixels having the same or the same or higher density value as the continuum.
  • the density determination process may arbitrarily set a threshold value of the density to be determined.
  • the number of the error calculation calculation and the density calculation calculation may be set individually.
  • the following image processing storage medium is also proposed.
  • Irradiation device that irradiates an observation object with an electron beam or X-ray, a detection device that detects a response from the observation object, a means for holding the observation object, and the position of the irradiation device around the observation object
  • the measuring device comprising a moving device that can be set to, means for moving the irradiation device in a certain angle step, and storing the obtained image as first to Nth image data for each moving angle, the stored first to first A step of generating an initial reconstructed image based on the projection image of the observation object, and projecting the reconstructed image at an arbitrary angle from the first 1 ′ Generating and storing N′th image data, calculating a corresponding pixel error for each of the first to Nth images and the first to N′th images, and processing priority from the error
  • This image processing storage medium may also have the features (i) to (vii) described above.
  • the error calculation calculation and the density calculation calculation may be set to different values to perform parallel processing so that a plurality of results can be derived.
  • the parallel processing may be performed using a plurality of personal computers.
  • DESCRIPTION OF SYMBOLS 1 ... Sample, 2 ... Irradiation lens system, 3 ... Objective lens system, 4 ... Magnification lens system, 5 ... Image detection part, 6 ... Computer, 7 ... Internal arithmetic unit, 8 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Pulmonology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

再構成画像の偽像や像の欠落を大きく低減し、再構成の精度を向上するとともに、複数成分で構成されている観察対象物に対しても、構造物の組成数が未知である試料に対しても適用できる画像処理を提供すること。観察対象物を傾斜する傾斜装置と撮像装置を有した電子顕微鏡において、該観察対象物をある角度ステップで傾斜し、得られた傾斜画像を格納する手段、該傾斜画像の位置を合わせる手段、該傾斜画像を元に初期再構成画像を生成する手段、該初期再構成画像を任意の角度に投影し複数枚の投影画像を生成する手段、上記傾斜画像と上記投影画像との対応するピクセルの誤差を演算する手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記初期再構成画像の各ピクセルの濃度値を変化させる手段を備えた画像処理装置。

Description

画像処理方法、画像処理システム、およびエックス線コンピュータトモグラフィシステム
　本発明は電子線またはエックス線を用いた観察対象物の画像処理に係り、特に取得された二次元画像から三次元構造を再構成する方法に関するものである。
　電子顕微鏡において、取得された二次元画像から三次元構造を再構成することによって観察対象となる構造をより直感的に観察し、さらに、再構成した画像から、任意の箇所を抽出し定量化するニーズが高まっている。このような観察を行なうために種々の手法が考案されている。
　例えば、非特許文献１に記載されているように観察対象を連続的に傾斜させて取得された各連続傾斜二次元画像を取得時の傾斜角度から逆投影させて三次元画像を再構成する逆投影手法や、非特許文献２に記載されているように上記連続傾斜二次元画像を各投影方向における真値画像とし、未知なる三次元画像を各方向に投影した結果と該真値の誤差が最小となるよう、代数的に再構成する手法がある。
　更には、非特許文献３に記載されているように画像は点の集合体と考え、上記連続傾斜二次元画像を基に三次元画像の点配置を最適化するDots concentration reconstraction法、非特許文献４に記載されているように、基準となる再構成画像を代数的再構成法にて作成し、該再構成画像をある閾値で領域分けした後、該領域の情報を用いて再度代数的再構成を行なうDiscrete algebraic reconstruction technique(DART)がある。
Jose-Maria Carazo et al.,Algorithms for 3D reconstruction, Joachim Frank, ELECTRON TOMOGRAPHY ２(2005)　Springer, New York, pp228-231. Jose-Maria Carazo et al.,Algorithms for 3D reconstruction, Joachim Frank,  ELECTRON TOMOGRAPHY ２(2005)　Springer, New York, pp231-234. N.Baba, et al.,Anovel Method of Reconstructing a Tomogram by Convergence of an Innumerable Dots Map Without the "Missing-Wedge"Effect, Frontiers of Electron Microscopy in Materials , S-15, Session-1, 2October, 2009. K.J.Batenburg, et al.,3D imaging of nanomaterials by disctrete tomography, Ultramicroscopy １０9(2009) 730-740
　上記非特許文献１、２の技術では、再構成された三次元画像の情報は上記連続傾斜二次元画像取得時の傾斜角度以外の情報を持たないため、逆投影法、代数的再構成法を用いて、より高精度で三次元再構成を行なうためには、画像取得時に、傾斜角度範囲を-90°～+90°とし、傾斜刻み角度をできるだけ小さく設定する必要がある。
　しかしながら、現在、汎用的に使用されている電子顕微鏡は観察対象を薄膜状に加工して試料ホルダーに設置し、観察を行なう構造となっている。電子顕微鏡では、傾斜制限がある場合や、大きく傾斜しても、試料ホルダーの構造物が電子線を妨害し、像ができないなど、観察が行なえる傾斜角度に制限がある。即ち、汎用的に使用されている電子顕微鏡を用いた際、三次元再構成画像には情報欠落部が発生する。
　図1は1例として二次元構造物の再構成を示したものである。該二次元構造物を再構成するためには、該構造物を傾斜し、異なる角度から投影した複数の一次元画像が必要となる。図1（a）は傾斜範囲が±60°の一次元画像を用いた再構成である。この場合は、±60°以上の傾斜像による情報が欠落してしまい、図1（b）に示す傾斜範囲が±90°の一次元画像を用いた再構成画像に比べ、多くの偽像や像の欠落が表れる。更に、該偽像は再構成された構造をぼかしてしまうため、構造の境界を判断することが困難で、定量性も低下する。尚、図１（c）は構造物の形状を示す。
　また、上記非特許文献３の技術は、上記情報欠落部を補完する手法であり、再構成画像の偽像や像の欠落を大きく低減できるが、該手法は観察対象物の構造が単成分であることが適用条件とされている。該適用条件に適する構造物は限られており、該手法は汎用的な手法ではない。
　上記非特許文献４の技術は、上記情報欠落部を補完する手法であり、再構成画像の偽像や像の欠落を大きく低減できるが、該手法は観察対象物の組成数が既知であることが適用条件とされている。しかし、再構成の対象となる構造物の組成数が既知である場合は限られており（特に生物系の構造物は組成数が未知である場合が多い）、該手法は適用試料に制限がある。
　本発明は以上述べた種々な課題に鑑みて成されたもので、その目的とするところは、再構成画像の偽像や像の欠落を大きく低減し、再構成の精度を向上するとともに、複数成分で構成されている観察対象物に対しても、構造物の組成数が未知である試料に対しても適用できる画像処理を提供することにある。
　上記目的を達成するための本発明の一つの特徴は、観察対象物に電子線またはエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置を用いた画像処理方法において、該観察対象物をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納し、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算をし、上記観察対象物の投影画像を元に初期再構成画像を生成し、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成して格納し、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を算出する誤差算出演算をし、該誤差から処理の優先度を決定し、階調レベル毎に密度を算出する密度算出演算をし、該密度から処理の優先度を決定し、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることにある。
　その他、本発明は前記目的を達成する上で種々の特徴を有するが、それらの詳細については以下述べる実施の形態で明らかにする。
　本発明によると、複数の成分で構成された観察対象であっても情報欠落部を補完した三次元再構成をおこなうことができ、再構成画像の偽像や像の欠落を大きく低減し、高精度な三次元再構成像を得ることができる。
情報欠落部が及ぼす再構成画像の偽像と像の欠落を表す図であり、（a）は傾斜範囲が±60°の一次元画像からの再構成、（b）は傾斜範囲が±90°の一次元画像からの再構成、（ｃ）は構造物の形状を示す図である。 本発明の一実施例に係る装置構成の概略図 本実施例における画像濃度値の考え方を示す図であり、（a）は従来の画像の考え方（数値は各ピクセルの濃度値）、（ｂ）は本発明における画像の考え方（各ピクセルの濃度値はクォンタムユニット積算値）を示す図 本実施例におけるクォンタムユニットを再配列する処理部の概略フロー図 本実施例における初期再構成画像の生成方法を説明する図で、（a）は未知の構造（画像）、（ｂ）はピクセル一次元投影画像と各ピクセルのクォンタムユニットユニット数の関係を示す図、（ｃ）は初期再構成画像と各ピクセルのクォンタムユニットユニット数の関係を示す図である。 本実施例の各クォンタムユニット余剰誤差の積算値算出方法を説明する図 本実施例の仮移動先の導出方法を説明する図 本実施例の画像における構造物の概念図 本実施例の連続体形成を拘束条件としたクォンタムユニット再配列処理説明図 モデルを用いた本実施例と従来方法の再構成結果の比較を表す図であり、(a)がモデル、(b)が実施例の結果、(c)が従来手法の結果を示す図
　以下、本発明の実施の形態を図示する一実施例を参照して説明する。尚、以下述べる実施例では電子顕微鏡及びその画像処理を例に挙げて説明するが、これらに限るものでないことは勿論である。
　また、本発明の一つの特徴は、再構成された三次元画像の各ピクセルの濃度値を最適化することで、傾斜角度制限によって発生する再構成画像の偽像や像の欠落の低減を図るものである。以下の実施例は二次元画像の再構成を記すが、三次元画像とは二次元画像を厚み方向に複数枚組み合わせたものであり、二次元画像の再構成と三次元画像の再構成の原理は同一である。
　図２に本発明における装置構成の一実施例を示す。本実施例における電子顕微鏡は電子線を試料1に照射するための照射レンズ系2と、試料に焦点を合わせるための対物レンズ系3、試料を透過した電子線像を拡大する拡大レンズ系4、拡大した像を検出する画像検出部5と、種々の演算制御処理をおこなうコンピュータ6とコンピュータ内部の演算装置7と、データを記憶する記憶装置8と、コンピュータとマイクロプロセッサとの通信を行なうコミュニケーションインターフェイス９ａ，９ｂと、バス１０を介して制御信号を送るマイクロプロセッサ11と、マイクロプロセッサ11より出力された信号をデジタルアナログ変換するDAC12と、DAC12より出力された信号を増幅し、試料傾斜装置13へ出力する電源14と、パラメータの入力を行なうためのキーボード15aとマウス15bから成る入力装置15と、画像を出力するための出力装置16を備えている。
　入力装置15で設定した傾斜角度範囲、傾斜刻み角度はコミニュケーションインターフェイス９ａ，９ｂからバス１０を介してマイクロプロセッサ11に送られる。その後、マイクロプロセッサ11からバス１０を介してDAC12に入力され、電源14で増幅された後、試料傾斜装置13へと出力される。
　試料1は試料傾斜装置13にて連続的に上記傾斜角度範囲内を上記傾斜刻み角度で傾斜され、各々の傾斜角度で画像検出部5により像を検出する。画像検出部5により検出した各傾斜角度の画像は第1から第Nの画像としてコンピュータ内部の記憶装置8へ格納する。該格納した画像の内、傾斜角度が0°付近の画像を1枚用いて初期再構成画像を演算装置7にて生成する。
　上記初期再構成画像を上記傾斜角度範囲内において、上記傾斜刻み角度で投影し、第1´から第N´の画像を生成し、上記第1から第Nの画像と該第1´から第N´の画像の誤差をそれぞれ演算装置7で算出する。該誤差が最小となるよう、上記初期再構成画像の濃度値を演算装置7で最適化し、最適化された該画像を記憶装置8へ格納する。
　その後、演算装置7にて構造物が連続体を形成していることを拘束条件とし、再度上記再構成画像の濃度値を最適化し、記憶装置8へ格納する。上記異なる最適化方法の条件を共に満たすまで、上記演算を繰り返すことにより、傾斜角度制限によって発生する偽像や像の欠落が低減された三次元画像を再構成することができる。
　以下、本発明における演算装置7にて行われる処理の詳細説明を、二次元画像の再構成を例にとり行なう。尚、本実施例は権利の範囲を限定するものではない。
　はじめに本実施例における画像の考え方について説明する。画像とは様々な濃度値を有するピクセルを配列したものである。つまり、二次元画像とは濃度値を二次元的に配列したものである。しかし、図３に示すように、本実施例ではある濃度値を量子化し、この単位量子をクォンタムユニットと考え、ピクセルの濃度値を該クォンタムユニットの積算で表している。つまり、二次元画像は該クォンタムユニットを三次元的に配列したものと考える。
　続いて、本実施例における再構成について説明する。上記従来技術で示されているように未知の二次元画像は該二次元画像を様々な方向から投影した複数の一次元画像を用いて再構成することができ、同様に未知の三次元画像は複数の二次元投影画像から再構成することができる。本実施例も従来技術と同様に複数の投影画像を用いて再構成を行なう。再構成対象を異なる方向へ投影した画像を第1から第Nの画像とし、該各投影方向を第1から第Nの方向とする。
　一次元投影画像とは二次元画像を投影方向に圧縮したものであり、ある1つの投影画像から再構成画像の総濃度値を決定することができる。また、該総濃度値から再構成画像における、上記クォンタムユニットの総数を決定することができる。つまり、一次元投影画像を用いて、上記全てのクォンタムユニットを再構成画像の所定の位置へ再配列することで二次元画像を再構成することができる。
　次に、上記クォンタムユニットを再構成画像の所定の位置へ再配列する方法について説明する。
　1枚の投影画像には上記クォンタムユニットの量に関する情報と投影方向に垂直方向の位置に関する情報が含まれている。しかし、上記画像には、投影方向の位置に関する情報が含まれていない。該投影方向の位置に関する情報は様々な投影方向の画像を用いて導出することができる。
　図４に本実施例におけるクォンタムユニット再配列部の概略フローを示す。初めにパラメータの初期条件設定を行なう。この時、N及びMはカウンタであり、Nmax、Mmaxは最大繰り返し回数、Fはステップ404繰り返しの要否を判別するフラグである。
　次に、ステップ402にて未知の二次元構造を複数の方向にて投影して得た、投影画像Ii(x)を入力する。その後、ステップ403にてIi(x)の内、ある1枚の投影画像Ii1(x)の情報を用い、初期再構成画像G(x,y)を生成する。
　次に、該再構成画像G(x,y)を投影した画像とステップ402にて入力された全投影画像Ii(x)の情報を用いて該再構成画像G(x,y)の全クォンタムユニットを再配列する(ステップ404)。尚、本ステップの詳細な説明は図６及び図７を用いて後述する。
　続いて、ステップ405にてフラグの判定を行い、フラグが”false”であった場合、ステップ406にて現在のループ回数の判定が行なわれる。該ループ回数が設定された回数に未達であった場合、該回数に達するまでステップ404を繰り返す。該ループを抜けた後はステップ408にてフラグを”true”に変更し、ステップ409の処理を行なう。
　ステップ409では上記再構成画像G(x,y)に対し、構造物は必ず連続体を形成するという拘束条件を付加し、この条件を満たすよう、上記再構成画像G(x,y)内のクォンタムユニットを再配列する。本ステップの詳細な説明は図８及び図９を用いて後述する。
　その後、ステップ4１０にてループ回数の判定が行なわれ、該回数が設定された回数に未達であった場合、ステップ404の処理へ移行する。この時、フラグは”true”であるため、ステップ404はループせず、ステップ409へ移行する。ステップ4１０の判定条件を満たした場合、ステップ412にて上記再構成画像が出力され、再構成が終了する。
　以下、各ステップの詳細について順次説明する。
　ステップ403では、各辺のサイズが投影画像と等しく、各ピクセルの濃度値が0の二次元画像を生成する。次に、図５に示すように、未知の構造図５（a）を投影した1枚の一次元投影画像図５（b）から上記クォンタムユニットの量と投影方向に垂直方向の位置は定まるため、この条件を満たすよう、上記クォンタムユニットを上記二次元画像に配列し、初期再構成画像図５（c）を生成する。この際、投影方向の位置情報は乱数を用いて決定する。初期再構成画像に配列された各クォンタムユニットは個別に管理され、各クォンタムユニットを移動させることで再構成画像の全ピクセルの濃度値最適化を行なう。
　ステップ404では、初めに、初期再構成画像を第1から第Nの方向で投影し、第1´から第N´の投影画像を生成する。図６に示すように、上記第1から第Nの投影画像を真値とし、第1´から第N´の投影画像を推定値として同一方向の投影画像における各余剰誤差を算出する。この時、各投影方向の軸をS軸とし、また、これに垂直な軸をT軸として、該誤差に於ける座標Tiの値を、該座標Tiを通るS軸(STi軸)上に存在する全クォンタムユニットに格納する。これを全投影方向に対して行い、各クォンタムユニットに自らが係わる全ての余剰誤差の積算値を格納する。その後、全クォンタムユニットの該積算値を用い、降順に並び替え、移動するクォンタムユニットの優先順位を決定する。
　次に、各クォンタムユニットの移動先の決定を行なう。移動先の決定処理は上記優先順位が高いクォンタムユニットから行なわれる。尚、移動先決定処理は大分して２つの処理にて行なわれる。１つめの処理にて各投影方向に於ける仮移動先を決定し、２つめの処理で該仮移動量の平均値から実際の移動先を決定する。
　１つめの処理の詳細は図７に示すように、第1の投影画像(真値)と第1´の投影画像(推定値)の不足誤差を算出し、最も不足誤差が大きい座標Tmを算出する。移動先決定処理を行なっているクォンタムユニットの第1の投影方向に於ける仮移動先は上記Tmの誤差を減少させる位置である。ここで、移動元クォンタムユニットの移動に関して次のような拘束条件を設ける。
　＜拘束条件(１)＞
ＣＴに用いる全投影画像は未知なる断層像を投影したものであり、投影方向が定まれば、投影画像の濃度値は必然的に定まるため、初期再構成画像に於ける該画像の生成に用いた投影方向の濃度積算値は一定でなければならない。故にクォンタムユニットの移動方向は初期再構成画像生成時の投影方向に限定される。
　以上の拘束条件により、移動元クォンタムユニットのT軸上の座標をTsとすると、第1の投影方向(S軸)でT軸上の座標Tmを通る直線STmと初期再構成画像を生成した投影方向(Sb軸)でT軸上の座標Tsを通る直線SbTsの交点の座標が移動元クォンタムユニットの仮移動先となる。
　続いて、以上で移動先が決定したクォンタムユニットの次に移動優先順位が高いクォンタムユニットも同様な方法で仮移動先を決定する。この際、不足誤差最大である座標Tmの値から１クォンタムユニット分の濃度値を減算した結果を用いて、誤差最大である座標Tm´を算出する。以上の処理を上記優先順位が高い順に全てのクォンタムユニットに対して行い、第1の投影方向に於ける全てのクォンタムユニットの仮移動先を決定する。また、第二から第Nの投影方向に対しても上記と同様に全クォンタムユニットの仮移動先を決定する。
　以上のように１つめの処理にて全クォンタムユニットの全投影方向に於ける仮移動先を決定し、２つめの処理にて全クォンタムユニットの実際の移動先を決定する。本実施例では、実際の移動先を全投影方向に於ける仮移動量の平均値とした。
　以上の処理にて、該移動先へ全クォンタムユニットを移動し、ステップ406の判定を行なう。その後、判定条件を満たすまで、ステップ404の処理を繰り返す。尚、本実施例では実際の移動先を全投影方向に於ける仮移動量の平均値としたが、実際の移動先を決定するアルゴリズムは平均値以外にも中央値を用いた方法、最頻値を用いた方法などが考えられる。
　ステップ409では、ステップ404とは異なる方法でクォンタムユニットを再配列する。本処理では、投影画像を用いず、初期再構成画像の情報のみで再配列を行なう。
　図8に示すように、一般的に画像にて構造物を認識するためには、同階調のピクセルが数ピクセル以上連続で存在していなければならない。ステップ409の処理では上記概念から、初期再構成画像に対して以下の拘束条件を付加し、これを満たすよう、再配列を行なう。
　＜拘束条件(２)＞
各階調レベルの領域は個々に分散するも、それぞれにおいては連続領域を形成しなければならない。
　本実施例は、画像の濃度値をクォンタムユニットの積算値で表現しているため、クォンタムユニットの濃度値を単位階調レベルとすると、初期再構成画像を階調レベル毎に分割することができる。つまり、各階調レベルに存在するクォンタムユニットが連続領域を形成するよう、クォンタムユニットを移動することで上記条件で拘束された画像を再構成することができる。以下、上記拘束条件を用いたクォンタムユニット移動に関する処理の詳細を示す。
　まず、初期再構成画像の全クォンタムユニットから上記拘束条件を満たすために移動しなければならないクォンタムユニットを選定する。ここで、本実施例では、連続体の判定方法として、対象クォンタムユニットを中心としたある領域内に存在するクォンタムユニットの密度を用いる。つまり、該密度に対して閾値を設け、閾値以上であれば連続体とみなす。以上より、移動クォンタムユニットの選定は、全クォンタムユニットに対してそれぞれ上記密度を算出し、閾値以下のクォンタムユニット全てを移動対象とする方法にて行なう。
　次に移動対象となった上記クォンタムユニットの移動優先順位を決定する。この時、該優先順位は上記移動対象となったクォンタムユニットが存在する画像内で決定するのではなく、図９に示すように、上記クォンタムユニットが存在する軸内で決定する。尚、本実施例での該軸(Sb軸)は初期再構成画像生成時に用いた投影方向に平行な軸であり、Sb軸と直交するT軸のある座標を通る軸とした(例えば、座標Tiを通る場合、該軸はSbTi軸であり、座標Ti+1を通る場合、該軸はSbTi+1軸である。)。また、該優先順位は密度が低いクォンタムユニット程、高く設定する。
　本実施例における密度の算出は、該順位決定対象となるクォンタムユニットを中心にある領域を設け、領域内に存在するピクセル数と該領域内の該クォンタムユニットと同じ階調レベルに在るクォンタムユニット数の比率（クォンタムユニット数 / ピクセル数）から行なう。上記演算をSb軸内に存在する全てのクォンタムユニットに対して行い、上記比率が低いものから順に移動の優先権を与える。
　続いて、移動先の優先順位を決定する。該優先順位も上記順位と同様にある領域内に存在するピクセル数とクォンタムユニット数の比率で行なう。但し、本処理は密度の算出をSb軸上の全てのピクセルにて行い、上記比率が高いものから順に移動先となる優先権を与える。
　上記移動元優先権が高いクォンタムユニットを上記移動先優先権が高いピクセルへ順次移動し、T軸座標がTiの時のクォンタムユニット再配列が終了する。その後、T軸座標をTi+1、Ti+2と順次移動し、上記再配列処理を行なう。
　以上、全ての軸における再配列が終了したら本処理によるクォンタムユニットの再配列は終了となる。
　ステップ409の再配列処理後、ステップ4１０の判定基準を満たしていた場合、上記初期再構成画像を出力し、再構成処理が終了する。ステップ4１０の判定基準が未達の場合は、ステップ404へ戻り、判定基準を満たすまでステップ404とステップ409の再配列処理を繰り返し行なう。
　図１０にモデルを用いた本実施例と従来方法との再構成結果の比較例を示す。図１０(a)がモデル、図１０(b)に本実施例の結果、図１０(c)に従来手法の結果を示す。前記モデルは観察対象の傾斜角度範囲が-60°から+60°であり、傾斜刻み角度は2°である。
　従来手法の結果では各構造の周辺部に多くの偽像が見て取れる。また、リング形状部は像の一部が欠け、連続体を形成しておらず、棒状部は中腹部の像が欠けて棒状を形成していない。これに対し、本実施例の結果では、上記偽像や像の欠落が大きく低減されている。
　最後に、上記において、ステップ406、ステップ4１０で繰り返し回数による判定を用いているが、該ステップでの判定は該方法に限らず、他にも投影画像との誤差を用いる方法などが考えられる。
　上記実施例では電子顕微鏡を用いた電子線コンピュータトモグラフィを例として記載したが、本発明はエックス線コンピュータトモグラフィにも同様に適用可能である。この場合、照射線が電子線からエックス線に代わるが、そのほかの構成については、電子線コンピュータトモグラフィ同様である。
　尚、本発明は、半導体デバイスの三次元形状の可視化、計測や、触媒粒子の粒径計測、分布状態の観察やナノ材料の正確な三次元材料解析を可能とし、材料解析分野での幅広い適用が期待できる。また、細胞や高分子材料においても、細胞内器官の形態の可視化、成分混合状態の観察などの適用が期待できる。
　更に、電子線コンピュータトモグラフィ、エックス線コンピュータトモグラフィなどでの適用時は、試料ダメージの軽減、被曝量の軽減などが期待できる。
　なお、上記実施例において、観察対象物となる構造物は各成分で必ず連続体を形成することを拘束条件としており、連続体を同一もしくは同一以上の濃度値を有するピクセルの密度（クォンタムユニットの密度）で判定するが、前記判定する密度の閾値を任意に設定できるようにしてもよい。
　上記実施例において、演算装置７にて、真値である第１から第Nの画像と、推定値である第１´から第N´の画像とのそれぞれについて対応するピクセルの誤差を算出し、誤差から処理の優先度を決定し、階調レベル毎にピクセルの密度を算出し、この密度から処理の優先度を決定し、上記それぞれの優先度で再構成画像の各ピクセルの濃度値を変化させているが、そのような画像処理方法にて得られた結果を用い、濃度値毎、もしくは任意の濃度値範囲毎に上記結果の領域を定義するようにしてもよい。
　さらに、上記領域の定義に関する画像処理結果を用い、更に測定装置から得られた情報を用いて、観察対象物における、任意領域の体積、表面積、連続領域の個数、質量などを算出するようにしてもよい。
　さらに、前記誤差算出演算と前記密度算出演算の回数を個別に設定してもよい。
　さらに、上記実施例の画像処理方法を実行する画像処理記憶媒体として、次のようなものを提案する。
　観察対象物に電子線又はエックス線を照射し、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置において、該観察対象物をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成するステップ、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納するステップ、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算するステップ、該誤差から処理の優先度を決定するステップ、階調レベル毎に密度を演算するステップ、該密度から処理の優先度を決定するステップ、上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させるステップを有するプログラムを格納したことを特徴とする画像処理記憶媒体。
　（i）上記記憶媒体において、前記画像の濃度値を単位濃度値の積算値としてもよい。
　（ii）上記記憶媒体において、前記単位濃度値の総数は全投影画像で共通であってもよい。
　（iii）上記記憶媒体において、初期再構成画像において、前記画像生成時の投影方向に平行な単位濃度値の総数は不変とすることを拘束条件としてもよい。
　（iv）上記記憶媒体において、初期再構成画像における構造物は各成分で必ず連続体を形成することを拘束条件としてもよい。
　(v)上記記憶媒体において、初期再構成画像における構造物は、前記連続体を同一もしくは同一以上の濃度値を有するピクセルの密度で判定してもよい。
　（vi）上記記憶媒体において、上記密度判定処理は、判定する密度の閾値を任意に設定できるようにしてもよい。
　（vii）上記記憶媒体において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できるように設定してもよい。
　また、次のような画像処理記憶媒体も提案する。
観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置において、該照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成するステップ、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納するステップ、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算するステップ、該誤差から処理の優先度を決定するステップ、階調レベル毎に密度を演算するステップ、該密度から処理の優先度を決定するステップ、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させるステップを有するプログラムを格納したことを特徴とする画像処理記憶媒体。
　この画像処理記憶媒体においても、上記した（i）から（vii）の特徴を備えてもよい。
　上記実施例で説明した画像処理システムにおいて、前記誤差算出演算と前記密度算出演算の回数をそれぞれ異なる値に設定して並列処理を行い、複数の結果を導出できるようにしてもよい。
　さらに、上記並列処理は、複数台のパーソナルコンピュータを用いて行なってもよい。
１…試料、２…照射レンズ系、３…対物レンズ系、４…拡大レンズ系、５…画像検出部、６…コンピュータ、７…内部演算装置、８…記憶装置、９ａ，９ｂ…コミュニケーションインターフェイス、１０…バス、１１…マイクロプロセッサ、１２…ＤＡＣ（デジタル-アナログ変換器）、１３…試料傾斜装置、１４…電源、１５…入力装置、１６…出力装置

Claims (22)

  1. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置を用いた画像処理方法において、該観察対象物をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納し、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算をし、上記観察対象物の投影画像を元に初期再構成画像を生成し、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成して格納し、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を算出する誤差算出演算をし、該誤差から処理の優先度を決定し、階調レベル毎に密度を算出する密度算出演算をし、該密度から処理の優先度を決定し、上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理方法。
  2. 請求項1において、前記画像の濃度値を単位濃度値の積算値とすることを特徴とする画像処理方法。
  3. 請求項１において、前記単位濃度値の総数は全投影画像で共通であることを特徴とする画像処理方法。
  4. 請求項１において、前記画像生成時の投影方向に平行な単位濃度値の総数は不変とすることを拘束条件とした画像処理方法。
  5. 請求項１において、構造物は各成分で必ず連続体を形成することを拘束条件とした画像処理方法。
  6. 請求項５において、前記連続体を同一もしくは同一以上の濃度値を有するピクセルの密度で判定することを特徴とした画像処理方法。
  7. 請求項１記載の画像処理方法にて得られた結果を用い、濃度値毎、もしくは任意の濃度値範囲毎に上記結果の領域を定義する画像処理方法。
  8. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置を用いた画像処理方法において、該照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納し、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算をし、上記観察対象物の投影画像を元に初期再構成画像を生成し、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成して格納し、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を算出する誤差算出演算をし、該誤差から処理の優先度を決定し、階調レベル毎に密度を算出する密度算出演算をし、該密度から処理の優先度を決定し、上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理方法。
  9. 請求項８において、前記画像の濃度値を単位濃度値の積算値とすることを特徴とする画像処理方法。
  10. 請求項８において、前記単位濃度値の総数は全投影画像で共通であることを特徴とする画像処理方法。
  11. 請求項８において、前記画像生成時の投影方向に平行な単位濃度値の総数は不変とすることを拘束条件とした画像処理方法。
  12. 請求項８において、構造物は各成分で必ず連続体を形成することを拘束条件とした画像処理方法。
  13. 請求項１２において、前記連続体を同一もしくは同一以上の濃度値を有するピクセルの密度で判定することを特徴とした画像処理方法。
  14. 請求項８記載の画像処理方法にて得られた結果を用い、濃度値毎、もしくは任意の濃度値範囲毎に上記結果の領域を定義する画像処理方法。
  15. 観察対象物にエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置において、上記照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成する手段、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納する手段、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算する誤差算出手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する密度算出手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理手段を搭載したエックス線コンピュータトモグラフィシステム。
  16. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置において、該測定装置をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成する手段、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納する手段、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算する誤差算出手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する密度算出手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理システム。
  17. 請求項１６において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理システム。
  18. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置において、該照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成する手段、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納する手段、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算する誤差算出手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する密度算出手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理システム。
  19. 請求項１８において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理システム。
  20. 請求項１８において、前記画像データを階調レベル表現に変更する手段と、複数の画像を用いて前記階調レベル表現の各構成要素を変更する手段と前記階調レベル表現を画像データに変更する手段とを備えたことを特徴とする画像処理システム。
  21. 請求項２０において、複数の画像を用いて前記階調レベル表現の各構成要素を変更する手段として、連続体を構成するように変更することを特徴とする画像処理システム。
  22. 請求項２１において、前記連続体は、前記階調レベル表現の各構成要素の密度に基づいて判断することを特徴とする画像処理システム。
PCT/JP2011/066035 2010-07-15 2011-07-14 画像処理方法、画像処理システム、およびエックス線コンピュータトモグラフィシステム WO2012008512A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/810,034 US8588499B2 (en) 2010-07-15 2011-07-14 Image processing method, image processing system, and X-ray computed tomography system
EP11806842.8A EP2595172B1 (en) 2010-07-15 2011-07-14 Image processing method, image processing system, and x-ray computed tomography system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010160529A JP5427133B2 (ja) 2010-07-15 2010-07-15 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム
JP2010-160529 2010-07-15

Publications (1)

Publication Number Publication Date
WO2012008512A1 true WO2012008512A1 (ja) 2012-01-19

Family

ID=45469508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/066035 WO2012008512A1 (ja) 2010-07-15 2011-07-14 画像処理方法、画像処理システム、およびエックス線コンピュータトモグラフィシステム

Country Status (4)

Country Link
US (1) US8588499B2 (ja)
EP (1) EP2595172B1 (ja)
JP (1) JP5427133B2 (ja)
WO (1) WO2012008512A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9877189B2 (en) 2014-04-21 2018-01-23 Alibaba Group Holding Limited Verification method and device using a magnetometer

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016205899A (ja) * 2015-04-17 2016-12-08 株式会社ミツトヨ 回転テーブルの制御方法及び装置
US10368822B2 (en) * 2015-08-31 2019-08-06 General Electric Company Iterative X-ray imaging optimization method and system
EP3297018B1 (en) * 2016-09-19 2019-03-27 FEI Company Tomographic imaging method
EP3176569B1 (en) * 2016-10-11 2018-12-26 FEI Company Arrangement for x-ray tomography
JP7084653B2 (ja) * 2019-12-18 2022-06-15 学校法人 工学院大学 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62219076A (ja) * 1986-03-20 1987-09-26 Hitachi Medical Corp 三次元画像表示装置
JP2005326332A (ja) * 2004-05-17 2005-11-24 Sony Corp 画像情報処理装置および方法、並びにプログラム
JP2008283892A (ja) * 2007-05-16 2008-11-27 Institute Of Physical & Chemical Research 電子顕微鏡用標識
JP2009237704A (ja) * 2008-03-26 2009-10-15 Shimadzu Corp ３次元画像化方法およびｘ線断層像撮影装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866612A (en) 1986-03-05 1989-09-12 Hitachi Medical Corporation Imaging system including means to provide a display image with shadows and three dimensional perspectives by a combination of voxel and surface method
US8433033B2 (en) * 2005-10-21 2013-04-30 Axion Japan Co., Ltd. Panoramic imaging apparatus
US7548604B2 (en) * 2007-01-04 2009-06-16 General Electric Company Method and apparatus for reduction of metal artifacts in CT imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62219076A (ja) * 1986-03-20 1987-09-26 Hitachi Medical Corp 三次元画像表示装置
JP2005326332A (ja) * 2004-05-17 2005-11-24 Sony Corp 画像情報処理装置および方法、並びにプログラム
JP2008283892A (ja) * 2007-05-16 2008-11-27 Institute Of Physical & Chemical Research 電子顕微鏡用標識
JP2009237704A (ja) * 2008-03-26 2009-10-15 Shimadzu Corp ３次元画像化方法およびｘ線断層像撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2595172A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9877189B2 (en) 2014-04-21 2018-01-23 Alibaba Group Holding Limited Verification method and device using a magnetometer
US10206105B2 (en) 2014-04-21 2019-02-12 Alibaba Group Holding Limited Verification method and device using a magnetometer

Also Published As

Publication number Publication date
US20130202180A1 (en) 2013-08-08
EP2595172B1 (en) 2016-04-13
JP2012022922A (ja) 2012-02-02
EP2595172A4 (en) 2014-05-21
JP5427133B2 (ja) 2014-02-26
US8588499B2 (en) 2013-11-19
EP2595172A1 (en) 2013-05-22

Similar Documents

Publication Publication Date Title
JP5427133B2 (ja) 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム
Goris et al. Electron tomography based on a total variation minimization reconstruction technique
Gontard et al. Photogrammetry of the three-dimensional shape and texture of a nanoscale particle using scanning electron microscopy and free software
EP2648206B1 (en) Transmission electron microscope for reconstructing a three-dimensional structure and transmission electron microscope image reconstruction method
Alpers et al. Geometric reconstruction methods for electron tomography
AU2016200833B2 (en) A computed tomography imaging process and system
Sitek Representation of photon limited data in emission tomography using origin ensembles
Zhuge et al. Automated discrete electron tomography–Towards routine high-fidelity reconstruction of nanomaterials
Jørgensen et al. On the accuracy of triple phase boundary lengths calculated from tomographic image data
Venkatakrishnan et al. Algorithm-Driven Advances for Scientific CT Instruments: From model-based to deep learning-based approaches
Jiang et al. Sampling limits for electron tomography with sparsity-exploiting reconstructions
JP6014738B2 (ja) 三次元画像の投影方法
Varslot et al. Fast high-resolution micro-CT with exact reconstruction methods
EP2666122A1 (en) Optimized implementation of back projection for computed tomography (ct)
EP2731078B1 (en) Shape extraction method and shape extraction system
Ching et al. Rotation-as-fast-axis scanning-probe x-ray tomography: the importance of angular diversity for fly-scan modes
Kingston et al. Optimized x-ray source scanning trajectories for iterative reconstruction in high cone-angle tomography
Karimi et al. A hybrid stochastic-deterministic gradient descent algorithm for image reconstruction in cone-beam computed tomography
Xie et al. Comparative studies of total-variation-regularized sparse reconstruction algorithms in projection tomography
Van den Broek et al. A model based atomic resolution tomographic algorithm
Wan et al. Iterative methods in large field electron microscope tomography
Nakano et al. Molecular size dependence on achievable resolution from XFEL single-particle 3D reconstruction
JP7084653B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP4075126A1 (en) Phase retrieval in electron microscopy
Venkatakrishnan et al. A phantom-based forward projection approach in support of model-based iterative reconstructions for HAADF-STEM tomography

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11806842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011806842

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13810034

Country of ref document: US