RU2743231C1 - Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком - Google Patents
Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком Download PDFInfo
- Publication number
- RU2743231C1 RU2743231C1 RU2020127419A RU2020127419A RU2743231C1 RU 2743231 C1 RU2743231 C1 RU 2743231C1 RU 2020127419 A RU2020127419 A RU 2020127419A RU 2020127419 A RU2020127419 A RU 2020127419A RU 2743231 C1 RU2743231 C1 RU 2743231C1
- Authority
- RU
- Russia
- Prior art keywords
- layers
- images
- image
- sample
- contrast
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000010884 ion-beam technique Methods 0.000 title claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 43
- 238000006073 displacement reaction Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000000844 transformation Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000011148 porous material Substances 0.000 description 3
- 238000001878 scanning electron micrograph Methods 0.000 description 3
- 239000003381 stabilizer Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/285—Emission microscopes, e.g. field-emission microscopes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
Изобретение относится к способам обработки изображений и предназначено для выравнивания изображений слоев, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, для последующего построения трехмерной модели образца. Техническим результатом является осуществление выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком без существенных геометрических искажений. Предложен способ выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком. В соответствии со способом посредством растрового электронного микроскопа с фокусированным ионным пучком получают последовательность изображений слоев, составляющих трехмерное изображение образца. Последовательно отображают на устройстве отображения полученные изображения слоев и определяют характер смещения изображений слоев друг относительно друга. На основе характера смещения изображений слоев выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев. 2 н. и 4 з.п. ф-лы, 6 ил.
Description
Настоящее изобретение относится к способам обработки изображений, а точнее к способам выравнивания изображений слоев, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, для последующего построения трехмерной модели образца без значительных геометрических искажений.
В ряде областей науки и техники для получения трехмерных изображений образцов с разрешением в несколько нанометров используют растровый электронный микроскоп (РЭМ) с фокусированным ионным пучком (ФИЛ). Подобные приборы называют ФИП-РЭМ (FIB-SEM, Focused Ion Beam - Scanning Electron Microscope). Примерами задач, решаемых с помощью ФИП-РЭМ, являются: в нефтегазовой отрасли построение цифровой модели керна (горной породы) на нанометровом масштабе для расчета фильтрационно-емкостных свойств; анализ характеристик пористых электродов для аккумуляторов; исследование биологических тканей, в частности, нервов.
Кратко получение изображения ФИП-РЭМ можно описать следующим образом: тонкий слой образца в его поперечном сечении удаляется (испаряется) ионным пучком, затем плоскость поперечного сечения образца сканируют растровым электронным микроскопом, в результате чего получают двумерное изображение лежащего ниже слоя; многократное повторение операций удаления слоя и сканирования следующего слоя приводит к получению последовательности изображений слоев, из которых может быть построено трехмерное изображение образца.
Однако задача построения трехмерной модели образца из последовательности двумерных изображений слоев сопряжена с рядом проблем. В частности, в процессе сканирования из-за ряда случайных факторов, таких как накопление заряда на исследуемой поверхности, механических и термических нестабильностей, происходит смещение изображений слоев друг относительно друга. При проведении сканирования стремятся настроить параметры так, чтобы подобные смещения были ограничены только сдвигами влево-вправо и вверх-вниз. Тем не менее, при длительной выдержке (времени на сканирование) возможен скос (на случайный небольшой угол) одного слоя относительно другого, а при автоматической или ручной подстройке прибора во время эксперимента (например, если произошла расфокусировка) может происходить скачкообразное изменение масштаба. Таким образом, для выравнивания изображений двух соседних слоев в общем случае может потребоваться произвольное аффинное преобразование.
Создаваемая из изображений слоев трехмерная модель должна быть достаточно точной и не содержать значительных геометрических искажений. Для этого требуется способ выравнивания слоев, который позволит получать корректные результаты за ограниченное время, например, не более чем за час.
Из уровня техники известно, что выравнивание слоев можно сделать по специальным реперным меткам-вырезам. Например, такая возможность описана в описании к патенту США 7750293, где метки используют для контроля толщины слоя, но также отмечено, что по меткам можно выравнивать слои. Однако необходимость сканировать область большего размера, включающую метки, ведет к уменьшению пространственного разрешения в области интереса на образце, что может быть неприемлемо. В патенте РФ 2610216 (он же патент США 9064328) отмечается, что "выравнивание может быть основано на способах обработки, которые идентифицируют правильное латеральное положение одного среза относительно следующего", но не уточняется, что это за способы. Очевидно, что по латеральным изображениям (точнее по продольным горизонтальному и вертикальному сечениям) оператор может осуществить выравнивание вручную, но это требует значительных временных затрат.
Для автоматического выравнивания изображений слоев FIB-SEM в публикациях (например, в статье Prill Т. et al. Morphological segmentation of FIB-SEM data of highly porous media //Journal of microscopy. - 2013. - T. 250. - №. 2. - C. 77-87), как правило, упоминается один из следующих подключаемых модулей (plug-in) к проекту с открытым кодом ImageJ (http://imagej.net):
• StackReg (http://bigwww.epfl.ch/thevenaz/stackreg/);
• JavaSIFT (https://imagej.net/Linear_Stack_Alignment_with_SIFT);
• Stabilizer (http://www.cs.cmu.edu/~kangli/code/Image_Stabilizer.html).
В StackReg реализован итеративный пирамидальный алгоритм совмещения изображений, обеспечивающий нахождение субпиксельных сдвигов. На каждой итерации, начиная с низкого разрешения и до полного, совмещаемые изображения аппроксимируются сплайнами, смещение между которыми находится с помощью нелинейного метода наименьших квадратов. В JavaSIFT на изображениях детектируются ключевые точки (дескрипторы) с помощью масштабно-инвариантной трансформации признаков (Scale-Invariant Feature Transform, SIFT), затем алгоритм RANSAC (RANdom SAmple Consensus) применяется для нахождения матрицы преобразования (трансформации) одного изображения в другое. Stabilizer для совмещения изображений использует вычисление оптического потока Лукаса-Канаде.
Одним из наиболее часто упоминаемых коммерческих программных продуктов для работы с FIB-SEM изображениями является Avizo (компания Thermo Scientific). Данная программа может, в частности, использоваться и для выравнивания изображений слоев с помощью минимизации суммы квадрата разностей между соседними слоями.
Таким образом, существующие подходы для автоматического выравнивания изображений слоев ФИП-РЭМ изображения основаны на предположении о похожести соседних слоев, данные подходы стремятся минимизировать разницу между слоями, или максимизировать корреляцию между ними, или совместить ключевые точки (дескрипторы). Данные подходы позволяют получить в продольных сечениях выровненного изображения более-менее гладкие границы между различными отличающимися интенсивностью веществами образца (или между веществами и пустотами), но они часто вносят значительные геометрические искажения в результирующее трехмерное изображение. Это объясняется тем, что границы в изображении, как правило, имеют преимущественную ориентацию в пространстве, если не для целого трехмерного изображения, то по крайней мере, в пределах нескольких десятков соседних слоев. Алгоритмы, основанные на похожести соседних слоев, стремятся не только компенсировать небольшие случайные смещения (произвольные аффинные искажения в общем случае), но и изменить ориентацию границ в продольных сечениях на перпендикулярную к плоскости поперечного сечения. Этот факт легко проиллюстрировать с помощью трехмерного изображения, содержащего цилиндры, ось симметрии которых ориентирована вдоль произвольной оси (за исключением, ориентации оси перпендикулярно плоскости поперечного сечения). После применения способа, основанного, например, на минимизации суммы квадрата разностей между слоями, ось для всех цилиндров будет ориентирована перпендикулярно плоскости поперечного сечения, что очевидно некорректно.
Также следует отметить, что ни один из существующих способов не является универсальным даже с точки зрения получения в продольных сечениях выровненного изображения с более-менее гладкими границами между областями разной интенсивности, всегда можно найти тип изображения, для которого он окажется неработоспособным. Например, комбинация SIFT-RANSAC неработоспособна для изображения, содержащего ориентированные в одном направлении цилиндры. С другой стороны, для любого изображения можно выбрать способ из числа перечисленных, который в результате выравнивания обеспечит более-менее гладкие границы между областями разной интенсивности.
Техническим результатом заявленного изобретения является обеспечение возможности выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, без существенных геометрических искажений за время, которое незначительно превышает выравнивание с помощью существующих автоматических способов, но значительно меньше времени, требуемого для выравнивания слоев вручную. Технический результат достигается за счет предоставления оператору возможности оценить характер смещения между слоями, а также задать ограничения на вид аффинного преобразования и величину изменения ориентации границ на продольных сечениях.
Указанный технический результат достигается тем, что в соответствии с предлагаемым способом выравнивания изображений слоев образца, полученных посредством растрового электронного микроскопа с фокусированным ионным пучком, получают последовательность изображений слоев, составляющих трехмерное изображение образца. Последовательно отображают на устройстве отображения полученные изображения слоев и определяют характер смещения изображений слоев друг относительно друга. На основе характера смещения изображений слоев выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев, и выбирают способ поиска соответствия изображений соседних слоев для выравнивания изображений слоев. Детектируют в трехмерном изображении образца примерное положение контрастных границ между областями изображения разной интенсивности. Выбирают и отображают на устройстве отображения горизонтальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение контрастной границы. Затем выбирают и последовательно отображают на устройстве отображения такие горизонтальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы, на каждом выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение данной границы. Выбирают и отображают на устройстве отображения вертикальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают точное положение границы. Затем выбирают и последовательно отображают на устройстве отображения такие вертикальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы. На каждом выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение границы. Выравнивают изображения слоев с помощью выбранного способа поиска соответствия изображений соседних слоев для выбранного типа преобразования с учетом наименьшего искажения положения отмеченных границ на вертикальных и горизонтальных продольных сечениях и отображают на устройстве отображения вертикальное и горизонтальное продольные сечения изображения с выровненными изображениями слоев.
Тип преобразования, обеспечивающего выравнивание изображений соседних слоев, выбирают из группы, содержащей произвольное аффинное преобразование, параллельные сдвиги, параллельные сдвиги совместно с масштабированием.
Способ поиска соответствия изображений соседних слоев выбирают из группы, содержащей перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы абсолютных разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы квадратов разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью максимизации коэффициента корреляции между слоями, нахождение соответствия между ключевыми точками слоев.
Примерное положение контрастных границ в трехмерном изображении детектируют с помощью фильтра разность гауссиан и последующего сравнения с предопределенным значением.
Система выравнивания слоев изображения, полученного с помощью растрового электронного микроскопа с фокусированным ионным пучком, содержит по меньшей мере один процессор, сконфигурированный с возможностью выравнивания соседних изображений слоев и обеспечения вывода на устройстве отображения изображений слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия изображений слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения. Система содержит также память, предназначенную для хранения исходных изображений слоев, выровненных изображений слоев, трехмерного изображения образца, содержащего примерное положение контрастных границ между областями разной интенсивности, выбранных типа преобразования и способа поиска соответствия соседних слоев для их выравнивания, а также программы с инструкциями, сконфигурированными для выравнивания изображений соседних слоев и обеспечения вывода на устройстве отображения слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения. Система выравнивания слоев изображения сожержит также интерфейс пользователя, сетевой интерфейс обмена данными, устройство отображения с по меньшей мере одним экраном и канал обмена данными.
Интерфейс пользователя выполнен в виде по меньшей мере одного устройства, выбранного из группы: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управление жестами.
Изобретение поясняется чертежами, где на Фиг. 1 схематично показана процедура получения изображения устройством ФИП-РЭМ и вводится используемая в описании система координат; на Фиг. 2 показан пример продольного среза без выравнивания, с выравниванием с помощью известных способов и с помощью заявляемого способа; на Фиг. 3 представлена блок-схема системы выравнивания изображений слоев образца, полученных с помощью ФИП-РЭМ; на Фиг. 4 представлена блок-схема способа выравнивания изображений слоев образца, полученных с помощью ФИП-РЭМ; на Фиг. 5 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев модельного изображения цилиндров; на Фиг. 6 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев ФИП-РЭМ изображения горной породы.
На Фиг. 1 схематично показана процедура получения изображения устройством ФИП-РЭМ. Тонкий слой образца в его поперечном сечении (плоскость XY) удаляется ионным пучком, затем образец в плоскости XY сканируется растровым электронным микроскопом, направленным обычно под углом 52 градуса к направлению ионного пучка, в результате чего получается двумерное изображение следующего слоя. Многократное повторение операций удаления слоя и сканирования лежащего ниже слоя приводит к получению последовательности изображений слоев, которые и составляют трехмерное изображение образца.
Поскольку ФИП не удаляет слой абсолютно ровно, на изображении слоя, как правило, присутствуют нежелательные помехи в виде вертикальных полос параллельных оси Y (в англоязычной литературе они носят название «curtaining», от англ. "curtain" - штора, занавес). Для функционирования заявленного способа предпочтительно, чтобы вертикальные полосы были подавлены до применения способа. Это можно сделать, например, с помощью подхода, описанного в статье Munch В. et al. Stripe and ring artifact removal with combined wavelet-Fourier filtering (Optics express. - 2009. - T. 17. - №. 10. - C. 8567-8591).
Кроме того, из-за расположения РЭМ под углом, отличным от 90 градусов к продольному сечению образца, слои образца будут смещаться друг относительно друга равномерно вдоль оси Y. Поскольку при большом количестве слоев образец может выйти за пределы поля зрения электронного микроскопа, то на практике данное искажение обычно корректируют еще на этапе эксперимента, например, механическим перемещением образца. В противном случае коррекция этого искажения выполняется исходя из простых геометрических соображений. Для функционирования заявленного способа предпочтительно, что подобная коррекция была выполнена до применения заявленного способа.
В силу стохастических процессов изображения слоев случайным образом смещены друг относительно друга. Смещения легко увидеть на продольных горизонтальном (XZ) и вертикальном (YZ) сечениях изображения. Размеры продольных сечений определяются количеством и размером слоев. Смещения выглядят как "дрожание строк" ("эффект гребенки") на контрастных границах между областями разной интенсивности.
Фиг. 2а демонстрирует пример того, как выглядят смещения слоев на горизонтальном продольном сечении изображения ФИП-РЭМ. На фиг. 2b показано горизонтальное продольное сечение результата выравнивания способом, известным из уровня техники, а именно комбинацией способов SIFT-RANSAC. Дрожание строк почти устранено, и границы выглядят почти гладкими, но, поскольку границы в данном изображении имеют преимущественное направление, происходят геометрические искажения. Окружностями показаны места, где в исходном не выровненном изображении расположены поры (темные участки). После выравнивания участки этих пор смещены правее. На фиг. 2 с показано горизонтальное продольное сечение результата выравнивания заявляемым способом. Границы между участками различной интенсивности выглядят гладкими, и смещение положения пор не происходит.
На Фиг. 3 показана схема системы выравнивания изображений слоев, полученных с помощью ФИП-РЭМ. Система содержит по меньшей мере один процессор 1, память 2, причем память может быть разного типа (статическая и динамическая) и может быть распределена между несколькими процессорами, интерфейс 3 пользователя, сетевой интерфейс 4 обмена данными и устройство 5 отображения с по меньшей мере одним экраном. Все перечисленные компоненты 1-5 соединены каналом 6 обмена данными.
Память 2 предназначена для хранения слоев исходного изображения, выровненных изображений слоев, трехмерного изображения, содержащего примерное положение контрастных границ между областями разной интенсивности, выбранного типа преобразования, обеспечивающего выравнивание изображений соседних слоев, и способа поиска соответствия соседних слоев для их выравнивания. Она также содержит программы 7 с инструкциями, сконфигурированными для выравнивания изображений соседних слоев и обеспечения вывода на устройстве 5 отображения изображений слоев 8 поперечного сечения образца, списка 9 доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальные продольные сечения 10 исходного изображения с отмеченной окрестностью 11 примерного положения контрастной границы, горизонтальные продольные сечения 12 выровненного изображения, вертикальные продольные сечения 13 исходного изображения с отмеченной окрестностью 14 примерного положения контрастной границы, вертикальные продольные сечения 15 выровненного изображения.
Процессор 1 сконфигурирован с возможностью выравнивания изображений соседних слоев и обеспечения вывода на устройстве 5 отображения слоев 8 поперечного сечения образца, списка 9 доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений 10 исходного изображения с отмеченной окрестностью 11 примерного положения контрастной границы, горизонтальных продольных сечений 12 выровненного изображения, вертикальные продольных сечений 13 исходного изображения с отмеченной окрестностью 14 примерного положения контрастной границы, вертикальных продольных сечений 15 выровненного изображения, путем исполнения программ с инструкциями, содержащихся в памяти 2 системы выравнивания изображений слоев.
Система может быть выполнена на основе одного компьютерного или микропроцессорного устройства, в том числе мобильного, тогда канал 6 обмена данными является шиной данных. Также система может быть выполнена в виде нескольких компьютерных и микропроцессорных устройств, часть из которых может быть мобильными, тогда канал 6 обмена данными является проводной или беспроводной сетью обмена данными. Нахождение соответствия между изображениями соседних слоев и хранение изображений может осуществляться несколькими устройствами в облачной среде или локальной сети. В этом случае используют интерфейс обмена данными, являющийся интерфейсом проводной или беспроводной сети. Также обработка и хранение изображений может осуществляться на единственном устройстве. В этом случае обмен данными происходит в оперативной памяти. В качестве интерфейса 3 пользователя может использоваться любое из перечисленных устройств или их комбинация: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управление жестами или иные способы ввода информации в компьютерную систему.
Устройство 5 отображения выполнено с возможностью отображения слоев 8 поперечного сечения образца, списка 9 доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений 10 исходного изображения с отмеченной окрестностью 11 примерного положения контрастной границы, горизонтальных продольных сечений 12 выровненного изображения, вертикальных продольных сечений 13 исходного изображения с отмеченной окрестностью 14 примерного положения контрастной границы, вертикальных продольных сечений 15 выровненного изображения.
Также процессор 1 может быть выполнен с возможностью обеспечения отображения на устройстве 5 отображения кнопок 16 для изменения отображаемых слоев 8 в поперечном сечении образца, кнопок 17 для изменения отображаемых горизонтальных продольных сечений 10 и 12, кнопок 18 для изменения отображаемых вертикальных продольных сечений 13 и 15, указатель 19, который выполнен с возможностью перемещения с помощью интерфейса 3 пользователя по горизонтальному продольному сечению 10 и отметки точного положения границы внутри окрестности 11, а также с возможностью перемещения с помощью интерфейса 3 пользователя по вертикальному продольному сечению 13 и отметки точного положения границы внутри окрестности 14.
На Фиг. 4 представлена блок-схема способа выравнивания изображений слоев, содержащего несколько этапов. На первом этапе (поз. 20 на Фиг. 4) посредством растрового электронного микроскопа с фокусированным ионным пучком получают последовательность изображений слоев, составляющих трехмерное изображение образца. Далее (поз. 21 на Фиг. 4) последовательно отображают на устройстве 5 отображения слои (в плоскости XY) с целью определить характер их смещения. Слои могут отображаться как кадры видео с заданной частотой смены кадров или пролистываться путем нажатия кнопок 16 для изменения изображения отображаемого слоя с помощью интерфейса 3 пользователя. В ходе пролистывания оператор должен определить характер смещений: ограничены ли они только сдвигами вдоль осей X и Y, или также присутствует скос некоторого слоя относительно соседнего и резкое изменение масштаба.
На следующем этапе (поз. 22, на Фиг. 4), основываясь на характере смещений, выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев, из группы, содержащей: произвольное аффинное преобразование, только параллельные сдвиги, параллельные сдвиги и масштабирование. Далее (поз. 23, на Фиг. 4), по виду изображений слоев оператор должен определить подходящий способ поиска соответствия соседних слоев для их выравнивания. Для большинства изображений можно найти соответствие между ключевыми точками (дескрипторами) слоев, а по ключевым точкам определить матрицу преобразования одного слоя в другой, например, с помощью RANSAC. Ключевые точки могут быть найдены, например, с помощью масштабно-инвариантной трансформации признаков (SIFT), или с помощью SURF, или с помощью KAZE. Если на изображении слоя присутствуют одинаковые структуры повторяющиеся по полю изображения слоя (такое имеет место, например, для изображений изделий микроэлектроники), то выравнивание с помощью нахождения соответствия ключевых точек (дескрипторов) невозможно. В этом случае следует выбрать способ поиска соответствия соседних слоев из группы: перебор параметров матрицы преобразования одного из слоев с целью минимизации суммы абсолютных разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы квадратов разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью максимизации коэффициента корреляции между слоями.
Детектируют (поз. 24 на Фиг. 4) в трехмерном изображении ФИП-РЭМ примерное положение контрастных границ между областями разной интенсивности. Это можно сделать путем применения фильтров лапласиан гауссиана (Laplacian of Gaussian, LoG) или разность гауссиан (Difference of Gaussian, DoG) с трехмерным ядром свертки. Если результат фильтрации в некотором вокселе превышает заданный порог, то считается, что данный воксель относится к контрастной границе.
Выбирают и отображают (поз. 25 на Фиг. 4) на устройстве 5 отображения горизонтальное продольное сечение 10 трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы 11 и отмечают с помощью интерфейса 3 пользователя точное положение границы.
Выбирают и последовательно отображают (поз. 26 на Фиг. 4) на устройстве 5 отображения такие горизонтальные продольные сечения 10 трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев и на которых еще не отмечено точное положение контрастной границы, на каждом выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы 11 и отмечают с помощью интерфейса 3 пользователя точное положение границы.
Выбирают и отображают (поз. 27 на Фиг. 4) на устройстве 5 отображения вертикальное продольное сечение 13 трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы 14 и отмечают с помощью интерфейса 3 пользователя точное положение границы
Выбирают и последовательно отображают (поз. 28 на Фиг. 4) на устройстве 5 отображения такие вертикальные продольные сечения 13 трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев и на которых еще не отмечено точное положение контрастной границы, на каждом выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы 14 и отмечают с помощью интерфейса 3 пользователя точное положение границы.
На заключительном этапе (поз. 29 на Фиг. 4) выравнивают слои с помощью выбранного способа поиска соответствия соседних слоев для выбранного типа преобразования с учетом наименьшего искажения положения отмеченных границ на вертикальных и горизонтальных продольных сечениях и отображают на устройстве 5 отображения вертикальное 12 и горизонтальное 15 продольные сечения ФИП-РЭМ изображения с выровненными слоями.
На Фиг. 5 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев модельного изображения ориентированных одинаковым образом цилиндров в случае случайных сдвигов параллельно осям X и Y. Последовательно пролистывая с помощью кнопок 16 на устройстве 5 отображения изображения слоев образца 8 (А на Фиг. 5), оператор убеждается, что в изображении присутствуют только сдвиги вдоль X и Y. После этого оператор в списке доступных для выбора типов преобразования и способов поиска соответствия слоев 9 выбирает "Параллельный перенос" как "Тип преобразования" и SAD (Sum of absolute differences - сумма абсолютных разностей) как "Способ совмещения". После этого на устройстве 5 отображения выводится такое горизонтальное продольное сечение XZ изображения 10 (Б на Фиг. 5), в котором контрастная граница пересекает наибольшее количество еще не отмеченных слоев. На данном сечении окрестность 11 примерного положения данной контрастной границы обозначается в виде прямоугольника. В пределах этого прямоугольника оператор, перемещая с помощью интерфейса 3 пользователя указатель 15, отмечает точное положение границы. После этого, в общем случае, выводится другое горизонтальное продольное сечение (Б на Фиг. 5) с контрастной границей, чтобы пользователь отметил точное положение границы. Это повторяется до тех пор, пока для всех слоев не будет отмечен по крайней мере один пиксел как точное положение границы для сечения XZ. Далее аналогичные действия производятся для вертикальных продольных сечений YZ (Г на Фиг. 5). После того как точные положения границы указаны для всех слоев как в горизонтальных, так и в вертикальных продольных сечениях, выполняется попарное выравнивание слоев с помощью способа SAD (минимизация суммы абсолютных разностей) и преобразования "Параллельный перенос" с учетом наименьшего искажения положения отмеченных границ. Результаты выравнивания выводятся на устройство 5 отображения в виде горизонтальных 12 (В на Фиг. 5) и вертикальных 15 (Д на Фиг. 5) продольных сечений. Причем горизонтальное продольное сечение 12 для результата выравнивания приблизительно соответствует сечению 10 для невыровненного изображения, а вертикальное продольное сечение 15 результата выравнивания приблизительно соответствует сечению 13 для невыровненного изображения. С помощью кнопок 17 оператор последовательно изменяет горизонтальные продольные сечения 10 и 12. С помощью кнопок 18 оператор последовательно изменяет вертикальные продольные сечения 13 и 15.
На Фиг. 6 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев реального изображения ФИП-РЭМ песчаника. В изображении присутствуют искажения типа скос, изменение масштаба и параллельный перенос. Последовательно пролистывая с помощью кнопок 16 на устройстве 5 отображения изображения слоев образца 8 (А на Фиг. 6), оператор убеждается, что между изображениями слоев существуют разнообразные искажения. После этого оператор в списке доступных для выбора типов преобразования и способов поиска соответствия изображений слоев 9 выбирает "Произвольное аффинное" как "Тип преобразования" и SIFT-RANSAC как "Способ совмещения". После этого на устройстве 5 отображения выводится такое горизонтальное продольное сечение XZ изображения 10 (Б на Фиг. 6), в котором контрастная граница пересекает наибольшее количество еще не отмеченных слоев. На данном сечении окрестность 11 примерного положения данной контрастной границы обозначается в виде прямоугольника. В пределах этого прямоугольника оператор, перемещая с помощью интерфейса 3 пользователя указатель 15, отмечает точное положение границы. После этого выводится в общем случае другое горизонтальное продольное сечение (Б на Фиг. 6) с контрастной границей, чтобы пользователь отметил точное положение границы. Это повторяется до тех пор, пока для всех изображений слоев не будет отмечен по крайней мере один пиксел как точное положение границы для сечения XZ. Далее аналогичные действия производятся для вертикальных продольных сечений YZ (Г на Фиг. 6). После того как точные положения границы указаны для всех слоев как в горизонтальных, так и в вертикальных продольных сечениях, выполняется попарное выравнивание изображений слоев с помощью поиска ключевых точек SIFT с последующим определением матрицы преобразования с помощью RANSAC для произвольного аффинного преобразования с учетом наименьшего искажения положения отмеченных границ. Результаты выравнивания выводятся на устройство 5 отображения в виде горизонтальных 12 (В на Фиг. 6) и вертикальных 15 (Д на Фиг. 6) продольных сечений. Причем горизонтальное продольное сечение 12 для результата выравнивания приблизительно соответствует сечению 10 для невыровненного изображения, а вертикальное продольное сечение 15 результата выравнивания приблизительно соответствует сечению 13 для невыровненного изображения. С помощью кнопок 17 оператор последовательно изменяет горизонтальные продольные сечения 10 и 12. С помощью кнопок 18 оператор последовательно изменяет вертикальные продольные сечения 13 и 15.
Хотя указанные выше варианты выполнения изобретения были изложены с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.
Claims (22)
1. Способ выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, в соответствии с которым:
- посредством растрового электронного микроскопа с фокусированным ионным пучком получают последовательность изображений слоев, составляющих трехмерное изображение образца;
- последовательно отображают на устройстве отображения полученные изображения слоев и определяют характер смещения изображений слоев друг относительно друга;
- на основе характера смещения изображений слоев выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев,
- выбирают способ поиска соответствия изображений соседних слоев для выравнивания изображений слоев;
- детектируют в трехмерном изображении образца примерное положение контрастных границ между областями изображения разной интенсивности;
- выбирают и отображают на устройстве отображения горизонтальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение контрастной границы;
- выбирают и последовательно отображают на устройстве отображения такие горизонтальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы, на каждом выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение данной границы;
- выбирают и отображают на устройстве отображения вертикальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают точное положение границы;
- выбирают и последовательно отображают на устройстве отображения такие вертикальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы, на каждом выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение границы;
- выравнивают изображения слоев с помощью выбранного способа поиска соответствия изображений соседних слоев для выбранного типа преобразования с учетом наименьшего искажения положения отмеченных границ на вертикальных и горизонтальных продольных сечениях и отображают на устройстве отображения вертикальное и горизонтальное продольные сечения изображения с выровненными изображениями слоев.
2. Способ по п. 1, в соответствии с которым тип преобразования, обеспечивающего выравнивание изображений соседних слоев, выбирают из группы, содержащей произвольное аффинное преобразование, параллельные сдвиги, параллельные сдвиги совместно с масштабированием.
3. Способ по п. 1, в соответствии с которым способ поиска соответствия изображений соседних слоев выбирают из группы, содержащей перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы абсолютных разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы квадратов разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью максимизации коэффициента корреляции между слоями, нахождение соответствия между ключевыми точками слоев.
4. Способ по п. 1, в соответствии с которым примерное положение контрастных границ в трехмерном изображении детектируют с помощью фильтра разность гауссиан и последующего сравнения с предопределенным значением.
5. Система выравнивания слоев изображения, полученного с помощью растрового электронного микроскопа с фокусированным ионным пучком, содержащая:
- по меньшей мере один процессор, сконфигурированный с возможностью выравнивания соседних изображений слоев и обеспечения вывода на устройстве отображения изображений слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия изображений слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения;
- память, предназначенную для хранения исходных изображений слоев, выровненных изображений слоев, трехмерного изображения образца, содержащего примерное положение контрастных границ между областями разной интенсивности, выбранных типа преобразования и способа поиска соответствия соседних слоев для их выравнивания, а также программы с инструкциями, сконфигурированными для выравнивания изображений соседних слоев и обеспечения вывода на устройстве отображения слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения;
- интерфейс пользователя;
- сетевой интерфейс обмена данными;
- устройство отображения с по меньшей мере одним экраном;
- канал обмена данными.
6. Система по п. 5, отличающаяся тем, что интерфейс пользователя выполнен в виде по меньшей мере одного устройства, выбранного из группы: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управления жестами.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020127419A RU2743231C1 (ru) | 2020-08-17 | 2020-08-17 | Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020127419A RU2743231C1 (ru) | 2020-08-17 | 2020-08-17 | Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2743231C1 true RU2743231C1 (ru) | 2021-02-16 |
Family
ID=74666202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020127419A RU2743231C1 (ru) | 2020-08-17 | 2020-08-17 | Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2743231C1 (ru) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090296073A1 (en) * | 2008-05-28 | 2009-12-03 | Lam Research Corporation | Method to create three-dimensional images of semiconductor structures using a focused ion beam device and a scanning electron microscope |
| US8178838B2 (en) * | 2005-04-06 | 2012-05-15 | Carl Zeiss Nts Gmbh | High-density FIB-SEM tomography via real-time imaging |
| US9064328B2 (en) * | 2011-10-14 | 2015-06-23 | Ingrain, Inc. | Dual image method and system for generating a multi-dimensional image of a sample |
| EP2104946B1 (en) * | 2006-10-20 | 2015-08-12 | FEI Company | Method for creating s/tem sample and sample structure |
| RU2704390C2 (ru) * | 2016-12-15 | 2019-10-28 | Акционерное общество "Научно-исследовательский центр по изучению свойств поверхности и вакуума" (АО "НИЦПВ") | Способ трехмерной реконструкции поверхности образца по изображениям, полученным в растровом электронном микроскопе |
-
2020
- 2020-08-17 RU RU2020127419A patent/RU2743231C1/ru active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8178838B2 (en) * | 2005-04-06 | 2012-05-15 | Carl Zeiss Nts Gmbh | High-density FIB-SEM tomography via real-time imaging |
| EP2104946B1 (en) * | 2006-10-20 | 2015-08-12 | FEI Company | Method for creating s/tem sample and sample structure |
| US20090296073A1 (en) * | 2008-05-28 | 2009-12-03 | Lam Research Corporation | Method to create three-dimensional images of semiconductor structures using a focused ion beam device and a scanning electron microscope |
| US9064328B2 (en) * | 2011-10-14 | 2015-06-23 | Ingrain, Inc. | Dual image method and system for generating a multi-dimensional image of a sample |
| RU2610216C2 (ru) * | 2011-10-14 | 2017-02-08 | Ингрейн, Инк. | Способ и система двойного изображения для генерации многомерного изображения образца |
| RU2704390C2 (ru) * | 2016-12-15 | 2019-10-28 | Акционерное общество "Научно-исследовательский центр по изучению свойств поверхности и вакуума" (АО "НИЦПВ") | Способ трехмерной реконструкции поверхности образца по изображениям, полученным в растровом электронном микроскопе |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Theiler et al. | Keypoint-based 4-points congruent sets–automated marker-less registration of laser scans | |
| CN109584156B (zh) | 显微序列图像拼接方法及装置 | |
| US7027628B1 (en) | Automated microscopic image acquisition, compositing, and display | |
| US5592571A (en) | Digital pixel-accurate intensity processing method for image information enhancement | |
| EP2471040B1 (de) | Verfahren und vorrichtung zum zusammenfügen von mehreren digitalen einzelbildern zu einem gesamtbild | |
| JP4806630B2 (ja) | 多軸統合を用いて三次元対象物の光学的画像データを取得する方法 | |
| EP2648206B1 (en) | Transmission electron microscope for reconstructing a three-dimensional structure and transmission electron microscope image reconstruction method | |
| JP6899189B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
| Tasdizen et al. | Automatic mosaicking and volume assembly for high-throughput serial-section transmission electron microscopy | |
| Bishop et al. | Plenoptic depth estimation from multiple aliased views | |
| WO2010050136A1 (ja) | 試料観察方法、及び電子顕微鏡 | |
| Hsu et al. | Automatic seamless mosaicing of microscopic images: enhancing appearance with colour degradation compensation and wavelet‐based blending | |
| KR102468308B1 (ko) | 입자 현미경을 사용하여 영상을 기록하는 방법 | |
| Barbieri et al. | Acquisition of 3D models with submillimeter-sized features from SEM images by use of photogrammetry: A dimensional comparison to microtomography | |
| Martišek | Fast Shape-From-Focus method for 3D object reconstruction | |
| RU2743231C1 (ru) | Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком | |
| Chen et al. | Digital image correlation of SEM images for surface deformation of CMOS IC | |
| Saalfeld | Computational methods for stitching, alignment, and artifact correction of serial section data | |
| Pilchak et al. | Using cross‐correlation for automated stitching of two‐dimensional multi‐tile electron backscatter diffraction data | |
| RU2647645C1 (ru) | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени | |
| JP2010117229A (ja) | 高さ情報取得装置、高さ情報取得方法、及びプログラム | |
| Zhang et al. | A general image misalignment correction method for tomography experiments | |
| Nguyen et al. | The alignment and fusion of multimodal 3D serial sectioning datasets | |
| US8989511B1 (en) | Methods for correcting for thermal drift in microscopy images | |
| Han et al. | Guided filtering based data fusion for light field depth estimation with L0 gradient minimization |