RU2132061C1 - Method for performing automatic adaptive cell segmentation and recognition on cytological preparation images - Google Patents
Method for performing automatic adaptive cell segmentation and recognition on cytological preparation images Download PDFInfo
- Publication number
- RU2132061C1 RU2132061C1 RU97102656A RU97102656A RU2132061C1 RU 2132061 C1 RU2132061 C1 RU 2132061C1 RU 97102656 A RU97102656 A RU 97102656A RU 97102656 A RU97102656 A RU 97102656A RU 2132061 C1 RU2132061 C1 RU 2132061C1
- Authority
- RU
- Russia
- Prior art keywords
- facets
- boundaries
- cytological
- optical density
- circuit
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
Область техники, к которой относится изобретение. The technical field to which the invention relates.
Изобретение относится к системам обработки изображений, системам автоматического распознавания объектов (САРО) и к системам настройки САРО для оптимизации их качества функционирования. The invention relates to image processing systems, systems for automatic recognition of objects (CARO) and to systems for setting CARO to optimize their quality of operation.
Уровень техники
Количественная фото- и морфометрия изображений в поле зрения микроскопа является одним из основных современных методов исследования цитологических препаратов. В последние тридцать лет предприняты многочисленные попытки автоматизировать этот процесс с целью применения в медицинской диагностике широкого круга заболеваний. Фотоморфометрическая информация может быть использована для раннего обнаружения воздействий неблагоприятных факторов внешней среды, для прогноза течения лейкозов, лимфосарком, анемий и др.State of the art
Quantitative photo- and morphometry of images in the field of view of the microscope is one of the main modern methods for the study of cytological preparations. In the past thirty years, numerous attempts have been made to automate this process with the aim of using a wide range of diseases in medical diagnostics. Photomorphometric information can be used for early detection of the effects of adverse environmental factors, for predicting the course of leukemia, lymphosarcoma, anemia, etc.
В настоящее время в ряде ведущих центров США, Европы и Японии ведутся широкомасштабные исследования по созданию приборов, автоматизирующих распознавание и измерение микроскопических изображений клеток в цитологических и гистологических препаратах [1]. Накопленный опыт показал, что задача создания автоматического цитофотоморфометра является с математической и технической точек зрения весьма сложной. Это связано как с высокой вариабельностью клеток и клеточных структур, так и с высоким уровнем шумов и помех, частичной утратой информации в плоских изображениях по сравнению с трехмерным оригиналом, неравномерностью условий окраски в процессе приготовления образцов и т.д. В настоящее время можно считать, что задача создания такого прибора, прежде всего из-за сложности задачи автоматического распознавания и измерения слабоконтрастных цитологических образов, решена лишь частично. Именно этим обстоятельством объясняется безраздельное господство высокопроизводительных проточных цитоанализаторов в медицинской практике, несмотря на преимущества цитоанализатора изображений в гибкости и количестве снимаемых характеристик клеток. Currently, in a number of leading centers in the USA, Europe and Japan, large-scale studies are underway to create devices that automate the recognition and measurement of microscopic images of cells in cytological and histological preparations [1]. The accumulated experience has shown that the task of creating an automatic cytophotomorphometer is very difficult from the mathematical and technical points of view. This is due both to the high variability of cells and cellular structures, as well as to a high level of noise and interference, partial loss of information in flat images compared to a three-dimensional original, uneven coloring conditions during sample preparation, etc. At present, it can be considered that the task of creating such an instrument, primarily because of the complexity of the task of automatic recognition and measurement of low-contrast cytological images, is only partially solved. It is this circumstance that explains the undivided dominance of high-throughput flow cytoanalyzers in medical practice, despite the advantages of the cytoanalyzer of images in the flexibility and number of recorded cell characteristics.
В настоящее время существует количество способов сегментации цитологических изображений, выбор которых определяется конкретной задачи. Например, для контрастных окрашенных препаратов часто применяются хорошо отработанные методы пороговой обработки в сочетании с морфологическими операциями эрозии и дилатации [2]. В этих методах в качестве параметров используются характеристики распределений оптических плотностей объектов. Эти методы эффективны в тех случаях, когда распределения оптической плотности различных сегментируемых объектов имеют незначительные пересечения. Преимуществом таких методов является теоретическая проработка и высокая скорость обработки изображений. Подобный метод достаточно эффективен для сегментации сравнительно простых объектов, таких как изолированные эритроциты или изолированные ядра при окраске по Фельгену. Однако в более сложных случаях, например при исследовании характеристик ядрышек и ядер клеток белой крови, даже в случае отдельно лежащих клеток практически при окрасках любых типов некоторые объекты имеют слабоконтрастные границы и значительные пересечения распределений оптических плотностей различных объектов (цветностей в случае цветных изображений). В этих наиболее информационных случаях эффективность указанных методов невысока. Для подобных задач приходится применять более сложные алгоритмы, использующие кроме характеристик распределения оптических плотностей геометрические свойства границ сегментируемых объектов. Примером является работа [3] по сегментации изображений в маммологии. Для цитологических исследований, когда необходимо обработать большое количество изображений, такие методы, по нашим данным, в практической реализации до сих пор не применялись. Это связано, по-видимому, со сложностью существующих общих методов и отсутствием для них эффективных вычислительных схем. Currently, there are a number of methods for segmenting cytological images, the choice of which is determined by a specific task. For example, for contrasting stained preparations, well-developed threshold treatment methods are often used in combination with morphological operations of erosion and dilatation [2]. In these methods, the characteristics of the distribution of optical densities of objects are used as parameters. These methods are effective in cases where the optical density distributions of various segmented objects have insignificant intersections. The advantage of such methods is a theoretical study and high speed image processing. A similar method is quite effective for the segmentation of relatively simple objects, such as isolated red blood cells or isolated nuclei during Felgen staining. However, in more complex cases, for example, when studying the characteristics of nucleoli and nuclei of white blood cells, even in the case of separately lying cells, almost during staining of any type, some objects have low-contrast boundaries and significant intersections of the optical density distributions of various objects (color in the case of color images). In these most informational cases, the effectiveness of these methods is low. For such tasks it is necessary to apply more complex algorithms that use, in addition to the characteristics of the distribution of optical densities, the geometric properties of the boundaries of segmented objects. An example is the work [3] on image segmentation in mammology. For cytological studies, when it is necessary to process a large number of images, such methods, according to our data, have not yet been applied in practical implementation. This is apparently due to the complexity of the existing general methods and the lack of effective computational schemes for them.
В [4] нами был предложен способ сегментации и распознавания клеток на цитологических изображениях, включающий телевизионный съем увеличенного изображения цитологического препарата мазка периферической крови с окраской, в частности, по Крокеру и обработку оцифрованного изображения, состоящий в том, что оцифрованное изображение разбивают на первичные сегментированные связные фрагменты, однородные по оптической плотности, и итерационно объединяют в образы соответствующей заданной модели распределения механической нагрузки в несущих структурах клетки. Недостатком указанного способа является отсутствие способа подбора априорных параметров модели, значения которых влияют на качество распознавания. In [4], we proposed a method for segmentation and recognition of cells in cytological images, including television recording of an enlarged image of a cytological preparation of a smear of peripheral blood with a color, in particular, according to Crocker and processing of the digitized image, consisting in the fact that the digitized image is divided into primary segmented images connected fragments homogeneous in optical density and iteratively combine into images of the corresponding given model of the distribution of mechanical load in carriers with cell structures. The disadvantage of this method is the lack of a method for selecting a priori model parameters, the values of which affect the quality of recognition.
Теоретическое обоснование этого способа было получено позднее в работе [5] авторов настоящего изобретения. Оказалось, что явный вид критерия объединения участков может быть получен исходя из модели активного контура [3] с использованием фасетной схемы сегментации [6]. Модель контура зависит от ряда параметров упругих свойств контура. Общим недостатком способа сегментации и распознавания в [4], [5] является неучет при объединении фрагментов кривизны границ фасетов, которая входит в модель активного контура, и необходимость ручного подбора ряда параметров модели. The theoretical rationale for this method was obtained later in the work [5] of the authors of the present invention. It turned out that the explicit form of the criterion for combining sites can be obtained on the basis of the active circuit model [3] using the faceted segmentation scheme [6]. The contour model depends on a number of parameters of the elastic properties of the contour. A common drawback of the method of segmentation and recognition in [4], [5] is the neglect when combining fragments of the curvature of the borders of the facets, which is part of the active contour model, and the need to manually select a number of model parameters.
Один из подходов к настройке параметров САРО на заданный класс изображений предложен в [7], где описан адаптивный сигнальный процессор на основе знаний и моделей (АСПОЗМ). Преложенная в [7] система автоматически подстраивает параметры САРО при изменении характеристик изображения, так что САРО может поддерживать оптимальное качество функционирования. АСПОЗМ подстраивает параметры САРО на основе изменений сцены/изображения/сигнала и используют формальные модели предсказания качества функционирования на основе моделей качества функционирования. Модели качества функционирования являются непрерывными поверхностями, которые строятся по результатам тестирования САРО по тщательно подбираемых примерах изображений и проверяются на экзаментационных изображениях. Модели качества функционирования в АСПОЗМ являются параметрическими, т.е. предполагается наличие явной зависимости качества функционирования САРО от фиксированного списка метрик изображения и параметров алгоритмов распознавания и сегментации. В случае сегментации достаточно сложных объектов эффективность такого подхода невысока из-за сложного характера поведения функции и связанной с этим необходимости весьма большого числа экспериментов по настройке параметров алгоритма. Поэтому актуальной является разработка такого способа адаптации параметров алгоритма сегментации, который использовал бы специфику объектов сегментации и алгоритма сегментации, позволял бы производить адаптацию алгоритма сегментации в процессе работы к реальным цитологическим изображениям с учетом их изменчивости и в то же время обладал бы достаточно малой вычислительной сложностью с тем, чтобы была возможна его реализация на вычислительных средствах типа IBM PC. One of the approaches to setting the CARO parameters for a given class of images was proposed in [7], which describes an adaptive signal processor based on knowledge and models (AEPSM). The system proposed in [7] automatically adjusts the parameters of the CARO when changing the characteristics of the image, so that the CARO can maintain the optimal quality of operation. ASPOSM adjusts CAPO parameters based on scene / image / signal changes and uses formal models for predicting the quality of functioning based on models of the quality of functioning. Models of the quality of functioning are continuous surfaces, which are built according to the results of testing by CARO using carefully selected examples of images and are tested on examination images. Models of the quality of functioning in the ASPOSM are parametric, i.e. it is assumed that there is a clear dependence of the quality of the CARO on a fixed list of image metrics and parameters of recognition and segmentation algorithms. In the case of segmentation of rather complex objects, the effectiveness of this approach is low due to the complex nature of the behavior of the function and the associated need for a very large number of experiments to adjust the algorithm parameters. Therefore, it is urgent to develop such a method of adapting the parameters of the segmentation algorithm that would use the specifics of the objects of segmentation and the segmentation algorithm, would allow the adaptation of the segmentation algorithm during operation to real cytological images, taking into account their variability, and at the same time would have a fairly small computational complexity with so that it can be implemented on computing tools such as IBM PC.
Сущность изобретения
Целью изобретения является разработка адаптивного способа сегментации изображений цитологических объектов с учетом характеристик кривизны границ однородных участков изображений и способа адаптации параметров алгоритма сегментации изображений цитологических объектов, который использовал бы специфику объектов сегментации и алгоритма сегментации, позволял бы производить адаптацию алгоритма сегментации в процессе работы к реальным цитологическим изображениям с учетом их изменчивости и в то же время обладал бы достаточной малой вычислительной сложностью с тем, чтобы была возможна его реализация на вычислительных средствах типа IBM PC.SUMMARY OF THE INVENTION
The aim of the invention is the development of an adaptive method for segmenting images of cytological objects, taking into account the characteristics of the curvature of the boundaries of homogeneous image sections and a method for adapting the parameters of the image segmentation algorithm of cytological objects, which would use the specifics of segmentation objects and the segmentation algorithm, would allow the adaptation of the segmentation algorithm in the process to real cytological images taking into account their variability and at the same time would have had a sufficient small calculation illustrative complexity so that it can be implemented on computing tools such as IBM PC.
Решение поставленной задачи достигается за счет специализации класса используемых моделей алгоритмов распознавания и за счет использования методов непараметрического оценивания параметров алгоритма средствами обучения с учителем. Предлагаемый в настоящем изобретении способ сегментации применим к изображениям клеток таких препаратов, как мазки с поверхности шейки матки, вытяжки лимфатических узлов, мазки периферической крови и другие. Для клеток препаратов этого класса характерны округлые очертания клеточных структур (цитоплазм, ядер, ядрышек), связанные с относительной мягкостью видимых пограничных мембран и доминирующим влиянием на их форму внутриклеточных факторов. The solution to this problem is achieved through specialization of the class of used models of recognition algorithms and through the use of non-parametric estimation of algorithm parameters by teaching tools with a teacher. The method of segmentation proposed in the present invention is applicable to images of cells of such preparations as smears from the surface of the cervix, extracts of lymph nodes, smears of peripheral blood and others. The cells of preparations of this class are characterized by rounded outlines of cell structures (cytoplasms, nuclei, nucleoli) associated with the relative softness of visible border membranes and the dominant influence of intracellular factors on their shape.
Основным предметом изобретения является разработка адаптивного способа сегментации и распознавания клеток на изображениях цитологических объектов, использующего оптимизацию функционала энергии контуров. The main subject of the invention is the development of an adaptive method of segmentation and recognition of cells in images of cytological objects using optimization of the energy functional of the contours.
Применение модели класса клеток "с доминирующими внутренними факторами формы" позволяет предложить способ распознавания цитологических образов, работоспособный в условиях слабоконтрастных границ объектов. The use of the cell class model “with dominant internal form factors” allows us to propose a method for recognizing cytological images, which works under conditions of low-contrast boundaries of objects.
Предлагаемый способ распознавания состоит в определении функционалов энергии контуров клеточных компонентов (ядрышка, ядра и цитоплазмы), разбиение изображения на однородные по цветояркости фрагменты (фасеты) и формировании областей изображений клеточных компонент путем объединения фасетов с использованием критерия объединения, обеспечивающего минимизацию функционала энергии контура. Существенными факторами, определяющими решение об объединении фасетов, являются доля общей границы двух фасетов в периметре одного из них, средняя кривизна границ фасетов и разность оптических плотностей. The proposed recognition method consists in determining the energy functionals of the contours of cellular components (nucleolus, nucleus, and cytoplasm), dividing the image into fragments (facets) that are uniform in color brightness and forming image regions of cellular components by combining facets using a union criterion that minimizes the energy of the circuit. Significant factors determining the decision to combine facets are the share of the common border of two facets in the perimeter of one of them, the average curvature of the facets and the difference in optical densities.
Адаптация алгоритма распознавания под конкретный класс изображений цитологических препаратов производится определением параметров модели контуров цитологических объектов с использованием метода обучения с учителем на реальных изображениях. The recognition algorithm is adapted to a specific class of images of cytological preparations by determining the parameters of the model of the contours of cytological objects using the teaching method with a teacher on real images.
Перечень фигур чертежей
Фиг. 1. Пример разбиения изображения клетки на фасеты.List of drawings
FIG. 1. An example of splitting a cell image into facets.
Фиг. 2. Примеры некоторых значений функции близости фасетов. FIG. 2. Examples of some values of the facet proximity function.
Сведения, подтверждающие возможность осуществления изобретения
1. Способ распознавания и сегментации цитологических объектов
Используемый в САРО алгоритм распознавания и сегментации цитологических объектов основан следующей модели клетки, описывающую формообразующие факторы клетки в сухом цитологическом препарате.Information confirming the possibility of carrying out the invention
1. The method of recognition and segmentation of cytological objects
The algorithm for recognition and segmentation of cytological objects used in CAPO is based on the following cell model that describes the formative factors of the cell in a dry cytological preparation.
Будем предполагать, что зафиксированная форма интересующих нас внутриклеточных объектов (ядрышек, ядер, цитоплазмы) зависит от упругих свойств соответствующих мембран, а также от воздействующих на мембраны "внешних сил", возникающих в процессе фиксации и окраски клетки. При определении характера внешних сил будем считать, что они зависят от разности концентраций вещества по обе стороны мембраны и что средняя парциальная плотность вещества в объеме некоторого фрагмента клетки пропорциональна средней оптической плотности вещества этого фрагмента (закон Бэра-Ламберта). Чтобы перейти от мембраны к контуру, то есть к характеристикам плоского двумерного изображения, будем считать, что либо клетка достаточно хорошо распластана, так что ее высота мала по сравнению с размерами изображения, либо изображение соответствует некоторому внутреннему достаточно тонкому слою клетки, находящемуся в фокусе, и что вкладом в суммарную плотность находящихся не в фокусе переднего и заднего слоев клетки можно пренебречь. Предполагая, что энергия упругости пропорциональна длине контура, а энергия изгиба пропорциональна как длине контура, так и его кривизне, полную энергию контура E(ν) с учетом энергии внешних сил можно записать в виде
E(ν) = P(ν)•(W1•D(ν)+W2+W3•K(ν)),
где P(ν) - длина контура ν;
K(ν) - средняя кривизна ν;
D(ν) - средняя оптическая плотность контура ν. Считая, что в устойчивом состоянии форма контура соответствует некоторому минимуму его энергии, получаем в качестве искомого местоположения границы клеточного объекта в плоскости кадра контур, соответствующий минимуму (1).We will assume that the fixed shape of the intracellular objects of interest to us (nucleoli, nuclei, cytoplasm) depends on the elastic properties of the corresponding membranes, as well as on the “external forces” acting on the membranes that arise in the process of cell fixation and staining. In determining the nature of external forces, we assume that they depend on the difference in the concentrations of the substance on both sides of the membrane and that the average partial density of the substance in the volume of a certain fragment of the cell is proportional to the average optical density of the substance of this fragment (Baire-Lambert law). In order to move from the membrane to the contour, that is, to the characteristics of a flat two-dimensional image, we will assume that either the cell is well enough flattened, so that its height is small compared to the image size, or the image corresponds to a certain rather thin inner layer of the cell in focus, and that the contribution to the total density of the anterior and posterior layers of the cell that are out of focus can be neglected. Assuming that the elastic energy is proportional to the length of the contour, and the bending energy is proportional to both the length of the contour and its curvature, the total energy of the contour E (ν), taking into account the energy of external forces, can be written as
E (ν) = P (ν) • (W 1 • D (ν) + W 2 + W 3 • K (ν)),
where P (ν) is the length of the contour ν;
K (ν) is the average curvature of ν;
D (ν) is the average optical density of the circuit ν. Assuming that in a steady state, the shape of the contour corresponds to a certain minimum of its energy, we obtain, as the desired location of the boundary of the cellular object in the plane of the frame, the contour corresponding to the minimum (1).
В целом модель (1) можно рассматривать не только как содержательную модель биофизических свойств клетки, но и как формальное описание контура мембраны разложением в ряд с точностью до членов второго порядка. При этом параметры разложения W1, W2, W3 могут быть определены путем минимизации невязки с реальными реализациями. Минимизация (1) традиционными непрерывными методами для цитологических объектов, имеющих, как правило, пеструю текстуру, приводит к значительным трудностям ввиду многоэкстремальности E(ν) при значительных колебаниях в значениях D(ν). Нами предложено [5] в подобных ситуациях применять так называемую "фасетную" схему сегментации [6], когда изображение из каких-либо соображений сначала разбивается на совокупность { F1} связных областей - "фасетов" (см. фиг. 1), а затем путем итерационного объединения соседних фасетов "выращиваются" объекты сегментации.In general, model (1) can be considered not only as a meaningful model of the biophysical properties of the cell, but also as a formal description of the membrane contour by expanding it in a row up to second-order terms. Moreover, the decomposition parameters W 1 , W 2 , W 3 can be determined by minimizing the discrepancy with real implementations. Minimization of (1) by traditional continuous methods for cytological objects, which, as a rule, have a variegated texture, leads to significant difficulties due to the multi-extremality of E (ν) with significant fluctuations in the values of D (ν). We proposed [5] in such situations to use the so-called “faceted” segmentation scheme [6], when the image is first broken up into a set of {F 1 } connected areas - “facets” for some reason (see Fig. 1), and then, by iteratively combining neighboring facets, segmentation objects are “grown”.
Рассмотрим на изображении две соседние области (фасеты) A и B, имеющие общую границу длиной Lab со средней оптической плотностью Dab и средней кривизной Kab. Пусть оставшиеся части границ областей имеют характеристики La, Da, Ka, Lb, Db и Kb соответственно. Для того, чтобы при объединении A и B энергия их общего внешнего контура уменьшилась, из (1) следует необходимость выполнения условия
q=Lab/Lb>(W2+W3•Kb+ W1•Db)/(W2+W3•Kab+ W1•Dab). (2)
Из (2) получаем, что при прочих равных условиях, при объединении фасетов уменьшение энергии нового контура по сравнению с энергией каждого из объединяемых контуров будет происходить на границах однородных по оптической плотности областей там, где оптическая плотность значительно изменяется. С другой стороны, при значительном возрастании кривизны или длины объединенного контура его энергии может возрасти несмотря на уменьшение оптической плотности. Доля общей границы фасетов (до объединения) q=Lab /Lb как раз является приближенной оценкой возрастания длины контура и его кривизны после объединения. Действительно, при q/l один из фасетов охватывает другой фасет, и их объединение может только уменьшить длину и кривизну контура. При q, близком к нулю, объединенный контур возрастает по длине и кривизне. Указанные соотношения проиллюстрированы на фиг. 2. Таким образом, естественно использовать алгоритм поиска границ цитологических объектов, который рассматривает только кривые, состоящие из границ между однородными по оптической плотности фасетами. При итерационном объединении фасетов используется условие вида (5). Мы приходим к сочетанию модели активного контура с фасетной схемой сегментации.Consider two adjacent regions (facets) A and B in the image, having a common boundary of length L ab with average optical density D ab and average curvature K ab . Let the remaining parts of the boundaries of the regions have the characteristics L a , D a , K a , L b , D b and K b, respectively. In order to reduce the energy of their common external contour when A and B are combined, it follows from (1) that the condition
q = L ab / L b > (W 2 + W 3 • K b + W 1 • D b ) / (W 2 + W 3 • K ab + W 1 • D ab ). (2)
From (2) we obtain that, ceteris paribus, when the facets are combined, the decrease in the energy of the new circuit as compared with the energy of each of the combined circuits will occur at the boundaries of regions homogeneous in optical density where the optical density varies significantly. On the other hand, with a significant increase in the curvature or length of the combined contour, its energy can increase despite a decrease in optical density. The fraction of the overall facet boundary (before unification) q = L ab / L b is just an approximate estimate of the increase in the length of the contour and its curvature after unification. Indeed, at q / l, one of the facets covers the other facet, and their union can only reduce the length and curvature of the contour. At q close to zero, the combined contour increases in length and curvature. These ratios are illustrated in FIG. 2. Thus, it is natural to use an algorithm for searching the boundaries of cytological objects, which considers only curves consisting of boundaries between facets that are uniform in optical density. When iteratively combining facets, a condition of the form (5) is used. We come to a combination of the active contour model with the faceted segmentation scheme.
Наряду с контекстными условиями типа (2) при решении вопроса об объединении фасетов применяют также пороговые ограничения на допустимые значения оптической плотности в красном, синем и зеленом цвете и на площади фасетов (как первичных, так и на каждой итерации объединения):
Zc 1<Dc a, Dc ab, Dc b<Zc 2, c=r,g,b,
Z3<Sa,Sb<Z4, (3)
Ограничения (3) позволяют учесть априорную информацию о неконтекстных свойствах объектов клеток. Чем сильнее ограничения (3), тем ближе работа алгоритма к обычным методам пороговой обработки.Along with contextual conditions of type (2), when solving the question of combining facets, threshold restrictions are also applied on the allowable values of optical density in red, blue, and green and on the area of the facets (both primary and at each iteration of the union):
Z c 1 <D c a , D c ab , D c b <Z c 2 , c = r, g, b,
Z 3 <S a , S b <Z 4 , (3)
Constraints (3) make it possible to take into account a priori information about non-contextual properties of cell objects. The stronger the constraints (3), the closer the algorithm is to conventional threshold processing methods.
Ввиду сложной структуры клеток и разных характеристик различных клеточных структур в алгоритме распознавания, выделяющем не только внешние границы клеток, но и внутриклеточные объекты (ядрышки, ядра, цитоплазма), необходимо использовать несколько операторов с условиями типа (2), (3). Каждый такой оператор в общем случае имеет свой собственный набор значений W и Z. Due to the complex structure of cells and different characteristics of various cellular structures in the recognition algorithm, which identifies not only the external borders of cells, but also intracellular objects (nucleoli, nuclei, cytoplasm), it is necessary to use several operators with conditions like (2), (3). Each such operator in the general case has its own set of values of W and Z.
2. Применение настройки параметров САРО
Основной проблемой при практической реализации описанного в п. 1 способа распознавания являлся подбор довольно большого числа параметров Wt и Zt в (2), (3) для объектов каждого типа t и выбор последовательности применения элементарных функций обработки изображений. В связи со сложной топологией клетки и принятой схемы "выращивания" объектов распознавания как последовательности объемлющих объектов (ядрышки, ядра вокруг ядер, цитоплазмы вокруг ядер) в алгоритме применяется несколько вызовов операторов объединения фасетов с различными наборами значений W. Первочанально, до реализации средств адаптации, была предпринята попытка подобрать под каждый тип цитологического препарата свой фиксированный вариант значений параметров W и Z. Даже для изображений клеток препарата одного и того же типа подбор W и Z оказался затруднительным. Основной причиной этого являлась огромная вариабельность окраски клеток. Довольно скоро стало очевидным, что для всего многообразия препаратов и главное в условиях ручных технологий приготовления препаратов с применением красителей и фиксаторов различного качества заранее подобрать необходимое количество вариантов настройки алгоритма распознавания не удастся.2. Application of CAPO parameter settings
The main problem in the practical implementation of the recognition method described in Section 1 was the selection of a fairly large number of parameters W t and Z t in (2), (3) for objects of each type t and the choice of the sequence of application of elementary image processing functions. Due to the complex cell topology and the adopted scheme of “growing” recognition objects as a sequence of enclosing objects (nucleoli, nuclei around nuclei, cytoplasm around nuclei), the algorithm uses several calls of facet combining operators with different sets of W. First, before implementing adaptation tools, an attempt was made to select for each type of cytological preparation its own fixed variant of the values of the parameters W and Z. Even for images of cells of the drug of the same type, the selection of W and Z turned out to be difficult. The main reason for this was the huge variability in cell staining. Pretty soon it became apparent that for the whole variety of preparations and most importantly, in the conditions of manual preparation technologies of preparations using dyes and fixatives of various quality, it would not be possible to pre-select the necessary number of options for adjusting the recognition algorithm.
После проведения настройки условий (3) индивидуально для каждого препарата результаты экспериментов коренным образом изменились. Выполненный в результате кропотливой экспериментальной работы с использованием обучения подбор параметров W1 - W3 для препаратов Ag-NОR реакции лимфоцитов (мазки периферической крови) оказался практически без изменений применим к препаратам всех остальных рассмотренных типов (неокрашенных эритроциты, моноциты и лимфоциты в мазке крови окраска по Романовскому-Гимза, отпечатки лимфатических узлов с окраской AG-NOR). Различия в алгоритмах распознавания для указанных различных типов препаратов были сведены к различной "сборке" клеток в зависимости от ее состава (наличие или отсутствие ядрышек, ядер, цитоплазмы).After adjusting the conditions (3) individually for each drug, the experimental results have fundamentally changed. The selection of the parameters W 1 - W 3 for the Ag-NOR preparations of the lymphocyte reaction (peripheral blood smears) performed as a result of painstaking experimental work using training turned out to be practically unchanged; according to Romanovsky-Giemsa, imprints of lymph nodes with AG-NOR staining). Differences in recognition algorithms for these various types of drugs were reduced to different "assembly" of cells depending on its composition (presence or absence of nucleoli, nuclei, cytoplasm).
Таким образом, результаты проведенных экспериментов показали, что значения параметров W модели клетки (1) остаются весьма устойчивыми для изображений клеток всех рассмотренных типов в условиях различных окрасок. И наоборот, параметры Z значительно различаются для разных типов препаратов и их окрасок. Thus, the results of the experiments showed that the values of the parameters W of the cell model (1) remain very stable for images of cells of all considered types under various stains. Conversely, the Z parameters differ significantly for different types of drugs and their colors.
3. Способ настройки параметров модели
Способ настройки позволяет оператору в диалоговом режиме на обучающей выборке изображений клеток препарата неявно задать параметры W и Zct в (2) и (3) для каждого цвета c=r,g,b и для каждого типа t объектов клетки.3. The way to configure model parameters
The setup method allows the operator to implicitly set the parameters W and Z ct in (2) and (3) for each color c = r, g, b and for each type of t objects of the cell in an interactive mode on a training set of images of drug cells.
В случае настройки Zct 1, Zct 2 оператор с помощью зонда монитора закрашивает интересующие его клеточные структуры (т.е. подлежащие автоматическому распознаванию и измерению), и система определяет минимальные и максимальные значения оптической плотности фасетов по обучающей выборке.In the case of setting Z ct 1 , Z ct 2, the operator, using the monitor probe, paints over the cellular structures of interest (i.e., subject to automatic recognition and measurement), and the system determines the minimum and maximum optical densities of facets from the training sample.
Значения параметров Zct 3, Zct 4 вводятся непосредственно экспертом и определяют допустимые площади объектов, которые могут получаться в результате применения алгоритма сегментации.The values of the parameters Z ct 3 , Z ct 4 are entered directly by the expert and determine the allowable area of objects that can be obtained as a result of applying the segmentation algorithm.
Определение параметров W в (2) является значительно более сложной задачей. Оно может быть выполнено с использованием обучающих кадров, для которых оператором-цитологом проведены обучающие "истинные" границы клеток и внутриклеточных компонент. Выборка истинных границ клеток обучающей выборки может быть получена либо одновременно с адаптацией параметров Zt, либо в сеансе ручной сегментации с проведением границ на экране монитора с помощью манипулятора мышь. После разбиения кадров на фасеты для каждой пары соседних фасетов с помощью обучающих границ определяют, подлежат в случае t-ого типа цитологических объектов (t= 1,2,3 для ядрышек, ядер и цитоплазм соответственно) склейке в операторе (2) или нет. Таким образом получают обучающую выборку { Xi} , i = 1,...,I границ фасетов шести классов: Mt (склеивать) и St (не склеивать), t=1,2,3. Из (2) получают линейное решающее правило классификации элементов {Xi}:
(Wt, Xi)<0, если Xi принадлежит Mt; (4)
(Wt, Xi)≥0, если Xi принадлежит St, i=1,2,...,I,
где
(Wt, Xi)=Wt 1 •(Db•q+Dab) +Wt 2 •(q=1)+Wt 3 •(q•Kb-Kab).The determination of the parameters W in (2) is a much more complicated task. It can be performed using training frames, for which training "true" borders of cells and intracellular components have been carried out by a cytologist. A sample of the true cell boundaries of the training sample can be obtained either simultaneously with the adaptation of the parameters Z t , or in a manual segmentation session with drawing borders on the monitor screen using the mouse. After dividing the frames into facets, for each pair of adjacent facets using the training boundaries, it is determined whether, in the case of the tth type of cytological objects (t = 1,2,3 for nucleoli, nuclei, and cytoplasms, respectively), gluing in the operator (2) or not. Thus, a training sample {X i }, i = 1, ..., I, of the boundaries of the facets of six classes is obtained: M t (glue) and S t (do not glue), t = 1,2,3. From (2) we obtain a linear decision rule for the classification of elements {X i }:
(W t , X i ) <0 if X i belongs to M t ; (4)
(W t , X i ) ≥0 if X i belongs to S t , i = 1,2, ..., I,
Where
(W t , X i ) = W t 1 • (D b • q + D ab ) + W t 2 • (q = 1) + W t 3 • (q • K b -K ab ).
Задача определения Wt в (4) является известной математической задачей "обучения распознаванию образов с учителем в статистической постановке" [8]. Оптимальную в смысле минимизации числа неправильно склеенных фасетов матрицу W получают в результате решения системы линейных неравенств (4) одним из известных методов, например методом линейного дискриминантного анализа [9].The problem of determining W t in (4) is a well-known mathematical problem of “teaching pattern recognition with a teacher in a statistical setting” [8]. The matrix W, which is optimal in the sense of minimizing the number of incorrectly glued facets, is obtained by solving the system of linear inequalities (4) using one of the known methods, for example, the linear discriminant analysis method [9].
В обучающей выборке границ {Xi} в принципе могут участвовать не только все пары соседних исходных первичных фасетов, но и пары вторичных фасетов, получающихся после нескольких итераций их объединения. Общее число элементов I в {Xi} при этом может оказаться недопустимо большим (>106) для практически реализуемых вычислительных методов решения (4). Кроме того, виду вариабельности формы для каждого типа объектов клетки фактически может оказаться необходимым найти несколько вариантов параметров Wt границы. Это соответствует дополнительному увеличению размерности (4). Включать все возможные границы фасетов в (4), однако, нет необходимости, поскольку большинство границ фасетов сходны между собой с точки зрения критерия (2). Поэтому целесообразно применять какую-либо процедуру отбора обучающих границ, в частности включать в обучающую выборку {Xi} только границы, неправильно отсегментированные алгоритмом с априори заданными значениями параметров W. Далее процесс обучения параметров W повторяют итерационно, используя для отбора обучающих границ результаты сегментации с помощью алгоритма со значениями параметров W, полученными на предыдущей итерации.In principle, not only all pairs of adjacent source primary facets, but also pairs of secondary facets obtained after several iterations of their union can participate in the training boundary sample {X i }. In this case, the total number of elements I in {X i } may turn out to be unacceptably large (> 10 6 ) for practically implemented computational methods for solving (4). In addition, in view of the form variability for each type of cell object, it may actually be necessary to find several options for the parameters W t of the boundary. This corresponds to an additional increase in dimension (4). However, it is not necessary to include all possible facet boundaries in (4), since most facet boundaries are similar to each other in terms of criterion (2). Therefore, it is advisable to apply some kind of training boundary selection procedure, in particular, to include in the training sample {X i } only boundaries incorrectly segmented by an algorithm with a priori given values of W. Then the training process of parameters W is repeated iteratively, using segmentation results with using an algorithm with the values of the parameters W obtained at the previous iteration.
4. Результаты экспериментальной проверки способа настройки параметров
Анализ результатов проведенных экспериментов показал, что значения параметров алгоритма распознавания W1-W3, то есть параметров, соответствующих модели клетки (1)-(3), остаются весьма устойчивыми для изображений клеток различных типов в условиях различных окрасок. Если клетки препарата прокрасились примерно одинаково, как правило, достаточно 3-10 обучающих кадров для диалогового подбора параметров Z1, Z2, после чего на последующих кадрах система работает в режиме, близком к автоматическому (роль оператора сводится в оценке качества распознавания клеток). В случае значительной неравномерности прокраски препарата необходима периодическая корректировка параметров Z1, Z2.4. The results of experimental verification of the method of setting parameters
An analysis of the results of the experiments showed that the values of the parameters of the recognition algorithm W 1 -W 3 , that is, the parameters corresponding to the cell model (1) - (3), remain very stable for images of cells of various types under different stains. If the cells of the preparation have stained approximately the same, as a rule, 3-10 training frames are sufficient for the interactive selection of parameters Z 1 , Z 2 , after which the system works in subsequent frames in a nearly automatic mode (the role of the operator is to evaluate the quality of cell recognition). In the case of significant unevenness of the dyeing of the drug, periodic adjustment of the parameters Z 1 , Z 2 is necessary.
Литература
1. Linder J. Considelations in automated cytology//Compendium on tre Computerized Cytology and Histology Laboratory. Tutorials of Cytology.-Chicago.- 1994. - P. 25.Literature
1. Linder J. Considelations in automated cytology // Compendium on tre Computerized Cytology and Histology Laboratory. Tutorials of Cytology.-Chicago.- 1994. - P. 25.
2. Serra J. Examples of structuring functions and their uses //Image Analysis and Mathematical Morphology.-Vl. 2/ed. by. Serra S.-New York:Springer Verlag.-1988.-P. 71 -99. 2. Serra J. Examples of structuring functions and their uses // Image Analysis and Mathematical Morphology.-Vl. 2 / ed. by. Serra S.-New York: Springer Verlag.-1988.-P. 71 -99.
3. Cohen L.D., Cohen I. Finite-Element Methods for Active Contour Models and Balloons for 2-D and 3-D Images //IEEE Trans. Pattern Anal. Mach. Intell.- 1993.-Vol. 15.-N 11.- P. 1131 - 1147. 3. Cohen L.D., Cohen I. Finite-Element Methods for Active Contour Models and Balloons for 2-D and 3-D Images // IEEE Trans. Pattern Anal. Mach. Intell.- 1993.-Vol. 15.-N 11.- P. 1131 - 1147.
4. Способ распознавания и измерения диагностических характеристик цитологических объектов: Заявка 29.07.93 N 93-039067/14 (038576) (прототип способа распознавания). 4. A method for recognizing and measuring diagnostic characteristics of cytological objects: Application 07.29.93 N 93-039067 / 14 (038576) (prototype recognition method).
5. VL. S. Medovy, A.V. Ivanov, I.А. Ivanova, Vit.S.Medovy, N.V.Verdenskaya. Active contour model in cytological image recognition. IS & T/SPIE Proc. Vol. 2421, SanJoce, USA, February 1995. 5. VL. S. Medovy, A.V. Ivanov, I.A. Ivanova, Vit.S. Medovy, N.V. Verdenskaya. Active contour model in cytological image recognition. IS & T / SPIE Proc. Vol. 2421, SanJoce, USA, February 1995.
6. Pong T. C., Shapiro L.G., Watson L.T., Haralick R.M. Experiments in segmentation using а facet model region gromer //Comput. Vision Graphics Image Process.-Vol. 25/-N1.-1984.-P. 1 - 23. 6. Pong T. C., Shapiro L.G., Watson L.T., Haralick R.M. Experiments in segmentation using a facet model region gromer // Comput. Vision Graphics Image Process.-Vol. 25 / -N1.-1984.-P. 1 - 23.
7. Nasr H. N., Sadjadi F.A. Bazakos M.E., Amehdi H.Knowledge and model based adaptive signal processor. Патент США 5,018,215, 21.05.91, МКИ G 06 K 9/62, НКИ 382/15 (прототип способа настройки параметров). 7. Nasr H. N., Sadjadi F.A. Bazakos M.E., Amehdi H. Knowledge and model based adaptive signal processor. US patent 5,018,215, 05.21.91, MKI G 06 K 9/62, NKI 382/15 (prototype method of setting parameters).
8. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Статистические проблемы обучения.-Москва: Наука.-1974. 8. Vapnik V.N., Chervonenkis A.Ya. Theory of pattern recognition. Statistical problems of learning. Moscow: Nauka. 1974.
9. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и Статистика. -1989.-607 с. 9. Ayvazyan S.A., Buchstaber V.M., Enyukov I.S., Meshalkin L.D. Applied statistics. Classification and reduction of dimension. M .: Finance and Statistics. -1989.-607 p.
Claims (2)
q = Lab/ Lb>(W2+W3•Кb+W1•D2)/(W2+W3•Кab+W1Dab),
Z1<Da, Dab, Db< Z2,
Z3< Sа, Sb< Z4,
где W1, W2, W3, Z1 - Z4 - параметры модели границ цитологических объектов, а именно
W1 - коэффициент при средней оптической плотности в выражении энергии контура через длину контура, среднюю оптическую плотность контура и среднюю кривизну контура;
W2 - свободный член в выражении энергии контура через длину контура, среднюю оптическую плотность контура и среднюю кривизну контура;
W3 - коэффициент при средней кривизне контура в выражении энергии контура через длину контура, среднюю оптическую плотность контура и среднюю кривизну контура;
Z1 - нижняя граница значений оптической плотности фасетов цитологических объектов;
Z2 - верхняя граница значений оптической плотности фасетов цитологических объектов;
Z3 - нижняя граница значений площади фасетов цитологических объектов;
Z4 - верхняя граница значений площади фасетов цитологических объектов.1. A method of segmentation and recognition of cells in enlarged images of the microscope field of view, consisting in the fact that the digitized image is divided into primary connected fragments (facets), homogeneous in optical density, and iteratively combine them into simply connected areas according to criteria specified by the model of characteristics of the boundaries of cytological objects, characterized in that two adjacent facets A and B, having areas S a and S b , have a common border of length L ab with an average optical density of D ab and an average curvature of K ab , where the remaining parts of the boundaries these facets have the characteristics L a , D a , K a and L b , D b , K b, respectively, are combined when the conditions
q = L ab / L b > (W 2 + W 3 • K b + W 1 • D 2 ) / (W 2 + W 3 • K ab + W 1 D ab ),
Z 1 <D a , D ab , D b <Z 2 ,
Z 3 <S a , S b <Z 4 ,
where W 1 , W 2 , W 3 , Z 1 - Z 4 - model parameters of the boundaries of cytological objects, namely
W 1 is the coefficient at the average optical density in terms of the energy of the loop through the length of the loop, the average optical density of the loop and the average curvature of the loop;
W 2 - a free term in the expression of the energy of the circuit through the length of the circuit, the average optical density of the circuit and the average curvature of the circuit;
W 3 - coefficient at the average curvature of the circuit in terms of the energy of the circuit through the length of the circuit, the average optical density of the circuit and the average curvature of the circuit;
Z 1 - the lower limit of the optical density of facets of cytological objects;
Z 2 - the upper limit of the optical density of the facets of cytological objects;
Z 3 - the lower boundary of the area values of facets of cytological objects;
Z 4 is the upper limit of the area values of facets of cytological objects.
(Wt, X1) < 0, если Хi подлежит объединению;
(Wt, X1) ≥ 0, если Xi не подлежит объединению, i =1,2, ..., I,
где
(Wt, X1) = Wt 1(Dbq+Dab)+ Wt 2(q-1)+ Wt 3(q•Kb-Kab),
и оптимальную в смысле минимизации числа неправильно объединяемых фасетов матрицу W =(Wt) получают в результате решения указанной системы линейных неравенств одним из известных методов, например методом линейного дискриминантного анализа.2. The method according to claim 1, characterized in that before performing the segmentation and recognition of cells on cytological images of preparations of a given class, the parameters W 1 , W 2 , W 3 , Z 1 - Z 4 are tuned for preparations of a given type using training frames, why, using interactive tools, a sample of training frames of cytological preparations is formed, in which the expert sets the “true” boundaries of cytological objects (cells and intracellular components), the training frames are divided into primary connected facets, are homogeneous by optical density, for each pair of adjacent facets using training boundaries, determine whether the facets of each of the given T types of cytological objects are subject to union (if the object is inside the boundary) or not (if located on opposite sides of the training border), which gives a training sample {X i }, i = 1, ..., I of the boundaries between pairs of facets of 2T classes, form a linear decision rule for classifying elements {X i }:
(W t , X 1 ) <0 if X i is to be combined;
(W t , X 1 ) ≥ 0, if X i cannot be combined, i = 1,2, ..., I,
Where
(W t , X 1 ) = W t 1 (D b q + D ab ) + W t 2 (q-1) + W t 3 (q • K b -K ab ),
and the matrix W = (W t ) that is optimal in the sense of minimizing the number of facets that are incorrectly joined is obtained by solving the indicated system of linear inequalities using one of the known methods, for example, the linear discriminant analysis method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU97102656A RU2132061C1 (en) | 1997-02-19 | 1997-02-19 | Method for performing automatic adaptive cell segmentation and recognition on cytological preparation images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU97102656A RU2132061C1 (en) | 1997-02-19 | 1997-02-19 | Method for performing automatic adaptive cell segmentation and recognition on cytological preparation images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU97102656A RU97102656A (en) | 1999-02-27 |
| RU2132061C1 true RU2132061C1 (en) | 1999-06-20 |
Family
ID=20190117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU97102656A RU2132061C1 (en) | 1997-02-19 | 1997-02-19 | Method for performing automatic adaptive cell segmentation and recognition on cytological preparation images |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2132061C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2513905C2 (en) * | 2008-05-14 | 2014-04-20 | Конинклейке Филипс Электроникс Н.В. | Image classification based on image segmentation |
| RU2609084C2 (en) * | 2010-09-17 | 2017-01-30 | Конинклейке Филипс Электроникс Н.В. | Selection of anatomical version model for image segmentation |
-
1997
- 1997-02-19 RU RU97102656A patent/RU2132061C1/en active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2513905C2 (en) * | 2008-05-14 | 2014-04-20 | Конинклейке Филипс Электроникс Н.В. | Image classification based on image segmentation |
| RU2609084C2 (en) * | 2010-09-17 | 2017-01-30 | Конинклейке Филипс Электроникс Н.В. | Selection of anatomical version model for image segmentation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472616B (en) | Image recognition method and device, computer equipment and storage medium | |
| Grady et al. | The piecewise smooth Mumford–Shah functional on an arbitrary graph | |
| EP1646964B1 (en) | Method and arrangement for determining an object contour | |
| JP6882329B2 (en) | Spatial index creation for IHC image analysis | |
| CN109975196B (en) | Reticulocyte detection method and system | |
| Würflinger et al. | Robust automatic coregistration, segmentation, and classification of cell nuclei in multimodal cytopathological microscopic images | |
| CN109583364A (en) | Image-recognizing method and equipment | |
| Berezsky et al. | Computer diagnostic tools based on biomedical image analysis | |
| CN115880720A (en) | Non-labeling scene self-adaptive human body posture and shape estimation method based on confidence degree sharing | |
| CN108492302A (en) | Nervous layer dividing method and device, electronic equipment, storage medium, program | |
| Kaman et al. | Image processing for mitoses in sections of breast cancer: a feasibility study | |
| Karunakar et al. | An unparagoned application for red blood cell counting using marker controlled watershed algorithm for android mobile | |
| RU2132061C1 (en) | Method for performing automatic adaptive cell segmentation and recognition on cytological preparation images | |
| CN109102510A (en) | A kind of breast cancer pathology organization chart picture dividing method based on semi-supervised k-means algorithm | |
| JP2023517703A (en) | Scalable and highly accurate context-guided segmentation of histological structures including ducts/glands and lumens, duct/gland clusters, and individual nuclei in whole-slide images of tissue samples from spatial multiparameter cellular and subcellular imaging platforms | |
| CN115019130A (en) | Training method of virtual dyeing model and method for generating bright field virtual dyeing image | |
| Gao et al. | Segmentation of microscopic images for counting leukocytes | |
| Hibbard et al. | Automated recognition and mapping of immunolabelled neurons in the developing brain | |
| RU2659217C1 (en) | Method for recognition of the structure of blood blast nuclei and bone marrow using light microscopy in combination with computer data processing for the diagnosis of b- and t-linear acute lymphoblastic leukemia | |
| Abdolhoseini et al. | Neuron image synthesizer via Gaussian mixture model and Perlin noise | |
| Gray et al. | Cell identification and sizing using digital image analysis for estimation of cell biomass in High Rate Algal Ponds | |
| Umesh Adiga | Integrated approach for segmentation of 3‐D confocal images of a tissue specimen | |
| WO2014053520A1 (en) | Targeting cell nuclei for the automation of raman spectroscopy in cytology | |
| Sammouda et al. | Segmentation and analysis of liver cancer pathological color images based on artificial neural networks | |
| CN118469845B (en) | Visual enhancement method for non-reference and label-free cell microscopic image |