RU2476932C1 - Automated system of biomedical microimage analysis for detection and characterisation of fixed class informative objects against inhomogeneous background - Google Patents
Automated system of biomedical microimage analysis for detection and characterisation of fixed class informative objects against inhomogeneous background Download PDFInfo
- Publication number
- RU2476932C1 RU2476932C1 RU2012112163/08A RU2012112163A RU2476932C1 RU 2476932 C1 RU2476932 C1 RU 2476932C1 RU 2012112163/08 A RU2012112163/08 A RU 2012112163/08A RU 2012112163 A RU2012112163 A RU 2012112163A RU 2476932 C1 RU2476932 C1 RU 2476932C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- unit
- input
- output
- block
- Prior art date
Links
Images
Abstract
Description
Изобретение относится к оптоэлектронным средствам распознавания и анализа изображений и может быть использовано в научных исследованиях, например, для выделения заданных объектов при гистологических исследованиях.The invention relates to optoelectronic means of image recognition and analysis and can be used in scientific research, for example, to highlight specified objects in histological studies.
Известно, что выделение мелких информативных объектов на изображениях с известным диапазоном размеров и значений яркости и подсчет их количества, в частности при морфологических исследованиях, является весьма трудоемкой задачей (RU 2363950 С1, Угрюмов, 10.08.2009), для решения которой требуется использование оптоэлектронных средств автоматизации анализа указанных изображений.It is known that the selection of small informative objects in images with a known range of sizes and brightness values and counting their number, in particular during morphological studies, is a very time-consuming task (RU 2363950 C1, Ugryumov, 08/10/2009), which requires the use of optoelectronic devices automation of the analysis of these images.
Основной задачей при решении данной проблемы является поиск контуров информативных объектов, представленных на микрофотографиях. Известные оптические средства распознавания изображений, использующие алгоритмы наращивания областей, кластеризации, алгоритмы построения контуров, алгоритмы пороговой обработки, сегментации по морфологическим водоразделам налагают жесткие ограничения на структуру изображения и предназначены, в основном, для обработки и анализа простых изображений. Во многих практических задачах, и, в частности, в задачах анализа биомедицинских изображений, характеризующихся сложным распределением яркости как объектов, так и фона, классические методы не дают решения поставленной задачи с требуемой точностью.The main task in solving this problem is to find the contours of informative objects shown in microphotographs. Known optical image recognition tools that use algorithms for increasing areas, clustering, contouring algorithms, threshold processing algorithms, segmentation by morphological watersheds impose strict restrictions on the image structure and are mainly intended for processing and analysis of simple images. In many practical problems, and, in particular, in problems of analysis of biomedical images, characterized by a complex distribution of brightness of both objects and background, classical methods do not provide a solution to the problem with the required accuracy.
Известен, например, способ обработки и анализа изображений разнотипных биологических объектов (RU 2406144 С1, Степанов и др., 10.12.2010). В ЭВМ вводят цветное изображение биологического препарата, выполняют фильтрацию шумов и помех, сегментацию всех изображений объектов и их элементов за один проход обработки с помощью интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB, каждую область отображают в виде массива опорных точек, обладающих эталонными цветовыми признаками для каждого однотипного элемента объектов, сегментацию осуществляют на основе сравнения расстояния в пространстве цветовых признаков между текущей точкой изображения и опорными точками. Такая обработка не применима для тоновых изображений: могут присутствовать разные объекты с близкими распределениями яркости и при использовании порогового метода их невозможно различить. Кроме того, способ является интерактивным, что существенно замедляет обработку и анализ большого массива изображений.Known, for example, is a method for processing and analyzing images of heterogeneous biological objects (RU 2406144 C1, Stepanov et al., 10.12.2010). A color image of a biological preparation is introduced into a computer, filtering of noise and interference, segmentation of all images of objects and their elements in one processing pass using an interactive threshold conversion in HSV or RGB color feature spaces, each area is displayed as an array of reference points with reference color signs for each object element of the same type, segmentation is carried out on the basis of comparing the distance in the space of color signs between the current image point and reference points. Such processing is not applicable for tone images: different objects with close brightness distributions may be present and when using the threshold method they cannot be distinguished. In addition, the method is interactive, which significantly slows down the processing and analysis of a large array of images.
Описан способ помехоустойчивого градиентного выделения контуров объектов на цифровых тоновых изображениях (RU 2360289 С1, Самойлин, 27.06.2009). Предварительно оценивается локализация импульсных помех на изображении, после чего формируются четыре маски и управляющие векторы, затем с использованием данных векторов изменяют коэффициенты соответствующих четырех разноориентированных масок Прюитта. С использованием данных масок вычисляется приближенное значение модуля градиента изображения, и путем его порогового преобразования строятся контуры объектов. Данный метод не учитывает информацию о форме искомых объектов, т.е. при наличии на изображениях других объектов с четко выраженными границами метод включит их в искомые объекты также.A method is described for noise-tolerant gradient selection of contours of objects in digital tone images (RU 2360289 C1, Samoilin, 06.27.2009). The localization of impulse noise in the image is preliminary estimated, after which four masks and control vectors are formed, then, using these vectors, the coefficients of the corresponding four differently oriented Pwitt masks are changed. Using these masks, the approximate value of the modulus of the image gradient is calculated, and the object contours are constructed by its threshold transformation. This method does not take into account information about the shape of the desired objects, i.e. if there are other objects with clearly defined boundaries on the images, the method will include them in the desired objects as well.
В изобретении (RU 2325044 С1, Гданский и др., 20.05.2008) описан градиентный способ выделения контуров объектов на матрице тонового растрового изображения. Для всех пикселов растрового изображения вычисляется норма или квадрат нормы градиента изменения их яркости, затем на новой черно-белой монохромной матрице черным цветом на белом фоне выделяются все элементы, у которых значение нормы или квадрата нормы градиента больше порогового значения, а контурами объектов на монохромной матрице считаются связные конфигурации элементов черного цвета. Приводятся критерии, по которым определяются искомые контуры объектов. В этом техническом решении, однако, не различаются объекты разной природы, имеющие ярко выраженные границы, а условия, налагаемые на модуль градиента изображения, не позволяют описать форму объектов.In the invention (RU 2325044 C1, Gdansky et al., 05.20.2008), a gradient method is described for isolating the contours of objects on a tone raster image matrix. For all pixels of the bitmap image, the norm or square of the norm of the gradient gradient of their brightness is calculated, then on the new black and white monochrome matrix, black on a white background selects all elements whose value of the norm or square of the gradient norm is greater than the threshold value, and the contours of objects on the monochrome matrix connected configurations of black elements are considered. Criteria are given by which the desired contours of objects are determined. In this technical solution, however, objects of different nature that have distinct boundaries are not distinguished, and the conditions imposed on the image gradient module do not allow to describe the shape of the objects.
Известны автоматизированные информационные системы для решения аналогичных задач. В изобретении (US 2008166035 (A1), QIAN WEI et al., 10.07.2008) описана автоматизированная диагностическая система для выявления раковых клеток на изображениях ткани. Система содержит: блок ввода цифрового изображения, блок ввода критериев и параметров распознавания, блок предварительной обработки изображения клеток и извлечения гистологических характеристик изображения, модуль декластеризации гистологических характеристик изображений, модуль сегментации клеток, присвоения меток и классификации изображений клеток на раковые и нераковые, блок вывода полученных данных. Эта система не обеспечивает выделения объектов с похожими гистологическими характеристиками, но отличающихся формой, кроме того, при выполнении предварительной фильтрации возможно смещение действительных контуров объектов, что снижает точность результатов.Automated information systems for solving similar problems are known. The invention (US 2008166035 (A1), QIAN WEI et al., July 10, 2008) describes an automated diagnostic system for detecting cancer cells in tissue images. The system contains: a digital image input unit, an input criteria and recognition parameters input unit, a cell image pre-processing unit and histological image retrieval unit, a histological image characteristics declustering module, cell segmentation module, labeling and classification of cell images into cancerous and noncancerous, an output derivation unit data. This system does not provide the selection of objects with similar histological characteristics, but differing in shape, in addition, when performing preliminary filtering, it is possible to shift the actual contours of objects, which reduces the accuracy of the results.
В изобретении «Unsupervised scene segmentation» (US 7142732, Bamford et al., 28.11.2006 - ближайший аналог) описана система, содержащая блок ввода цифрового изображения объекта, блок уменьшения частоты дискретизации изображения, блоки морфологической фильтрации по типу «низ шляпы», блок бинарной эрозии, блоки бинарной реконструкции и дилатации с использованием сформированных маркеров и их периметров, анализа «водоразделов», блоки увеличения частоты дискретизации, блок вывода изучаемого объекта. Эта система не позволяет дифференцировать объекты, похожие по форме, но имеющие различные распределения яркости, например, при наличии множества нерегулярно распределенных, соприкасающихся пространственных объектов. Кроме того, эта система в качестве результата может выдать информацию о ложных контурах, проходящих внутри искомых объектов.In the invention "Unsupervised scene segmentation" (US 7142732, Bamford et al., 11.28.2006 - the closest analogue) describes a system containing a block for inputting a digital image of the object, a block for reducing the sampling frequency of the image, blocks of morphological filtering type "hat bottom", block binary erosion, blocks of binary reconstruction and dilatation using formed markers and their perimeters, analysis of "watersheds", blocks to increase the sampling frequency, output unit of the studied object. This system does not allow to differentiate objects that are similar in shape but have different brightness distributions, for example, when there are many irregularly distributed, contiguous spatial objects. In addition, this system as a result can provide information about false contours passing inside the desired objects.
Настоящее изобретение направлено на решение задачи автоматизации анализа широкого класса биологических и медицинских цветных и тоновых изображений на неоднородном фоне с использованием представления методов анализа изображений в виде дескриптивных алгоритмических схем.The present invention is directed to solving the problem of automating the analysis of a wide class of biological and medical color and tone images on a heterogeneous background using the representation of image analysis methods in the form of descriptive algorithmic schemes.
Автоматизированная система анализа биомедицинских микроизображений включает: блок ввода цифрового изображения, блок ввода параметров системы, блок выборки и хранения результирующих изображений; модуль морфологической фильтрации изображения, обеспечивающий возможность подавления объектов с наибольшими значениями яркости и заданной формы, сохраняющий оставшиеся границы искомых объектов неизменными; блок выделения локальных минимумов яркости изображения; блок определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела; блок выделения локальных максимумов яркости изображения; логический элемент «ИЛИ»; блок фильтрации границ шумовых объектов; блок определения морфологического градиента изображения; блок формирования маски границ искомых объектов посредством сегментации; блок вычисления координат выделенных объектов с формированием списка координат пикселов обнаруженных объектов; блок вычисления оптических и геометрических характеристик обнаруженных объектов и базу данных (БД) координат, оптических и геометрических характеристик выявленных объектов.An automated system for analyzing biomedical microimages includes: a digital image input unit, a system parameter input unit, a sampling and storage unit for the resulting images; morphological image filtering module, which provides the ability to suppress objects with the highest values of brightness and a given shape, keeping the remaining boundaries of the desired objects unchanged; block for highlighting local minima of image brightness; a unit for determining the distance from each pixel of the image to the nearest background pixel; block for highlighting local maxima of image brightness; logical element "OR"; block filtering the boundaries of noise objects; unit for determining the morphological gradient of the image; block forming a mask of the boundaries of the desired objects through segmentation; a unit for calculating the coordinates of selected objects with the formation of a list of pixel coordinates of detected objects; a unit for calculating the optical and geometric characteristics of the detected objects and a database (DB) of coordinates, optical and geometric characteristics of the detected objects.
Выход блока ввода параметров соединен с первым входом модуля морфологической фильтрации изображения; выход блока ввода цифрового изображения соединен со входами модуля морфологической фильтрации изображения и блока выборки и хранения, вход/выход которого посредством двухсторонней линии соединен с вход/выходом модуля морфологической фильтрации изображения, а его выход - со входом блока определения морфологического градиента изображения и первым входом блока вычисления оптических и геометрических характеристик.The output of the parameter input unit is connected to the first input of the morphological image filtering module; the output of the digital image input unit is connected to the inputs of the morphological image filtering module and the sampling and storage unit, the input / output of which is connected via a two-way line to the input / output of the morphological image filtering module, and its output is connected to the input of the morphological image gradient determination unit and the first input of the block calculation of optical and geometric characteristics.
Выход модуля морфологической фильтрации изображения соединен со входом блока выделения локальных минимумов, первый выход которого через последовательно соединенные блок определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела и блок выделения локальных максимумов соединены с первым входом логического элемента «ИЛИ», а его второй выход соединен со вторым входом логического элемента «ИЛИ», выход которого соединен с первым входом блока фильтрации границ шумовых объектов, при этом выход блока определения морфологического градиента изображения соединен со вторым входом блока фильтрации границ шумовых объектов, выход которого соединен со входом блока формирования маски границ искомых объектов, выход которого соединен с блоком вычисления координат объектов, первый выход которого соединен с первым входом БД координат, оптических и геометрических характеристик выявленных объектов, а второй выход - со вторым входом блока вычисления оптических и геометрических характеристик искомых объектов, выход которого соединен со вторым входом упомянутой БД.The output of the morphological image filtering module is connected to the input of the local minima extraction unit, the first output of which is connected through a series-connected unit for determining the distance from each image pixel to the nearest background pixel and the local maximums extraction unit to the first input of the OR logic element, and its second output is connected with the second input of the logical element "OR", the output of which is connected to the first input of the block filtering the boundaries of the noise objects, while the output of the block determining mo the rhological gradient of the image is connected to the second input of the block filtering the boundaries of noise objects, the output of which is connected to the input of the block forming the mask of the boundaries of the desired objects, the output of which is connected to the block for calculating the coordinates of the objects, the first output of which is connected to the first input of the database of coordinates, optical and geometric characteristics of the detected objects and the second output - with the second input of the unit for calculating the optical and geometric characteristics of the desired objects, the output of which is connected to the second input mentioned oh db.
Система может характеризоваться тем, что модуль морфологической фильтрации изображения содержит первый, второй, третий блоки пространственной фильтрации изображений, обеспечивающие возможность подавления объектов с наибольшими значениями яркости и заданной формы, сохраняющей оставшиеся границы объектов неизменными; первый, второй, третий блоки инвертирования изображения, блок вычитания, блок корректировки яркости, блок выделения максимальной яркости изображения и блок сравнения. Объединенные между собой первые входы первого, второго, третьего блоков пространственной фильтрации изображений и блока корректировки яркости являются первым входом упомянутого модуля, а второй вход первого блока пространственной фильтрации изображений является вторым входом модуля морфологической фильтрации изображения. Выход первого блока пространственной фильтрации изображений через первый блок инвертирования изображения соединен со вторым входом второго блока, выход которого через второй блок инвертирования изображения соединен с первым входом блока вычитания, второй вход которого и объединенный с ним выход третьего блока пространственной фильтрации изображений являются входом/выходом упомянутого модуля. Выход блока вычитания соединен со вторым входом третьего блока пространственной фильтрации изображений, выход которого соединен с первым входом третьего блока инвертирования, выход которого соединен со вторым входом блока корректировки яркости, выход которого через блок выделения максимальной яркости изображения соединен с первым входом блока сравнения, первый выход «НЕТ» которого является выходом упомянутого модуля, второй выход блока соединен со вторым входом третьего блока инвертирования изображения, второй выход «ДА» которого связан с входом блока выделения максимальной яркости изображения.The system can be characterized by the fact that the morphological image filtering module contains the first, second, third spatial image filtering blocks, which make it possible to suppress objects with the highest brightness values and a given shape, which keeps the remaining object boundaries unchanged; first, second, third image inversion blocks, a subtraction unit, a brightness adjustment unit, a maximum image brightness allocation unit, and a comparison unit. The combined first inputs of the first, second, third spatial image filtering units and the brightness adjustment unit are the first input of the said module, and the second input of the first spatial image filtering unit is the second input of the morphological image filtering module. The output of the first spatial image filtering unit through the first image inverting unit is connected to the second input of the second unit, the output of which through the second image inverting unit is connected to the first input of the subtraction unit, the second input of which and the combined output of the third spatial image filtering unit are the input / output of the aforementioned module. The output of the subtraction unit is connected to the second input of the third spatial image filtering unit, the output of which is connected to the first input of the third invert unit, the output of which is connected to the second input of the brightness adjustment unit, the output of which is connected to the first input of the comparison unit through the maximum brightness extraction unit, the first output "NO" of which is the output of the above-mentioned module, the second output of the unit is connected to the second input of the third image inversion unit, the second output of "YES" of which Knit with a block selection input maximum brightness.
Система может характеризоваться и тем, что блок пространственной фильтрации изображений включает: блок выделения минимальной яркости изображения с формированием изображения-маркера, первый и второй входы которого являются соответственно первым и вторым входами блока пространственной фильтрации изображений, блок выделения максимальной яркости изображения с формированием изображения-маркера и блок сравнения. Выход блока выделения минимальной яркости изображения соединен с входом блока выделения максимальной яркости изображения, выход которого соединен с первым входом блока сравнения, вход блока соединен со вторым входом блока сравнения, выход «ДА» которого связан со входом блока, а выход «НЕТ» которого является выходом блока пространственной фильтрации изображений.The system can be characterized by the fact that the spatial image filtering unit includes: a minimum image brightness extraction unit with forming a marker image, the first and second inputs of which are first and second inputs of the spatial image filtering unit, a maximum image brightness unit with forming an image marker and a comparison unit. The output of the block for highlighting the minimum brightness of the image is connected to the input of the block for allocating the maximum brightness of the image, the output of which is connected to the first input of the comparison unit, the input of the block is connected to the second input of the comparison unit, the output "YES" of which is connected to the input of the block, and the output "NO" of which is the output of the spatial image filtering unit.
Система может характеризоваться также тем, что блок определения морфологического градиента изображения содержит блок вычитания, блок выделения максимумов и блок выделения минимумов яркости элементов цифрового изображения во всех фрагментах изображения, входы которых, соединенные между собой, являются входом блока определения морфологического градиента изображения, а выходы блоков выделения максимумов и блока выделения минимумов яркости элементов цифрового изображения во всех фрагментах изображения - соединены, соответственно, с первым и вторым входами блока вычитания, выход которого является выходом блока определения морфологического градиента изображения.The system can also be characterized by the fact that the morphological image gradient determination unit contains a subtraction unit, a maximum extraction unit and a brightness minimum extraction unit for digital image elements in all image fragments whose inputs, interconnected, are the input of the morphological image gradient determination unit, and the outputs of the blocks the selection of the maximums and the block of separation of the minimums of brightness of the elements of the digital image in all fragments of the image are connected, respectively, with p rvym and second inputs of the subtracting unit, whose output is the output determination unit morphological image gradient.
Система может характеризоваться также и тем, что блок фильтрации границ шумовых объектов включает блок вычисления максимального значения яркости изображения, блок формирования изображения-маски, блок нормировки яркости каждого пиксела изображения, блок формирования изображения-маркера, блок выделения максимумов яркости элементов изображения, блок сравнения изображений. Первый вход блока формирования изображения-маски является первым входом блока фильтрации границ шумовых объектов, а его вторым входом - объединенные между собой входы блоков вычисления максимального значения яркости изображения и нормировки. Выход блока вычисления максимального значения яркости изображения соединен со вторым входом блока формирования изображения-маски, выход которого соединен с первым входом блока формирования изображения-маркера, выход блока нормировки соединен со вторым входом блока формирования изображения-маркера и первым входом блока сравнения. Выход блока формирования изображения-маркера и выход «ДА» блока сравнения соединены с входом блока выделения максимумов яркости элементов изображения, выход которого соединен со вторым входом блока сравнения изображений, выход «НЕТ» которого является выходом блока фильтрации границ шумовых объектов.The system can also be characterized by the fact that the block for filtering the boundaries of noise objects includes a block for calculating the maximum value of the image brightness, a block for image-mask formation, a unit for normalizing the brightness of each image pixel, a block for forming an image marker, a block for extracting maximums of brightness of image elements, an image comparison block . The first input of the image-mask forming unit is the first input of the filtering unit for the borders of noise objects, and its second input is the combined inputs of the blocks for calculating the maximum image brightness and normalization. The output of the unit for calculating the maximum value of the image brightness is connected to the second input of the image-mask-forming unit, the output of which is connected to the first input of the marker-image-forming unit, the output of the normalization unit is connected to the second input of the image-forming-marker unit and the first input of the comparison unit. The output of the marker-image forming unit and the “YES” output of the comparison unit are connected to the input of the unit for highlighting the maximums of brightness of image elements, the output of which is connected to the second input of the image comparison unit, the “NO” output of which is the output of the block filtering the boundaries of noise objects.
Патентуемая автоматизированная система анализа биомедицинских микроизображений отличается от прототипа структурой построения модуля морфологической фильтрации цифровых изображений. Модуль морфологической фильтрации изображения включает ряд блоков пространственной фильтрации изображений, обеспечивающих возможность подавлением объектов с наибольшими значениями яркости и заданной формы, сохраняющей оставшиеся границы объектов неизменными, а также блоки инвертирования изображения, вычитания, корректировки яркости, блок выделения максимальной яркости изображения и блок сравнения. Кроме того, патентуемая система по-иному реализует поиск областей, лежащих внутри искомых объектов и контуров областей, содержащих искомые объекты, с использованием блоков выделения локальных минимумов яркости изображения, определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела, выделения локальных максимумов яркости изображения. Это дает возможность разделять объекты, похожие по форме, но имеющие различные распределения яркости.The patented automated system for the analysis of biomedical microimages differs from the prototype in the structure of the module for morphological filtering of digital images. The morphological image filtering module includes a number of spatial image filtering blocks that provide the ability to suppress objects with the highest brightness values and a given shape that keeps the remaining boundaries of the objects unchanged, as well as image inversion, subtraction, brightness adjustment blocks, a maximum image brightness highlighting unit, and a comparison unit. In addition, the patented system in a different way implements a search for the areas lying inside the desired objects and the contours of the areas containing the desired objects, using blocks for extracting local minimums of the image brightness, determining the distance from each image pixel to the nearest background pixel, highlighting local maximums for the image brightness. This makes it possible to separate objects that are similar in shape but have different brightness distributions.
Технический результат - повышение точности и достоверности выделения объектов по заданным критериям на изображениях, содержащих множество текстурных фрагментов и соприкасающихся нерегулярно распределенных мелких, размером 10-150 мкм, пространственных объектов. Дополнительный технический результат - снижение необходимых вычислительных мощностей. Патентуемая система является полностью автоматической, требует только настройки начальных параметров и позволяет находить на изображениях заданные объекты вне зависимости от наличия других объектов со сходными распределениями яркости.EFFECT: increased accuracy and reliability of selecting objects according to given criteria in images containing a lot of texture fragments and adjoining irregularly distributed small, 10-150 microns, spatial objects. An additional technical result is a reduction in the necessary computing power. The patented system is fully automatic, it only requires adjusting the initial parameters and allows you to find the specified objects in the images, regardless of the presence of other objects with similar brightness distributions.
Патентуемая автоматизированная система реализует сглаживание неоднородного сложного фона, способна выделять мелкие объекты на изображениях в зависимости от заданных размеров и значений яркости, устранять объекты, находящиеся не в фокусе, разделять близко находящиеся объекты, вычислять характеристики выделенных объектов. Точность выделения объектов с помощью патентуемой системы не хуже, чем точность при выделении объектов вручную, и намного превосходит точность выделения объектов с помощью классических методов, которые вообще пригодны для решения данной задачи. Система позволяет учесть информацию о форме искомых объектов при выполнении предварительной фильтрации.The patented automated system implements smoothing of a heterogeneous complex background, is capable of highlighting small objects in images depending on the given sizes and brightness values, eliminating objects that are not in focus, separating closely located objects, and calculating the characteristics of selected objects. The accuracy of selecting objects using the patented system is no worse than the accuracy when selecting objects manually, and far exceeds the accuracy of selecting objects using classical methods that are generally suitable for solving this problem. The system allows you to take into account information about the shape of the desired objects when performing preliminary filtering.
Сущность изобретения поясняется на чертежах, где на:The invention is illustrated in the drawings, where:
фиг.1 представлена блок-схема информационной системы;figure 1 presents a block diagram of an information system;
фиг.2 - модуль морфологической фильтрации;figure 2 - module morphological filtration;
фиг.3 - блок фильтрации, входящий в модуль морфологической фильтрации;figure 3 - filtering unit included in the morphological filtering module;
фиг.4 - блок вычисления морфологического градиента;figure 4 - block calculation of the morphological gradient;
фиг.5 - блок фильтрации границ шумовых объектов;5 is a block filtering the boundaries of noise objects;
фиг.6 - (а) пример исходного необработанного изображения; (б) выделение объектов экспертами; (в) выделение объектов с помощью патентуемой системы.6 - (a) an example of the original raw image; (b) allocation of objects by experts; (c) the allocation of objects using the patented system.
Система (фиг.1) включает блок 1 ввода изображения, блок 2 ввода параметров системы, блок 3 выборки и хранения результирующих изображений.The system (Fig. 1) includes an image input unit 1, a system parameter input unit 2, a sampling and storage unit 3 of the resulting images.
Модуль 4 морфологической фильтрации изображения обеспечивает возможность подавления объектов с наибольшими значениями яркости и заданной формы, сохраняющий оставшиеся границы искомых объектов неизменными. Его структурная схема показана на фиг.2, 3 и будет описана ниже.
Блок 5 обеспечивает возможность выделения локальных минимумов яркости изображения и связан с блоком 6 преобразования расстояния. Блок 6 предназначен для определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела и осуществляет преобразование по известной методике, описанной в статье: Maurer, et al., "A Linear Time Algorithm for Computing Exact Euclidean Distance Transforms of Binary Images in Arbitrary, Dimensions," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.25, No.2, February 2003, pp.265-270.Block 5 provides the ability to highlight local minima of the image brightness and is associated with
Блок 7 обеспечивает возможность выделения локальных максимумов яркости изображения, выходы блоков 5 и 7 подключены ко входам блока 8 выполнения операции логического ИЛИ над двумя бинарными изображениями, сформированными в блоках 5 и 7.Block 7 provides the ability to highlight local maximums of image brightness, the outputs of blocks 5 and 7 are connected to the inputs of block 8 of the logical OR operation on two binary images formed in blocks 5 and 7.
Блок 9 предназначен для фильтрации границ шумовых объектов и имеет два входа, один из которых связан с блоком 8, а другой - с блоком 10 определения морфологического градиента изображения (см. фиг.4). Структурная схема блока 9 приведена на фиг.5.Block 9 is designed to filter the boundaries of noise objects and has two inputs, one of which is connected to block 8, and the other to block 10 determining the morphological gradient of the image (see figure 4). The block diagram of block 9 is shown in FIG.
Определение морфологического градиента изображения в блоке 10 проводится по известному алгоритму, описанному в статье: Luc Vincent et al., "Watersheds in digital spaces: an efficient algorithm based on immersion simulations". IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.13, No 6,1991, pp.583-598.The morphological gradient of the image in
Блок 11 формирования маски границ искомых объектов, обеспечивающий возможность сегментации по т.н. «водоразделам», также реализует алгоритм, описанный в упомянутой статье Luc Vincent.Block 11 forming a mask of the boundaries of the desired objects, providing the possibility of segmentation by the so-called "Watersheds" also implements the algorithm described in the mentioned article by Luc Vincent.
Блок 12 вычисления координат выделенных объектов формирует список координат пикселов обнаруженных объектов, в блоке 13 производится вычисление оптических и геометрических характеристик обнаруженных объектов.
Блок 14 БД образует базу данных, которая содержит данные по координатам, оптическим и геометрическим характеристикам выявленных объектов.Block 14 of the database forms a database that contains data on the coordinates, optical and geometric characteristics of the identified objects.
На фиг.2 показана структурная схема модуля 4 морфологической фильтрации изображения. Он состоит из трех одинаковых по назначению блоков 40, 42 и 45, выходы каждого из которых соединены с блоками 41, 43, 46 инвертирования изображения. Функциональное назначение блоков 40, 42, 45 - пространственная фильтрация изображений с подавлением объектов с наибольшими значениями яркости и заданной формы, сохраняющей оставшиеся границы объектов неизменными.Figure 2 shows the structural diagram of the
На вход задания параметров блока 40 фильтрации подается бинарная матрица объектов, единицы в которой соответствуют пикселам объектов. По форме маска I должна соответствовать форме объектов: размер маски выбран больше самого малого объекта и меньше самого большого.At the input of the parameter settings of the filtering unit 40, a binary matrix of objects is supplied, the units of which correspond to the pixels of the objects. In shape, mask I must correspond to the shape of objects: the size of the mask is selected larger than the smallest object and smaller than the largest.
На вход задания параметров блока 42 фильтрации также подается бинарная матрица объектов, единицы в которой соответствуют пикселам объектов. Размер маски II выбран большим, чем размер самого большого объекта.A binary matrix of objects, the units of which correspond to the pixels of the objects, is also supplied to the input of the parameters of the filtering unit 42. Mask size II is selected larger than the size of the largest object.
На вход задания параметров блока 45 фильтрации также подается бинарная матрица объектов. Размер маски III соответствует размеру самого маленького объекта.The input of the parameters of the filtering unit 45 is also fed a binary matrix of objects. The size of mask III corresponds to the size of the smallest object.
Блок 44 обеспечивает вычитание изображения, полученного с выхода блока 43 из входного изображения блока 3.Block 44 provides the subtraction of the image obtained from the output of block 43 from the input image of block 3.
Блок 47 регулирования яркости каждого пиксела предназначен для учета константы фокусировки. Эта константа соответствует значению, находящемуся в диапазоне яркостей входного изображения, и соответствует минимальной контрастности объектов (т.е. характеризует разницу между максимальным и минимальным значениями яркости объекта).Block 47 adjusting the brightness of each pixel is designed to take into account the focusing constant. This constant corresponds to a value in the brightness range of the input image and corresponds to the minimum contrast of objects (i.e. characterizes the difference between the maximum and minimum values of the brightness of the object).
Блок 48 предназначен для выделения максимумов яркости элементов цифрового изображения во всех фрагментах изображения, выделяемых положением единичной маски (матрицы, состоящей из единиц, размером 3×3), и путем последовательного перемещения ее по изображению.Block 48 is designed to highlight the maximum brightness of the elements of the digital image in all fragments of the image, highlighted by the position of a single mask (matrix consisting of units, 3 × 3 in size), and by moving it sequentially across the image.
Блок 49 предназначен для сравнения изображений. Если изображение-маркер меньше либо равно изображению-маске, то следует перейти по ветке «ДА» на вход блока 48. В ином случае - «НЕТ», изображение должно поступить на вход блока 5.Block 49 is for comparing images. If the marker image is less than or equal to the mask image, then go to the input of block 48 on the “YES” branch. Otherwise, “NO”, the image should go to the input of block 5.
На фиг.3 показана структурная схема блока фильтрации, входящего в модуль морфологической фильтрации.Figure 3 shows a structural diagram of a filtering unit included in the morphological filtering module.
Блок 40 включает блок 401 определения минимальной яркости изображения с формированием изображения-маркера; блок 402 определения минимальной яркости изображения с формированием изображения-маркера и блок 403 сравнения, выход которого «НЕТ» является выходом блока 40.Block 40 includes a block 401 for determining the minimum brightness of the image with the formation of the image marker; block 402 determining the minimum brightness of the image with the formation of the image marker and block 403 comparison, the output of which is "NO" is the output of block 40.
Блок 10 (см. фиг.4) содержит два параллельно соединенных блока: блок 101 определения максимумов и блок 102 определения минимумов яркости элементов цифрового изображения во всех фрагментах изображения, выделяемых положением единичной маски (матрицы размером 3×3, состоящей из единиц), и путем последовательного перемещения ее по анализируемому изображению. Выходы блоков 101 и 102 подключены к блоку 103 вычитания изображений: из изображения, выделенного блоком 101, вычитается изображение, выделенное блоком 102, в результате чего на выходе блока 103 воспроизводится изображение модуля градиента значений яркости изображения.Block 10 (see FIG. 4) contains two parallel connected blocks: a maximum determination unit 101 and a brightness minimum determination unit 102 of digital image elements in all fragments of the image highlighted by the position of a single mask (3 × 3 matrix consisting of units), and by moving it sequentially in the analyzed image. The outputs of blocks 101 and 102 are connected to the image subtraction block 103: from the image extracted by the block 101, the image extracted by the block 102 is subtracted, as a result of which the image of the gradient module of the image brightness values is reproduced at the output of the block 103.
Блок 9 фильтрации границ шумовых объектов (фиг.5) включает блок 90 вычисления максимального значения яркости изображения, который связан со входом блока 91. Блок 91 обеспечивает формирование изображения-маски путем прохода по входной бинарной маске и приписывания каждому пикселу изображения-маски значения (0 или 1) по следующему правилу: если значение пиксела бинарной маски равно нулю, то значение изображения-маски также равно нулю. Если же значение бинарной маски равно единице, то значение изображения-маски равно входной константе, увеличенной на единицу. В блоке 92 проводится нормировка яркости каждого пиксела изображения - к каждому пикселу добавляется константа.Block 9 filtering the boundaries of noise objects (Fig. 5) includes a block 90 for calculating the maximum value of the brightness of the image, which is associated with the input of block 91. Block 91 provides the formation of an image mask by passing through the input binary mask and assigning each pixel to the image mask value (0 or 1) according to the following rule: if the pixel value of the binary mask is equal to zero, then the value of the mask image is also equal to zero. If the value of the binary mask is equal to one, then the value of the mask image is equal to the input constant increased by one. In block 92, the brightness is normalized for each pixel in the image — a constant is added to each pixel.
Блок 93 предназначен для формирования изображения маркера путем нахождения попиксельного минимума двух изображений, сформированных блоками 91, 92. Полученный маркер подается на вход блока 94 выделения максимумов яркости элементов цифрового изображения во всех фрагментах изображения, выделяемых положением единичной маски (матрицы размером 3×3, состоящей из единиц), и путем последовательного перемещения ее по изображению. Далее в блоке 95 осуществляется сравнение изображений с выхода блока 93 по следующему условию: если изображение-маркер меньше либо равно изображению-маске с выхода блока 91, то «ДА» - сигнал передается на вход блока 94, если «НЕТ» - то на вход блока 11.Block 93 is intended for forming a marker image by finding the pixel-by-pixel minimum of two images formed by blocks 91, 92. The resulting marker is fed to the input of block 94 for highlighting the maximums of brightness of digital image elements in all image fragments, highlighted by the position of a single mask (3 × 3 matrix consisting of units), and by sequentially moving it around the image. Then, in block 95, the images from the output of block 93 are compared according to the following condition: if the marker image is less than or equal to the mask image from the output of block 91, then “YES” - the signal is transmitted to the input of block 94, if “NO” - then to the input block 11.
Патентуемая информационная система позволила, в частности, автоматизировать анализ изображений серийных срезов мозга экспериментальных животных, которые используются для построения и исследования дескриптивных преклинических моделей болезни Паркинсона (БП). Задача состоит в том, чтобы на цифровых микроизображениях срезов мозга найти объекты (терминали нейронов) и вычислить их морфометрические и денситометрические характеристики, по которым и строят упомянутые модели БП.The patented information system made it possible, in particular, to automate the analysis of images of serial sections of the brain of experimental animals, which are used to construct and study descriptive preclinical models of Parkinson's disease (PD). The task is to find objects (terminals of neurons) on digital microimages of brain slices and calculate their morphometric and densitometric characteristics, which are used to construct the mentioned BP models.
На фиг.6,а) представлен фрагмент исходного микроизображения терминалей среза головного мозга в области стриатума. Микроизображение представляет собой тоновое изображение с отдельными неявно выраженными темными областями на неоднородном фоне. Некоторые темные области могут представлять собой искомые терминали.Figure 6, a) shows a fragment of the initial microimage of the terminal sections of the brain in the area of the striatum. The microimage is a tonal image with separate implicitly expressed dark areas on a heterogeneous background. Some dark areas may be the desired terminals.
На фиг.6,б) показан увеличенный фрагмент изображения фиг.6,а), на котором представлен результат анализа, проведенный экспертами вручную. Каждый из объектов, который, по мнению эксперта, является находящейся в фокусе микроскопа терминалью, оконтурен кривой белого цвета. Координаты указанных контуров используются для последующего вычисления характеристик. Операция выделения контуров объектов вручную является исключительно трудоемкой и отчасти субъективной.Figure 6, b) shows an enlarged fragment of the image of figure 6, a), which shows the result of the analysis, carried out by experts manually. Each of the objects, which, according to the expert, is a terminal located in the focus of the microscope, is outlined by a white curve. The coordinates of these contours are used for the subsequent calculation of characteristics. The operation of manually selecting the contours of objects is extremely time-consuming and partly subjective.
На фиг.6,в) показан увеличенный фрагмент изображения фиг.6,а), на котором представлен результат анализа, проведенный посредством патентуемой системы. Видно, что система выделяет те же объекты, причем контуры более точно соответствуют действительным границам терминалей, а время, необходимое для анализа, по сравнению с ручным выделением, сокращается примерно в 100 раз.Figure 6, c) shows an enlarged fragment of the image of figure 6, a), which shows the result of the analysis carried out by means of a patented system. It can be seen that the system selects the same objects, and the contours more accurately correspond to the actual boundaries of the terminals, and the time required for analysis, compared with manual selection, is reduced by about 100 times.
Таким образом, использование патентуемой системы позволяет существенно ускорить исследования БП за счет автоматизации наполнения моделей БП экспериментальными данными и автоматизации исследования моделей БП при помощи машинных экспериментов.Thus, the use of a patented system can significantly accelerate the study of PS by automating the filling of PS models with experimental data and automating the study of PS models using machine experiments.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012112163/08A RU2476932C1 (en) | 2012-03-30 | 2012-03-30 | Automated system of biomedical microimage analysis for detection and characterisation of fixed class informative objects against inhomogeneous background |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012112163/08A RU2476932C1 (en) | 2012-03-30 | 2012-03-30 | Automated system of biomedical microimage analysis for detection and characterisation of fixed class informative objects against inhomogeneous background |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2476932C1 true RU2476932C1 (en) | 2013-02-27 |
Family
ID=49121617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012112163/08A RU2476932C1 (en) | 2012-03-30 | 2012-03-30 | Automated system of biomedical microimage analysis for detection and characterisation of fixed class informative objects against inhomogeneous background |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2476932C1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2582749C1 (en) * | 2015-04-15 | 2016-04-27 | Общество с ограниченной ответственностью "МАЙКРОСПЕЙС" | Device for converting digital images of histological examination |
| RU2634029C1 (en) * | 2016-06-21 | 2017-10-23 | федеральное государственное бюджетное образовательное учреждение высшего образования "Тамбовский государственный университет имени Г.Р. Державина" | Method for wound healing process tracking |
| RU2683758C1 (en) * | 2018-06-27 | 2019-04-01 | Федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской академии наук" (ФИЦ ИУ РАН) | Automated analysis system for angiographic images of human eyeground |
| RU2715548C2 (en) * | 2015-02-25 | 2020-02-28 | Конинклейке Филипс Н.В. | Device, method and system for graphical representation of signals depending on resolution |
| RU196414U1 (en) * | 2019-12-23 | 2020-02-28 | Федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской Академии Наук" | ANALYZER ANGIOGRAPHIC IMAGES OF THE HUMAN EYE |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1074939A1 (en) * | 1993-08-13 | 2001-02-07 | International Medical Multimedia (Israel) Ltd. | A system and method for processing images of living tissue |
| RU2295297C2 (en) * | 2003-12-02 | 2007-03-20 | Александр Васильевич Жукоцкий | Method for studying and predicting the state of biological object or its part |
| RU2400815C2 (en) * | 2006-10-09 | 2010-09-27 | Самсунг Электроникс Ко., Лтд. | Method of enhancing digital image quality |
| WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
-
2012
- 2012-03-30 RU RU2012112163/08A patent/RU2476932C1/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1074939A1 (en) * | 1993-08-13 | 2001-02-07 | International Medical Multimedia (Israel) Ltd. | A system and method for processing images of living tissue |
| RU2295297C2 (en) * | 2003-12-02 | 2007-03-20 | Александр Васильевич Жукоцкий | Method for studying and predicting the state of biological object or its part |
| RU2400815C2 (en) * | 2006-10-09 | 2010-09-27 | Самсунг Электроникс Ко., Лтд. | Method of enhancing digital image quality |
| WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2715548C2 (en) * | 2015-02-25 | 2020-02-28 | Конинклейке Филипс Н.В. | Device, method and system for graphical representation of signals depending on resolution |
| RU2582749C1 (en) * | 2015-04-15 | 2016-04-27 | Общество с ограниченной ответственностью "МАЙКРОСПЕЙС" | Device for converting digital images of histological examination |
| RU2634029C1 (en) * | 2016-06-21 | 2017-10-23 | федеральное государственное бюджетное образовательное учреждение высшего образования "Тамбовский государственный университет имени Г.Р. Державина" | Method for wound healing process tracking |
| RU2683758C1 (en) * | 2018-06-27 | 2019-04-01 | Федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской академии наук" (ФИЦ ИУ РАН) | Automated analysis system for angiographic images of human eyeground |
| RU196414U1 (en) * | 2019-12-23 | 2020-02-28 | Федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской Академии Наук" | ANALYZER ANGIOGRAPHIC IMAGES OF THE HUMAN EYE |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Akbari et al. | Polyp segmentation in colonoscopy images using fully convolutional network | |
| Patil et al. | Medical image segmentation: a review | |
| Albayrak et al. | Mitosis detection using convolutional neural network based features | |
| CN109447998B (en) | Automatic segmentation method based on PCANet deep learning model | |
| RU2476932C1 (en) | Automated system of biomedical microimage analysis for detection and characterisation of fixed class informative objects against inhomogeneous background | |
| Agrawal et al. | Survey on image segmentation techniques and color models | |
| US9852354B2 (en) | Method and apparatus for image scoring and analysis | |
| Irshad et al. | Multi-channels statistical and morphological features based mitosis detection in breast cancer histopathology | |
| Tareef et al. | Automatic nuclei and cytoplasm segmentation of leukocytes with color and texture-based image enhancement | |
| WO2013025329A1 (en) | System and method for sectioning a microscopy image for parallel processing | |
| Anari et al. | Computer-aided detection of proliferative cells and mitosis index in immunohistichemically images of meningioma | |
| Lynn et al. | Melanoma classification on dermoscopy skin images using bag tree ensemble classifier | |
| Oscanoa et al. | Automated segmentation and classification of cell nuclei in immunohistochemical breast cancer images with estrogen receptor marker | |
| Tanna et al. | Binary classification of melanoma skin cancer using svm and cnn | |
| Khoshdeli et al. | Deep learning models delineates multiple nuclear phenotypes in h&e stained histology sections | |
| Sertel et al. | An image analysis approach for detecting malignant cells in digitized H&E-stained histology images of follicular lymphoma | |
| RU118774U1 (en) | AUTOMATED SYSTEM OF ANALYSIS OF BIOMEDICAL MICRO-IMAGES FOR DETECTION AND CHARACTERIZATION OF INFORMATIVE OBJECTS OF A SPECIFIED TYPE ON AN INHOMOGENEOUS BACKGROUND | |
| Badeka et al. | Evaluation of LBP variants in retinal blood vessels segmentation using machine learning | |
| Raphael et al. | Segmentation and classification techniques of leukemia using image processing: An overview | |
| Teranikar et al. | Feature detection to segment cardiomyocyte nuclei for investigating cardiac contractility | |
| Rao et al. | Early detection of lung cancer using machine learning technique | |
| Zakariapour et al. | Mitosis detection in breast cancer histological images based on texture features using adaboost | |
| Amitha et al. | Developement of computer aided system for detection and classification of mitosis using SVM | |
| Das et al. | A texture based approach for automatic identification of benign and malignant tumor from FNAC images | |
| Naik et al. | Hybrid Feature Set based Mitotic Detection in Breast Histopathology Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC43 | Official registration of the transfer of the exclusive right without contract for inventions |
Effective date: 20180706 |