RU2478337C2 - Method of determining heart contour on fluorogpaphy images - Google Patents
Method of determining heart contour on fluorogpaphy images Download PDFInfo
- Publication number
- RU2478337C2 RU2478337C2 RU2011104224/28A RU2011104224A RU2478337C2 RU 2478337 C2 RU2478337 C2 RU 2478337C2 RU 2011104224/28 A RU2011104224/28 A RU 2011104224/28A RU 2011104224 A RU2011104224 A RU 2011104224A RU 2478337 C2 RU2478337 C2 RU 2478337C2
- Authority
- RU
- Russia
- Prior art keywords
- heart
- image
- region
- contour
- frontal
- Prior art date
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
Изобретение относится к медицине, в частности к кардиологии, и может быть использовано в клинических и экспериментальных исследованиях как способ определения контура, размеров и положения сердца на флюорографических снимках (ФОС).The invention relates to medicine, in particular to cardiology, and can be used in clinical and experimental studies as a way to determine the contour, size and position of the heart in fluorographic images (FOS).
В настоящее время проблема автоматизированной обработки флюорографических снимков сложилась в отдельное направление, разветвленное на множество частных задач, связанных с различными аспектами их обработки: корректировкой яркости. контрастности, удалением помех, сегментацией, выделением отдельных областей и контуров органов грудной клетки (легких и сердца) на флюорографических снимках [1, 2].Currently, the problem of automated processing of fluorographic images has developed in a separate direction, branched into many private tasks related to various aspects of their processing: brightness adjustment. contrast, removing interference, segmentation, the allocation of individual areas and contours of the chest organs (lungs and heart) in fluorographic images [1, 2].
Задача автоматизированного выделения контура сердца на ФОС является наиболее актуальной среди перечисленных для современной системы здравоохранения. Информация, полученная в результате точного выделения контура сердца, позволит: определить его линейные размеры и геометрическую форму, реконструировать объемную модель сердца пациента, получить новую диагностическую информацию о состоянии сердца и выявить совместно с анализом электрокардиосигнала патологические отклонения.The task of automated allocation of the heart contour to FOS is the most relevant among those listed for the modern healthcare system. Information obtained as a result of accurate selection of the heart contour will allow: to determine its linear dimensions and geometric shape, to reconstruct the volumetric model of the patient’s heart, to obtain new diagnostic information about the state of the heart and to identify pathological deviations together with the analysis of the electrocardiogram.
Известен способ определения основных функциональных показателей миогеодинамики сердца [3], заключающийся в том, что регистрируют фронтальный и левобоковой флюорографические снимки сердца пациента, определяют по ним геометрические параметры сердца пациента путем наложения, совмещения и нелинейного масштабирования компьютерной модели сердца.A known method for determining the main functional indicators of myogeodynamics of the heart [3], which consists in registering the frontal and left-side fluorographic images of the patient’s heart, determining the geometric parameters of the patient’s heart by applying, superimposing and non-linear scaling of the computer model of the heart.
Из анализа формулы изобретения известного способа следует, что определение геометрических параметров сердца осуществляется вручную. Врач рентгенолог просматривает и анализирует флюорографические снимки на экране монитора, выявляет патологии и делает заключение, руководствуясь шаблоном описания, и сохраняет информацию в базе данных.From the analysis of the claims of the known method, it follows that the determination of the geometric parameters of the heart is carried out manually. A radiologist reviews and analyzes fluorographic images on a monitor screen, identifies pathologies and makes a conclusion, guided by a description template, and stores the information in a database.
Недостатками «ручного» определения размеров и положения сердца по флюорографическим снимкам являются:The disadvantages of "manual" determination of the size and position of the heart by fluorographic images are:
1. Отсутствие возможности автоматического определения геометрии сердца пациента по флюорографическим снимкам.1. The inability to automatically determine the geometry of the patient’s heart by fluorographic images.
2. Низкая пропускная способность ручной обработки флюорографических снимков.2. Low throughput of manual processing of fluorographic images.
Наиболее близким к предлагаемому изобретению является способ определения непрозрачной области на рентгенограмме грудной клетки [4], заключающийся в том, что осуществляют регистрацию фронтального флюорографического снимка, генерацию компьютерной модели сердца, выделение левой и правой границ сердца на основе границ легких, выделение нижней границы сердца, регулирование верхней и нижней границы компьютерной модели сердца на основе выделенных границ сердца и вывод контура сердца.Closest to the proposed invention is a method for determining the opaque region on the chest x-ray [4], which consists in registering the front fluorographic image, generating a computer model of the heart, selecting the left and right borders of the heart based on the borders of the lungs, highlighting the lower border of the heart, regulation of the upper and lower borders of the computer model of the heart based on the selected borders of the heart and the conclusion of the contour of the heart.
Как следует из формулы изобретения, в известном способе определения непрозрачной области на рентгенограмме грудной клетки уже известны границы легких. Затем осуществляется генерация компьютерной модели сердца (КМС), представляющей собой плоскую фигуру эллиптической формы, которая совмещается с известными границами легких. В процессе совмещения происходит деформация КМС, чтобы она заполнила область между легкими. Таким образом осуществляется выделение левой и правой границ сердца. Далее осуществляется выделение нижней границы сердца с помощью преобразования Хафа [5]. Затем осуществляется регулирование верхней и нижней границ компьютерной модели сердца путем ее деформации под выделенные границы сердца для получения контура сердца и вывод контура сердца.As follows from the claims, in the known method for determining an opaque region on the chest x-ray, the boundaries of the lungs are already known. Then, a computer model of the heart (CCM) is generated, which is a flat elliptical shape that combines with the known boundaries of the lungs. In the process of combining, the CMC is deformed to fill the area between the lungs. Thus, the allocation of the left and right borders of the heart. Then, the lower border of the heart is extracted using the Hough transform [5]. Then, the upper and lower boundaries of the computer model of the heart are regulated by deforming it under the selected borders of the heart to obtain a heart contour and the output of the heart contour.
На фигуре 1 приведена схема известного способа определения непрозрачной области на рентгенограмме грудной клетки.The figure 1 shows a diagram of a known method for determining the opaque region on the chest radiograph.
На фигуре 2 (а, б) приведены фронтальный флюорографический снимок (а) и расположение на нем органов (б). Цифрами обозначено: 1 - сердце; 2 - левое легкое; 3 - правое легкое; 4 - трахея; 5 - вилочковая железа; 6 - граница сердца.The figure 2 (a, b) shows the frontal x-ray photograph (a) and the location of the organs (b) on it. The numbers indicate: 1 - heart; 2 - the left lung; 3 - the right lung; 4 - trachea; 5 - thymus gland; 6 - border of the heart.
На фигуре 3 приведена компьютерная модель сердца известного способа определения непрозрачной области на рентгенограмме грудной клетки.The figure 3 shows a computer model of the heart of a known method for determining the opaque region on the chest radiograph.
На фигуре 4 приведен результат регулирования компьютерной модели сердца под уже известные границы правого и левого легкого.The figure 4 shows the result of the regulation of the computer model of the heart under the already known boundaries of the right and left lung.
На фигуре 5 приведен результат порогового преобразования флюорографического снимка с помощью оператора Собеля.Figure 5 shows the result of a threshold conversion of a fluorographic image using the Sobel operator.
На фигуре 6 (а, б) приведена иллюстрация преобразования Хафа: приведено пространство Хафа (p, u) (а) с «опорными точками», образующими нижнюю границу сердца (б).Figure 6 (a, b) illustrates the Hough transform: the Hough space (p, u) (a) with “reference points” forming the lower border of the heart (b) is shown.
На фигуре 7 приведен флюорографический снимок с выделенными контурами сердца и легких. Цифрами обозначено: 7 - область сердца; 8 - область правого легкого; 9 - область левого легкого.The figure 7 shows a x-ray photograph with highlighted contours of the heart and lungs. The numbers indicate: 7 - the region of the heart; 8 - region of the right lung; 9 - region of the left lung.
По мнению авторов предполагаемого изобретения, в известном способе определения непрозрачной области на рентгенограмме грудной клетки термин «рентгенограмма грудной клетки» можно без потери сущности изобретения заменить термином «флюорографический снимок» (ФОС). Флюорографический снимок - это рентгенограмма грудной клетки, полученная путем рентгенологического обследования органов грудной клетки [6].According to the authors of the alleged invention, in the known method for determining an opaque region on a chest x-ray, the term “chest x-ray” can be replaced without loss of essence by the term “fluorographic image” (FOS). A X-ray photograph is a chest x-ray taken by an X-ray examination of the chest organs [6].
Согласно фигуре 1 в известном способе определения непрозрачной области на рентгенограмме грудной клетки выполняются следующие действия:According to figure 1, in the known method for determining the opaque region on the chest radiograph, the following actions are performed:
1. Регистрация фронтального ФОС. Для регистрации ФОС используется специализированная рентгенографическая аппаратура, включающая люминесцентный экран, электронную камеру, оптическую систему, компьютер, планшет, светозащитный кожух и рентгенопрозрачный экран [7]. ФОС регистрируют в нескольких стандартных проекциях [8]. В известном способе используется фронтальный ФОС. На фигуре 2а приведен фронтальный ФОС, зарегистрированный с частотой дискретизации 1000 Гц, на фигуре 2б приведен фронтальный ФОС с расположением на нем органов, где цифрами обозначено: 1 - сердце; 2 - левое легкое; 3 - правое легкое; 4 - трахея; 5 - вилочковая железа; 6 - граница сердца. ФОС грудной клетки пациента хранятся в цифровом виде в памяти компьютера.1. Registration of frontal FOS. For registration of FOS, specialized X-ray equipment is used, including a luminescent screen, an electronic camera, an optical system, a computer, a tablet, a light-protective casing, and an X-ray transparent screen [7]. FOS recorded in several standard projections [8]. In the known method, frontal FOS is used. Figure 2a shows the frontal FOS recorded with a sampling frequency of 1000 Hz, figure 2b shows the frontal FOS with the location of organs on it, where the numbers indicate: 1 - heart; 2 - the left lung; 3 - the right lung; 4 - trachea; 5 - thymus gland; 6 - border of the heart. FOS of the patient’s chest is stored digitally in computer memory.
2. Генерация КМС. На этом этапе осуществляется генерация компьютерной модели сердца (КМС) во фронтальной проекции. КМС известного способа представляет собой плоскую фигуру эллиптической формы, состоящую из 26 точек, ширина которой равна ширине среднего человеческого сердца 9 см и соответствует усредненной форме сердца человека (см. фигуру 3).2. Generation of CCM. At this stage, the computer model of the heart (CCM) is generated in the frontal projection. The CMC of the known method is a flat figure of elliptical shape, consisting of 26 points, the width of which is equal to the width of the average
3. Выделение левой и правой границы сердца на основе границ легких. На этом этапе осуществляется выделение левой и правой границы сердца на основе регулирования КМС под уже известные границы правого и левого легкого (см. фигуру 4). Сначала КМС путем расположения на снимке в области легких совмещается с известными границами легких. Затем в процессе регулирования КМС происходит ее деформация таким образом, чтобы она заполнила область между легкими. Процесс деформации КМС можно представить в виде изменения формы гибкой замкнутой области фиксированной площади, которая подвергается силовому воздействию и согласно этому воздействию принимает форму, ее ограничивающую. Таким образом, осуществляется выделение левой и правой границ сердца.3. The allocation of the left and right borders of the heart based on the boundaries of the lungs. At this stage, the left and right borders of the heart are selected based on the regulation of the CCM under the already known borders of the right and left lung (see figure 4). First, the CCM by positioning in the image in the lung area is combined with the known boundaries of the lungs. Then, in the process of regulating the CCM, it is deformed so that it fills the area between the lungs. The KMS deformation process can be represented as a change in the shape of a flexible closed area of a fixed area, which is subjected to force and, according to this effect, takes a form that limits it. Thus, the allocation of the left and right borders of the heart.
4. Выделение нижней границы сердца. На этом этапе осуществляется выделение нижней границы сердца на ФОС с помощью преобразования Хафа [5]. Преобразование Хафа позволяет на бинарном изображении определить «опорные точки», образующие контур объекта интереса - контур нижней границы сердца. Для выполнения преобразования Хафа необходимо произвести пороговую обработку ФОС с помощью оператора Собеля для получения бинарного изображения. Пороговая обработка ФОС с помощью оператора Собеля осуществляется путем вычисления среднего значения яркости снимка и порога пропускания значений яркости [1, 5, 9].4. The selection of the lower border of the heart. At this stage, the selection of the lower border of the heart on FOS is carried out using the Hough transform [5]. The Hough transform allows you to define “reference points” on a binary image that form the contour of the object of interest - the contour of the lower border of the heart. To perform the Hough transform, it is necessary to perform threshold processing of the FOS using the Sobel operator to obtain a binary image. The threshold processing of FOS using the Sobel operator is carried out by calculating the average brightness of the image and the threshold for transmitting brightness values [1, 5, 9].
Среднее значение яркости снимка вычисляется по формулеThe average value of the brightness of the image is calculated by the formula
, ,
где m - ордината;where m is the ordinate;
n - абсцисса;n is the abscissa;
Gm, Gn - матрицы размером 3×3, вычисляемые по следующим формулам:Gm, Gn - 3 × 3 matrices calculated by the following formulas:
, ,
, ,
где X - исходный ФОС;where X is the initial FOS;
∗ - обозначает двумерную операцию свертки. ∗ - denotes a two-dimensional convolution operation.
По вычисленному среднему значению яркости снимка подбирается порог пропускания значений яркости для ФОС. Значение порога подбирается вручную. Величина порога пропускания значений яркости снимка подбирается таким образом, чтобы максимально возможно отделить объект интереса (область нижней границы сердца) от других областей на снимке. Результат работы пороговой обработки ФОС с помощью оператора Собеля приведен на фигуре 5.Based on the calculated average value of the brightness of the image, a threshold for transmitting brightness values for the FOS is selected. The threshold value is selected manually. The threshold value for transmitting the brightness values of the image is selected so that it is possible to separate the object of interest (the region of the lower border of the heart) from other areas in the image. The result of the threshold processing of FOS using the Sobel operator is shown in figure 5.
Согласно результатам пороговой обработки ФОС получено бинарное изображение, нижняя граница сердца на котором частично отделена от других объектов на изображении, прослеживаются ее разрывы. Это связано с тем, что область нижней границы сердца перекрывается диафрагмой. Для повышения точности выделения нижней границы сердца применяется преобразование Хафа. Преобразование Хафа определяет «опорные точки», образующие нижнюю границу сердца. «Опорной точкой» называется точка, которая находится между точками разрыва нижней границы сердца, связана с ними одним уравнением прямой и принадлежит этой границе [5].According to the results of threshold processing of FOS, a binary image is obtained, the lower border of the heart on which is partially separated from other objects in the image, its breaks are traced. This is due to the fact that the area of the lower border of the heart is overlapped by the diaphragm. To increase the accuracy of highlighting the lower border of the heart, the Hough transform is used. The Hough transform defines the "reference points" that form the lower border of the heart. A “reference point" is a point that is located between the break points of the lower border of the heart, is connected with them by one equation of the line and belongs to this border [5].
Определение «опорных точек», образующих нижнюю границу сердца, осуществляется следующим образом.The definition of "reference points" forming the lower border of the heart is as follows.
Сначала полученное в результате порогового преобразования бинарное изображение с координатами (m, n) переводится в пространство Хафа с координатами (p, u), как показано на фигуре 6а. Затем в полученном пространстве вводится сетка 5×5, разбивающая пространство Хафа на равные ячейки, размер ячейки равен одному пикселю (см. фигуру 6а). Каждой ячейке в пространстве Хафа соответствует точка, с координатами (рi ui,). Согласно преобразованию Хафа, расстояние между точками разрывами нижней границы сердца не должно превышать 5 пикселей [5]. Поэтому обязательным условием преобразования является попадание в сетку не менее двух точек х1 и х2, образующих разрыв границы (см. фигуру 6а). Затем для каждой точки в пространстве Хафа строятся кривые (см. фигуру 6б)First, the binary image obtained as a result of the threshold transformation with coordinates (m, n) is transferred to the Hough space with coordinates (p, u), as shown in Figure 6a. Then, in the resulting space, a 5 × 5 grid is introduced, dividing the Hough space into equal cells, the cell size is one pixel (see figure 6a). Each cell in the Hough space corresponds to a point, with coordinates (p i u i ,). According to the Hough transform, the distance between the points by tears of the lower border of the heart should not exceed 5 pixels [5]. Therefore, a prerequisite for the transformation is to hit at least two points x1 and x2 in the grid, forming a boundary discontinuity (see figure 6a). Then, curves are constructed for each point in the Hough space (see figure 6b)
, ,
где u - угол между внешней нормалью прямой и осью абсцисс, u Є [0, 2π];where u is the angle between the external normal of the line and the abscissa axis, u Є [0, 2π];
p - расстояние от прямой до начала координат, p≥0;p is the distance from the line to the origin, p≥0;
mi - значение i-й точки ячейки по оси абсцисс;m i is the value of the ith cell point along the abscissa axis;
ni - значение i-й точки ячейки по оси ординат.n i is the value of the ith cell point along the ordinate axis.
Согласно преобразованию Хафа, «опорной точкой» между точками разрыва нижней границы сердца называется точка, которая связана с точками разрыва одним уравнением кривой. Линия, которая связывает точки разрыва нижней границы сердца, является линией разрыва нижней границы сердца. На фигуре 6б показано пространство Хафа с тремя точками: х1 и х2 - точки, принадлежащие разрывам нижней, границе сердца; х3 - «опорная точка», лежащая между точками разрыва нижней границы сердца и принадлежащая этой границе. Линия g является линией разрыва нижней границы сердца.According to the Hough transform, a “reference point” between break points of the lower border of the heart is a point that is associated with break points by a single equation of the curve. The line that connects the break points of the lower border of the heart is the break line of the lower border of the heart. Figure 6b shows the Hough space with three points: x1 and x2 - points belonging to breaks in the lower, border of the heart; x3 - "reference point" lying between the points of rupture of the lower border of the heart and belonging to this border. Line g is the break line of the lower border of the heart.
Таким образом, в результате пороговой обработки ФОС оператором Собеля и определения «опорных точек», составляющих нижнюю границу сердца на ФОС с помощью преобразования Хафа, осуществляется выделение нижней границы сердца на ФОС.Thus, as a result of threshold processing of FOS by the Sobel operator and determination of “reference points” that make up the lower border of the heart on FOS using the Hough transform, the lower border of the heart on FOS is selected.
5. Регулирование верхней и нижней границы компьютерной модели сердца на основе выделенных границ сердца. Регулирование нижней границы сердца осуществляется в результате деформации КМС, фиксированной боковыми границами сердца, под найденную на предыдущем этапе нижнюю границу сердца. Таким образом, в известном способе деформации подвергаются нижняя граница и боковые границы КМС. Верхняя часть КМС (что осталось после деформации), «не привязанная» ни к одной границе сердца на снимке, считается верхней границей сердца пациента (см. фигуру 7). В результате, по мнению авторов известного способа, осуществляется определение контура сердца.5. Regulation of the upper and lower boundaries of the computer model of the heart based on the selected borders of the heart. The regulation of the lower border of the heart is carried out as a result of the deformation of the CCM, fixed by the lateral borders of the heart, under the lower border of the heart found at the previous stage. Thus, in the known method of deformation, the lower boundary and the lateral boundaries of the CMC are subjected. The upper part of the CCM (what remains after deformation), “not attached” to any border of the heart in the picture, is considered the upper border of the patient’s heart (see figure 7). As a result, according to the authors of the known method, the determination of the contour of the heart.
6. Вывод контура сердца. Результатом этого этапа является вывод ФОС, на котором выделен контур сердца (см. фигуру 7). На фигуре 7 показан ФОС с выделенными на нем органами грудной клетки, где цифрами обозначено: 7 - сердце; 8 - левое легкое; 9 - правое легкое. По контуру сердца определяется местоположение сердца в грудной клетке.6. Conclusion of the contour of the heart. The result of this stage is the conclusion of FOS, on which the contour of the heart is highlighted (see figure 7). The figure 7 shows the FOS with the organs of the chest highlighted on it, where the numbers indicate: 7 - heart; 8 - the left lung; 9 - the right lung. The contour of the heart determines the location of the heart in the chest.
Таким образом, из описания действий известного способа определения непрозрачной области на рентгенограмме грудной клетки следует, что определение контура сердца осуществляется по уже известным границам правого и левого легких путем:Thus, from the description of the actions of the known method for determining the opaque region on the chest radiograph, it follows that the definition of the heart contour is carried out according to the already known boundaries of the right and left lungs by:
- выделения нижней границы сердца на ФОС с помощью преобразования Хафа;- highlighting the lower border of the heart on FOS using the Hough transform;
- деформации КМС под границы правого и левого легких;- CMS deformations under the borders of the right and left lungs;
- регулирования нижней и верхней границы сердца.- regulation of the lower and upper borders of the heart.
При этом верхняя граница сердца пациента определяется, если можно так выразиться, «по остаточному принципу», т.е. то, что осталось от верхней границы КМС после деформации является в известном способе верхней границей сердца пациента, и не ясно, как она согласуется с реальной верхней границей сердца пациента. Верхняя граница КМС в известном способе принципиально не может точно описать верхнюю границу сердца, что является важной составляющей области сердца для постановки диагностического заключения. КМС в известном способе в области верхней границе лишь соединяет ломанной кривой левую и правую границы сердца пациента. КМС, используемая в известном способе, состоит только из 26 точек, поэтому количество точек, подвергаемых деформации в области верхней границы сердца, будет ограниченно. Ограниченное количество точек КМС в области верхней границы не позволяет плавно описать полученную верхнюю границу сердца (см. фигуру 7).Moreover, the upper border of the patient’s heart is determined, so to speak, “by the residual principle”, i.e. what remains of the upper border of the CCM after deformation in the known method is the upper border of the patient’s heart, and it is not clear how it is consistent with the real upper border of the patient’s heart. The upper border of the CCM in the known method, in principle, cannot accurately describe the upper border of the heart, which is an important component of the heart region for setting a diagnostic conclusion. CCM in the known method in the upper border only connects the broken curve of the left and right borders of the patient’s heart. The CMR used in the known method consists of only 26 points, so the number of points subjected to deformation in the region of the upper border of the heart will be limited. A limited number of CCM points in the region of the upper border does not allow a smooth description of the obtained upper border of the heart (see figure 7).
По мнению авторов предполагаемого изобретения, использование замкнутой области в качестве КМС является не эффективным с точки зрения точного определения контура сердца на ФОС. Средняя форма сердца, предлагаемая в известном способе в качестве КМС, позволяет определить только местоположение сердца в грудной клетке, но не решить задачу точного выделения контура сердца, в частности его верхней границы.According to the authors of the alleged invention, the use of a closed area as a CCM is not effective from the point of view of accurately determining the contour of the heart on FOS. The average heart shape, proposed in the known method as a CMS, allows you to determine only the location of the heart in the chest, but not to solve the problem of accurately highlighting the contour of the heart, in particular its upper border.
Таким образом, известный способ определения непрозрачной области на рентгенограмме грудной клетки [4] не обеспечивает точного выделения контура сердца на ФОС.Thus, the known method for determining the opaque region on the chest x-ray [4] does not provide an accurate allocation of the heart contour to FOS.
Недостатком известного способа определения непрозрачной области на рентгенограмме грудной клетки является невозможность точного выделения верхней границы сердца на флюорографическом снимке, как следствие, невозможность однозначной интерпретации состояния сердечнососудистой системы и точной постановки диагностического заключения.A disadvantage of the known method for determining the opaque region on the chest x-ray is the impossibility of accurately highlighting the upper border of the heart in a fluorographic image, as a result, the impossibility of an unambiguous interpretation of the state of the cardiovascular system and the exact formulation of the diagnostic conclusion.
Изобретение направлено на повышение точности определения контура сердца на флюорографических снимках (ФОС) за счет выделения верхней границы сердца.The invention is aimed at improving the accuracy of determining the contour of the heart in fluorographic images (FOS) by highlighting the upper border of the heart.
Это достигается тем, что в способе определения контура сердца на флюорографических снимках, заключающегося в том, что осуществляют регистрацию фронтального флюорографического снимка, генерацию компьютерной модели сердца, выделение левой и правой границы сердца на основе границ легких, выделение нижней границы сердца и вывод контура сердца, дополнительно осуществляют регистрацию левобокового флюорографического снимка, определение области сердца на фронтальном и левобоковом флюорографических снимках, разложение изображения области сердца на составные части с использованием декомпозиции на эмпирические моды, восстановление изображения области сердца путем суммирования отдельных эмпирических мод, выделение верхней границы сердца на изображении области сердца с использованием сегментации, текстурного анализа и метода активных контуров, корректировку компьютерной модели сердца по выделенным контурам сердца на фронтальном и левобоковом изображении области сердца.This is achieved by the fact that in the method for determining the contour of the heart in fluorographic images, which consists in registering the frontal fluorographic image, generating a computer model of the heart, extracting the left and right border of the heart based on the borders of the lungs, highlighting the lower border of the heart and deriving the heart contour, additionally carry out registration of the left-side fluorographic image, determining the region of the heart in the frontal and left-side fluorographic images, decomposing the image of the area the heart into its components using decomposition into empirical modes, restoring the image of the heart region by summing up individual empirical modes, highlighting the upper border of the heart in the image of the heart region using segmentation, texture analysis and the active contour method, adjusting the computer model of the heart according to the selected heart contours on the front and left-sided image of the region of the heart.
Суть предлагаемого способа заключается в том, что выделение контура сердца на ФОС осуществляют за счет регистрации фронтального и левобокового ФОС, определения области сердца на ФОС, разложения изображения области сердца на составные части, восстановления изображения области сердца путем суммирования отдельных эмпирических мод. На восстановленном изображении области сердца осуществляют выделение верхней границы. Затем осуществляют корректировку компьютерной модели сердца и вывод контура сердца.The essence of the proposed method lies in the fact that the selection of the heart contour on the FOS is carried out by registering the frontal and left-sided FOS, determining the region of the heart on the FOS, decomposing the image of the region of the heart into its constituent parts, restoring the image of the region of the heart by summing up individual empirical modes. On the reconstructed image of the region of the heart, the upper border is selected. Then carry out the adjustment of the computer model of the heart and the conclusion of the heart contour.
Главной отличительной особенностью предлагаемого способа выделения контура сердца на флюорографических снимках является разложение изображения выделенной на фронтальном и левобоковом снимках области сердца на составные части с помощью декомпозиции на эмпирические моды (ДЭМ). Последующий текстурный анализ «зернистости» восстановленного изображения области сердца позволяет отделить область сердца от других органов на снимке. Это, по мнению авторов предполагаемого изобретения, обеспечивает более точное выделение контура сердца на ФОС.The main distinguishing feature of the proposed method for highlighting the contour of the heart in fluorographic images is the decomposition of the image of the heart region selected on the frontal and left-sided images into components using decomposition into empirical modes (DEM). The subsequent texture analysis of the “graininess” of the reconstructed image of the region of the heart allows us to separate the region of the heart from other organs in the image. This, according to the authors of the alleged invention, provides a more accurate selection of the heart contour on the FOS.
На фигуре 8 приведена схема предлагаемого способа выделения контура сердца на флюорографических снимках.The figure 8 shows a diagram of the proposed method for highlighting the contour of the heart in fluorographic images.
На фигуре 9 (а, б) приведен левобоковой ФОС (а) и расположение на нем органов (б). Цифрами обозначено: 10 - сердце; 11 - трахея; 12 - вилочковая железа; 13 - граница сердца; 14 - диафрагма легких.The figure 9 (a, b) shows the left-side FOS (a) and the location of the organs (b) on it. The numbers indicate: 10 - heart; 11 - trachea; 12 - thymus gland; 13 - border of the heart; 14 - diaphragm of the lungs.
На фигуре 10 приведена компьютерная модель сердца предлагаемого способа выделения контура сердца на флюорографических снимках.The figure 10 shows a computer model of the heart of the proposed method for highlighting the contour of the heart in fluorographic images.
На фигуре 11 (а, б, в) приведены варианты положения сердца в грудной клетке человека: косое (а), горизонтальное (б) и вертикальное (в).The figure 11 (a, b, c) shows options for the position of the heart in the human chest: oblique (a), horizontal (b) and vertical (c).
На фигуре 12 (а, б) приведены изображения области сердца, выделенные на фронтальном (а) и левобоковом (б) ФОС.The figure 12 (a, b) shows the image of the region of the heart, highlighted on the frontal (a) and left-sided (b) FOS.
На фигуре 13 приведена схема алгоритма декомпозиции изображения области сердца на эмпирические моды.The figure 13 shows a diagram of the decomposition algorithm of the image of the region of the heart into empirical modes.
На фигуре 14 (а, б, в, г, д) приведен результат декомпозиции фронтального изображения области сердца на составные части - набор эмпирических мод изображения области сердца (а, б, в, г) и остаток - глобальный тренд изображения области сердца (д).Figure 14 (a, b, c, d, d) shows the result of decomposition of the frontal image of the heart region into its constituent parts - a set of empirical modes of image of the heart region (a, b, c, d) and the remainder - the global trend of the image of the heart region (d )
На фигуре 15 (а, б, в, г, д) приведен результат декомпозиции левобокового изображения области сердца на составные части - набор эмпирических мод изображения области сердца (а, б, в, г) и остаток - глобальный тренд изображения области сердца (д).Figure 15 (a, b, c, d, d) shows the result of decomposition of the left-side image of the heart region into its constituent parts — a set of empirical modes of the image of the heart region (a, b, c, d) and the remainder — the global trend of the image of the heart region (d )
На фигуре 16 (а, б) приведены восстановленные фронтальное (а) и левобоковое (б) изображение области сердца, полученные путем суммирования отдельных эмпирических мод.The figure 16 (a, b) shows the restored frontal (a) and left-side (b) image of the region of the heart, obtained by summing up individual empirical modes.
На фигуре 17 (а, б) приведена сегментация фронтального (а) и левобокового (б) изображения области сердца.The figure 17 (a, b) shows the segmentation of the frontal (a) and left-sided (b) image of the region of the heart.
На фигуре 18 (а, б) приведено фронтальное (а) и левобоковое (б) изображение области сердца с отдельно выделенной верхней его частью.Figure 18 (a, b) shows the frontal (a) and left-side (b) image of the region of the heart with a separate upper part of it.
На фигуре 19 приведен алгоритм текстурного анализа изображения области сердца.The figure 19 shows the algorithm for texture analysis of the image of the region of the heart.
На фигуре 20 (а, б) приведено фронтальное (а) и левобоковое (б) изображение области сердца с выделенной верхней областью сердца.The figure 20 (a, b) shows the frontal (a) and left-side (b) image of the region of the heart with the highlighted upper region of the heart.
На фигуре 21 (а, б) показано распределение произвольной точки «активного контура» от общей энергии вблизи области сердца (а) и распределение произвольной точки «активного контура»от сглаживающей энергии вблизи области сердца (б).Figure 21 (a, b) shows the distribution of an arbitrary point of the "active circuit" of the total energy near the region of the heart (a) and the distribution of an arbitrary point of the "active circuit" of the smoothing energy near the region of the heart (b).
На фигуре 22 (а, б) приведено фронтальное (а) и левобоковое (б) изображение области сердца с выделенной верхней границей сердца.The figure 22 (a, b) shows the frontal (a) and left-side (b) image of the region of the heart with a highlighted upper border of the heart.
На фигуре 23 приведен результат корректировки компьютерной модели сердца по результатам анализа изображений области сердца.The figure 23 shows the result of adjusting the computer model of the heart according to the analysis of images of the heart region.
На фигуре 24 (а, б) приведены фронтальный (а) и левобоковой (б) ФОС с выделенными контурами сердца.The figure 24 (a, b) shows the frontal (a) and left-sided (b) FOS with highlighted contours of the heart.
Сравнение схем алгоритмов, приведенных на фигурах 1 и 8, показывает, что предлагаемый способ определения контура сердца на флюорографических снимках основывается совершенно на другом подходе выделения контура сердца, что позволяет устранить указанный недостаток известного способа [4].A comparison of the algorithms shown in figures 1 and 8 shows that the proposed method for determining the contour of the heart in fluorographic images is based on a completely different approach to highlighting the contour of the heart, which eliminates this drawback of the known method [4].
Авторы предлагают вместо:The authors suggest instead of:
- средней модели сердца, выбранной в качестве КМС в известном способе, использовать трехмерную модель сердца;- the average model of the heart, selected as the CCM in the known method, use a three-dimensional model of the heart;
- определения границ сердца с помощью преобразования Хафа использовать декомпозицию изображения области сердца на ФОС на составные части и их восстановление;- determining the boundaries of the heart using the Hough transform, use the decomposition of the image of the region of the heart into FOS into its component parts and their restoration;
- определения верхней границы области сердца путем деформации средней модели сердца использовать текстурный анализ изображения восстановленных областей сердца ФОС.- determine the upper boundary of the heart region by deforming the middle model of the heart using texture analysis of the image of the restored areas of the heart FOS.
Рассмотрим особенности предлагаемого способа определения контура сердца на флюорографических снимках (см. фигуру 8). Первый этап «Регистрация фронтального ФОС» аналогичен этапу известного способа [4].Consider the features of the proposed method for determining the contour of the heart on fluorographic images (see figure 8). The first stage "Registration of the frontal FOS" is similar to the stage of the known method [4].
Следующий этап «Регистрация левобокового ФОС». Регистрация левобокового ФОС осуществляется с целью получения дополнительной информации о размерах и положении сердца. Кроме того, проекция сердца на левобоковом ФОС совместно с проекцией сердца на фронтальном ФОС позволит произвести корректировку компьютерной модели сердца (КМС), с целью получения КМС пациента (КМСП). На фигуре 9а приведен левобоковой ФОС, на фигуре 9б приведен левобоковой ФОС с расположением на нем органов, где цифрами обозначено: 10 - сердце; 11 - трахея; 12 - вилочковая железа; 13 - сердечная вырезка; 14 - диафрагма легких. Фронтальный и левобоковой ФОС пациента хранятся в цифровом виде в памяти компьютера и используются для дальнейшей обработки и анализа.The next stage is "Registration of the left-sided FOS." Registration of the left-sided FOS is carried out in order to obtain additional information about the size and position of the heart. In addition, the projection of the heart on the left-side FOS in conjunction with the projection of the heart on the frontal FOS will allow for the adjustment of the computer model of the heart (CMS) in order to obtain the patient's CMS (IMSC). Figure 9a shows the left-side FOS, figure 9b shows the left-side FOS with the location of organs on it, where the numbers indicate: 10 - heart; 11 - trachea; 12 - thymus gland; 13 - heart tenderloin; 14 - diaphragm of the lungs. The frontal and left-side FOS of the patient are stored digitally in the computer memory and are used for further processing and analysis.
Следующий этап «Генерация КМС» аналогичен этапу известного способа [4], только в качестве КМС используется объемная модель сердца, приближенная к форме сердца человека (см. фигуру 10). Объемная модель сердца человека является инструментом для визуального изучения внутренней структуры сердца, моделирования процессов, проходящих в сердце и наглядного представления результатов этого моделирования. Объемная модель сердца является отличительной особенностью предлагаемого способа определения контура сердца.The next stage "Generation of CCM" is similar to the stage of the known method [4], only as a CCM is used a volumetric model of the heart, close to the shape of the human heart (see figure 10). The three-dimensional model of the human heart is a tool for the visual study of the internal structure of the heart, modeling the processes taking place in the heart and for visualizing the results of this simulation. Volumetric model of the heart is a distinctive feature of the proposed method for determining the contour of the heart.
Следующий этап «Определение области сердца на фронтальном и левобоковом флюорографических снимках». Выполнение данного этапа осуществляется на зарегистрированных фронтальном и левобоковом ФОС. Определение области сердца на зарегистрированных снимках осуществляется с целью уменьшения вычислительных затрат и времени на выделение контура сердца. В рамках данного этапа предлагается анализировать только ту часть снимка, в которую попадает область сердца.The next stage is “Determining the region of the heart in the frontal and left-side fluorographic images.” This stage is carried out on the registered frontal and left-sided FOS. The determination of the region of the heart in the recorded images is carried out in order to reduce the computational cost and time for the allocation of the heart contour. As part of this stage, it is proposed to analyze only that part of the image into which the region of the heart falls.
Определение области сердца на снимках осуществляется по принципу выделения только той области, в которую может попасть сердце любого пациентов. Положение и размеры сердца находятся в зависимости от пола, возраста, массы тела и роста, строения грудной клетки, условий труда и быта пациента. По положению сердца различают три типа (см. фигуру 11 (а, б, в)): косое (а), горизонтальное (б) и вертикальное (в).The determination of the region of the heart in the images is carried out according to the principle of selecting only that region into which the heart of any patient can fall. The position and size of the heart depends on gender, age, body weight and height, chest structure, working conditions and life of the patient. According to the position of the heart, three types are distinguished (see figure 11 (a, b, c)): oblique (a), horizontal (b) and vertical (c).
Определение области сердца на ФОС осуществляется следующим образом. Сначала масштабируются снимки до минимально возможного формата размера 500×500 пикселей, без искажения деталей снимков. Масштабирование до такого размера осуществляется с целью приведения снимков к единому формату, так как форматы снимков, полученных на разных рентгенографических системах, могут быть различны. Согласно [10], приближенный центр среднего сердца человека на снимках будет располагаться относительно центра самого снимка правее на 1/20 от ширины снимка для фронтального ФОС и левее на 1/20 от ширины снимка для левобокового ФОС. Относительно центров сердца на ФОС, зная средний размер сердца человека и возможные варианты его отклонений, определяется область на снимках, в которую обязательно попадет сердце любого пациента. Согласно [10], размеры и положение сердца человека могут измениться (увеличиться или уменьшиться в размерах) относительно своих средних размеров (длинна - 150 мм, ширина - 90 мм) и положения на фронтальном и левобоковом снимках в среднем на 30 мм вправо, влево, вверх и вниз. Таким образом, на фронтальном и левобоковом ФОС от центра сердца человека вправо и влево по вертикали откладывается 75 мм (половина ширины среднего сердца человека 45 мм, плюс 30 мм - среднее отклонение размеров сердца), вверх и вниз по горизонтали 105 мм (половина длины среднего сердца человека 75 мм, плюс 30 мм - среднее отклонение размеров сердца).The definition of the region of the heart on FOS is as follows. First, the pictures are scaled to the smallest possible size format of 500 × 500 pixels, without distorting the details of the pictures. Scaling to this size is carried out in order to reduce the images to a single format, as the formats of images obtained on different radiographic systems may be different. According to [10], the approximate center of the middle human heart in the images will be located relative to the center of the image itself to the right of 1/20 of the image width for the frontal FOS and to the left of 1/20 of the image width for the left-side FOS. Regarding the centers of the heart on FOS, knowing the average size of a person’s heart and possible variants of its deviations, the area in the images is determined, in which the heart of any patient will surely fall. According to [10], the size and position of a person’s heart can change (increase or decrease in size) relative to their average size (length - 150 mm, width - 90 mm) and position on the front and left-side images on average 30 mm to the right, left, up and down. Thus, on the frontal and left-side FOS from the center of the human heart, 75 mm are laid to the right and left vertically (half the width of the middle human heart is 45 mm, plus 30 mm is the average deviation of the size of the heart), up and down horizontally 105 mm (half the length of the middle human heart 75 mm, plus 30 mm - the average deviation of the size of the heart).
Кроме того, следует заметить, что этап «Определение области сердца на ФОС» является автоматическим. Так как все поступающие на вход зарегистрированные снимки масштабируются к единому размеру, то область положения сердца любого пациента будет находиться по одним координатам для всех ФОС. Поэтому при масштабировании снимков до формата 500×500 пикселей область сердца на фронтальном ФОС будет находиться по оси абсцисс в интервале от 200 до 400 пикселя, по оси абсцисс в интервале от 120 до 420; на левобоковом ФОС будет находиться по оси абсцисс в интервале от 120 до 320, по оси абсцисс в интервале от 50 до 350 (см. фигуру 12 (а, б)).In addition, it should be noted that the stage of "Determining the region of the heart on FOS" is automatic. Since all registered images arriving at the input are scaled to a single size, the region of the position of the heart of any patient will be located at the same coordinates for all FOS. Therefore, when scaling images to a format of 500 × 500 pixels, the region of the heart on the front FOS will be along the abscissa in the range from 200 to 400 pixels, along the abscissa in the range from 120 to 420; on the left-side FOS will be on the abscissa in the range from 120 to 320, on the abscissa in the range from 50 to 350 (see figure 12 (a, b)).
Таким образом, результатом данного этапа является автоматически выделенная область сердца на фронтальном (см. фигуру 12а) и левобоковом ФОС (см. фигуру 12б).Thus, the result of this stage is the automatically selected region of the heart on the frontal (see figure 12a) and left-side FOS (see figure 12b).
Далее следует этап «Разложение изображения области сердца на составные части». На этом этапе осуществляют декомпозицию на эмпирические моды (ДЭМ) изображения области сердца на фронтальном (см. фигуру 2а) и левобоковом (см. фигуру 9а) ФОС. Декомпозиция изображения области сердца на эмпирические моды является адаптивным методом анализа данных. Базис, используемый для разложения (набор эмпирических мод), конструируется непосредственно из самого анализируемого изображения. Это позволяет учесть все локальные особенности снимка [11, 12].The next step is “Decomposition of the image of the heart region into its constituent parts”. At this stage, the decomposition into empirical modes (DEM) of the image of the region of the heart on the frontal (see figure 2a) and left-sided (see figure 9a) FOS. Decomposition of the image of the heart region into empirical modes is an adaptive method of data analysis. The basis used for decomposition (a set of empirical modes) is constructed directly from the analyzed image. This allows one to take into account all local features of the image [11, 12].
Эмпирические моды - это монокомпонентные составляющие изображения, модулированные по амплитуде и частоте для каждой строчки и столбца снимка, т.е. их амплитуда и частота меняются во времени. Моды не имеют строгого аналитического описания, но должны удовлетворять двум условиям [11, 12]:Empirical modes are monocomponent image components modulated in amplitude and frequency for each row and column of the image, i.e. their amplitude and frequency change over time. Mods do not have a strict analytical description, but must satisfy two conditions [11, 12]:
- общее число экстремумов и число пересечений нуля должны отличаться не более чем на единицу;- the total number of extrema and the number of zero crossings should differ by no more than one;
- среднее значение двух огибающих: верхней, интерполирующей локальные максимумы, и нижней, интерполирующей локальные минимумы, должно быть приближенно равно нулю.- the average value of two envelopes: the upper one, interpolating local maxima, and the lower one, interpolating local minima, should be approximately equal to zero.
Схема алгоритма ДЭМ области сердца приведена на фигуре 13 и включает в себя следующие действия.The DEM algorithm diagram of the heart region is shown in figure 13 and includes the following steps.
1. Определение локальных экстремумов и минимумов изображения области сердца fj(mi ni):1. Determination of local extrema and minima of the image of the region of the heart f j (m i n i ):
- значение i-го отсчета fj(mi ni) является локальным максимумом, если выполняется условие fj(mi-1,ni-1)<fj(mi,ni)≥fj(mi+1,ni+1);- the value of the ith sample f j (m i n i ) is a local maximum if the condition f j (m i-1 , n i-1 ) <f j (m i , n i ) ≥f j (m i +1 , n i + 1 );
- значение i-го отсчета fj(mi ni) является локальным минимумом, если выполняется условие fj(mi-1,ni-1)>fj(mi,ni)≤fj(mi+1,ni+1),- the value of the ith sample f j (m i n i ) is a local minimum if the condition f j (m i-1 , n i-1 )> f j (m i , n i ) ≤f j (m i +1 , n i + 1 ),
где j - шаг декомпозиции.where j is the decomposition step.
2. Определение верхней еj(mi ni) и нижней gj(mi ni) огибающей изображения области сердца с помощью кубической сплайн-интерполяции [11, 13] по найденным локальным экстремумам fj(mi,ni)2. Determination of the upper e j (m i n i ) and lower g j (m i n i ) envelopes of the image of the heart region using cubic spline interpolation [11, 13] based on the found local extrema f j (m i , n i )
, ,
, ,
где а в, bв, cв, dв - коэффициенты для каждого значения i-го отсчета верхних огибающих зашумленного ФОС;where a in , b in , c in , d in are the coefficients for each value of the i-th reference of the upper envelopes of the noisy FOS;
а н, bн, cн, dн - коэффициенты для каждого значения i-го отсчета верхних огибающих зашумленного ФОС. and n , b n , c n , d n are the coefficients for each value of the i-th reference of the upper envelopes of the noisy FOS.
3. Вычисление среднего значения огибающих изображения области сердца в соответствии с выражением3. The calculation of the average value of the envelopes of the image of the region of the heart in accordance with the expression
, ,
где hj(mi ni) - среднее значение огибающих зашумленного ФОС;where h j (m i n i ) is the average value of the envelopes of the noisy FOS;
еj(mi, ni) и gj(mi, ni) верхняя и нижняя огибающая зашумленного ФОС соответственно.e j (m i , n i ) and g j (m i , n i ) the upper and lower envelopes of the noisy FOS, respectively.
4. Вычисление остатка изображения области сердца по формуле4. The calculation of the remainder of the image of the heart region by the formula
, ,
где sj(mi, ni) - остаток ФОС.where s j (m i , n i ) is the remainder of FOS.
5. Вычисление значения критерия останова. В качестве критерия останова декомпозиции используется значение нормализованной квадратичной разности, определяемое как [11, 12]5. The calculation of the value of the stopping criterion. As a criterion for stopping decomposition, the value of the normalized quadratic difference, defined as [11, 12], is used
, ,
6. Проверка условия останова. На этом этапе осуществляется сравнение значения остатка изображения области сердца со значением нормализованной квадратичной разности. Если:6. Checking the shutdown condition. At this stage, the value of the remainder of the image of the region of the heart is compared with the value of the normalized quadratic difference. If:
- SD>sj(mi, ni), то переходят к выполнению действия 1;- SD> s j (m i , n i ), then proceed to step 1;
- SD<sj(mi ni) и hj(mi ni)>sj(mi ni), то переходят к выполнению следующего действия.- SD <s j (m i n i ) and h j (m i n i )> s j (m i n i ), then proceed to the next step.
7. Вывод эмпирических мод изображения области сердца на фронтальном и левобоковои ФОС. На этом этапе осуществляется вывод мод mk(mi, ni) и остатка sj(mi, ni,) области сердца, где k - номер. На фигуре 14 (а, б, в, г, д) и 15 (а, б, в, г, д) приведены результаты разложения изображения области сердца на фронтальном и левобоковом ФОС на составные части - набор эмпирических мод изображения области сердца (а, б, в, г) и остаток - глобальный тренд изображения области сердца (д). Представленные на фигуре 14 и 15 эмпирические моды получены путем применения метода ДЭМ последовательно для каждого изображения, начиная с исходного снимка, соответственно во фронтальной и левобоковой проекции. Из каждого изображения (см. фигуру 2а и 9а) получена первая мода (см. фигуру 14а и 15а), а из нее получена следующая (см. фигуру 14б и 15б) и так далее. Каждая эмпирическая мода, представленная на фигуре 14 и 15, получена путем разложения ей предыдущей. Составляющие снимков, представленных на фигуре 14д и 15д, являются глобальными трендами снимков и дальнейшему разложению не подлежат. Глобальный тренд представляет собой монотонную функцию, которая не может быть разложена далее на моды, согласно условиям декомпозиции сигнала на эмпирические моды [11, 12].7. The conclusion of the empirical modes of the image of the region of the heart on the frontal and left-sided FOS. At this stage, the mode m k (m i , n i ) and the remainder s j (m i , n i ,) of the heart region are output, where k is the number. Figure 14 (a, b, c, d, d) and 15 (a, b, c, d, d) show the results of decomposition of the image of the heart region on the frontal and left-side FOS into its components - a set of empirical modes of image of the heart region (a , b, c, d) and the remainder is the global trend of the image of the region of the heart (e). The empirical modes shown in Figures 14 and 15 are obtained by applying the DEM method sequentially for each image, starting from the original image, respectively, in the frontal and left-side projection. From each image (see figure 2a and 9a) the first mode is obtained (see figure 14a and 15a), and the next one is obtained from it (see figure 14b and 15b) and so on. Each empirical mode shown in figures 14 and 15 was obtained by decomposing the previous one. The components of the images shown in Figures 14d and 15d are global trends of images and are not subject to further decomposition. The global trend is a monotonic function, which cannot be further decomposed into modes, according to the conditions of signal decomposition into empirical modes [11, 12].
Следующий этап «Восстановление изображения области сердца». На этом этапе осуществляется восстановление изображения области сердца путем суммирования отдельных эмпирических мод mk(mi, ni). Целью этапа «Восстановление изображения области сердца» является получение изображения с явными текстурными различиями в области сердца относительно других областей на снимке.The next stage is "Restoring the image of the heart region." At this stage, the image of the region of the heart is restored by summing the individual empirical modes m k (m i , n i ). The purpose of the “Restoration of the image of the region of the heart” stage is to obtain an image with clear textural differences in the region of the heart relative to other regions in the image.
Критерием оценки восстановленного изображения области сердца является значение фрактальной размерности. Фрактальная размерность отражает степень “зернистости” текстуры на снимках (мелкозернистой и крупнозернистой). Численное значение величины фрактальной размерности характеризует степень заполненности окна элементами, в котором существует фрактальная система [14].The criterion for evaluating the reconstructed image of the heart region is the value of the fractal dimension. The fractal dimension reflects the degree of “graininess” of the texture in the images (fine-grained and coarse-grained). The numerical value of the fractal dimension characterizes the degree to which the window is filled with elements in which the fractal system exists [14].
Расчет фрактальной размерности снимков осуществляется следующим образом. Сначала восстановленные эмпирические моды преобразуются из оттенков серого цвета в черно-белые изображения. Затем на снимок накладывалась сетка с квадратной ячейкой размером 1×1 пиксель и подсчитывалось число клеток, в которые попадают участки только черного цвета. Затем определяется зависимость количества ячеек, занятых черными или белыми пикселями, от размера снимка, т.е. определяется фрактальная размерность снимка по следующей формуле:The calculation of the fractal dimension of the images is as follows. First, restored empirical modes are converted from shades of gray to black and white images. Then, a grid with a
, ,
где D - фрактальная размерность;where D is the fractal dimension;
N - минимальное число квадратных ячеек, которые полностью покрывают фрактальное множество, т.е. участок только черного цвета;N is the minimum number of square cells that completely cover the fractal set, i.e. plot only black;
ε - длина стороны квадратной ячейки сетки снимка.ε is the side length of the square grid cell of the image.
Согласно [14], фрактальная размерность может равняться 2, т.е. совпадать с топологической размерностью плоскости изображения, а для изображения, в котором имеется только белый цвет, фрактальная размерность будет равна 1. Изображение, имеющее градацию черного и белого цвета, фрактальная размерность будут дробной и варьируется в пределах от 1 до 2. Таким образом, в соответствии выражению (10), для каждого восстановленного изображения области сердца значение фрактальной размерности D будет меняться. Так, значение фрактальной размерности изображения области сердца варьируется в пределах 1<D<2.According to [14], the fractal dimension can be 2, i.e. coincide with the topological dimension of the image plane, and for an image in which there is only white color, the fractal dimension will be 1. An image having a gradation of black and white, the fractal dimension will be fractional and varies from 1 to 2. Thus, in According to expression (10), for each reconstructed image of the heart region, the value of the fractal dimension D will change. So, the value of the fractal dimension of the image of the region of the heart varies within 1 <D <2.
Таким образом вычисляются значения фрактальной размерности для изображения области сердца. Значение фрактальной размерности изображения области сердца в области сердца отлично от фрактальной размерности других органов и тканей на изображении и находится в пределе 1,3<D<1,6. Так, в интервал значений фрактальной размерности 1<D<1,3 и 1,6<D<2 попадают восстановленные изображения области сердца, текстура которых является более укрупненной или более измельченной в области самого сердца. Такие снимки не используются для дальнейших исследований. Значение фрактальной размерности восстановленного изображения области сердца, попадающее в интервал 1,3<D<1,6, является оптимальным.Thus, the values of the fractal dimension for the image of the region of the heart are calculated. The value of the fractal dimension of the image of the region of the heart in the region of the heart is different from the fractal dimension of other organs and tissues in the image and is in the range of 1.3 <D <1.6. So, in the interval of values of the
Результат восстановления изображения области сердца путем суммирования отдельных эмпирических мод приведен на фигуре 16 (а, б) для фронтального и левобокового изображения области сердца.The result of restoring the image of the region of the heart by summing up individual empirical modes is shown in figure 16 (a, b) for the frontal and left-sided image of the region of the heart.
Следующий этап «Выделение верхней границы сердца» осуществляется на основе сегментации изображения области сердца, текстурного анализа верхней области сердца и анализа его верхней границы методом активных контуров.The next stage “Highlighting the upper border of the heart” is carried out on the basis of segmentation of the image of the heart region, texture analysis of the upper region of the heart and analysis of its upper border by the active contour method.
Сначала производится сегментация изображения области сердца на снимках путем нахождения центра снимка (mс, nс). Затем, относительно центра снимка (mс, nс) проводится центральная вертикальная линия.First, segmentation of the image of the heart region in the images is performed by finding the center of the image (m s , n s ). Then, relative to the center of the image (m s , n s ), a central vertical line is drawn.
Затем, по вертикальной линии, от центра снимка, отступаем вверх и вниз 1/4 от средней длины сердца человека, т.е. по 30 мм соответственно вверх и вниз по вертикальной линии. Находим дополнительные вертикальные точки области сердца на снимкахThen, a vertical line, from image center back down the up and down 1/4 of the average length of the human heart, i.e. 30 mm up and down respectively in a vertical line. Find additional vertical points of the heart region in the pictures
, ,
координата второй верхней и второй нижней точек области сердцаthe coordinate of the second upper and second lower points of the heart region
, ,
лежащие на центральной вертикальной линии. Через дополнительно найденную верхнюю вертикальную точку области сердца на снимке проводим горизонтальную линию А, которая разделяет изображение на две части, верхняя часть которой содержит область с верхней границей сердца, а нижняя часть содержит область с нижней и боковыми границами сердца. Расположение всех точек на снимке приведено на фигуре 17 (а, б) на фронтальном (а) и левобоковом (б) изображении области сердца.lying on the center vertical line. Through the additionally found upper vertical point of the heart region in the image, we draw a horizontal line A, which divides the image into two parts, the upper part of which contains the region with the upper border of the heart, and the lower part contains the region with the lower and lateral borders of the heart. The location of all points in the image is shown in figure 17 (a, b) in the frontal (a) and left-sided (b) image of the region of the heart.
Затем осуществляется отделение верхней части области сердца на снимках по линии А. Формируется матрица размером, совпадающая с размером выделенной области сердца, в которой присутствует только верхняя часть выделенной области сердца, а оставшаяся часть пустая, заполняется нулями (см. фигуру 18 (а, б)).Then, the upper part of the heart region is separated in the images along line A. A matrix is formed in size that matches the size of the selected region of the heart, in which only the upper part of the selected region of the heart is present, and the remaining part is empty, filled with zeros (see figure 18 (a, b )).
Далее следует текстурный анализ верхней области сердца на восстановленном фронтальном и левобоковом изображении области сердца. Целью текстурного анализа является выделение области сердца. Критерием выделения верхней области сердца является однородная текстура, которая позволяет выделить границы сердца и отделить их от других органов на изображении. Алгоритм текстурного анализа приведен на фигуре 19.The following is a texture analysis of the upper region of the heart in the reconstructed frontal and left-sided image of the region of the heart. The purpose of texture analysis is to highlight a region of the heart. The criterion for the selection of the upper region of the heart is a homogeneous texture, which allows you to highlight the borders of the heart and separate them from other organs in the image. The texture analysis algorithm is shown in figure 19.
Текстурный анализ восстановленной области сердца на ФОС производится с помощью метода скользящего окна [15]. Суть метода заключается в том, что выбирается область на снимке, представляющая собой квадратный участок, который производит обработку всех участков изображения в определенной последовательности, слева направо сверху вниз. При этом на каждом следующем шаге окно смещается на один элемент (пиксель), т.е. новое окно перекрывает предыдущее. Скользящее окно смещается сначала по горизонтали от левого края изображения к правому. Затем при достижении правой границы окно смещается на 1 пиксель по вертикали от верхней к нижней части изображения и возвращается к левому краю изображения. Таким образом, осуществляется построчный обход изображения до тех пор, пока окно не достигнет нижней правой границы изображения.A texture analysis of the reconstructed region of the heart on FOS is performed using the sliding window method [15]. The essence of the method is that the area in the picture is selected, which is a square section that processes all sections of the image in a certain sequence, from left to right, from top to bottom. In this case, at each next step, the window is shifted by one element (pixel), i.e. a new window overlaps the previous one. The sliding window first shifts horizontally from the left edge of the image to the right. Then, when the right border is reached, the window is shifted 1 pixel vertically from the top to the bottom of the image and returns to the left edge of the image. Thus, line-by-line crawl of the image is carried out until the window reaches the lower right border of the image.
Построчный обход изображения необходим для того, чтобы определить те участки на снимке которые соответствуют только области сердца. Для этого необходимо подобрать оптимальные текстурные коэффициенты для верхней границы сердца: размер скользящего окна, шаг его смещения вдоль изображения и критерий оценки каждого окна. В качестве критерия оценки предложено использовать тот же критерий, что был использован на этапе «Восстановление изображения области сердца» - фрактальная размерность. Значения текстурных коэффициентов области сердца на изображении области сердца были подобраны следующие: значение фрактальной размерности 1,48, размер скользящего окна 12, шаг скользящего окна 1. Значения текстурных коэффициентов области сердца на изображении области сердца были подобраны следующие: значение фрактальной размерности 1, 34, размер скользящего окна 8, шаг скользящего окна 1. Результат работы данного действия приведен на фигуре 20 (а, б) соответственно.Progressive crawl of the image is necessary in order to determine those areas in the image that correspond only to the region of the heart. For this, it is necessary to select the optimal texture coefficients for the upper border of the heart: the size of the sliding window, the step of its displacement along the image, and the evaluation criterion for each window. It is proposed to use the same criterion as the evaluation criterion that was used at the stage of "Restoring the image of the heart region" - fractal dimension. The values of the texture coefficients of the heart region in the image of the heart region were selected as follows: the value of the fractal dimension 1.48, the size of the sliding window 12, the step of the sliding
На найденной верхней области сердца осуществляется выделение его верхней границы. Выделение верхней границы осуществляется методом активных контуров [16, 17]. Для выделение верхней границы сердца методом активных контуров используется алгоритм «Region Based Active Contour Segmentation» [18].On the found upper region of the heart, the allocation of its upper border is carried out. The upper boundary is selected by the active contour method [16, 17]. To select the upper border of the heart by the method of active contours, the algorithm “Region Based Active Contour Segmentation” is used [18].
Под «активным контуром» понимается изменяемый контур [16, 17], который состоит из М точек в двумерном пространствеBy “active circuit” is meant a variable circuit [16, 17], which consists of M points in two-dimensional space
, ,
где νi=[mi, ni], i=[1,…, М].where ν i = [m i , n i ], i = [1, ..., M].
Каждая точка «активного контура» итеративно подходит к границе области сердца. Для каждой точки, близкой к вершине νi, считается значение общей энергии «активного контура» Еi Each point of the "active circuit" iteratively approaches the border of the region of the heart. For each point close to the peak ν i , the value of the total energy of the "active circuit" E i is considered
, ,
где Еint(νi) - энергетическая составляющая, зависящая от формы активного контура,where E int (ν i ) is the energy component, depending on the shape of the active circuit,
Eext(νi) - энергетическая составляющая, зависящая от свойств изображения - градиента;E ext (ν i ) - energy component, depending on the properties of the image - the gradient;
а, b - весовые коэффициенты, обеспечивающие вклад каждой из энергий; a , b - weighting coefficients, providing the contribution of each of the energies;
Еi Eint, Eext - квадратные матрицы.E i E int , E ext - square matrices.
Значение в центре каждой из матриц энергии соответствует энергии в точке vi (i-й вершины «активным контуром»). Остальные значения в матрицах энергии соответствуют энергии в каждой точке, находящейся в окружении νi.The value in the center of each of the energy matrices corresponds to the energy at the point v i (i-th vertex of the "active circuit"). The remaining values in the energy matrices correspond to the energy at each point surrounded by ν i .
Каждая вершина νi потенциально может перейти в любую точку ν'i, соответствующей минимальным значением энергии Еi. Данный процесс изображен на фигуре 21a. Если энергетическая функция настроена корректно, вершины «активным контуром» V итеративно перемещаются и останавливаются вблизи границ области сердца.Each vertex ν i can potentially go to any point ν ' i corresponding to the minimum value of energy E i . This process is depicted in figure 21a. If the energy function is configured correctly, the vertices of the "active circuit" V iteratively move and stop near the borders of the heart region.
Внутренняя энергия Еint рассчитывается по следующей формуле [16]:The internal energy E int is calculated by the following formula [16]:
где с - весовой коэффициент;where c is the weight coefficient;
Еcon(νi) - квадратная матрица энергии сглаживающего контура;E con (ν i ) is the square energy matrix of the smoothing contour;
Ebal(νi) - квадратная матрица энергии распирающего контура.E bal (ν i ) is the square energy matrix of the bursting circuit.
Внутренняя энергия Еint(νi) состоит из двух составляющих: энергии «активным контуром» Econ(νi) (сглаживающая составляющая) и распирающей «активный контур» энергии Еbal(νi) [16, 17].The internal energy E int (ν i ) consists of two components: energy “active circuit” E con (ν i ) (smoothing component) and bursting “active circuit” energy E bal (ν i ) [16, 17].
Сглаживающую энергию замкнутого «активного контура» Еcon(νi)) можно вычислить по следующим выражениям:The smoothing energy of the closed "active circuit" E con (ν i )) can be calculated by the following expressions:
, ,
где pjk(νi) - точки (х, у), которые соответствуют точкам на снимке в матрице энергии;where p jk (ν i ) are the points (x, y) that correspond to the points in the image in the energy matrix;
n - число точек в активном контуре.n is the number of points in the active circuit.
Данная составляющая «активного контура» Еcon стягивает контур и не позволяет отдельным вершинам сильно отделяться от остальных. Минимальное значение в матрице сглаживающей энергии Еcon(νi) будет соответствовать значению pjk(νi), максимально близкой к идеальной поверхности, проходящей через две соседние вершины контура νi-1 и νi+1 (см. фигуру 21б).This component of the "active contour" E con tightens the contour and does not allow individual vertices to strongly separate from the rest. The minimum value in the smoothing energy matrix E con (ν i ) will correspond to the value p jk (ν i ), which is as close as possible to the ideal surface passing through two adjacent vertices of the contour ν i-1 and ν i + 1 (see figure 21b).
Распирающая энергия (Еbal(νi)) заставляет контур деформироваться в одном направлении. Элементы матрицы распирающей энергии Ebal(νi) рассчитываются по следующей формуле:Bursting energy (E bal (ν i )) causes the circuit to deform in one direction. The elements of the matrix of bursting energy E bal (ν i ) are calculated by the following formula:
, ,
где ni - единичный вектор нормали к контуру V;where n i is the unit normal vector to the contour V;
pjk(νi) - точки (х, у), которые соответствуют точкам на изображении в матрице энергии.p jk (ν i ) - points (x, y) that correspond to points in the image in the energy matrix.
Вектор ni может быть найден поворотом вектора ti на 90 градусовVector n i can be found by rotating the vector t i 90 degrees
. .
Внешняя энергия Eext(νi) рассчитывается по следующей формуле [16]:External energy E ext (ν i ) is calculated by the following formula [16]:
, ,
где b, m, g - весовые коэффициенты;where b, m, g - weighting factors;
Emag(νi) - квадратная матрица энергии изображения;E mag (ν i ) is the square matrix of the image energy;
Egrad(νi) - квадратная матрица энергии градиента.E grad (ν i ) is the square matrix of the gradient energy.
Внешняя энергия Еехt(νi) также состоит из двух составляющих: энергии снимка Emag(νi) и энергии градиента Egrad(νi) [16, 17]. Матрица энергии изображения Еmag(νi) состоит из значений яркости изображенияThe external energy E ext (ν i ) also consists of two components: the image energy E mag (ν i ) and the gradient energy E grad (ν i ) [16, 17]. The image energy matrix E mag (ν i ) consists of image brightness values
, ,
где I(pjk(νi)) - функция яркости в точке pjk(νi).where I (p jk (ν i )) is the brightness function at the point p jk (ν i ).
Матрица энергии градиента Egrad(νi) вычисляется по формулеThe gradient energy matrix E grad (ν i ) is calculated by the formula
, ,
где ν-I(pjk(νi)) - функция градиента снимка (первая производная по яркости).where ν-I (p jk (ν i )) is the gradient function of the image (the first derivative with respect to brightness).
Согласно алгоритму [18], для повышения точности выделения контура сердца на изображении области сердца необходимо подобрать оптимальное количество итераций для Еi.According to the algorithm [18], to improve the accuracy of highlighting the contour of the heart in the image of the region of the heart, it is necessary to select the optimal number of iterations for E i .
Таким образом, результатом работы этапа «Выделение верхней границы области сердца» является выделенная верхняя граница сердца (см. фигуру 22) в области сердца на фронтальном (а) и левобоковом (б) изображении области сердца, на основе сегментации области сердца, текстурного анализа верхней области сердца и анализа его верхней границы методом активных контуров.Thus, the result of the work “Highlighting the upper border of the heart region” is the selected upper border of the heart (see figure 22) in the heart region in the frontal (a) and left-side (b) image of the heart region, based on segmentation of the heart region, texture analysis of the upper areas of the heart and analysis of its upper border by the method of active contours.
Следующие два этапа «Выделение левой и правой границы сердца на основе границ легких» и «Выделение нижней границы сердца» и аналогичны этапам известного способа определения непрозрачной области на рентгенограмме грудной клетки. Определение нижней, левой и правой границ сердца на ФОС осуществляется тем же способом, как и на этапе «Выделение верхней границы сердца» на основе сегментации области сердца, текстурного анализа верхней области сердца и анализа его верхней границы методом активных контуров.The next two stages, “Isolation of the left and right border of the heart based on the borders of the lungs” and “Isolation of the lower border of the heart” are similar to the steps of the known method for determining the opaque region on the chest radiograph. The determination of the lower, left, and right borders of the heart on FOS is carried out in the same way as in the “Highlighting the upper border of the heart” stage based on segmentation of the heart region, texture analysis of the upper heart region and analysis of its upper border by the active contour method.
Выделение нижней границы сердца осуществляется за счет сегментации изображения по вертикальной линии В, проведенной через точку на снимке (хс, y11) (см. фигуру 17 (а, б)) с последующим текстурным анализом нижней области сердца и выделением нижней границы области сердца методом активных контуров.Highlighting the lower border of the heart is carried out by segmenting the image along a vertical line B drawn through a point in the image (x s , y 11 ) (see figure 17 (a, b)), followed by texture analysis of the lower region of the heart and highlighting the lower border of the heart active contour method.
В результате отделения верхней и нижней части области сердца по вертикальным линиям А и В на изображении осталась только центральная область с левой и правой границей сердца, которая так же разделяется по центральной вертикальной линии на две области сердца (см. фигуру 17).As a result of the separation of the upper and lower parts of the heart region along the vertical lines A and B in the image, only the central region with the left and right border of the heart remained, which is also divided along the central vertical line into two regions of the heart (see figure 17).
Выделение левой и правой границы сердца осуществляется на основе сегментации изображения по горизонтальной линии, проведенной через центральную точку на снимке (хс, yс) до линий А и В (см. фигуру 17 (а, б)). В результате чего оставшаяся часть области сердца разделяется на две части, в каждой из которых выделяется граница сердца посредством текстурного анализа и метода активных контуров.The selection of the left and right borders of the heart is based on the segmentation of the image along a horizontal line drawn through the center point in the image (x s , y s ) to lines A and B (see figure 17 (a, b)). As a result, the remaining part of the heart region is divided into two parts, in each of which the border of the heart is highlighted by texture analysis and the active contour method.
Отличительной особенностью данного этапа от этапа «Выделение верхней границы изображения области сердца» являются значения текстурных коэффициентов. Значения текстурных коэффициентов на фронтальном изображении области сердца для нижней границы области сердца равны: значение фрактальной размерности 1, 37; размер скользящего окна 12; шаг скользящего окна 1. Значения текстурных коэффициентов на фронтальном изображении области сердца для боковых границ области сердца равны: значение фрактальной размерности 1, 34; размер скользящего окна 8; шаг скользящего окна 1.A distinctive feature of this stage from the stage “Highlighting the upper border of the image of the heart region” are the values of texture coefficients. The values of texture coefficients in the frontal image of the heart region for the lower border of the heart region are equal: the value of the
Таким образом, согласно предыдущим этапам, были отдельно выделены области сердца на снимках.Thus, according to the previous steps, areas of the heart in the images were separately identified.
Заключительными этапами предлагаемого способа выделения контура сердца на флюорографических снимках являются «Корректировка КМС по выделенным контурам сердца на фронтальном и левобоковом изображении области сердца» и «Вывод контура сердца».The final stages of the proposed method for isolating the heart contour in fluorographic images are “Correction of the CCM according to the selected contours of the heart in the frontal and left-sided image of the heart region” and “Output of the heart contour”.
После отделения области сердца от других органов на снимке и выделения его границ приступаем к этапу «Корректировка КМС по выделенным контурам сердца на фронтальном и левобоковом изображении области сердца». Для этого используется «Способ автоматического определения размеров и положения сердца по флюорографическим снимкам» [19], включающий сначала формирование проекции трехмерной КМС на плоскости, соответствующие проекции сердца на фронтальном и левобоковом ФОС. Затем создается массив контуров проекций КМС, получаемых последовательными поворотами модели с заданным шагом угла по трем координатным осям. Для достаточно точного определения положения сердца пациента максимальное отклонение угла поворота модели предлагается брать не более 5° градусов.After separating the region of the heart from other organs in the image and highlighting its borders, we proceed to the stage “Correction of the CMR according to the selected contours of the heart in the frontal and left-sided image of the region of the heart”. To do this, use the "Method for automatically determining the size and position of the heart by fluorographic images" [19], which includes first forming a projection of a three-dimensional CMR on a plane, corresponding to the projection of the heart on the frontal and left-side FOS. Then an array of contours of the CCM projections is obtained, obtained by successive turns of the model with a given angle step along the three coordinate axes. For a sufficiently accurate determination of the position of the patient's heart, the maximum deviation of the rotation angle of the model is proposed to be taken no more than 5 ° degrees.
Затем осуществляется наложение изображения проекции модели сердца на изображение контура сердца, выделенного на ФОС, определение геометрического центра контурного изображения сердца, совмещение геометрического центра проекции модели сердца с геометрическим центром контурного изображения сердца с помощью операции сдвига вдоль координатных осей. Прямой и левый боковой ФОС пациента одновременно сравниваются с контурами соответствующих проекций модели. В зависимости от отношения площадей изображения сердца на ФОС и проекции модели сердца вычисляются коэффициенты масштабирования модели сердца вдоль каждой из координатных осей [19]Then, the image of the projection of the heart model is superimposed on the image of the heart contour highlighted on the FOS, the geometric center of the contour image of the heart is determined, the geometric center of the projection of the heart model is combined with the geometric center of the heart contour image using the shift operation along the coordinate axes. The direct and left lateral FOS of the patient are simultaneously compared with the contours of the corresponding projections of the model. Depending on the ratio of the areas of the image of the heart on the FOS and the projection of the heart model, the scaling factors of the heart model along each of the coordinate axes are calculated [19]
, ,
, ,
, ,
где Кх, Ку, Kz - коэффициенты масштабирования вдоль осей X, Y, Z соответственно;where Kx, Ku, Kz are the scaling factors along the X, Y, Z axes, respectively;
SF1 - площадь сердца на фронтальном изображении области сердца;SF1 is the area of the heart in the frontal image of the region of the heart;
SF2 - площадь фронтальной проекции модели сердца;SF2 is the frontal area of the heart model;
SL1 - площадь сердца на левобоковом изображении области сердца;SL1 is the area of the heart in the left-side image of the region of the heart;
SL2 - площадь левобоковой проекции модели сердца.SL2 is the area of the left-side projection of the heart model.
После определения углов поворота сердца пациента производится нелинейное масштабирование изображений контуров модели сердца таким образом, чтобы они более точно соответствовали изображениям контуров сердца на ФОС пациента. Масштабирование модели сердца осуществляется с помощью аффинных преобразований. Аффинное преобразование представляет собой линейное преобразование с последующим преобразованием сдвига, оно может быть представлено в следующем виде:After determining the angles of rotation of the patient’s heart, nonlinear scaling of the images of the contours of the heart model is performed so that they more closely correspond to the images of the heart contours on the patient’s FOS. Scaling of the heart model is carried out using affinity transformations. An affine transformation is a linear transformation followed by a shift transformation; it can be represented as follows:
, ,
где Т - аффинное преобразование;where T is an affine transformation;
х - вектор координат точки в пространстве;x is the coordinate vector of a point in space;
О - матрица линейного преобразования координат;О - matrix of linear transformation of coordinates;
q - вектор сдвига.q is the shift vector.
То же преобразование часто записывают в матричной формеThe same transformation is often written in matrix form
где Т - аффинное преобразование;where T is an affine transformation;
x, y, z - координаты точки в пространстве;x, y, z - coordinates of a point in space;
а1..а3 - коэффициенты линейного преобразования координат; and 1 .. and 3 are the coefficients of the linear transformation of coordinates;
b1..b3 - коэффициенты сдвига.b1..b3 - shift coefficients.
Полученные коэффициенты масштабирования Кх, Ку, Kz используются при корректировке трехмерной КМСП. Данный способ позволяет корректировать КМС по выделенным контурам сердца, как показано на фигуре 23.The obtained scaling factors Kx, Ku, Kz are used when adjusting the three-dimensional IMSC. This method allows you to adjust the CCM on the selected contours of the heart, as shown in figure 23.
Выполнение этапа «Корректировка КМС по выделенным контурам сердца на фронтальном и левобоковом изображении области сердца» позволяет скорректировать границы области сердца на фронтальном и левобоковом ФОС.Performing the stage "Correction of the CCM according to the selected contours of the heart in the frontal and left-sided image of the heart region" allows you to adjust the boundaries of the heart region in the frontal and left-side FOS.
Таким образом, результатом работы предлагаемого способа выделения контура сердца на флюорографических снимках является выделенный контур сердца на фронтальном и левобоковом ФОС (см. фигуру 24).Thus, the result of the proposed method for highlighting the contour of the heart in fluorographic images is the selected contour of the heart on the frontal and left-sided FOS (see figure 24).
Приведенное описание способа определения контура сердца на флюорографических снимках, по мнению авторов предполагаемого изобретения, показывает, что предлагаемый способ определения контура сердца на флюорографических снимках позволяет устранить недостаток известного способа определения непрозрачной области на рентгенограмме грудной клетки, а именно, повысить точность определения контура сердца, за счет выделения верхней его границы на фронтальных и левобоковых флюорографических снимках, и повысить точность диагностики состояний сердечно-сосудистой системы.The above description of the method for determining the contour of the heart on fluorographic images, according to the authors of the alleged invention, shows that the proposed method for determining the contour of the heart on fluorographic images eliminates the disadvantage of the known method for determining the opaque region on the chest radiograph, namely, to increase the accuracy of determining the contour of the heart, for by highlighting its upper border in the frontal and left-side fluorographic images, and to improve the accuracy of diagnosis of conditions of cardio-vascular system.
При этом в предлагаемом способе определения контура сердца на флюорографических снимках проявляются новые свойства, которые позволяют автоматизировать процесс точного определения контура сердца по ФОС и синтезировать затем компьютерную модель сердца пациента.Moreover, in the proposed method for determining the contour of the heart on fluorographic images, new properties are manifested that allow you to automate the process of accurately determining the contour of the heart by FOS and then synthesize a computer model of the patient’s heart.
Источники информацииInformation sources
1. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде Matlab. Москва: Техносфера, 2006. 616 с.1. Gonzalez R., Woods R., Eddins S. Digital image processing in Matlab. Moscow: Technosphere, 2006.616 p.
2. Рангайян P.M. Анализ биомедицинских сигналов. Практический подход / Пер. с англ. под ред. А.П.Немирко. М.: ФИЗМАТЛИТ, 2007. 414 с.2. Rangayyan P.M. Analysis of biomedical signals. Practical approach / Per. from English under the editorship of A.P. Nemirko. M .: FIZMATLIT, 2007.414 s.
3. Способ определения основных показателей миогемодинамики сердца /Бодин О.Н. / Бурукина И.П. / Митин А.А. / Огоньков В.В. / Митрошин А.Н. / Бондаренко Л.А. / Рудакова Л.Е. // Патент РФ №2264786, МПК А61В 5/0402, 6/00.3. A method for determining the main indicators of myohemodynamics of the heart / Bodin O.N. / Burukina I.P. / Mitin A.A. / Ogonkov V.V. / Mitroshin A.N. / Bondarenko L.A. / Rudakova L.E. // RF patent №2264786,
4. Патент США №20080181481. Method and system for locating opaque regions in chest X-ray radiographs / Ling Hong / Ying Li / Hong Shen // 31.07.2008.4. US Patent No. 20080181481. Method and system for locating opaque regions in chest X-ray radiographs / Ling Hong / Ying Li / Hong Shen // 07/31/2008.
5. Дегтярева А.Е., Преобразование Хафа (Hough transform). Компьютерная графика и мультимедиа, №1(2). 2003 г. URL: http://cgm.computergraphics.ru/content/view/36.5. Degtyareva AE, Hough transform (Hough transform). Computer Graphics and Multimedia, No. 1 (2). 2003 URL: http://cgm.computergraphics.ru/content/view/36 .
6. Кочура В.И., Лаптев В.Я. Возможности цифровой флюорографии при исследовании легких URL: http://www.medafarm.ru.6. Kochura V.I., Laptev V.Ya. Possibilities of digital fluorography for lung examination URL: http://www.medafarm.ru.
7. Аппарат для получения компьютерных рентгеновских изображений и способ получения таких изображений / Арапов Н.А. / Корнев А.Н. / Кулаков В.И. / Никонов И.А. / Санталов Б.Ф. / Устинин М.Н. / Фокин В.А. / Яшин В.А. // Патент РФ №2134450, МПК 6 G06T 1/00, G03B 42/02, H05G 1/00, А61В 6/00, G06F 19/00, G06F 159:00.7. Apparatus for obtaining computer x-ray images and a method for obtaining such images / Arapov N.A. / Kornev A.N. / Kulakov V.I. / Nikonov I.A. / Santalov B.F. / Ustinin M.N. / Fokin V.A. / Yashin V.A. // RF patent №2134450, IPC 6 G06T 1/00, G03B 42/02,
8. Ройтберг Г.Е., Струтынский А.В. Лабораторная и инструментальная диагностика заболеваний внутренних органов. М.: Медицина. 2003. 89 с.8. Roitberg G.E., Strutinsky A.V. Laboratory and instrumental diagnosis of diseases of internal organs. M .: Medicine. 2003.89 p.
9. Яне Б. Цифровая обработка изображений. Москва: Техносфера, 2007. 584 с.9. Jane B. Digital image processing. Moscow: Technosphere, 2007.584 s.
10. Цветков В.Д. Сердце, "золотое сечение" и симметрия. Пущино: ПНЦ РАН, 1997.170 с.10. Tsvetkov V.D. The heart, the golden ratio and symmetry. Pushchino: PSC RAS, 1997.170 p.
11. Huang N.E., Shen S.S. The Hilbert-Huang transform and its applications - World Scientific Publication, 2005. pp.323.11. Huang N.E., Shen S.S. The Hilbert-Huang transform and its applications - World Scientific Publication, 2005. pp.323.
12. Huang, N.E., Attoh-Okine Nii O. The Hilbert-Huang transform in engineering -Taylor and Francis, 2005. pp.95.12. Huang, N.E., Attoh-Okine Nii O. The Hilbert-Huang transform in engineering -Taylor and Francis, 2005. pp. 95.
13. Корнейчук Н.П. Сплайны в теории приближения - М.: Наука, Главная редакция физико-математической литературы, 1984. С.352.13. Korneichuk N.P. Splines in approximation theory - M .: Nauka, Main Edition of the Physics and Mathematics Literature, 1984. P.352.
14. Фрактальный анализ процессов, структур и сигналов. Коллективная монография / Под ред. Р.Э. Пащенко // Харьков. "НЭО "ЭкоПерспектива". 2006. 348 с.14. Fractal analysis of processes, structures and signals. Collective Monograph / Ed. R.E. Pashchenko // Kharkov. NEO EcoPerspective. 2006.348 s.
15. Мицель А.А., Колодникова Н.В., Протасов К.Т. Непараметрический алгоритм текстурного анализа аэрокосмических снимков. Известия ТПУ, №1, 2005. С.65-70.15. Mitsel A.A., Kolodnikova N.V., Protasov K.T. Nonparametric algorithm for texture analysis of aerospace images. TPU News, No. 1, 2005. S.65-70.
16. Kaas М., Witkin A., Terzopoulos D. Snakes: Active Contour Models. Int. Journal of Computer Vision. 1987. p.312-331.16. Kaas M., Witkin A., Terzopoulos D. Snakes: Active Contour Models. Int. Journal of Computer Vision. 1987. p. 312-331.
17. Петров В.О., Привалов O.O. Модификация алгоритма активных контуров для решения задачи интерактивной сегментации растровых изображений. Современные проблемы науки и образования. 2008. С.14-19.17. Petrov V.O., Privalov O.O. Modification of the active contour algorithm to solve the problem of interactive segmentation of raster images. Modern problems of science and education. 2008. S.14-19.
18. Active Contour Matlab Code Demo. Regionbased_seg_demo.zip.2008. URL: http:// www.shawnlankton.com/tag/computer-vision.18. Active Contour Matlab Code Demo. Regionbased_seg_demo.zip.2008. URL: http: // www.shawnlankton.com/tag/computer-vision.
19. Способ автоматического определения размеров и положения сердца по флюорографическим снимкам / Бодин О.Н. / Кузьмин А.В. / Семенкин М.А. / Моисеев А.Е. // Патент РФ №2372844, МПК А61В 6/00/107.19. A method for automatically determining the size and position of the heart by fluorographic images / Bodin ON / Kuzmin A.V. / Semenkin M.A. / Moiseev A.E. // RF patent №2372844,
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2011104224/28A RU2478337C2 (en) | 2011-02-08 | 2011-02-08 | Method of determining heart contour on fluorogpaphy images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2011104224/28A RU2478337C2 (en) | 2011-02-08 | 2011-02-08 | Method of determining heart contour on fluorogpaphy images |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2011104224A RU2011104224A (en) | 2012-08-20 |
RU2478337C2 true RU2478337C2 (en) | 2013-04-10 |
Family
ID=46936062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2011104224/28A RU2478337C2 (en) | 2011-02-08 | 2011-02-08 | Method of determining heart contour on fluorogpaphy images |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2478337C2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2639018C2 (en) * | 2016-05-17 | 2017-12-19 | Общество с ограниченной ответственностью (ООО) "Кардиовид" | Method for automatic determination of geometrical parameters of patient's heart and torso on fluorographic images and their visualization |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111199674B (en) * | 2020-01-21 | 2022-07-08 | 珠海赛纳三维科技有限公司 | Heart model, and three-dimensional printing method and system of heart model |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5072384A (en) * | 1988-11-23 | 1991-12-10 | Arch Development Corp. | Method and system for automated computerized analysis of sizes of hearts and lungs in digital chest radiographs |
US6973158B2 (en) * | 2003-06-25 | 2005-12-06 | Besson Guy M | Multi-target X-ray tube for dynamic multi-spectral limited-angle CT imaging |
US20060285751A1 (en) * | 2005-06-15 | 2006-12-21 | Dawei Wu | Method, apparatus and storage medium for detecting cardio, thoracic and diaphragm borders |
RU2372844C1 (en) * | 2008-06-16 | 2009-11-20 | Общество с ограниченной ответственностью (ООО) "Кардиовид" | Method of automatic determining of dimensions and position of patient's heart by photoroentgenographic images |
-
2011
- 2011-02-08 RU RU2011104224/28A patent/RU2478337C2/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5072384A (en) * | 1988-11-23 | 1991-12-10 | Arch Development Corp. | Method and system for automated computerized analysis of sizes of hearts and lungs in digital chest radiographs |
US6973158B2 (en) * | 2003-06-25 | 2005-12-06 | Besson Guy M | Multi-target X-ray tube for dynamic multi-spectral limited-angle CT imaging |
US20060285751A1 (en) * | 2005-06-15 | 2006-12-21 | Dawei Wu | Method, apparatus and storage medium for detecting cardio, thoracic and diaphragm borders |
RU2372844C1 (en) * | 2008-06-16 | 2009-11-20 | Общество с ограниченной ответственностью (ООО) "Кардиовид" | Method of automatic determining of dimensions and position of patient's heart by photoroentgenographic images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2639018C2 (en) * | 2016-05-17 | 2017-12-19 | Общество с ограниченной ответственностью (ООО) "Кардиовид" | Method for automatic determination of geometrical parameters of patient's heart and torso on fluorographic images and their visualization |
Also Published As
Publication number | Publication date |
---|---|
RU2011104224A (en) | 2012-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10699410B2 (en) | Automatic change detection in medical images | |
US10636142B2 (en) | Real-time and accurate soft tissue deformation prediction | |
EP3855391A1 (en) | Methods and systems for characterizing anatomical features in medical images | |
US12008759B2 (en) | Method and system for identifying pathological changes in follow-up medical images | |
US9561004B2 (en) | Automated 3-D orthopedic assessments | |
EP2916738B1 (en) | Lung, lobe, and fissure imaging systems and methods | |
CN109754394B (en) | Three-dimensional medical image processing device and method | |
US9792703B2 (en) | Generating a synthetic two-dimensional mammogram | |
US10997475B2 (en) | COPD classification with machine-trained abnormality detection | |
US10867375B2 (en) | Forecasting images for image processing | |
EP2534641B1 (en) | Method for obtaining a three-dimensional reconstruction from one or more projective views and use thereof | |
JP2022517769A (en) | 3D target detection and model training methods, equipment, equipment, storage media and computer programs | |
US20220028129A1 (en) | Three-Dimensional Shape Reconstruction from a Topogram in Medical Imaging | |
CN108701360B (en) | Image processing system and method | |
CN116583880A (en) | Multimodal image processing technique for training image data generation and use thereof for developing a unimodal image inference model | |
US11423554B2 (en) | Registering a two-dimensional image with a three-dimensional image | |
CN114450716A (en) | Image processing for stroke characterization | |
CN111223158B (en) | Artifact correction method for heart coronary image and readable storage medium | |
CN112634265A (en) | Method and system for constructing and segmenting fully-automatic pancreas segmentation model based on DNN (deep neural network) | |
RU2478337C2 (en) | Method of determining heart contour on fluorogpaphy images | |
Dovganich et al. | Automatic quality control in lung X-ray imaging with deep learning | |
Garcia et al. | Multimodal breast parenchymal patterns correlation using a patient-specific biomechanical model | |
Flach et al. | PURE: panoramic ultrasound reconstruction by seamless stitching of volumes | |
CN114708283A (en) | Image object segmentation method and device, electronic equipment and storage medium | |
CN101719274B (en) | Three-dimensional texture analyzing method of medicinal image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20140209 |