RU2668699C1 - Intellectual method of diagnostics and detection of neoplasms in lungs - Google Patents
Intellectual method of diagnostics and detection of neoplasms in lungs Download PDFInfo
- Publication number
- RU2668699C1 RU2668699C1 RU2018118626A RU2018118626A RU2668699C1 RU 2668699 C1 RU2668699 C1 RU 2668699C1 RU 2018118626 A RU2018118626 A RU 2018118626A RU 2018118626 A RU2018118626 A RU 2018118626A RU 2668699 C1 RU2668699 C1 RU 2668699C1
- Authority
- RU
- Russia
- Prior art keywords
- neoplasms
- candidate
- neoplasm
- voxels
- lungs
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Abstract
Description
Изобретение относится к области искусственного интеллекта в медицине и предназначено для интеллектуальной диагностики рака легких. Широкое распространение курения в начале ХХ века привело к тому, что рак легких быстро занял позицию самого частого онкологического заболевания. В XXI веке ежегодно в мире рак легких регистрируется примерно у 1,3 млн. человек, более 1 млн. жителей планеты погибают от этого заболевания. В России выявляется 66000 новых случаев рака легких ежегодно, а умирает свыше 58000 больных.The invention relates to the field of artificial intelligence in medicine and is intended for the intelligent diagnosis of lung cancer. The widespread smoking in the early twentieth century led to the fact that lung cancer quickly took the position of the most common cancer. In the 21st century, approximately 1.3 million people are registered with lung cancer every year in the world, more than 1 million of the world's inhabitants die from this disease. In Russia, 66,000 new cases of lung cancer are detected annually, and over 58,000 patients die.
В настоящее время с появлением новых взглядов на лечение проблемы диагностики онкологических заболеваний приобретают все большее значение. Одновременно успешное развитие новых методов искусственного интеллекта, а точнее, одной из его составляющих, машинного обучения, в сочетании с повышением производительности средств вычислительной техники, привели к стремительному росту интереса к этой области со стороны ученых, инженеров и исследователей. Результатом такого интереса явилось большое количество новых разработок, связанных с созданием интеллектуальных систем диагностики (ИСД) онкологических заболеваний, ориентированных, прежде всего, на их раннее выявление. Currently, with the advent of new views on treatment, the problems of the diagnosis of cancer are becoming increasingly important. At the same time, the successful development of new methods of artificial intelligence, or rather, one of its components, machine learning, combined with an increase in the productivity of computer technology, has led to a rapid increase in interest in this area from scientists, engineers and researchers. The result of this interest was a large number of new developments related to the creation of intelligent diagnostic systems (ISD) of oncological diseases, focused primarily on their early detection.
Опухоль в легком может быть определена как патологическое объёмное образование, имеющее примерно сферическую структуру. Критериями доброкачественности являются ровный, чёткий контур, отсутствие в структуре признаков некроза, наличие обызвествлений, отсутствие изменений в окружающей лёгочной ткани и плевре. Критерии злокачественности опухоли, напротив, определяются как совокупность признаков, характеризующих экспансивный инвазивный рост: неровный нечёткий контур образования, признаки некроза к структуре, наличие радиарных тяжей, как проявление местного лимфангита, тракция прилежащей плевры. Было разработано множество систем диагностирования онкологических заболеваний (СДО) для обеспечения успешного обнаружения опухолей легких и для более обоснованного принятия решения о начале лечения на ранней стадии заболевания. Многие СДО основаны на применении методов фильтрации для обнаружения новообразований в легких на основе серий сканов компьютерной томографии (КТ), которая признана золотым стандартом в диагностике рака легкого. Данные КТ представляются в виде трехмерных изображений в формате DICOM (Digital Imaging and Communication in Medicine). Исходно сведения содержат серию сканов как последовательность 2D-изображений, а интервал между этими 2D-изображениями называется Z-интервалом.A tumor in the lung can be defined as a pathological volumetric mass with approximately spherical structure. Benign criteria are a smooth, clear outline, the absence of signs of necrosis in the structure, the presence of calcifications, the absence of changes in the surrounding lung tissue and pleura. Criteria for tumor malignancy, on the contrary, are defined as a set of signs characterizing expansive invasive growth: an uneven fuzzy outline of the formation, signs of necrosis to the structure, the presence of radial cords, as a manifestation of local lymphangitis, traction of the adjacent pleura. Many cancer diagnosis systems (DLC) have been developed to ensure successful detection of lung tumors and to make a more informed decision about starting treatment at an early stage of the disease. Many DLS are based on the use of filtration methods to detect neoplasms in the lungs based on a series of computed tomography (CT) scans, which is recognized as the gold standard in the diagnosis of lung cancer. CT data is presented in the form of three-dimensional images in the DICOM format (Digital Imaging and Communication in Medicine). Initially, the information contains a series of scans as a sequence of 2D images, and the interval between these 2D images is called the Z interval.
Детальный обзор современных методов обнаружения опухолей в легком и реализаций СДО можно найти в работе (Firmino M., Morais A.H., Mendoca R.M., Dantas M.R., Hekis H.R., Valentim R. Computer-aided detection system for lung cancer in computed tomography scans: review and future prospects. Biomedical engineering online, 13(1):41, 2014) и в работе (Rehman M.Z., Javaid M., Shah S.I.A., Gilani S.O., Jamil M., Butt S.I. An appraisal of nodules detection techniques for lung cancer in CT images. Biomedical Signal Processing and Control, 41:140-151, 2018). Как показано в обзоре серьезной проблемой этих СДО является относительно большое количество ложноположительных результатов, когда различные элементы легких распознаются как злокачественные новообразования, в то время как они таковыми не являются.A detailed review of modern methods for detecting tumors in the lung and the implementation of DLS can be found in (Firmino M., Morais AH, Mendoca RM, Dantas MR, Hekis HR, Valentim R. Computer-aided detection system for lung cancer in computed tomography scans: review and future prospects.Biomedical engineering online, 13 (1): 41, 2014) and in work (Rehman MZ, Javaid M., Shah SIA, Gilani SO, Jamil M., Butt SI An appraisal of nodules detection techniques for lung cancer in CT images. Biomedical Signal Processing and Control, 41: 140-151, 2018). As shown in the review, a serious problem of these SDSs is the relatively large number of false-positive results, when various elements of the lungs are recognized as malignant neoplasms, while they are not.
Чтобы решить эту проблему и «интеллектуализировать» процесс обнаружения злокачественных образований использовались многочисленные подходы на основе «неглубокого» обучения (Khosravan N. and Bagci U. Semi-supervised multi-task learning for lung cancer diagnosis // arXiv:1802.06181v1, Feb 2018). Многие предлагаемые в последние годы СДО используют также методы глубокого обучения, в том числе 2D и 3D сверточные нейронные сети (СНС) для решения задач классификации и сегментации. Несмотря на большой интерес к методам глубокого обучения, существует много путей использования обычных методов машинного обучения, которые дают лучшие результаты по сравнению с СДО, использующими СНС. Так в (Nithila E.E. and Kumar S.S. Automatic detection of solitary pulmonary nodules using swarm intelligence optimized neural networks on CT images // Engineering Science and Technology, an International Journal, 20(3):1192–1202, 2017) представлена методика, которая помогает сегментировать новообразования без применения методов глубокого обучения. Она использует деревья решений для классификации сегментированной области. В работе (Khosravan N. and Bagci U. Semi-supervised multi-task learning for lung cancer diagnosis // arXiv:1802.06181v1, Feb 2018) отмечается, что информация о КТ-морфологии (размер, объем, форма, контур, структура) играет ключевую роль в скрининге, диагностике и классификации. Эта информация может быть эффективно использована при выявлении рака легкого. Геометрические параметры новообразований широко использовались для их обнаружения и дальнейшей классификации методами опорных векторов, k ближайших соседей, деревьями решений.To solve this problem and “intellectualize” the process of detecting malignant tumors, numerous approaches based on “shallow” training were used (Khosravan N. and Bagci U. Semi-supervised multi-task learning for lung cancer diagnosis // arXiv: 1802.06181v1, Feb 2018) . Many SDOs proposed in recent years also use deep learning methods, including 2D and 3D convolutional neural networks (SNA) for solving classification and segmentation problems. Despite the great interest in deep learning methods, there are many ways to use conventional machine learning methods that give better results compared to LMS using the SNA. So (Nithila EE and Kumar SS Automatic detection of solitary pulmonary nodules using swarm intelligence optimized neural networks on CT images // Engineering Science and Technology, an International Journal, 20 (3): 1192–1202, 2017) provides a technique that helps segment neoplasms without the use of deep learning methods. It uses decision trees to classify a segmented area. In the work (Khosravan N. and Bagci U. Semi-supervised multi-task learning for lung cancer diagnosis // arXiv: 1802.06181v1, Feb 2018), it is noted that information on CT morphology (size, volume, shape, contour, structure) plays a key role in screening, diagnosis and classification. This information can be effectively used to detect lung cancer. The geometric parameters of the neoplasms were widely used for their detection and further classification by methods of support vectors, k nearest neighbors, and decision trees.
Из уровня техники известен способ, основанный на применении методов машинного обучения для анализа генетических последовательностей (заявка WO2017065959, опубл. 20.04.2017 по классам МПК C12Q1/68, G06F19/20).The prior art method based on the use of machine learning methods for the analysis of genetic sequences (application WO2017065959, publ. 04/20/2017 IPC classes C12Q1 / 68, G06F19 / 20).
В патенте Китая № CN1462884, опубл. 24.12.2003 по классам МПК A61B5/00, G01N33/574, G06F19/00, заявлен способ распознавания изображений клеток рака легких с низкой ложноотрицательной вероятностью, включающий фотографирование участка патологической клетки цифровой камерой на оптическом микроскопе, подбор видеоизображения устройством съемки изображения, отправку его на компьютер, предварительную обработку и распознавание с помощью устройства распознавания изображения клеток рака легких, состоящего из двухстадийной нейронной сети.In Chinese Patent No. CN1462884, publ. 12/24/2003 according to IPC classes A61B5 / 00, G01N33 / 574, G06F19 / 00, a method for recognizing images of lung cancer cells with a low false-negative probability, including photographing a portion of an abnormal cell with a digital camera using an optical microscope, selecting a video image by an image pickup device, sending it to computer, pre-processing and recognition using a lung cancer cell image recognition device consisting of a two-stage neural network.
В патенте № EP2362958, опубл. 07.09.2011 по классу МПК G06F19/00, заявлен способ классификации опухолей мелкоклеточной карциномы легкого и клеточных линий в соответствии с геномическими профилями, а также способы диагностики, прогнозирования клинических исходов и стратификации популяций пациентов для клинического тестирования и лечения.In patent No. EP2362958, publ. 09/07/2011 in the IPC class G06F19 / 00, a method for classifying small cell lung carcinoma tumors and cell lines in accordance with genomic profiles, as well as methods for diagnosing, predicting clinical outcomes and stratifying patient populations for clinical testing and treatment are claimed.
В заявке WO201865525, опубл.12.04.2018 по классу МПК C12Q1/68, заявлен способ прогнозирования развития рака на базе анализа образцов ткани от пациентов, в частности рака предстательной железы. Способ позволяет идентифицировать потенциально агрессивные виды рака предстательной железы, требующие лечения, и виды рака, не требующие лечения. В изобретении предоставлены панели биомаркеров, полезные для диагностики и прогнозирования рака. In the application WO201865525, published 12.04.2018 for IPC class C12Q1 / 68, a method for predicting the development of cancer based on the analysis of tissue samples from patients, in particular prostate cancer, is claimed. The method allows to identify potentially aggressive types of prostate cancer requiring treatment, and types of cancer that do not require treatment. The invention provides biomarker panels useful for diagnosing and predicting cancer.
Техническая проблема заявляемого изобретения заключается в создании способа интеллектуального обнаружения и диагностики злокачественных новообразований в тканях легких на основе результатов исследований методом компьютерной томографии, не требующего больших затрат на лабораторные исследования, квалифицированных медицинских специалистов и позволяющего с высокой точностью и в кратчайшие сроки идентифицировать количество, расположение, структуру злокачественных новообразований.The technical problem of the claimed invention lies in the creation of a method for the intelligent detection and diagnosis of malignant neoplasms in lung tissues based on the results of computed tomography studies, which do not require large expenses for laboratory tests, by qualified medical specialists and that allow to identify the quantity, location with high accuracy and in the shortest possible time. structure of malignant neoplasms.
Технический результат - снижение количества обнаруженных ложноположительных новообразований в легких.The technical result is a decrease in the number of detected false positive tumors in the lungs.
Интеллектуальный способ обнаружения и диагностики злокачественных новообразований в легких, включающий обработку изображений легких пациента, полученных методом компьютерной томографии, в результате которой в графическом изображении маскируют воксели со значениями плотности по шкале Хаунсфилда, не соответствующими значениям плотности тканям легких, последующую сегментацию вокселей, расположенных на поверхности «кандидатов» новообразований, построение множества хорд, образованных комбинациями пар точек, находящихся в выделенных вокселях на поверхности «кандидатов» новообразований, построение гистограммы распределения длин хорд с приведением к максимальной длине хорды, построенной в границах каждого «кандидата» новообразования, формирование вектора признаков, включающего данные построенной гистограммы распределения длин хорд, среднее значение плотности по шкале Хаунсфилда каждого «кандидата» новообразования, общее количество вокселей в каждом «кандидате» новообразования, после чего по сформированному вектору признаков осуществляют классификацию каждого «кандидата» новообразования как истинного злокачественного новообразования с помощью алгоритма машинного обучения, реализующего функции классификатора.An intelligent method for detecting and diagnosing malignant neoplasms in the lungs, including processing images of the patient’s lungs obtained by computed tomography, which mask voxels with density values on the Hounsfield scale that do not correspond to the density values of lung tissues, followed by segmentation of voxels located on the surface "Candidates" of neoplasms, the construction of many chords formed by combinations of pairs of points located in the selected voxels on the surface of the “candidates” of neoplasms, the construction of a histogram of the distribution of chord lengths with the maximum length of the chord plotted within the boundaries of each “candidate” of the neoplasm, the formation of a feature vector that includes the data of the histogram of the distribution of lengths of chords, the average density value on the Hounsfield scale of each “candidate” "Neoplasms, the total number of voxels in each" candidate "of the neoplasm, after which, according to the formed vector of signs, each th “candidate” of the neoplasm as a true malignant neoplasm using the machine learning algorithm that implements the functions of the classifier.
В качестве алгоритма машинного обучения может быть использован классификатор «глубокий лес» (Deep Forest) для обнаружения злокачественных новообразований, при этом классификатор предварительно обучен на основе множества векторов признаков, полученных после обработки КТ-изображений истинных злокачественных новообразований в легких с использованием сегментации и метода хорд, причем в качестве признаков выбраны гистограмма распределения длин хорд для каждого истинного злокачественного новообразования с приведением к максимальной длине хорды, образованной комбинациями пар точек, находящихся в выделенных вокселях на поверхности истинного злокачественного новообразования, среднее значение плотности по шкале Хаунсфилда истинного злокачественного новообразования, общее количество вокселей в истинном злокачественном новообразовании.As a machine learning algorithm, the Deep Forest classifier can be used to detect malignant neoplasms, while the classifier is pre-trained on the basis of many feature vectors obtained after processing CT images of true malignant neoplasms in the lungs using segmentation and chord method moreover, the histogram of the distribution of chord lengths for each true malignant neoplasm with reduction to the maximum length was selected as signs hordes formed by combinations of pairs of points that are in the selected voxels on the surface of a true malignant neoplasm, average density value on a scale Hounsfield true malignant neoplasm, the total number of voxels in its true malignancies.
Метод КТ позволяет определить локализацию очага, размер, отношение к другим тканям, рост опухоли и так далее. Расшифровка снимков КТ - трудоемкий процесс, а особенно при КТ легких. Даже рентгенологи с большим стажем работы зачастую спорят о происхождении тех или иных изменений в легком. Заболевания легких рентгенологически очень схожи друг с другом, поэтому процент неправильных заключений по результатам компьютерной томографии велик.The CT method allows you to determine the localization of the focus, size, relation to other tissues, tumor growth, and so on. Deciphering CT scans is a time-consuming process, and especially with CT scans of the lungs. Even radiologists with long experience often argue about the origin of various changes in the lung. X-ray lung diseases are very similar to each other, so the percentage of incorrect conclusions on the results of computed tomography is high.
Заявляемый способ диагностирования онкологических заболеваний легких позволяет существенно снизить количество обнаруженных ложноположительных новообразований, тем самым уменьшить количество диагностических ошибок.The inventive method for diagnosing cancer of the lungs can significantly reduce the number of detected false positive neoplasms, thereby reducing the number of diagnostic errors.
33
Авторами не был выявлен из уровня техники способ диагностирования онкологических заболеваний легких, включающий обработку КТ-изображений, применение метода хорд для получения информации о поверхности и форме новообразований с последующей классификацией новообразований с помощью алгоритма машинного обучения. Способ идентификации позволяет с высокой точностью и в кратчайшие сроки (за несколько секунд) определить число и границы новообразований, их расположение в тканях легких.The authors did not identify from the prior art a method for diagnosing lung cancer, including processing CT images, using the chord method to obtain information about the surface and shape of neoplasms, followed by classification of neoplasms using machine learning algorithm. The identification method allows with high accuracy and in the shortest possible time (in a few seconds) to determine the number and boundaries of neoplasms, their location in lung tissues.
Изобретение поясняется чертежами, где:The invention is illustrated by drawings, where:
на фиг. 1 представлено 3D-изображение легких, полученное с помощью КТ и соответствующее полному строению легких, включая сосуды, воду и т.д.;in FIG. 1 presents a 3D image of the lungs obtained by CT and corresponding to the complete structure of the lungs, including blood vessels, water, etc .;
- на фиг. 2 представлено 3D-изображение, полученное после обработки изображений КТ и соответствующее только тканям легких;- in FIG. 2 shows a 3D image obtained after processing CT images and corresponding only to lung tissue;
- на фиг. 3 представлена типовая гистограмма распределения длин хорд с приведением к максимальной длине хорды для каждого обнаруженного злокачественного образования, где f - частота хорд определенной длины, l - приведенная длина хорды (f, l - безразмерные величины);- in FIG. Figure 3 shows a typical histogram of the distribution of chord lengths with reduction to the maximum chord length for each detected malignant formation, where f is the frequency of chords of a certain length, l is the reduced chord length (f, l are dimensionless values);
- на фиг.4 представлена типовая гистограмма распределения длин хорд с приведением к максимальной длине хорды для каждого обнаруженного доброкачественного образования, где f - частота хорд определенной длины, l - приведенная длина хорды (f, l - безразмерные величины);- figure 4 presents a typical histogram of the distribution of the lengths of the chords with reduction to the maximum chord length for each detected benign formation, where f is the frequency of the chords of a certain length, l is the reduced chord length (f, l are dimensionless values);
- на фиг. 5 представлен пример полученного изображения на экране монитора, визуализирующего участки легкого в различных проекциях с обнаруженными злокачественными новообразованиями (выделены в прямоугольниках).- in FIG. Figure 5 shows an example of a received image on a monitor screen that visualizes sections of the lung in various projections with detected malignant neoplasms (highlighted in rectangles).
Интеллектуальный способ обнаружения и диагностики злокачественных новообразований в легких состоит из следующих этапов: предварительной обработки КТ-изображения (обнаружение «кандидатов» новообразований фильтрацией и сегментацией тканей); сокращении числа ложноположительных случаев (исключение ложных новообразований, которые неверно идентифицированы на этапе фильтрации); классификации новообразований. Все этапы способа выполняются компьютерной программой, разработанной авторами.An intelligent method for detecting and diagnosing malignant neoplasms in the lungs consists of the following stages: preliminary processing of a CT image (detection of “candidates” of neoplasms by filtration and tissue segmentation); reduction in the number of false positive cases (exclusion of false neoplasms that are incorrectly identified at the filtration stage); classification of neoplasms. All steps of the method are performed by a computer program developed by the authors.
Процедура предварительной обработки КТ-изображения заключается в отделении области исследования (легочная ткань) от других органов и тканей (органы средостения, мягкие ткани грудной стенки, костные структуры) и снижении вычислительной сложности следующих этапов (фиг.1). Предварительная обработка КТ-изображения легких включает этап сегментации КТ-изображения. В соответствии с этой процедурой данные или значения вокселей в каждом КТ-изображении преобразуются в значения плотности по шкале Хаунсфилда или коэффициент абсорбции тканей, он же коэффициент ослабления, выражаемый в единицах Хаунсфилда (ед. Н, или Hounsfield Units, или HU). В шкале Хаунсфилда за 0 принята плотность воды. Используя разницу плотностного диапазона между легочной тканью, обладающей естественной контрастностью, и мягкими тканями, имеющими положительные значения по шкале Хаунсфилда от +40 до +80, метод сегментации является эффективным. Воксели, которые находятся за пределами этой области плотностного диапазона и соответствуют сосудам, воде, воздуху и т.д., «маскируются» для того, чтобы оставить для анализа толькоThe procedure for pre-processing CT images consists in separating the study area (lung tissue) from other organs and tissues (mediastinal organs, soft tissues of the chest wall, bone structures) and reducing the computational complexity of the following steps (Fig. 1). Preliminary processing of CT images of the lungs includes the step of segmentation of CT images. In accordance with this procedure, the data or values of voxels in each CT image are converted to density values on the Hounsfield scale or tissue absorption coefficient, it is the attenuation coefficient expressed in Hounsfield units (unit N, or Hounsfield Units, or HU). In the Hounsfield scale, the density of water is taken as 0. Using the difference in the density range between lung tissue, which has natural contrast, and soft tissues, which have positive values on the Hounsfield scale from +40 to +80, the segmentation method is effective. Voxels that are outside this range of the density range and correspond to vessels, water, air, etc., are “masked” in order to leave for analysis only
4four
легочную ткань. На фиг. 2 представлено 3D-изображение, полученное после обработки КТ-изображений и соответствующее только тканям легких. lung tissue. In FIG. 2 presents a 3D image obtained after processing CT images and corresponding only to lung tissue.
Второй этап сегментации заключается в выделении «кандидатов» новообразований для дальнейшего определения вокселей, расположенных на поверхности анализируемых образований. С помощью разработанной компьютерной программы осуществляется выделение вокселей графически, описывающих границы «кандидатов» новообразований (при помощи стандартных процедур графической обработки изображения по цветам объектов на нем). Таким образом, получают предварительную визуализацию с выделенными границами «кандидатов» новообразований. Сегментация новообразований может быть реализована с помощью стандартных библиотек Python. Объекты на КТ-изображениях разделяются анализом каждого вокселя, применяя библиотеку Python SimpleITK (метод Connected Treshold).The second stage of segmentation is to identify the “candidates” of neoplasms for further determination of voxels located on the surface of the analyzed formations. Using the developed computer program, voxels are selected graphically, describing the boundaries of the “candidates” of neoplasms (using standard procedures for graphic processing of the image by the colors of objects on it). Thus, a preliminary visualization is obtained with the selected boundaries of the “candidates” of neoplasms. Neoplasm segmentation can be implemented using standard Python libraries. Objects in CT images are separated by analyzing each voxel using the Python SimpleITK library (Connected Treshold method).
Затем для каждого «кандидата» новообразования с помощью компьютерной программы строят множество хорд, образованных комбинациями пар точек, соответствующих вокселям, расположенных на поверхности анализируемых «кандидатов» новообразований. Построение множества хорд осуществляется с использованием программно реализованного стандартного генератора случайных чисел, имеющегося в библиотеках практически всех языков программирования, и, в частности, в Phyton. Каждая хорда – это отрезок соединяющий произвольно выбранную пару точек на поверхности «кандидата» новообразования. Метод хорд позволяет с высокой точностью получить информацию о границах поверхности и форме «кандидатов» новообразований (Smith S.P. and Jain A.K. Chord distribution for shape matching // Computer vision, graphics, and image processing, 20(3):259–271, 1982). Множество длин хорд можно рассматривать как распределение вероятностей или гистограмму. Метод хорд инвариантен к размеру объектов, их перемещению и повороту, а также устойчив по отношению к «шумам» или искажениям поверхности объекта. С помощью компьютерной программы вычисляют длины полученных хорд и нормализуют их в соответствии с самой длинной хордой. Затем строят гистограмму нормализованных длин хорд.Then, for each “candidate” neoplasm, a plurality of chords are formed using a computer program formed by combinations of pairs of points corresponding to voxels located on the surface of the analyzed “candidate” neoplasms. The construction of many chords is carried out using a software-implemented standard random number generator available in libraries of almost all programming languages, and, in particular, in Phyton. Each chord is a segment connecting an arbitrarily selected pair of points on the surface of the “candidate” neoplasm. The chord method makes it possible to obtain with high accuracy information about the surface boundaries and the shape of the “candidate” neoplasms (Smith SP and Jain AK Chord distribution for shape matching // Computer vision, graphics, and image processing, 20 (3): 259–271, 1982) . Many chord lengths can be considered as a probability distribution or a histogram. The chord method is invariant to the size of objects, their movement and rotation, and is also stable with respect to “noise” or distortion of the surface of the object. Using a computer program, the lengths of the obtained chords are calculated and normalized according to the longest chord. Then build a histogram of the normalized lengths of the chords.
В процессе анализа КТ-изображений с выделенными злокачественными и доброкачественными новообразованиями с помощью заявляемого способа авторами было обнаружено, что гистограммы распределения длин хорд для злокачественных и доброкачественных образований совершенно различны (фиг. 3, 4). Для злокачественных новообразований гистограмма распределения длин хорд имеет более гладкую форму. In the process of analyzing CT images with isolated malignant and benign neoplasms using the proposed method, the authors found that the histograms of the distribution of chord lengths for malignant and benign neoplasms are completely different (Figs. 3, 4). For malignant neoplasms, the histogram of the distribution of chord lengths has a smoother shape.
Классификацию каждого «кандидата» новообразования для определения соответствия их принадлежности к истинному новообразования (злокачественному или доброкачественному) осуществляют с помощью заранее обученного алгоритма машинного обучения, реализующего функции классификатора. В качестве обучаемого классификатора может использоваться любой классификатор. В данном способе используется случайный лес (Breiman L. Random forests // Machine learning, 45(1):5–32, 2001), являющийся наиболее известным и широко используемым на практике алгоритмом обучения с учителем, а также его расширение – глубокий лес (Deep Forest), являющийся эффективным при классификации изображений с небольшим числом категорий объектов (Zhou Z.-H., Feng J. DeepForest: Towards An Alternative to Deep Neural Networks, arXiv:1702.08835v2, 2017). The classification of each “candidate” neoplasm to determine whether they belong to a true neoplasm (malignant or benign) is carried out using a pre-trained machine learning algorithm that implements the functions of a classifier. Any classifier can be used as a trained classifier. This method uses a random forest (Breiman L. Random forests // Machine learning, 45 (1): 5–32, 2001), which is the most well-known and widely used in practice learning algorithm with a teacher, and its extension is a deep forest ( Deep Forest), which is effective in classifying images with a small number of categories of objects (Zhou Z.-H., Feng J. Deep Forest: Towards An Alternative to Deep Neural Networks, arXiv: 1702.08835v2, 2017).
Входными данными для классификатора является вектор признаков, который характеризует новообразование в легком с точки зрения его формы (гистограмма длин хорд, максимальные размеры новообразования) и плотности. Вектор признаков для каждого «кандидата» новообразования в легком содержит данные построенных гистограмм распределения длин хорд, среднее значение плотности по шкале Хаунсфилда; общее количество вокселей в новообразовании. Использование наряду с гистограммой длин хорд дополнительных признаков позволит повысить точность классификации. Для снижения количества ложноположительных случаев классификации новообразований вектор признаков может быть расширен другими признаками, наиболее точно описывающих структуру, морфологию «кандидатов» образований, демографические данные пациентов.The input for the classifier is a feature vector that characterizes the neoplasm in the lung in terms of its shape (histogram of chord lengths, maximum sizes of the neoplasm) and density. The vector of signs for each “candidate” neoplasm in the lung contains the data of the constructed histograms of the distribution of chord lengths, the average density value on the Hounsfield scale; total number of voxels in the neoplasm. The use of additional signs along with a histogram of the lengths of the chords will improve the classification accuracy. To reduce the number of false-positive cases of neoplasm classification, the feature vector can be expanded with other features that most accurately describe the structure, morphology of the “candidate” formations, and demographic data of patients.
Полученный вектор признаков рассматривается как характеристическое представление каждого новообразования. Благодаря тому, что в заявляемом способе для классификации новообразований используется не все изображение, а только гистограмма распределения длин хорд, существенно снижается сложность классификации и обнаружения злокачественных образований. The resulting feature vector is considered as a characteristic representation of each tumor. Due to the fact that the claimed method does not use the whole image to classify neoplasms, but only a histogram of the distribution of chord lengths, the complexity of classifying and detecting malignant tumors is significantly reduced.
После классификации каждого «кандидата» новообразования как истинного злокачественного новообразования на экране монитора отображается визуализация полученных результатов, на которой графически выделены обнаруженные злокачественные новообразования на проекциях изображения легкого. Полученная визуализация позволяет определить их расположение, примерную структуру. Затем по полученному результирующему изображению врач-диагност производит анализ обнаруженных новообразований с целью постановки диагноза.After classifying each “candidate” neoplasm as a true malignant neoplasm, a visualization of the results is displayed on the screen of the monitor, on which the detected malignant neoplasms are graphically highlighted on the projections of the image of the lung. The resulting visualization allows us to determine their location, an approximate structure. Then, according to the resulting image, the diagnostic doctor analyzes the detected neoplasms in order to make a diagnosis.
Заявляемый способ диагностики новообразований был опробован на наборе данных КТ-изображений легких 228 пациентов в формате DICOM из Minisite Harvard Tunor Hunt Challenge Minisite (http://www.topcoder.com). Получена вероятность правильного обнаружения опухоли 0,95. Вероятность получена путем разделения исходного набора данных на две части: обучающие данные и данные для тестирования. На первом наборе осуществляется обучение всей системы. На втором наборе осуществляется верификация системы и вычисление вероятности правильного обнаружения опухоли как доли совпадений обнаруженных опухолей и имеющихся в данных для тестирования к общему числу опухолей в данных для тестирования. На известном наборе данных LIDC (Lung Image Database Consortium) (Armato III S.G., McLennan G., and et al. The lung image database econsortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans. Medical Physics, 38(2):915-931, 2011) получена вероятность правильного обнаружения опухоли 0,93.The inventive method for diagnosing neoplasms was tested on a set of CT images of the lungs of 228 patients in DICOM format from the Minisite Harvard Tunor Hunt Challenge Minisite (http://www.topcoder.com). The probability of correct detection of the tumor is 0.95. The probability is obtained by dividing the initial data set into two parts: training data and data for testing. The first set provides training for the entire system. On the second set, the system is verified and the probability of the correct detection of the tumor is calculated as a fraction of the coincidence of the detected tumors and available in the test data to the total number of tumors in the test data. On the famous LIDC (Lung Image Database Consortium) dataset (Armato III SG, McLennan G., and et al. The lung image database econsortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans. Medical Physics, 38 (2): 915-931, 2011), the probability of correct detection of the tumor is 0.93.
Пример. С помощью заявляемого способа было проанализировано КТ-изображение легких пациента Х., 64 года, в результате чего обнаружены злокачественные новообразования. На Фиг. 5 представлено результирующее изображение, визуализирующее участки легкого пациента Х. в различных проекциях с обнаруженными злокачественными новообразованиями (выделены в прямоугольниках). Example. Using the proposed method, a CT image of the lungs of a patient H., 64 years old, was analyzed, as a result of which malignant neoplasms were detected. In FIG. Figure 5 presents the resulting image visualizing sections of the lung of patient X. in various projections with detected malignant neoplasms (highlighted in rectangles).
При обследовании пациентов получаемые КТ-изображения могут быть переданы на рабочий компьютер врача-диагноста, на котором установлена компьютерная программа реализующая заявляемый способ. Таким образом, заявляемый способ позволяет непосредственно после исследования пациента методом компьютерной томографии осуществлять интеллектуальный анализ полученного КТ-изображения легких с целью обнаружения и диагностики злокачественных новообразований в тканях легких и визуализации полученных результатов в виде расположения обнаруженных злокачественных новообразований на проекциях изображения легкого.When examining patients, the obtained CT images can be transferred to the working computer of the diagnostician, on which the computer program that implements the inventive method is installed. Thus, the claimed method allows directly after examining the patient by computed tomography to carry out an intellectual analysis of the obtained CT image of the lungs in order to detect and diagnose malignant neoplasms in the lung tissue and visualize the results in the form of the location of the detected malignant neoplasms on the projections of the lung image.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018118626A RU2668699C1 (en) | 2018-05-21 | 2018-05-21 | Intellectual method of diagnostics and detection of neoplasms in lungs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018118626A RU2668699C1 (en) | 2018-05-21 | 2018-05-21 | Intellectual method of diagnostics and detection of neoplasms in lungs |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2668699C1 true RU2668699C1 (en) | 2018-10-02 |
Family
ID=63798107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018118626A RU2668699C1 (en) | 2018-05-21 | 2018-05-21 | Intellectual method of diagnostics and detection of neoplasms in lungs |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2668699C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2694476C1 (en) * | 2018-11-22 | 2019-07-15 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Method for diagnosis of lung cancer based on intellectual analysis of the shape, internal and external structures of new growths |
| US11164676B2 (en) * | 2018-12-28 | 2021-11-02 | China Medical University Hospital | Computer-aided recognition system for treatment response of rectal cancer, and computer program product |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2012243C1 (en) * | 1991-06-25 | 1994-05-15 | Лощенов Виктор Борисович | Method of diagnosing malignant tumors in stomach and lungs |
| RU2324186C1 (en) * | 2006-10-03 | 2008-05-10 | Институт Молекулярной Генетики Российской Академии Наук (Имг Ран) | Method and tool for diagnostics of pulmonary epidermoid carcinoma |
-
2018
- 2018-05-21 RU RU2018118626A patent/RU2668699C1/en active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2012243C1 (en) * | 1991-06-25 | 1994-05-15 | Лощенов Виктор Борисович | Method of diagnosing malignant tumors in stomach and lungs |
| RU2324186C1 (en) * | 2006-10-03 | 2008-05-10 | Институт Молекулярной Генетики Российской Академии Наук (Имг Ран) | Method and tool for diagnostics of pulmonary epidermoid carcinoma |
Non-Patent Citations (4)
| Title |
|---|
| МЕЛДО А.А. и др. Методы диагностики и оценки степени распространенности онкологических заболеваний. Практическая онкология, том 18, N4, 2017, с. 1-14. * |
| МОРОЗОВ С.П. и др. Мультиспиральная компьютерная томография в многопрофильном стационаре. Учебно-методическое пособие. ФГУ "Центральная клиническая больница с поликлиникой" УДП РФ, Москва - 2009, с. 1-100. * |
| ХОРУЖИК С.А. и др. Основы КТ-визуализации. Часть 1. Просмотр и количественная оценка изображений. Радиология - практика, N3, 2011, с. 1-14. * |
| ХОРУЖИК С.А. и др. Основы КТ-визуализации. Часть 1. Просмотр и количественная оценка изображений. Радиология - практика, N3, 2011, с. 1-14. МЕЛДО А.А. и др. Методы диагностики и оценки степени распространенности онкологических заболеваний. Практическая онкология, том 18, N4, 2017, с. 1-14. МОРОЗОВ С.П. и др. Мультиспиральная компьютерная томография в многопрофильном стационаре. Учебно-методическое пособие. ФГУ "Центральная клиническая больница с поликлиникой" УДП РФ, Москва - 2009, с. 1-100. * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2694476C1 (en) * | 2018-11-22 | 2019-07-15 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Method for diagnosis of lung cancer based on intellectual analysis of the shape, internal and external structures of new growths |
| WO2020106185A1 (en) * | 2018-11-22 | 2020-05-28 | Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" | Diagnosis of lung cancer based on analysing the form of neoplasms |
| US11164676B2 (en) * | 2018-12-28 | 2021-11-02 | China Medical University Hospital | Computer-aided recognition system for treatment response of rectal cancer, and computer program product |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10467757B2 (en) | System and method for computer aided diagnosis | |
| US8111896B2 (en) | Method and system for automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and commputer program therefor | |
| US20080002870A1 (en) | Automatic detection and monitoring of nodules and shaped targets in image data | |
| JP2008520345A (en) | Method and system for detecting and classifying lesions in ultrasound images | |
| Hussain et al. | Cascaded regression neural nets for kidney localization and segmentation-free volume estimation | |
| Naresh et al. | Early detection of lung cancer using neural network techniques | |
| KR20180022607A (en) | Determination of result data on the basis of medical measurement data from various measurements | |
| Kuo et al. | Automatic lung nodule detection system using image processing techniques in computed tomography | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| Orobinskyi et al. | Novel Approach to Computer-Aided Detection of Lung Nodules of Difficult Location with Use of Multifactorial Models and Deep Neural Networks | |
| JP2009531117A (en) | Method and system for automatically recognizing precancerous abnormalities in anatomical structures and corresponding computer program | |
| Wang et al. | A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network | |
| Nguyen et al. | Pulmonary nodule detection based on faster R-CNN with adaptive anchor box | |
| RU2668699C1 (en) | Intellectual method of diagnostics and detection of neoplasms in lungs | |
| AR | A deep learning-based lung cancer classification of CT images using augmented convolutional neural networks | |
| KR101118211B1 (en) | Diagnosis of submucosal tumor using endoscopic ultrasonic image analysis | |
| Kuo et al. | Applied image processing techniques in video laryngoscope for occult tumor detection | |
| Mastouri et al. | A morphological operation-based approach for Sub-pleural lung nodule detection from CT images | |
| Sharanyaa et al. | DCNET: A Novel Implementation of Gastric Cancer Detection System through Deep Learning Convolution Networks | |
| Liang et al. | Recognizing focal liver lesions in contrast-enhanced ultrasound with discriminatively trained spatio-temporal model | |
| Widodo et al. | Texture feature extraction to improve accuracy of malignant and benign cancer detection on ct-scan images | |
| RU2694476C1 (en) | Method for diagnosis of lung cancer based on intellectual analysis of the shape, internal and external structures of new growths | |
| Shaziya et al. | Comprehensive review of automatic lung segmentation techniques on pulmonary CT images | |
| CN111311589A (en) | Pulmonary nodule detection and property judgment system and method | |
| Ravi et al. | Machine Learning-based Classification and Analysis of Breast Cancer Pathological Images |