RU2697733C1 - Система обработки рентгенографических изображений и вывода результата пользователю - Google Patents

Система обработки рентгенографических изображений и вывода результата пользователю Download PDF

Info

Publication number
RU2697733C1
RU2697733C1 RU2019118035A RU2019118035A RU2697733C1 RU 2697733 C1 RU2697733 C1 RU 2697733C1 RU 2019118035 A RU2019118035 A RU 2019118035A RU 2019118035 A RU2019118035 A RU 2019118035A RU 2697733 C1 RU2697733 C1 RU 2697733C1
Authority
RU
Russia
Prior art keywords
data
processing
image
unit
component
Prior art date
Application number
RU2019118035A
Other languages
English (en)
Inventor
Игорь Ильич Чернин
Владимир Ильич Чернин
Станислав Игоревич Чернин
Никита Алексеевич Николаев
Евгений Дмитриевич Никитин
Артём Александрович Капнинский
Original Assignee
Общество с ограниченной ответственностью "Медицинские Скрининг Системы"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Медицинские Скрининг Системы" filed Critical Общество с ограниченной ответственностью "Медицинские Скрининг Системы"
Priority to RU2019118035A priority Critical patent/RU2697733C1/ru
Application granted granted Critical
Publication of RU2697733C1 publication Critical patent/RU2697733C1/ru
Priority to US17/627,113 priority patent/US20230047497A1/en
Priority to PCT/RU2019/000947 priority patent/WO2020251396A1/ru
Priority to EP19932528.3A priority patent/EP3982321A4/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области вычислительной техники для обработки изображений. Технический результат заключается в повышении точности нахождения и классификации схожего объекта при обработке рентгенографических изображений и выводе результата обработки пользователю. Технический результат достигается за счет загрузки файлов рентгенографического изображения, содержащих метаданные, включающие информацию об объекте или субъекте изображения и информацию о самом изображении, шифрования загруженных файлов в случае, если упомянутые файлы содержат персональные данные человека, расшифровки упомянутых шифрованных загруженных файлов, обработки рентгенографического изображения, где в результате обработки происходит: нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения, где под релевантной областью рентгенографического изображения подразумевается область с найденным объектом, сжатия или разархивирования предварительно обработанного рентгенографического изображения, нахождения на двух предварительно обработанных изображениях одного схожего объекта и его обработки. 5 з.п. ф-лы, 2 ил.

Description

Область техники:
[0001] Изобретение относится к области вычислительной техники для обработки изображений, и может использоваться в области медицины, например, диагностики онкологических заболеваний, или в области промышленности, например, для выявления скрытых дефектов того или иного промышленного объекта.
Уровень техники:
[0002] В настоящее время существует множество систем, предназначенных для обработки изображений с целью выявления, например, онкологических заболеваний. Одним из примеров таких систем является система диагностики рака желудка с использованием сверточной нейронной сети, описанная в источнике CN 107368670 A. Данное решение предусматривает получение данных изображения среза нормальной ткани желудка, среза исследуемой ткани их сравнение и получение вывода в результате упомянутого сравнения. При этом, в результате сравнения нейронная сеть запоминает результат и использует его в будущем, т.е. является обучаемой.
[0003] Однако известному решению присущи недостатки. В числе недостатков известного решения имеется низкая точность обработки рентгенографических изображений и вывода результата обработки пользователю, поскольку известная система не предусматривает удаление шумов из захваченной релевантной области рентгенографического изображения, а также сравнение, по меньшей мере, двух изображений исследуемой ткани для нахождения схожего объекта, где под двумя изображениями подразумеваются два снимка различных проекций одной и той же исследуемой ткани или одного и того же исследуемого промышленного объекта. Более того, в известном решении не предусмотрено обеспечение конфиденциальности передаваемых данных за счет шифрования персональных данных пользователя при их обнаружении на рентгенографическом изображении, где под персональными данными подразумеваются любые данные, позволяющие однозначно идентифицировать их обладателя.
Раскрытие изобретения:
[0004] Задачей изобретения является устранение указанных выше недостатков.
[0005] Техническим результатом при этом является повышение точности нахождения и классификации схожего объекта при обработке рентгенографических изображений и вывода результата обработки пользователю, при обеспечении конфиденциальности передаваемых данных за счет шифрования персональных данных пользователя при их использовании или обнаружении на рентгенографическом изображении, где под персональными данными подразумеваются любые данные, позволяющие однозначно идентифицировать их обладателя.
[0006] Для достижения данного технического результата предложена система обработки рентгенографического изображения и вывода результата обработки пользователю, содержащая: блок ввода рентгенографического изображения, выполненный с возможностью загрузки файлов рентгенографического изображения, содержащих метаданные, включающие информацию об объекте или субъекте изображения и информацию о самом изображении и передачи загруженных файлов блоку предварительной обработки рентгенографического изображения, а также выполненный с возможностью шифрования загруженных файлов в случае, если упомянутые файлы содержат персональные данные человека; блок предварительной обработки рентгенографического изображения, выполненный с возможностью расшифровки упомянутых шифрованных загруженных файлов, обработки рентгенографического изображения и передачи предварительно обработанного рентгенографического изображения блоку сжатия или разархивирования, где в результате обработки происходит: нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения, где под релевантной областью рентгенографического изображения подразумевается область с найденным объектом; блок сжатия или разархивирования, выполненный с возможностью сжатия или разархивирования предварительно обработанного рентгенографического изображения для дальнейшей передачи блоку нахождения объектов; блок нахождения схожего по меньшей мере, одного объекта, выполненный с возможностью нахождения, по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку обработки данных, при этом упомянутое нахождение и обработка включает: нахождение схожего объекта на упомянутых изображениях и наложение переменных координат, расстояний и метрик на упомянутые изображения, где под двумя предварительно обработанными изображениями подразумевается два снимка различных проекций одной и той же исследуемой ткани человека или промышленного объекта; блок обработки данных, выполненный с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку постобработки, где обработка нейронной сетью и ее обучение заключается в выявлении закономерностей найденных и обработанных объектов множества рентгенографических изображений, а затем выявление в найденном и обработанном объекте области на основе выявленных закономерностей; блок постобработки данных, выполненный с возможностью постобработки данных, их передачу в блок хранения данных в блок отображения и в блок интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров выявленной области с выявленными закономерностями в процентном соотношении и классификацию упомянутой выявленной области; блок интерпретации данных, выполненный с возможностью формирования интерпретированных данных, их шифрования и передачи блоку отображения, при этом блок интерпретации данных соединен с базой данных блока хранения данных, содержащей данные всех классификаций выявленных областей, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса и блок отображения, выполненный с возможностью расшифровки шифрованных интерпретированных данных и вывода расшифрованных интерпретированных данных, по меньшей мере, одному пользователю.
[0007] Дополнительно нахождение и обработка дополнительно включает построение трехмерного отображения формы найденного объекта, а наложение переменных координат, расстояний и метрик на упомянутые изображения происходит в соответствии с упомянутым трехмерным отображением.
[0008] Дополнительно обучаемая нейронная сеть включает: компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN)); компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации; компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации; компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта.
[0009] Дополнительно формат рентгенографических изображений может быть, по меньшей мере, одним из: DICOM, JPEG, JPG, GIF, PNG.
[0010] Дополнительно рентгенографическим изображением является рентгенографический снимок органов или тканей человека, или рентгенографический снимок промышленного объекта.
[0011] Дополнительно физическим параметром объекта является вид объекта.
[0012] Очевидно, что как предыдущее общее описание, так и последующее подробное описание даны лишь для примера и пояснения и не являются ограничениями данного изобретения.
Краткое описание чертежей:
[0013] Фиг. 1 – схематичное изображение заявленной системы обработки рентгенографических изображений и вывода результата обработки пользователю.
[0014] Фиг. 2 – блок-схема этапов обработки рентгенографических изображений.
Осуществление изобретения:
[0015] Схематическое изображение заявленной системы обработки рентгенографических изображений и вывода результата обработки пользователю показано на рисунке (Фиг. 1). Система содержит блок 101 ввода данных, блок 102 предварительной обработки данных, блок 103 сжатия или разархивирования, блок 104 нахождения схожего, по меньшей мере, одного объекта, блок 105 обработки данных, блок 106 постобработки данных, блок 107 хранения, блок 108 отображения и вывода, блок 109 интерпретации данных, сеть 110 передачи данных, удаленный сервер 111. Блоки ввода 101, предварительной обработки 102, сжатия или разархивирования 103, нахождения схожего, по меньшей мере, одного объекта 104 и обработки данных 105 соответственно соединены между собой последовательно. Блок 106 постобработки данных соединен с блоком 105 обработки данных, блоком 109 интерпретации данных, блоком 107 хранения данных и блоком 108 отображения и вывода. Блоки 101, 102, 103, 104, 105, 106, 107, 108, 109 реализованы на вычислительном устройстве пользователя. Под вычислительным устройством подразумевается любое устройство, содержащее, по меньшей мере, память, процессор и видеокарту емкостью не менее 4 Гб.
[0016] Блок 101 ввода рентгенографических изображений выполняет загрузки файлов в формате DICOM, JPEG, JPG, GIF и иного формата рентгенографических изображений, содержащих метаинформацию об объекте и о снимке, а также сами цифровые снимки и передает загруженные файлы блоку 102 предварительной обработки рентгенографических изображений. Загруженные файлы передаются на удаленный сервер 111. В зависимости от вида исследуемого объекта и/или заболевания и/или патологии и/или деформации, а также от типа оборудования, при помощи которого получен снимок (рентгеновский аппарат, цифровой микроскоп, компьютерный томограф и т.д.), используется от 1 до 12 различных проекций объекта. При этом, все вышеупомянутые операции могут выполняться локально на вычислительном устройстве пользователя и/или удаленным сервером. Также блок 101 реализует криптографическую защиту персональных данных посредством шифрования, в случае их обнаружения в загруженных файлах. Реализация криптографической защиты производится посредством применения решений сторонних производителей в зависимости от законодательства страны использования системы обработки рентгенографического изображения и вывода результата обработки пользователю, либо путем встраивания программных в блок 101 средств криптографической защиты.
[0017] Блок 102 предварительной обработки данных выполняет расшифровку данных, зашифрованных блоком 101, а также предварительную обработку данных с использованием упомянутой метаинформации из файлов для определения стороны (левая, правая (при наличии симметричного объекта)), а также вида проекции и передает предварительно обработанные рентгенографические изображения блоку 103 сжатия/разархивирования. Каждый снимок проходит автоматическую предобработку, в ходе которой со снимка удаляются артефакты (например, посторонние свечения, наличие на снимке посторонних вкраплений и любых иных элементов, мешающих нахождению основной патологии), а также производится нахождение релевантной области на снимке с последующим удалением идентифицированных лишних частей. Каждый снимок в итоге этой процедуры приобретает стандартизированную размерность, различающуюся в зависимости от вида диагностики. В процессе предварительной обработки происходит нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения. Под релевантной областью рентгенографического изображения подразумевается исследуемая область с найденным объектом.
[0018] Блок 103 сжатия или разархивирования обеспечивает сжатия или разархивирования предварительно обработанных рентгенографических изображений для дальнейшей передачи блоку 104 нахождения объектов. Основной функцией блока 103 является сжатие и разархивирование результатов блока 102 предварительной обработки данных в виде подготовленных DICOM, JPEG, JPG, PNG файлов, производящееся без потери качества при процедурах сжатия – разархивации. Процедура сжатия или разархивирования по итогам предобработки реализуется с помощью библиотеки LZMA SDK, где библиотека LZMA SDK обеспечивает сжатие или разархивирование рентгенографических снимков. При этом блок 103 коммуникационно связан посредством сети 110 передачи данных с удаленным сервером 111.
[0019] Блок 104 нахождения схожего по меньшей мере, одного объекта, выполнен с возможностью нахождения, по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку 105 обработки данных. Основным назначением блока 104 является идентификация одного и того же объекта на различных проекциях, например, органа в диагностике по КТ, МРТ снимкам. При разметке данных для каждого объекта указывается класс, к которому объект принадлежит (например, объёмное образование или доброкачественная опухоль, или злокачественная опухоль и т. д.). Под разметкой подразумевается наложение переменных координат, расстояний и метрик на упомянутые изображения. Блок выполняет выводы о нижеследующем по сверке объектов на проекциях: нахождение одного и того-же объекта на разных проекциях, трехмерное отображение формы объекта, проверка на доброкачественность/злокачественность объекта, обнаруженного на обоих проекциях, генерация дополнительного набора переменных исходя из обнаруженных объектов на разных проекциях в виде координат, расстояний и метрик.
[0020] Блок 105 обработки данных выполнен с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку 106 постобработки. В данном блоке каждый снимок поступает на вход пред обученной нейронной сети. Обучение производится с использованием двух источников - общедоступных наборов данных с разметкой на уровне вида объекта, патологии и/или заболевания (координаты, вид болезни и тип опухоли), физических данных исследуемого объекта (стандарты плотности, допустимые погрешности), а также проприетарного набора данных с разметкой на уровне органа (патология/отсутствие патологии) или объекта. После выбора архитектуры нейронной сети производится её обучение с использованием размеченных данных. На каждом шаге нейронная сеть рассчитывает предсказания для одного или более снимков, эти предсказания сравниваются с настоящей разметкой (ground truth), и рассчитывается значение функции потерь (насколько сильно нейронная сеть ошиблась в детекции, определении класса и локации объекта). Далее, с помощью метода градиентного спуска и алгоритма backpropagation все веса нейронной сети изменяются в соответствии с выбранным параметром скорости обучения в направлении, обратном вычисленному градиенту для того, чтобы минимизировать ошибку на текущем(их) снимке(ах). Этот шаг повторяется многократно, и в результате процесса обучения веса нейронной сети сходятся к оптимальным. В результате упомянутых процедур, каждый объект подвергается классификации (например, объемное образование, доброкачественная опухоль, злокачественная опухоль и т.д.). Оптимальные гиперпараметры и параметры системы, определяющие в том числе процент допущенных ошибок, формируются как специалистами по анализу данных компании – заявителя, так и экспертным сообществом (врачебное сообщество, промышленное сообщество и прочее).
[0021] Упомянутая нейронная сеть включает в себя: компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN)); компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации; компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации; компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта.
[0022] Блок 106 постобработки выполнен с возможностью постобработки данных, их передачу в блок 107 хранения данных в блок 108 отображения для вывода, по меньшей мере, одному пользователю и в блок 109 интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров найденного и обработанного объекта в соответствии с выбранными оптимальными весами. Процесс выбора оптимальных весов указан в пункте 20 настоящей заявки. Данный блок реализует вывод прогноза наличия болезни/патологии в процентах, определяет класс заболевания, вид, его доброкачественность и злокачественность, переводит в стандартизированный вид. При исследовании промышленных объектов, прогноз рисков и их значений при обнаружении отклонений от нормы. Далее переводит соответствующую информацию в блок получения результата и архив. Параллельно производится автоматическая идентификация патологий, болезней на визуальном уровне с получением ее/их координат на снимке, с дальнейшим визуальным выводом результата и записью в архив. То же самое происходит при исследовании промышленных исследуемых объектов.
[0023] Блок 107 хранения данных выполнен с возможностью приема, передачи и сохранения рентгенографических изображений и их данных. Блок 107 может быть выполнен в виде постоянного машиночитаемого носителя, содержащего инструкции, побуждающие процессор передавать, принимать и сохранять вышеупомянутые данные.
[0024] Блок 108 отображения предназначен для расшифровки зашифрованных интерпретированных данных и отображения, по меньшей мере, одному пользователю обработанных посредством вышеупомянутых блоков данных. В качестве блока 108 может использоваться один или несколько дисплеев типа ЭЛТ, ЖК, плазменный, сенсорный, проектор, LED, OLED и т.д.
[0025] Блок 109 интерпретации данных выполнен с возможностью формирования интерпретированных данных и шифровки интерпретированных данных, где интерпретированные данные подробно описывают упомянутый подсчет результатов блока постобработки, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса, с последующим выводом интерпретированных данных, посредством блока отображения, по меньшей мере, одному пользователю. Под интерпретацией подразумевается альтернативная интерпретация данных при значительной доле визуальных и текстовых данных и применении сложных ансамблевых архитектур на базе машинного обучения, например, SHAP values, Lime. Блок 109 интерпретации данных необходим для применимости заявленной системы в задачах с высокой ценой ошибки, например, диагностика онкологии. В целом, блок 109 интерпретации данных описывает то, почему был выведен тот или иной прогноз наличия болезни/патологии в процентах, определен тот или иной класс заболевания, вид, его доброкачественность и злокачественность. Блок 109 при интерпретации данных определяет, какие характеристики рентгенографического снимка повлияли определение физических данных исследуемого объекта, их классификацию и т.д. Интерпретация может производиться с помощью анализа коэффициентов логистической регрессии и вычисления градиента по отношению к входным данным рентгенографического изображения. Анализ коэффициентов логистической регрессии является глобальной интерпретацией, а вычисление градиента по отношению к входным данным рентгенографического изображения обеспечивает нахождение объектов и является локальной интерпретацией. Дополнительно необходимо отметить, что вышеупомянутые блоки (все или частично) также могут быть реализованы на удаленном сервере 111.
[0026] На рисунке (Фиг. 2) представлена блок-схема этапов обработки рентгенографических изображений.
[0027] На этапе 201 происходит загрузка файлов рентгенографических изображений в систему 100. Данные могут загружаться как от внешних (по отношению к системе 100) источников, так и посредством устройств, выполненных с возможностью генерирования рентгенографических изображений. Далее процесс переходит к этапу 202.
[0028] На этапе 202 происходит предварительная обработка рентгенографических изображений. В случае, если обработанные данные не нуждаются в передаче удаленному серверу 111, то процесс переходит к этапу 204. В противном случае – к этапу 203. Передача удаленному серверу обработанных данных на этапе 202 или отсутствие необходимости в данной передаче определяется автоматически администратором заявленной системы.
[0029] На этапе 203 происходит сжатие или разархивирование обработанных рентгенографических изображений, их передача или их прием между удаленным сервером 111 и блоком 103 сжатия или разархивирования.
[0030] На этапе 204 происходит нахождение (посредством блока 104), по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки. После упомянутого нахождение процесс переходит к этапу 205.
[0031] На этапе 205 происходит обработка данных посредством обучаемой нейронной сети. На данном этапе происходит сравнение физических параметров найденного и обработанного объекта. В результате данной обработки объект подвергается классификации (например, объемное образование, доброкачественная опухоль, злокачественная опухоль и т.д.). Далее процесс переходит к этапу 206.
[0032] На этапе 206 происходит постобработка данных (посредством блока 106). В результате постобработки выводится прогноз наличия болезни/патологии в процентах, определяется класс заболевания, вид, его доброкачественность и злокачественность, переводятся данные в стандартизированный вид. В случае исследования промышленных объектов происходит прогноз рисков и их значений при обнаружении отклонений от нормы. После этапа 206 процесс переходит одновременно к этапам 207, 208 и 209.
[0033] На этапе 207 происходит сохранение пост обработанных данных, а также данных, подвергшихся интерпретации в соответствии с этапом 209. Данное сохранение может производиться как в память сервера 111, так и в память вычислительного устройства пользователя, так и в оба сегмента
[0034] На этапе 208 происходит отображение, по меньшей мере, одному пользователю обработанных (в соответствии с этапами 201, 202, 203, 204, 205, 206) данных, и/или интерпретированных данных (в соответствии с этапом 209).
[0035] На этапе 209 происходит интерпретация данных, в соответствии с которой подробно описывается подсчет результатов блока 106 постобработки посредством анализа коэффициентов логистической регрессии и вычисления градиента по отношению к входным данным, и вывода интерпретированных данных, посредством блока отображения, по меньшей мере, одному пользователю. После процедуры интерпретации, процесс одновременно переходит к этапам 207 и 208.
[0036] Хотя данное изобретение было показано и описано со ссылкой на определенные варианты его осуществления, специалистам в данной области техники будет понятно, что различные изменения и модификации могут быть сделаны в нем, не покидая фактический объем изобретения.

Claims (19)

1. Система обработки рентгенографического изображения и вывода результата обработки пользователю, содержащая:
- блок ввода рентгенографического изображения, выполненный с возможностью загрузки файлов рентгенографического изображения, содержащих метаданные, включающие информацию об объекте или субъекте изображения и информацию о самом изображении, и передачи загруженных файлов блоку предварительной обработки рентгенографического изображения, а также выполненный с возможностью шифрования загруженных файлов в случае, если упомянутые файлы содержат персональные данные человека;
- блок предварительной обработки рентгенографического изображения, выполненный с возможностью расшифровки упомянутых шифрованных загруженных файлов, обработки рентгенографического изображения и передачи предварительно обработанного рентгенографического изображения блоку сжатия или разархивирования, где в результате обработки происходит: нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения, где под релевантной областью рентгенографического изображения подразумевается область с найденным объектом;
- блок сжатия или разархивирования, выполненный с возможностью сжатия или разархивирования предварительно обработанного рентгенографического изображения для дальнейшей передачи блоку нахождения объектов;
- блок нахождения схожего по меньшей мере одного объекта, выполненный с возможностью нахождения по меньшей мере на двух предварительно обработанных изображениях по меньшей мере одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку обработки данных, при этом упомянутое нахождение и обработка включает: нахождение схожего объекта на упомянутых изображениях и наложение переменных координат, расстояний и метрик на упомянутые изображения, где под двумя предварительно обработанными изображениями подразумевается два снимка различных проекций одной и той же исследуемой ткани человека или промышленного объекта;
- блок обработки данных, выполненный с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку постобработки, где обработка нейронной сетью и ее обучение заключается в выявлении закономерностей найденных и обработанных объектов множества рентгенографических изображений, а затем выявление в найденном и обработанном объекте области на основе выявленных закономерностей;
- блок постобработки данных, выполненный с возможностью постобработки данных, их передачу в блок хранения данных в блок отображения и в блок интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров выявленной области с выявленными закономерностями в процентном соотношении и классификацию упомянутой выявленной области;
- блок интерпретации данных, выполненный с возможностью формирования интерпретированных данных, их шифрования и передачи блоку отображения, при этом блок интерпретации данных соединен с базой данных блока хранения данных, содержащей данные всех классификаций выявленных областей, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса; и
- блок отображения, выполненный с возможностью расшифровки шифрованных интерпретированных данных и вывода расшифрованных интерпретированных данных по меньшей мере одному пользователю.
2. Система по п. 1, отличающаяся тем, что нахождение и обработка дополнительно включает построение трехмерного отображения формы найденного объекта, а наложение переменных координат, расстояний и метрик на упомянутые изображения происходит в соответствии с упомянутым трехмерным отображением.
3. Система по п. 1, отличающаяся тем, что обучаемая нейронная сеть включает:
- компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении, и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN));
- компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации;
- компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации;
- компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и
- компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта.
4. Система по п. 1, отличающаяся тем, что формат рентгенографических изображений может быть по меньшей мере одним из: DICOM, JPEG, JPG, GIF, PNG.
5. Система по п. 1, отличающаяся тем, что рентгенографическим изображением является рентгенографический снимок органов или тканей человека или рентгенографический снимок промышленного объекта.
6. Система по п. 1, отличающаяся тем, что физическим параметром объекта является вид объекта.
RU2019118035A 2019-06-10 2019-06-10 Система обработки рентгенографических изображений и вывода результата пользователю RU2697733C1 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
RU2019118035A RU2697733C1 (ru) 2019-06-10 2019-06-10 Система обработки рентгенографических изображений и вывода результата пользователю
US17/627,113 US20230047497A1 (en) 2019-06-10 2019-12-13 System for processing radiographic images and outputting the result to a user
PCT/RU2019/000947 WO2020251396A1 (ru) 2019-06-10 2019-12-13 Система обработки рентгенографических изображений и вывода результата пользователю
EP19932528.3A EP3982321A4 (en) 2019-06-10 2019-12-13 SYSTEM FOR PROCESSING RADIOGRAPHIC IMAGES AND PROVIDING RESULT TO A USER

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019118035A RU2697733C1 (ru) 2019-06-10 2019-06-10 Система обработки рентгенографических изображений и вывода результата пользователю

Publications (1)

Publication Number Publication Date
RU2697733C1 true RU2697733C1 (ru) 2019-08-19

Family

ID=67640591

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019118035A RU2697733C1 (ru) 2019-06-10 2019-06-10 Система обработки рентгенографических изображений и вывода результата пользователю

Country Status (4)

Country Link
US (1) US20230047497A1 (ru)
EP (1) EP3982321A4 (ru)
RU (1) RU2697733C1 (ru)
WO (1) WO2020251396A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2785853C1 (ru) * 2021-12-24 2022-12-14 Геннадий Николаевич Берченко Способ дифференциальной диагностики злокачественной опухоли и доброкачественного процесса костной ткани на отсканированных изображениях гистологического стекла

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010031076A1 (en) * 2000-03-24 2001-10-18 Renato Campanini Method and apparatus for the automatic detection of microcalcifications in digital signals of mammary tissue
WO2002042998A2 (en) * 2000-11-22 2002-05-30 R2 Technology, Inc. Method and system for the display of regions of interest in medical images
US20110176710A1 (en) * 2005-10-25 2011-07-21 Bracco Imaging S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
US20160203599A1 (en) * 2013-08-13 2016-07-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
RU2645004C2 (ru) * 2013-07-16 2018-02-15 Сейко Эпсон Корпорейшн Устройство обработки информации, способ обработки информации и система обработки информации

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008331807A1 (en) * 2007-12-03 2009-06-11 Dataphysics Research, Inc. Systems and methods for efficient imaging
WO2013155300A1 (en) * 2012-04-11 2013-10-17 The Trustees Of Columbia University In The City Of New York Techniques for segmentation of organs and tumors and objects
KR101695079B1 (ko) * 2015-01-28 2017-01-10 울산대학교 산학협력단 콥 각도 측정장치 및 그 방법
CN107368670A (zh) 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
US10783230B2 (en) * 2018-05-09 2020-09-22 Shape Matrix Geometric Instruments, LLC Methods and apparatus for encoding passwords or other information
CN110782451B (zh) * 2019-11-04 2021-09-07 哈尔滨理工大学 基于判别式深度置信网络的疑似微钙化点区域自动定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010031076A1 (en) * 2000-03-24 2001-10-18 Renato Campanini Method and apparatus for the automatic detection of microcalcifications in digital signals of mammary tissue
WO2002042998A2 (en) * 2000-11-22 2002-05-30 R2 Technology, Inc. Method and system for the display of regions of interest in medical images
US20110176710A1 (en) * 2005-10-25 2011-07-21 Bracco Imaging S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
RU2645004C2 (ru) * 2013-07-16 2018-02-15 Сейко Эпсон Корпорейшн Устройство обработки информации, способ обработки информации и система обработки информации
US20160203599A1 (en) * 2013-08-13 2016-07-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2785853C1 (ru) * 2021-12-24 2022-12-14 Геннадий Николаевич Берченко Способ дифференциальной диагностики злокачественной опухоли и доброкачественного процесса костной ткани на отсканированных изображениях гистологического стекла

Also Published As

Publication number Publication date
WO2020251396A1 (ru) 2020-12-17
EP3982321A1 (en) 2022-04-13
US20230047497A1 (en) 2023-02-16
EP3982321A4 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
US10971263B2 (en) Methods and apparatus for recording anonymized volumetric data from medical image visualization software
CN111657858B (zh) 图像诊断装置、图像处理方法和存储介质
CN109791804B (zh) 对cad系统个性化以提供cad系统推荐的置信水平指示的方法和部件
JP2021527473A (ja) 即時精密検査
Garcia-Hernandez et al. Analysis of the impact of digital watermarking on computer-aided diagnosis in medical imaging
US20230057933A1 (en) Storage medium, diagnosis support apparatus and diagnosis support method
CN106227850A (zh) 一种基于移动终端的医学检验监控控制系统及控制方法
Mendes et al. Lung CT image synthesis using GANs
CN116797554A (zh) 图像处理方法以及装置
Li et al. Time-distance vision transformers in lung cancer diagnosis from longitudinal computed tomography
Lee et al. Transformer-based deep neural network for breast cancer classification on digital breast tomosynthesis images
US11308619B2 (en) Evaluating a mammogram using a plurality of prior mammograms and deep learning algorithms
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
RU2697733C1 (ru) Система обработки рентгенографических изображений и вывода результата пользователю
Crasta et al. A novel Deep Learning architecture for lung cancer detection and diagnosis from Computed Tomography image analysis
US20240161035A1 (en) Multi-model medical scan analysis system and methods for use therewith
CN115423761A (zh) 一种基于深度学习的骨折x光图像检测与三维呈现方法
Zhang et al. Deep learning‐based detection and classification of lumbar disc herniation on magnetic resonance images
Khasawneh et al. [Retracted] Early Detection of Medical Image Analysis by Using Machine Learning Method
Kaddour et al. Artificial Intelligence Pathologist: The use of Artificial Intelligence in Digital Healthcare
Kaushik et al. Forensics in Medical Imaging: Techniques and Tools
Bóbeda et al. Unsupervised Data Drift Detection Using Convolutional Autoencoders: A Breast Cancer Imaging Scenario
EP3282379B1 (en) Method and apparatus for archiving anonymized volumetric data from medical image visualization software
CN116013552B (zh) 一种基于区块链的远程会诊方法及系统
CN116612899B (zh) 基于互联网的心血管外科数据处理方法及服务平台