WO2020251396A1 - Система обработки рентгенографических изображений и вывода результата пользователю - Google Patents

Система обработки рентгенографических изображений и вывода результата пользователю Download PDF

Info

Publication number
WO2020251396A1
WO2020251396A1 PCT/RU2019/000947 RU2019000947W WO2020251396A1 WO 2020251396 A1 WO2020251396 A1 WO 2020251396A1 RU 2019000947 W RU2019000947 W RU 2019000947W WO 2020251396 A1 WO2020251396 A1 WO 2020251396A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
processing
ray image
unit
images
Prior art date
Application number
PCT/RU2019/000947
Other languages
English (en)
French (fr)
Inventor
Игорь Ильич ЧЕРНИН
Владимир Ильич ЧЕРНИН
Станислав Игоревич ЧЕРНИН
Никита Алексеевич НИКОЛАЕВ
Евгений Дмитриевич НИКИТИН
Артём Александрович КАПНИНСКИЙ
Original Assignee
Общество с ограниченной ответственностью "Медицинские Скрининг Системы"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Медицинские Скрининг Системы" filed Critical Общество с ограниченной ответственностью "Медицинские Скрининг Системы"
Priority to EP19932528.3A priority Critical patent/EP3982321A4/en
Priority to US17/627,113 priority patent/US20230047497A1/en
Publication of WO2020251396A1 publication Critical patent/WO2020251396A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the invention relates to the field of computer technology for image processing, and can be used in the field of medicine, for example, diagnostics of oncological diseases, or in the field of industry, for example, to detect hidden defects of an industrial object.
  • the known solution has disadvantages.
  • the disadvantages of the known solution is the low accuracy of the processing of X-ray images and the output of the processing result to the user, since the known system does not provide for the removal of noise from the captured relevant area of the X-ray image, as well as the comparison of at least two images of the tissue under study to find a similar object, where two images mean two images of different projections of the same tissue under study or of the same industrial object under study.
  • the known solution does not provide for the confidentiality of the transmitted data by encrypting personal user data when they are detected on an X-ray image, where personal data means any data that allows the unique identification of their owner.
  • the object of the invention is to eliminate the above disadvantages.
  • the technical result in this case is to improve the accuracy of finding and classifying a similar object when processing X-ray images and outputting the processing result to the user, while ensuring the confidentiality of the transmitted data by encrypting the user's personal data when they are used or detected on the X-ray image, where personal data means any data that allows the unique identification of their owner.
  • a system for processing an X-ray image and outputting a processing result to a user comprising: an X-ray image input unit configured to download X-ray image files containing metadata including information about an object or subject of an image and information about the image itself, and transferring the downloaded files to the X-ray image preprocessing unit, and also configured to encrypt the downloaded files if the files contain personal data of a person; an X-ray image preprocessing unit, configured to decrypt the above-mentioned encrypted downloaded files, process the X-ray image and transfer the preprocessed X-ray image to the compression or decompression unit, where, as a result of processing, the following occurs: finding and capturing the relevant area of the X-ray image, removing noise from the captured the relevant area of the X-ray image, where by the relevant area of the X-ray image is meant the area with the found object; a compression or decompression unit configured to compress or decompress a pre-process
  • the finding and processing further includes building a three-dimensional display of the shape of the found object, and the superposition of variable coordinates, distances and metrics on said images occurs in accordance with said three-dimensional display.
  • the trainable neural network includes: a convolution component configured to transform the original X-ray image into a map of variables, which encodes information about objects in the original X-ray image and transfer the map of variables to the component of the regional proposal (Region Proposal Network (RPN)); a regional proposal component configured to calculate predictions of relevant objects on the variable map and transfer the variable map and the calculated predictions to the classification component; a classification component configured to calculate a probability that an object found in the radiographic image is a background object, and transmit the classified data to a regression component and an aggregation component; a regression component adapted to determine the exact location of the found object in the image and transmit the processed data to the aggregation component; and a data information aggregation component configured to aggregate data information obtained from the classification component and the regression component, where the aggregation results in a summary of the type of object found.
  • the X-ray image format can be at least one of: DICOM, JPEG, JPG, GIF,
  • the X-ray image is an X-ray image of human organs or tissues, or an X-ray image of an industrial facility.
  • the physical parameter of the object is the type of the object.
  • FIG. 1 is a schematic representation of the claimed system for processing X-ray images and outputting the processing result to the user.
  • FIG. 2 is a block diagram of the steps for processing X-ray images.
  • FIG. 1 A schematic representation of the claimed system for processing X-ray images and outputting the processing result to the user is shown in the figure (Fig. 1).
  • the system contains a data input unit 101, a data preprocessing unit 102, a compression or decompression unit 103, a unit 104 for finding a similar at least one object, a data processing unit 105, a post-processing unit 106, a storage unit 107, a display and output unit 108 , data interpretation unit 109, data network 110, remote server 111.
  • Units of input 101, preprocessing 102, compression or decompression 103, finding similar at least one object 104 and data processing 105 are respectively connected in series.
  • the data post-processing unit 106 is connected to the data processing unit 105, the data interpretation unit 109, the data storage unit 107 and the unit 108 display and output.
  • Blocks 101, 102, 103, 104, 105, 106, 107, 108, 109 are implemented on the user's computing device.
  • Computing device means any device containing at least memory, processor and video card with a capacity of at least 4 GB.
  • the X-ray image input unit 101 downloads files in the DICOM, JPEG, JPG, GIF and other format of the X-ray images containing meta information about the object and the image, as well as the digital images themselves, and transfers the downloaded files to the X-ray image preprocessing unit 102.
  • the uploaded files are transferred to a remote server 111.
  • a remote server 111 Depending on the type of object under study and / or disease and / or pathology and / or deformation, as well as on the type of equipment with which the image was obtained (X-ray machine, digital microscope, computed tomography, etc.) from 1 to 12 different object projections are used. In this case, all of the above operations can be performed locally on the user's computing device and / or on a remote server.
  • block 101 implements cryptographic protection of personal data by encryption, if found in downloaded files.
  • Cryptographic protection is implemented through the use of third-party solutions, depending on the legislation of the country of use of the X-ray image processing system and output of the processing result to the user, or by embedding cryptographic protection means in block 101.
  • the data preprocessing unit 102 performs decryption of the data encrypted by the unit 101, as well as preprocessing the data using the said meta-information from the files to determine the side (left, right (if there is a symmetric object)), as well as the type of projection and transmits the preprocessed the radiographic images to the compression / decompression unit 103.
  • Each image undergoes automatic preprocessing, during which the artifacts are removed from the image (for example, extraneous glow, the presence of extraneous inclusions in the image and any other elements that interfere with the detection of the underlying pathology), and the relevant area is found in the image with the subsequent removal of identified excess parts.
  • each image acquires a standardized dimension that differs depending on the type of diagnosis.
  • the relevant area of the X-ray image is found and captured, noise is removed from the captured relevant area of the X-ray image.
  • Relevant area of the X-ray image means the area of interest with the detected object.
  • the compression or decompression unit 103 provides compression or decompression of the pre-processed X-ray images for further transmission to the object locator 104.
  • the main function of block 103 is to compress and decompress the results of the preliminary data processing block 102 in the form of prepared DICOM, JPEG, JPG, PNG files, which is produced without loss of quality during compression - decompression procedures.
  • the preprocessing compression or decompression is performed using the LZMA SDK library, where the LZMA SDK library provides compression or decompression of radiographic images.
  • the block 103 is communicatively connected through the data transmission network 110 with the remote server 111.
  • Block 104 for finding a similar at least one object is configured to find at least two pre-processed images of at least one similar object, process it and transfer the found and processed object to the data processing unit .105 ...
  • the main purpose of block 104 is to identify the same object on different projections, for example, an organ in the diagnosis by CT, MRI images.
  • the class to which the object belongs is indicated (for example, a volumetric mass or a benign tumor, or a malignant tumor, etc.).
  • the markup means the imposition of variable coordinates, distances and metrics on the mentioned images.
  • the block carries out conclusions about the following by verifying objects on projections: finding the same object on different projections, three-dimensional display of the object's shape, checking for the goodness / malignancy of an object detected on both projections, generating an additional set of variables based on the detected objects on different projections in the form of coordinates, distances and metrics.
  • the data processing unit 105 is configured to process data by means of a trained neural network and transmit the processed data to the post-processing unit 106.
  • each image is fed to the input of a pre-trained neural network.
  • Training is performed using two sources - publicly available datasets with markup at the level of the type of object, pathology and / or disease (coordinates, type of disease and type of tumor), physical data of the object under study (density standards, permissible errors), as well as a proprietary dataset with markings at the level of an organ (pathology / absence of pathology) or an object. After choosing the architecture of the neural network, it is trained using labeled data.
  • the neural network calculates predictions for one or more images, these predictions are compared with the real markup (ground truth), and the value of the loss function is calculated (how much the neural network was mistaken in detecting, determining the class and location of the object). Further, using the gradient descent method and the backpropagation algorithm, all the neural network weights are changed in accordance with the selected parameter of the learning rate in the direction opposite to the calculated gradient in order to minimize the error in the current image (s). This step is repeated many times, and as a result of the learning process, the weights of the neural network converge to optimal. As a result of the aforementioned procedures, each object is classified (for example, a mass, a benign tumor, a malignant tumor, etc.).
  • the optimal hyperparameters and system parameters which determine, among other things, the percentage of errors made, are formed both by the data analysis specialists of the applicant company and by the expert community (the medical community, the industrial community, etc.).
  • Said neural network includes: a convolution component configured to transform the original radiographic image into a variable map, which encodes information about objects in the original radiographic image and transfer the variable map to the Regional Proposal Network (RPN) component; a regional proposal component configured to calculate predictions of relevant objects on the variable map and transfer the variable map and the calculated predictions to the classification component; a classification component configured to calculate a probability that an object found in the radiographic image is a background object, and transmit the classified data to a regression component and an aggregation component; a regression component adapted to determine the exact location of the found object in the image and transmit the processed data to the aggregation component; and a data information aggregation component configured to aggregate data information obtained from the classification component and the regression component, where the aggregation results in a summary of the type of object found.
  • RPN Regional Proposal Network
  • the post-processing unit 106 is configured to post-process the data, transfer them to the data storage unit 107 to the display unit 108 for output to at least one user and to the interpretation unit 109 data, where post-processing includes calculating the result of matching the physical parameters of the found and processed object in accordance with the selected optimal weights.
  • the process for selecting the optimal weights is specified in paragraph 20 of this application. This block implements the conclusion of the prognosis of the presence of a disease / pathology in percentage, determines the class of the disease, its type, its benignity and malignancy, and converts it into a standardized form. When examining industrial facilities, forecasting risks and their values when detecting deviations from the norm.
  • the data storage unit 107 is configured to receive, transmit and store X-ray images and their data.
  • Block 107 may be in the form of a permanent computer-readable medium containing instructions for causing the processor to transmit, receive, and store the aforementioned data.
  • the display unit 108 is for decrypting the encrypted interpreted data and displaying the data processed by the aforementioned data blocks to at least one user.
  • One or more displays such as CRT, LCD, plasma, touch, projector, LED, OLED, etc. can be used as a block 108.
  • the data interpretation unit 109 is configured to generate the interpreted data and encrypt the interpreted data, where the interpreted data describes in detail the aforementioned calculation of the results of the post-processing unit, where interpretation is understood as the influence of the found objects of various classes on the formation of the final recommendation and highlighting image areas that have the most to predict the model that this is an object of a particular class, with subsequent output of the interpreted data through the display unit to at least one user.
  • Interpretation means an alternative interpretation of data with a significant proportion of visual and textual data and the use of complex ensemble architectures based on machine learning, for example, SHAP values, Lime.
  • the data interpretation unit 109 is necessary for the applicability of the claimed system in tasks with a high cost of error, for example, diagnostics of oncology.
  • the block 109 of data interpretation describes why this or that prognosis of the presence of the disease / pathology in percentage was derived, this or that class of the disease, its type, its benignity and malignancy was determined.
  • Block 109, when interpreting the data determines which characteristics of the X-ray image influenced the determination of the physical data of the object under study, their classification, etc. Interpretation can be done by analyzing the logistic regression coefficients and calculating the gradient with respect to the input radiographic image data.
  • the analysis of the logistic regression coefficients is a global interpretation, and the calculation of the gradient with respect to the input X-ray image data provides the location of objects and is a local interpretation. Additionally, it should be noted that the above blocks (all or part) can also be implemented on the remote server 111.
  • FIG. 2 shows a block diagram of the stages of processing of radiographic images.
  • the radiographic image files are loaded into the system 100.
  • the data can be loaded both from external (with respect to the system 100) sources, as well as by means of devices capable of generating radiographic images.
  • the process then continues to block 202.
  • the radiographic images are pre-processed.
  • the process goes to step 204. Otherwise, to step 203.
  • the transfer of the processed data to the remote server at step 202 or the absence of the need for this transfer is determined automatically by the administrator of the claimed system.
  • the processed X-ray images are compressed or decompressed, transmitted or received between the remote server 111 and the compression or decompression unit 103.
  • step 204 finds (by means of block 104) at least two pre-processed images of at least one similar object, its processing. After this finding, the process proceeds to block 205.
  • the data is processed by the trained neural network.
  • the physical parameters of the found and processed object are compared.
  • the object is subjected to classification (for example, mass, benign tumor, malignant tumor, etc.).
  • classification for example, mass, benign tumor, malignant tumor, etc.
  • post-processing of the data occurs (via block 106).
  • a prognosis of the presence of a disease / pathology in percent is displayed, the class of the disease, its type, its benignity and malignancy are determined, the data is converted into a standardized form.
  • a forecast of risks and their values occurs when deviations from the norm are detected.
  • the post-processed data is saved, as well as the data interpreted in accordance with step 209. This saving can be performed both in the memory of the server 111 and in the memory of the user's computing device, or in both segments [0034]
  • the processed (in accordance with steps 201, 202, 203, 204, 205, 206) data and / or interpreted data (in accordance with step 209) is displayed to at least one user.
  • the data is interpreted, in accordance with which the calculation of the results of the post-processing unit 106 is described in detail by analyzing the logistic regression coefficients and calculating the gradient with respect to the input data, and outputting the interpreted data through the display unit to at least one user ...
  • the process simultaneously moves to steps 207 and 208.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области вычислительной техники для обработки изображений. Технический результат заключается в повышении точности нахождения и классификации схожего объекта при обработке рентгенографических изображений и выводе результата обработки пользователю. Технический результат достигается за счет загрузки файлов рентгенографического изображения, содержащих метаданные, включающие информацию об объекте или субъекте изображения и информацию о самом изображении, шифрования загруженных файлов в случае, если упомянутые файлы содержат персональные данные человека, расшифровки упомянутых шифрованных загруженных файлов, обработки рентгенографического изображения, где в результате обработки происходит: нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения, где под релевантной областью рентгенографического изображения подразумевается область с найденным объектом, сжатия или разархивирования предварительно обработанного рентгенографического изображения, нахождения на двух предварительно обработанных изображениях одного схожего объекта и его обработки.

Description

СИСТЕМА ОБРАБОТКИ РЕНТГЕНОГРАФИЧЕСКИХ
ИЗОБРАЖЕНИЙ И ВЫВОДА РЕЗУЛЬТАТА ПОЛЬЗОВАТЕЛЮ
Область техники:
[0001] Изобретение относится к области вычислительной техники для обработки изображений, и может использоваться в области медицины, например, диагностики онкологических заболеваний, или в области промышленности, например, для выявления скрытых дефектов того или иного промышленного объекта.
Уровень техники:
[0002] В настоящее время существует множество систем, предназначенных для обработки изображений с целью выявления, например, онкологических заболеваний. Одним из примеров таких систем является система диагностики рака желудка с использованием сверточной нейронной сети, описанная в источнике CN 107368670 А. Данное решение предусматривает получение данных изображения среза нормальной ткани желудка, среза исследуемой ткани их сравнение и получение вывода в результате упомянутого сравнения. При этом, в результате сравнения нейронная сеть запоминает результат и использует его в будущем, т.е. является обучаемой.
[0003] Однако известному решению присущи недостатки. В числе недостатков известного решения имеется низкая точность обработки рентгенографических изображений и вывода результата обработки пользователю, поскольку известная система не предусматривает удаление шумов из захваченной релевантной области рентгенографического изображения, а также сравнение, по меньшей мере, двух изображений исследуемой ткани для нахождения схожего объекта, где под двумя изображениями подразумеваются два снимка различных проекций одной и той же исследуемой ткани или одного и того же исследуемого промышленного объекта. Более того, в известном решении не предусмотрено обеспечение конфиденциальности передаваемых данных за счет шифрования персональных данных пользователя при их обнаружении на рентгенографическом изображении, где под персональными данными подразумеваются любые данные, позволяющие однозначно идентифицировать их обладателя.
Раскрытие изобретения:
[0004] Задачей изобретения является устранение указанных выше недостатков.
[0005] Техническим результатом при этом является повышение точности нахождения и классификации схожего объекта при обработке рентгенографических изображений и вывода результата обработки пользователю, при обеспечении конфиденциальности передаваемых данных за счет шифрования персональных данных пользователя при их использовании или обнаружении на рентгенографическом изображении, где под персональными данными подразумеваются любые данные, позволяющие однозначно идентифицировать их обладателя.
[0006] Для достижения данного технического результата предложена система обработки рентгенографического изображения и вывода результата обработки пользователю, содержащая: блок ввода рентгенографического изображения, выполненный с возможностью загрузки файлов рентгенографического изображения, содержащих метаданные, включающие информацию об объекте или субъекте изображения и информацию о самом изображении и передачи загруженных файлов блоку предварительной обработки рентгенографического изображения, а также выполненный с возможностью шифрования загруженных файлов в случае, если упомянутые файлы содержат персональные данные человека; блок предварительной обработки рентгенографического изображения, выполненный с возможностью расшифровки упомянутых шифрованных загруженных файлов, обработки рентгенографического изображения и передачи предварительно обработанного рентгенографического изображения блоку сжатия или разархивирования, где в результате обработки происходит: нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения, где под релевантной областью рентгенографического изображения подразумевается область с найденным объектом; блок сжатия или разархивирования, выполненный с возможностью сжатия или разархивирования предварительно обработанного рентгенографического изображения для дальнейшей передачи блоку нахождения объектов; блок нахождения схожего по меньшей мере, одного объекта, выполненный с возможностью нахождения, по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку обработки данных, при этом упомянутое нахождение и обработка включает: нахождение схожего объекта на упомянутых изображениях и наложение переменных координат, расстояний и метрик на упомянутые изображения, где под двумя предварительно обработанными изображениями подразумевается два снимка различных проекций одной и той же исследуемой ткани человека или промышленного объекта; блок обработки данных, выполненный с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку постобработки, где обработка нейронной сетью и ее обучение заключается в выявлении закономерностей найденных и обработанных объектов множества рентгенографических изображений, а затем выявление в найденном и обработанном объекте области на основе выявленных закономерностей; блок постобработки данных, выполненный с возможностью постобработки данных, их передачу в блок хранения данных в блок отображения и в блок интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров выявленной области с выявленными закономерностями в процентном соотношении и классификацию упомянутой выявленной области; блок интерпретации данных, выполненный с возможностью формирования интерпретированных данных, их шифрования и передачи блоку отображения, при этом блок интерпретации данных соединен с базой данных блока хранения данных, содержащей данные всех классификаций выявленных областей, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса и блок отображения, выполненный с возможностью расшифровки шифрованных интерпретированных данных и вывода расшифрованных интерпретированных данных, по меньшей мере, одному пользователю.
[0007] Дополнительно нахождение и обработка дополнительно включает построение трехмерного отображения формы найденного объекта, а наложение переменных координат, расстояний и метрик на упомянутые изображения происходит в соответствии с упомянутым трехмерным отображением.
[0008] Дополнительно обучаемая нейронная сеть включает: компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN)); компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации; компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации; компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта. [0009] Дополнительно формат рентгенографических изображений может быть, по меньшей мере, одним из: DICOM, JPEG, JPG, GIF, PNG.
[0010] Дополнительно рентгенографическим изображением является рентгенографический снимок органов или тканей человека, или рентгенографический снимок промышленного объекта.
[ООП] Дополнительно физическим параметром объекта является вид объекта.
[0012] Очевидно, что как предыдущее общее описание, так и последующее подробное описание даны лишь для примера и пояснения и не являются ограничениями данного изобретения.
Краткое описание чертежей:
[0013] Фиг. 1 - схематичное изображение заявленной системы обработки рентгенографических изображений и вывода результата обработки пользователю.
[0014] Фиг. 2 - блок-схема этапов обработки рентгенографических изображений.
Осуществление изобретения:
[0015] Схематическое изображение заявленной системы обработки рентгенографических изображений и вывода результата обработки пользователю показано на рисунке (Фиг. 1). Система содержит блок 101 ввода данных, блок 102 предварительной обработки данных, блок 103 сжатия или разархивирования, блок 104 нахождения схожего, по меньшей мере, одного объекта, блок 105 обработки данных, блок 106 постобработки данных, блок 107 хранения, блок 108 отображения и вывода, блок 109 интерпретации данных, сеть 110 передачи данных, удаленный сервер 111. Блоки ввода 101, предварительной обработки 102, сжатия или разархивирования 103, нахождения схожего, по меньшей мере, одного объекта 104 и обработки данных 105 соответственно соединены между собой последовательно. Блок 106 постобработки данных соединен с блоком 105 обработки данных, блоком 109 интерпретации данных, блоком 107 хранения данных и блоком 108 отображения и вывода. Блоки 101, 102, 103, 104, 105, 106, 107, 108, 109 реализованы на вычислительном устройстве пользователя. Под вычислительным устройством подразумевается любое устройство, содержащее, по меньшей мере, память, процессор и видеокарту емкостью не менее 4 Гб.
[0016] Блок 101 ввода рентгенографических изображений выполняет загрузки файлов в формате DICOM, JPEG, JPG, GIF и иного формата рентгенографических изображений, содержащих метаинформацию об объекте и о снимке, а также сами цифровые снимки и передает загруженные файлы блоку 102 предварительной обработки рентгенографических изображений. Загруженные файлы передаются на удаленный сервер 111. В зависимости от вида исследуемого объекта и/или заболевания и/или патологии и/или деформации, а также от типа оборудования, при помощи которого получен снимок (рентгеновский аппарат, цифровой микроскоп, компьютерный томограф и т.д.), используется от 1 до 12 различных проекций объекта. При этом, все вышеупомянутые операции могут выполняться локально на вычислительном устройстве пользователя и/или удаленным сервером. Также блок 101 реализует криптографическую защиту персональных данных посредством шифрования, в случае их обнаружения в загруженных файлах. Реализация криптографической защиты производится посредством применения решений сторонних производителей в зависимости от законодательства страны использования системы обработки рентгенографического изображения и вывода результата обработки пользователю, либо путем встраивания программных в блок 101 средств криптографической защиты.
[0017] Блок 102 предварительной обработки данных выполняет расшифровку данных, зашифрованных блоком 101, а также предварительную обработку данных с использованием упомянутой метаинформации из файлов для определения стороны (левая, правая (при наличии симметричного объекта)), а также вида проекции и передает предварительно обработанные рентгенографические изображения блоку 103 сжатия/разархивирования.
Каждый снимок проходит автоматическую предобработку, в ходе которой со снимка удаляются артефакты (например, посторонние свечения, наличие на снимке посторонних вкраплений и любых иных элементов, мешающих нахождению основной патологии), а также производится нахождение релевантной области на снимке с последующим удалением идентифицированных лишних частей. Каждый снимок в итоге этой процедуры приобретает стандартизированную размерность, различающуюся в зависимости от вида диагностики. В процессе предварительной обработки происходит нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения. Под релевантной областью рентгенографического изображения подразумевается исследуемая область с найденным объектом.
[0018] Блок 103 сжатия или разархивирования обеспечивает сжатия или разархивирования предварительно обработанных рентгенографических изображений для дальнейшей передачи блоку 104 нахождения объектов. Основной функцией блока 103 является сжатие и разархивирование результатов блока 102 предварительной обработки данных в виде подготовленных DICOM, JPEG, JPG, PNG файлов, производящееся без потери качества при процедурах сжатия - разархивации. Процедура сжатия или разархивирования по итогам предобработки реализуется с помощью библиотеки LZMA SDK, где библиотека LZMA SDK обеспечивает сжатие или разархивирование рентгенографических снимков. При этом блок 103 коммуникационно связан посредством сети 110 передачи данных с удаленным сервером 111.
[0019] Блок 104 нахождения схожего по меньшей мере, одного объекта, выполнен с возможностью нахождения, по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку .105 обработки данных. Основным назначением блока 104 является идентификация одного и того же объекта на различных проекциях, например, органа в диагностике по КТ, МРТ снимкам. При разметке данных для каждого объекта указывается класс, к которому объект принадлежит (например, объёмное образование или доброкачественная опухоль, или злокачественная опухоль и т. д.). Под разметкой подразумевается наложение переменных координат, расстояний и метрик на упомянутые изображения. Блок выполняет выводы о нижеследующем по сверке объектов на проекциях: нахождение одного и того-же объекта на разных проекциях, трехмерное отображение формы объекта, проверка на доброкачественность/злокачественность объекта, обнаруженного на обоих проекциях, генерация дополнительного набора переменных исходя из обнаруженных объектов на разных проекциях в виде координат, расстояний и метрик.
[0020] Блок 105 обработки данных выполнен с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку 106 постобработки. В данном блоке каждый снимок поступает на вход пред обученной нейронной сети. Обучение производится с использованием двух источников - общедоступных наборов данных с разметкой на уровне вида объекта, патологии и/или заболевания (координаты, вид болезни и тип опухоли), физических данных исследуемого объекта (стандарты плотности, допустимые погрешности), а также проприетарного набора данных с разметкой на уровне органа (патология/отсутствие патологии) или объекта. После выбора архитектуры нейронной сети производится её обучение с использованием размеченных данных. На каждом шаге нейронная сеть рассчитывает предсказания для одного или более снимков, эти предсказания сравниваются с настоящей разметкой (ground truth), и рассчитывается значение функции потерь (насколько сильно нейронная сеть ошиблась в детекции, определении класса и локации объекта). Далее, с помощью метода градиентного спуска и алгоритма backpropagation все веса нейронной сети изменяются в соответствии с выбранным параметром скорости обучения в направлении, обратном вычисленному градиенту для того, чтобы минимизировать ошибку на текущем(их) снимке(ах). Этот шаг повторяется многократно, и в результате процесса обучения веса нейронной сети сходятся к оптимальным. В результате упомянутых процедур, каждый объект подвергается классификации (например, объемное образование, доброкачественная опухоль, злокачественная опухоль и т.д.). Оптимальные гиперпараметры и параметры системы, определяющие в том числе процент допущенных ошибок, формируются как специалистами по анализу данных компании - заявителя, так и экспертным сообществом (врачебное сообщество, промышленное сообщество и прочее).
[0021] Упомянутая нейронная сеть включает в себя: компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN)); компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации; компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации; компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта.
[0022] Блок 106 постобработки выполнен с возможностью постобработки данных, их передачу в блок 107 хранения данных в блок 108 отображения для вывода, по меньшей мере, одному пользователю и в блок 109 интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров найденного и обработанного объекта в соответствии с выбранными оптимальными весами. Процесс выбора оптимальных весов указан в пункте 20 настоящей заявки. Данный блок реализует вывод прогноза наличия болезни/патологии в процентах, определяет класс заболевания, вид, его доброкачественность и злокачественность, переводит в стандартизированный вид. При исследовании промышленных объектов, прогноз рисков и их значений при обнаружении отклонений от нормы. Далее переводит соответствующую информацию в блок получения результата и архив. Параллельно производится автоматическая идентификация патологий, болезней на визуальном уровне с получением ее/их координат на снимке, с дальнейшим визуальным выводом результата и записью в архив. То же самое происходит при исследовании промышленных исследуемых объектов.
[0023] Блок 107 хранения данных выполнен с возможностью приема, передачи и сохранения рентгенографических изображений и их данных. Блок 107 может быть выполнен в виде постоянного машиночитаемого носителя, содержащего инструкции, побуждающие процессор передавать, принимать и сохранять вышеупомянутые данные.
[0024] Блок 108 отображения предназначен для расшифровки зашифрованных интерпретированных данных и отображения, по меньшей мере, одному пользователю обработанных посредством вышеупомянутых блоков данных. В качестве блока 108 может использоваться один или несколько дисплеев типа ЭЛТ, ЖК, плазменный, сенсорный, проектор, LED, OLED и т.д.
[0025] Блок 109 интерпретации данных выполнен с возможностью формирования интерпретированных данных и шифровки интерпретированных данных, где интерпретированные данные подробно описывают упомянутый подсчет результатов блока постобработки, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса, с последующим выводом интерпретированных данных, посредством блока отображения, по меньшей мере, одному пользователю. Под интерпретацией подразумевается альтернативная интерпретация данных при значительной доле визуальных и текстовых данных и применении сложных ансамблевых архитектур на базе машинного обучения, например, SHAP values, Lime. Блок 109 интерпретации данных необходим для применимости заявленной системы в задачах с высокой ценой ошибки, например, диагностика онкологии. В целом, блок 109 интерпретации данных описывает то, почему был выведен тот или иной прогноз наличия болезни/патологии в процентах, определен тот или иной класс заболевания, вид, его доброкачественность и злокачественность. Блок 109 при интерпретации данных определяет, какие характеристики рентгенографического снимка повлияли определение физических данных исследуемого объекта, их классификацию и т.д. Интерпретация может производиться с помощью анализа коэффициентов логистической регрессии и вычисления градиента по отношению к входным данным рентгенографического изображения. Анализ коэффициентов логистической регрессии является глобальной интерпретацией, а вычисление градиента по отношению к входным данным рентгенографического изображения обеспечивает нахождение объектов и является локальной интерпретацией. Дополнительно необходимо отметить, что вышеупомянутые блоки (все или частично) также могут быть реализованы на удаленном сервере 111.
[0026] На рисунке (Фиг. 2) представлена блок-схема этапов обработки рентгенографических изображений.
[0027] На этапе 201 происходит загрузка файлов рентгенографических изображений в систему 100. Данные могут загружаться как от внешних (по отношению к системе 100) источников, так и посредством устройств, выполненных с возможностью генерирования рентгенографических изображений. Далее процесс переходит к этапу 202.
[0028] На этапе 202 происходит предварительная обработка рентгенографических изображений. В случае, если обработанные данные не нуждаются в передаче удаленному серверу 11 1, то процесс переходит к этапу 204. В противном случае - к этапу 203. Передача удаленному серверу обработанных данных на этапе 202 или отсутствие необходимости в данной передаче определяется автоматически администратором заявленной системы.
[0029] На этапе 203 происходит сжатие или разархивирование обработанных рентгенографических изображений, их передача или их прием между удаленным сервером 111 и блоком 103 сжатия или разархивирования.
[0030] На этапе 204 происходит нахождение (посредством блока 104), по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки. После упомянутого нахождение процесс переходит к этапу 205.
[0031] На этапе 205 происходит обработка данных посредством обучаемой нейронной сети. На данном этапе происходит сравнение физических параметров найденного и обработанного объекта. В результате данной обработки объект подвергается классификации (например, объемное образование, доброкачественная опухоль, злокачественная опухоль и т.д.). Далее процесс переходит к этапу 206.
[0032] На этапе 206 происходит постобработка данных (посредством блока 106). В результате постобработки выводится прогноз наличия болезни/патологии в процентах, определяется класс заболевания, вид, его доброкачественность и злокачественность, переводятся данные в стандартизированный вид. В случае исследования промышленных объектов происходит прогноз рисков и их значений при обнаружении отклонений от нормы. После этапа 206 процесс переходит одновременно к этапам 207, 208 и 209.
[0033] На этапе 207 происходит сохранение пост обработанных данных, а также данных, подвергшихся интерпретации в соответствии с этапом 209. Данное сохранение может производиться как в память сервера 111, так и в память вычислительного устройства пользователя, так и в оба сегмента [0034] На этапе 208 происходит отображение, по меньшей мере, одному пользователю обработанных (в соответствии с этапами 201, 202, 203, 204, 205, 206) данных, и/или интерпретированных данных (в соответствии с этапом 209).
[0035] На этапе 209 происходит интерпретация данных, в соответствии с которой подробно описывается подсчет результатов блока 106 постобработки посредством анализа коэффициентов логистической регрессии и вычисления градиента по отношению к входным данным, и вывода интерпретированных данных, посредством блока отображения, по меньшей мере, одному пользователю. После процедуры интерпретации, процесс одновременно переходит к этапам 207 и 208.
[0036] Хотя данное изобретение было показано и описано со ссылкой на определенные варианты его осуществления, специалистам в данной области техники будет понятно, что различные изменения и модификации могут быть сделаны в нем, не покидая фактический объем изобретения.

Claims

Формула изобретения
1. Система обработки рентгенографического изображения и вывода результата обработки пользователю, содержащая:
- блок ввода рентгенографического изображения, выполненный с возможностью загрузки файлов рентгенографического изображения, содержащих метаданные, включающие информацию об объекте или субъекте изображения и информацию о самом изображении и передачи загруженных файлов блоку предварительной обработки рентгенографического изображения, а также выполненный с возможностью шифрования загруженных файлов в случае, если упомянутые файлы содержат персональные данные человека;
- блок предварительной обработки рентгенографического изображения, выполненный с возможностью расшифровки упомянутых шифрованных загруженных файлов, обработки рентгенографического изображения и передачи предварительно обработанного рентгенографического изображения блоку сжатия или разархивирования, где в результате обработки происходит: нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения, где под релевантной областью рентгенографического изображения подразумевается область с найденным объектом;
- блок сжатия или разархивирования, выполненный с возможностью сжатия или разархивирования предварительно обработанного рентгенографического изображения для дальнейшей передачи блоку нахождения объектов;
- блок нахождения схожего по меньшей мере, одного объекта, выполненный с возможностью нахождения, по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку обработки данных, при этом упомянутое нахождение и обработка включает: нахождение схожего объекта на упомянутых изображениях и наложение переменных координат, расстояний и метрик на упомянутые изображения, где под двумя предварительно обработанными изображениями подразумевается два снимка различных проекций одной и той же исследуемой ткани человека или промышленного объекта;
- блок обработки данных, выполненный с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку постобработки, где обработка нейронной сетью и ее обучение заключается в выявлении закономерностей найденных и обработанных объектов множества рентгенографических изображений, а затем выявление в найденном и обработанном объекте области на основе выявленных закономерностей;
блок постобработки данных, выполненный с возможностью постобработки данных, их передачу в блок хранения данных в блок отображения и в блок интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров выявленной области с выявленными закономерностями в процентном соотношении и классификацию упомянутой выявленной области;
блок интерпретации данных, выполненный с возможностью формирования интерпретированных данных, их шифрования и передачи блоку отображения, при этом блок интерпретации данных соединен с базой данных блока хранения данных, содержащей данные всех классификаций выявленных областей, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса; и
- блок отображения, выполненный с возможностью расшифровки шифрованных интерпретированных данных и вывода расшифрованных интерпретированных данных, по меньшей мере, одному пользователю.
2. Система по п. 1, отличающаяся тем, что нахождение и обработка дополнительно включает построение трехмерного отображения формы найденного объекта, а наложение переменных координат, расстояний и метрик на упомянутые изображения происходит в соответствии с упомянутым трехмерным отображением.
3. Система по п. 1, отличающаяся тем, что обучаемая нейронная сеть включает:
- компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN));
- компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации;
- компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации;
- компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и
- компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта.
4. Система по п. 1, отличающаяся тем, что формат рентгенографических изображений может быть, по меньшей мере, одним из: DICOM, JPEG, JPG, GIF, PNG.
5. Система по п. 1, отличающаяся тем, что рентгенографическим изображением является рентгенографический снимок органов или тканей человека, или рентгенографический снимок промышленного объекта.
6. Система по п. 1, отличающаяся тем, что физическим параметром объекта является вид объекта.
PCT/RU2019/000947 2019-06-10 2019-12-13 Система обработки рентгенографических изображений и вывода результата пользователю WO2020251396A1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19932528.3A EP3982321A4 (en) 2019-06-10 2019-12-13 SYSTEM FOR PROCESSING RADIOGRAPHIC IMAGES AND PROVIDING RESULT TO A USER
US17/627,113 US20230047497A1 (en) 2019-06-10 2019-12-13 System for processing radiographic images and outputting the result to a user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2019118035 2019-06-10
RU2019118035A RU2697733C1 (ru) 2019-06-10 2019-06-10 Система обработки рентгенографических изображений и вывода результата пользователю

Publications (1)

Publication Number Publication Date
WO2020251396A1 true WO2020251396A1 (ru) 2020-12-17

Family

ID=67640591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2019/000947 WO2020251396A1 (ru) 2019-06-10 2019-12-13 Система обработки рентгенографических изображений и вывода результата пользователю

Country Status (4)

Country Link
US (1) US20230047497A1 (ru)
EP (1) EP3982321A4 (ru)
RU (1) RU2697733C1 (ru)
WO (1) WO2020251396A1 (ru)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010031076A1 (en) * 2000-03-24 2001-10-18 Renato Campanini Method and apparatus for the automatic detection of microcalcifications in digital signals of mammary tissue
WO2002042998A2 (en) * 2000-11-22 2002-05-30 R2 Technology, Inc. Method and system for the display of regions of interest in medical images
US20110176710A1 (en) * 2005-10-25 2011-07-21 Bracco Imaging S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
US20160203599A1 (en) * 2013-08-13 2016-07-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
CN107368670A (zh) 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
RU2645004C2 (ru) * 2013-07-16 2018-02-15 Сейко Эпсон Корпорейшн Устройство обработки информации, способ обработки информации и система обработки информации

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011505225A (ja) * 2007-12-03 2011-02-24 データフィジクス リサーチ， インコーポレイテッド 効率的な撮像システムおよび方法
WO2013155300A1 (en) * 2012-04-11 2013-10-17 The Trustees Of Columbia University In The City Of New York Techniques for segmentation of organs and tumors and objects
KR101695079B1 (ko) * 2015-01-28 2017-01-10 울산대학교 산학협력단 콥 각도 측정장치 및 그 방법
US10783230B2 (en) * 2018-05-09 2020-09-22 Shape Matrix Geometric Instruments, LLC Methods and apparatus for encoding passwords or other information
CN110782451B (zh) * 2019-11-04 2021-09-07 哈尔滨理工大学 基于判别式深度置信网络的疑似微钙化点区域自动定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010031076A1 (en) * 2000-03-24 2001-10-18 Renato Campanini Method and apparatus for the automatic detection of microcalcifications in digital signals of mammary tissue
WO2002042998A2 (en) * 2000-11-22 2002-05-30 R2 Technology, Inc. Method and system for the display of regions of interest in medical images
US20110176710A1 (en) * 2005-10-25 2011-07-21 Bracco Imaging S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
RU2645004C2 (ru) * 2013-07-16 2018-02-15 Сейко Эпсон Корпорейшн Устройство обработки информации, способ обработки информации и система обработки информации
US20160203599A1 (en) * 2013-08-13 2016-07-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
CN107368670A (zh) 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3982321A4

Also Published As

Publication number Publication date
US20230047497A1 (en) 2023-02-16
EP3982321A4 (en) 2023-02-22
EP3982321A1 (en) 2022-04-13
RU2697733C1 (ru) 2019-08-19

Similar Documents

Publication Publication Date Title
Rehman et al. A novel chaos-based privacy-preserving deep learning model for cancer diagnosis
Tan et al. Association between changes in mammographic image features and risk for near-term breast cancer development
US10993653B1 (en) Machine learning based non-invasive diagnosis of thyroid disease
EP3282379A1 (en) Method and apparatus for archiving anonymized volumetric data from medical image visualization software
US20140233820A1 (en) Segmentation and Fracture Detection in CT Images
Fan et al. Effect of image noise on the classification of skin lesions using deep convolutional neural networks
CN109791804B (zh) 对cad系统个性化以提供cad系统推荐的置信水平指示的方法和部件
Tartar et al. Classification of pulmonary nodules by using hybrid features
CN113688912B (zh) 基于人工智能的对抗样本生成方法、装置、设备及介质
CN111243711B (zh) 医学成像中的特征识别
Qiu et al. A novel multiresolution-statistical texture analysis architecture: radiomics-aided diagnosis of PDAC based on plain CT images
Bhatele et al. Glioma Segmentation and Classification System Based on Proposed Texture Features Extraction Method and Hybrid Ensemble Learning.
CN106227850A (zh) 一种基于移动终端的医学检验监控控制系统及控制方法
Pandimurugan et al. [Retracted] Detecting and Extracting Brain Hemorrhages from CT Images Using Generative Convolutional Imaging Scheme
Li et al. Time-distance vision transformers in lung cancer diagnosis from longitudinal computed tomography
CN111370098A (zh) 一种基于边缘侧计算和服务装置的病理诊断系统及方法
Lima et al. Automatic classification of pulmonary nodules in computed tomography images using pre-trained networks and bag of features
WO2021257457A1 (en) Diffraction-based global in vitro diagnostic system
Crasta et al. A novel Deep Learning architecture for lung cancer detection and diagnosis from Computed Tomography image analysis
RU2697733C1 (ru) Система обработки рентгенографических изображений и вывода результата пользователю
Kahaki et al. Weakly supervised deep learning for predicting the response to hormonal treatment of women with atypical endometrial hyperplasia: a feasibility study
US20230207074A1 (en) Diffraction-based global in vitro diagnostic system
CN115423761A (zh) 一种基于深度学习的骨折x光图像检测与三维呈现方法
CN115116584A (zh) 一种基于5g的安全高效智慧医疗数据分析方法及装置
Khasawneh et al. [Retracted] Early Detection of Medical Image Analysis by Using Machine Learning Method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932528

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019932528

Country of ref document: EP

Effective date: 20220110