WO2021177771A1 - 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템 - Google Patents

의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템 Download PDF

Info

Publication number
WO2021177771A1
WO2021177771A1 PCT/KR2021/002728 KR2021002728W WO2021177771A1 WO 2021177771 A1 WO2021177771 A1 WO 2021177771A1 KR 2021002728 W KR2021002728 W KR 2021002728W WO 2021177771 A1 WO2021177771 A1 WO 2021177771A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
medical image
biomarker
expression
machine learning
Prior art date
Application number
PCT/KR2021/002728
Other languages
English (en)
French (fr)
Inventor
엄재홍
옥찬영
유동근
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to EP21765070.4A priority Critical patent/EP4116992A4/en
Publication of WO2021177771A1 publication Critical patent/WO2021177771A1/ko
Priority to US17/502,260 priority patent/US20220036558A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present disclosure relates to a method and system for predicting biomarker expression, and specifically, to a method and system for predicting biomarker expression for at least one lesion included in a medical image.
  • the present disclosure provides a method for predicting biomarker expression, a computer program stored in a recording medium, and an apparatus (system) for solving the above problems.
  • the present disclosure may be implemented in various ways including a method, an apparatus (system), or a computer program stored in a readable storage medium.
  • a method of predicting biomarker expression from a medical image includes receiving the medical image and using a first machine learning model to be included in the medical image and outputting an expression index of a biomarker for at least one lesion that has been treated.
  • the step of outputting the expression index of the biomarker includes extracting a region for at least one lesion from a received medical image and a region for the at least one lesion extracted from the medical image. and generating some images by cropping .
  • the step of outputting the expression index of the biomarker includes the step of inputting the generated partial image to the first machine learning model and outputting the expression index of the biomarker for at least one lesion.
  • the step of outputting the expression index of the biomarker includes inputting the received medical image and some generated images into the first machine learning model, and the expression index of the biomarker for at least one lesion. It further includes the step of outputting.
  • the method further includes determining segmentation information of at least one lesion included in a medical image.
  • the step of outputting the expression index of the biomarker the determined segmentation information of the at least one lesion and the generated partial image are input to the first machine learning model, and the expression index of the biomarker for the at least one lesion included in the medical image is inputted to the first machine learning model. outputting the .
  • the method includes acquiring an expression index of a biomarker of a lesion different from at least one lesion in a medical image.
  • the step of outputting the expression index of the biomarker the obtained expression index of the biomarker of different lesions and the generated partial image are input to the first machine learning model, and the biomarker for at least one lesion included in the medical image is input to the first machine learning model. and outputting an expression index.
  • the receiving of the medical image includes receiving the first medical image and the second medical image captured at a time different from the first medical image.
  • the step of outputting the expression index of the biomarker includes extracting a region for at least one lesion from each of the first medical image and the second medical image, and the region for at least one lesion extracted from the first medical image; and inputting a region for at least one lesion extracted from the second medical image into the first machine learning model, and outputting an expression index of a biomarker for the at least one lesion.
  • the method further includes outputting information related to tissue harvesting of at least one lesion by inputting the output index of expression of the biomarker to the third machine learning model.
  • the at least one lesion included in the medical image includes a plurality of lesions included in the medical image.
  • the step of outputting information related to tissue harvesting for at least one lesion includes outputting information on a priority of tissue harvesting for a plurality of lesions.
  • the method further includes obtaining reference information for tissue harvesting associated with a medical image.
  • the step of outputting information on the priority of tissue collection for the plurality of lesions includes inputting the output index of expression of the biomarker and reference information for the obtained tissue collection into the third machine learning model, and outputting information on the priority of tissue harvesting.
  • An information processing system receives a medical image by executing a memory storing one or more instructions and the stored one or more instructions, and using a first machine learning model, at least included in the medical image and a processor configured to output an expression index of a biomarker for one lesion.
  • a user may check the possibility of expression of a biomarker of at least one lesion included in a medical image, and may determine an optimal lesion for tissue extraction. .
  • the survival probability of the patient may not be significantly affected.
  • the user can minimize the burden on the patient for tissue harvesting by checking the output index of expression of the biomarker and collecting tissue from the lesion with the highest expression potential of the biomarker.
  • the processor predicts the expression index of the biomarker in the first medical image by using not only the first medical image but also the second medical image captured at a time different from the first medical image, so that the biomarker It is possible to output a more accurate prediction result for the expression index of
  • the processor predicts the expression index of the biomarker in the medical image using the expression index and/or the actual expression amount of the biomarker of the lesion different from the at least one lesion, so that the expression of the biomarker is It is possible to output more accurate prediction results for indicators.
  • the first machine learning model may more accurately predict and output an expression index of a biomarker by further utilizing at least one image as well as at least one piece of additional information.
  • the first machine learning model may more accurately predict and output an expression index of a biomarker by further utilizing features of each of a plurality of partial images as well as a medical image.
  • the user may efficiently determine which lesion among the patient's lesions to perform tissue harvesting by using the output information related to tissue harvesting.
  • the user may easily determine which lesion among the lesions included in the medical image is helpful for the treatment of the patient.
  • FIG. 1 is an exemplary configuration diagram illustrating an information processing system that provides an expression index of a biomarker according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating an internal configuration of an information processing system according to an embodiment of the present disclosure.
  • FIG. 3 is a functional block diagram illustrating an internal configuration of a processor according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of predicting biomarker expression from a medical image according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of generating a medical image in which a region for a lesion is displayed, according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of generating an image in which an expression index of a biomarker is displayed according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of outputting an expression index of a biomarker of a first medical image by receiving a second medical image captured at a time different from the first medical image according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of predicting a biomarker expression index of a specific lesion using a biomarker expression index of another lesion according to an embodiment of the present disclosure.
  • FIG. 9 is an exemplary diagram illustrating an artificial neural network model according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an example in which the first machine learning model according to an embodiment of the present disclosure outputs an expression index of a biomarker using at least one image.
  • FIG. 11 is a diagram illustrating an example in which the first machine learning model according to an embodiment of the present disclosure outputs an expression index of a biomarker using at least one image and additional information.
  • FIG. 12 is a diagram illustrating an example in which a second machine learning model outputs features of each of a plurality of partial images by using a plurality of partial images according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example in which the third machine learning model outputs information related to tissue harvesting using a biomarker expression index according to an embodiment of the present disclosure.
  • FIG 14 is a diagram illustrating an example in which the third machine learning model outputs information on the priority of tissue harvesting by using a biomarker expression index and reference information on tissue harvesting according to an embodiment of the present disclosure.
  • 15 is an exemplary system configuration diagram for performing a prediction operation on biomarker expression according to an embodiment of the present disclosure.
  • 'module' or 'unit' used in the specification means a software or hardware component, and 'module' or 'unit' performs certain roles.
  • 'module' or 'unit' is not meant to be limited to software or hardware.
  • a 'module' or 'unit' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors.
  • a 'module' or 'part' refers to components such as software components, object-oriented software components, class components, and task components, and processes, functions, and properties. , procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays or at least one of variables.
  • Components and 'modules' or 'units' are the functions provided therein that are combined into a smaller number of components and 'modules' or 'units' or additional components and 'modules' or 'units' can be further separated.
  • a 'module' or a 'unit' may be implemented with a processor and a memory.
  • 'Processor' should be construed broadly to include general purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like.
  • a 'processor' may refer to an application specific semiconductor (ASIC), a programmable logic device (PLD), a field programmable gate array (FPGA), or the like.
  • ASIC application specific semiconductor
  • PLD programmable logic device
  • FPGA field programmable gate array
  • 'Processor' refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in combination with a DSP core, or any other such configurations. You may. Also, 'memory' should be construed broadly to include any electronic component capable of storing electronic information.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM programmable read-only memory
  • EPROM erase-programmable read-only memory
  • a memory is said to be in electronic communication with the processor if the processor is capable of reading information from and/or writing information to the memory.
  • a memory integrated in the processor is in electronic communication with the processor.
  • a 'system' may include at least one of a server device and a cloud device, but is not limited thereto.
  • a system may consist of one or more server devices.
  • a system may consist of one or more cloud devices.
  • the system may be operated with a server device and a cloud device configured together.
  • a 'machine learning model' may include any model used to infer an answer to a given input.
  • the machine learning model may include an artificial neural network model including an input layer (layer), a plurality of hidden layers, and an output layer.
  • each layer may include a plurality of nodes.
  • a plurality of machine learning models such as a first machine learning model, a second machine learning model, and a third machine learning model, are described as separate machine learning models, but the present disclosure is not limited thereto. The whole can be implemented as a single machine learning model.
  • the machine learning model may refer to an artificial neural network model, and the artificial neural network model may refer to a machine learning model.
  • a 'display' may refer to any display device associated with a computing device, eg, any display device that is controlled by or capable of displaying any information/data provided from the computing device. can refer to
  • 'each of a plurality of A' or 'each of a plurality of A' may refer to each of all components included in the plurality of As, or may refer to each of some components included in the plurality of As. .
  • 'biomarker' refers to an indicator that can detect changes in the body using proteins, DNA, RNA, metabolites, etc., for example, PD-L1, EGFR, DCIS, ALK, ER, HER2 , VEGF, and the like, but are not limited thereto.
  • the biomarker may be a preset biomarker, or a biomarker selected or set by an arbitrary machine learning model.
  • the 'biomarker expression index' represents an index predicting the expression level and/or expression potential of the biomarker for each lesion as a numerical value, and may be output in the form of the expression level and expression level of the biomarker. have.
  • 'medical image' may refer to any image, image, etc. related to the medical field.
  • the medical image may refer to an image or an image obtained by photographing at least a part of a patient's body, for example, computed tomography (CT), magnetic resonance imaging (MRI), position emission tomography (PET), and single (SPECT).
  • CT computed tomography
  • MRI magnetic resonance imaging
  • PET position emission tomography
  • SPECT single
  • Photon emission CT digital breast tomosynthesis
  • DBT digital breast tomosynthesis
  • 'crop' may refer to an operation of generating a partial image or an image by cropping and selecting at least a partial area of an image or an image.
  • cropping may refer to an operation of removing an outer portion of computer graphics in order to change the horizontal and vertical ratio, to make a specific area stand out, or to improve an outline.
  • the crop may include 2D crop using 2D computer graphics, 3D crop using 3D computer graphics, and the like.
  • an 'instruction' may refer to one or more instructions grouped based on a function, which is a component of a computer program and is executed by a processor.
  • FIG. 1 is an exemplary configuration diagram illustrating an information processing system 120 that provides an expression index of a biomarker according to an embodiment of the present disclosure.
  • the information processing system 120 may be configured to communicate with each of the user terminal 130 and the storage system 110 .
  • one user terminal 130 is illustrated in FIG. 1
  • the present invention is not limited thereto, and a plurality of user terminals 130 may be configured to be connected to and communicate with the information processing system 120 .
  • the information processing system 120 is illustrated as one computing device in FIG. 1
  • the present invention is not limited thereto, and the information processing system 120 may be configured to distribute information and/or data through a plurality of computing devices.
  • the storage system 110 is illustrated as a single device in FIG.
  • each component of a system providing an expression index of a biomarker represents functionally distinct functional elements, and a plurality of components may be implemented in a form that is integrated with each other in an actual physical environment.
  • the information processing system 120 and/or the user terminal 130 is any computing device used to provide information on an expression index of a biomarker included in a medical image.
  • the computing device may refer to any type of device equipped with a computing function, for example, a notebook, a desktop, a laptop, a tablet computer, a server, a cloud system, etc. may be, but is not limited thereto.
  • the information processing system 120 may output the medical image 150 to the display device of the user terminal 130 and provide it to the user 140 . In this case, the information processing system 120 transmits an image including expression indicators 160_1, 160_2, and 160_3 of biomarkers for at least one lesion included in the medical image 150 through the user terminal 130 to the user ( 140) can be provided.
  • the information processing system 120 may receive the medical image 150 .
  • the medical image 150 may refer to any image or image related to the medical field, for example, computed tomography (CT), magnetic resonance imaging (MRI), position emission tomography (PET), or SPECT ( It may include a 2D image such as Single Photon Emission CT) and Digital Breast Tomosynthesis (DBT), a 3D image, a composite image, and the like.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • PET position emission tomography
  • SPECT It may include a 2D image such as Single Photon Emission CT) and Digital Breast Tomosynthesis (DBT), a 3D image, a composite image, and the like.
  • Such a medical image 150 may be directly captured by a device associated with the information processing system 120 , or may be received from an external system (eg, the user terminal 130 , the storage system 110 , etc.).
  • the information processing system 120 may output an expression index of the biomarker for at least one lesion included in the medical image by using the first machine learning model.
  • the information processing system 120 may predict expression indicators 160_1, 160_2, and 160_3 of specific biomarkers for three lesions.
  • the information processing system 120 may predict an expression index of each of a plurality of biomarkers for at least one lesion.
  • the biomarker refers to an indicator that can detect changes in the body using proteins, DNA, RNA, metabolites, etc., for example, PD-L1, EGFR, DCIS, ALK, ER, HER2, VEGF, etc. may be included, but is not limited thereto.
  • the expression index (160_1, 160_2, 160_3) of the biomarker indicates the expression level and / or expression potential of the biomarker for each lesion, and can be output in the form of the expression level and expression level of the biomarker. .
  • the information processing system 120 In order to output the biomarker expression indicators 160_1 , 160_2 , and 160_3 for the lesion included in the medical image 150 , the information processing system 120 first selects an area for at least one lesion from the medical image 150 . can be extracted. In this case, any algorithm and/or any machine learning model for extracting a region for a lesion from the medical image 150 may be used. Additionally or alternatively, the information processing system 120 may receive the medical image 150 in which the area for the lesion is determined.
  • the user 140 may determine a lesion for which tissue collection (biopsy) is to be performed using the expression indicators 160_1, 160_2, and 160_3 of the biomarkers output through the user terminal 130 . .
  • the user 140 may select one lesion having a high biomarker expression possibility among various lesions included in the medical image 150 to perform tissue collection.
  • the information processing system 120 may output information on the priority of tissue harvesting for a plurality of lesions. In this case, the user 140 may select one lesion having the highest priority for tissue harvesting and perform tissue harvesting. With such a configuration, the user 140 may check the possibility of expression of a biomarker of at least one lesion included in the medical image 150 , and may determine an optimal lesion for tissue collection.
  • the storage system 110 is a device or cloud system that stores and manages various data related to a machine learning model for providing biomarker expression indicators 160_1 , 160_2 , 160_3 for lesions included in the medical image 150 . .
  • the storage system 110 may store and manage various data using a database.
  • the various data may include arbitrary data related to the machine learning model, for example, a medical image of a patient, a medical image in which an expression index of a biomarker for a specific lesion is output, a medical image at a different point in time, other It may include, but is not limited to, a medical image in which an expression index of a biomarker for a lesion is output, information about the biomarker, patient information, segmentation information, lesion information, and the like.
  • the information processing system 120 and the storage system 110 are illustrated as separate systems in FIG. 1 , the present invention is not limited thereto, and may be integrated into one system.
  • the information processing system 120 may include a memory 210 , a processor 220 , a communication module 230 , and an input/output interface 240 . As shown in FIG. 2 , the information processing system 120 may be configured to communicate information and/or data through a network using the communication module 230 .
  • the memory 210 may include any non-transitory computer-readable recording medium.
  • the memory 210 is a non-volatile mass storage device (permanent) such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), flash memory (flash memory), etc. mass storage device).
  • a non-volatile mass storage device such as a ROM, an SSD, a flash memory, a disk drive, etc. may be included in the information processing system 120 as a separate permanent storage device that is distinct from the memory.
  • the memory 210 includes an operating system and at least one program code (eg, a code for outputting an expression index of a biomarker installed and driven in the information processing system 120 , outputting information related to tissue harvesting, etc.) can be saved.
  • the separate computer-readable recording medium may include a recording medium directly connectable to the information processing system 120, for example, a floppy drive, a disk, a tape, a DVD/CD-ROM drive, a memory card, etc. may include a computer-readable recording medium of
  • the software components may be loaded into the memory 210 through the communication module 230 rather than a computer-readable recording medium.
  • the at least one program is a computer program (eg, biomarker expression index output, a program for outputting information related to tissue harvesting, etc.) may be loaded into the memory 210 .
  • the processor 220 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the command may be provided to a user terminal (not shown) or other external system by the memory 210 or the communication module 230 .
  • the processor 220 may receive a medical image and output an expression index of a biomarker for at least one lesion included in the medical image by using the first machine learning model.
  • the processor 220 may generate a partial image by extracting a region for at least one lesion from the received medical image and cropping the extracted region for the at least one lesion from the medical image. Then, the processor 220 may input the generated partial image to the first machine learning model, and output an expression index of the biomarker for at least one lesion.
  • the communication module 230 may provide a configuration or function for the user terminal (not shown) and the information processing system 120 to communicate with each other through a network, and the information processing system 120 may be configured to communicate with an external system (eg, a separate A configuration or function for communicating with a cloud system, etc.) may be provided.
  • an external system eg, a separate A configuration or function for communicating with a cloud system, etc.
  • control signals, commands, data, etc. provided under the control of the processor 220 of the information processing system 120 are transmitted to the user through the communication module 230 and the network through the user terminal and/or the communication module of the external system. It may be transmitted to a terminal and/or an external system.
  • the user terminal and/or the external system may receive information on the expression index of the biomarker determined from the information processing system 120 .
  • the input/output interface 240 of the information processing system 120 is connected to the information processing system 120 or means for interfacing with a device (not shown) for input or output that the information processing system 120 may include.
  • a device not shown
  • the input/output interface 240 is illustrated as an element configured separately from the processor 220 , but the present invention is not limited thereto, and the input/output interface 240 may be configured to be included in the processor 220 .
  • the information processing system 120 may include more components than those of FIG. 2 . However, there is no need to clearly show most of the prior art components.
  • the processor 220 of the information processing system 120 may be configured to manage, process, and/or store information and/or data received from a plurality of user terminals and/or a plurality of external systems. According to an embodiment, the processor 220 may receive a medical image from a user terminal and/or an external system. In this case, the processor 220 may output an expression index of the biomarker for at least one lesion included in the medical image by using the first machine learning model.
  • the processor 220 may include a preprocessor 310 , a lesion detector 320 , a lesion analyzer 330 , a tissue harvest analyzer 340 , and the like.
  • the processor 220 may communicate with a database including a medical image and/or an external device (eg, a user terminal or an external system), and receive a medical image necessary for predicting expression of a biomarker.
  • the preprocessor 310 may perform preprocessing on the received medical image.
  • the preprocessor 310 may receive a medical image and construct the obtained image as an image of a specific dimension.
  • the preprocessor 310 may construct and/or change a 2D medical image into a 3D medical image, or may construct and/or change a 3D medical image into a 2D medical image.
  • the preprocessor 310 may perform resampling so that the length of one pixel in the received medical image becomes a predetermined length. That is, the preprocessor 310 may preprocess the received medical image in a form suitable for lesion detection and/or lesion analysis.
  • the lesion detector 320 may extract an area for at least one lesion included in the corresponding medical image based on the received or input medical image.
  • the region for the lesion may include at least one of a location or a size of a lesion determined to exist in the medical image.
  • the lesion detector 320 may use a predetermined algorithm and/or a machine learning model (eg, RNN among artificial neural network models, CNN, FCNN, etc.) can be used to extract the region for the lesion.
  • a machine learning model eg, RNN among artificial neural network models, CNN, FCNN, etc.
  • at least one of the location and size of the lesion may be selected or input by the user, and at least one of the location and size of the lesion detected by the lesion detector 320 may be modified by the user.
  • the processor 220 may generate a partial image by extracting a region for at least one lesion from the received medical image and cropping the extracted region for the at least one lesion from among the medical image. have. Furthermore, the processor 220 may generate a connected image by adjusting the size of the received medical image and the size of the generated partial image to a predetermined size, and concatenating the adjusted medical image and the adjusted partial image. have. As such, the generated medical image, some images and/or linked images may be used to extract expression indicators of biomarkers.
  • the lesion analyzer 330 may output an expression index of a biomarker for at least one lesion included in a medical image such as a 2D image or a 3D image.
  • the lesion analyzer 330 may output an expression index of a biomarker using a predetermined algorithm, a machine learning model (eg, RNN, CNN, FCNN, etc. among artificial neural network models).
  • the lesion analyzer 330 may correspond to the first machine learning model.
  • the lesion analyzer 330 may predict and output an expression index of a biomarker for at least one lesion included in a medical image based on a medical image, a partial image, and/or a connected image.
  • the lesion analyzer 330 can be trained to make predictions related to expression of a particular biomarker in a lesion, in a variety of data and manner.
  • the lesion analyzer 330 may be trained using the actual expression level of a biomarker identified in a specific image (2D image, 3D image, etc.).
  • the actual expression level of the biomarker may refer to the expression level confirmed by a clinical method such as tissue collection.
  • the processor 220 may input the 2D axial image to the 2D CNN model, train the model, and dilate the parameters of the learned model into 3D parameters. With such a configuration, the processor 220 fine-tunes 3D image data to generate a 3D image model using knowledge obtained through 2D image learning.
  • the lesion analyzer 330 may predict and output an expression index of a biomarker for at least one lesion included in the medical image by using the medical image and at least one piece of additional information. For example, the lesion analyzer 330 may determine segmentation information of at least one lesion included in a medical image, and predict an expression index of a biomarker using the segmentation information. In another example, the lesion analyzer 330 may obtain patient information related to a medical image, and predict an expression index of a biomarker using the patient information. In another example, the lesion analyzer 330 may obtain lesion information indicating at least one lesion, and predict an expression index of a biomarker using the lesion information. In this case, the lesion analyzer 330 may use segmentation information, patient information, lesion information, etc. encoded in vector form as additional information for predicting the expression index of the biomarker.
  • the lesion analyzer 330 receives a medical image (eg, a first medical image) and another medical image (eg, a second medical image) taken at a different time point, and uses the other medical image to The expression index of the marker can be predicted.
  • the lesion analyzer 330 may extract a region for a lesion from a medical image and other medical images, and may distinguish the same lesion from each image. Then, the lesion analyzer 330 may predict the expression index of the biomarker based on changes in the lesions classified as identical.
  • the lesion analyzer 330 determines the expression index of the biomarker for other lesions included in the medical image based on the expression index of the actual biomarker extracted for one lesion included in the medical image. predictable and output. In other words, the lesion analyzer 330 acquires at least one lesion in the medical image and an expression index of a different lesion biomarker, and uses the obtained biomarker expression index of a different lesion and some generated images in the medical image. An expression index of a biomarker for at least one included lesion may be output.
  • the processor 220 may generate a plurality of partial images by extracting regions for a plurality of lesions from the received medical image and cropping the extracted regions for the plurality of lesions.
  • the processor 220 may input the plurality of generated partial images to the second machine learning model, and output features of each of the plurality of partial images.
  • the second machine learning model may include a feature extraction model implemented as an arbitrary machine learning model (eg, RNN, CNN, FCNN, etc. among artificial neural network models).
  • the characteristics of each of the plurality of partial images output as described above may be used to predict or output an expression index of a biomarker for each of the plurality of lesions.
  • the second machine learning model may be configured to receive the entire medical image as well as some images.
  • the overall state of the patient included in the medical image may be considered in predicting the expression index of a specific biomarker in the lesion of the patient by encoding the overall state of the patient with respect to the medical image.
  • the tissue harvesting analyzer 340 may output information related to tissue harvesting of at least one lesion by using the output biomarker expression index.
  • the tissue harvesting analyzer 340 may output information related to tissue harvesting using a predetermined algorithm, a machine learning model (eg, RNN, CNN, FCNN, etc. among artificial neural network models), for example, a tissue harvesting analyzer 340 may correspond to the third machine learning model.
  • the information related to tissue harvesting may include a tissue harvesting location and size for a lesion, a tissue harvesting priority, a tissue harvesting method, and the like.
  • the tissue harvesting method may include a percutaneous needle biopsy in which cells are obtained by piercing a needle into an affected area, and an open biopsy in which a tissue is directly collected by incising the affected area, in this case , the tissue harvesting analyzer 340 may output information indicating the suitability of a specific biopsy according to the location and size of the lesion.
  • At least one lesion included in the medical image may include a plurality of lesions included in the medical image.
  • the tissue harvesting analyzer 340 outputs information on the priority of tissue harvesting for the plurality of lesions. can do.
  • the information on the priority of tissue harvesting may include a ranking of each lesion suitable for tissue harvesting, which is determined based on a biomarker expression index among a plurality of lesions.
  • the tissue harvesting analyzer 340 obtains reference information for tissue harvesting associated with a medical image, and uses the output index of expression of the biomarker and the obtained reference information for tissue harvesting in a plurality of lesions. Information on the priority of tissue harvesting can be output.
  • the reference information for tissue harvesting is any information that can be used to determine the suitability of tissue harvesting together with a biomarker expression index, etc. whether the organ is located), the location of the lesion (ex. whether the lesion is in a position that can be accessed percutaneously), and the size of the lesion (ex. whether the size of the lesion is the size that can be sampled (ex. 1cm or more)), etc. may contain information.
  • the configuration of the processor 220 has been described separately for each function in FIG. 3 , it does not necessarily mean that the processor 220 is physically separated.
  • the lesion detector 320 and the lesion analyzer 330 have been separately described above, but this is provided to help the understanding of the present invention and is not limited thereto.
  • the lesion detector 320 , the lesion analyzer 330 , and the tissue harvest analyzer 340 may be implemented through one artificial neural network model, or may be implemented through a plurality of different artificial neural network models.
  • the processor 220 predicts a region and biomarker expression index for each lesion, and uses the predicted biomarker expression index of the region for each lesion, reference information for tissue collection, and the like.
  • the lesion most suitable for performing tissue harvesting can be simply determined.
  • the doctor provided with the information on the lesion determined in this way performs tissue collection on the patient, by removing the unnecessary tissue collection process, the discomfort that the patient may feel can be eliminated, which is critical to the survival probability of the patient. may not affect
  • the method 400 for predicting biomarker expression may be performed by a processor (eg, a processor of a user terminal and/or at least one processor of an information processing system). As shown, the method 400 for predicting biomarker expression may be started when the processor receives a medical image (S410). For example, the processor may directly capture a medical image using an arbitrary device associated with the information processing system, or may receive a medical image from an external device (eg, a user terminal or a database).
  • a processor eg, a processor of a user terminal and/or at least one processor of an information processing system.
  • the method 400 for predicting biomarker expression may be started when the processor receives a medical image (S410).
  • the processor may directly capture a medical image using an arbitrary device associated with the information processing system, or may receive a medical image from an external device (eg, a user terminal or a database).
  • the processor may output an expression index of a biomarker for at least one lesion included in the medical image by using the first machine learning model (S420).
  • the processor may extract a region for at least one lesion from the received medical image.
  • the region for the lesion may include at least one of a location and a size of the lesion.
  • the processor may generate a partial image by cropping a region for at least one lesion extracted from the medical image.
  • the processor may input the generated partial image to the first machine learning model and output an expression index of the biomarker for at least one lesion.
  • the processor may input the received medical image and the generated partial image to the first machine learning model, and output an expression index of a biomarker for at least one lesion. Additionally or alternatively, the processor may generate a linked image by adjusting the size of the received medical image and the size of the generated partial image to a predetermined size and linking the adjusted medical image and the adjusted partial image. Then, the processor may input the linked image to the first machine learning model to output an expression index of the biomarker for at least one lesion.
  • the processor may receive the medical image 510 associated with a specific patient.
  • the medical image 510 is shown to be a CT image associated with a patient, but is not limited thereto, and any image associated with the patient, for example, a 2D image such as MRI, PET, SPECT, DBT, or a 3D image, is not limited thereto. It may include an image, a composite image, and the like.
  • the processor may extract a region for a lesion from the medical image 510 to generate a medical image 520 in which the region for the lesion is displayed.
  • the processor may input the medical image 510 to the lesion detector to detect a region for the lesion, and generate a medical image 520 in which the detected region for the lesion is displayed.
  • the region for the lesion may include the location, size, and the like of the lesion.
  • the area for the lesion in the medical image 520 is shown to be displayed in the form of a rectangular box, but is not limited thereto, and may be displayed in the form of any polygonal shape or the shape of the outline of the lesion. Also, although it is illustrated in FIG. 5 that an area for a lesion is displayed in the medical image 520 , the present invention is not limited thereto, and the processor extracts an area for at least one lesion from the received medical image 510 , and the medical image In 510 , a partial image may be generated and output on the display device by cropping the extracted region for at least one lesion. In addition, although not shown in FIG. 5 , the medical image 520 may display information on the lesion as well as an area for the lesion.
  • FIG. 6 is a diagram illustrating an example of generating an image in which an expression index of a biomarker is displayed according to an embodiment of the present disclosure.
  • an expression index of a biomarker may be output for each region for a lesion detected from a medical image.
  • the processor may output an expression index of a biomarker for at least one lesion included in a medical image by using the first machine learning model.
  • the first machine learning model may be configured to output an expression index of a specific biomarker for at least one lesion included in a medical image.
  • the specific biomarker may be one or more biomarkers.
  • the image 610 in which the output index of expression of the biomarker is displayed may be output or displayed.
  • a biomarker may refer to an index capable of detecting changes in the body using proteins, DNA, RNA, metabolites, or the like. That is, biomarkers may be different for each disease, and a plurality of different biomarkers may exist even for the same disease.
  • the biomarker extracted from the medical image may be selected by a user, or determined or specified based on an area for a detected lesion.
  • the processor may predict and output an expression index for a specified biomarker.
  • the expression index of the biomarker for each lesion is output in the form of percentage (%), but is not limited thereto, and may be output in the form of a score.
  • information related to the biomarker eg, the name of the disease associated with the biomarker, the name of the biomarker, etc.
  • the user can check the output index of expression of the biomarker, and collect tissue from the lesion with the highest expression potential of the biomarker, thereby minimizing the burden on the patient for tissue collection.
  • the processor may receive the medical image and output an expression index of the biomarker.
  • the processor may receive the first medical image (eg, 510 in FIG. 5 ) and the second medical image 710 captured at a different time point than the first medical image, and output an expression index of the biomarker.
  • the first medical image and the second medical image may correspond to images obtained by photographing the same or similar body parts of the same patient.
  • the processor may extract a region for at least one lesion from each of the first medical image and the second medical image 710 . Then, the region for at least one lesion extracted from the first medical image and the region for the at least one lesion extracted from the second medical image 710 are input to the first machine learning model, It is possible to output the expression index of the biomarker for the.
  • the processor extracts a region for a lesion from the second medical image 710 , predicts an expression index of a biomarker with respect to the area for the extracted lesion, and an image 720 on which the predicted expression index of the biomarker is displayed. ) can be output to a display device or the like.
  • the processor may receive an expression index of a biomarker for each lesion predicted in advance with respect to the second medical image 710 from an external system or the like.
  • the processor may predict the expression index of the biomarker in the first medical image by further using information on the expression index of the biomarker predicted from the second medical image 710 as well as the first medical image.
  • the processor may output or display the image 730 in which the expression index of the biomarker in the predicted first medical image is displayed on a display device or the like.
  • the biomarker expression index predicted using both the first medical image and the second medical image 710 may be different from the biomarker expression index predicted using only the first medical image.
  • the expression index of the biomarker for each lesion is output in the form of percentage (%), but is not limited thereto, and may be output in the form of a score.
  • information eg, the name of the disease, the name of the biomarker, etc.
  • the processor predicts the expression index of the biomarker in the first medical image by using not only the first medical image but also the second medical image captured at a different point in time from the first medical image, thereby activating a specific biomarker of the lesion. It is possible to more accurately predict the expression index of the marker.
  • the processor may acquire an expression index of a biomarker of a lesion different from at least one lesion in the medical image.
  • the biomarkers of the different lesions may be the same as or different from the biomarkers of at least one lesion in the medical image.
  • the biomarker of at least one lesion in the medical image is PD-L1
  • the biomarker of a different lesion may correspond to PD-L1, EGFR, DCIS, ALK, or the like.
  • an image 810 in which expression indicators of biomarkers of different lesions are displayed may be output to a display device or the like.
  • the processor inputs the obtained biomarker expression index of different lesions and some images generated by cropping the region for the lesion included in the medical image) to the first machine learning model, and inputs at least one of the obtained biomarkers included in the medical image.
  • the first machine learning model may be trained to output an expression index of a biomarker for at least one lesion based on information on expression indexes of different lesions and some images including regions for at least one lesion.
  • the expression index of biomarkers of different lesions may include not only the expression index of predicted biomarkers of different lesions output through the machine learning model, but also actual expression levels of biomarkers of different lesions confirmed by actual tissue collection.
  • the processor may predict the expression index of the biomarker of at least one lesion in the medical image by further using information on the expression index of the biomarker of the different lesion as well as the received medical image. Then, the processor may display an image 820 in which an expression index of a biomarker for at least one lesion in the predicted medical image is displayed on a display device or the like. As such, the expression index of at least one biomarker in the medical image predicted using both the medical image and the expression index of the biomarker of different lesions may be different from the expression index of the biomarker predicted using only the medical image.
  • the processor predicts the expression index of the biomarker for at least one lesion included in the medical image using the expression index of the biomarker of the lesion different from the at least one lesion, thereby outputting a more accurate prediction result can do.
  • the artificial neural network model 900 is an example of a machine learning model, and in machine learning technology and cognitive science, a statistical learning algorithm implemented based on the structure of a biological neural network or a structure for executing the algorithm.
  • the artificial neural network model 900 is an artificial neuron that forms a network by combining synapses, as in a biological neural network, by repeatedly adjusting the weights of synapses, so that the By learning to reduce the error between the output and the inferred output, it is possible to represent a machine learning model with problem-solving ability.
  • the artificial neural network model 900 may include arbitrary probabilistic models, neural network models, etc. used in artificial intelligence learning methods such as machine learning and deep learning.
  • the above-described lesion detector, lesion analyzer, and/or tissue harvest analyzer may be generated in the form of the artificial neural network model 900 as a form of a machine learning model.
  • the artificial neural network model 900 may receive a medical image and output an expression index of a biomarker for at least one lesion included in the medical image.
  • the processor extracts a region for at least one lesion from the received medical image using the artificial neural network model 900 , and crops the extracted region for the at least one lesion from among the medical image. can create
  • the artificial neural network model 900 may be configured to output a feature of each of a plurality of partial images using a plurality of partial images.
  • the artificial neural network model 900 may be configured to output information related to tissue harvesting of at least one lesion by using the output index of expression of the biomarker.
  • the artificial neural network model 900 is implemented as a multilayer perceptron (MLP) composed of multilayer nodes and connections between them.
  • the artificial neural network model 900 according to the present embodiment may be implemented using one of various artificial neural network model structures including MLP.
  • the artificial neural network model 900 includes an input layer 920 that receives an input signal or data 910 from the outside, and an output layer that outputs an output signal or data 950 corresponding to the input data.
  • 940 located between the input layer 920 and the output layer 940 , receiving a signal from the input layer 920 , extracting characteristics, and transferring the characteristics to the output layer 940 , where n is a positive integer. It is composed of hidden layers 930_1 to 930_n.
  • the output layer 940 receives signals from the hidden layers 930_1 to 930_n and outputs them to the outside.
  • the learning method of the artificial neural network model 900 includes a supervised learning method that learns to be optimized to solve a problem by input of a teacher signal (correct answer), and an unsupervised learning method that does not require a teacher signal. ) is a way.
  • the information processing system may perform supervised and/or unsupervised learning of the artificial neural network model 900 that has been trained to infer an expression index of a biomarker for at least one lesion included in a medical image.
  • the artificial neural network model 900 learned in this way may be stored in a memory (not shown) of the information processing system, and an expression index of a biomarker for at least one lesion included in a medical image received from a communication module and/or memory. can be printed out.
  • the input variable of the artificial neural network model 900 may be a medical image, a partial image, and/or a connected image. Additionally or alternatively, the input variable of the artificial neural network model 900 may include additional information such as segmentation information, patient information, and lesion information. That is, a vector indicating or characterizing the above-described image, additional information, and the like may be input through the input layer 920 . As such, when the above-described input variable is input through the input layer 920 , the output variable output from the output layer 940 of the artificial neural network model 900 is an expression index of the biomarker for at least one lesion included in the image. It can be a vector representing or characterizing
  • the input layer 920 and the output layer 940 of the artificial neural network model 900 are matched with a plurality of output variables corresponding to the plurality of input variables, respectively, the input layer 920, the hidden layers 930_1 to 930_n, and By adjusting synaptic values between nodes included in the output layer 940 , it may be learned to extract a correct output corresponding to a specific input. Through this learning process, the characteristics hidden in the input variable of the artificial neural network model 900 can be identified, and the nodes of the artificial neural network model 900 are reduced so that the error between the output variable calculated based on the input variable and the target output is reduced. You can adjust the synapse value (or weight) between them. Using the artificial neural network model 900 learned in this way, an expression index of a biomarker for at least one lesion included in the received medical image may be output.
  • the first machine learning model 1000 outputs a biomarker expression index 1020 using at least one image 1010 according to an embodiment of the present disclosure.
  • the first machine learning model 1000 may output an expression index 1020 of a biomarker for at least one lesion included in at least one image 1010 .
  • the at least one image 1010 is a medical image, a partial image generated by cropping a region of at least one lesion among medical images, and/or a medical image whose size is adjusted and a connected image generated by connecting the partial images. may include.
  • the first machine learning model 1000 may receive a medical image and may output an expression index 1020 of a biomarker for at least one lesion included in the medical image. For example, the first machine learning model 1000 extracts a region for at least one lesion from a received medical image, predicts and outputs an expression index of a biomarker for each of the extracted region for at least one lesion. can do. In another example, the first machine learning model 1000 receives a medical image from which a region for at least one lesion is extracted, and predicts an expression index of a biomarker for each region for at least one lesion from the medical image. and can be printed.
  • the first machine learning model 1000 uses a partial image generated by cropping a region for at least one lesion extracted from a medical image to generate a biomarker expression index 1020 for at least one lesion. ) can be printed.
  • the first machine learning model 1000 may output a biomarker expression index 1020 for at least one lesion by using the medical image and some generated images.
  • the first machine learning model 1000 uses a partial image including only the extracted lesion region, thereby reducing noise and/or errors due to regions other than the lesion included in the medical image. By removing it, the expression index 1020 of the biomarker can be predicted more accurately.
  • the first machine learning model 1000 calculates the expression index 1020 of the biomarker for at least one lesion by using the sized medical image and the connected image generated by connecting some images. can be printed out.
  • the processor may generate a linked image by adjusting the size of the received medical image and the size of the generated partial image to a predetermined size and connecting the adjusted medical image and the adjusted partial image.
  • the processor may receive such a connected image as an input of the first machine learning model 1000 and output the expression index 1020 of the biomarker through the first machine learning model 1000 .
  • the processor may output the expression index 1120 of the biomarker for at least one lesion included in the at least one image 1010 through the first machine learning model 1100 .
  • the first machine learning model 1100 may be configured to output the expression index 1120 of the biomarker by using the additional information 1110 together with the at least one image 1010 .
  • the additional information 1110 may include segmentation information, patient information, and/or lesion information.
  • the processor inputs segmentation information of at least one lesion and at least one image 1010 into the first machine learning model 1100 to express biomarkers for at least one lesion included in the medical image.
  • An indicator 1120 may be output.
  • the segmentation information may refer to any information related to the shape of the lesion, such as soft tissue, calcification, cavity, ground glass opacity, and the like. That is, the processor may predict or determine segmentation information of at least one lesion included in the corresponding medical image, based on the medical image. For example, the processor may predict the segmentation of the at least one lesion by using a machine learning model trained to predict the segmentation of the at least one lesion in the medical image. The segmentation information determined as described above may be used to predict the expression index 1120 of the biomarker.
  • the processor obtains patient information associated with a medical image, and inputs the obtained patient information and the at least one image 1010 to the first machine learning model 1100 to obtain at least one information included in the medical image.
  • An expression index 1120 of the biomarker for the lesion may be output.
  • the patient information may include basic information, diagnostic information, history information, etc. of the patient related to the image, for example, at least one of the patient's age, sex, smoking history, previous medical history, treatment history, or family history. may contain information.
  • the patient information obtained in this way may be used to predict the expression index 1120 of the biomarker.
  • the processor obtains lesion information associated with a medical image, inputs the obtained lesion information and at least one image 1010 into the first machine learning model 1100 to obtain at least one An expression index 1120 of the biomarker for the lesion may be output.
  • the lesion information is any information related to the lesion, for example, the size and position of the lesion, such as the size of the lesion, the position of the lesion, spliculated, lobulated, calcified, cavity, solid, non-solid, par-solid, etc. , and may include information related to the shape and the like.
  • the obtained lesion information may be used to predict the expression index 1120 of the biomarker.
  • the processor further inputs at least one image 1010 as well as at least one additional information 1110 to the first machine learning model 1100 to more accurately predict the expression index 1120 of the biomarker. and can be printed.
  • the second machine learning model 1200 may refer to a feature extraction model. That is, the second machine learning model 1200 may extract a feature of each lesion included in the plurality of partial images 1210 .
  • the characteristics of the lesion may refer to any information that can indicate or characterize each lesion, including, for example, the location, size, shape of the lesion, the nature of the lesion, the type of lesion, etc. can, but is not limited thereto.
  • the at least one lesion included in the medical image may include a plurality of lesions included in the medical image.
  • the processor may generate a plurality of partial images 1210 by extracting regions for the plurality of lesions from the received medical image and cropping the extracted regions for the plurality of lesions.
  • the plurality of generated partial images 1210 may be used as input data of the second machine learning model 1200 .
  • the second machine learning model 1200 may output a feature 1220 of each of the plurality of partial images by using the generated plurality of partial images.
  • the second machine learning model 1200 may be configured to output a feature 1220 for each of a plurality of partial images.
  • the feature 1220 for each of the plurality of output images is the input data 1010 of the first machine learning model (1000 in FIG. 10 ) for outputting the expression index of the biomarker for each of the plurality of lesions. ) or as additional information 1110 of the first machine learning model ( 1100 in FIG. 11 ).
  • the first machine learning model may more accurately predict and output the expression index of the biomarker by further utilizing the feature 1220 for each of the plurality of partial images as well as the medical image.
  • the second machine learning model 1200 inputs a plurality of partial images 1210 of a patient and outputs a feature 1220 for each of the plurality of partial images, but is not limited thereto, and the processor
  • One entire medical image including a plurality of partial images 1210 may be input to the second machine learning model 1200 and a feature 1220 for each of the plurality of partial images may be output.
  • the overall state of the patient may be encoded, and the encoded information may be used to output the feature 1220 of the plurality of partial images 1210 .
  • the third machine learning model 1300 may receive the biomarker expression index 1310 and output information 1320 related to tissue harvesting. That is, the processor may not only extract the biomarker expression index 1310 , but also predict and output the information 1320 associated with tissue harvesting using the extracted biomarker expression index 1310 .
  • the biomarker expression index 1310 is, as described above, for at least one lesion included in a medical image output by the first machine learning model using at least one image and additional information. It may be an expression indicator of a biomarker. Additionally or alternatively, the biomarker expression indicator 1310 may be input by a user or received from any external system.
  • the third machine learning model 1300 may output information 1320 related to tissue harvesting and provide it to the user.
  • the information 1320 related to tissue harvesting is arbitrary information required for a user to perform tissue harvesting on a lesion included in a medical image, and may include information on a tissue harvesting method, tissue harvesting location, and priority of tissue harvesting.
  • the present invention is not limited thereto. With such a configuration, the user can efficiently determine from which lesion of the patient the tissue is to be harvested by using the output information 1320 associated with tissue harvesting.
  • the third machine learning model 1400 is a third machine learning model 1400 according to an embodiment of the present disclosure using the biomarker expression index 1310 and reference information 1410 for tissue harvesting information 1420 on the priority of tissue harvesting.
  • the third machine learning model 1400 may receive the biomarker expression index 1310 and the reference information 1410 for tissue harvesting and output information 1420 on the priority of tissue harvesting.
  • the reference information 1410 for tissue collection includes information on the patient's underlying medical history, risk of surgery, lesion accessibility, percutaneous lesion access easiness, expected damage at the time of tissue collection, and/or the size of the lesion, etc. can do.
  • the reference information 1410 for tissue collection includes whether large blood vessels and major organs are located around the lesion, whether the size of the lesion is a size that can be sampled, and whether the size of the lesion is 1 cm or more. can do.
  • the at least one lesion included in the medical image may include a plurality of lesions included in the medical image.
  • the third machine learning model 1400 collects tissue for the plurality of lesions. may output information 1420 about the priority of .
  • the information 1420 on the priority of tissue harvesting may include information on the order, order, and the like of each lesion for which tissue harvesting is to be performed preferentially among a plurality of lesions.
  • the computing device 1500 may include the information processing system 120 and/or the user terminal 130 .
  • the computing device 1500 includes one or more processors 1510 , a bus 1530 , a communication interface 1540 , and a memory (loading) a computer program 1560 executed by the processor 1510 (load). 1520 ) and a storage module 1550 for storing the computer program 1560 .
  • processors 1510 a bus 1530 , a communication interface 1540 , and a memory (loading) a computer program 1560 executed by the processor 1510 (load). 1520 ) and a storage module 1550 for storing the computer program 1560 .
  • FIG. 15 only components related to the embodiment of the present disclosure are illustrated in FIG. 15 . Accordingly, those skilled in the art to which the present disclosure pertains can see that other general-purpose components other than those shown in FIG. 15 may be further included.
  • the processor 1510 controls the overall operation of each component of the computing device 1500 .
  • the processor 1510 includes a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), a graphic processing unit (GPU), or any type of processor well known in the art of the present disclosure. can be In addition, the processor 1510 may perform an operation on at least one application or program for executing the method according to the embodiments of the present disclosure.
  • the computing device 1500 may include one or more processors.
  • the memory 1520 may store various data, commands, and/or information.
  • the memory 1520 may load one or more computer programs 1560 from the storage module 1550 to execute methods/operations according to various embodiments of the present disclosure.
  • the memory 1520 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.
  • the bus 1530 may provide a communication function between components of the computing device 1500 .
  • the bus 1530 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
  • the communication interface 1540 may support wired/wireless Internet communication of the computing device 1500 . Also, the communication interface 1540 may support various communication methods other than Internet communication. To this end, the communication interface 1540 may be configured to include a communication module well known in the art of the present disclosure.
  • the storage module 1550 may non-temporarily store one or more computer programs 1560 .
  • the storage module 1550 is a non-volatile memory such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, or in the art to which the present disclosure pertains. It may be configured to include any well-known computer-readable recording medium.
  • the computer program 1560 may include one or more instructions that, when loaded into the memory 1520 , cause the processor 1510 to perform an operation/method according to various embodiments of the present disclosure. That is, the processor 1510 may perform operations/methods according to various embodiments of the present disclosure by executing one or more instructions.
  • the computer program 1560 may include instructions for receiving a medical image and outputting an expression index of a biomarker for at least one lesion included in the medical image using the first machine learning model. have. In this case, the computer program 1560 extracts a region for at least one lesion from the received medical image and crops the extracted region for the at least one lesion from among the medical images, thereby generating instructions for generating some images. may include Also, the computer program 1560 may include instructions for inputting a partial image to the first machine learning model and outputting an expression index of a biomarker for at least one lesion. In addition, the computer program 1560 may include instructions for generating a medical image including the output index of expression of the biomarker, and outputting or displaying the generated image on a display device.
  • example implementations may refer to utilizing aspects of the presently disclosed subject matter in the context of one or more standalone computer systems, the subject matter is not so limited, but rather in connection with any computing environment, such as a network or distributed computing environment. may be implemented. Still further, aspects of the presently disclosed subject matter may be implemented in or across a plurality of processing chips or devices, and storage may be similarly affected across the plurality of devices. Such devices may include PCs, network servers, and handheld devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Analytical Chemistry (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Genetics & Genomics (AREA)

Abstract

본 개시는 의료 영상으로부터 바이오마커 발현을 예측하는 방법에 관한 것이다. 바이오마커 발현을 예측하는 방법은, 의료 영상을 수신하는 단계 및 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함한다.

Description

의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
본 개시는 바이오마커 발현을 예측하는 방법 및 시스템에 관한 것으로, 구체적으로, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커 발현을 예측하는 방법 및 시스템에 관한 것이다.
암을 확진하고 적절한 치료법을 제안하기 위해서는 환자의 암 조직을 수집하고, 수집된 암 조직에 대한 정밀 분석이 필요하다. 환자의 암 조직 수집 시, 환자에게 적절한 치료를 제안하기 위해서는, 암 병변 중 대표성을 갖는 병변 수집이 필요하다. 일반적으로, 이러한 임상 시험에서는 임상의의 주관적 판단 하에 환자의 신체에서의 병변이 선택되고 있다. 구체적으로, 임상의들은 병변의 크기, 위치와 같은 기준들을 기초로 판단하나, 그러한 판단 중에 자신의 주관적 기준 또는 판단이 개입되기 때문에 환자의 모든 병변을 대변하는 병변이 수집될 가능성은 높지 않을 수 있다.
또한, 기존의 임상 시험에서의 병변 수집은 환자로부터 특정 약제를 사용하면 효과가 있다는 결과가 나올 때까지 여러 차례 조직 수집이 시행되곤 하였다. 더욱이, 불필요한 조직 수집 과정은 환자의 치료 시기를 늦추는 요인이 되어 환자의 생존에 나쁜 영향을 미칠 수 있다. 나아가, 이러한 조직 수집 행위 자체가 환자의 건강을 위협하고, 육체적으로 힘든 과정일 수 있다.
본 개시는 상기와 같은 문제점을 해결하기 위한 바이오마커 발현을 예측하는 방법, 기록매체에 저장된 컴퓨터 프로그램 및 장치(시스템)를 제공한다.
본 개시는 방법, 장치(시스템) 또는 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 실행되는, 의료 영상으로부터 바이오마커 발현을 예측하는 방법은, 의료 영상을 수신하는 단계 및 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 바이오마커의 발현 지표를 출력하는 단계는, 수신된 의료 영상으로부터 적어도 하나의 병변에 대한 영역을 추출하는 단계 및 의료 영상 중에서, 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 바이오마커의 발현 지표를 출력하는 단계는, 생성된 일부 영상을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 더 포함한다.
본 개시의 일 실시예에 따르면, 바이오마커의 발현 지표를 출력하는 단계는, 수신된 의료 영상 및 생성된 일부 영상을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 더 포함한다.
본 개시의 일 실시예에 따르면, 의료 영상에 포함된 적어도 하나의 병변의 세그멘테이션 정보를 결정하는 단계를 더 포함한다. 바이오마커의 발현 지표를 출력하는 단계는, 결정된 적어도 하나의 병변의 세그멘테이션 정보 및 생성된 일부 영상을 제1 기계학습 모델에 입력하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 의료 영상 내의 적어도 하나의 병변과 상이한 병변의 바이오마커의 발현 지표를 획득하는 단계를 포함한다. 바이오마커의 발현 지표를 출력하는 단계는, 획득된 상이한 병변의 바이오마커의 발현 지표 및 생성된 일부 영상을 제1 기계학습 모델에 입력하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 의료 영상을 수신하는 단계는, 제1 의료 영상과 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상을 수신하는 단계를 포함한다. 바이오마커의 발현 지표를 출력하는 단계는, 제1 의료 영상 및 제2 의료 영상의 각각으로부터 적어도 하나의 병변에 대한 영역을 추출하는 단계 및 제1 의료 영상으로부터 추출된 적어도 하나의 병변에 대한 영역과 제2 의료 영상으로부터 추출된 적어도 하나의 병변에 대한 영역을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 출력된 바이오마커의 발현 지표를 제3 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 조직 채취와 연관된 정보를 출력하는 단계를 더 포함한다.
본 개시의 일 실시예에 따르면, 의료 영상에 포함된 적어도 하나의 병변은, 의료 영상에 포함된 복수의 병변을 포함한다. 적어도 하나의 병변에 대한 조직 채취와 연관된 정보를 출력하는 단계는, 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 의료 영상과 연관된 조직 채취에 대한 기준 정보를 획득하는 단계를 더 포함한다. 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하는 단계는, 출력된 바이오마커의 발현 지표 및 획득된 조직 채취에 대한 기준 정보를 제3 기계학습 모델에 입력하여, 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하는 단계를 포함한다.
본 개시의 다른 실시예에 따른 정보 처리 시스템은, 하나 이상의 인스트럭션을 저장하는 메모리 및 저장된 하나 이상의 인스트럭션을 실행함으로써, 의료 영상을 수신하고, 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 구성된 프로세서를 포함한다.
본 개시의 일부 실시예에 따르면, 사용자(예를 들어, 의사 등)는 의료 영상에 포함된 적어도 하나의 병변의 바이오마커의 발현 가능성을 확인하고, 조직 채취를 수행할 최적의 병변을 결정할 수 있다.
본 개시의 일부 실시예에 따르면, 결정된 병변에 대한 정보를 제공받은 의사가 불필요한 조직 채취 과정 없이 환자에 대해 조직 채취를 수행할 수 있으므로, 환자의 생존 확률에 중대한 영향을 미치지 않을 수 있다.
본 개시의 일부 실시예에 따르면, 사용자는 출력된 바이오마커의 발현 지표를 확인하고, 바이오마커의 발현 가능성이 가장 높은 병변부터 조직 채취함으로써, 조직 채취에 대한 환자의 부담을 최소화할 수 있다.
본 개시의 일부 실시예에 따르면, 프로세서는 제1 의료 영상뿐만 아니라 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상을 이용하여 제1 의료 영상 내의 바이오마커의 발현 지표를 예측함으로써, 바이오마커의 발현 지표에 대한 더욱 정확한 예측 결과를 출력할 수 있다.
본 개시의 일부 실시예에 따르면, 프로세서는 적어도 하나의 병변과 상이한 병변의 바이오마커의 발현 지표 및/또는 실제 발현량 등을 이용하여 의료 영상 내의 바이오마커의 발현 지표를 예측함으로써, 바이오마커의 발현 지표에 대한 더욱 정확한 예측 결과를 출력할 수 있다.
본 개시의 일부 실시예에 따르면, 제1 기계학습 모델은 적어도 하나의 영상뿐만 아니라 적어도 하나의 추가 정보를 더 활용하여 바이오마커의 발현 지표를 더 정확하게 예측하고 출력할 수 있다.
본 개시의 일부 실시예에 따르면, 제1 기계학습 모델은 의료 영상뿐만 아니라, 복수의 일부 영상 각각에 대한 특징을 더 활용하여 바이오마커의 발현 지표를 더 정확하게 예측하고 출력할 수 있다.
본 개시의 일부 실시예에 따르면, 사용자는 출력된 조직 채취와 연관된 정보를 이용하여 환자의 병변 중 어떤 병변에서 조직 채취를 수행할지 효율적으로 판단할 수 있다.
본 개시의 일부 실시예에 따르면, 사용자는 의료 영상에 포함된 병변 중 어떤 병변을 우선적으로 검사하는 것이 환자의 치료에 도움이 되는지를 손쉽게 판단할 수 있다.
본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자("통상의 기술자"라 함)에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 바이오마커의 발현 지표를 제공하는 정보 처리 시스템을 나타내는 예시적인 구성도이다.
도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 프로세서의 내부 구성을 나타내는 기능적인 블록도이다.
도 4는 본 개시의 일 실시예에 따른 의료 영상으로부터 바이오마커 발현을 예측하는 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 병변에 대한 영역이 표시된 의료 영상을 생성하는 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 바이오마커의 발현 지표가 표시된 영상을 생성하는 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상을 수신하여 제1 의료 영상의 바이오마커의 발현 지표를 출력하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 다른 병변의 바이오마커 발현 지표를 이용하여 특정 병변의 바이오마커 발현 지표를 예측하는 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 인공신경망 모델을 나타내는 예시도이다.
도 10은 본 개시의 일 실시예에 따른 제1 기계학습 모델이 적어도 하나의 영상을 이용하여 바이오마커의 발현 지표를 출력하는 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 제1 기계학습 모델이 적어도 하나의 영상 및 추가 정보를 이용하여 바이오마커의 발현 지표를 출력하는 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 제2 기계학습 모델이 복수의 일부 영상을 이용하여 복수의 일부 영상 각각에 대한 특징을 출력하는 예시를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 제3 기계학습 모델이 바이오마커 발현 지표를 이용하여 조직 채취와 연관된 정보를 출력하는 예시를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 제3 기계학습 모델이 바이오마커 발현 지표 및 조직 채취에 대한 기준 정보를 이용하여 조직 채취의 우선순위에 대한 정보를 출력하는 예시를 나타내는 도면이다.
도 15는 본 개시의 일 실시예에 따른 바이오마커 발현에 대한 예측 작업을 수행하는 예시적인 시스템 구성도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만, '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면, '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
본 개시에서, '시스템'은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.
본 개시에서, '기계학습 모델'은 주어진 입력에 대한 해답(answer)을 추론하는데 사용하는 임의의 모델을 포함할 수 있다. 일 실시예에 따르면, 기계학습 모델은 입력 레이어(층), 복수 개의 은닉 레이어 및 출력 레이어를 포함한 인공신경망 모델을 포함할 수 있다. 여기서, 각 레이어는 복수의 노드를 포함할 수 있다. 본 개시에서, 제1 기계학습 모델, 제2 기계학습 모델, 제3 기계학습 모델 등 복수의 기계학습 모델을 별도의 기계학습 모델로서 설명하나, 이에 한정되지 않으며, 복수의 기계학습 모델의 일부 또는 전체는 하나의 기계학습 모델로 구현될 수 있다. 또한, 본 개시에서, 기계학습 모델은 인공신경망 모델을 지칭할 수 있으며, 인공신경망 모델은 기계학습 모델을 지칭할 수 있다.
본 개시에서, '디스플레이'는 컴퓨팅 장치와 연관된 임의의 디스플레이 장치를 지칭할 수 있는데, 예를 들어, 컴퓨팅 장치에 의해 제어되거나 컴퓨팅 장치로부터 제공된 임의의 정보/데이터를 표시할 수 있는 임의의 디스플레이 장치를 지칭할 수 있다.
본 개시에서, '복수의 A의 각각' 또는 '복수의 A 각각'은 복수의 A에 포함된 모든 구성 요소의 각각을 지칭하거나, 복수의 A에 포함된 일부 구성 요소의 각각을 지칭할 수 있다.
본 개시에서, '바이오마커'는 단백질이나 DNA, RNA, 대사물질 등을 이용해 신체 내 변화를 알아낼 수 있는 지표를 지칭하는 것으로서, 예를 들어, PD-L1, EGFR, DCIS, ALK, ER, HER2, VEGF 등을 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 바이오마커는 미리 설정된 바이오마커일 수 있고, 임의의 기계학습 모델에 의해 선택 또는 설정되는 바이오마커일 수 있다. 또한, '바이오마커의 발현 지표'는 각 병변에 대한 바이오마커의 발현 정도 및/또는 발현 가능성 등을 예측한 지표를 수치로 나타내는 것으로서, 바이오마커의 발현량, 발현도 등의 형태로 출력될 수 있다.
본 개시에서, '의료 영상'은 의료 분야와 연관된 임의의 이미지, 영상 등을 지칭할 수 있다. 또한, 의료 영상은 환자의 적어도 신체의 일부를 촬영한 이미지 또는 영상을 지칭할 수 있는데, 예를 들어, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET(Position Emission Tomography), SPECT(Single Photon Emission CT), DBT(Digital Breast Tomosynthesis) 등의 형태로 촬영된 2D 영상, 3D 영상, 합성 영상 등을 포함할 수 있다.
본 개시에서, '크롭(crop)'은 이미지, 영상 등의 적어도 일부 영역을 잘라내어 선택함으로써, 일부 이미지 또는 영상을 생성하는 작업을 지칭할 수 있다. 또한, 크롭은, 컴퓨터 그래픽에서, 가로와 세로의 비례를 바꾸거나 특정 영역을 돋보이게 하거나 윤곽을 개선하기 위하여, 컴퓨터 그래픽의 바깥 부분을 제거하는 작업을 지칭할 수 있다. 예를 들어, 크롭은 2D 컴퓨터 그래픽을 이용한 2D 크롭, 3D 컴퓨터 그래픽을 이용한 3D 크롭 등을 포함할 수 있다.
본 개시에서, '인스트럭션(instruction)'이란, 기능을 기준으로 묶인 하나 이상의 명령어들로서, 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 지칭할 수 있다.
도 1은 본 개시의 일 실시예에 따른 바이오마커의 발현 지표를 제공하는 정보 처리 시스템(120)을 나타내는 예시적인 구성도이다. 도시된 바와 같이, 정보 처리 시스템(120)은 사용자 단말(130) 및 저장 시스템(110)의 각각과 연결되어 통신 가능하도록 구성될 수 있다. 도 1에서는 하나의 사용자 단말(130)이 도시되어 있으나, 이에 한정되지 않으며, 복수의 사용자 단말(130)이 정보 처리 시스템(120)과 연결되어 통신되도록 구성될 수 있다. 또한, 도 1에서는 정보 처리 시스템(120)이 하나의 컴퓨팅 장치로서 도시되어 있으나, 이에 한정되지 않으며, 정보 처리 시스템(120)은 복수의 컴퓨팅 장치를 통해 정보 및/또는 데이터를 분산 처리하도록 구성될 수 있다. 또한, 도 1에서는 저장 시스템(110)이 하나의 장치로서 도시되어 있으나, 이에 한정되지 않으며, 복수의 저장 장치로 구성되거나 클라우드(cloud)를 지원하는 시스템으로 구성될 수 있다. 또한, 도 1에서는 바이오마커의 발현 지표를 제공하는 시스템의 각각의 구성요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로, 복수의 구성 요소가 실제 물리적 환경에서 서로 통합되는 형태로 구현될 수 있다.
정보 처리 시스템(120) 및/또는 사용자 단말(130)은 의료 영상에 포함된 바이오마커의 발현 지표에 대한 정보를 제공하는데 이용되는 임의의 컴퓨팅 장치이다. 여기서 컴퓨팅 장치는, 컴퓨팅 기능이 구비된 임의의 종류의 장치를 지칭할 수 있으며, 예를 들어, 노트북, 데스크톱(desktop), 랩탑(laptop), 테블릿 컴퓨터(tablet computer), 서버, 클라우드 시스템 등이 될 수 있으나, 이에 한정되지 않는다. 정보 처리 시스템(120)은 의료 영상(150)을 사용자 단말(130)의 디스플레이 장치에 출력하여 사용자(140)에게 제공할 수 있다. 이 경우, 정보 처리 시스템(120)은 사용자 단말(130)을 통해 의료 영상(150)에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표(160_1, 160_2, 160_3)를 포함하는 영상을 사용자(140)에게 제공할 수 있다.
일 실시예에 따르면, 정보 처리 시스템(120)은 의료 영상(150)을 수신할 수 있다. 여기서, 의료 영상(150)은 의료 분야와 연관된 임의의 이미지, 영상 등을 지칭할 수 있으며, 예를 들어, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET(Position Emission Tomography), SPECT(Single Photon Emission CT), DBT(Digital Breast Tomosynthesis) 등의 2D 영상, 3D 영상, 합성 영상 등을 포함할 수 있다. 이와 같은 의료 영상(150)은 정보 처리 시스템(120)과 연관된 장치에 의해 직접 촬영되거나, 외부 시스템(예를 들어, 사용자 단말(130), 저장 시스템(110) 등)으로부터 수신될 수도 있다.
그리고 나서, 정보 처리 시스템(120)은 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다. 예를 들어, 정보 처리 시스템(120)은 세 가지 병변에 대한 특정 바이오마커의 발현 지표(160_1, 160_2, 160_3)를 예측할 수 있다. 다른 예에서, 정보 처리 시스템(120)은 적어도 하나의 병변에 대한 복수의 바이오마커 각각의 발현 지표를 예측할 수도 있다. 여기서, 바이오마커는 단백질이나 DNA, RNA, 대사물질 등을 이용해 신체 내 변화를 알아낼 수 있는 지표를 지칭하는 것으로서, 예를 들어, PD-L1, EGFR, DCIS, ALK, ER, HER2, VEGF 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 바이오마커의 발현 지표(160_1, 160_2, 160_3)는 각 병변에 대한 바이오마커의 발현 정도 및/또는 발현 가능성 등을 나타내는 것으로서, 바이오마커의 발현량, 발현도 등의 형태로 출력될 수 있다.
의료 영상(150)에 포함된 병변에 대한 바이오마커의 발현 지표(160_1, 160_2, 160_3)를 출력하기 위해, 정보 처리 시스템(120)은 먼저 의료 영상(150)으로부터 적어도 하나의 병변에 대한 영역을 추출할 수 있다. 이 경우, 의료 영상(150)으로부터 병변에 대한 영역을 추출하기 위한 임의의 알고리즘 및/또는 임의의 기계학습 모델이 사용될 수 있다. 추가적으로 또는 대안적으로, 정보 처리 시스템(120)은 병변에 대한 영역이 결정된 의료 영상(150)을 수신할 수도 있다.
일 실시예에 따르면, 사용자(140)는 사용자 단말(130)을 통해 출력된 바이오마커의 발현 지표(160_1, 160_2, 160_3)를 이용하여 조직 채취(생검; biopsy)를 수행할 병변을 결정할 수 있다. 예를 들어, 사용자(140)는 의료 영상(150)에 포함된 다양한 병변 중 바이오마커의 발현 가능성이 높은 하나의 병변을 선택하여 조직 채취를 수행할 수 있다. 추가적으로 또는 대안적으로, 정보 처리 시스템(120)은 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력할 수 있다. 이 경우, 사용자(140)는 조직 채취의 우선순위가 가장 높은 하나의 병변을 선택하여 조직 채취를 수행할 수도 있다. 이와 같은 구성에 의해, 사용자(140)는 의료 영상(150)에 포함된 적어도 하나의 병변의 바이오마커의 발현 가능성을 확인하고, 조직 채취를 수행할 최적의 병변을 결정할 수 있다.
저장 시스템(110)은 의료 영상(150)에 포함된 병변에 대한 바이오마커의 발현 지표(160_1, 160_2, 160_3)를 제공하기 위한 기계학습 모델과 연관된 각종 데이터를 저장하고 관리하는 장치 또는 클라우드 시스템이다. 데이터의 효율적인 관리를 위해, 저장 시스템(110)은, 데이터베이스를 이용하여 각종 데이터를 저장하고 관리할 수 있다. 여기서, 각종 데이터는 기계학습 모델과 연관된 임의의 데이터를 포함할 수 있으며, 예를 들어, 환자의 의료 영상, 특정 병변에 대한 바이오마커의 발현 지표가 출력된 의료 영상, 다른 시점의 의료 영상, 다른 병변에 대한 바이오마커의 발현 지표가 출력된 의료 영상, 바이오마커에 대한 정보, 환자 정보, 세그멘테이션 정보, 병변 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. 도 1에서는 정보 처리 시스템(120)과 저장 시스템(110)이 별도의 시스템으로 도시되어 있으나, 이에 한정되지 않으며, 하나의 시스템으로 통합되어 구성될 수 있다.
도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템(120)의 내부 구성을 나타내는 블록도이다. 정보 처리 시스템(120)은 메모리(210), 프로세서(220), 통신 모듈(230) 및 입출력 인터페이스(240)를 포함할 수 있다. 도 2에 도시된 바와 같이, 정보 처리 시스템(120)은 통신 모듈(230)을 이용하여 네트워크를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다.
메모리(210)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(210)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 정보 처리 시스템(120)에 포함될 수 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 정보 처리 시스템(120)에 설치되어 구동되는 바이오마커의 발현 지표 출력, 조직 채취와 연관된 정보의 출력 등을 위한 코드)가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 이러한 정보 처리 시스템(120)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(230)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 바이오마커의 발현 지표 출력, 조직 채취와 연관된 정보의 출력 등을 위한 프로그램 등)에 기반하여 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 사용자 단말(미도시) 또는 다른 외부 시스템으로 제공될 수 있다. 예를 들어, 프로세서(220)는 의료 영상을 수신하고, 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다. 이 경우, 프로세서(220)는 수신된 의료 영상으로부터 적어도 하나의 병변에 대한 영역을 추출하고, 의료 영상 중에서, 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성할 수 있다. 그리고 나서, 프로세서(220)는 생성된 일부 영상을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다.
통신 모듈(230)은 네트워크를 통해 사용자 단말(미도시)과 정보 처리 시스템(120)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 정보 처리 시스템(120)이 외부 시스템(일례로 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 정보 처리 시스템(120)의 프로세서(220)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(230)과 네트워크를 거쳐 사용자 단말 및/또는 외부 시스템의 통신 모듈을 통해 사용자 단말 및/또는 외부 시스템으로 전송될 수 있다. 예를 들어, 사용자 단말 및/또는 외부 시스템은 정보 처리 시스템(120)으로부터 결정된 바이오마커의 발현 지표에 대한 정보 등을 전달받을 수 있다.
또한, 정보 처리 시스템(120)의 입출력 인터페이스(240)는 정보 처리 시스템(120)과 연결되거나 정보 처리 시스템(120)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 2에서는 입출력 인터페이스(240)가 프로세서(220)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(240)가 프로세서(220)에 포함되도록 구성될 수 있다. 정보 처리 시스템(120)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다.
정보 처리 시스템(120)의 프로세서(220)는 복수의 사용자 단말 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 일 실시예에 따르면, 프로세서(220)는 사용자 단말 및/또는 외부 시스템으로부터 의료 영상을 수신할 수도 있다. 이 경우, 프로세서(220)는 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다.
도 3은 본 개시의 일 실시예에 따른 프로세서(220)의 내부 구성을 나타내는 기능적인 블록도이다. 도시된 바와 같이, 프로세서(220)는 전처리기(310), 병변 검출기(320), 병변 분석기(330), 조직 채취 분석기(340) 등을 포함할 수 있다. 이 경우, 프로세서(220)는 의료 영상을 포함하는 데이터베이스 및/또는 외부 장치(예를 들어, 사용자 단말 또는 외부 시스템 등)와 통신하며, 바이오마커 발현 예측에 필요한 의료 영상을 수신할 수 있다.
전처리기(310)는 수신된 의료 영상에 대한 전처리(preprocessing)를 수행할 수 있다. 일 실시예에 따르면, 전처리기(310)는 의료 영상을 수신하고, 획득된 영상을 특정 차원의 영상으로 구축할 수 있다. 예를 들어, 전처리기(310)는 2차원 의료 영상을 3차원 의료 영상으로 구축 및/또는 변경하거나, 3차원 의료 영상을 2차원 의료 영상으로 구축 및/또는 변경할 수 있다. 또한, 전처리기(310)는 수신된 의료 영상 내의 하나의 픽셀(pixel)의 길이가 미리 지정된 길이가 되도록 리샘플링(resampling)할 수도 있다. 즉, 전처리기(310)는 병변 검출 및/또는 병변 분석에 적합한 형태로 수신된 의료 영상에 대한 전처리를 수행할 수 있다.
병변 검출기(320)는 수신되거나 입력된 의료 영상을 기초로, 해당 의료 영상에 포함된 적어도 하나의 병변에 대한 영역을 추출할 수 있다. 여기서, 병변에 대한 영역은 의료 영상 내에서 병변이 존재하는 것으로 판정된 병변의 위치 또는 크기 중 적어도 하나를 포함할 수 있다. 예를 들어, 병변 검출기(320)는 의료 영상 내의 병변, 병변이 존재할 가능성, 예측되는 병변의 위치 및 크기 등을 추출하도록, 미리 결정된 알고리즘 및/또는 기계학습 모델 (예: 인공신경망 모델 중 RNN, CNN, FCNN 등)을 이용하여 병변에 대한 영역을 추출할 수 있다. 추가적으로 또는 대안적으로, 병변의 위치 및 크기 중 적어도 하나는 사용자에 의해 선택 또는 입력될 수 있고, 병변 검출기(320)가 검출한 병변의 위치 및 크기 중 적어도 하나가 사용자에 의해 수정될 수도 있다.
일 실시예에 따르면, 프로세서(220)는 수신된 의료 영상으로부터 적어도 하나의 병변에 대한 영역을 추출하고, 의료 영상 중에서, 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성할 수 있다. 나아가, 프로세서(220)는 수신된 의료 영상의 크기 및 생성된 일부 영상의 크기를 미리 결정된 크기로 조절하고, 조절된 의료 영상 및 조절된 일부 영상을 연결(concatenate)함으로써, 연결된 영상을 생성할 수도 있다. 이와 같이, 생성된 의료 영상, 일부 영상 및/또는 연결된 영상은 바이오마커의 발현 지표를 추출하기 위해 사용될 수 있다.
병변 분석기(330)는 2D 영상, 3D 영상 등의 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다. 병변 분석기(330)는 미리 결정된 알고리즘, 기계학습 모델(예: 인공신경망 모델 중 RNN, CNN, FCNN 등) 등을 이용하여 바이오마커의 발현 지표를 출력할 수 있다. 일 실시예에서, 병변 분석기(330)는 제1 기계학습 모델에 해당할 수 있다. 일 실시예에 따르면, 병변 분석기(330)는 의료 영상, 일부 영상 및/또는 연결된 영상을 기초로 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 예측하고 출력할 수 있다.
학습의 측면에서, 병변 분석기(330)는 다양한 데이터 및 방식으로, 병변에서의 특정 바이오마커의 발현과 관련된 예측을 위해 학습될 수 있다. 예를 들어, 병변 분석기(330)는 특정 영상(2D 영상, 3D 영상 등)에서 확인된 바이오마커의 실제 발현도를 이용하여 학습될 수 있다. 여기서, 바이오마커의 실제 발현도는 조직 채취 등과 같은 임상적 방법으로 확인된 발현도를 의미할 수 있다. 일 실시예에 따르면, 3D 의료 영상은 2D 의료 영상에 비해 수가 제한적일 수 있으므로, 데이터 수집이 어려울 수 있다. 이 경우, 프로세서(220)는 2D axial 영상을 2D CNN 모델에 입력하여, 모델을 학습시키고, 학습된 모델의 파라미터를 3D 파라미터로 확장(dilate)시킬 수 있다. 이와 같은 구성에 의해, 프로세서(220)는 3D 영상 데이터를 미세조정(fine-tune)해서, 2D 영상 학습을 통해 얻은 지식을 활용한 3D 영상 모델을 생성할 수 있다.
일 실시예에 따르면, 병변 분석기(330)는 의료 영상 및 적어도 하나의 추가 정보를 이용하여 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 예측하고 출력할 수 있다. 예를 들어, 병변 분석기(330)는 의료 영상에 포함된 적어도 하나의 병변의 세그멘테이션 정보를 결정하고, 해당 세그멘테이션 정보를 이용하여 바이오마커의 발현 지표를 예측할 수 있다. 다른 예에서, 병변 분석기(330)는 의료 영상과 연관된 환자 정보를 획득하고, 해당 환자 정보를 이용하여 바이오마커의 발현 지표를 예측할 수 있다. 또 다른 예에서, 병변 분석기(330)는 적어도 하나의 병변을 나타내는 병변 정보를 획득하고, 해당 병변 정보를 이용하여 바이오마커의 발현 지표를 예측할 수 있다. 이 경우, 병변 분석기(330)는 벡터 형태로 인코딩된 세그멘테이션 정보, 환자 정보, 병변 정보 등을 바이오마커의 발현 지표를 예측하기 위한 추가 정보로서 사용할 수 있다.
추가적으로 또는 대안적으로, 병변 분석기(330)는 의료 영상(예: 제1 의료 영상)과 상이한 시점에 촬영된 다른 의료 영상(예: 제2 의료 영상)을 수신하고, 다른 의료 영상을 이용하여 바이오마커의 발현 지표를 예측할 수 있다. 예를 들어, 병변 분석기(330)는 의료 영상 및 다른 의료 영상에서 병변에 대한 영역을 추출하고, 각 영상에서의 동일한 병변을 구분할 수 있다. 그리고 나서, 병변 분석기(330)는 동일한 것으로 구분된 병변들의 변화를 기초로 바이오마커의 발현 지표를 예측할 수 있다.
추가적으로 또는 대안적으로, 병변 분석기(330)는 의료 영상에 포함된 하나의 병변에 대하여 추출된 실제 바이오마커의 발현 지표를 기초로 해당 의료 영상에 포함된 다른 병변들에 대한 바이오마커의 발현 지표를 예측하고 출력할 수 있다. 다시 말해, 병변 분석기(330)는 의료 영상 내의 적어도 하나의 병변과 상이한 병변의 바이오마커의 발현 지표를 획득하고, 획득된 상이한 병변의 바이오마커의 발현 지표 및 생성된 일부 영상을 이용하여 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다.
일 실시예에 따르면, 프로세서(220)는 수신된 의료 영상으로부터 복수의 병변에 대한 영역을 추출하고, 추출된 복수의 병변에 대한 영역을 크롭함으로써, 복수의 일부 영상을 생성할 수 있다. 이 경우, 프로세서(220)는 생성된 복수의 일부 영상을 제2 기계학습 모델에 입력하여, 복수의 일부 영상의 각각에 대한 특징을 출력할 수 있다. 여기서, 제2 기계학습 모델은 임의의 기계학습 모델(예: 인공신경망 모델 중 RNN, CNN, FCNN 등)로 구현된 특징 추출 모델(feature extraction model)을 포함할 수 있다. 이와 같이 출력된 복수의 일부 영상의 각각에 대한 특징은 복수의 병변의 각각에 대한 바이오마커의 발현 지표를 예측하거나 출력하기 위해 사용될 수 있다. 추가적으로 또는 대안적으로, 제2 기계학습 모델은 일부 영상뿐만 아니라, 전체 의료 영상을 수신하도록 구성될 수 있다. 이 경우, 의료 영상에 대한 환자의 전체적인 상태를 인코딩(encoding)함으로써, 환자의 병변에 특정 바이오마커의 발현 지표를 예측하는데 있어, 의료 영상에 포함된 환자의 전체적인 상태를 고려할 수 있다.
조직 채취 분석기(340)는 출력된 바이오마커의 발현 지표를 이용하여 적어도 하나의 병변에 대한 조직 채취와 연관된 정보를 출력할 수 있다. 조직 채취 분석기(340)는 미리 결정된 알고리즘, 기계학습 모델(예: 인공신경망 모델 중 RNN, CNN, FCNN 등) 등을 이용하여 조직 채취와 연관된 정보를 출력할 수 있으며, 예를 들어, 조직 채취 분석기(340)는 제3 기계학습 모델에 해당할 수 있다. 또한, 조직 채취와 연관된 정보는 병변에 대한 조직 채취 위치 및 크기, 조직 채취 우선순위, 조직 채취 방법 등을 포함할 수 있다. 예를 들어, 조직 채취 방법은 환부로 바늘을 찔러 세포를 확보하는 경피적 침 생검(percutaneous needle biopsy)과 환부를 절개하여 직접 조직을 채취하는 개방 생검(open biopsy) 등을 포함할 수 있으며, 이 경우, 조직 채취 분석기(340)는 병변의 위치 및 크기에 따라 특정 생검의 적합성을 나타내는 정보 등을 출력할 수 있다.
의료 영상에 포함된 적어도 하나의 병변은, 의료 영상에 포함된 복수의 병변을 포함할 수 있으며, 이 경우, 조직 채취 분석기(340)는 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력할 수 있다. 예를 들어, 조직 채취의 우선순위에 대한 정보는 복수의 병변 중 바이오마커 발현 지표 등을 기초로 결정된, 조직 채취에 적합한 각 병변의 순위를 포함할 수 있다. 일 실시예에 따르면, 조직 채취 분석기(340)는 의료 영상과 연관된 조직 채취에 대한 기준 정보를 획득하고, 출력된 바이오마커의 발현 지표 및 획득된 조직 채취에 대한 기준 정보를 이용하여 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력할 수 있다. 여기서, 조직 채취에 대한 기준 정보는, 바이오마커 발현 지표 등과 함께 조직 채취의 적합성을 결정하기 위해 사용될 수 있는 임의의 정보로서, 환자의 기저 병력, 시술의 위험성(ex. 병변 주위에 대혈관 및 주요 장기가 위치해 있는지), 병변의 위치(ex. 병변이 경피적 (Percutaneous) 접근이 가능한 위치에 있는지), 병변의 크기(ex. 병변의 크기가 샘플 채취 가능한 크기(ex. 1cm 이상)인지) 등에 대한 정보를 포함할 수 있다.
도 3에서는 프로세서(220)의 구성을 각각의 기능별로 구분하여 설명하였으나, 반드시 물리적으로 구분되는 것을 의미하지 않는다. 예를 들어, 병변 검출기(320)와 병변 분석기(330)는 구분되어 상술되었으나, 이는 발명의 이해를 돕기 위한 것으로서, 이에 한정되지 않는다. 예를 들어, 병변 검출기(320), 병변 분석기(330) 및 조직 채취 분석기(340)는 하나의 인공신경망 모델을 통해 구현되거나, 상이한 복수의 인공신경망 모델을 통해 구현될 수 있다. 이와 같은 구성에 의해, 프로세서(220)는 각 병변에 대한 영역 및 바이오마커의 발현 지표 등을 예측하고, 예측된 각 병변에 대한 영역의 바이오마커 발현 지표, 조직 채취에 대한 기준 정보 등을 이용하여 조직 채취를 수행하기에 가장 적합한 병변을 간단히 결정할 수 있다. 또한, 이와 같이 결정된 병변에 대한 정보를 제공받은 의사가 환자에 대해 조직 채취를 수행하는 경우, 불필요한 조직 채취 과정을 제거함으로써, 환자가 느낄 수 있는 불편함을 없앨 수 있으며, 환자의 생존 확률에 중대한 영향을 미치지 않을 수 있다.
도 4는 본 개시의 일 실시예에 따른 의료 영상으로부터 바이오마커 발현을 예측하는 방법(400)을 나타내는 흐름도이다. 일 실시예에 따르면, 바이오마커 발현을 예측하는 방법(400)은 프로세서(예를 들어, 사용자 단말의 프로세서 및/또는 정보 처리 시스템의 적어도 하나의 프로세서)에 의해 수행될 수 있다. 도시된 바와 같이, 바이오마커 발현을 예측하는 방법(400)은 프로세서가 의료 영상을 수신함으로써 개시될 수 있다(S410). 예를 들어, 프로세서는 정보 처리 시스템과 연관된 임의의 장치를 이용하여 의료 영상을 직접 촬영하거나, 외부 장치(예를 들어, 사용자 단말 또는 데이터베이스)으로부터 의료 영상을 수신할 수 있다.
프로세서는 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다(S420). 일 실시예에 따르면, 프로세서는 수신된 의료 영상으로부터 적어도 하나의 병변에 대한 영역을 추출할 수 있다. 여기서, 병변에 대한 영역은 병변의 위치 및 크기 중 적어도 하나를 포함할 수 있다. 그리고 나서, 프로세서는 의료 영상 중에서, 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성할 수 있다. 또한, 프로세서는 생성된 일부 영상을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다.
일 실시예에 따르면, 프로세서는 수신된 의료 영상 및 생성된 일부 영상을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 수신된 의료 영상의 크기 및 생성된 일부 영상의 크기를 미리 결정된 크기로 조절하고, 조절된 의료 영상 및 조절된 일부 영상을 연결함으로써, 연결된 영상을 생성할 수 있다. 그리고 나서, 프로세서는 연결된 영상을 제1 기계학습 모델에 입력하여 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수도 있다.
도 5는 본 개시의 일 실시예에 따른 병변에 대한 영역이 표시된 의료 영상(520)을 생성하는 예시를 나타내는 도면이다. 상술된 바와 같이, 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서 등)는 특정 환자와 연관된 의료 영상(510)을 수신할 수 있다. 도시된 예에서, 의료 영상(510)은 환자와 연관된 CT 영상인 것으로 도시되었으나, 이에 한정되지 않으며, 환자와 연관된 임의의 영상, 예를 들어, MRI, PET, SPECT, DBT 등의 2D 영상, 3D 영상, 합성 영상 등을 포함할 수도 있다.
일 실시예에 따르면, 프로세서는 의료 영상(510)으로부터 병변에 대한 영역을 추출하여 병변에 대한 영역이 표시된 의료 영상(520)을 생성할 수 있다. 예를 들어, 프로세서는 병변 검출기에 의료 영상(510)을 입력하여 병변에 대한 영역을 검출하고, 검출된 병변에 대한 영역이 표시된 의료 영상(520)을 생성할 수 있다. 여기서, 병변에 대한 영역은 병변의 위치, 크기 등을 포함할 수 있다.
도 5에서는 의료 영상(520)에서 병변에 대한 영역이 사각형의 박스 형태로 표시되는 것으로 도시되었으나, 이에 한정되지 않으며, 임의의 다각형의 형태, 병변의 외곽선의 형태 등으로 표시될 수도 있다. 또한, 도 5에서는 의료 영상(520) 내에 병변에 대한 영역이 표시되는 것으로 도시되었으나, 이에 한정되지 않으며, 프로세서는 수신된 의료 영상(510)으로부터 적어도 하나의 병변에 대한 영역을 추출하고, 의료 영상(510) 중에서, 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성하여, 디스플레이 장치 상에 출력할 수도 있다. 또한, 도 5에서는 도시되지 않았으나, 의료 영상(520)은 병변에 대한 영역뿐만 아니라, 병변에 대한 정보 등이 표시될 수 있다.
도 6은 본 개시의 일 실시예에 따른 바이오마커의 발현 지표가 표시된 영상을 생성하는 예시를 나타내는 도면이다. 도 6에 도시된 바와 같이, 의료 영상으로부터 검출된 병변에 대한 영역의 각각에 대하여 바이오마커의 발현 지표가 출력될 수 있다. 일 실시예에 따르면, 프로세서는 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다. 예를 들어, 제1 기계학습 모델은 의료 영상에 포함된 적어도 하나의 병변에 대한 특정 바이오마커의 발현 지표를 출력하도록 구성될 수 있다. 여기서, 특정 바이오마커는 하나 이상의 바이오마커일 수 있다. 그리고 나서, 출력된 바이오마커의 발현 지표가 표시된 영상(610)이 출력되거나 표시될 수 있다.
상술된 바와 같이, 바이오마커는 단백질이나 DNA, RNA, 대사물질 등을 이용해 신체 내 변화를 알아낼 수 있는 지표를 지칭할 수 있다. 즉, 바이오마커는 질병마다 상이할 수 있으며, 동일한 질병이라도 서로 다른 복수의 바이오마커가 존재할 수 있다. 이 경우, 의료 영상에서 추출되는 바이오마커는 사용자에 의해 선택되거나, 검출된 병변에 대한 영역을 기초로 결정 또는 특정될 수 있다. 다시 말해, 프로세서는 특정된 바이오마커에 대한 발현 지표를 예측하고 출력할 수 있다.
도 6에서는 각 병변에 대한 바이오마커의 발현 지표가 퍼센트(%)의 형태로 출력되는 것으로 도시되었으나, 이에 한정되지 않으며, 점수(score)의 형태로 출력될 수도 있다. 또한, 도 6에서는 바이오마커의 발현 지표만이 표시되는 것으로 도시되었으나, 이에 한정되지 않으며, 해당 바이오마커와 관련된 정보(예를 들어, 해당 바이오마커와 연관된 질병의 명칭, 해당 바이오마커의 명칭 등)가 바이오마커의 발현 지표와 함께 출력될 수도 있다. 이와 같은 구성에 의해, 사용자는 출력된 바이오마커의 발현 지표를 확인하고, 바이오마커의 발현 가능성이 가장 높은 병변부터 조직 채취하여 조직 채취에 대한 환자의 부담을 최소화할 수 있다.
도 7은 본 개시의 일 실시예에 따른 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상(710)을 수신하여 제1 의료 영상의 바이오마커의 발현 지표를 출력하는 예시를 나타내는 도면이다. 상술된 바와 같이, 프로세서는 의료 영상을 수신하고, 바이오마커의 발현 지표를 출력할 수 있다. 이 경우, 프로세서는 제1 의료 영상(예를 들어, 도 5의 510)과 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상(710)을 수신하고, 바이오마커의 발현 지표를 출력할 수 있다. 여기서, 제1 의료 영상 및 제2 의료 영상은 동일한 환자의 동일 또는 유사한 신체 부위를 촬영하여 획득된 영상에 해당할 수 있다.
일 실시예에 따르면, 프로세서는 제1 의료 영상 및 제2 의료 영상(710)의 각각으로부터 적어도 하나의 병변에 대한 영역을 추출할 수 있다. 그리고 나서, 제1 의료 영상으로부터 추출된 적어도 하나의 병변에 대한 영역과 제2 의료 영상(710)으로부터 추출된 적어도 하나의 병변에 대한 영역을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다.
이를 위해, 프로세서는 제2 의료 영상(710)에서 병변에 대한 영역을 추출하고, 추출된 병변에 대한 영역에 대한 바이오마커의 발현 지표를 예측하고, 예측된 바이오마커의 발현 지표가 표시된 영상(720)을 디스플레이 장치 등에 출력할 수 있다. 다른 예에서, 프로세서는 제2 의료 영상(710)에 대하여 미리 예측된 각 병변에 대한 바이오마커의 발현 지표를 외부 시스템 등으로부터 수신할 수도 있다.
그리고 나서, 프로세서는 제1 의료 영상뿐만 아니라, 제2 의료 영상(710)으로부터 예측된 바이오마커의 발현 지표에 대한 정보를 더 이용하여, 제1 의료 영상 내의 바이오마커의 발현 지표를 예측할 수 있다. 프로세서는 이렇게 예측된 제1 의료 영상 내의 바이오마커의 발현 지표가 표시된 영상(730)을 디스플레이 장치 등에 출력하거나 표시할 수 있다. 이와 같이, 제1 의료 영상 및 제2 의료 영상(710)을 모두 이용하여 예측된 바이오마커의 발현 지표는 제1 의료 영상만을 이용하여 예측된 바이오마커의 발현 지표와 상이할 수 있다.
도 7에서는 각 병변에 대한 바이오마커의 발현 지표가 퍼센트(%)의 형태로 출력되는 것으로 도시되었으나, 이에 한정되지 않으며, 점수(score)의 형태로 출력될 수도 있다. 또한, 도 7에서는 바이오마커의 발현 지표만이 표시되는 것으로 도시되었으나, 이에 한정되지 않으며, 해당 바이오마커와 연관된 정보(예를 들어, 질병의 명칭, 해당 바이오마커의 명칭 등)가 바이오마커의 발현 지표와 함께 출력될 수도 있다. 이와 같은 구성에 의해, 프로세서는 제1 의료 영상뿐만 아니라 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상을 이용하여, 제1 의료 영상 내의 바이오마커의 발현 지표를 예측함으로써, 병변의 특정 바이오마커의 발현 지표를 더욱 정확히 예측할 수 있다.
도 8은 본 개시의 일 실시예에 따른 다른 병변의 바이오마커 발현 지표를 이용하여 특정 병변의 바이오마커 발현 지표를 예측하는 예시를 나타내는 도면이다. 일 실시예에 따르면, 프로세서는 의료 영상 내의 적어도 하나의 병변과 상이한 병변의 바이오마커의 발현 지표를 획득할 수 있다. 여기서, 상이한 병변의 바이오마커는 의료 영상 내의 적어도 하나의 병변의 바이오마커와 동일하거나 상이할 수 있다. 예를 들어, 의료 영상 내의 적어도 하나의 병변의 바이오마커가 PD-L1인 경우, 상이한 병변의 바이오마커는 PD-L1, EGFR, DCIS, ALK 등에 해당할 수 있다.
일 실시예에 따르면, 상이한 병변의 바이오마커의 발현 지표가 표시된 영상(810)이 디스플레이 장치 등에 출력될 수 있다. 이 경우, 프로세서는 획득된 상이한 병변의 바이오마커의 발현 지표 및 의료 영상에 포함된 병변에 대한 영역을 크롭하여 생성된 일부 영상)을 제1 기계학습 모델에 입력하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다. 여기서, 제1 기계학습 모델은 적어도 하나의 병변에 대한 영역을 포함한 일부 영상 및 상이한 병변의 발현 지표에 대한 정보를 기초로, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 학습될 수 있다. 또한, 상이한 병변의 바이오마커의 발현 지표는 기계학습 모델을 통해 출력된 상이한 병변의 예측된 바이오마커의 발현 지표뿐만 아니라, 실제 조직 채취 등으로 확인된 상이한 병변의 바이오마커의 실제 발현량을 포함할 수 있다.
이러한 방법 하에서, 프로세서는 수신된 의료 영상뿐만 아니라, 상이한 병변의 바이오마커의 발현 지표에 대한 정보를 더 이용하여, 의료 영상 내의 적어도 하나의 병변의 바이오마커의 발현 지표를 예측할 수 있다. 그리고 나서, 프로세서는 예측된 의료 영상 내의 적어도 하나의 병변에 대한 바이오마커의 발현 지표가 표시된 영상(820)을 디스플레이 장치 등에 표시할 수 있다. 이와 같이, 의료 영상 및 상이한 병변의 바이오마커의 발현 지표를 모두 이용하여 예측된 의료 영상 내의 적어도 하나의 바이오마커의 발현 지표는 의료 영상만을 이용하여 예측된 바이오마커의 발현 지표와 상이할 수 있다.
도 8에서는 바이오마커의 발현 지표만이 표시되는 것으로 도시되었으나, 이에 한정되지 않으며, 해당 바이오마커와 연관된 정보(예를 들어, 질병의 명칭, 해당 바이오마커의 명칭 등)가 바이오마커의 발현 지표와 함께 출력될 수도 있다. 이와 같은 구성에 의해, 프로세서는 적어도 하나의 병변과 상이한 병변의 바이오마커의 발현 지표를 이용하여 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 예측함으로써, 더욱 정확한 예측 결과를 출력할 수 있다.
도 9는 본 개시의 일 실시예에 따른 인공신경망 모델(900)을 나타내는 예시도이다. 인공신경망 모델(900)은, 기계학습 모델의 일 예로서, 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다.
일 실시예에 따르면, 인공신경망 모델(900)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 기계학습 모델을 나타낼 수 있다. 예를 들어, 인공신경망 모델(900)은 기계 학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.
일 실시예에 따르면, 상술된 병변 검출기, 병변 분석기 및/또는 조직 채취 분석기가 기계학습 모델의 한 형태로서, 인공신경망 모델(900)의 형태로 생성될 수 있다. 예를 들어, 인공신경망 모델(900)은 의료 영상을 수신하고, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다. 다른 예에서, 프로세서는 인공신경망 모델(900)을 이용하여 수신된 의료 영상으로부터 적어도 하나의 병변에 대한 영역을 추출하고, 의료 영상 중에서, 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성할 수 있다. 또 다른 예에서, 인공신경망 모델(900)은 복수의 일부 영상을 이용하여 복수의 일부 영상의 각각에 대한 특징을 출력하도록 구성될 수 있다. 또 다른 예에서, 인공신경망 모델(900)은 출력된 바이오마커의 발현 지표를 이용하여 적어도 하나의 병변에 대한 조직 채취와 연관된 정보를 출력하도록 구성될 수 있다.
인공신경망 모델(900)은 다층의 노드들과 이들 사이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현된다. 본 실시예에 따른 인공신경망 모델(900)은 MLP를 포함하는 다양한 인공신경망 모델 구조들 중의 하나를 이용하여 구현될 수 있다. 도 9에 도시된 바와 같이, 인공신경망 모델(900)은, 외부로부터 입력 신호 또는 데이터(910)를 수신하는 입력층(920), 입력 데이터에 대응한 출력 신호 또는 데이터(950)를 출력하는 출력층(940), 입력층(920)과 출력층(940) 사이에 위치하며 입력층(920)으로부터 신호를 받아 특성을 추출하여 출력층(940)으로 전달하는 n개(여기서, n은 양의 정수)의 은닉층(930_1 내지 930_n)으로 구성된다. 여기서, 출력층(940)은 은닉층(930_1 내지 930_n)으로부터 신호를 받아 외부로 출력한다.
인공신경망 모델(900)의 학습 방법에는, 교사 신호(정답)의 입력에 의해서 문제의 해결에 최적화되도록 학습하는 지도 학습(Supervised Learning) 방법과, 교사 신호를 필요로 하지 않는 비지도 학습(Unsupervised Learning) 방법이 있다. 정보 처리 시스템은 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 추론하도록 학습된 인공신경망 모델(900)을 지도 학습 및/또는 비지도 학습시킬 수 있다. 이렇게 학습된 인공신경망 모델(900)은 정보 처리 시스템의 메모리(미도시)에 저장될 수 있으며, 통신 모듈 및/또는 메모리로부터 수신된 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력할 수 있다.
일 실시예에 따르면, 인공신경망 모델(900)의 입력변수는, 의료 영상, 일부 영상 및/또는 연결된 영상이 될 수 있다. 추가적으로 또는 대안적으로, 인공신경망 모델(900)의 입력변수는, 세그멘테이션 정보, 환자 정보, 병변 정보 등의 추가 정보 등을 포함할 수 있다. 즉, 상술된 영상, 추가 정보 등을 나타내거나 특징화하는 벡터가 입력층(920)을 통해 입력될 수 있다. 이와 같이 상술된 입력변수가 입력층(920)을 통해 입력되는 경우, 인공신경망 모델(900)의 출력층(940)에서 출력되는 출력변수는 영상 내에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 나타내거나 특징화하는 벡터가 될 수 있다.
이와 같이, 인공신경망 모델(900)의 입력층(920)과 출력층(940)에 복수의 입력변수와 대응되는 복수의 출력변수가 각각 매칭되고, 입력층(920), 은닉층(930_1 내지 930_n) 및 출력층(940)에 포함된 노드들 사이의 시냅스 값이 조정됨으로써, 특정 입력에 대응한 올바른 출력이 추출될 수 있도록 학습될 수 있다. 이러한 학습 과정을 통해, 인공신경망 모델(900)의 입력변수에 숨겨져 있는 특성을 파악할 수 있고, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망 모델(900)의 노드들 사이의 시냅스 값(또는 가중치)를 조정할 수 있다. 이렇게 학습된 인공신경망 모델(900)을 이용하여, 수신된 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표가 출력될 수 있다.
도 10은 본 개시의 일 실시예에 따른 제1 기계학습 모델(1000)이 적어도 하나의 영상(1010)을 이용하여 바이오마커의 발현 지표(1020)를 출력하는 예시를 나타내는 도면이다. 도시된 바와 같이, 제1 기계학습 모델(1000)은 적어도 하나의 영상(1010)에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1020)를 출력할 수 있다. 여기서, 적어도 하나의 영상(1010)은 의료 영상, 의료 영상 중에서, 적어도 하나의 병변에 대한 영역을 크롭함으로써 생성된 일부 영상 및/또는 크기가 조절된 의료 영상 및 일부 영상을 연결함으로써 생성된 연결된 영상을 포함할 수 있다.
일 실시예에 따르면, 제1 기계학습 모델(1000)은 의료 영상을 수신하고, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1020)를 출력할 수 있다. 예를 들어, 제1 기계학습 모델(1000)은 수신된 의료 영상으로부터 적어도 하나의 병변에 대한 영역을 추출하고, 추출된 적어도 하나의 병변에 대한 영역 각각에 대한 바이오마커의 발현 지표를 예측하고 출력할 수 있다. 다른 예에서, 제1 기계학습 모델(1000)은 적어도 하나의 병변에 대한 영역이 추출된 의료 영상을 수신하여, 해당 의료 영상으로부터 적어도 하나의 병변에 대한 영역 각각에 대한 바이오마커의 발현 지표를 예측하고 출력할 수 있다.
다른 실시예에 따르면, 제1 기계학습 모델(1000)은 의료 영상 중에서 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써 생성된 일부 영상을 이용하여 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1020)를 출력할 수 있다. 여기서, 제1 기계학습 모델(1000)은 의료 영상 및 생성된 일부 영상을 이용하여 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1020)를 출력할 수도 있다. 이와 같은 구성에 의해, 제1 기계학습 모델(1000)은 추출된 병변에 대한 영역만을 포함하는 일부 영상을 이용함으로써, 의료 영상에 포함된 병변 이외의 영역에 의한 노이즈(noise) 및/또는 오류를 제거하여 바이오마커의 발현 지표(1020)를 더 정확하게 예측할 수 있다.
또 다른 실시예에 따르면, 제1 기계학습 모델(1000)은 크기가 조절된 의료 영상 및 일부 영상을 연결함으로써 생성된 연결된 영상을 이용하여 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1020)를 출력할 수 있다. 일 실시예에 따르면, 프로세서는 수신된 의료 영상의 크기 및 생성된 일부 영상의 크기를 미리 결정된 크기로 조절하고, 조절된 의료 영상 및 조절된 일부 영상을 연결함으로써, 연결된 영상을 생성할 수 있다. 다시 말해, 프로세서는 제1 기계학습 모델(1000)의 입력으로서 이와 같은 연결된 영상을 수신하고 제1 기계학습 모델(1000)을 통해 바이오마커의 발현 지표(1020)를 출력할 수 있다.
도 11은 본 개시의 일 실시예에 따른 제1 기계학습 모델(1100)이 적어도 하나의 영상(1010) 및 추가 정보(1110)를 이용하여 바이오마커의 발현 지표(1120)를 출력하는 예시를 나타내는 도면이다. 상술된 바와 같이, 프로세서는 제1 기계학습 모델(1100)을 통해 적어도 하나의 영상(1010)에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1120)를 출력할 수 있다. 이 경우, 제1 기계학습 모델(1100)은 적어도 하나의 영상(1010)과 함께 추가 정보(1110)를 이용하여 바이오마커의 발현 지표(1120)를 출력하도록 구성될 수 있다. 여기서, 추가 정보(1110)는 세그멘테이션 정보, 환자 정보 및/또는 병변 정보 등을 포함할 수 있다.
일 실시예에 따르면, 프로세서는 적어도 하나의 병변의 세그멘테이션 정보 및 적어도 하나의 영상(1010)을 제1 기계학습 모델(1100)에 입력하여 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1120)를 출력할 수 있다. 여기서, 세그멘테이션 정보는 Soft tissue, calcification, cavity, ground glass opacity 등과 같이 병변의 형태와 연관된 임의의 정보를 지칭할 수 있다. 즉, 프로세서는 의료 영상을 기초로, 해당 의료 영상에 포함된 적어도 하나의 병변의 세그멘테이션 정보를 예측하거나 결정할 수 있다. 예를 들어, 프로세서는 의료 영상 내의 적어도 하나의 병변의 세그멘테이션을 예측하도록 학습된 기계학습 모델을 이용하여, 적어도 하나의 병변의 세그멘테이션을 예측할 수 있다. 이와 같이 결정된 세그멘테이션 정보는 바이오마커의 발현 지표(1120)를 예측하기 위해 사용될 수 있다.
추가적으로 또는 대안적으로, 프로세서는 의료 영상과 연관된 환자 정보를 획득하고, 획득된 환자 정보 및 적어도 하나의 영상(1010)을 제1 기계학습 모델(1100)에 입력하여 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1120)를 출력할 수 있다. 여기서, 환자 정보는 영상과 연관된 환자의 기본 정보, 진단 정보, 이력 정보 등을 포함할 수 있으며, 예를 들어, 환자의 나이, 성별, 흡연력, 기존 병력, 치료 이력 또는 가족 병력 중 적어도 하나에 대한 정보를 포함할 수 있다. 다시 말해, 이와 같이 획득된 환자 정보는 바이오마커의 발현 지표(1120)를 예측하기 위해 사용될 수 있다.
추가적으로 또는 대안적으로, 프로세서는 의료 영상과 연관된 병변 정보를 획득하고, 획득된 병변 정보 및 적어도 하나의 영상(1010)을 제1 기계학습 모델(1100)에 입력하여 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표(1120)를 출력할 수 있다. 여기서, 병변 정보는 병변과 연관된 임의의 정보로서, 예를 들어, 병변의 크기, 병변의 위치, spliculated, lobulated, calcified, cavity, solid, non-solid, par-solid 등과 같이, 병변의 크기, 위치, 형태 등과 연관된 정보를 포함할 수 있다. 다시 말해, 이와 같이 획득된 병변 정보는 바이오마커의 발현 지표(1120)를 예측하기 위해 사용될 수 있다. 이와 같은 구성에 의해, 프로세서는 제1 기계학습 모델(1100)에 적어도 하나의 영상(1010)뿐만 아니라 적어도 하나의 추가 정보(1110)를 더 입력하여 바이오마커의 발현 지표(1120)를 더 정확하게 예측하고 출력할 수 있다.
도 12는 본 개시의 일 실시예에 따른 제2 기계학습 모델(1200)이 복수의 일부 영상(1210)을 이용하여 복수의 일부 영상 각각에 대한 특징(1220)을 출력하는 예시를 나타내는 도면이다. 상술된 바와 같이, 제2 기계학습 모델(1200)은 특징 추출 모델을 지칭할 수 있다. 즉, 제2 기계학습 모델(1200)은 복수의 일부 영상(1210)에 포함된 각각의 병변에 대한 특징을 추출할 수 있다. 여기서, 병변에 대한 특징은 각각의 병변을 나타내거나 특징화할 수 있는 임의의 정보를 지칭할 수 있는데, 예를 들어, 병변의 위치, 크기, 병변의 형태, 병변의 성질, 병변의 종류 등을 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따르면, 의료 영상에 포함된 적어도 하나의 병변은, 의료 영상에 포함된 복수의 병변을 포함할 수 있다. 이 경우, 프로세서는 수신된 의료 영상으로부터 복수의 병변에 대한 영역을 추출하고, 추출된 복수의 병변에 대한 영역을 크롭함으로써, 복수의 일부 영상(1210)을 생성할 수 있다. 이와 같이 생성된 복수의 일부 영상(1210)은 제2 기계학습 모델(1200)의 입력 데이터로서 사용될 수 있다.
일 실시예에 따르면, 제2 기계학습 모델(1200)은 생성된 복수의 일부 영상을 이용하여, 복수의 일부 영상의 각각에 대한 특징(1220)을 출력할 수 있다. 이 경우, 제2 기계학습 모델(1200)은 복수의 일부 영상의 각각에 대한 특징(1220)을 출력하도록 구성될 수 있다. 이와 같이, 출력된 복수의 일부 영상의 각각에 대한 특징(1220)은 복수의 병변의 각각에 대한 바이오마커의 발현 지표를 출력하기 위한 제1 기계학습 모델(도 10의 1000)의 입력 데이터(1010) 또는 제1 기계학습 모델(도 11의 1100)의 추가 정보(1110)로서 사용될 수 있다. 이와 같은 구성에 의해, 제1 기계학습 모델은 의료 영상뿐만 아니라, 복수의 일부 영상 각각에 대한 특징(1220)을 더 활용하여 바이오마커의 발현 지표를 더 정확하게 예측하고 출력할 수 있다.
도 12에서는 제2 기계학습 모델(1200)이 환자의 복수의 일부 영상(1210)을 입력하여 복수의 일부 영상의 각각에 대한 특징(1220)을 출력하도록 도시되어 있으나, 이에 한정되지 않으며, 프로세서는 복수의 일부 영상(1210)을 포함한 하나의 전체 의료 영상을 제2 기계학습 모델(1200)에 입력하여 복수의 일부 영상의 각각에 대한 특징(1220)을 출력하도록 구성될 수 있다. 이 경우, 전체 의료 영상이 수신되기 때문에, 해당 환자의 전체적인 상태가 인코딩될 수 있으며, 이러한 인코딩된 정보는 복수의 일부의 영상(1210)에 대한 특징(1220)을 출력하는데 있어 사용될 수 있다.
도 13은 본 개시의 일 실시예에 따른 제3 기계학습 모델(1300)이 바이오마커 발현 지표(1310)를 이용하여 조직 채취와 연관된 정보(1320)를 출력하는 예시를 나타내는 도면이다. 도시된 바와 같이, 제3 기계학습 모델(1300)은 바이오마커 발현 지표(1310)를 입력받아 조직 채취와 연관된 정보(1320)를 출력할 수 있다. 즉, 프로세서는 바이오마커 발현 지표(1310)를 추출할 수 있을 뿐만 아니라, 추출된 바이오마커 발현 지표(1310)를 이용하여 조직 채취와 연관된 정보(1320)를 예측하고 출력할 수 있다.
일 실시예에 따르면, 바이오마커 발현 지표(1310)는 상술된 바와 같이, 제1 기계학습 모델이 적어도 하나의 영상, 추가 정보 등을 이용하여 출력한, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표일 수 있다. 추가적으로 또는 대안적으로, 바이오마커 발현 지표(1310)는 사용자에 의해 입력되거나 임의의 외부 시스템으로부터 수신될 수 있다.
일 실시예에 따르면, 제3 기계학습 모델(1300)은 조직 채취와 연관된 정보(1320)를 출력하여 사용자에게 제공할 수 있다. 조직 채취와 연관된 정보(1320)는 사용자가 의료 영상에 포함된 병변에 대해 조직 채취를 수행하는데 필요한 임의의 정보로서, 조직 채취 방법, 조직 채취 위치, 조직 채취의 우선순위에 대한 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. 이와 같은 구성에 의해, 사용자는 출력된 조직 채취와 연관된 정보(1320)를 이용하여 환자의 병변 중 어떤 병변에서 조직 채취를 수행할지 효율적으로 판단할 수 있다.
도 14는 본 개시의 일 실시예에 따른 제3 기계학습 모델(1400)이 바이오마커 발현 지표(1310) 및 조직 채취에 대한 기준 정보(1410)를 이용하여 조직 채취의 우선순위에 대한 정보(1420)를 출력하는 예시를 나타내는 도면이다. 도시된 바와 같이, 제3 기계학습 모델(1400)은 바이오마커 발현 지표(1310) 및 조직 채취에 대한 기준 정보(1410)를 입력받아 조직 채취의 우선순위에 대한 정보(1420)를 출력할 수 있다. 여기서, 조직 채취에 대한 기준 정보(1410)는 환자의 기저 병력, 시술의 위험성, 병변의 접근 용이성, 병변의 경피적 접근 용이성, 조직 채취 시의 예상 피해 정도 및/또는 병변의 크기 등에 대한 정보를 포함할 수 있다. 예를 들어, 조직 채취에 대한 기준 정보(1410)는 병변 주위에 대혈관 및 주요 장기가 위치해 있는지 여부, 병변의 크기가 샘플 채취가 가능한 크기인지 여부, 병변의 크기가 1cm 이상인지 여부 등을 포함할 수 있다.
일 실시예에 따르면, 의료 영상에 포함된 적어도 하나의 병변은, 의료 영상에 포함된 복수의 병변을 포함할 수 있으며, 이 경우, 제3 기계학습 모델(1400)은 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보(1420)를 출력할 수 있다. 여기서, 조직 채취의 우선순위에 대한 정보(1420)는 복수의 병변 중 우선적으로 조직 채취를 수행할 각 병변의 순서, 순위 등에 대한 정보를 포함할 수 있다. 이와 같은 구성에 의해, 사용자는 의료 영상에 포함된 병변 중 어떤 병변을 우선적으로 검사하는 것이 환자의 치료에 도움이 되는지를 간단히 판단할 수 있다.
도 15는 본 개시의 일 실시예에 따른 바이오마커 발현에 대한 예측 작업과 연관된 임의의 컴퓨팅 장치(1500)의 구성도이다. 예를 들어, 컴퓨팅 장치(1500)는 정보 처리 시스템(120) 및/또는 사용자 단말(130)을 포함할 수 있다. 도시된 바와 같이, 컴퓨팅 장치(1500)는 하나 이상의 프로세서(1510), 버스(1530), 통신 인터페이스(1540), 프로세서(1510)에 의해 수행되는 컴퓨터 프로그램(1560)을 로드(load)하는 메모리(1520) 및 컴퓨터 프로그램(1560)을 저장하는 저장 모듈(1550)을 포함할 수 있다. 다만, 도 15에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(1510)는 컴퓨팅 장치(1500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1510)는 본 개시의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(1520)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(1520)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 저장 모듈(1550)로부터 하나 이상의 컴퓨터 프로그램(1560)을 로드할 수 있다. 메모리(1520)는 RAM과 같은 휘발성 메모리로 구현될 수 있으나, 본 개시의 기술적 범위는 이에 한정되지 아니한다.
버스(1530)는 컴퓨팅 장치(1500)의 구성 요소 간 통신 기능을 제공할 수 있다. 버스(1530)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(1540)는 컴퓨팅 장치(1500)의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(1540)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1540)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
저장 모듈(1550)은 하나 이상의 컴퓨터 프로그램(1560)을 비임시적으로 저장할 수 있다. 저장 모듈(1550)은 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(1560)은 메모리(1520)에 로드될 때 프로세서(1510)로 하여금 본 개시의 다양한 실시예들에 따른 동작/방법을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(1510)는 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예들에 따른 동작/방법들을 수행할 수 있다.
예를 들어, 컴퓨터 프로그램(1560)은 의료 영상을 수신하고, 제1 기계학습 모델을 이용하여, 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하기 위한 인스트럭션들을 포함할 수 있다. 이 경우, 컴퓨터 프로그램(1560)은 수신된 의료 영상으로부터 적어도 하나의 병변에 대한 영역을 추출하고, 의료 영상 중에서, 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성하기 위한 인스트럭션들을 포함할 수 있다. 또한, 컴퓨터 프로그램(1560)은 일부 영상을 제1 기계학습 모델에 입력하여, 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하기 위한 인스트럭션들을 포함할 수 있다. 또한, 컴퓨터 프로그램(1560)은 출력된 바이오마커의 발현 지표를 포함한 의료 영상을 생성하고, 생성된 영상을 디스플레이 장치에 출력하거나 표시하기 위한 인스트럭션을 포함할 수 있다.
본 개시의 앞선 설명은 통상의 기술자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 통상의 기술자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에서 첨부된 특허 청구의 범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 적어도 하나의 프로세서에 의해 실행되는, 의료 영상으로부터 바이오마커 발현을 예측하는 방법에 있어서,
    의료 영상을 수신하는 단계; 및
    제1 기계학습 모델을 이용하여, 상기 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계
    를 포함하는, 바이오마커 발현을 예측하는 방법.
  2. 제1항에 있어서,
    상기 바이오마커의 발현 지표를 출력하는 단계는,
    상기 수신된 의료 영상으로부터 상기 적어도 하나의 병변에 대한 영역을 추출하는 단계; 및
    상기 의료 영상 중에서, 상기 추출된 적어도 하나의 병변에 대한 영역을 크롭(crop)함으로써, 일부 영상을 생성하는 단계를 포함하는,
    바이오마커 발현을 예측하는 방법.
  3. 제2항에 있어서,
    상기 바이오마커의 발현 지표를 출력하는 단계는,
    상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 더 포함하는,
    바이오마커 발현을 예측하는 방법.
  4. 제2항에 있어서,
    상기 바이오마커의 발현 지표를 출력하는 단계는,
    상기 수신된 의료 영상 및 상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 더 포함하는,
    바이오마커 발현을 예측하는 방법.
  5. 제2항에 있어서,
    상기 의료 영상에 포함된 적어도 하나의 병변의 세그멘테이션 정보를 결정하는 단계를 더 포함하고,
    상기 바이오마커의 발현 지표를 출력하는 단계는, 상기 결정된 적어도 하나의 병변의 세그멘테이션 정보 및 상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함하는, 바이오마커 발현을 예측하는 방법.
  6. 제2항에 있어서,
    상기 의료 영상 내의 상기 적어도 하나의 병변과 상이한 병변의 바이오마커의 발현 지표를 획득하는 단계를 포함하고,
    상기 바이오마커의 발현 지표를 출력하는 단계는,
    상기 획득된 상이한 병변의 바이오마커의 발현 지표 및 상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함하는,
    바이오마커 발현을 예측하는 방법.
  7. 제1항에 있어서,
    상기 의료 영상을 수신하는 단계는, 제1 의료 영상과 상기 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상을 수신하는 단계를 포함하고,
    상기 바이오마커의 발현 지표를 출력하는 단계는,
    상기 제1 의료 영상 및 상기 제2 의료 영상의 각각으로부터 상기 적어도 하나의 병변에 대한 영역을 추출하는 단계; 및
    상기 제1 의료 영상으로부터 추출된 적어도 하나의 병변에 대한 영역과 상기 제2 의료 영상으로부터 추출된 적어도 하나의 병변에 대한 영역을 상기 제1 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하는 단계를 포함하는,
    바이오마커 발현을 예측하는 방법.
  8. 제1항에 있어서,
    상기 출력된 바이오마커의 발현 지표를 제3 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 조직 채취와 연관된 정보를 출력하는 단계를 더 포함하는,
    바이오마커 발현을 예측하는 방법.
  9. 제8항에 있어서,
    상기 의료 영상에 포함된 적어도 하나의 병변은, 상기 의료 영상에 포함된 복수의 병변을 포함하고,
    상기 적어도 하나의 병변에 대한 조직 채취와 연관된 정보를 출력하는 단계는, 상기 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하는 단계를 포함하는,
    바이오마커 발현을 예측하는 방법.
  10. 제9항에 있어서,
    상기 의료 영상과 연관된 조직 채취에 대한 기준 정보를 획득하는 단계를 더 포함하고,
    상기 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하는 단계는,
    상기 출력된 바이오마커의 발현 지표 및 상기 획득된 조직 채취에 대한 기준 정보를 제3 기계학습 모델에 입력하여, 상기 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하는 단계를 포함하는,
    바이오마커 발현을 예측하는 방법.
  11. 정보 처리 시스템에 있어서,
    하나 이상의 인스트럭션(instructions)을 저장하는 메모리; 및
    상기 저장된 하나 이상의 인스트럭션을 실행함으로써,
    의료 영상을 수신하고, 제1 기계학습 모델을 이용하여, 상기 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 구성된 프로세서를 포함하는,
    정보 처리 시스템.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 수신된 의료 영상으로부터 상기 적어도 하나의 병변에 대한 영역을 추출하고, 상기 의료 영상 중에서, 상기 추출된 적어도 하나의 병변에 대한 영역을 크롭함으로써, 일부 영상을 생성하도록 더 구성된,
    정보 처리 시스템.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 더 구성된,
    정보 처리 시스템.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 수신된 의료 영상 및 상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 더 구성된,
    정보 처리 시스템.
  15. 제12항에 있어서,
    상기 프로세서는,
    의료 영상에 포함된 적어도 하나의 병변의 세그멘테이션 정보를 결정하고,
    상기 결정된 적어도 하나의 병변의 세그멘테이션 정보 및 상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 더 구성된,
    정보 처리 시스템.
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 의료 영상 내의 상기 적어도 하나의 병변과 상이한 병변의 바이오마커의 발현 지표를 획득하고,
    상기 획득된 상이한 병변의 바이오마커의 발현 지표 및 상기 생성된 일부 영상을 상기 제1 기계학습 모델에 입력하여, 상기 의료 영상에 포함된 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 더 구성된,
    정보 처리 시스템.
  17. 제11항에 있어서,
    상기 프로세서는,
    제1 의료 영상과 상기 제1 의료 영상과 상이한 시점에 촬영된 제2 의료 영상을 수신하고,
    상기 제1 의료 영상 및 상기 제2 의료 영상의 각각으로부터 상기 적어도 하나의 병변에 대한 영역을 추출하고,
    상기 제1 의료 영상으로부터 추출된 적어도 하나의 병변에 대한 영역과 상기 제2 의료 영상으로부터 추출된 적어도 하나의 병변에 대한 영역을 상기 제1 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 바이오마커의 발현 지표를 출력하도록 더 구성된,
    정보 처리 시스템.
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 출력된 바이오마커의 발현 지표를 제3 기계학습 모델에 입력하여, 상기 적어도 하나의 병변에 대한 조직 채취와 연관된 정보를 출력하도록 더 구성된,
    정보 처리 시스템.
  19. 제18항에 있어서,
    상기 의료 영상에 포함된 적어도 하나의 병변은, 상기 의료 영상에 포함된 복수의 병변을 포함하고,
    상기 프로세서는,
    상기 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하도록 더 구성된,
    정보 처리 시스템.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 의료 영상과 연관된 조직 채취에 대한 기준 정보를 획득하고,
    상기 출력된 바이오마커의 발현 지표 및 상기 획득된 조직 채취에 대한 기준 정보를 제3 기계학습 모델에 입력하여, 상기 복수의 병변에 대한 조직 채취의 우선순위에 대한 정보를 출력하도록 더 구성된,
    정보 처리 시스템.
PCT/KR2021/002728 2020-03-06 2021-03-05 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템 WO2021177771A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21765070.4A EP4116992A4 (en) 2020-03-06 2021-03-05 METHOD AND SYSTEM FOR PREDICTING THE EXPRESSION OF A BIOMARKER FROM A MEDICAL IMAGE
US17/502,260 US20220036558A1 (en) 2020-03-06 2021-10-15 Method and system for predicting expression of biomarker from medical image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0028686 2020-03-06
KR20200028686 2020-03-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/502,260 Continuation US20220036558A1 (en) 2020-03-06 2021-10-15 Method and system for predicting expression of biomarker from medical image

Publications (1)

Publication Number Publication Date
WO2021177771A1 true WO2021177771A1 (ko) 2021-09-10

Family

ID=77614138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002728 WO2021177771A1 (ko) 2020-03-06 2021-03-05 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템

Country Status (4)

Country Link
US (1) US20220036558A1 (ko)
EP (1) EP4116992A4 (ko)
KR (2) KR102561175B1 (ko)
WO (1) WO2021177771A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294191B (zh) * 2022-10-08 2022-12-27 武汉楚精灵医疗科技有限公司 基于电子内镜的标志物尺寸测量方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
JP2010531155A (ja) * 2007-03-19 2010-09-24 ユニバーシティー オブ サセックス 医療画像データを分析するための方法、装置およびコンピュータプログラム
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190046471A (ko) * 2017-10-26 2019-05-07 삼성전자주식회사 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
KR20190113351A (ko) * 2018-03-28 2019-10-08 (주)아이레이더 머신러닝 알고리즘을 이용한 의료영상 분석장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150002284A (ko) 2013-06-28 2015-01-07 삼성전자주식회사 병변 검출 장치 및 방법
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2019103912A2 (en) * 2017-11-22 2019-05-31 Arterys Inc. Content based image retrieval for lesion analysis
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods
WO2021050567A1 (en) * 2019-09-09 2021-03-18 PAIGE.AI, Inc. Systems and methods for processing images of slides to infer biomarkers
CN110796672A (zh) * 2019-11-04 2020-02-14 哈尔滨理工大学 基于层次卷积神经网络的乳腺癌mri分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
JP2010531155A (ja) * 2007-03-19 2010-09-24 ユニバーシティー オブ サセックス 医療画像データを分析するための方法、装置およびコンピュータプログラム
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190046471A (ko) * 2017-10-26 2019-05-07 삼성전자주식회사 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
KR20190113351A (ko) * 2018-03-28 2019-10-08 (주)아이레이더 머신러닝 알고리즘을 이용한 의료영상 분석장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4116992A4 *

Also Published As

Publication number Publication date
EP4116992A1 (en) 2023-01-11
KR20210113084A (ko) 2021-09-15
KR20230118054A (ko) 2023-08-10
EP4116992A4 (en) 2024-04-10
US20220036558A1 (en) 2022-02-03
KR102561175B1 (ko) 2023-07-28

Similar Documents

Publication Publication Date Title
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2017095014A1 (ko) Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법
CN110838118A (zh) 用于医疗过程中异常检测的系统和方法
US20220157470A1 (en) Method and system for identifying subjects who are potentially impacted by a medical condition
WO2019083129A1 (ko) 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2021177771A1 (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
WO2022145841A1 (ko) 병변 판독 방법 및 이를 위한 장치
WO2022139246A1 (ko) 골절 검출 방법 및 이를 이용한 디바이스
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2020179950A1 (ko) 딥러닝 기반 뇌 질환 진행 예측 방법 및 장치
Zammit et al. Quantification of celiac disease severity using video capsule endoscopy: a comparison of human experts and machine learning algorithms
US20210125332A1 (en) Diagnosis assisting system, diagnosis assisting method and diagnosis assisting program
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2022190891A1 (ja) 情報処理システム及び情報処理方法
WO2018147674A1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
Elabbas et al. Classification of Otitis Media Infections using Image Processing and Convolutional Neural Network
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
CN114742836A (zh) 医学图像的处理方法、装置及计算机设备
WO2022173232A2 (ko) 병변의 발생 위험성을 예측하는 방법 및 시스템
JP2021175454A (ja) 医用画像処理装置、方法およびプログラム
WO2021235804A1 (ko) 메디컬 장치의 이상을 결정하는 방법 및 시스템
WO2022211505A1 (ko) 인공지능 모델의 결과에 대한 신뢰 정보 제공 방법 및 장치
WO2023008699A1 (ko) 환자에 대한 해석가능한 예측 결과를 생성하는 방법 및 시스템
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21765070

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021765070

Country of ref document: EP

Effective date: 20221006

NENP Non-entry into the national phase

Ref country code: DE