WO2025254443A1 - 앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법 - Google Patents

앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법

Info

Publication number
WO2025254443A1
WO2025254443A1 PCT/KR2025/007634 KR2025007634W WO2025254443A1 WO 2025254443 A1 WO2025254443 A1 WO 2025254443A1 KR 2025007634 W KR2025007634 W KR 2025007634W WO 2025254443 A1 WO2025254443 A1 WO 2025254443A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell type
peripheral blood
model
image data
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/007634
Other languages
English (en)
French (fr)
Inventor
박동진
이제훈
백승민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ewha Womans University
Industry Academic Cooperation Foundation of Catholic University of Korea
Original Assignee
Ewha Womans University
Industry Academic Cooperation Foundation of Catholic University of Korea
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ewha Womans University, Industry Academic Cooperation Foundation of Catholic University of Korea filed Critical Ewha Womans University
Publication of WO2025254443A1 publication Critical patent/WO2025254443A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present disclosure relates to a cell type classification technique, and more particularly, to a medical diagnostic device that classifies cell types based on an ensemble image classification model and a cell type classification method using the same.
  • Acute leukemia is a malignant disease that originates in the bone marrow and blood, and is divided into acute myeloid leukemia (AML) and acute lymphoblastic leukemia (ALL). Diagnosing these diseases plays a crucial role in patient treatment, and accurate cell type classification is essential. AML and ALL are characterized by specific cell types, myeloblasts and lymphoblasts, respectively. Distinguishing them from immature granulocytes (IG) and normal cells (NORMAL) is also crucial.
  • One purpose of the present disclosure is to provide a medical diagnostic device that classifies cell types such as AML, ALL, IG, and NORMAL using an ensemble image classification model that combines a ConvNext model and a Transformer model, and a cell type classification method using the same.
  • Another object of the present disclosure is to provide a medical diagnostic device and a cell type classification method using the same, which efficiently processes image data through preprocessing techniques such as image normalization, noise removal, and data augmentation, and optimizes cell type classification by adjusting the weights of an ensemble model according to the cell type being targeted.
  • a medical diagnostic device for classifying cell types according to the present disclosure for achieving the above-described technical task includes a memory storing at least one command; and at least one processor executing the at least one command, wherein the at least one processor receives peripheral blood slide image data, performs preprocessing on the peripheral blood slide image data, and classifies at least one cell type among AML group, ALL group, IG group, and NORMAL group from the peripheral blood slide image data using an ensemble image classification model, and the ensemble image classification model may include at least one ConvNext model and at least one Transformer model.
  • the ensemble image classification model may include two ConvNext models, two DEIT models, and one CAIT model
  • the ConvNext model may include at least one of ConvNext 224 and ConvNext 352
  • the DEIT model may include at least one of DEIT 224 and DEIT 384
  • the CAIT model may include CAIT 224.
  • the at least one processor can classify the preprocessed peripheral blood slide image data into at least one of Neutrophil, Band neutrophil, Eosinophil, Basophil, Monocyte, Lymphocyte, Variant lymphocyte, Myeloblast, Lymphoblast, Myelocyte, Metamyelocyte, and Promyelocyte.
  • the at least one processor may divide the peripheral blood slide image data into five subsets (folds) with the AML group, the ALL group, the IG group, and the NORMAL group in equal proportions, and train the ensemble image classification model using 5-stratified k-fold cross-validation for the five subsets.
  • the at least one processor may combine the final outputs in a soft voting manner when classifying the at least one cell type from the peripheral blood slide image data using the ensemble image classification model.
  • the at least one processor can target classification of a specific cell type among the at least one cell type by differently assigning a prior weight to the ensemble image classification model based on a user's setting.
  • the at least one processor may provide a visualization of the at least one cell type classified from the peripheral blood slide image data to a user, calculate a performance index including at least one of accuracy, precision, recall, and F1 score for the at least one cell type classified from the peripheral blood slide image data, and provide the calculated performance index to the user.
  • a method for classifying cell types performed by a processor of a device for achieving the above-described technical task includes the steps of: receiving peripheral blood slide image data; performing preprocessing on the peripheral blood slide image data; and classifying at least one cell type among an AML group, an ALL group, an IG group, and a NORMAL group from the peripheral blood slide image data using an ensemble image classification model, wherein the ensemble image classification model may include at least one ConvNext model and at least one Transformer model.
  • a computer program stored in a computer-readable recording medium for implementing the present disclosure may be further provided.
  • a computer-readable recording medium recording a computer program for implementing the present disclosure may be further provided.
  • the medical diagnostic device of the present disclosure and the cell type classification method using the same can provide a highly accurate diagnosis result by classifying cell types such as AML, ALL, IG, and NORMAL using an ensemble image classification model that combines a ConvNext model and a Transformer model.
  • the medical diagnostic device of the present disclosure and the cell type classification method using the same can efficiently process image data through preprocessing techniques such as image normalization, noise removal, and data augmentation, and optimize cell type classification by adjusting the weights of the ensemble model according to the cell type being targeted.
  • Figure 1 is a drawing showing a block configuration of a medical diagnostic device of the present disclosure.
  • Figure 2 is a conceptual diagram showing the operation of the medical diagnostic device of the present disclosure.
  • Figure 3 is a flowchart showing the operation of the medical diagnostic device of the present disclosure.
  • FIG. 4 is a diagram showing examples of cell types and learning sets classified by the medical diagnostic device of the present disclosure.
  • FIGS. 5A to 5L are exemplary images of the first to twelfth cell types classified by the medical diagnostic device of the present disclosure.
  • Fig. 6 is a diagram showing the configuration and operation of the ensemble image classification model of the present disclosure.
  • Figure 7 is a diagram showing the performance of the ensemble image classification model of the present disclosure.
  • Figure 8 is a diagram showing the cell classification results of the ensemble image classification model of the present disclosure.
  • Figure 9 is a diagram showing the cell classification performance for the entire cell population of the medical diagnostic device of the present disclosure.
  • Figure 10 is a diagram showing the cell classification performance of the medical diagnostic device of the present disclosure for the AML group.
  • Figure 11 is a diagram showing the cell classification performance for the ALL group of the medical diagnostic device of the present disclosure.
  • FIG. 12 is a diagram showing the cell classification performance for the IG group of the medical diagnostic device of the present disclosure.
  • first, second, etc. are used to distinguish one component from another, and the components are not limited by the aforementioned terms.
  • the identification codes for each step are used for convenience of explanation and do not describe the order of each step. Each step may be performed in a different order than specified unless the context clearly indicates a specific order.
  • the term "device according to the present disclosure” encompasses a variety of devices capable of performing computational processing and providing results to a user.
  • the device according to the present disclosure may include a computer, a server device, and a portable terminal, or may be any one of them.
  • the computer may include, for example, a notebook, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.
  • the above server device is a server that processes information by communicating with an external device, and may include an application server, a computing server, a database server, a file server, a game server, a mail server, a proxy server, and a web server.
  • the above portable terminal may include, for example, a wireless communication device that ensures portability and mobility, and may include all kinds of handheld-based wireless communication devices such as a PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, a smart phone, and a wearable device such as a watch, a ring, a bracelet, an anklet, a necklace, glasses, contact lenses, or a head-mounted device (HMD).
  • a wireless communication device that ensures portability and mobility
  • handheld-based wireless communication devices such as a PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant
  • the artificial intelligence-related functions are operated via a processor and memory.
  • the processor may be comprised of one or more processors.
  • one or more processors may be a general-purpose processor such as a CPU, an AP, a Digital Signal Processor (DSP), a graphics-only processor such as a GPU or a Vision Processing Unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP Digital Signal Processor
  • GPU Graphics
  • VPU Vision Processing Unit
  • an artificial intelligence-only processor such as an NPU.
  • One or more processors control the processing of input data according to predefined operating rules or artificial intelligence models stored in memory.
  • the artificial intelligence-only processor may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • the predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • being created through learning means that the basic artificial intelligence model is trained using a learning algorithm using a plurality of learning data, thereby creating a predefined operation rules or artificial intelligence model set to perform a desired characteristic (or purpose).
  • This learning may be performed on the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • An artificial intelligence model may be composed of multiple neural network layers.
  • Each of the multiple neural network layers has multiple weight values, and performs neural network operations through operations between the operation results of the previous layer and the multiple weights.
  • the multiple weights of the multiple neural network layers may be optimized based on the learning results of the artificial intelligence model. For example, the multiple weights may be updated so that the loss value or cost value obtained from the artificial intelligence model is reduced or minimized during the learning process.
  • the artificial neural network may include a deep neural network (DNN), and examples thereof include, but are not limited to, a convolutional neural network (CNN), a deep neural network (DNN), a RecuREnt neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), a bidirectional RecuREnt deep neural network (BRDNN), or deep Q-networks.
  • DNN deep neural network
  • CNN convolutional neural network
  • DNN deep neural network
  • RNN RecuREnt neural network
  • RBM restricted boltzmann machine
  • DBN deep belief network
  • BNN bidirectional RecuREnt deep neural network
  • a processor can implement artificial intelligence.
  • Artificial intelligence refers to a machine learning method based on an artificial neural network that imitates human neurons (biological neurons) to enable machines to learn.
  • Artificial intelligence methodologies can be categorized into supervised learning, in which input data and output data are provided together as training data depending on the learning method, so that the solution (output data) to the problem (input data) is determined; unsupervised learning, in which only input data is provided without output data, so that the solution (output data) to the problem (input data) is not determined; and reinforcement learning, in which a reward (Reward) is provided from an external environment whenever an action (Action) is taken in the current state (State), and learning is performed in a direction to maximize this reward.
  • Reward a reward
  • artificial intelligence methodologies can be categorized according to the architecture, which is the structure of the learning model.
  • the architectures of widely used deep learning technologies can be categorized into convolutional neural networks (CNNs), recurrent neural networks (RNNs), transformers, and generative adversarial networks (GANs).
  • CNNs convolutional neural networks
  • RNNs recurrent neural networks
  • GANs generative adversarial networks
  • FIG. 1 is a drawing showing a block configuration of a medical diagnostic device (100) of the present disclosure
  • FIG. 2 is a conceptual diagram (200) showing the operation of the medical diagnostic device (100) of the present disclosure.
  • a medical diagnostic device (100) may include a processor (120), a memory (110), and a communication unit (not shown).
  • the configuration illustrated in FIG. 1 illustrates a configuration related to an explanation of an embodiment according to the present disclosure, and other configurations (e.g., a communication unit) for performing functions of an electronic device may be added in addition to the illustrated configuration, and the illustrated configurations may be omitted.
  • the memory (110) is a storage medium used by the medical diagnostic device (100), and can store data such as at least one command or setting information corresponding to at least one program.
  • the program can include an operating system (OS) program and various application programs.
  • the memory (110) may include at least one type of storage medium among a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., an SD or XD memory, etc.), a random access memory (RAM), a static random access memory (SRAM), a read only memory (ROM), an electrically erasable programmable ROM (EEPROM), a programmable ROM (PROM), a magnetic memory, a magnetic disk, and an optical disk.
  • a flash memory type e.g., a hard disk type
  • a multimedia card micro type e.g., an SD or XD memory, etc.
  • a card type memory e.g., an SD or XD memory, etc.
  • RAM random access memory
  • SRAM static random access memory
  • ROM read only memory
  • EEPROM electrically erasable programmable ROM
  • PROM programmable ROM
  • the communication unit may include a wireless communication unit (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication unit.
  • the communication unit may communicate with an external electronic device via a network (e.g., a long-distance communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a local area network or a wide area network)).
  • a network e.g., a long-distance communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a local area network or a wide area network)).
  • the communication unit may support 5G networks and next-generation communication technologies, such as new radio access technology (NR).
  • NR new radio access technology
  • the NR access technology may support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimizing terminal power and connecting multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • the communication unit may support high-frequency bands (e.g., mmWave bands) to achieve high data transmission rates, for example.
  • the communication unit may support various technologies to secure performance in high-frequency bands, such as beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), array antennas, analog beamforming, or large scale antennas.
  • MIMO massive multiple-input and multiple-output
  • FD-MIMO full dimensional MIMO
  • array antennas analog beamforming, or large scale antennas.
  • the processor (120) may, for example, execute software (e.g., a program) to control at least one other component (e.g., a hardware or software component) of a medical diagnostic device (100) connected to the processor (120) and perform various data processing or operations.
  • software e.g., a program
  • at least one other component e.g., a hardware or software component
  • the processor (120) may store commands or data received from another component (e.g., a communication unit) in volatile memory, process the commands or data stored in the volatile memory, and store resulting data in non-volatile memory as at least part of data processing or calculation.
  • another component e.g., a communication unit
  • the processor (120) may include a main processor (e.g., a central processing unit or an application processor) or a secondary processor (e.g., a graphics processing unit, a neural processing unit (NPU), or a communication processor) that can operate independently or in conjunction with the main processor.
  • the processor (120) may include at least one of a central processing unit (CPU), an application processor (AP), or a microprocessor.
  • a processor (120) may perform operations of a medical diagnostic device (100) described through the drawings below.
  • the processor (120) may receive peripheral blood slide image data.
  • the processor (120) may perform preprocessing on the peripheral blood slide image data.
  • the processor (120) may classify at least one cell type among the AML group, the ALL group, the IG group, and the NORMAL group from the peripheral blood slide image data using an ensemble image classification model.
  • the ensemble image classification model may include at least one ConvNext model and at least one Transformer model.
  • the processor (120) can provide highly accurate diagnostic results by classifying cell types using an ensemble image classification model that combines a ConvNext model and a Transformer model.
  • the processor (120) can quickly and accurately classify important cell types such as AML, ALL, IG, and NORMAL.
  • the processor (120) can efficiently process peripheral blood slide image data through preprocessing techniques such as image normalization, noise removal, and data augmentation to maximize the performance of the ensemble image classification model. This ensures consistent diagnostic performance in various environments.
  • the processor (120) can supplement the weaknesses of individual models and increase the stability and reliability of predictions by combining the prediction results of multiple models using a soft voting method.
  • the processor (120) can improve the predictive power of a specific cell type by providing the ability to adjust the weights of the ensemble image classification model according to the cell type targeted by the user. In other words, the processor (120) can flexibly optimize cell type classification according to the user's needs.
  • the processor (120) visualizes the classified cell types and provides them to the user, thereby facilitating easy understanding of the diagnostic results. Furthermore, the processor (120) can evaluate the performance of the ensemble image classification model by providing performance indicators such as accuracy, precision, recall, and F1 score.
  • FIG. 3 is a flowchart illustrating the operation of the medical diagnostic device (100) of the present disclosure.
  • FIG. 4 is a diagram illustrating examples (400) of cell types and learning sets classified by the medical diagnostic device (100) of the present disclosure.
  • FIGS. 5A to 5L are example images (500A to 500I) of the first to twelfth cell types classified by the medical diagnostic device (100) of the present disclosure.
  • FIG. 6 is a diagram illustrating the configuration and operation (600) of the ensemble image classification model of the present disclosure.
  • a medical diagnostic device (100) may receive peripheral blood slide image data (operation 310), perform preprocessing on the peripheral blood slide image data (operation 320), and classify at least one cell type among AML group, ALL group, IG group, and NORMAL group from the peripheral blood slide image data using an ensemble image classification model (operation 330).
  • the ensemble image classification model may include at least one ConvNext model and at least one Transformer model.
  • the medical diagnostic device (100) may receive peripheral blood slide image data.
  • the peripheral blood slide image data may be received from an external image acquisition device.
  • the external image acquisition device may receive the peripheral blood slide image data from at least one of a microscope, a digital slide scanner, and an image data server.
  • the medical diagnostic device (100) may perform at least one of integrity check, image quality check, metadata processing, and security processing on the received peripheral blood slide image data.
  • a medical diagnostic device (100) can learn cell types from peripheral blood slide image data and classify cell types.
  • the peripheral blood slide image data may include at least one cell type from among the AML group, the ALL group, the IG group, and the NORMAL group.
  • the peripheral blood slide image data may include image data for at least one of Neutrophil, Band neutrophil, Eosinophil, Basophil, Monocyte, Lymphocyte, Variant lymphocyte, Myeloblast, Lymphoblast, Myelocyte, Metamyelocyte, and Promyelocyte.
  • the peripheral blood slide image data may include 33,869 training sets.
  • the peripheral blood slide image data may include 13,220 training sets for Neutrophils.
  • the peripheral blood slide image data may include 521 training sets for Band Neutrophils.
  • the peripheral blood slide image data may include 295 training sets for Eosinophils.
  • the peripheral blood slide image data may include 219 training sets for Basophils.
  • the peripheral blood slide image data may include 1,849 training sets for Monocytes.
  • the peripheral blood slide image data may include 9,899 training sets for Lymphocytes.
  • the peripheral blood slide image data may include 777 training sets for Variant Lymphocytes.
  • peripheral blood slide image data may include 3,510 training sets for myeloblasts.
  • peripheral blood slide image data may include 1,628 training sets for lymphoblasts.
  • peripheral blood slide image data may include 1,056 training sets for myelocytes.
  • peripheral blood slide image data may include 582 training sets for metamyelocytes.
  • peripheral blood slide image data may include 313 training sets for promyelocytes.
  • the primary cell may be a neutrophil.
  • the primary cell may be a neutrophil (500a) with a segmented nucleus and granules.
  • the primary cell is an important cell of the innate immune system that detects and destroys pathogens such as bacteria. It can primarily induce an inflammatory response at the site of infection and engulf the pathogens.
  • the secondary cell may be a band neutrophil.
  • the secondary cell may be a rod-shaped neutrophil (500b) with a band-shaped nucleus and a non-segmented form.
  • the secondary cell may be an immature neutrophil that can transform into a mature neutrophil during infection or an inflammatory response.
  • the third cell may be an eosinophil.
  • the third cell may be an eosinophil (500c), which has a two-lobed nucleus and large eosinophilic granules.
  • the third cell is involved in defense against parasitic infections and allergic responses, and can modulate inflammatory responses by secreting compounds such as histamine.
  • the fourth cell may be a basophil.
  • the fourth cell may be a basophil (500d) with a multilobated nucleus and large alkaline granules.
  • the fourth cell is involved in allergic and inflammatory responses, and can release histamine and heparin to regulate inflammation and prevent blood clotting.
  • Fifth-cells may be monocytes.
  • fifth-cells may be monocytes (500e) with a large, single nucleus, often with a bean-shaped nucleus.
  • fifth-cells can migrate to tissues and differentiate into macrophages or dendritic cells, engulfing pathogens and regulating immune responses.
  • the sixth cell may be a lymphocyte.
  • the sixth cell may be a lymphocyte (500f) with a large, round nucleus and a relatively small amount of cytoplasm.
  • the sixth cell is an important cell of the adaptive immune system, capable of differentiating into B cells and T cells, producing antibodies and carrying out cell-mediated immune responses.
  • Type VII cells may be variant lymphocytes.
  • type VII cells may be variant lymphocytes (500g) with abnormally large cytoplasm and nuclei of various shapes.
  • type VII cells are atypical lymphocytes that appear in response to viral infection or other stimuli and can enhance the immune response.
  • the 8th cell may be a myeloblast.
  • the 8th cell may be an immature cell (500h) with a large nucleus and a small amount of cytoplasm.
  • the 8th cell is an immature white blood cell precursor that originates in the bone marrow and can differentiate into various types of myeloid white blood cells.
  • the ninth cell may be a lymphoblast.
  • the ninth cell may be an immature cell (500i) with a large nucleus and a small amount of cytoplasm.
  • the ninth cell may be a precursor of a lymphocyte and may differentiate into a B lymphocyte or a T lymphocyte.
  • the 10th cell may be a myelocyte.
  • the 10th cell may be a myelocyte (500j) with a relatively large cytoplasm and a highly developed nucleus.
  • the 10th cell may be an intermediate-stage immature myeloid leukocyte that can differentiate into more mature granulocytes (e.g., neutrophils, eosinophils, basophils).
  • the stage 11 cell may be a metamyelocyte.
  • the stage 11 cell may be a metamyelocyte (500k), which has a bean-shaped nucleus and more cytoplasm.
  • the stage 11 cell may be a cell in the final stage of differentiation into a mature granulocyte in the bone marrow.
  • the 12th cell may be a promyelocyte.
  • the 12th cell may be a promyelocyte (500l) with a large cytoplasm and prominent granules.
  • the 12th cell may be derived from a myeloblast and may be a cell in the stage before differentiating into a myelocyte.
  • the medical diagnosis device (100) may perform preprocessing on the peripheral blood slide image data.
  • the medical diagnosis device (100) may perform at least one of a first preprocessing that performs image normalization, a second preprocessing that performs noise reduction, and a third preprocessing that performs data augmentation.
  • the medical diagnostic device (100) may perform a first preprocessing step, which involves image normalization.
  • Image normalization may be a preprocessing step that adjusts peripheral blood slide image data to a certain range to enhance learning efficiency and balance each channel.
  • image normalization allows an ensemble image classification model to consistently process peripheral blood slide image data, increase learning speed, and prevent overfitting.
  • the medical diagnosis device (100) can divide each pixel value of the peripheral blood slide image data by 255 and adjust it to a range between 0 and 1.
  • the medical diagnosis device (100) can perform normalization by calculating the mean and standard deviation of each channel (e.g., RGB), subtracting the mean from each pixel value, and dividing by the standard deviation.
  • Image normalization can stabilize model learning by adjusting the range of data and balance each channel to prevent ensemble image classification models from being biased toward a specific channel.
  • the medical diagnostic device (100) may perform a second preprocessing step that removes noise.
  • Denoising may be a preprocessing step that removes unnecessary noise from an image, thereby improving the signal-to-noise ratio (SNR) and better preserving important features.
  • SNR signal-to-noise ratio
  • noise removal may increase the clarity and quality of the image, and enhance the performance of an ensemble image classification model.
  • the medical diagnosis device (100) can replace the current pixel value by using the average value of surrounding pixels in an average filter method.
  • the medical diagnosis device (100) can remove noise by using a Gaussian filter method and calculating a weighted average of each pixel of the image with surrounding values using a kernel that follows a Gaussian distribution.
  • the medical diagnosis device (100) can remove noise by using the median value of surrounding pixel values centered on the current pixel in a median filter method.
  • the medical diagnosis device (100) can remove noise while preserving the boundary portion of the image in an anisotropic diffusion method.
  • the medical diagnostic device (100) may perform a third preprocessing step that involves data augmentation.
  • Data augmentation may be a preprocessing step that increases the amount of data by modifying existing image data to generate new learning data.
  • data augmentation may improve the generalization performance of an ensemble image classification model and prevent overfitting.
  • the medical diagnosis device (100) can rotate the image by a certain angle.
  • the medical diagnosis device (100) can rotate the image by 90 degrees, 180 degrees, 270 degrees, or by any angle to enable learning from various angles.
  • the medical diagnostic device (100) can flip the image left and right or up and down.
  • the medical diagnostic device (100) can reduce the directional bias of the model by diversifying the directionality of the image.
  • the medical diagnostic device (100) can facilitate learning of objects of various sizes by enlarging or reducing an image.
  • a medical diagnostic device can facilitate object recognition learning at various locations by cropping and using a portion of an image.
  • the medical diagnostic device (100) can perform at least one of brightness and contrast adjustment, addition of noise, and color jittering.
  • This data augmentation can increase the amount of data by transforming peripheral blood slide images in various ways and improve the generalization performance of ensemble image classification models.
  • the medical diagnostic device (100) can classify at least one cell type among the AML group, the ALL group, the IG group, and the NORMAL group from the peripheral blood slide image data using an ensemble image classification model.
  • the medical diagnostic device (100) can classify the preprocessed peripheral blood slide image (610) into at least one of the AML group, the ALL group, the IG group, and the NORMAL group using an ensemble image classification model.
  • AML may be composed primarily of immature cells of the myeloid lineage.
  • AML may include myeloblasts, promyelocytes, myelocytes, and metamyelocytes.
  • ALL may be composed of immature cells of the lymphoid lineage.
  • ALL may include lymphoblasts.
  • the IG group may be composed of immature granulocytes.
  • the IG group may include myelocytes, metamyelocytes, and promyelocytes.
  • the NORMAL group may include normal white blood cell types.
  • the NORMAL group may include Neutrophils, Band Neutrophils, Eosinophils, Basophils, Monocytes, Lymphocytes, and Variant Lymphocytes.
  • the medical diagnostic device (100) can accurately classify various cell types from peripheral blood slide image data using a high-performance ensemble image classification model. For example, the medical diagnostic device (100) can rapidly and accurately diagnose various diseases, including acute leukemia (AL).
  • AL acute leukemia
  • the ensemble image classification model used by the medical diagnostic device (100) for cell type classification may be a single artificial intelligence model or may be implemented as multiple artificial intelligence models.
  • the artificial intelligence model may be composed of a neural network (or artificial neural network) and may include statistical learning algorithms that mimic biological neurons in machine learning and cognitive science.
  • a neural network may refer to a model in general that has problem-solving capabilities by changing the binding strength of synapses through learning, in which artificial neurons (nodes) that form a network by combining synapses.
  • the neurons of the neural network may include a combination of weights or biases.
  • the neural network may include one or more layers composed of one or more neurons or nodes.
  • the device may include an input layer, a hidden layer, and an output layer.
  • the neural network constituting the device can infer a desired result (output) from an arbitrary input (input) by changing the weights of neurons through learning.
  • At least one processor included in the medical diagnosis device (100) can generate a neural network, train a neural network, perform a calculation based on received input data, generate an information signal based on the calculation result, or retrain a neural network.
  • the models of the neural network may include various types of models such as CNN (Convolution Neural Network) such as GoogleNet, AlexNet, VGG Network, R-CNN (Region with Convolution Neural Network), RPN (Region Proposal Network), RNN (RecuREnt Neural Network), S-DNN (Stacking-based deep Neural Network), S-SDNN (State-Space Dynamic Neural Network), Deconvolution Network, DBN (Deep Belief Network), RBM (Restrcted Boltzman Machine), Fully Convolutional Network, LSTM (Long Short-Term Memory) Network, Classification Network, etc., but are not limited thereto.
  • the processor may include one or more processors for performing calculations according to the models of the neural network. It may include a processor.
  • Neural networks include CNN (Convolutional Neural Network), RNN (RecuREnt Neural Network), perceptron, multilayer perceptron, FF (Feed Forward), RBF (Radial Basis Network), DFF (Deep Feed Forward), LSTM (Long Short Term Memory), GRU (Gated RecuREnt Unit), AE (Auto Encoder), Variational Auto Encoder (VAE), Denoising Auto Encoder (DAE), Sparse Auto Encoder (SAE), Markov Chain (MC), Hopfield Network (HN), Boltzmann Machine (BM), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Deep Convolutional Network (DCN), Deconvolutional Network (DN), Deep Convolutional Inverse Graphics (DCIGN) Network), GAN (Generative Adversarial Network), LSM (Liquid State Machine), ELM (Extreme Learning It will be understood by those skilled in the art that any neural network may be included, including but not limited to, a
  • At least one processor included in the medical diagnosis device (100) is a CNN (Convolution Neural Network) such as GoogleNet, AlexNet, VGG Network, etc., R-CNN (Region with Convolution Neural Network), RPN (Region Proposal Network), RNN (RecuREnt Neural Network), S-DNN (Stacking-based deep Neural Network), S-SDNN (State-Space Dynamic Neural Network), Deconvolution Network, DBN (Deep Belief Network), RBM (Restrcted Boltzman Machine), Fully Convolutional Network, LSTM (Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, BERT for natural language processing, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, Visual Analytics for vision processing, Visual Understanding, Video Synthesis, ResNet Anomaly for data intelligence Various artificial intelligence structures
  • the medical diagnosis device (100) may include an ensemble image classification model composed of a total of five models.
  • the ensemble image classification model may include at least one ConvNext model (620) and at least one Transformer model (630).
  • the ensemble image classification model may include two ConvNext models, two DEIT models, and one CAIT model.
  • the ConvNext model may include at least one of ConvNext 224 and ConvNext 352.
  • the DEIT model may include at least one of DEIT 224 and DEIT 384.
  • the CAIT model may include CAIT 224.
  • Preprocessed peripheral blood slide image data can be input to five individual models.
  • two ConvNext models, two DEIT models, and one CAIT model can each independently make predictions on the input peripheral blood slide image, outputting probability values for the cell types AML, ALL, IG, and NORMAL.
  • the medical diagnosis device (100) can train the ensemble image classification model using 5-stratified k-fold cross-validation. For example, the medical diagnosis device (100) can divide the peripheral blood slide image data into five subsets (folds) with equal proportions of the AML group, the ALL group, the IG group, and the NORMAL group, and train the ensemble image classification model using 5-stratified k-fold cross-validation for the five subsets.
  • 5-stratified k-fold cross-validation can maintain the same proportion of AML, ALL, IG, and NORMAL groups within each subset to address the data imbalance problem and improve the generalization performance of the ensemble image classification model.
  • the medical diagnostic device (100) can divide the collected image data into five subsets (folds).
  • the medical diagnostic device (100) can be set so that the ratio of cell types in each subset remains the same.
  • the medical diagnosis device (100) can train an ensemble image classification model through cross-validation on five subsets. For example, the medical diagnosis device (100) can train an ensemble image classification model by using one of the five subsets as validation data and the remaining four subsets as training data. Each of the five subsets can be sequentially used as validation data. That is, the medical diagnosis device (100) can repeat training of the ensemble image classification model five times so that each subset is used as validation data once.
  • a medical diagnostic device (100) can reliably classify at least one cell type among the AML group, the ALL group, the IG group, and the NORMAL group based on peripheral blood slide image data through a 5-stratified k-fold cross-validation process.
  • the medical diagnostic device (100) may combine (640) the final output using a soft voting method when classifying at least one cell type from the peripheral blood slide image data using the ensemble image classification model.
  • the soft voting method may be a method of making a final decision by combining the predicted probabilities of each individual model.
  • the medical diagnosis device (100) may include an ensemble image classification model composed of five individual models.
  • the medical diagnosis device (100) may include two ConvNext models (e.g., ConvNext 224, ConvNext 352), two DEIT models (e.g., DEIT 224, DEIT 384), and one CAIT model (e.g., CAIT 224).
  • Each individual model may input peripheral blood slide image data and independently output a probability value for a cell type.
  • the ConvNext 224 model may predict that a specific image has a probability of AML of 0.7, a probability of ALL of 0.1, a probability of IG of 0.1, and a probability of NORMAL of 0.1.
  • the medical diagnosis device (100) may collect predicted probability values for each cell type from the five individual models.
  • the medical diagnosis device (100) can calculate a final probability value by weighting the predicted probability values of each individual model.
  • the weighted average can be calculated by assigning a prior weight according to the importance of each individual model. For example, the medical diagnosis device (100) can assign a prior weight of 0.2 to the first ConvNext model, 0.1 to the second ConvNext model, 0.3 to the first DEIT model, 0.3 to the second DEIT model, and 0.1 to the first CAIT model.
  • the medical diagnosis device (100) can determine the cell type with the highest probability among the calculated final probability values as the final prediction, and classify the peripheral blood slide image data into the final predicted cell type. For example, if the final probability values are 0.62 for AML, 0.14 for ALL, 0.14 for IG, and 0.1 for NORMAL, the final predicted cell type can be determined as AML.
  • the medical diagnostic device (100) can target classification of a specific cell type among the at least one cell type by differently assigning a prior weight to the ensemble image classification model based on a user's settings.
  • the medical diagnostic device (100) may provide a function to optimize the classification performance of a specific cell type by assigning different pre-weights to the ensemble image classification model according to the user's settings.
  • the function to change the pre-weights according to the targeting is useful when the user wishes to strengthen the diagnosis of a specific cell type, and by flexibly adjusting the weights, the predictive performance of the ensemble image classification model can be adjusted to suit the user's needs.
  • a medical diagnostic device (100) can enhance diagnostic flexibility and accuracy by adjusting the predictive performance of a model according to a specific diagnostic purpose.
  • the medical diagnostic device (100) can derive optimal prediction results suited to various clinical situations by allowing the user to adjust the weights of individual models as needed.
  • the medical diagnostic device (100) can visualize and provide to a user at least one cell type classified from the peripheral blood slide image data.
  • a medical diagnostic device can visualize classified cell types through a user interface (UI).
  • UI user interface
  • the UI supports high-resolution graphics so that the user can clearly display the classification results.
  • the medical diagnostic device (100) may display classified cell types along with the original image, allowing the user to easily compare diagnostic results.
  • each cell type may be clearly distinguished through color coding, labels, or other visual indicators.
  • the medical diagnostic device (100) may provide detailed information about each classified cell along with a visual image.
  • the detailed information about the cell may include cell type, classification probability, model reliability, etc.
  • the medical diagnostic device (100) can calculate a performance index including at least one of accuracy, precision, recall, and F1 score for the at least one cell type classified from the peripheral blood slide image data, and provide the performance index to a user.
  • accuracy can represent the proportion of correctly classified cells among all predictions.
  • Precision for example, can represent the proportion of true positive cells among positive predictions.
  • Recall for example, can represent the proportion of true positive cells that were correctly predicted.
  • F1 score which is the harmonic mean of precision and recall, can be used to assess the balance between the two metrics.
  • the medical diagnostic device (100) can generate a report including the performance indicators.
  • the medical diagnostic device (100) can provide the report in various formats, such as PDF or Excel, thereby documenting and effectively sharing the diagnostic results.
  • FIG. 7 is a diagram (700) showing the performance of the ensemble image classification model of the present disclosure
  • FIG. 8 is a diagram (800) showing the cell classification results of the ensemble image classification model of the present disclosure
  • FIG. 9 is a diagram showing the cell classification performance (900) for the entire cell population of the medical diagnostic device (100) of the present disclosure.
  • the ensemble image classification model of the medical diagnostic device (100) of the present disclosure can achieve excellent performance by appropriately ensembling a ConvNext model, which is effective in distinguishing between lymphoblasts and myeloblasts, and a Transformer model, which is effective in distinguishing between lymphoblasts and lymphocytes.
  • an ensemble image classification model can combine a ConvNext model at a ratio of 30% and a Transformer model at a ratio of 70%. Specifically, an ensemble image classification model can combine ConvNext 352 at a ratio of 10% and ConvNext 224 at a ratio of 20%. Additionally, an ensemble image classification model can combine Deit 224 at a ratio of 25%, Deit 384 at a ratio of 20%, and Cait 224 at a ratio of 25%.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure shows relatively superior diagnostic results compared to other artificial intelligence models.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure shows superior AUROC, precision, recall, and F1 score for all 12 cell types.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure shows higher scores than individual models for each of the 12 cell types, demonstrating superior performance.
  • FIG. 10 is a diagram showing the cell classification performance (1000) of the medical diagnostic device (100) of the present disclosure for the AML group.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure predicts a total of 3,140 myeloblasts out of a total of 3,510 myeloblasts in the True label, showing an accuracy of 89.5%.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure incorrectly recognized 95 Lymphoblasts as part of the ALL series, which is 2.7%, and the error level is very low.
  • FIG. 11 is a diagram showing the cell classification performance (1100) for the ALL group of the medical diagnostic device (100) of the present disclosure.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure predicted 1080 out of 1628 Lymphoblasts as myeloblasts in the true label, showing an accuracy of 66.3%.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure incorrectly predicted Lymphoblasts, the error rate was 299 lymphocytes and 18.4%, which is similar to the error rate based on expert judgment.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure incorrectly recognized Lymphoblasts as AML series at a low rate of 194 lymphocytes and 11.9%.
  • FIG. 12 is a diagram showing the cell classification performance (1200) for the IG group of the medical diagnostic device (100) of the present disclosure.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure has a very high prediction rate for IG (e.g., promyelocyte, myelocyte, metamyelocyte), and in particular, has a high accuracy for promyelocyte.
  • the ensemble image classification model of the medical diagnosis device (100) of the present disclosure showed a tendency to assign myelocytes and metamyelocytes to somewhat diverse cells, but overall, it hardly recognized them as lymphoblasts (1), and actually judged myelocytes, promyelocytes, and metamyelocytes as myeloblasts at a very low frequency.
  • the medical diagnostic device (100) of the present disclosure and the cell type classification method using the same can provide a highly accurate diagnostic result by classifying cell types such as AML, ALL, IG, and NORMAL using an ensemble image classification model that combines a ConvNext model and a Transformer model.
  • the medical diagnostic device (100) of the present disclosure and the cell type classification method using the same can efficiently process image data through preprocessing techniques such as image normalization, noise removal, and data augmentation, and optimize cell type classification by adjusting the weights of the ensemble model according to the cell type being targeted.
  • the devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be implemented using one or more general-purpose computers or special-purpose computers, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device is sometimes described as being used alone; however, one of ordinary skill in the art will recognize that the processing device may include multiple processing elements and/or multiple types of processing elements.
  • a processing unit may include multiple processors, or a processor and a controller.
  • Other processing configurations, such as parallel processors, are also possible.
  • the method according to the embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program commands, data files, data structures, etc., alone or in combination.
  • the program commands recorded on the medium may be those specially designed and configured for the embodiment or may be those known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program commands, such as ROMs, RAMs, and flash memories.
  • Examples of the program commands include not only machine language codes generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiment, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본 개시에 따른 세포 유형을 분류하는 의료 진단 장치는 적어도 하나의 명령어를 저장하는 메모리, 및 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 말초혈액 슬라이드 이미지 데이터를 수신하고, 상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행하고, 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류할 수 있다. 상기 앙상블 이미지 분류 모델은 적어도 하나의 ConvNext 모델 및 적어도 하나의 Transformer 모델을 포함할 수 있다.

Description

앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법
본 개시는 세포 유형 분류 기법에 관한 것으로, 보다 상세하게는 앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법에 관한 것이다.
최근 의료 분야에서는 인공지능(AI)과 딥러닝 기술을 활용한 진단 시스템의 개발이 활발하게 이루어지고 있다. 특히, 이미지 분석 기술의 발전으로 인해 병리학적 이미지 데이터로부터 다양한 질병을 진단하고 예측하는 AI 모델이 주목받고 있다. 이러한 기술은 병리학적 이미지를 빠르고 정확하게 분석하여 의료 전문가의 진단을 보조하는 역할을 하며, 진단의 효율성을 높이는 데 기여하고 있다. 특히, 딥러닝 기반의 이미지 분류 모델은 높은 정확도와 신뢰성을 보여주며, 다양한 질병의 조기 진단 및 예측에 중요한 역할을 하고 있다.
급성 백혈병(AL)은 골수와 혈액에서 발생하는 악성 질환으로, 급성 골수성 백혈병(AML)과 급성 림프모구 백혈병(ALL)으로 구분된다. 이러한 질병의 진단은 환자의 치료에 있어서 중요한 역할을 하며, 정확한 세포 유형 분류가 필수적이다. AML과 ALL은 각각 Myeloblast와 Lymphoblast라는 특정 세포 유형으로 특징지어지며, 미성숙 과립구(IG)와 정상 세포(NORMAL)와의 구별도 중요하다.
급성 백혈병의 정확한 진단은 치료의 성공 여부를 좌우할 수 있다. 그러나, 세포 유형 분류의 정확도를 높이는 것은 여전히 큰 도전 과제이다. 기존의 분석 방법은 시간과 비용이 많이 들며, 전문가의 경험에 크게 의존한다. 따라서, 인공지능 기반의 자동화된 진단 시스템을 통해 세포 유형 분류의 정확도를 높이고, 빠르고 효율적인 진단을 제공하는 기술이 필요하다.
본 개시의 일 목적은 ConvNext 모델과 Transformer 모델을 결합한 앙상블 이미지 분류 모델을 사용하여 AML, ALL, IG, 및 NORMAL 등의 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법을 제공하는 것이다.
본 개시의 다른 목적은 이미지 정규화, 노이즈 제거, 데이터 증강과 같은 전처리 기법을 통해 이미지 데이터를 효율적으로 처리하고, 타겟팅하는 세포 유형에 따라 앙상블 모델의 가중치를 조정함으로써, 세포 유형의 분류를 최적화하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법을 제공하는 것이다.
다만, 본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시에 따른 세포 유형을 분류하는 의료 진단 장치는 적어도 하나의 명령어를 저장하는 메모리; 및 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 말초혈액 슬라이드 이미지 데이터를 수신하고, 상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행하고, 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류하고, 상기 앙상블 이미지 분류 모델은 적어도 하나의 ConvNext 모델 및 적어도 하나의 Transformer 모델을 포함할 수 있다.
이때, 상기 앙상블 이미지 분류 모델은 2개의 상기 ConvNext 모델, 2개의 DEIT 모델, 및 1개의 CAIT 모델을 포함하고, 상기 ConvNext 모델은 ConvNext 224 및 ConvNext 352 중 적어도 하나를 포함하고, 상기 DEIT 모델은 DEIT 224 및 DEIT 384 중 적어도 하나를 포함하고, 상기 CAIT 모델은 CAIT 224를 포함할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 전처리된 말초혈액 슬라이드 이미지 데이터를 Neutrophil, Band neutrophil, Eosinophil, Basophil, Monocyte, Lymphocyte, Variant lymphocyte, Myeloblast, Lymphoblast, Myelocyte, Metamyelocyte 및 Promyelocyte 중 적어도 하나로 분류할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 말초혈액 슬라이드 이미지 데이터를 5개의 하위 집합(fold)에 상기 AML군, 상기 ALL군, 상기 IG군, 및 상기 NORMAL군의 비율이 동일하게 나누고, 상기 5개의 하위 집합에 대한 5-stratified k-fold 교차 검증을 사용하여 상기 앙상블 이미지 분류 모델을 학습시킬 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 상기 적어도 하나의 세포 유형을 분류할 때, 소프트 보팅 방식으로 최종 출력을 조합할 수 있다.
또한, 상기 적어도 하나의 프로세서는 사용자의 설정에 기초하여, 상기 앙상블 이미지 분류 모델의 사전 가중치를 다르게 부여함으로써, 상기 적어도 하나의 세포 유형 중 특정 세포 유형의 분류를 타겟팅할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형을 시각화하여 사용자에게 제공하고, 상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형에 대한 정확도, 정밀도, 재현율, 및 F1 점수 중 적어도 하나를 포함하는 성능 지표를 산출하고, 상기 산출된 성능 지표를 사용자에게 제공할 수 있다.
또한, 상술한 기술적 과제를 달성하기 위한 본 개시에 따른 장치의 프로세서에 의해 수행되는 세포 유형을 분류하는 방법은, 말초혈액 슬라이드 이미지 데이터를 수신하는 단계; 상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행하는 단계; 및 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류하는 단계를 포함하고, 상기 앙상블 이미지 분류 모델은 적어도 하나의 ConvNext 모델 및 적어도 하나의 Transformer 모델을 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 본 개시의 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법은 ConvNext 모델과 Transformer 모델을 결합한 앙상블 이미지 분류 모델을 사용하여 AML, ALL, IG, 및 NORMAL 등의 세포 유형을 분류함으로써, 높은 정확도의 진단 결과를 제공할 수 있다.
또한, 본 개시의 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법은 이미지 정규화, 노이즈 제거, 데이터 증강과 같은 전처리 기법을 통해 이미지 데이터를 효율적으로 처리하고, 타겟팅하는 세포 유형에 따라 앙상블 모델의 가중치를 조정함으로써, 세포 유형의 분류를 최적화할 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 의료 진단 장치의 블록 구성을 나타내는 도면이다.
도 2는 본 개시의 의료 진단 장치의 동작을 나타내는 개념도이다.
도 3은 본 개시의 의료 진단 장치의 동작을 나타내는 순서도이다.
도 4는 본 개시의 의료 진단 장치가 분류하는 세포 유형 및 학습 세트의 예시를 나타내는 도표이다.
도 5a 내지 도 5l은 본 개시의 의료 진단 장치가 분류하는 제1 세포 유형 내지 제12 세포 유형의 예시 이미지이다.
도 6은 본 개시의 앙상블 이미지 분류 모델의 구성 및 동작을 나타내는 도면이다.
도 7은 본 개시의 앙상블 이미지 분류 모델의 성능을 나타내는 도표이다.
도 8은 본 개시의 앙상블 이미지 분류 모델의 세포 분류 결과를 나타내는 도표이다.
도 9는 본 개시의 의료 진단 장치의 전체 세포군에 대한 세포 분류 성능을 나타내는 도면이다.
도 10은 본 개시의 의료 진단 장치의 AML 군에 대한 세포 분류 성능을 나타내는 도면이다.
도 11은 본 개시의 의료 진단 장치의 ALL 군에 대한 세포 분류 성능을 나타내는 도면이다.
도 12는 본 개시의 의료 진단 장치의 IG 군에 대한 세포 분류 성능을 나타내는 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우 뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들 (weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (RecuREnt Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional RecuREnt Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련데이터로서 입력데이터와 출력데이터가 같이 제공됨으로써 문제(입력데이터)의 해답(출력데이터)이 정해져 있는 지도학습(supervised learning), 및 출력데이터 없이 입력데이터만 제공되어 문제(입력데이터)의 해답(출력데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태(State)에서 어떤 행동(Action)을 취할 때마다 외부 환경에서 보상(Reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱신경망(CNN; Convolutional Neural Network), 순환신경망(RNN; RecuREnt Neural Network), 트랜스포머(Transformer), 생성적 대립 신경망(GAN; generative adversarial networks) 등으로 구분될 수 있다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시의 의료 진단 장치(100)의 블록 구성을 나타내는 도면이고, 도 2는 본 개시의 의료 진단 장치(100)의 동작을 나타내는 개념도(200)이다.
도 1을 참조하면, 일 실시예에 따른 의료 진단 장치(100)는 프로세서(120), 메모리(110) 및 통신부(미도시)를 포함할 수 있다. 도 1에 도시되는 구성은 본 개시에 따른 실시예의 설명에 관한 구성을 도시한 것이고, 도시된 구성 외에 전자 장치의 기능을 수행하기 위한 다른 구성(예. 통신부)이 추가될 수 있으며, 도시된 구성들이 생략될 수도 있다.
일 실시예에 따른 메모리(110)는 의료 진단 장치(100)가 사용하는 저장 매체로서, 적어도 하나의 프로그램에 대응하는 적어도 하나의 명령어 또는 설정 정보 등과 같은 데이터를 저장할 수 있다. 상기 프로그램은 운영체제(OS: Operating System) 프로그램 및 다양한 응용 프로그램을 포함할 수 있다.
일 실시예에서, 메모리(110)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory, RAM), SRAM(static random access memory), 롬(read only memory, ROM), EEPROM(electrically erasable programmable ROM), PROM(programmable ROM), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
일 실시예에서, 통신부는 무선 통신부(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신부를 포함할 수 있다. 통신부는 네트워크(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치와 통신할 수 있다.
일 실시예에서, 통신부는 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 통신부는 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 통신부는 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다.
일 실시예에 따른 프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 의료 진단 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
일 실시예에서, 프로세서(120)는 데이터 처리 또는 연산의 적어도 일부로서, 다른 구성요소(예: 통신부)로부터 수신된 명령 또는 데이터를 휘발성 메모리에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
일 실시예에서, 프로세서(120)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 프로세서(120)는 CPU(Central Processing Unit), AP(Application Processor), 또는 마이크로프로세서(microprocessor) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 프로세서(120)는 이하 도면을 통해 설명되는 의료 진단 장치(100)의 동작을 수행할 수 있다. 예를 들어, 도 2의 개념도(200)에서 보듯이, 프로세서(120)는 말초혈액 슬라이드 이미지 데이터를 수신할 수 있다. 프로세서(120)는 상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행할 수 있다. 프로세서(120)는 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류할 수 있다. 여기서, 상기 앙상블 이미지 분류 모델은 적어도 하나의 ConvNext 모델 및 적어도 하나의 Transformer 모델을 포함할 수 있다.
이와 같이, 프로세서(120)는 ConvNext 모델과 Transformer 모델을 결합한 앙상블 이미지 분류 모델을 사용하여 세포 유형을 분류함으로써, 높은 정확도의 진단 결과를 제공할 수 있다. 특히, 프로세서(120)는 AML, ALL, IG, NORMAL과 같은 중요한 세포 유형을 신속하고 정확하게 분류할 수 있다.
또한, 프로세서(120)는 이미지 정규화, 노이즈 제거, 데이터 증강과 같은 전처리 기법을 통해 말초혈액 슬라이드 이미지 데이터를 효율적으로 처리하여 앙상블 이미지 분류 모델의 성능을 극대화할 수 있다. 이는 다양한 환경에서 일관된 진단 성능을 보장한다.
또한, 프로세서(120)는 소프트 보팅 방식을 사용하여 여러 모델의 예측 결과를 조합함으로써, 개별 모델의 약점을 보완하고 예측의 안정성과 신뢰성을 높일 수 있다.
또한, 프로세서(120)는 사용자가 타겟팅하는 세포 유형에 따라 앙상블 이미지 분류 모델의 가중치를 조정할 수 있는 기능을 제공함으로써, 특정 세포 유형의 예측력을 향상시킬 수 있다. 즉, 프로세서(120)는 사용자의 요구에 따라 세포 유형 분류를 유연하게 최적화할 수 있다.
또한, 프로세서(120)는 분류된 세포 유형을 시각화하여 사용자에게 제공함으로써, 진단 결과를 쉽게 이해할 수 있도록 한다. 또한, 프로세서(120)는 정확도, 정밀도, 재현율, F1 점수 등의 성능 지표를 제공함으로써, 앙상블 이미지 분류 모델의 성능을 평가할 수 있다.
도 3은 본 개시의 의료 진단 장치(100)의 동작을 나타내는 순서도이다. 도 4는 본 개시의 의료 진단 장치(100)가 분류하는 세포 유형 및 학습 세트의 예시(400)를 나타내는 도표이다. 도 5a 내지 도 5l은 본 개시의 의료 진단 장치(100)가 분류하는 제1 세포 유형 내지 제12 세포 유형의 예시 이미지(500a 내지 500l)이다. 도 6은 본 개시의 앙상블 이미지 분류 모델의 구성 및 동작(600)을 나타내는 도면이다.
도 3 내지 도 6을 참조하면, 본 개시에 따른 의료 진단 장치(100)는 말초혈액 슬라이드 이미지 데이터를 수신(동작 310)하고, 상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행(동작 320)하고, 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류(동작 330)할 수 있다. 예를 들어, 앙상블 이미지 분류 모델은 적어도 하나의 ConvNext 모델 및 적어도 하나의 Transformer 모델을 포함할 수 있다.
일 예에 따르면, 동작 310에서, 의료 진단 장치(100)는 말초혈액 슬라이드 이미지 데이터를 수신할 수 있다. 예를 들어, 외부의 이미지 획득 장치로부터 말초혈액 슬라이드 이미지 데이터를 수신할 수 있다. 예를 들어, 외부의 이미지 획득 장치는 현미경, 디지털 슬라이드 스캐너, 및 이미지 데이터 서버 중 적어도 하나로부터 말초혈액 슬라이드 이미지 데이터를 수신할 수 있다.
한편, 실시예에 따라, 의료 진단 장치(100)는 수신된 말초혈액 슬라이드 이미지 데이터에 대한 무결성 검사, 이미지 품질 검사, 메타 데이터 처리, 및 보안 처리 중 적어도 하나를 수행할 수 있다.
의료 진단 장치(100)는 말초혈액 슬라이드 이미지 데이터로부터 세포 유형을 학습하고, 세포 유형을 분류할 수 있다. 말초혈액 슬라이드 이미지 데이터는 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Neutrophil, Band neutrophil, Eosinophil, Basophil, Monocyte, Lymphocyte, Variant lymphocyte, Myeloblast, Lymphoblast, Myelocyte, Metamyelocyte, Promyelocyte 중 적어도 하나에 대한 이미지 데이터를 포함할 수 있다.
도 4에서 보듯이, 말초혈액 슬라이드 이미지 데이터는 33,869개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Neutrophil에 대한 13,220개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Band neutrophil에 대한 521개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Eosinophil에 대한 295개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Basophil에 대한 219개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Monocyte에 대한 1,849개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Lymphocyte에 대한 9,899개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Variant lymphocyte에 대한 777개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Myeloblast에 대한 3,510개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Lymphoblast에 대한 1,628개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Myelocyte에 대한 1,056개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Metamyelocyte에 대한 582개의 학습 세트를 포함할 수 있다. 예를 들어, 말초혈액 슬라이드 이미지 데이터는 Promyelocyte에 대한 313개의 학습 세트를 포함할 수 있다.
제1 세포는 Neutrophil(호중구)일 수 있다. 예를 들어, 도 5a를 참조하면, 제1 세포는 세분화된 핵과 과립을 가진 호중구(500a)일 수 있다. 예를 들어, 제1 세포는 박테리아와 같은 병원체를 탐지하고 파괴하는 선천 면역 시스템의 중요한 세포로서, 주로 감염 부위에서 염증 반응을 일으켜 병원체를 포식할 수 있다.
제2 세포는 Band Neutrophil (막대형 호중구)일 수 있다. 예를 들어, 도 5b를 참조하면, 제2 세포는 핵이 띠 모양으로 나타나며, 완전히 세분화되지 않은 형태의 막대형 호중구(500b)일 수 있다. 예를 들어, 제2 세포는 미성숙 호중구로, 감염이나 염증 반응 시 성숙한 호중구로 전환될 수 있다.
제3 세포는 Eosinophil(호산구)일 수 있다. 예를 들어, 도 5c를 참조하면, 제3 세포는 두 개의 엽을 가진 핵과 큰 호산성 과립을 포함하는 호산구(500c)일 수 있다. 예를 들어, 제3 세포는 기생충 감염에 대한 방어와 알레르기 반응에 관여하며, 히스타민과 같은 화합물을 분비하여 염증 반응을 조절할 수 있다.
제4 세포는 Basophil(호염구)일 수 있다. 예를 들어, 도 5d를 참조하면, 제4 세포는 다엽의 핵과 큰 염기성 과립을 가진 호염구(500d)일 수 있다. 예를 들어, 제4 세포는 알레르기 및 염증 반응에 관여하며, 히스타민과 헤파린을 방출하여 염증을 조절하고 혈액 응고를 방지할 수 있다.
제5 세포는 Monocyte(단핵구)일 수 있다. 예를 들어, 도 5e를 참조하면, 제5 세포는 큰 단일 핵을 가지고 있으며, 종종 콩 모양의 핵을 가지는 단핵구(500e)일 수 있다. 예를 들어, 제5 세포는 조직으로 이동하여 대식세포나 수지상세포로 분화하고, 병원체를 포식하고 면역 반응을 조절할 수 있다.
제6 세포는 Lymphocyte (림프구)일 수 있다. 예를 들어, 도 5f를 참조하면, 제6 세포는 큰 원형 핵과 상대적으로 적은 양의 세포질을 가지는 림프구(500f)일 수 있다. 예를 들어, 제6 세포는 적응 면역 시스템의 중요한 세포로, B 세포와 T 세포로 분화되어 항체 생성 및 세포 매개 면역 반응을 수행할 수 있다.
제7 세포는 Variant Lymphocyte(변형 림프구)일 수 있다. 예를 들어, 도 5g를 참조하면, 제7 세포는 비정상적으로 큰 세포질과 다양한 형태의 핵을 가지는 변형 림프구(500g)일 수 있다. 예를 들어, 제7 세포는 바이러스 감염이나 기타 자극에 반응하여 나타나는 비정형 림프구로서, 면역 반응을 강화할 수 있다.
제8 세포는 Myeloblast(골수모세포)일 수 있다. 예를 들어, 도 5h를 참조하면, 제8 세포는 큰 핵과 소량의 세포질을 가진 미성숙 세포(500h)일 수 있다. 예를 들어, 제8 세포는 골수에서 발생하는 미성숙 백혈구 전구체로, 다양한 유형의 골수성 백혈구로 분화할 수 있다.
제9 세포는 Lymphoblast(림프모세포)일 수 있다. 예를 들어, 도 5i를 참조하면, 제9 세포는 큰 핵과 소량의 세포질을 가진 미성숙 세포(500i)일 수 있다. 예를 들어, 제9 세포는 림프구의 전구체로, B 림프구 또는 T 림프구로 분화할 수 있다.
제10 세포는 Myelocyte(골수세포)일 수 있다. 예를 들어, 도 5j를 참조하면, 제10 세포는 비교적 큰 세포질과 고도로 발달된 핵을 가지는 골수세포(500j)일 수 있다. 예를 들어, 제10 세포는 중간 단계의 미성숙 골수성 백혈구로, 더 성숙한 과립구(예. 호중구, 호산구, 호염구)로 분화할 수 있다.
제11 세포는 Metamyelocyte(후골수세포)일 수 있다. 예를 들어, 도 5k를 참조하면, 제11 세포는 콩 모양의 핵과 더 많은 세포질을 가지는 후골수세포(500k)일 수 있다. 예를 들어, 제11 세포는 골수에서 성숙 과립구로 분화되는 마지막 단계의 세포일 수 있다.
제12 세포는 Promyelocyte (전골수세포)일 수 있다. 예를 들어, 도 5l를 참조하면, 제12 세포는 큰 세포질과 두드러진 과립을 가지는 전골수세포(500l)일 수 있다. 예를 들어, 제12 세포는 Myeloblast에서 유래하며, Myelocyte로 분화하기 전 단계의 세포일 수 있다.
일 예에 따르면, 동작 320에서, 의료 진단 장치(100)는 상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행할 수 있다. 예를 들어, 의료 진단 장치(100)는 이미지 정규화(Image Normalization)를 수행하는 제1 전처리, 노이즈 제거(Noise Reduction)를 수행하는 제2 전처리, 및 데이터 증강(Data Augmentation)을 수행하는 제3 전처리 중 적어도 하나를 수행할 수 있다.
일 실시예에서, 의료 진단 장치(100)는 이미지 정규화를 수행하는 제1 전처리를 수행할 수 있다. 이미지 정규화는 말초혈액 슬라이드 이미지 데이터를 일정한 범위로 조정하여 학습의 효율성을 높이고, 각 채널 간의 균형을 맞추는 전처리 과정일 수 있다. 예를 들어, 이미지 정규화에 따라, 앙상블 이미지 분류 모델은 말초혈액 슬라이드 이미지 데이터를 일관되게 처리하고, 학습 속도가 증가하며, 과적합(overfitting)을 방지할 수 있다.
예를 들어, 의료 진단 장치(100)는 말초혈액 슬라이드 이미지 데이터의 각 픽셀 값을 255로 나누고, 0에서 1 사이의 범위로 조정할 수 있다. 예를 들어, 의료 진단 장치(100)는 각 채널(예: RGB)의 평균(mean)과 표준 편차(standard deviation)를 계산하여, 각 픽셀 값에서 평균을 빼고 표준 편차로 나누는 정규화를 수행할 수 있다.
이미지 정규화는 데이터의 범위를 조정하여 모델 학습을 안정화시키고, 각 채널 간의 균형을 맞추어 앙상블 이미지 분류 모델이 특정 채널에 편향되지 않도록 할 수 있다.
일 실시예에서, 의료 진단 장치(100)는 노이즈 제거를 수행하는 제2 전처리를 수행할 수 있다. 노이즈 제거는 이미지에서 불필요한 노이즈를 제거하여 신호 대 잡음비(Signal-to-Noise Ratio)를 개선하고, 중요한 특징을 더 잘 보존하는 전처리 과정일 수 있다. 예를 들어, 노이즈 제거에 따라, 이미지의 선명도와 품질이 증가하며, 앙상블 이미지 분류 모델의 성능이 향상될 수 있다.
예를 들어, 의료 진단 장치(100)는 평균 필터(Average Filter)방식으로, 주변 픽셀의 평균 값을 사용하여 현재 픽셀 값을 대체할 수 있다. 예를 들어, 의료 진단 장치(100)는 가우시안 필터(Gaussian Filter) 방식으로, 가우시안 분포를 따른 커널을 사용하여 이미지의 각 픽셀을 주변 값들과 가중 평균하여 노이즈를 제거할 수 있다. 예를 들어, 의료 진단 장치(100)는 미디언 필터(Median Filter) 방식으로, 현재 픽셀을 중심으로 한 주변 픽셀 값들의 중간 값을 사용하여 노이즈를 제거할 수 있다. 예를 들어, 의료 진단 장치(100)는 비등방성 확산(Anisotropic Diffusion) 방식으로, 이미지의 경계 부분을 보존하면서 노이즈를 제거할 수 있다.
일 실시예에서, 의료 진단 장치(100)는 데이터 증강을 수행하는 제3 전처리를 수행할 수 있다. 데이터 증강은 기존의 이미지 데이터를 변형하여 새로운 학습 데이터를 생성함으로써 데이터 양을 증가시키는 전처리일 수 있다. 예를 들어, 데이터 증강에 따라, 앙상블 이미지 분류 모델의 일반화 성능이 향상되고, 과적합이 방지될 수 있다.
예를 들어, 의료 진단 장치(100)는 이미지를 일정 각도만큼 회전시킬 수 있다. 예를 들어, 의료 진단 장치(100)는 90도, 180도, 270도로 회전시키거나, 임의의 각도로 회전시켜 다양한 각도에서의 학습을 가능하게 할 수 있다.
예를 들어, 의료 진단 장치(100)는 이미지를 좌우 또는 상하로 뒤집을 수 있다. 예를 들어, 의료 진단 장치(100)는 이미지의 방향성을 다양화하여 모델의 방향성 편향을 감소시킬 수 있다.
예를 들어, 의료 진단 장치(100)는 이미지를 확대하거나 축소함으로써, 다양한 크기의 객체의 학습을 용이하게 할 수 있다.
예를 들어, 의료 진단 장치(100)는 이미지의 일부분을 잘라내어 사용함으로써, 다양한 위치에서의 객체 인식 학습을 용이하게 할 수 있다.
또한, 의료 진단 장치(100)는 밝기 및 대비 조정(Brightness and Contrast Adjustment), 노이즈 추가(Addition of Noise), 및 색상 변환(Color Jittering) 중 적어도 하나를 수행할 수 있다.
이러한 데이터 증강은 말초혈액 슬라이드 이미지를 다양한 방식으로 변형하여 데이터 양을 증가시키고, 앙상블 이미지 분류 모델의 일반화 성능을 향상시킬 수 있다.
일 예에 따르면, 동작 330에서, 의료 진단 장치(100)는 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류할 수 있다.
도 6을 참조하면, 의료 진단 장치(100)는 앙상블 이미지 분류 모델을 이용하여 전처리된 상기 말초혈액 슬라이드 이미지(610)를 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나로 분류할 수 있다.
AML군은 주로 골수성 계열의 미성숙 세포들로 구성될 수 있다. 예를 들어, AML군은 Myeloblast, Promyelocyte, Myelocyte, 및 Metamyelocyte를 포함할 수 있다.
ALL군은 림프구 계열의 미성숙 세포로 구성될 수 있다. 예를 들어, ALL군은 Lymphoblast를 포함할 수 있다.
IG군은 미성숙 과립구들로 구성될 수 있다. 예를 들어, IG군은 Myelocyte, Metamyelocyte, 및 Promyelocyte를 포함할 수 있다.
NORMAL군은 정상적인 백혈구 유형일 수 있다. 예를 들어, NORMAL군은 Neutrophil, Band neutrophil, Eosinophil, Basophil, Monocyte, Lymphocyte, 및 Variant lymphocyte를 포함할 수 있다.
의료 진단 장치(100)는 고성능 앙상블 이미지 분류 모델을 사용하여 말초혈액 슬라이드 이미지 데이터로부터 다양한 세포 유형을 정확하게 분류할 수 있다. 예를 들어, 의료 진단 장치(100)는 급성 백혈병(AL)을 포함하는 다양한 질병을 신속하고 정확한 진단할 수 있다.
한편, 의료 진단 장치(100)가 세포 유형 분류에 이용하는 앙상블 이미지 분류 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력(input)으로부터 예측하고자 하는 결과(output)를 추론할 수 있다.
의료 진단 장치(100)에 포함된 적어도 하나의 프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(RecuREnt Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다.
뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(RecuREnt Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated RecuREnt Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.
본 개시의 예시적인 실시예에 따르면, 의료 진단 장치(100)에 포함된 적어도 하나의 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(RecuREnt Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다.
도 6에서 보듯이, 의료 진단 장치(100)는 총 5개의 모델로 구성된 앙상블 이미지 분류 모델을 포함할 수 있다. 앙상블 이미지 분류 모델은 적어도 하나의 ConvNext 모델(620) 및 적어도 하나의 Transformer 모델(630)을 포함할 수 있다.
구체적으로, 상기 앙상블 이미지 분류 모델은 2개의 상기 ConvNext 모델, 2개의 DEIT 모델, 및 1개의 CAIT 모델을 포함할 수 있다. 예를 들어, 상기 ConvNext 모델은 ConvNext 224 및 ConvNext 352 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 DEIT 모델은 DEIT 224 및 DEIT 384 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 CAIT 모델은 CAIT 224를 포함할 수 있다.
전처리된 말초혈액 슬라이드 이미지 데이터는 5개의 개별 모델에 각각 입력될 수 있다. 예를 들어, 2개의 ConvNext 모델, 2개의 DEIT 모델, 및 1개의 CAIT 모델 각각은 입력된 말초혈액 슬라이드 이미지에 대해 독립적으로 예측을 수행하여, AML, ALL, IG, NORMAL의 세포 유형에 대한 확률 값을 출력할 수 있다.
일 실시예에서, 의료 진단 장치(100)는 5-stratified k-fold 교차 검증을 사용하여 상기 앙상블 이미지 분류 모델을 학습시킬 수 있다. 예를 들어, 의료 진단 장치(100)는 상기 말초혈액 슬라이드 이미지 데이터를 5개의 하위 집합(fold)에 상기 AML군, 상기 ALL군, 상기 IG군, 및 상기 NORMAL군의 비율이 동일하게 나누고, 5개의 상기 하위 집합에 대한 5-stratified k-fold 교차 검증을 사용하여 상기 앙상블 이미지 분류 모델을 학습시킬 수 있다.
구체적으로, 5-stratified k-fold 교차 검증은 데이터의 불균형 문제를 해결하고 앙상블 이미지 분류 모델의 일반화 성능을 향상시키기 위해, 각 하위 집합 내에서 AML군, ALL군, IG군, 및 NORMAL군의 비율을 동일하게 유지할 수 있다.
예를 들어, 의료 진단 장치(100)는 수집된 이미지 데이터를 5개의 하위 집합(fold)으로 나눌 수 있다. 의료 진단 장치(100)는 각 하위 집합의 세포 유형의 비율이 동일하게 유지되도록 설정할 수 있다.
의료 진단 장치(100)는 5개의 하위 집합에 대한 교차 검증을 통해 앙상블 이미지 분류 모델을 학습시킬 수 있다. 예를 들어, 의료 진단 장치(100)는 5개의 하위 집합 중 어느 하나를 검증 데이터로 사용하고, 나머지 4개의 하위 집합을 학습 데이터로 사용하여 앙상블 이미지 분류 모델을 학습시킬 수 있다. 5개의 하위 집합 각각은 순차적으로 검증 데이터로 사용될 수 있다. 즉, 의료 진단 장치(100)는 앙상블 이미지 분류 모델의 학습을 5번 반복하여 각 하위 집합이 한 번씩 검증 데이터로 사용되도록 할 수 있다.
의료 진단 장치(100)는 5-stratified k-fold 교차 검증 과정을 통해 말초혈액 슬라이드 이미지 데이터를 기반으로 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 신뢰성 있게 분류할 수 있다.
일 실시예에서, 의료 진단 장치(100)는 상기 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 상기 적어도 하나의 세포 유형을 분류할 때, 소프트 보팅(Soft Voting) 방식으로 최종 출력을 조합(640)할 수 있다. 예를 들어, 소프트 보팅 방식은 각 개별 모델의 예측 확률을 조합하여 최종 결정을 내리는 방법일 수 있다.
의료 진단 장치(100)는 5개의 개별 모델로 구성된 앙상블 이미지 분류 모델을 포함할 수 있다. 예를 들어, 의료 진단 장치(100)는 2개의 ConvNext 모델(예. ConvNext 224, ConvNext 352), 2개의 DEIT 모델(예. DEIT 224, DEIT 384), 및 1개의 CAIT 모델(예. CAIT 224)을 포함할 수 있다. 각 개별 모델은 말초혈액 슬라이드 이미지 데이터를 입력받고, 독립적으로 세포 유형에 대한 확률 값을 출력할 수 있다. 예를 들어, ConvNext 224 모델은 특정 이미지에 대해 AML일 확률이 0.7, ALL일 확률이 0.1, IG일 확률이 0.1, NORMAL일 확률이 0.1인 것으로 예측할 수 있다. 의료 진단 장치(100)는 5개의 개별 모델로부터 각 세포 유형에 대한 예측 확률 값을 수집할 수 있다.
의료 진단 장치(100)는 각 개별 모델의 예측 확률 값을 가중 평균하여 최종 확률 값을 계산할 수 있다. 가중 평균은 각 개별 모델의 중요도에 따라 사전 가중치를 부여하여 계산할 수 있다. 예를 들어, 의료 진단 장치(100)는 사전 가중치를 제1 ConvNext 모델에 0.2, 제2 ConvNext 모델에 0.1, 제1 DEIT 모델에 0.3, 제2 DEIT 모델에 0.3, 및 제1 CAIT 모델에 0.1로 부여할 수 있다. 의료 진단 장치(100)는 계산된 최종 확률 값 중 가장 높은 확률을 가진 세포 유형을 최종 예측으로 결정하고, 말초혈액 슬라이드 이미지 데이터를 상기 최종 예측된 세포 유형으로 분류할 수 있다. 예를 들어, 최종 확률 값이 AML은 0.62, ALL은 0.14, IG는 0.14, NORMAL은 0.1인 경우, 최종 예측된 세포 유형은 AML으로 결정될 수 있다.
일 실시예에서, 의료 진단 장치(100)는 사용자의 설정에 기초하여, 상기 앙상블 이미지 분류 모델의 사전 가중치를 다르게 부여함으로써, 상기 적어도 하나의 세포 유형 중 특정 세포 유형의 분류를 타겟팅할 수 있다.
예를 들어, 의료 진단 장치(100)는 사용자의 설정에 따라 앙상블 이미지 분류 모델의 사전 가중치를 다르게 부여하여, 특정 세포 유형의 분류 성능을 최적화하는 기능을 제공할 수 있다. 상기 타겟팅에 따른 사전 가중치 변경 기능은, 사용자가 특정 세포 유형에 대한 진단을 강화하고자 할 때 유용하며, 가중치를 유연하게 조정함으로써 앙상블 이미지 분류 모델의 예측 성능을 사용자 요구에 맞춰 조정할 수 있다.
예를 들어, 의료 진단 장치(100)는 특정 진단 목적에 따라 모델의 예측 성능을 조정함으로써, 진단의 유연성과 정확성을 향상시킬 수 있다. 예를 들어, 의료 진단 장치(100)는 사용자가 필요에 따라 개별 모델의 가중치를 조정함으로써, 다양한 임상 상황에 맞는 최적의 예측 결과를 도출할 수 있다.
일 실시예에서, 의료 진단 장치(100)는 상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형을 시각화하여 사용자에게 제공할 수 있다.
예를 들어, 의료 진단 장치(100)는 사용자 인터페이스(UI)를 통해 분류된 세포 유형을 시각화할 수 있다. 사용자 인터페이스는 고해상도의 그래픽을 지원하여 사용자가 분류 결과를 명확하게 디스플레이할 수 있다.
예를 들어, 의료 진단 장치(100)는 분류된 세포 유형을 원본 이미지와 함께 표시하여, 사용자가 진단 결과를 쉽게 비교할 수 있도록 할 수 있다. 예를 들어, 각 세포 유형은 색상 코딩, 레이블, 또는 다른 시각적 표시를 통해 명확하게 구분될 수 있다.
예를 들어, 의료 진단 장치(100)는 분류된 각 세포에 대한 세부 정보를 시각적 이미지와 함께 제공할 수 있다. 예를 들어, 세포에 대한 세부 정보는 세포 유형, 분류 확률, 모델의 신뢰도 등을 포함할 수 있다.
일 실시예에서, 의료 진단 장치(100)는 상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형에 대한 정확도, 정밀도, 재현율, 및 F1 점수 중 적어도 하나를 포함하는 성능 지표를 산출하고, 상기 성능 지표를 사용자에게 제공할 수 있다.
예를 들어, 정확도는 전체 예측 중에서 올바르게 분류된 세포의 비율을 나타낼 수 있다. 예를 들어, 정밀도는 양성 예측 중에서 실제 양성인 세포의 비율을 나타낼 수 있다. 예를 들어, 재현율은 실제 양성인 세포 중에서 올바르게 예측된 비율을 나타낼 수 있다. 예를 들어, F1 점수는 정밀도와 재현율의 조화 평균으로, 두 지표 간의 균형을 평가할 수 있다.
또한, 실시예에 따라, 의료 진단 장치(100)는 상기 성능 지표를 포함한 보고서를 생성할 수 있다. 예를 들어, 의료 진단 장치(100)는 PDF, Excel 등 다양한 형식으로 상기 보고서를 제공함으로써, 진단 결과를 문서화하고 효과적으로 공유할 수 있다.
도 7은 본 개시의 앙상블 이미지 분류 모델의 성능을 나타내는 도표(700)이고, 도 8은 본 개시의 앙상블 이미지 분류 모델의 세포 분류 결과를 나타내는 도표(800)이며, 도 9는 본 개시의 의료 진단 장치(100)의 전체 세포군에 대한 세포 분류 성능(900)을 나타내는 도면이다.
도 7 및 8을 참조하면, 앙상블 이미지 분류 모델은 소프트 보팅으로 최종 결과를 조합하였다. 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 convnexts는 Lymphoblast와 myeloblast 구분에 효과적인 ConvNext 모델과 Lymphoblast와 Lymphocyte 구분에 효과적인 Transformer 모델을 적절히 앙상블함으로써, 우수한 성능을 가질 수 있다.
예를 들어, 앙상블 이미지 분류 모델은 ConvNext 모델을 30% 및 Transformer 모델을 70% 비율로 조합할 수 있다. 구체적으로, 앙상블 이미지 분류 모델은 ConvNext 352를 10%, ConvNext 224를 20% 비율로 조합할 수 있다. 또한, 앙상블 이미지 분류 모델은 Deit 224를 25%, Deit 384를 20%, 및 Cait 224를 25% 비율로 조합할 수 있다.
도 7에서 보듯이, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 다른 인공지능 모델에 비하여 상대적으로 우수한 진단 결과를 나타내는 것을 확인할 수 있다. 또한, 도 8에서 보듯이, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 12개의 세포 유형 전반에 대하여 AUROC, 정밀도, 재현율, 및 F1 점수가 모두 우수한 것을 확인할 수 있다. 또한, 도 9에서 보듯이, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델이 12개 세포 유형 각각에 대해서 개별 모델보다 높은 점수를 나타내며,우수한 성능을 보이는 것을 알 수 있다.
도 10은 본 개시의 의료 진단 장치(100)의 AML 군에 대한 세포 분류 성능(1000)을 나타내는 도면이다.
도 10을 참조하면, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 True lable에서 myeloblast는 총 3510개 중에 myeloblast로 총 3140개를 예측하여, 89.5%의 정확도를 보이는 것을 알 수 있다. 또한, , 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 ALL의 계열로 잘못 인식한 Lymphoblast이 95개이고, 2.7%로서, 오류가 매우 낮은 수준인 것을 알 수 있다.
도 11은 본 개시의 의료 진단 장치(100)의 ALL 군에 대한 세포 분류 성능(1100)을 나타내는 도면이다.
도 11을 참조하면, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 True label에서 Lymphoblast는 총 1628개 중에 myeloblast로 총 1080개를 예측하여, 66.3%의 정확도를 보였다. 또한, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 Lymphoblast를 잘못 예측한 경우에도, lymphocyte 299, 18.4%로, 전문가의 판단에 따른 오류와 유사한 수준이다. 또한, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 AML의 계열로 잘못 인식된 Lymphoblast가 194개, 11.9%로 낮은 수준인 것을 알 수 있다.
도 12는 본 개시의 의료 진단 장치(100)의 IG 군에 대한 세포 분류 성능(1200)을 나타내는 도면이다.
도 12를 참조하면, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 IG(예. promyelocyte, myelocyte, metamyelocyte)의 예측율이 매우 높으며, 특히, promyelocyte에 대한 정확도가 높은 것을 알 수 있다. 또한, 본 개시의 의료 진단 장치(100)의 앙상블 이미지 분류 모델은 myelocyte와 metamyelocyte에서는 다소 다양한 세포들로 어사인(assign)하는 경향을 보였으나, 전반적으로 lymphoblast로는 거의 인지하지 않고(1개), 실제 myelocyte, promyelocyte, metamyelocyte를 매우 낮은 빈도로myeloblast로 판단하였다.
이와 같이, 본 개시의 의료 진단 장치(100) 및 이를 이용한 세포 유형 분류 방법은 ConvNext 모델과 Transformer 모델을 결합한 앙상블 이미지 분류 모델을 사용하여 AML, ALL, IG, 및 NORMAL 등의 세포 유형을 분류함으로써, 높은 정확도의 진단 결과를 제공할 수 있다.
또한, 본 개시의 의료 진단 장치(100) 및 이를 이용한 세포 유형 분류 방법은 이미지 정규화, 노이즈 제거, 데이터 증강과 같은 전처리 기법을 통해 이미지 데이터를 효율적으로 처리하고, 타겟팅하는 세포 유형에 따라 앙상블 모델의 가중치를 조정함으로써, 세포 유형의 분류를 최적화할 수 있다.
다만, 이에 대해서는 상술한 바 있으므로, 그에 대한 중복되는 설명은 생략하기로 한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 세포 유형을 분류하는 의료 진단 장치에 있어서,
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    말초혈액 슬라이드 이미지 데이터를 수신하고,
    상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행하고,
    앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류하고,
    상기 앙상블 이미지 분류 모델은,
    적어도 하나의 ConvNext 모델 및 적어도 하나의 Transformer 모델을 포함하는,
    의료 진단 장치.
  2. 제1항에 있어서,
    상기 앙상블 이미지 분류 모델은, 2개의 상기 ConvNext 모델, 2개의 DEIT 모델, 및 1개의 CAIT 모델을 포함하고,
    상기 ConvNext 모델은, ConvNext 224 및 ConvNext 352 중 적어도 하나를 포함하고,
    상기 DEIT 모델은, DEIT 224 및 DEIT 384 중 적어도 하나를 포함하고,
    상기 CAIT 모델은, CAIT 224를 포함하는,
    의료 진단 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전처리된 말초혈액 슬라이드 이미지 데이터를 Neutrophil, Band neutrophil, Eosinophil, Basophil, Monocyte, Lymphocyte, Variant lymphocyte, Myeloblast, Lymphoblast, Myelocyte, Metamyelocyte 및 Promyelocyte 중 적어도 하나로 분류하는,
    의료 진단 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 말초혈액 슬라이드 이미지 데이터를 5개의 하위 집합(fold)에 상기 AML군, 상기 ALL군, 상기 IG군, 및 상기 NORMAL군의 비율이 동일하게 나누고,
    상기 5개의 하위 집합에 대한 5-stratified k-fold 교차 검증을 사용하여 상기 앙상블 이미지 분류 모델을 학습시키는,
    의료 진단 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 상기 적어도 하나의 세포 유형을 분류할 때, 소프트 보팅 방식으로 최종 출력을 조합하는,
    의료 진단 장치.
  6. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    사용자의 설정에 기초하여, 상기 앙상블 이미지 분류 모델의 사전 가중치를 다르게 부여함으로써, 상기 적어도 하나의 세포 유형 중 특정 세포 유형의 분류를 타겟팅하는,
    의료 진단 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형을 시각화하여 사용자에게 제공하고,
    상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형에 대한 정확도, 정밀도, 재현율, 및 F1 점수 중 적어도 하나를 포함하는 성능 지표를 산출하고,
    상기 산출된 성능 지표를 사용자에게 제공하는,
    의료 진단 장치.
  8. 장치의 프로세서에 의해 수행되는 세포 유형을 분류하는 방법에 있어서,
    말초혈액 슬라이드 이미지 데이터를 수신하는 단계;
    상기 말초혈액 슬라이드 이미지 데이터에 대한 전처리를 수행하는 단계; 및
    앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 AML군, ALL군, IG군, 및 NORMAL군 중 적어도 하나의 세포 유형을 분류하는 단계;를 포함하고,
    상기 앙상블 이미지 분류 모델은,
    적어도 하나의 ConvNext 모델 및 적어도 하나의 Transformer 모델을 포함하는,
    세포 유형 분류 방법.
  9. 제8항에 있어서,
    상기 앙상블 이미지 분류 모델은, 2개의 상기 ConvNext 모델, 2개의 DEIT 모델, 및 1개의 CAIT 모델을 포함하고,
    상기 ConvNext 모델은, ConvNext 224 및 ConvNext 352 중 적어도 하나를 포함하고,
    상기 DEIT 모델은, DEIT 224 및 DEIT 384 중 적어도 하나를 포함하고,
    상기 CAIT 모델은, CAIT 224를 포함하는,
    세포 유형 분류 방법.
  10. 제8항에 있어서,
    상기 분류 단계는,
    상기 전처리된 말초혈액 슬라이드 이미지 데이터를 Neutrophil, Band neutrophil, Eosinophil, Basophil, Monocyte, Lymphocyte, Variant lymphocyte, Myeloblast, Lymphoblast, Myelocyte, Metamyelocyte 및 Promyelocyte 중 적어도 하나로 분류하는,
    세포 유형 분류 방법.
  11. 제8항에 있어서,
    상기 분류 단계는,
    상기 말초혈액 슬라이드 이미지 데이터를 5개의 하위 집합(fold)에 상기 AML군, 상기 ALL군, 상기 IG군, 및 상기 NORMAL군의 비율이 동일하게 나누고,
    상기 5개의 하위 집합에 대한 5-stratified k-fold 교차 검증을 사용하여 상기 앙상블 이미지 분류 모델을 학습시키는,
    세포 유형 분류 방법.
  12. 제8항에 있어서,
    상기 분류 단계는,
    상기 앙상블 이미지 분류 모델을 이용하여 상기 말초혈액 슬라이드 이미지 데이터로부터 상기 적어도 하나의 세포 유형을 분류할 때, 소프트 보팅 방식으로 최종 출력을 조합하는,
    세포 유형 분류 방법.
  13. 제8항에 있어서,
    상기 분류 단계는,
    사용자의 설정에 기초하여, 상기 앙상블 이미지 분류 모델의 사전 가중치를 다르게 부여함으로써, 상기 적어도 하나의 세포 유형 중 특정 세포 유형의 분류를 타겟팅하는,
    세포 유형 분류 방법.
  14. 제8항에 있어서,
    상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형을 시각화하여 사용자에게 제공하는 단계; 및
    상기 말초혈액 슬라이드 이미지 데이터로부터 분류된 상기 적어도 하나의 세포 유형에 대한 정확도, 정밀도, 재현율, 및 F1 점수 중 적어도 하나를 포함하는 성능 지표를 산출하고, 상기 산출된 성능 지표를 사용자에게 제공하는 단계를 더 포함하는,
    세포 유형 분류 방법.
  15. 제8항 내지 제14항 중 어느 한 항에 기재된 장치의 프로세서에 의해 수행되는 세포 유형 분류 방법을 구현하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
PCT/KR2025/007634 2024-06-07 2025-06-04 앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법 Pending WO2025254443A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2024-0074606 2024-06-07
KR1020240074606A KR20250175400A (ko) 2024-06-07 2024-06-07 앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법

Publications (1)

Publication Number Publication Date
WO2025254443A1 true WO2025254443A1 (ko) 2025-12-11

Family

ID=97961394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/007634 Pending WO2025254443A1 (ko) 2024-06-07 2025-06-04 앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법

Country Status (2)

Country Link
KR (1) KR20250175400A (ko)
WO (1) WO2025254443A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107132A1 (en) * 2020-11-17 2022-05-27 Scopio Labs Ltd. Detecting scan area within hematology slides in digital microscopy
KR20230065865A (ko) * 2021-11-05 2023-05-12 고려대학교 세종산학협력단 머신러닝 기반의 렌즈프리 그림자 이미징 기술을 이용한 백혈병 진단 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107132A1 (en) * 2020-11-17 2022-05-27 Scopio Labs Ltd. Detecting scan area within hematology slides in digital microscopy
KR20230065865A (ko) * 2021-11-05 2023-05-12 고려대학교 세종산학협력단 머신러닝 기반의 렌즈프리 그림자 이미징 기술을 이용한 백혈병 진단 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Classification ‐Model", GITHUB.COM, 30 April 2024 (2024-04-30), XP093379073, Retrieved from the Internet <URL:https://github.com/SOYOUNGdev/study-machine_learning/wiki/분류%28Classification-‐Model%29> *
PARK SEON-HYE: "AI Model Developed with '99.1%' Diagnostic Accuracy for Acute Leukemia", MONEWS.CO.KR, 26 October 2021 (2021-10-26), XP093379071 *
WU JO-HSUAN, KOSEOGLU NESLIHAN D., JONES CRAIG, LIU T. Y. ALVIN: "Vision transformers: The next frontier for deep learning-based ophthalmic image analysis", SAUDI JOURNAL OF OPHTHALMOLOGY, ELSEVIER, AMSTERDAM, NL, vol. 37, no. 3, 1 July 2023 (2023-07-01), AMSTERDAM, NL , pages 173 - 178, XP093379072, ISSN: 1319-4534, DOI: 10.4103/sjopt.sjopt_91_23 *

Also Published As

Publication number Publication date
KR20250175400A (ko) 2025-12-17

Similar Documents

Publication Publication Date Title
WO2022012668A1 (zh) 一种训练集处理方法和装置
KR102895093B1 (ko) 테스트 시간 증강 교차 엔트로피 및 노이즈혼합 기반 노이즈 라벨 학습 방법, 장치 및 프로그램
Venkatesh et al. An ensemble transfer learning for nutrient deficiency identification and yield-loss prediction in crop
Paneru et al. Analysis of convolutional neural network-based image classifications: a multi-featured application for rice leaf disease prediction and recommendations for farmers
Silambarasan et al. Polycystic ovary syndrome detection using optimized SVM and DenseNet
Jayanthy et al. Tea leaf disease classification and tea bud identification
Lakehal et al. Fusion of deep features for yellow rust severity estimation in wheat leaves
Ahmmed et al. Skin disease detection and classification of actinic keratosis and psoriasis utilizing deep transfer learning
Sun et al. A lightweight model for distracted driver detection based on neural architecture search and coordinate attention
WO2025254443A1 (ko) 앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법
Hossen et al. Paddy leaf diseases detection using otsu and yen thresholding with deep convolutional neural network
Shaffi et al. VisTAD: a vision transformer pipeline for the classification of Alzheimer’s disease
Yamuna et al. performance analysis of task offloading in mobile edge cloud computing for brain tumor classification using deep learning
WO2024101840A1 (ko) 인공지능 기반의 성분 분석 및 의학적 근거를 활용하여 식품의 의학적 효능을 산출하는 장치, 방법 및 프로그램
Nguyen et al. Feature extraction with triplet loss to classify disease on leaf data
Ahmed et al. Facial Expression Recognition using deep Convolutional Neural Network.
Kalyanasundaram et al. Straight through Estimator Based Convolution Neural Network with Parameterized Clipping Activation Function for Plant Disease Detection and Classification.
Sahu et al. Ensemble Transfer Learning Coupled Osprey Optimization Algorithm for Feature Selection from Skin Cancer Image Datasets
Abdullayev et al. Enhancing Time Series Classification with Diversity-Driven Neural Network Ensembles
WO2025147161A1 (ko) 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법
WO2025147158A1 (ko) 인공지능 기반 유방 동결절편 검사 및 진단 장치 및 방법
WO2025147163A1 (ko) 인공지능 기반 췌장 동결절편 검사 및 진단 장치 및 방법
WO2025147160A1 (ko) 인공지능 기반 림프절 동결절편 검사 및 진단 장치 및 방법
WO2025147157A1 (ko) 인공지능 기반 난소 동결절편 검사 및 진단 장치 및 방법
WO2025147155A1 (ko) 인공지능 기반 폐 동결절편 검사 및 진단 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25820277

Country of ref document: EP

Kind code of ref document: A1