WO2021071288A1 - 골절 진단모델의 학습 방법 및 장치 - Google Patents

골절 진단모델의 학습 방법 및 장치 Download PDF

Info

Publication number
WO2021071288A1
WO2021071288A1 PCT/KR2020/013741 KR2020013741W WO2021071288A1 WO 2021071288 A1 WO2021071288 A1 WO 2021071288A1 KR 2020013741 W KR2020013741 W KR 2020013741W WO 2021071288 A1 WO2021071288 A1 WO 2021071288A1
Authority
WO
WIPO (PCT)
Prior art keywords
fracture
learning model
learning
unit
general
Prior art date
Application number
PCT/KR2020/013741
Other languages
English (en)
French (fr)
Inventor
김원태
강신욱
이명재
김동민
남동연
Original Assignee
(주)제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이 filed Critical (주)제이엘케이
Publication of WO2021071288A1 publication Critical patent/WO2021071288A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/505—Clinical applications involving diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/922—Computer assisted medical diagnostics including image analysis

Definitions

  • the present disclosure relates to a technology for learning a deep learning model, and more specifically, to a method and an apparatus for learning about a fracture using a medical image.
  • Deep learning is to learn a very large amount of data, and when new data is input, the highest probability is selected based on the learning result.
  • Such deep learning can operate adaptively according to an image, and since it automatically finds a characteristic factor in the process of learning a model based on data, there are increasing attempts to utilize this in the field of artificial intelligence in recent years.
  • the technical problem of the present disclosure is to provide a learning method and apparatus capable of constructing a high-performance learning model using a small number of labeling data.
  • a method for learning a fracture diagnosis model may be provided.
  • the method is a method of learning a learning model for diagnosing a fracture using a medical image, which is based on a fracture medical image photographing a fractured region in a body region, and the fracture medical treatment corresponding to various body regions.
  • the process of learning a general fracture learning model using an image, and fixing the weight of the artificial neural network provided in the general fracture learning model, and a value output from the general fracture learning model is a part of the structure that is input to the characteristic learning model.
  • the process of constructing a fracture learning model inputting a fracture medical image corresponding to a specific part of the body region into the general fracture learning model, and setting the corresponding fracture diagnosis result as a target variable of the characteristic learning model
  • it may include a process of performing learning on the fracture learning model for each region.
  • an apparatus for learning a fracture diagnosis model may be provided.
  • the device is a device for learning a learning model for diagnosing a fracture using a medical image, which is based on a fracture medical image obtained by photographing a fractured region in a body region, and the fracture medical image corresponding to various body regions Using a general fracture learning unit to learn a general fracture learning model, and receiving a general fracture learning model from the general fracture learning unit, fixing the weight of the artificial neural network provided in the general fracture learning model, and learning the general fracture
  • a region-based fracture learning model management unit that configures a region-based fracture learning model of a structure in which a value output from the model is input to the feature learning model, and the general fracture learning model and the feature learning model to which the weight of the artificial neural network is fixed.
  • the part-unit fracture learning model by inputting a part-unit fracture medical image corresponding to a specific part of the body region to the part-unit fracture learning model, and setting the corresponding fracture diagnosis result as a target variable of the feature learning model. It may include a part-unit fracture learning unit for learning about.
  • a lesion learning method and apparatus capable of constructing a high-performance learning model using a small number of labeling data may be provided.
  • FIG. 1 is a block diagram showing a configuration of an apparatus for learning a fracture diagnosis model according to an embodiment of the present disclosure.
  • FIG. 2A is a diagram illustrating a configuration of a data set used for learning a general fracture learning model according to an embodiment of the present disclosure.
  • 2B to 2E are diagrams illustrating medical images used as the learning data set of FIG. 2A.
  • FIG. 3A is a diagram illustrating a configuration of a data set used for learning a part-unit fracture learning model according to an embodiment of the present disclosure.
  • 3B to 3E illustrate medical images used as the learning data set of FIG. 3A.
  • FIG. 4 is a diagram illustrating a structure of a fracture learning model in units of parts configured by the fracture diagnosis model learning apparatus according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a procedure of a method for learning a fracture diagnosis model according to an embodiment of the present disclosure.
  • FIG. 6 is a block diagram illustrating a computing system that executes an apparatus and method for learning a fracture diagnosis model according to an embodiment of the present disclosure.
  • a component when a component is said to be “connected”, “coupled” or “connected” with another component, it is not only a direct connection relationship, but also an indirect connection relationship in which another component exists in the middle. It can also include.
  • a certain component when a certain component “includes” or “have” another component, it means that other components may be further included rather than excluding other components unless otherwise stated. .
  • first and second are used only for the purpose of distinguishing one component from other components, and do not limit the order or importance of the components unless otherwise noted. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly, a second component in one embodiment is referred to as a first component in another embodiment. It can also be called.
  • components that are distinguished from each other are intended to clearly describe each feature, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated into one hardware or software unit, or one component may be distributed to form a plurality of hardware or software units. Therefore, even if not stated otherwise, such integrated or distributed embodiments are also included in the scope of the present disclosure.
  • components described in various embodiments do not necessarily mean essential components, and some may be optional components. Accordingly, an embodiment consisting of a subset of components described in an embodiment is also included in the scope of the present disclosure. In addition, embodiments including other elements in addition to the elements described in the various embodiments are included in the scope of the present disclosure.
  • FIG. 1 is a block diagram showing a configuration of an apparatus for learning a fracture diagnosis model according to an embodiment of the present disclosure.
  • an apparatus 10 for learning a fracture diagnosis model may include a general fracture learning unit 11, a fracture learning model management unit 13 for each region, and a fracture learning unit 15 for each region.
  • the general fracture learning unit 11 is a component that processes learning about the general fracture learning model 110, based on a convolutional neural network (CNN) method or a pooling method, The training for the general fracture learning model 110 is processed using the training data.
  • CNN convolutional neural network
  • the general fracture learning model 110 is a learning model capable of diagnosing fractures occurring in various body regions using a fracture medical image (eg, x-ray image) photographing a fractured region in the body region. , It may be learned to detect a global feature related to a fracture in a fracture medical image.
  • the general fracture learning unit 11 inputs a medical image (eg, an x-ray image) to the general fracture learning model 110 and provides an environment in which a task related to a fracture in the medical image can be input as a target variable. Can provide.
  • a classification task that classifies the state of a fracture a fracture object detection task that detects a fractured object in a medical image, and a fracture occurs in a medical image.
  • a segmentation task for extracting the generated region may be included.
  • the general fracture learning unit 11 may provide an environment in which the general fracture learning model 110 can be configured differently for each task.
  • the general fracture learning unit 11 may provide a menu or UI for selecting a type of task, and may set the general fracture learning model 110 according to a task selected through the menu or UI.
  • the general fracture learning unit 11 may provide a menu or UI through which a target variable suitable for the selected task can be input, and the information input through the menu or UI is set as a target variable, and the general fracture learning model ( 110) can be learned.
  • the region-based fracture learning model management unit 13 combines the general fracture learning model 110 provided as a basic layer of the artificial neural network and the feature learning model 151 provided as an extension layer of the artificial neural network. ) Can be configured, and in this case, the general fracture learning model 110 can be set to be relatively advanced compared to the feature learning model 151.
  • the part-unit fracture learning model management unit 13 fixes and uses the weight of the artificial neural network provided in the general fracture learning model 110. There is no need to proceed with the learning of the learning model 110 any more. In consideration of this, the part-unit fracture learning model management unit 13 may provide a control command to the general fracture learning unit 11 so that learning of the general fracture learning model 110 is no longer performed.
  • the general fracture learning unit 11 continuously learns about the general fracture learning model 110, and periodically updates the artificial neural network provided in the general fracture learning model 110 to learn the fracture learning model by region. (150) can also be configured.
  • the region-based fracture learning model management unit 13 may provide the region-based fracture learning model 150 configured as described above to the region-based fracture learning unit 15.
  • the part-unit fracture learning unit 15 can learn about the part-unit fracture learning model 150 configured by the part-unit fracture learning model management unit 13, and the part-unit fracture learning model 150 is a part-unit medical image. It may be configured to receive the input and detect the corresponding part-unit fracture. To this end, the part-unit fracture learning unit 15 receives a medical image (hereinafter referred to as a ⁇ part-unit medical image'') photographing a specific part (eg, the region where the rib is located) among the body regions, and receives part-by-part medical treatment. It is possible to provide an environment in which a target variable reflecting a task related to a fracture in an image can be input.
  • a target variable reflecting a task related to a fracture in an image can be input.
  • various tasks related to fracture can be performed, including classification tasks for classifying fracture states, fracture object detection tasks for detecting fractured objects in medical images, and fractures occurring in medical images. It may include a segmentation task that extracts the selected area.
  • the region-based fracture learning unit 15 may provide an environment in which the region-based fracture learning model 150 can be configured differently for each task.
  • the part-unit fracture learning unit 15 may provide a menu or UI for selecting the type of task, and may set the part-unit fracture learning model 150 according to the task selected through the menu or UI.
  • the part-unit fracture learning unit 15 may provide a menu or UI for inputting a target variable suitable for the selected task, and set the information input through the menu or UI as a target variable to learn part-unit fracture. Learning on the model 150 may be performed.
  • the fracture learning unit 15 for each region may input, as a target variable, information about classifying a state of a fracture, information specifying an object where a fracture has occurred, information specifying an area where a fracture has occurred, and the like.
  • the general fracture learning model 110 provided as the basic layer of the artificial neural network is configured in a fixed form.
  • the feature learning model 151 provided as an extension layer is learned on a densenet basis, the feature learning model 151 includes a feature specialized for fracture of a specific part (eg, a region where a rib is located) among the body regions. It is structured to be able to extract.
  • the region-based fracture learning unit 15 may further include a loss function calculation unit 16 that calculates a loss function, and considers the loss function provided by the loss function calculation unit 16. Learning about the unit fracture learning model 150 may be performed.
  • the learning section 15 is part units fracture to calculate a first loss function (Loss function step1) and features the second loss function for a learning model (151) (Loss function step2) for common fractures learning model 110
  • a final loss function may be calculated by applying a weight to the calculated first and second loss functions (Loss function step1 and Loss function step2).
  • Final loss of function units fracture site learning section 15 calculates the (Loss function end) can be achieved through the operation of Equation 1 below.
  • W1 and W2 are weights applied to the first and second loss functions, respectively, and may be set to values proportional to the number of layers included in the general fracture learning model 110 and the feature learning model 151.
  • FIG. 2A is a diagram illustrating a configuration of a data set used for learning a general fracture learning model according to an embodiment of the present disclosure
  • FIGS. 2B to 2E illustrate medical images used as the training data set of FIG. 2A.
  • the first learning data set 200 may include at least one fracture medical image 201, 202, 203, and at least one fracture medical image 201, 202, 203 May be a medical image (eg, X-ray) of a user's body in which a fracture exists.
  • a medical image eg, X-ray
  • the first learning data set 200 may include a plurality of labeling data 211, 212, 213, ..., 221, 222, 223, ..., 231, 232, 233, . have. Labeling data (211, 212, 213, ..., 221, 222, 223, ..., 231, 232, 233, 7) can be classified corresponding to each task, and a general fracture learning model ( It may be provided as a target variable of the general fracture learning model 110 according to the task selected during the learning of 110).
  • labeling data 211, 212 of the first task corresponding to the input of at least one fracture medical image 201, 202, 203 , 213) can be set and provided as a target variable.
  • the labeling data 221 of the second task corresponding to the input of at least one fracture medical image 201, 202, 203, 222, 223) may be set and provided as target variables.
  • labeling data (231, 232) of the third task corresponding to the input of at least one fracture medical image (201, 202, 203) , 233) may be set and provided as a target variable.
  • FIG. 3A is a diagram illustrating a configuration of a data set used for learning a part-unit fracture learning model according to an embodiment of the present disclosure
  • FIGS. 3B to 3E illustrate medical images used as the training data set of FIG. 3A. .
  • the second learning data set 310 may include at least one part-unit fracture medical image 301,302, 303, and at least one part-unit fracture medical image 301,302, 303 is a user It may be a medical image (eg, X-ray) of a state in which a fracture has occurred in a specific area of the body of the person.
  • the specific region may be a region in which ribs are present.
  • the second learning data set 300 may include a plurality of labeling data (311, 312, 313, ..., 321, 322, 323, ..., 331, 332, 333, ...) have.
  • Labeling data (311, 312, 313, ..., 321, 322, 323, ..., 331, 332, 333, 7) can be classified in response to each task, and part-unit fracture learning model It may be provided as a target variable of the part-unit fracture learning model 150 according to the task selected during the learning of (150). For example, when a classification task is selected during the learning of the fracture learning model 150 by region, the labeling data of the first task corresponding to the input of at least one fracture medical image (301, 302, 303) ( 311, 312, 313) can be set and provided as target variables.
  • labeling data (321, 322, 323) of the second task corresponding to the input of at least one part-unit fracture medical image (301, 302, 303) is used as a target variable.
  • the labeling data (331, 332, 333) of the third task corresponding to the input of at least one part-unit fracture medical image (301, 302, 303) is set as the target variable. And can be provided.
  • FIG. 4 is a diagram illustrating a structure of a fracture learning model in units of parts configured by the fracture diagnosis model learning apparatus according to an embodiment of the present disclosure.
  • the region where the rib is located among the body regions may not be accurately detected in the fracture medical image (eg, x-ray image), so it is necessary to learn the characteristics of the rib fracture in order to more accurately detect the fracture of the region where the rib is located.
  • the rib fracture medical image may be relatively smaller than that of a general fracture medical image, and problems such as overfitting may occur when learning a learning model using only a small amount of rib fracture medical images.
  • the learning model in order for the learning model to more accurately detect a rib fracture, a large amount of data is required, but it is difficult to secure a large amount of characteristic data, so it is difficult to construct a learning model specialized for a rib fracture.
  • the part-unit fracture learning model management unit learns fractures occurring in various areas of the body to build the base layer 410 of the artificial neural network, and then a specific area, for example, a rib
  • the extended layer 420 is constructed by additionally learning the located region.
  • the part-unit fracture learning model management unit 13 preferentially learns a general fracture learning model 410 capable of detecting a global feature related to a fracture.
  • the general fracture learning model 410 is provided to construct a region-based fracture learning model 400. That is, the part-unit fracture learning model management unit 13 builds the general fracture learning model 410 by first proceeding with the general fracture learning model 410, and calculates the weight of the artificial neural network provided in the general fracture learning model 410. It may be fixed to be provided at the front end of the fracture learning model 400 for each region.
  • the region-based fracture learning model management unit 13 may configure an extension layer of the artificial neural network by combining the feature learning model 420 at the rear end of the general fracture learning model 410 provided as a basic layer of the artificial neural network.
  • the region-based fracture learning model 400 receives an input of a region-based medical image, detects an additional feature from information preferentially output through the general fracture learning model 410, and detects the detected element.
  • the feature learning model 420 may be constructed by applying a predetermined weight to the fields.
  • FIG. 5 is a flowchart illustrating a procedure of a method for learning a fracture diagnosis model according to an embodiment of the present disclosure.
  • a method of learning a fracture diagnostic model according to an exemplary embodiment of the present disclosure may be performed by the above-described apparatus for learning a fracture diagnostic model.
  • the fracture diagnosis model learning apparatus processes learning about the general fracture learning model.
  • the fracture diagnosis model learning apparatus processes learning about the general fracture learning model 110 related to a general fracture based on a convolutional neural network (CNN) technique or a pooling technique.
  • CNN convolutional neural network
  • the fracture diagnosis model learning apparatus may use the training data set illustrated in FIGS. 2A to 2E as input data or target variables of the general fracture learning model.
  • a classification task that classifies the state of a fracture a fracture object detection task that detects a fractured object in a medical image, and a fracture occurs in a medical image.
  • a segmentation task for extracting the generated region may be included.
  • the fracture diagnosis model learning apparatus may provide an environment in which a general fracture learning model can be configured differently for each task.
  • the fracture diagnosis model learning apparatus may provide a menu or UI for selecting a task type, and may set a general fracture learning model according to a task selected through the menu or UI.
  • the fracture diagnosis model learning device may provide a menu or UI for inputting a target variable suitable for a selected task, and learning about a general fracture learning model by setting information input through such a menu or UI as a target variable. You can do it.
  • step S501 since the general fracture learning model learns information on fractures occurring in various body regions, it may be learned to detect a global feature related to a fracture in a fracture medical image.
  • the region where the rib is located may not be accurately detected in the fracture medical image (eg, x-ray image), so it is necessary to learn the characteristics of the rib fracture in order to more accurately detect the fracture of the region where the rib is located.
  • the rib fracture medical image may be relatively smaller than that of a general fracture medical image, and problems such as overfitting may occur when learning a learning model using only a small amount of rib fracture medical images.
  • the learning model in order for the learning model to more accurately detect a rib fracture, a large amount of data is required, but it is difficult to secure a large amount of characteristic data, so it is difficult to construct a learning model specialized for a rib fracture.
  • the fracture diagnosis model learning apparatus can construct a segment-based fracture learning model by combining a general fracture learning model provided as a basic layer of an artificial neural network and a feature learning model provided as an extension layer of the artificial neural network.
  • the fracture diagnosis model learning apparatus may be set so that the general fracture learning model is relatively preceded by the characteristic learning model.
  • the apparatus for learning a fracture diagnosis model may learn about a fracture learning model in units of parts.
  • the fracture diagnosis model learning apparatus receives an input of a part-unit medical image, detects an additional feature from information preferentially output through a general fracture learning model, and a predetermined weight on the detected elements.
  • the feature learning model can be constructed by applying.
  • a classification task for classifying a fracture state may include a segmentation task to extract.
  • the fracture diagnosis model learning apparatus can configure a fracture learning model for each part differently for each task.
  • the fracture diagnosis model learning apparatus may provide a menu or UI for selecting a type of task, and may set a part-unit fracture learning model according to a task selected through the menu or UI.
  • the fracture diagnosis model learning device may provide a menu or UI for inputting a target variable suitable for a selected task, and information input through the menu or UI is set as a target variable to Learning can be carried out.
  • the fracture diagnosis model learning apparatus may input information about classifying a state of a fracture, information specifying an object where a fracture has occurred, information specifying an area where a fracture has occurred, and the like as a target variable.
  • the general fracture learning model provided as the basic layer of the artificial neural network is constructed in a fixed form and extended. Since the feature learning model provided as a layer is learned based on densenet, the feature learning model is configured to extract features specialized for fractures of a specific part of the body region (eg, the region where the ribs are located).
  • the fracture diagnosis model learning apparatus may calculate a loss function (S504), and update the fracture learning model for each region in consideration of the calculated loss function (S505).
  • fractures diagnosis model learning device may calculate the first loss function (Loss function step1) and features the second loss function for a learning model (Loss function step2) for common fractures learning model, the calculated A final loss function may be calculated by applying a weight to the first and second loss functions (Loss function step1 and Loss function step2). Calculation of the final function loss (Loss function end) can be achieved through the operation of the foregoing equation (1).
  • Steps S503 to S505 may be repeatedly performed until the operation of the apparatus for learning a fracture diagnosis model is terminated.
  • FIG. 6 is a block diagram illustrating a computing system that executes an apparatus and method for learning a fracture diagnosis model according to an embodiment of the present disclosure.
  • the computing system 1000 includes at least one processor 1100, a memory 1300, a user interface input device 1400, a user interface output device 1500, and storage connected through a bus 1200. (1600), and a network interface (1700).
  • the processor 1100 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 1300 and/or the storage 1600.
  • the memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media.
  • the memory 1300 may include read only memory (ROM) and random access memory (RAM).
  • the steps of the method or algorithm described in connection with the embodiments disclosed herein may be directly implemented in hardware executed by the processor 1100, a software module, or a combination of the two.
  • the software module resides in a storage medium such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM (i.e., memory 1300 and/or storage 1600). You may.
  • An exemplary storage medium is coupled to the processor 1100, which can read information from and write information to the storage medium.
  • the storage medium may be integral with the processor 1100.
  • the processor and storage media may reside within an application specific integrated circuit (ASIC).
  • the ASIC may reside within the user terminal.
  • the processor and storage medium may reside as separate components within the user terminal.
  • the exemplary methods of the present disclosure are expressed as a series of operations for clarity of description, this is not intended to limit the order in which steps are performed, and each step may be performed simultaneously or in a different order if necessary.
  • the exemplary steps may include additional steps, other steps may be included excluding some steps, or may include additional other steps excluding some steps.
  • various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof.
  • one or more ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • general purpose It may be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor, or the like.
  • the scope of the present disclosure is software or machine-executable instructions (e.g., operating systems, applications, firmware, programs, etc.) that cause an operation according to the method of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium (non-transitory computer-readable medium) which stores instructions and the like and is executable on a device or a computer.
  • a non-transitory computer-readable medium non-transitory computer-readable medium

Abstract

본 발명에 따르면, 골절 진단모델의 학습 방법이 제공될 수 있다. 상기 골절 진단모델의 학습 방법은, 의료영상을 사용하여 골절을 진단하는 학습모델을 학습하는 방법에 있어서, 신체 영역에서 골절이 발생된 영역을 촬영한 골절 의료영상을 기반으로 하되, 다양한 신체 영역에 대응되는 상기 골절 의료영상을 사용하여 일반골절 학습모델을 학습하는 과정과, 상기 일반골절 학습모델에 구비되는 인공신경망의 가중치를 고정하고, 상기 일반골절 학습모델에서 출력되는 값이 특징 학습모델에 입력되는 구조의 부위단위 골절 학습모델을 구성하는 과정과, 상기 신체 영역 중 특정된 부위에 대응되는 부위단위 골절 의료영상을 상기 일반골절 학습모델에 입력하고, 이에 대응되는 골절 진단 결과를 상기 특징 학습모델의 목적변수로 설정하여 상기 부위단위 골절 학습모델에 대한 학습을 수행하는 과정을 포함할 수 있다.

Description

골절 진단모델의 학습 방법 및 장치
본 개시는 딥러닝 모델 학습 기술에 관한 것이며, 보다 구체적으로는 의료영상을 사용하여 골절에 대한 학습을 수행하는 방법과 장치에 대한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
그러나, 학습된 모델이 정확한 정확한 결과를 도출하기 위해서는, 대용량의 데이터 학습이 요구된다.
특히, 인공지능 기술을 의료분야에 적용하기 위해서는, 전문가에 의해 확인된 대량의 데이터(즉, 라벨링 데이터)가 필수적으로 요구되나, 시간 및 비용적인 문제로 인하여 전문가에 의해 확인된 대량의 데이터를 구축하기가 용이하지 않은 문제가 있다.
또한, 신체 영역 중, 골절 또는 병변이 자주 발생되지 않는 부위는, 해당 부위를 촬영한 의료영상이 부족하여, 의료영상을 사용하여 학습모델을 구축하기 어려운 문제가 있다.
본 개시의 기술적 과제는 소수의 라벨링 데이터를 사용하여 고성능의 학습모델을 구축할 수 있는 학습 방법 및 장치를 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 골절 진단모델 학습방법이 제공될 수 있다. 상기 방법은, 의료영상을 사용하여 골절을 진단하는 학습모델을 학습하는 방법에 있어서, 신체 영역에서 골절이 발생된 영역을 촬영한 골절 의료영상을 기반으로 하되, 다양한 신체 영역에 대응되는 상기 골절 의료영상을 사용하여 일반골절 학습모델을 학습하는 과정과, 상기 일반골절 학습모델에 구비되는 인공신경망의 가중치를 고정하고, 상기 일반골절 학습모델에서 출력되는 값이 특징 학습모델에 입력되는 구조의 부위단위 골절 학습모델을 구성하는 과정과, 상기 신체 영역 중 특정된 부위에 대응되는 부위단위 골절 의료영상을 상기 일반골절 학습모델에 입력하고, 이에 대응되는 골절 진단 결과를 상기 특징 학습모델의 목적변수로 설정하여 상기 부위단위 골절 학습모델에 대한 학습을 수행하는 과정을 포함할 수 있다.
본 개시의 다른 양상에 따르면, 골절 진단모델 학습장치다 제공될 수 있다. 상기 장치는 의료영상을 사용하여 골절을 진단하는 학습모델을 학습하는 장치에 있어서, 신체 영역에서 골절이 발생된 영역을 촬영한 골절 의료영상을 기반으로 하되, 다양한 신체 영역에 대응되는 상기 골절 의료영상을 사용하여 일반골절 학습모델을 학습하는 일반골절 학습부와, 상기 일반골절 학습부로부터 일반골절 학습모델을 제공받고, 상기 일반골절 학습모델에 구비되는 인공신경망의 가중치를 고정하고, 상기 일반골절 학습모델에서 출력되는 값이 특징 학습모델에 입력되는 구조의 부위단위 골절 학습모델을 구성하는 부위단위 골절 학습모델 관리부와, 상기 인공신경망의 가중치가 고정된 상기 일반골절 학습모델과 상기 특징 학습모델을 구비하는 부위단위 골절 학습모델에, 상기 신체 영역 중 특정된 부위에 대응되는 부위단위 골절 의료영상을 입력하고, 이에 대응되는 골절 진단 결과를 상기 특징 학습모델의 목적변수로 설정하여 상기 부위단위 골절 학습모델에 대한 학습을 수행하는 부위단위 골절 학습부를 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 소수의 라벨링 데이터를 사용하여 고성능의 학습모델을 구축할 수 있는 병변 학습 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 골절 진단모델 학습장치의 구성을 나타내는 블록도이다.
도 2a는 본 개시의 일 실시예에 따른 일반골절 학습모델의 학습에 사용되는 데이터 셋의 구성을 예시하는 도면이다.
도 2b 내지 도 2e는 도 2a의 학습 데이터 셋의로 사용되는 의료영상을 예시하는 도면이다.
도 3a는 본 개시의 일 실시예에 따른 부위단위 골절 학습모델의 학습에 사용되는 데이터 셋의 구성을 예시하는 도면이다.
도 3b 내지 도 3e는 도 3a의 학습 데이터 셋의로 사용되는 의료영상을 예시한다.
도 4는 본 개시의 일 실시예에 따른 골절 진단모델 학습장치에 의해 구성되는 부위단위 골절 학습모델의 구조를 예시하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 골절 진단모델 학습방법의 순서를 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 골절 진단모델 학습장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 골절 진단모델 학습장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 골절 진단모델의 학습장치(10)는 일반골절 학습부(11), 부위단위 골절 학습모델 관리부(13) 및 부위단위 골절 학습부(15)를 포함할 수 있다.
일반골절 학습부(11)는 일반골절 학습모델(110)에 대한 학습을 처리하는 구성부로서, 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 일반골절과 관련된 학습 데이터를 사용하여 일반골절 학습모델(110)에 대한 학습을 처리한다.
이때, 일반골절 학습모델(110)은 신체 영역에서 골절이 발생된 영역을 촬영한 골절 의료영상(예, x-ray 영상)을 사용하여 다양한 신체 영역에서 발생되는 골절을 진단할 수 있는 학습모델로서, 골절 의료영상에서 골절과 관련된 글로벌(Global)한 요소(feature)를 검출하도록 학습될 수 있다. 이를 위해, 일반골절 학습부(11)는 일반골절 학습모델(110)에 의료영상(예, x-ray 영상)을 입력하고, 의료영상에서 골절과 관련된 태스크를 목적변수로서 입력할 수 있는 환경을 제공할 수 있다.
나아가, 골절과 관련된 태스크는 다양하게 이루어질 수 있는데, 골절의 상태를 분류하는 분류(classification) 태스크, 의료영상에서 골절이 발생된 객체를 검출하는 골절 객체 검출(object detection) 태스크, 의료영상에서 골절이 발생된 영역을 추출하는 세그멘테이션(segmentation) 태스크를 포함할 수 있다.
일반골절 학습부(11)는 태스크 별로 일반골절 학습모델(110)을 다르게 구성할 수 있는 환경을 제공할 수 있다. 예를 들어, 일반골절 학습부(11)는 태스크의 종류를 선택하는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 선택된 태스크에 맞추어 일반골절 학습모델(110)을 설정할 수 있다. 그리고, 일반골절 학습부(11)는 선택된 태스크에 맞는 목적변수를 입력할 수 있는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 입력되는 정보를 목적변수로서 설정하여 일반골절 학습모델(110)에 대한 학습을 수행할 수 있다.
부위단위 골절 학습모델 관리부(13)는 인공 신경망의 기본 레이어로서 구비되는 일반골절 학습모델(110)과 인공 신경망의 확장 레이어로서 구비되는 특징 학습모델(151)을 조합하여 부위단위 골절 학습모델(150)을 구성할 수 있으며, 이때, 일반골절 학습모델(110)이 특징 학습모델(151)에 비하여 상대적으로 선행되도록 설정할 수 있다.
나아가, 부위단위 골절 학습모델 관리부(13)는 일반골절 학습모델(110)의 학습이 미리 정해진 수준에 도달하면 일반골절 학습모델(110)에 구비된 인공 신경망의 가중치를 고정하여 사용하므로, 일반골절 학습모델(110)의 학습을 더 이상 진행할 필요가 없다. 이를 고려하여, 부위단위 골절 학습모델 관리부(13)는 일반골절 학습부(11)로 일반골절 학습모델(110)의 학습을 더 이상 진행하지 않도록, 제어 명령을 제공할 수 있다.
다른 예로서, 일반골절 학습부(11)는 일반골절 학습모델(110)에 대한 학습을 지속적으로 진행하며, 주기적으로 일반골절 학습모델(110)에 구비된 인공 신경망을 업데이트하여 부위단위 골절 학습모델(150)을 구성할 수도 있다.
부위단위 골절 학습모델 관리부(13)는 전술한 바와 같이 구성된 부위단위 골절 학습모델(150)을 부위단위 골절 학습부(15)에 제공할 수 있다.
부위단위 골절 학습부(15)는 부위단위 골절 학습모델 관리부(13)에서 구성된 부위단위 골절 학습모델(150)에 대한 학습을 수행할 수 있는데, 부위단위 골절 학습모델(150)은 부위단위 의료영상을 입력받고 그에 대응되는 부위단위 골절을 검출하도록 구성될 수 있다. 이를 위해, 부위단위 골절 학습부(15)는 신체 영역 중 특정된 부위(예, 늑골이 위치한 영역)를 촬영한 의료영상(이하, '부위단위 의료영상'이라함)을 입력받고, 부위단위 의료영상에서 골절과 관련된 태스크를 반영한 목적변수를 입력할 수 있는 환경을 제공할 수 있다.
전술한 바와 같이, 골절과 관련된 태스크는 다양하게 이루어질 수 있는데, 골절의 상태를 분류하는 분류(classification) 태스크, 의료영상에서 골절이 발생된 객체를 검출하는 골절 객체 검출 태스크, 의료영상에서 골절이 발생된 영역을 추출하는 세그멘테이션 태스크를 포함할 수 있다.
부위단위 골절 학습부(15)는 태스크별로 부위단위 골절 학습모델(150)을 다르게 구성할 수 있는 환경을 제공할 수 있다. 예를 들어, 부위단위 골절 학습부(15)는 태스크의 종류를 선택하는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 선택된 태스크에 맞추어 부위단위 골절 학습모델(150)을 설정할 수 있다. 그리고, 부위단위 골절 학습부(15)는 선택된 태스크에 맞는 목적변수를 입력할 수 있는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 입력되는 정보를 목적변수로서 설정하여 부위단위 골절 학습모델(150)에 대한 학습을 수행할 수 있다. 예컨대, 부위단위 골절 학습부(15)는 목적변수로서, 골절의 상태를 분류한 정보, 골절이 발생된 객체를 지정한 정보, 골절이 발생된 영역을 지정한 정보 등을 입력할 수 있다.
인공 신경망이 깊어질수록 태스크(task)에 더 특화된 요소(feature)를 추출할 수 있는데, 전술한 봐와 같이, 인공 신경망의 기본 레이어로서 구비되는 일반골절 학습모델(110)이 고정된 형태로 구성되고, 확장 레이어로서 구비되는 특징 학습모델(151)이 densenet기반으로 학습되므로, 특징 학습모델(151)은 신체 영역 중 특정된 부위(예, 늑골이 위치한 영역)의 골절에 특화된 요소(feature)를 추출할 수 있도록 구성된다.
나아가, 부위단위 골절 학습부(15)는 손실함수(Loss function)를 산출하는 손실함수 산출부(16)를 더 포함할 수 있으며, 손실함수 산출부(16)가 제공하는 손실함수를 고려하여 부위단위 골절 학습모델(150)에 대한 학습을 수행할 수 있다.
예컨대, 부위단위 골절 학습부(15)는 일반골절 학습모델(110)에 대한 제1손실함수(Loss functionstep1) 및 특징 학습모델(151)에 대한 제2손실함수(Loss functionstep2)를 산출할 수 있으며, 산출된 제1 및 제2손실함수(Loss functionstep1, Loss functionstep2)에 가중치를 적용하여 최종 손실함수를 산출할 수 있다. 부위단위 골절 학습부(15)의 최종 손실함수(Loss function최종)의 산출은 하기의 수학식 1의 연산을 통해 이루어질 수 있다.
Figure PCTKR2020013741-appb-M000001
여기서, W1 및 W2는 각각 제1 및 제2손실함수에 적용되는 가중치이며, 일반골절 학습모델(110) 및 특징 학습모델(151)에 구비된 레이어의 개수에 비례하는 값으로 설정될 수 있다.
도 2a는 본 개시의 일 실시예에 따른 일반골절 학습모델의 학습에 사용되는 데이터 셋의 구성을 예시하며, 도 2b 내지 도 2e는 도 2a의 학습 데이터 셋의로 사용되는 의료영상을 예시한다.
우선, 도 2a를 참조하면, 제1학습 데이터 셋(200)은, 적어도 하나의 골절 의료영상(201, 202, 203)을 포함할 수 있는데, 적어도 하나의 골절 의료영상(201, 202, 203)은 골절이 존재하는 사용자의 신체를 촬영한 의료영상(예, X-ray)일 수 있다.
또한, 제1학습 데이터 셋(200)은 복수의 라벨링 데이터(211, 212, 213, ..., 221, 222, 223, ..., 231, 232, 233, ...)를 포함할 수 있다. 라벨링 데이터(211, 212, 213, ..., 221, 222, 223, ..., 231, 232, 233, ...)는 각각의 태스크에 대응하여 구분될 수 있으며, 일반골절 학습모델(110)의 학습시 선택되는 태스크에 맞춰 일반골절 학습모델(110)의 목적변수로서 제공될 수 있다. 예컨대, 일반골절 학습모델(110)의 학습시 분류(classification) 태스크가 선택될 경우, 적어도 하나의 골절 의료영상(201, 202, 203)의 입력에 대응되는 제1태스크의 라벨링 데이터(211, 212, 213)가 목적변수로서 설정 및 제공될 수 있다. 일반골절 학습모델(110)의 학습시 골절 객체 검출(object detection) 태스크가 선택될 경우, 적어도 하나의 골절 의료영상(201, 202, 203)의 입력에 대응되는 제2태스크의 라벨링 데이터(221, 222, 223)가 목적변수로서 설정 및 제공될 수 있다. 마찬가지로, 일반골절 학습모델(110)의 학습시 세그멘테이션(segmentation) 태스크가 선택될 경우, 적어도 하나의 골절 의료영상(201, 202, 203)의 입력에 대응되는 제3태스크의 라벨링 데이터(231, 232, 233)가 목적변수로서 설정 및 제공될 수 있다.
도 3a는 본 개시의 일 실시예에 따른 부위단위 골절 학습모델의 학습에 사용되는 데이터 셋의 구성을 예시하며, 도 3b 내지 도 3e는 도 3a의 학습 데이터 셋의로 사용되는 의료영상을 예시한다.
도 3a를 참조하면, 제2학습 데이터 셋(310)은, 적어도 하나의 부위단위 골절 의료영상(301,302, 303)을 포함할 수 있는데, 적어도 하나의 부위단위 골절 의료영상(301,302, 303)은 사용자의 신체 중, 특정 영역에 골절이 발생된 상태를 촬영한 의료영상(예, X-ray)일 수 있다. 예컨대, 특정 영역은 늑골이 존재하는 영역일 수 있다.
그리고, 제2학습 데이터 셋(300)은 복수의 라벨링 데이터(311, 312, 313, ..., 321, 322, 323, ..., 331, 332, 333, ...)를 포함할 수 있다. 라벨링 데이터(311, 312, 313, ..., 321, 322, 323, ..., 331, 332, 333, ...)는 각각의 태스크에 대응하여 구분될 수 있으며, 부위단위 골절 학습모델(150)의 학습시 선택되는 태스크에 맞춰 부위단위 골절 학습모델(150)의 목적변수로서 제공될 수 있다. 예컨대, 부위단위 골절 학습모델(150)의 학습시 분류(classification) 태스크가 선택될 경우, 적어도 하나의 부위단위 골절 의료영상(301, 302, 303)의 입력에 대응되는 제1태스크의 라벨링 데이터(311, 312, 313)가 목적변수로서 설정 및 제공될 수 있다. 골절 객체 검출(object detection) 태스크가 선택될 경우, 적어도 하나의 부위단위 골절 의료영상(301, 302, 303)의 입력에 대응되는 제2태스크의 라벨링 데이터(321, 322, 323)가 목적변수로서 설정 및 제공될 수 있다. 마찬가지로, 세그멘테이션(segmentation) 태스크가 선택될 경우, 적어도 하나의 부위단위 골절 의료영상(301, 302, 303)의 입력에 대응되는 제3태스크의 라벨링 데이터(331, 332, 333)가 목적변수로서 설정 및 제공될 수 있다.
도 4는 본 개시의 일 실시예에 따른 골절 진단모델 학습장치에 의해 구성되는 부위단위 골절 학습모델의 구조를 예시하는 도면이다.
우선, 신체 영역 중, 늑골이 위치한 영역은 골절 의료영상(예, x-ray 영상)에서 정확하게 감지되지 않을 수 있으므로, 늑골이 위치한 영역의 골절을 보다 정확하게 감지하기 위해서 늑골 골절의 특징을 학습하는게 필요하다. 그러나, 늑골 골절 의료영상은 일반적인 골절 의료영상에 비하여 상대적으로 적을 수 있으며, 소량의 늑골 골절 의료영상만을 사용하여 학습모델을 학습할 경우 오버핏팅(Overfiiting) 등의 문제가 발생할 수 있다. 또한, 학습모델이 늑골 골절을 보다 정확하게 감지하기 위해서는 대용량의 데이터가 필요하나, 특성산 대용량의 데이터를 확보하기가 어려우므로 늑골 골절에 특화된 학습모델을 구축하기 어려운 문제가 있다.
이를 고려하여, 본 개시의 일 실시예에 따른 부위단위 골절 학습모델 관리부는 신체의 다양한 영역에서 발생되는 골절을 학습하여 인공 신경망의 기본 레이어(410)를 구축한 후, 특정 영역, 예컨대, 늑골이 위치한 영역을 추가로 학습하여 확장 레이어(420)를 구축하도록 구성한다.
구체적으로, 본 개시의 일 실시예에 따른 부위단위 골절 학습모델 관리부(13)는 골절과 관련된 글로벌(Global)한 요소(feature)를 검출할 수 있는 일반골절 학습모델(410)의 학습을 우선적으로 수행한 후, 일반골절 학습모델(410)을 구비하여 부위단위 골절 학습모델(400)을 구성한다. 즉, 부위단위 골절 학습모델 관리부(13)는 일반골절 학습모델(410)을 우선적으로 진행하여 일반골절 학습모델(410)을 구축하고, 일반골절 학습모델(410)에 구비된 인공 신경망의 가중치를 고정하여 부위단위 골절 학습모델(400)의 전단부에 마련할 수 있다.
이후, 부위단위 골절 학습모델 관리부(13)는 인공 신경망의 기본 레이어로서 구비되는 일반골절 학습모델(410)의 후단부에 특징 학습모델(420)을 조합하여 인공 신경망의 확장 레이어를 구성할 수 있다. 이러한 구조에 기초하여, 부위단위 골절 학습모델(400)은 부위단위 의료영상의 입력받아, 일반골절 학습모델(410)을 통해 우선적으로 출력되는 정보로부터 추가적인 요소(feature)를 검출하고, 검출된 요소들에 소정의 가중치를 적용하여 특징 학습모델(420)을 구축할 수 있다.
도 5는 본 개시의 일 실시예에 따른 골절 진단모델 학습방법의 순서를 나타내는 흐름도이다.
본 개시의 일 실시예에 따른 골절 진단모델 학습방법은 전술한 골절 진단모델 학습장치에 의해 수행될 수 있다.
우선, S501 단계에서, 골절 진단모델 학습장치는 일반골절 학습모델에 대한 학습을 처리한다. 예를 들어, 골절 진단모델 학습장치는 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 일반골절과 관련된 일반골절 학습모델(110)에 대한 학습을 처리한다. 이때, 골절 진단모델 학습장치는 전술한 도 2a 내지 도 2e에 예시되는 학습 데이터 셋을 일반골절 학습모델의 입력 데이터 또는 목적변수로 사용할 수 있다.
나아가, 골절과 관련된 태스크는 다양하게 이루어질 수 있는데, 골절의 상태를 분류하는 분류(classification) 태스크, 의료영상에서 골절이 발생된 객체를 검출하는 골절 객체 검출(object detection) 태스크, 의료영상에서 골절이 발생된 영역을 추출하는 세그멘테이션(segmentation) 태스크를 포함할 수 있다.
골절 진단모델 학습장치는 태스크 별로 일반골절 학습모델을 다르게 구성할 수 있는 환경을 제공할 수 있다. 예를 들어, 골절 진단모델 학습장치는 태스크의 종류를 선택하는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 선택된 태스크에 맞추어 일반골절 학습모델을 설정할 수 있다. 그리고, 골절 진단모델 학습장치는 선택된 태스크에 맞는 목적변수를 입력할 수 있는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 입력되는 정보를 목적변수로서 설정하여 일반골절 학습모델에 대한 학습을 수행할 수 있다.
S501 단계를 통해, 일반골절 학습모델은 다양한 신체 영역에서 발생되는 골절에 대한 정보를 학습하므로, 골절 의료영상에서 골절과 관련된 글로벌(Global)한 요소(feature)를 검출하도록 학습될 수 있다.
신체 영역 중, 늑골이 위치한 영역은 골절 의료영상(예, x-ray 영상)에서 정확하게 감지되지 않을 수 있으므로, 늑골이 위치한 영역의 골절을 보다 정확하게 감지하기 위해서 늑골 골절의 특징을 학습하는게 필요하다. 그러나, 늑골 골절 의료영상은 일반적인 골절 의료영상에 비하여 상대적으로 적을 수 있으며, 소량의 늑골 골절 의료영상만을 사용하여 학습모델을 학습할 경우 오버핏팅(Overfiiting) 등의 문제가 발생할 수 있다. 또한, 학습모델이 늑골 골절을 보다 정확하게 감지하기 위해서는 대용량의 데이터가 필요하나, 특성산 대용량의 데이터를 확보하기가 어려우므로 늑골 골절에 특화된 학습모델을 구축하기 어려운 문제가 있다.
이를 고려하여, S502 단계에서, 골절 진단모델 학습장치는 인공 신경망의 기본 레이어로서 구비되는 일반골절 학습모델과 인공 신경망의 확장 레이어로서 구비되는 특징 학습모델을 조합하여 부위단위 골절 학습모델을 구성할 수 있다. 이때, 골절 진단모델 학습장치는 일반골절 학습모델이 특징 학습모델에 비하여 상대적으로 선행되도록 설정할 수 있다.
이후, S503 단계에서, 골절 진단모델 학습장치는 부위단위 골절 학습모델에 대한 학습을 수행할 수 있다. 전술한 구조에 기초하여, 골절 진단모델 학습장치는 부위단위 의료영상의 입력받아, 일반골절 학습모델을 통해 우선적으로 출력되는 정보로부터 추가적인 요소(feature)를 검출하고, 검출된 요소들에 소정의 가중치를 적용하여 특징 학습모델을 구축할 수 있다.
전술한 바와 같이, 골절과 관련된 태스크는 다양하게 이루어질 수 있는데, 골절의 상태를 분류하는 분류 태스크, 의료영상에서 골절이 발생된 객체를 검출하는 골절 객체 검출 태스크, 의료영상에서 골절이 발생된 영역을 추출하는 세그멘테이션 태스크를 포함할 수 있다.
골절 진단모델 학습장치는 태스크별로 부위단위 골절 학습모델을 다르게 구성할 수 있다. 예를 들어, 골절 진단모델 학습장치는 태스크의 종류를 선택하는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 선택된 태스크에 맞추어 부위단위 골절 학습모델을 설정할 수 있다. 그리고, 골절 진단모델 학습장치는 선택된 태스크에 맞는 목적변수를 입력할 수 있는 메뉴 또는 UI를 제공할 수 있으며, 이러한 메뉴 또는 UI를 통해 입력되는 정보를 목적변수로서 설정하여 부위단위 골절 학습모델에 대한 학습을 수행할 수 있다. 예컨대, 골절 진단모델 학습장치는 목적변수로서, 골절의 상태를 분류한 정보, 골절이 발생된 객체를 지정한 정보, 골절이 발생된 영역을 지정한 정보 등을 입력할 수 있다.
인공 신경망이 깊어질수록 태스크(task)에 더 특화된 요소(feature)를 추출할 수 있는데, 전술한 봐와 같이, 인공 신경망의 기본 레이어로서 구비되는 일반골절 학습모델이 고정된 형태로 구성되고, 확장 레이어로서 구비되는 특징 학습모델이 densenet기반으로 학습되므로, 특징 학습모델은 신체 영역 중 특정된 부위(예, 늑골이 위치한 영역)의 골절에 특화된 요소(feature)를 추출할 수 있도록 구성된다.
나아가, 골절 진단모델 학습장치는 손실함수(Loss function)를 산출(S504)할 수 있으며, 산출된 손실함수를 고려하여 부위단위 골절 학습모델을 업데이트(S505) 할 수 있다.
예컨대, S504 단계에서, 골절 진단모델 학습장치는 일반골절 학습모델에 대한 제1손실함수(Loss functionstep1) 및 특징 학습모델에 대한 제2손실함수(Loss functionstep2)를 산출할 수 있으며, 산출된 제1 및 제2손실함수(Loss functionstep1, Loss functionstep2)에 가중치를 적용하여 최종 손실함수를 산출할 수 있다. 최종 손실함수(Loss function최종)의 산출은 전술한 수학식 1의 연산을 통해 이루어질 수 있다.
S503 내지 S505 단계는 골절 진단모델 학습장치의 동작이 종료될때까비 반복적으로 진행될 수 있다.
도 6은 본 개시의 일 실시예에 따른 골절 진단모델 학습장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (14)

  1. 의료영상을 사용하여 골절을 진단하는 학습모델을 학습하는 방법에 있어서,
    신체 영역에서 골절이 발생된 영역을 촬영한 골절 의료영상을 기반으로 하되, 다양한 신체 영역에 대응되는 상기 골절 의료영상을 사용하여 일반골절 학습모델을 학습하는 과정과,
    상기 일반골절 학습모델에 구비되는 인공신경망의 가중치를 고정하고, 상기 일반골절 학습모델에서 출력되는 값이 특징 학습모델에 입력되는 구조의 부위단위 골절 학습모델을 구성하는 과정과,
    상기 신체 영역 중 특정된 부위에 대응되는 부위단위 골절 의료영상을 상기 일반골절 학습모델에 입력하고, 이에 대응되는 골절 진단 결과를 상기 특징 학습모델의 목적변수로 설정하여 상기 부위단위 골절 학습모델에 대한 학습을 수행하는 과정을 포함하는 것을 특징으로 하는 골절 진단모델의 학습 방법.
  2. 제1항에 있어서,
    상기 부위단위 골절 학습모델에 대한 학습을 수행하는 과정은,
    상기 일반골절 학습모델이 상기 부위단위 골절 의료영상에 대응되는 제1결과를 제공하는 과정과,
    상기 특징 학습모델이 상기 제1결과에 대응되는 상기 골절 진단 결과를 학습하는 과정을 포함하는 것을 특징으로 하는 골절 진단모델의 학습 방법.
  3. 제1항에 있어서,
    상기 부위단위 골절 학습모델에 대한 학습을 수행하는 과정은,
    상기 일반골절 학습모델에 대한 제1손실함수(Loss Function)를 산출하는 과정과,
    상기 특징 학습모델에 대한 제2손실함수를 산출하는 과정과,
    상기 제1손실함수 및 제2손실함수에 각각 가중치를 적용하여 최종 손실함수를 산출하는 과정을 포함하는 것을 특징으로 하는 골절 진단모델의 학습 방법.
  4. 제3항에 있어서,
    상기 최종 손실함수를 산출하는 과정은,
    상기 일반골절 학습모델 및 특징 학습모델에 포함된 레이어의 수에 기초하여, 상기 제1손실함수 및 제2손실함수에 적용되는 가중치를 결정하는 과정을 포함하는 것을 특징으로 하는 골절 진단모델의 학습 방법.
  5. 제4항에 있어서,
    상기 제1손실함수 및 제2손실함수에 적용되는 가중치를 결정하는 과정은,
    상기 일반골절 학습모델 및 특징 학습모델에 포함된 레이어의 수에 비례하여 상기 제1손실함수 및 제2손실함수에 적용되는 가중치를 결정하는 것을 특징으로 하는 골절 진단모델의 학습 방법.
  6. 제1항에 있어서,
    상기 부위단위 골절 학습모델에 대한 학습을 수행하는 과정은,
    상기 부위단위 골절 학습모델의 학습을 위한 태스크 종류를 확인하는 과정과,
    확인된 상기 태스크 종류에 맞는 상기 목적변수를 설정하는 과정과,
    결정된 상기 목적변수를 반영하여 상기 특징 학습모델에 대한 학습을 수행하는 과정을 포함하는 것을 특징으로 하는 골절 진단모델의 학습 방법.
  7. 제6항에 있어서,
    상기 태스크 종류는,
    상기 골절의 상태를 단계적으로 분류하는 분류(classification), 상기 골절인 존재하는 객체을 검출하는 골절 객체 검출(object detection), 및, 상기 골절이 존재하는 영역을 추출하는 세그멘테이션(segmentation)을 포함하는 것을 특징으로 하는 골절 진단모델의 학습 방법.
  8. 의료영상을 사용하여 골절을 진단하는 학습모델을 학습하는 장치에 있어서,
    신체 영역에서 골절이 발생된 영역을 촬영한 골절 의료영상을 기반으로 하되, 다양한 신체 영역에 대응되는 상기 골절 의료영상을 사용하여 일반골절 학습모델을 학습하는 일반골절 학습부와,
    상기 일반골절 학습부로부터 일반골절 학습모델을 제공받고, 상기 일반골절 학습모델에 구비되는 인공신경망의 가중치를 고정하고, 상기 일반골절 학습모델에서 출력되는 값이 특징 학습모델에 입력되는 구조의 부위단위 골절 학습모델을 구성하는 부위단위 골절 학습모델 관리부와,
    상기 인공신경망의 가중치가 고정된 상기 일반골절 학습모델과 상기 특징 학습모델을 구비하는 부위단위 골절 학습모델에, 상기 신체 영역 중 특정된 부위에 대응되는 부위단위 골절 의료영상을 입력하고, 이에 대응되는 골절 진단 결과를 상기 특징 학습모델의 목적변수로 설정하여 상기 부위단위 골절 학습모델에 대한 학습을 수행하는 부위단위 골절 학습부를 포함하는 것을 특징으로 하는 골절 진단모델의 학습 장치.
  9. 제8항에 있어서,
    상기 부위단위 골절 학습부는,
    상기 부위단위 골절 의료영상을 상기 일반골절 학습모델에 입력으로 설정하고,
    상기 일반골절 학습모델을 통해 출력되는 제1결과를 상기 특징 학습모델에 입력으로 설정하고,
    상기 골절 진단 결과를 목적변수로 설정하는 특징으로 하는 골절 진단모델의 학습 장치.
  10. 제8항에 있어서,
    상기 부위단위 골절 학습부는,
    상기 일반골절 학습모델에 대한 제1손실함수(Loss Function), 상기 특징 학습모델에 대한 제2손실함수, 및 상기 제1 및 제2손실함수에 각각 가중치를 적용하여 최종 손실함수를 산출하는 손실함수 산출부를 더 포함하는 것을 특징으로 하는 골절 진단모델의 학습 장치.
  11. 제10항에 있어서,
    상기 손실함수 산출부는,
    상기 일반골절 학습모델 및 특징 학습모델에 포함된 레이어의 수에 기초하여, 상기 제1손실함수 및 제2손실함수에 적용되는 가중치를 결정하는 것을 특징으로 하는 골절 진단모델의 학습 장치.
  12. 제11항에 있어서,
    상기 손실함수 산출부는,
    상기 일반골절 학습모델 및 특징 학습모델에 포함된 레이어의 수에 비례하여 상기 제1손실함수 및 제2손실함수에 적용되는 가중치를 결정하는 것을 특징으로 하는 골절 진단모델의 학습 장치.
  13. 제8항에 있어서,
    상기 부위단위 골절 학습부는,
    상기 부위단위 골절 학습모델의 학습을 위한 태스크 종류를 확인하고,
    확인된 상기 태스크 종류에 맞는 상기 목적변수를 설정하고,
    결정된 상기 목적변수를 반영하여 상기 특징 학습모델에 대한 학습을 수행하는 것을 특징으로 하는 골절 진단모델의 학습 장치.
  14. 제13항에 있어서,
    상기 태스크 종류는,
    상기 골절의 상태를 단계적으로 분류하는 분류(classification), 상기 골절인 존재하는 객체을 검출하는 골절 객체 검출(object detection), 및, 상기 골절이 존재하는 영역을 추출하는 세그멘테이션(segmentation)을 포함하는 것을 특징으로 하는 골절 진단모델의 학습 장치.
PCT/KR2020/013741 2019-10-08 2020-10-08 골절 진단모델의 학습 방법 및 장치 WO2021071288A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0124720 2019-10-08
KR1020190124720A KR102119057B1 (ko) 2019-10-08 2019-10-08 골절 진단모델의 학습 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021071288A1 true WO2021071288A1 (ko) 2021-04-15

Family

ID=71400831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013741 WO2021071288A1 (ko) 2019-10-08 2020-10-08 골절 진단모델의 학습 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102119057B1 (ko)
WO (1) WO2021071288A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102119057B1 (ko) * 2019-10-08 2020-06-29 (주)제이엘케이 골절 진단모델의 학습 방법 및 장치
KR102530016B1 (ko) * 2020-12-22 2023-05-08 가천대학교 산학협력단 골절 검출 방법 및 이를 이용한 디바이스
KR20220095401A (ko) * 2020-12-29 2022-07-07 고려대학교 산학협력단 인공지능을 이용한 안면부 골절 판독 장치 및 방법
KR102564437B1 (ko) * 2022-10-12 2023-08-10 주식회사 지오비전 딥러닝 모델을 이용한 안면골 골절 검출 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101854567B1 (ko) * 2017-08-04 2018-05-04 건양대학교산학협력단 뼈 골절 시뮬레이션 및 분석 시스템
KR102119057B1 (ko) * 2019-10-08 2020-06-29 (주)제이엘케이 골절 진단모델의 학습 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101854567B1 (ko) * 2017-08-04 2018-05-04 건양대학교산학협력단 뼈 골절 시뮬레이션 및 분석 시스템
KR102119057B1 (ko) * 2019-10-08 2020-06-29 (주)제이엘케이 골절 진단모델의 학습 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG CHI-TUNG; HO TSUNG-YING; LEE TAO-YI; CHANG CHIH-CHEN; CHOU CHING-CHENG; CHEN CHIH-CHI; CHUNG I-FANG; LIAO CHIEN-HUNG: "Application of a deep learning algorithm for detection and visualization of hip fractures on plain pelvic radiographs", EUROPEAN RADIOLOGY, SPRINGER INTERNATIONAL, BERLIN, DE, vol. 29, no. 10, 1 April 2019 (2019-04-01), DE, pages 5469 - 5477, XP036875428, ISSN: 0938-7994, DOI: 10.1007/s00330-019-06167-y *
NISSINEN TOMI: "Convolutional neural networks in osteoporotic fracture risk prediction using spine DXA images", MASTER'S THESIS, UNIVERSITY OF EASTERN FINLAND, 1 March 2019 (2019-03-01), XP055800444 *

Also Published As

Publication number Publication date
KR102119057B1 (ko) 2020-06-29

Similar Documents

Publication Publication Date Title
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2017022908A1 (ko) 심층신경망을 이용한 골 연령 산출방법 및 프로그램
WO2017051943A1 (ko) 영상 생성 방법 및 장치, 및 영상 분석 방법
WO2017095014A1 (ko) Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법
WO2021246612A1 (ko) 자동으로 혈관 영상을 처리하는 방법 및 장치
WO2021071286A1 (ko) 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치
WO2016204402A1 (ko) 부품 결함 검사 방법 및 그 장치
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2022114522A1 (ko) 복수의 예측 결과를 활용한 혈관 영상 추출 방법 및 장치
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2022145841A1 (ko) 병변 판독 방법 및 이를 위한 장치
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2015099249A1 (ko) 의료 영상의 병변 유사도 판단 장치 및 방법
WO2012057389A1 (ko) 복수개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2021101052A1 (ko) 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2023282389A1 (ko) 두경부 영상 이미지를 이용한 지방량 산출 방법 및 이를 위한 장치
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2022191539A1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
CN112288697B (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20873867

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12/09/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20873867

Country of ref document: EP

Kind code of ref document: A1