WO2022124588A1 - 조산을 예측하기 위한 전자 장치 및 방법 - Google Patents

조산을 예측하기 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2022124588A1
WO2022124588A1 PCT/KR2021/016053 KR2021016053W WO2022124588A1 WO 2022124588 A1 WO2022124588 A1 WO 2022124588A1 KR 2021016053 W KR2021016053 W KR 2021016053W WO 2022124588 A1 WO2022124588 A1 WO 2022124588A1
Authority
WO
WIPO (PCT)
Prior art keywords
ultrasound image
cervix
ultrasound
mother
mothers
Prior art date
Application number
PCT/KR2021/016053
Other languages
English (en)
French (fr)
Inventor
이근영
손가현
조범주
이재준
박성택
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Publication of WO2022124588A1 publication Critical patent/WO2022124588A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
    • A61B5/4356—Assessing uterine contractions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to techniques for predicting preterm birth.
  • This disclosure is derived from research conducted as part of the support of the Ministry of Science and ICT, the Ministry of Trade, Industry and Energy, the Ministry of Health and Welfare, and the Ministry of Food and Drug Safety for the medical device research and development project [Project unique number: 1711139109, KMDF_PR_20210527_0005, research Project name: Development of core technology for automated screening of premature babies and premature birth].
  • preterm birth a case of delivery before 37 weeks of the mother's gestation period is called preterm birth. If premature birth occurs, the born baby may develop disabilities or complications such as intellectual disability, and in fatal cases, death. In addition, if premature birth occurs, various complications may occur to the mother, and may lead to death in fatal cases.
  • Various embodiments disclosed herein provide a technique for predicting premature birth of a mother through machine learning.
  • An electronic device for predicting premature birth includes: a communication circuit communicatively connected to an external device; one or more memories for storing a first correlation model constructed by modeling a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether or not the mothers gave birth according to a machine learning algorithm; and one or more processors.
  • the one or more processors may store a first ultrasound image of the target mother received from the external device in the one or more memories, pre-process the first ultrasound image, and generate a second ultrasound image of the cervix of the target mother. and, using the first correlation model, may be configured to derive data indicating whether the target mother gave birth prematurely from the second ultrasound image.
  • a method for predicting premature birth includes an operation of storing a first ultrasound image of a target mother received from an external device, and preprocessing the first ultrasound image to obtain a second information regarding the cervix of the target mother
  • the method may include obtaining two ultrasound images, and deriving data indicating whether the target mother is prematurely born from the second ultrasound image by using a first correlation model.
  • the first correlation model may be a correlation model constructed by modeling a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether the mothers gave birth according to a machine learning algorithm.
  • a non-transitory computer-readable recording medium recording a program for execution on a computer according to various embodiments of the present disclosure
  • the program when executed by one or more processors, causes the one or more processors to generate a target received from an external device. storing the first ultrasound image of the mother; pre-processing the first ultrasound image to obtain a second ultrasound image of the cervix of the target mother; and using the first correlation model, an executable instruction to perform an operation of deriving data indicating whether the target mother has preterm labor from the second ultrasound image.
  • the first correlation model may be a correlation model constructed by modeling a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether the mothers gave birth according to a machine learning algorithm.
  • An electronic device for training a machine learning model used for predicting preterm birth is configured to store a plurality of first ultrasound images of the mothers classified according to whether preterm birth has actually occurred in the mothers.
  • one or more memories and one or more processors.
  • the one or more processors preprocess the plurality of first ultrasound images to obtain a plurality of second ultrasound images of the cervix of the mothers, and use a set of the plurality of second ultrasound images as input data;
  • the machine learning model may be trained by using, as output data, a set of data indicating whether a mother is prematurely born, corresponding to each of the plurality of second ultrasound images.
  • a method of training a machine learning model includes an operation of storing a plurality of first ultrasound images of the mothers classified according to whether or not an actual premature birth has occurred in the mothers, the plurality of first An operation of pre-processing an ultrasound image to obtain a plurality of second ultrasound images of the cervix of the mothers, and using a set of the plurality of second ultrasound images as input data, corresponding to each of the plurality of second ultrasound images It may include an operation of training a machine learning model by using a set of data indicating whether or not the mother has premature birth as output data.
  • the doctor determines based on the information visually confirmed through the ultrasound examination device The accuracy of judgment can be relatively improved compared to the method.
  • data indicating whether or not a mother undergoing an ultrasound examination is premature may be provided to a doctor and a mother in real time.
  • the present disclosure by predicting whether or not premature birth may occur to a mother using a correlation model built through machine learning, it is possible to provide intensive treatment for the prevention of premature birth.
  • a correlation model built through machine learning By using the ultrasound image of the mother of the 15th week to the 28th week of pregnancy to predict whether the mother will give birth before the 37th week of pregnancy, it is possible to provide intensive treatment for the prevention of premature birth to a mother with a high probability of premature birth.
  • the possibility of fetal death and the occurrence of complications due to premature birth can be predicted in advance.
  • FIGS. 1A and 1B are diagrams illustrating a premature birth prediction system for predicting premature birth of a mother according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • 3A is a diagram illustrating a method of constructing a first correlation model according to various embodiments of the present disclosure
  • 3B is a diagram illustrating a method of utilizing a first correlation model according to various embodiments of the present disclosure
  • 4A to 4D are diagrams illustrating a process of obtaining a second ultrasound image of a cervix of a mother by preprocessing a first ultrasound image of a mother according to various embodiments of the present disclosure
  • FIG. 5 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure
  • FIG 6 is an operation flowchart of an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 is a diagram illustrating a second correlation model according to various embodiments of the present disclosure.
  • FIG 8 is an operation flowchart of an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure.
  • Embodiments of the present disclosure are exemplified for the purpose of explaining the technical spirit of the present disclosure.
  • the scope of rights according to the present disclosure is not limited to the embodiments presented below or specific descriptions of these embodiments.
  • unit refers to software or a hardware component such as a field-programmable gate array (FPGA) or an application specific integrated circuit (ASIC).
  • FPGA field-programmable gate array
  • ASIC application specific integrated circuit
  • units are not limited to hardware and software.
  • a “unit” may be configured to reside on an addressable storage medium, or it may be configured to refresh one or more processors.
  • “part” includes components such as software components, object-oriented software components, class components, and task components, and processors, functions, attributes, procedures, subroutines, and so forth. It includes segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. Functions provided within components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • the expression "based on” as used in this disclosure is used to describe one or more factors affecting the act or action of a decision, judgment, or action, described in a phrase or sentence in which the expression is included, the expression being It does not exclude additional factors influencing the act or action of decision, judgment.
  • a component when referred to as being “connected” or “connected” to another component, the component can be directly connected or connectable to the other component, or a new component It should be understood that they may or may be connected via other components.
  • artificial intelligence refers to a technology that imitates human learning ability, reasoning ability, and perceptual ability, and implements it with a computer, and may include the concepts of machine learning and symbolic logic.
  • Machine learning may be an algorithm technology that classifies or learns characteristics of input data by itself.
  • the technology of artificial intelligence is a machine learning algorithm that analyzes input data, learns the result of the analysis, and can make a judgment or prediction based on the result of the learning.
  • technologies that use machine learning algorithms to simulate the cognitive and judgment functions of the human brain can also be understood as a category of artificial intelligence. For example, technical fields of verbal comprehension, visual comprehension, reasoning/prediction, knowledge expression, and motion control may be included.
  • machine learning may refer to a process of training a neural network model using experience of processing data.
  • computer software could mean improving its own data processing capabilities.
  • the neural network model is constructed by modeling the correlation between data, and the correlation may be expressed by a plurality of parameters.
  • a neural network model extracts and analyzes features from given data to derive correlations between data, and repeating this process to optimize parameters of a neural network model can be called machine learning.
  • the neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair.
  • the neural network model may learn the relationship by deriving regularity between the given data even when only input data is given.
  • an artificial intelligence learning model, a machine learning model, or a neural network model may be designed to implement a human brain structure on a computer, and include a plurality of network nodes that simulate neurons of a human neural network and have weights. can do.
  • a plurality of network nodes may have a connection relationship with each other by simulating synaptic activity of a neuron through which a neuron sends and receives a signal through a synapse.
  • a plurality of network nodes can exchange data according to a convolutional connection relationship while being located in layers of different depths.
  • the artificial intelligence learning model may be, for example, an artificial neural network model, a convolutional neural network model, or the like.
  • FIG. 1A and 1B are diagrams illustrating a premature birth prediction system 10 for predicting premature birth of a mother according to various embodiments of the present disclosure. Specifically, FIG. 1A is a preterm birth prediction system 10 using an abdominal ultrasound examination result, and FIG. 1B is a premature birth prediction system 10 using a vaginal ultrasound examination result.
  • the preterm birth prediction system 10 may include an electronic device 100 and an ultrasound examination device 200 .
  • the electronic device 100 may have various types of devices.
  • the electronic device 100 may be a computer device or a portable communication device.
  • the electronic device 100 may be communicatively connected to the ultrasound examination apparatus 200 to transmit/receive various data.
  • the electronic device 100 is connected to the ultrasound examination apparatus 200 in communication. , storage devices).
  • the electronic device 100 is implemented separately from the ultrasound examination apparatus 200 .
  • the electronic apparatus 100 is integrated into the ultrasound examination apparatus 200 in hardware to form one It may be implemented as an apparatus, and at least some components may be implemented by being integrated with the ultrasound examination apparatus 200 in software.
  • the ultrasound examination apparatus 200 may examine various parts of the body, such as the abdomen and the vagina.
  • the ultrasound examination apparatus 200 of FIG. 1A irradiates an ultrasound signal toward the abdomen of an object (eg, a mother), and non-invasively acquires an image of a tomography or blood flow of a soft tissue by using information of the reflected ultrasound signal can do.
  • the ultrasound examination apparatus 200 of FIG. 1B irradiates an ultrasound signal from the vagina of an object (eg, a mother) toward the uterus, and uses the information of the reflected ultrasound signal to non-invasively generate an image of a tomography or blood flow of a soft tissue.
  • a user may acquire an ultrasound image of a cervix of a mother by using the ultrasound examination apparatus 200 .
  • the user may acquire an ultrasound image of the mother's cervix by performing an abdominal ultrasound examination or a vaginal ultrasound examination using the ultrasound examination apparatus 200 .
  • Abdominal ultrasound examination for example, while rubbing the probe (or, a probe) of the ultrasound examination device 200 on the mother's abdomen with gel-type lubricant, irradiating ultrasound to the mother's abdomen, and detecting the reflected ultrasound
  • it may be a method of acquiring an ultrasound image of the cervix of the mother.
  • Vaginal ultrasound examination for example, by irradiating ultrasound in a state in which the probe of the ultrasound examination apparatus 200 lubricated so as to observe the cervix of the mother is inserted into the vagina of the mother, and detecting the reflected ultrasound. It may be a method of acquiring an ultrasound image of
  • the user may obtain and store an ultrasound image of the mother using the ultrasound examination apparatus 200 .
  • the ultrasound image of the mother may be an ultrasound image including the mother's uterus, the fetus, and the mother's vaginal tissue.
  • the ultrasound image of the mother may include, for example, the cervix, and may include at least one of an external entrance and an internal entrance of the cervix.
  • the user may acquire and store an ultrasound image including an external orifice or external os and an internal orifice or internal os of the mother's cervix.
  • the ultrasound examination apparatus 200 may transmit an ultrasound image of the mother to the electronic device 100 or may transmit it to another external device (eg, a server device or a storage device).
  • the electronic device 100 may build a first correlation model 310 that models a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether the mothers gave birth prematurely.
  • the electronic device 100 may receive, from an external device, a plurality of first ultrasound images of mothers classified according to whether premature birth has actually occurred in the mothers.
  • the plurality of first ultrasound images may be a plurality of ultrasound images of the 15th week to the 28th week of pregnancy of mothers classified according to whether premature birth has actually occurred in the mothers.
  • the 15th week to the 28th week of pregnancy may mean from the first day of the 15th week of pregnancy to the first day of the 28th week of pregnancy.
  • the plurality of first ultrasound images may include ultrasound images of the 15th week to the 28th week of pregnancy of mothers who actually experienced premature birth and ultrasound images of the 15th to 28th weeks of pregnancy of mothers who did not actually give birth.
  • the electronic device 100 may store the plurality of received first ultrasound images in one or more memories 120 .
  • the electronic device 100 may preprocess the plurality of first ultrasound images to obtain a plurality of second ultrasound images of the cervix of mothers.
  • the plurality of second ultrasound images may be ultrasound images including at least a portion of the cervix of mothers.
  • the plurality of second ultrasound images may be ultrasound images including at least one of an external entrance and an internal entrance to the cervix of mothers. A detailed method of pre-processing the first ultrasound image will be described later.
  • the electronic device 100 uses a set of a plurality of second ultrasound images as input data, and uses a set of data indicating whether a mother is prematurely born, corresponding to each of the plurality of second ultrasound images, as output data to generate a machine learning model. can learn A specific method for training the machine learning model will be described later.
  • the electronic device 100 is a first correlation model 310 that models the correlation between the ultrasound image set of mothers' cervix and the data set indicating whether mothers are premature, according to a machine learning algorithm. can be built
  • the electronic device 100 may store the first correlation model 310 in one or more memories 120 .
  • the electronic device 100 may derive data indicating whether or not the mother gave birth prematurely from the ultrasound image of the mother by using the first correlation model 310 built according to a machine learning algorithm.
  • the electronic device 100 may receive a first ultrasound image of the target mother from an external device (eg, the ultrasound examination apparatus 200).
  • the target mother may mean a mother who is a test target in order to predict whether or not premature birth.
  • the electronic device 100 may store the first ultrasound image of the target mother received from the external device in one or more memories 120 .
  • the first ultrasound image may be an ultrasound image of the target mother of the 15th week to the 28th week of pregnancy. In the above embodiment, the first ultrasound image is an ultrasound image of a target mother of 15 to 28 weeks of pregnancy, but the period is not limited thereto.
  • the electronic device 100 may pre-process the stored first ultrasound image to obtain a second ultrasound image of the cervix of the target mother.
  • the first ultrasound image may be pre-processed to obtain a corresponding image.
  • the second ultrasound image may be an ultrasound image including at least a portion of the cervix of the target mother.
  • the second ultrasound image may be, for example, an ultrasound image including at least one of an external entrance and an internal entrance to the cervix of the target mother. A detailed method of pre-processing the first ultrasound image will be described later.
  • the electronic device 100 may derive data indicating whether the target mother gave birth prematurely from the second ultrasound image by using the first correlation model 310 .
  • the electronic device 100 may input the second ultrasound image to the first correlation model 310 , and obtain data indicating whether the target mother has preterm labor, output from the first correlation model 310 .
  • the electronic device 100 may transmit data indicating whether the target mother has premature delivery to the ultrasound examination apparatus 200 .
  • the ultrasound examination apparatus 200 may display the received data indicating whether the target mother gave birth prematurely through the display.
  • the user may check data indicating whether or not the target mother gave birth prematurely through the ultrasound examination apparatus 200 while performing an ultrasound examination of the target mother through the ultrasound examination apparatus 200 .
  • the ultrasound examination apparatus 200 may display the message "This mother is a mother who is highly likely to have premature birth" through the display.
  • data indicating whether or not the mother during the ultrasound examination is premature may be provided to the doctor and the mother in real time to confirm.
  • the electronic device 100 may transmit data indicating whether the target mother has premature birth to a separate server device, and the server device may store the received data indicating whether the target mother is premature.
  • the user may check the data indicating whether the target mother is premature delivery through the server device.
  • the doctor can check and manage the data indicating whether or not premature birth that can be classified as sensitive information.
  • the electronic device 100 may include one or more processors 110 , one or more memories 120 , a communication circuit 130 , and an input device 140 . At least one of the components included in the electronic device 100 may be omitted or another component may be added to the electronic device 100 . Additionally or alternatively, some components may be integrated and implemented, or may be implemented as a singular or a plurality of entities. At least some of the internal and external components of the electronic device 100 are connected to each other through a bus, a general purpose input/output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI). , data and/or signals may be exchanged.
  • GPIO general purpose input/output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the one or more processors 110 may be configured to perform operations or data processing related to control and/or communication of respective components of the electronic device 100 .
  • the one or more processors 110 may be operatively connected to, for example, components of the electronic device 100 .
  • the one or more processors 110 load commands or data received from other components of the electronic device 100 into the one or more memories 120 , process the commands or data stored in the one or more memories 120 , and , the result data can be saved.
  • the one or more memories 120 may store instructions for the operation of the one or more processors 110 .
  • the one or more memories 120 may store correlation models built according to a machine learning algorithm.
  • the communication circuit 130 may establish a communication channel with an external device (eg, the ultrasound examination apparatus 200 ) and transmit/receive various data to and from the external device.
  • the communication circuit 130 may include a cellular communication module to be configured to be connected to a cellular network (eg, 3G, LTE, 5G, Wibro, or Wimax).
  • the communication circuit 130 may transmit and receive data with an external device using short-range communication (eg, Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB) including a short-range communication module.
  • short-range communication eg, Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB
  • the communication circuit 130 may include a contactless communication module for contactless communication.
  • the contactless communication may include, for example, at least one contactless type proximity communication technology, such as near field communication (NFC) communication, radio frequency identification (RFID) communication, or magnetic secure transmission (MST) communication.
  • NFC near field communication
  • RFID radio frequency identification
  • MST magnetic secure transmission
  • the input device 140 receives a command or data to be used by a component (eg, one or more processors 110 ) of the electronic device 100 from the outside (eg, a user) of the electronic device 100 . can do.
  • the input device 140 may include, for example, a microphone, a mouse, or a keyboard.
  • the one or more processors 110 may receive the first ultrasound image of the target mother from an external device through the communication circuit 130 .
  • the one or more processors 110 may store the received first ultrasound image of the target mother in one or more memories 120 .
  • the one or more processors 110 may pre-process the first ultrasound image to obtain a second ultrasound image of the cervix of the target mother.
  • the one or more processors 110 may derive data indicating whether the target mother is prematurely born from the second ultrasound image by using the first correlation model.
  • the first correlation model may be a correlation model constructed by modeling a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether mothers have premature birth, according to a machine learning algorithm.
  • One or more memories 120 may store the first correlation model.
  • the one or more processors 110 may input the second ultrasound image to the first correlation model, and obtain data indicating whether the target mother gave birth prematurely, output from the first correlation model.
  • 3A is a diagram illustrating a method of constructing a first correlation model according to various embodiments of the present disclosure.
  • the electronic device 100 according to various embodiments provides a first correlation model using a plurality of first ultrasound images 301 of mothers classified according to whether premature birth has actually occurred in the mothers. 310 can be constructed.
  • the electronic device 100 may store a plurality of first ultrasound images 301 of mothers classified according to whether premature birth has actually occurred in the mothers.
  • the one or more processors 110 of the electronic device 100 receive the plurality of first ultrasound images 301 from an external device and store them in one or more memories (eg, one or more memories 120 of FIG. 2 ). can be saved
  • the one or more processors 110 may pre-process the plurality of first ultrasound images 301 to obtain a plurality of second ultrasound images of the cervix of mothers.
  • the one or more processors 110 determine a position of at least one of an external entrance and an internal entrance of the cervix of the mother corresponding to each of the plurality of first ultrasound images in each of the plurality of first ultrasound images, and the plurality of first ultrasound images
  • a region of interest in each of the plurality of first ultrasound images may be determined based on a position of at least one of an external entrance and an internal entrance of the cervix determined for each.
  • the one or more processors 110 determine the positions of both the external entrance and the internal entrance of the cervix of the mother corresponding to each of the plurality of first ultrasound images in each of the plurality of first ultrasound images, and A region of interest in each of the plurality of first ultrasound images may be determined based on the positions of the external entrance and the internal entrance of the cervix determined for each of the first ultrasound images. For example, the one or more processors 110 determine only the position of the external entrance of the cervix of the mother corresponding to each of the plurality of first ultrasound images in each of the plurality of first ultrasound images, A region of interest in each of the plurality of first ultrasound images may be determined based on the determined position of the external entrance of the cervix.
  • the one or more processors 110 may obtain a plurality of second ultrasound images by cropping the ROI determined in each of the plurality of first ultrasound images. According to an embodiment, the one or more processors 110 may apply the CLAHE algorithm to the plurality of second ultrasound images in order to improve the contrast of the plurality of second ultrasound images.
  • the one or more processors 110 use a set of a plurality of second ultrasound images as input data, and output a set of data indicating whether a mother is prematurely born, corresponding to each of the plurality of second ultrasound images, as output data. can be used to train machine learning models.
  • the one or more processors 110 through the above-described machine learning process, build a first correlation model 310 that models a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether the mothers gave birth prematurely. can do.
  • the one or more processors 110 may predict whether or not the target mother will give birth prematurely by using the constructed first correlation model 310 .
  • the one or more processors 110 pre-process the first ultrasound image of the target mother to obtain a second ultrasound image of the cervix of the target mother. can be obtained
  • the one or more processors 110 may input the second ultrasound image of the cervix of the target mother into the first correlation model 310 to derive data indicating whether the target mother has premature birth.
  • the second ultrasound image may be an ultrasound image including at least a portion of the cervix of the target mother.
  • the second ultrasound image may be, for example, an ultrasound image including at least one of an external entrance and an internal entrance to the cervix of the target mother.
  • the one or more processors 110 may train the machine learning model without pre-processing the plurality of first ultrasound images.
  • the one or more processors 110 use a set of a plurality of first ultrasound images as input data, and use a set of data indicating whether or not a mother is prematurely born, corresponding to each of the plurality of first ultrasound images, as output data. to train a machine learning model.
  • the one or more processors 110 may build a first correlation model 310 that models a correlation between a set of ultrasound images of mothers and a data set indicating whether the mothers gave birth through a machine learning process.
  • the first correlation model 310 may be a correlation model constructed by modeling the correlation between the ultrasound image set of mothers' cervix and the data set indicating whether mothers gave birth according to a machine learning algorithm. have.
  • the data 330 indicating whether mothers gave birth prematurely may be data derived (predicted) by the first correlation model 310 .
  • the data 330 indicating whether mothers gave birth prematurely may be data indicating whether mothers will give birth before 37 weeks of pregnancy.
  • the ultrasound image 320 of the cervix of mothers may include a plurality of ultrasound images of the cervix of mothers classified according to whether premature birth has actually occurred in the mothers.
  • the ultrasound image 320 of the cervix of mothers includes ultrasound images of the cervix of the 15th to 28th weeks of pregnancy of mothers with actual preterm birth, and 15th to 28th weeks of pregnancy of mothers who do not actually have preterm birth. It may include ultrasound images of the cervix of the parking lot.
  • the ratio between the ultrasound images of mothers who actually experienced premature birth and the ultrasound images of mothers who do not actually have preterm labor may be set to a ratio suitable for training the machine learning model from the point of view of a skilled artisan.
  • the data 330 indicating whether the mothers will give birth prematurely may be data indicating whether the mothers will give birth before the 37th week of pregnancy, but is not limited to the above period.
  • the first correlation model 310 may be constructed by further considering a correlation with other data in addition to the above-described data, for example, mothers' personal clinical information.
  • machine learning may mean that computer software improves data processing capability through learning using data and experiences of processing data.
  • Machine learning can be performed by correlation models.
  • the correlation model is constructed by modeling the correlation between data, and the correlation may be expressed by a plurality of parameters.
  • a correlation model extracts and analyzes features from given data to derive correlations between data, and repeating this process to optimize parameters of a correlation model can be called machine learning.
  • the correlation model can learn a mapping (correlation) between the input and output.
  • the correlation model may learn the relationship by deriving regularity between the given data.
  • the machine learning algorithm is a deep neural network, a recurrent neural network, a convolution neural network, a machine learning model for classification-regression analysis, reinforcement learning (reinforcement learning) model, decision tree learning, association rule learning, genetic programming, inductive logic programming, support vector machine, clustering, Bayesian network or identity measurement It may be at least one selected from among the learning methods.
  • the first correlation model 310 is, from the ultrasound image set, texture, density, shape of the cervix, the shape of the entire uterus, the shape of surrounding tissues, the presence of lesions, the presence or absence of sludge, and the length of the cervix. extracting at least one feature from among, and the first correlation model 310 is machine-learned to derive a correlation between the ultrasound image set and the data set indicating whether mothers are premature, using the extracted at least one feature. can be a model.
  • the first correlation model 310 uses, as input data, a plurality of ultrasound image sets related to the cervix of mothers classified according to whether premature birth has actually occurred in mothers, and mothers corresponding to each of the plurality of ultrasound images. It may be a correlation model constructed by training a machine learning model using the data 330 indicating whether or not preterm birth is used as output data.
  • the plurality of ultrasound image sets used as the input data may include a plurality of ultrasound images of the cervix of mothers obtained by pre-processing a plurality of ultrasound images of mothers classified according to whether or not an actual preterm birth has occurred.
  • the one or more processors 110 may input the ultrasound image 320 regarding the cervix of the mothers described above to the first correlation model 310 .
  • the first correlation model 310 may derive (predict) data 330 indicating whether the mothers gave birth prematurely, based on the input ultrasound images 320 of the mothers' cervix.
  • the first correlation model 310 may output data 330 indicating whether the derived mothers gave birth prematurely.
  • the data 330 indicating whether mothers gave birth prematurely may be data indicating whether mothers will give birth prematurely before the 37th week of pregnancy, for example, O (preterm) or X (normal) whether or not to give birth before the 37th week of pregnancy. It may be data represented by . Accordingly, using the constructed first correlation model 310 , data 330 indicating whether the target mother gave birth prematurely may be derived from the ultrasound image 320 of the cervix of the target mother.
  • 4A to 4D are diagrams illustrating a process of obtaining a second ultrasound image of a cervix of a mother by preprocessing a first ultrasound image of a mother according to various embodiments of the present disclosure
  • 4A is a diagram illustrating a first ultrasound image 401 of a mother received from an external device.
  • 4B is a diagram illustrating a first ultrasound image 403 of a mother received from an external device.
  • the electronic device 100 may receive the first ultrasound image 401 of the mother in which the positions of the external entrance and the internal entrance of the cervix are not indicated from the external device, and the external entrance and the internal entrance of the cervix may be received from the external device.
  • a first ultrasound image 403 of the mother in which the location of the entrance is displayed may be received.
  • the one or more processors 110 provide a first ultrasound image 401 of a mother whose positions of the external entrance and the internal entrance of the cervix are not displayed from an external device through the communication circuit 130 . ) can be received.
  • the external device may be, for example, the ultrasound examination apparatus 200, a server device, or a storage device (eg, cloud).
  • the first ultrasound image 401 of the mother may be an ultrasound image obtained by measuring the mother's uterus through the ultrasound examination apparatus 200 .
  • the one or more processors 110 may store the received first ultrasound image 401 of the mother in one or more memories 120 .
  • the one or more processors 110 use a second correlation model (eg, the second correlation model 710 of FIG. 7 ) to obtain the external entrance 413 of the cervix from the first ultrasound image 403 . and at least one position of the inner inlet 411 may be derived. A specific method of using the second correlation model will be described later.
  • the one or more processors 110 receive a first ultrasound image 403 in which positions of the external entrance 413 and the internal entrance 411 of the mother's cervix are indicated from an external device. can do.
  • a user eg, a doctor
  • the user uses the ultrasound examination apparatus 200 to display the first ultrasound image 403 on the external entrance 413 of the cervix. And it is possible to mark the position of the inner inlet (411).
  • the user determines the positions of the external entrance 413 and the internal entrance 411 of the cervix on the first ultrasound image 403 of the mother obtained through the ultrasound examination apparatus 200 .
  • the electronic device 100 receives the first ultrasound image 403 of the mother from the ultrasound examination apparatus 200
  • the user receives it using the input device 140 of the electronic device 100 .
  • the positions of the external entrance 413 and the internal entrance 411 of the cervix may be determined on one first ultrasound image 403 .
  • the one or more processors 110 may be configured to perform an external entrance 413 and an internal entrance 411 of the cervix of the mother in the first ultrasound image 403 , based on the user input received through the input device 140 . At least one location may be determined.
  • the first ultrasound image 401 or 403 of the mother shows the position of the external entrance 413 and the internal entrance 411 of the cervix, as well as the position of the uterus of the mother, the position of the fetus, the position of the vaginal tissue of the mother, etc. It may be a raw image.
  • an image of the mother's cervix is required, so the mother's first ultrasound image 401 or 403 is pre-processed. , it may be desirable to remove unnecessary information for predicting whether or not preterm birth.
  • FIGS. 4C and 4D are diagrams illustrating a method of pre-processing a first ultrasound image to obtain a second ultrasound image.
  • the one or more processors 110 may pre-process the first ultrasound image 401 or 403 of the mother to obtain a second ultrasound image of the cervix of the mother.
  • the second ultrasound image may be an ultrasound image including at least a portion of the cervix.
  • the second ultrasound image may be, for example, an ultrasound image including a position of at least one of an external entrance 413 and an internal entrance 411 of the cervix.
  • the one or more processors 110 may determine a position of at least one of an external entrance 413 and an internal entrance 411 of the mother's cervix on the first ultrasound image. For example, the one or more processors 110 may determine a position of at least one of the external entrance 413 and the internal entrance 411 of the mother's cervix based on the positions marked on the first ultrasound image 403 . can decide For example, the one or more processors 110 may use the second correlation model 710 to obtain at least one of an external entrance 413 and an internal entrance 411 of the mother's cervix from the first ultrasound image 401 . location can be derived. For example, the one or more processors 110 may determine the positions derived from the second correlation model 710 as positions of the external entrance 413 and the internal entrance 411 of the mother's cervix.
  • the one or more processors 110 may rotate the first ultrasound image based on the determined position of at least one of the external entrance 413 and the internal entrance 411 of the mother's cervix, and the rotated first A region of interest may be determined from the ultrasound image.
  • the one or more processors 110 may rotate the first ultrasound image so that a direction from the external entrance 413 to the internal entrance 411 of the mother's cervix is a vertical upward direction. That is, the one or more processors 110 may rotate the first ultrasound image so that a straight line from the external entrance 413 to the internal entrance 411 of the mother's cervix is perpendicular to the horizontal line.
  • the ROI may be directly determined without rotating the first ultrasound image.
  • the one or more processors 110 may determine a region of interest from the rotated first ultrasound image 405 .
  • the one or more processors 110 may determine a region of interest including at least a portion of the mother's cervix from the rotated first ultrasound image 405 .
  • the one or more processors 110 may determine a region of interest of a particular size such that at least one of an external entrance 413 and an internal entrance 411 of the mother's cervix is included in the rotated first ultrasound image 405 .
  • a region of interest having a predetermined vertical length and a horizontal length may be determined based on the external entrance 413 of the mother's cervix.
  • a rectangular region having a length of 5 cm upward, 1 cm downward, 2 cm left, and 1.5 cm right from the external entrance 413 of the mother's cervix may be determined as the region of interest.
  • specific values have been described above for convenience of description, it will be apparent to those skilled in the art that the size, shape, and determination method of the region of interest may be variously modified.
  • FIG. 4D is a diagram illustrating a second ultrasound image 407 .
  • the one or more processors 110 may obtain a second ultrasound image 407 of the cervix of the mother by cropping the ROI determined in the first ultrasound image. Since the region of interest determined in the first ultrasound image includes at least one of the external entrance 413 and the internal entrance 411 of the mother's cervix, the second ultrasound image 407 obtained by cropping the region of interest is the mother's uterus. At least one of the positions of the outer inlet 413 and the inner inlet 411 of the neck may appear.
  • a machine learning model may be trained using the second ultrasound image 407 obtained by the above method, and may be input to the constructed first correlation model 310 .
  • the one or more processors 110 may apply a contrast limited adaptive histogram equalization (CLAHE) algorithm to the second ultrasound image in order to improve the contrast of the second ultrasound image 407 .
  • the CLAHE algorithm may be an image processing algorithm used to improve contrast of images by minimizing a contrast difference between images.
  • the CLAHE algorithm may be an algorithm for improving the local contrast of an image by converting the brightness of each pixel of the image.
  • the one or more processors 110 may apply the CLAHE algorithm to the second ultrasound image 407 to improve the contrast of the second ultrasound image 407 .
  • the accuracy of data output through the first correlation model 310 may be improved.
  • the one or more processors 110 may build the first correlation model 310 by learning the machine learning model without preprocessing the first ultrasound image 401 or 403 .
  • the one or more processors 110 may derive data indicating whether the target mother has preterm labor from the first ultrasound image 401 or 403 of the target mother by using the first correlation model 310 .
  • FIG. 5 is a flowchart of an operation of the electronic device 100 according to various embodiments of the present disclosure. Specifically, FIG. 5 is an operation flowchart illustrating a method of using the first correlation model 310 constructed according to a machine learning algorithm.
  • the one or more processors 110 of the electronic device 100 generate one first ultrasound image of a target mother received from an external device through the communication circuit 130 . It can be stored in the above memory 120 .
  • the first ultrasound image may be an ultrasound image of the mother obtained through the ultrasound examination apparatus 200 .
  • the external device may be, for example, the ultrasound examination apparatus 200 .
  • the external device may be, for example, a server device or a storage device. In this case, the server device or the storage device may receive and store the ultrasound image of the mother from the ultrasound examination apparatus 200 .
  • the one or more processors 110 may pre-process the first ultrasound image in operation 520 to obtain a second ultrasound image of the cervix of the target mother.
  • the one or more processors 110 may derive data indicating whether the target mother has premature delivery from the second ultrasound using the first correlation model 310 .
  • the first correlation model 310 may be a correlation model constructed by modeling a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether mothers have preterm labor according to a machine learning algorithm.
  • the first correlation model 310 may be stored in one or more memories 120 .
  • the first correlation model 310 is a machine learning model using a plurality of ultrasound images about the cervix of mothers classified according to whether or not actual premature birth has occurred in the mothers before predicting whether the target mother will give birth or not. It may be a correlation model built by training.
  • FIG. 6 is an operation flowchart of the electronic device 100 according to various embodiments of the present disclosure. Specifically, FIG. 6 is a flowchart of operation 520 of FIG. 5 .
  • the one or more processors 110 may determine a location of at least one of an external entrance and an internal entrance of the cervix of the target mother in the first ultrasound image of the target mother in operation 610 .
  • the positions of the external entrance and the internal entrance of the mother's cervix may be marked on the first ultrasound image.
  • the one or more processors 110 may determine a position of at least one of an external entrance and an internal entrance of the mother's cervix based on the positions marked on the first ultrasound image.
  • the positions of the external entrance and the internal entrance of the cervix of the mother may not be marked in the first ultrasound image.
  • the one or more processors 110 may derive a position of at least one of an external entrance and an internal entrance of the cervix of the target mother from the first ultrasound image by using the second correlation model 710 .
  • a specific method of using the second correlation model 710 will be described later.
  • the one or more processors 110 may determine a region of interest in the first ultrasound image based on a position of at least one of an external entrance and an internal entrance of the cervix of the target mother.
  • the one or more processors 110 may rotate the first ultrasound image based on a position of at least one of an external entrance and an internal entrance of the cervix of the target mother, and determine a region of interest on the rotated first ultrasound image.
  • the region of interest may be a region of a specific size and a specific shape including at least one of an external entrance and an internal entrance to the cervix of the target mother.
  • the one or more processors 110 may obtain a second ultrasound image of the cervix of the target mother by cropping the ROI determined in the first ultrasound image in operation 630 . Thereafter, the one or more processors 110 may input the second ultrasound image to the first correlation model 310 to output data indicating whether the target mother has preterm labor.
  • the second correlation model 710 is a correlation model constructed by modeling the correlation between the ultrasound image set of mothers and the data set on the position of at least one of the external entrance and the internal entrance of the cervix of the mothers according to a machine learning algorithm can be Data regarding the position of at least one of the external entrance and the internal entrance of the mother's cervix may be data derived (predicted) by the second correlation model 710 .
  • the ultrasound image set may include a plurality of ultrasound images of mothers.
  • the second correlation model 710 uses a plurality of ultrasound images 720 showing the positions of the external and internal entrances of the cervix of mothers as input data, and relates to the positions of the external and internal entrances of the cervix of mothers.
  • the data 730 may be a correlation model constructed by training a machine learning model. Therefore, using the constructed second correlation model 710, the positions of the external entrance and the internal entrance of the cervix of the mother can be derived from the ultrasound image in which the positions of the external entrance and the internal entrance of the cervix are not shown. .
  • One or more processors 110 may input ultrasound images 720 of mothers to the second correlation model 710 .
  • the second correlation model 710 may output data 730 regarding a position of at least one of an external entrance and an internal entrance of the cervix of the mothers based on the input ultrasound images 720 of the mothers.
  • the one or more processors 110 of the electronic device 100 generate one first ultrasound image of a target mother received from an external device through the communication circuit 130 . It can be stored in the above memory 120 .
  • the one or more processors 110 may preprocess the first ultrasound image to obtain a second ultrasound image of the cervix of the target mother.
  • the one or more processors 110 may apply the CLAHE algorithm to the second ultrasound image in operation 830 .
  • the contrast of the second ultrasound image may be improved.
  • the one or more processors 110 may derive data indicating whether the target mother is prematurely born from the second ultrasound image using the first correlation model 310 .
  • the first correlation model 310 may be a correlation model constructed by modeling a correlation between an ultrasound image set of mothers' cervix and a data set indicating whether the mothers gave birth according to a machine learning algorithm.
  • the one or more processors 110 may transmit data indicating whether the target mother has premature delivery to an external device.
  • the external device may be, for example, the ultrasound examination apparatus 200 .
  • FIG. 9 is an operation flowchart of the electronic device 100 according to various embodiments of the present disclosure. Specifically, FIG. 9 is an operation flowchart of a method for training a machine learning model.
  • the one or more processors 110 may store a plurality of ultrasound images of mothers classified according to whether premature birth has actually occurred in mothers.
  • the one or more processors 110 may receive a plurality of ultrasound images of mothers classified according to whether premature birth has actually occurred from an external device through the communication circuit 130, and store the received plurality of ultrasound images in one or more memories ( 120) can be stored.
  • the one or more processors 110 may pre-process a plurality of first ultrasound images in operation 920 to obtain a plurality of second ultrasound images of the cervix of mothers.
  • the one or more processors 110 may determine a position of at least one of an external entrance and an internal entrance of the cervix of the mother corresponding to each of the plurality of first ultrasound images in each of the plurality of first ultrasound images.
  • the one or more processors 110 may determine a region of interest in each of the plurality of first ultrasound images based on a location of at least one of an external entrance and an internal entrance of the cervix determined for each of the plurality of first ultrasound images.
  • the one or more processors 110 may obtain a plurality of second ultrasound images by cropping the ROI determined in each of the plurality of first ultrasound images. According to an embodiment, the one or more processors 110 may apply the CLAHE algorithm to the plurality of second ultrasound images in order to improve the contrast of the plurality of second ultrasound images.
  • the one or more processors 110 use a set of a plurality of second ultrasound images as input data, and use the data indicating whether a mother is prematurely giving birth corresponding to each of the plurality of second ultrasound images. You can train a machine learning model using the set as output data. For example, the one or more processors 110 may determine the texture, density, shape of the cervix, the shape of the entire uterus, the shape of surrounding tissues, the presence or absence of lesions, the presence or absence of sludge, and the cervix from each of the plurality of second ultrasound images. At least one feature of the length may be extracted.
  • the one or more processors 110 may train a machine learning model to derive a correlation between a set of data indicating whether or not a mother is prematurely giving birth corresponding to each of the plurality of second ultrasound images, using the at least one extracted feature.
  • the machine learning model may be, for example, one of a deep neural network, a recurrent neural network, a convolutional neural network, a classification-regression analysis model, or a reinforcement learning model.
  • the one or more processors 110 may store the first correlation model 310 built through the above-described learning process in one or more memories 120 .
  • the method can also be implemented as computer-readable code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the above embodiments can be easily inferred by programmers in the art to which the present disclosure pertains.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Pregnancy & Childbirth (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Reproductive Health (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 다양한 실시예에 따른 조산을 예측하기 위한 전자 장치는 외부 장치와 통신 연결되는 통신 회로, 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 제1 상관 모델을 저장하는 하나 이상의 메모리 및 하나 이상의 프로세서를 포함할 수 있다. 상기 하나 이상의 프로세서는, 상기 외부 장치로부터 수신한 타겟 산모의 제1 초음파 이미지를 상기 하나 이상의 메모리에 저장하고, 상기 제1 초음파 이미지를 전처리하여, 상기 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하고, 상기 제1 상관 모델을 이용하여, 상기 제2 초음파 이미지로부터 상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하도록 구성될 수 있다.

Description

조산을 예측하기 위한 전자 장치 및 방법
본 개시는 조산을 예측하기 위한 기술에 관한 것이다.
본 개시는 과학기술정보통신부, 산업통상자원부, 보건복지부 및 식품의약안전처의 범부처전주기의료기기연구개발사업 지원의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 1711139109, KMDF_PR_20210527_0005, 연구과제명: 미숙아 예방 조산 자동화 스크리닝 의료서비스 핵심기술 개발].
일반적으로 산모의 임신 기간을 기준으로 37주 이전에 분만하는 경우를 조산(preterm birth)이라고 한다. 조산이 발생하는 경우, 태어난 아기는 지적 능력 장애 등의 장애 또는 합병증이 발생할 수 있으며 치명적인 경우 사망에 이를 수 있다. 또한, 조산이 발생하는 경우, 산모도 다양한 합병증이 발생할 수 있으며 치명적인 경우 사망에 이를 수도 있다.
산모가 조산할지 여부를 예측하는 방법으로는 의사가 초음파 검사 장치를 통해 산모의 자궁을 육안으로 확인하거나, 임상적 지식과 경험을 기초로 판단하는 방법이 있다.
본 문서에 개시된 다양한 실시예들은 기계 학습(machine learning)을 통하여 산모의 조산을 예측하기 위한 기술을 제공한다.
본 개시의 다양한 실시예에 따른 조산을 예측하기 위한 전자 장치는, 외부 장치와 통신 연결되는 통신 회로; 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 제1 상관 모델을 저장하는 하나 이상의 메모리; 및 하나 이상의 프로세서를 포함할 수 있다. 상기 하나 이상의 프로세서는, 상기 외부 장치로부터 수신된 타겟 산모의 제1 초음파 이미지를 상기 하나 이상의 메모리에 저장하고, 상기 제1 초음파 이미지를 전처리하여, 상기 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하고, 상기 제1 상관 모델을 이용하여, 상기 제2 초음파 이미지로부터 상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하도록 구성될 수 있다.
본 개시의 다양한 실시예에 따른 조산을 예측하는 방법은, 외부 장치로부터 수신된 타겟 산모의 제1 초음파 이미지를 저장하는 동작, 상기 제1 초음파 이미지를 전처리하여, 상기 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하는 동작, 및 제1 상관 모델을 이용하여, 상기 제2 초음파 이미지로부터 상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하는 동작을 포함할 수 있다. 상기 제1 상관 모델은, 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다.
본 개시의 다양한 실시예에 따른 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은, 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가, 외부 장치로부터 수신된 타겟 산모의 제1 초음파 이미지를 저장하는 동작; 상기 제1 초음파 이미지를 전처리하여, 상기 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하는 동작; 및 제1 상관 모델을 이용하여, 상기 제2 초음파 이미지로부터 상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하는 동작을 수행하도록 하는 실행 가능한 명령을 포함할 수 있다. 상기 제1 상관 모델은, 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다.
본 개시의 다양한 실시예에 따른 조산 예측에 이용되는 기계 학습 모델을 학습시키기 위한 전자 장치는, 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 상기 산모들의 복수의 제1 초음파 이미지를 저장하는 하나 이상의 메모리; 및 하나 이상의 프로세서를 포함할 수 있다. 상기 하나 이상의 프로세서는, 상기 복수의 제1 초음파 이미지를 전처리하여, 상기 산모들의 자궁 경부에 관한 복수의 제2 초음파 이미지를 획득하고, 상기 복수의 제2 초음파 이미지의 세트를 입력 데이터로 사용하고, 상기 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시키도록 구성될 수 있다.
본 개시의 다양한 실시예에 따른 기계 학습 모델을 학습시키는 방법은, 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 상기 산모들의 복수의 제1 초음파 이미지를 저장하는 동작, 상기 복수의 제1 초음파 이미지를 전처리하여, 상기 산모들의 자궁 경부에 관한 복수의 제2 초음파 이미지를 획득하는 동작 및 상기 복수의 제2 초음파 이미지의 세트를 입력 데이터로 사용하고, 상기 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시키는 동작을 포함할 수 있다.
본 개시의 다양한 실시예에 따르면, 기계 학습을 통하여 구축된 상관 모델을 이용하여 산모에게 조산이 발생할 수 있을지 여부를 판단(예측)함으로써, 의사가 초음파 검사 장치를 통해 육안으로 확인한 정보를 기초로 판단하는 방법에 비해 상대적으로 판단의 정확도가 향상될 수 있다.
본 개시의 다양한 실시예에 따르면, 초음파 검사 중인 산모의 조산 여부를 나타내는 데이터를 실시간으로 의사 및 산모에게 제공할 수 있다.
본 개시의 다양한 실시예에 따르면, 기계 학습을 통하여 구축된 상관 모델을 이용하여 산모에게 조산이 발생할 수 있을지 여부를 예측함으로써, 조산 예방을 위한 집중 치료를 제공할 수 있다. 임신 15주차 내지 28주차의 산모의 초음파 이미지를 이용하여 상기 산모에게 임신 37주차 이전에 조산할 지 여부를 예측함으로써, 조산 가능성이 높은 산모에게 조산 예방을 위한 집중 치료를 제공할 수 있다.
본 개시의 다양한 실시예에 따르면, 조산에 따른 태아 사망 가능성 및 합병증 발생 여부를 미리 예측할 수 있다. 또한, 조산에 따른 태아의 장애 발생 여부를 미리 예측할 수 있다.
도 1a 및 1b는 본 개시의 다양한 실시예에 따른 산모의 조산을 예측하기 위한 조산 예측 시스템을 도시한 도면이다.
도 2는 본 개시의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3a는 본 개시의 다양한 실시예에 따른 제1 상관 모델을 구축하는 방법을 도시한 도면이다.
도 3b는 본 개시의 다양한 실시예에 따른 제1 상관 모델을 활용하는 방법을 나타낸 도면이다.
도 4a 내지 4d는 본 개시의 다양한 실시예에 따른 산모의 제1 초음파 이미지를 전처리하여 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하는 과정을 도시한 도면이다.
도 5는 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 6은 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 7은 본 개시의 다양한 실시예에 따른 제2 상관 모델을 나타낸 도면이다.
도 8은 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 9는 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.
본 개시에서 기재되는 치수와 수치는 기재된 치수와 수치 만으로 한정되는 것은 아니다. 달리 특정되지 않는 한, 이러한 치수와 수치는 기재된 값 및 이것을 포함하는 동등한 범위를 의미하는 것으로 이해될 수 있다. 예를 들어, 본 개시에 기재된 "** cm"라는 치수는 "약 ** cm"를 포함하는 것으로 이해될 수 있다.
본 개시에서, 인공지능(artificial intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계학습, 심볼릭 로직의 개념을 포함할 수 있다. 기계학습(machine learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술일 수 있다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터들 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 기반으로 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어의 기술 분야가 포함될 수 있다.
본 개시에서, 기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
본 개시에서, 인공지능 학습 모델, 기계 학습 모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습 모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 인공지능 학습 모델은, 예를 들어, 인공 신경망 모델(artificial neural network), 합성곱 신경망 모델(convolution neural network) 등일 수 있다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1a 및 1b는 본 개시의 다양한 실시예에 따른 산모의 조산을 예측하기 위한 조산 예측 시스템(10)을 도시한 도면이다. 구체적으로, 도 1a는 복부 초음파 검사 결과를 이용한 조산 예측 시스템(10)이고, 도 1b는 질 초음파 검사 결과를 이용한 조산 예측 시스템(10)이다.
도 1a 및 1b를 참조하면, 조산 예측 시스템(10)은 전자 장치(100) 및 초음파 검사 장치(200)를 포함할 수 있다. 본 문서에 개시된 다양한 실시예에 따른 전자 장치(100)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 전자 장치(100)는 컴퓨터 장치 또는 휴대용 통신 장치일 수 있다. 전자 장치(100)는 초음파 검사 장치(200)와 통신 연결되어 다양한 데이터를 송수신할 수 있다. 설명의 편의를 위하여 본 도면에서는 전자 장치(100)가 초음파 검사 장치(200)와 통신 연결된다고 기재하였으나, 전자 장치(100)는 초음파 검사 장치(200) 이외의 다양한 외부 장치들(예: 서버 장치, 저장 장치)과 통신할 수 있다. 이하에는, 설명의 편의를 위하여, 전자 장치(100)가 초음파 검사 장치(200)와는 별도로 구현된 것으로 설명되어 있으나, 전자 장치(100)는 초음파 검사 장치(200)에 하드웨어적으로 통합되어 하나의 장치로 구현될 수도 있고, 적어도 일부 구성이 초음파 검사 장치(200)와 소프트웨어적으로 통합되어 구현될 수도 있다.
다양한 실시예에 따른 초음파 검사 장치(200)는 복부, 질 등 신체의 다양한 부위를 검사할 수 있다. 도 1a의 초음파 검사 장치(200)는 대상체(예: 산모)의 복부를 향하여 초음파 신호를 조사하고, 반사된 초음파 신호의 정보를 이용하여, 연부 조직의 단층이나 혈류에 관한 이미지를 비침습적으로 획득할 수 있다. 도 1b의 초음파 검사 장치(200)는 대상체(예: 산모)의 질에서 자궁을 향하여 초음파 신호를 조사하고, 반사된 초음파 신호의 정보를 이용하여, 연부 조직의 단층이나 혈류에 관한 이미지를 비침습적으로 획득할 수 있는 장치이다. 사용자(예: 의사)는 초음파 검사 장치(200)를 이용하여 산모의 자궁 경부에 관한 초음파 이미지를 획득할 수 있다. 예를 들어, 사용자는 초음파 검사 장치(200)를 이용하여 복부 초음파 검사 또는 질 초음파 검사를 수행함으로써, 산모의 자궁 경부에 관한 초음파 이미지를 획득할 수 있다. 복부 초음파 검사는, 예를 들어, 초음파 검사 장치(200)의 프로브(또는, 탐촉자)를 젤 형태의 윤활제를 바른 산모의 복부에 문지르는 동안, 산모의 복부에 초음파를 조사하고, 반사된 초음파를 검출함으로써 산모의 자궁 경부에 관한 초음파 이미지를 획득하는 방법일 수 있다. 질 초음파 검사는, 예를 들어, 산모의 자궁 경부를 관찰할 수 있도록 윤활제를 바른 초음파 검사 장치(200)의 프로브를 산모의 질 속에 삽입한 상태에서 초음파를 조사하고, 반사된 초음파를 검출함으로써 산모의 초음파 이미지를 획득하는 방법일 수 있다.
사용자는 초음파 검사 장치(200)를 이용하여 산모의 초음파 이미지를 획득하여 저장할 수 있다. 산모의 초음파 이미지는 산모의 자궁, 태아 및 산모의 질 조직을 포함하는 초음파 이미지일 수 있다. 산모의 초음파 이미지는, 예를 들어, 자궁 경부를 포함할 수도 있고, 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나를 포함할 수도 있다. 예를 들어, 사용자는 산모의 자궁 경부의 외부 입구(external orifice 또는 external os) 및 내부 입구(internal orifice 또는 internal os)를 포함하는 초음파 이미지를 획득하여 저장할 수 있다. 초음파 검사 장치(200)는 산모의 초음파 이미지를 전자 장치(100)로 전송할 수도 있고, 다른 외부 장치(예: 서버 장치, 저장 장치)로 전송할 수도 있다.
다양한 실시예에 따른 전자 장치(100)는 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링한 제1 상관 모델(310)을 구축할 수 있다.
구체적으로, 전자 장치(100)는 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 복수의 제1 초음파 이미지를 외부 장치로부터 수신할 수 있다. 예를 들어, 상기 복수의 제1 초음파 이미지는, 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 임신 15주차 내지 28주차의 복수의 초음파 이미지일 수 있다. 여기서, 임신 15주차 내지 28주차는 임신 15주 첫째 날부터 임신 28주의 첫째 날 까지를 의미할 수 있다. 예를 들어, 복수의 제1 초음파 이미지는 실제 조산이 발생한 산모들의 임신 15주차 내지 28주차의 초음파 이미지들 및 실제 조산이 발생하지 않은 산모들의 임신 15주차 내지 28주차의 초음파 이미지들을 포함할 수 있다. 전자 장치(100)는 수신한 복수의 제1 초음파 이미지를 하나 이상의 메모리(120)에 저장할 수 있다.
전자 장치(100)는 복수의 제1 초음파 이미지를 전처리하여, 산모들의 자궁 경부에 관한 복수의 제2 초음파 이미지를 획득할 수 있다. 복수의 제2 초음파 이미지는 산모들의 자궁 경부의 적어도 일부를 포함하는 초음파 이미지들일 수 있다. 예를 들어, 복수의 제2 초음파 이미지는 산모들의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나를 포함하는 초음파 이미지들일 수 있다. 제1 초음파 이미지를 전처리하는 구체적인 방법은 후술하기로 한다.
전자 장치(100)는 복수의 제2 초음파 이미지의 세트를 입력 데이터로 사용하고, 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여 기계 학습 모델을 학습시킬 수 있다. 기계 학습 모델을 학습시키는 구체적인 방법은 후술하기로 한다.
상기 방법을 이용하여, 전자 장치(100)는 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링한 제1 상관 모델(310)을 구축할 수 있다. 전자 장치(100)는 제1 상관 모델(310)을 하나 이상의 메모리(120)에 저장할 수 있다.
다양한 실시예에 따른 전자 장치(100)는 기계 학습 알고리즘에 따라 구축된 제1 상관 모델(310)을 이용하여, 산모의 초음파 이미지로부터 산모의 조산 여부를 나타내는 데이터를 도출할 수 있다. 전자 장치(100)는 외부 장치(예: 초음파 검사 장치(200))로부터 타겟 산모의 제1 초음파 이미지를 수신할 수 있다. 타겟 산모는 조산 여부를 예측하기 위하여 검사 대상이 되는 산모를 의미할 수 있다. 전자 장치(100)는 외부 장치로부터 수신한 타겟 산모의 제1 초음파 이미지를 하나 이상의 메모리(120)에 저장할 수 있다. 제1 초음파 이미지는 임신 15주차 내지 28주차의 타겟 산모의 초음파 이미지일 수 있다. 상기 실시예에서 제1 초음파 이미지는 임신 15주차 내지 28주차의 타겟 산모의 초음파 이미지라고 하였으나, 상기 기간에 제한되는 것은 아니다.
전자 장치(100)는 저장된 제1 초음파 이미지를 전처리하여, 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득할 수 있다. 타겟 산모의 조산 여부를 판단하기 위한 입력 데이터로서 타겟 산모의 자궁 경부에 관한 이미지를 이용하는 경우, 제1 초음파 이미지를 전처리하여 해당 이미지를 획득할 수 있다. 제2 초음파 이미지는 타겟 산모의 자궁 경부의 적어도 일부를 포함하는 초음파 이미지일 수 있다. 제2 초음파 이미지는, 예를 들어, 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나를 포함하는 초음파 이미지일 수 있다. 제1 초음파 이미지를 전처리하는 구체적인 방법은 후술하기로 한다.
전자 장치(100)는 제1 상관 모델(310)을 이용하여, 제2 초음파 이미지로부터 타겟 산모의 조산 여부를 나타내는 데이터를 도출할 수 있다. 예를 들어, 전자 장치(100)는 제2 초음파 이미지를 제1 상관 모델(310)에 입력시키고, 제1 상관 모델(310)로부터 출력된 타겟 산모의 조산 여부를 나타내는 데이터를 획득할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)는 타겟 산모의 조산 여부를 나타내는 데이터를 초음파 검사 장치(200)에 전송할 수 있다. 상기의 초음파 검사 장치(200)는 수신한 타겟 산모의 조산 여부를 나타내는 데이터를 디스플레이를 통해 표시할 수 있다. 상기의 경우, 사용자는 초음파 검사 장치(200)를 통해 타겟 산모에 대한 초음파 검사를 진행하면서 타겟 산모의 조산 여부를 나타내는 데이터를 초음파 검사 장치(200)를 통해 확인할 수 있다. 예를 들어, 초음파 검사 장치(200)는 디스플레이를 통해 "본 산모는 조산이 발생할 가능성이 높은 산모입니다."라는 메시지를 표시할 수 있다. 상기의 경우, 초음파 검사 중인 산모의 조산 여부를 나타내는 데이터를 실시간으로 의사 및 산모에게 제공하여 확인하게 할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)는 타겟 산모의 조산 여부를 나타내는 데이터를 별도의 서버 장치에 전송할 수 있고, 서버 장치는 수신한 타겟 산모의 조산 여부를 나타내는 데이터를 저장할 수 있다. 상기의 경우, 사용자는 서버 장치를 통해 타겟 산모의 조산 여부를 나타내는 데이터를 확인할 수 있다. 상기의 경우, 민감한 정보로 분류될 수 있는 조산 여부를 나타내는 데이터를 의사가 확인하여 관리할 수 있다.
도 2는 본 개시의 다양한 실시예에 따른 전자 장치(100)의 블록도이다. 전자 장치(100)는 하나 이상의 프로세서(110), 하나 이상의 메모리(120), 통신 회로(130) 및 입력 장치(140)를 포함할 수 있다. 전자 장치(100)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 전자 장치(100)에 추가될 수 있다. 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 전자 장치(100) 내, 외부의 구성 요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
다양한 실시예에 따르면, 하나 이상의 프로세서(110)는 전자 장치(100)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 하나 이상의 프로세서(110)는, 예를 들어, 전자 장치(100)의 구성 요소들과 작동적으로 연결될 수 있다. 하나 이상의 프로세서(110)는 전자 장치(100)의 다른 구성 요소로부터 수신된 명령 또는 데이터를 하나 이상의 메모리(120)에 로드(load)하고, 하나 이상의 메모리(120)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
다양한 실시예에 따르면, 하나 이상의 메모리(120)는 하나 이상의 프로세서(110)의 동작에 대한 인스트럭션들을 저장할 수 있다. 하나 이상의 메모리(120)는 기계 학습 알고리즘에 따라 구축된 상관 모델들을 저장할 수 있다.
다양한 실시예에 따르면, 통신 회로(130)는 외부 장치(예: 초음파 검사 장치(200))와 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 다양한 실시예에 따르면, 통신 회로(130)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 통신 회로(130)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다.
다양한 실시예에 따르면 통신 회로(130)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다.
다양한 실시예에 따른 입력 장치(140)는, 전자 장치(100)의 구성요소(예: 하나 이상의 프로세서(110))에 사용될 명령 또는 데이터를 전자 장치(100)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(140)는, 예를 들면, 마이크, 마우스 또는 키보드를 포함할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 통신 회로(130)를 통해 외부 장치로부터 타겟 산모의 제1 초음파 이미지를 수신할 수 있다. 하나 이상의 프로세서(110)는 수신한 타겟 산모의 제1 초음파 이미지를 하나 이상의 메모리(120)에 저장할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 제1 초음파 이미지를 전처리하여, 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 제1 상관 모델을 이용하여, 제2 초음파 이미지로부터 타겟 산모의 조산 여부를 나타내는 데이터를 도출할 수 있다. 제1 상관 모델은 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다. 하나 이상의 메모리(120)는 상기 제1 상관 모델을 저장할 수 있다. 하나 이상의 프로세서(110)는 제2 초음파 이미지를 제1 상관 모델에 입력하고, 제1 상관 모델로부터 출력된 타겟 산모의 조산 여부를 나타내는 데이터를 획득할 수 있다.
도 3a는 본 개시의 다양한 실시예에 따른 제1 상관 모델을 구축하는 방법을 도시한 도면이다. 도 3a를 참조하면, 다양한 실시예에 따른 전자 장치(100)는 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 복수의 제1 초음파 이미지(301)를 이용하여, 제1 상관 모델(310)을 구축할 수 있다.
다양한 실시예에 따른 전자 장치(100)는 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 복수의 제1 초음파 이미지(301)를 저장할 수 있다. 예를 들어, 전자 장치(100)의 하나 이상의 프로세서(110)는 외부 장치로부터 상기 복수의 제1 초음파 이미지(301)를 수신하여 하나 이상의 메모리(예: 도 2의 하나 이상의 메모리(120))에 저장할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지(301)를 전처리하여, 산모들의 자궁 경부에 관한 복수의 제2 초음파 이미지를 획득할 수 있다. 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지 각각에서 복수의 제1 초음파 이미지 각각에 대응하는 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하고, 복수의 제1 초음파 이미지 각각에 대해 결정된 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 복수의 제1 초음파 이미지 각각의 관심 영역을 결정할 수 있다.
일 실시예에 따르면, 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지 각각에서 복수의 제1 초음파 이미지 각각에 대응하는 산모의 자궁 경부의 외부 입구 및 내부 입구의 위치를 모두 결정하고, 복수의 제1 초음파 이미지 각각에 대해 결정된 자궁 경부의 외부 입구 및 내부 입구의 위치에 기초하여 복수의 제1 초음파 이미지 각각의 관심 영역을 결정할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지 각각에서 복수의 제1 초음파 이미지 각각에 대응하는 산모의 자궁 경부의 외부 입구의 위치만을 결정하고, 복수의 제1 초음파 이미지 각각에 대해 결정된 자궁 경부의 외부 입구의 위치에 기초하여 복수의 제1 초음파 이미지 각각의 관심 영역을 결정할 수도 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지 각각에서 결정된 관심 영역을 크롭하여, 복수의 제2 초음파 이미지를 획득할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(110)는 복수의 제2 초음파 이미지의 대비를 향상시키기 위하여, 복수의 제2 초음파 이미지에 CLAHE 알고리즘을 적용할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 복수의 제2 초음파 이미지의 세트를 입력 데이터로 사용하고, 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여 기계 학습 모델을 학습할 수 있다. 하나 이상의 프로세서(110)는 상술한 기계 학습 과정을 통하여, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링한 제1 상관 모델(310)을 구축할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 구축된 제1 상관 모델(310)을 이용하여, 타겟 산모의 조산 여부를 예측할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는, 타겟 산모의 제1 초음파 이미지를 외부 장치로부터 수신하는 경우, 타겟 산모의 제1 초음파 이미지를 전처리하여, 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득할 수 있다. 하나 이상의 프로세서(110)는 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 제1 상관 모델(310)에 입력하여, 타겟 산모의 조산 여부를 나타내는 데이터를 도출할 수 있다. 제2 초음파 이미지는 타겟 산모의 자궁 경부의 적어도 일부를 포함하는 초음파 이미지일 수 있다. 제2 초음파 이미지는, 예를 들어, 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나를 포함하는 초음파 이미지일 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지를 전처리하지 않고, 기계 학습 모델을 학습시킬 수도 있다. 상기의 경우, 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지의 세트를 입력 데이터로 사용하고, 복수의 제1 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여 기계 학습 모델을 학습할 수 있다. 하나 이상의 프로세서(110)는 기계 학습 과정을 통하여, 산모들의 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링한 제1 상관 모델(310)을 구축할 수도 있다.
도 3b는 본 개시의 다양한 실시예에 따른 제1 상관 모델(310)을 활용하는 방법을 나타낸 도면이다. 전술한 바와 같이, 제1 상관 모델(310)은 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다. 산모들의 조산 여부를 나타내는 데이터(330)는 제1 상관 모델(310)에 의해 도출된(예측된) 데이터일 수 있다. 예를 들어, 산모들의 조산 여부를 나타내는 데이터(330)는 산모들이 임신 37주차 이전에 조산할 지 여부를 나타내는 데이터일 수 있다. 산모들의 자궁 경부에 관한 초음파 이미지(320)는, 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 자궁 경부에 관한 복수의 초음파 이미지를 포함할 수 있다. 예를 들어, 산모들의 자궁 경부에 관한 초음파 이미지(320)는 실제 조산이 발생한 산모들의 임신 15주차 내지 28주차의 자궁 경부에 관한 초음파 이미지들 및 실제 조산이 발생하지 않은 산모들의 임신 15주차 내지 28주차의 자궁 경부에 관한 초음파 이미지들을 포함할 수 있다. 실제 조산이 발생한 산모들의 초음파 이미지들 및 실제 조산이 발생하지 않은 산모들의 초음파 이미지들 간의 비율은 통상의 기술자 입장에서 기계 학습 모델을 학습시키기 적절한 비율로 설정될 수 있다. 상기 실시예에서, 산모들의 조산 여부를 나타내는 데이터(330)는 산모들의 임신 37주차 이전에 조산할 지 여부를 나타내는 데이터일 수 있다고 하였으나, 상기 기간에 제한되는 것은 아니다.
일 실시예에서, 제1 상관 모델(310)은 상술한 데이터 외에 다른 데이터, 예를 들어, 산모들의 개인 임상 정보(clinical information)와의 상관 관계를 더 고려하여 구축될 수도 있다.
본 개시에서 기계 학습은, 데이터 및 데이터를 처리한 경험을 이용한 학습을 통해, 컴퓨터 소프트웨어가 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 기계 학습은 상관 모델에 의해 수행될 수 있다. 상관 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 상관 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여, 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 상관 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 데이터가 상관 모델의 입력 및 출력 쌍으로 주어지는 경우, 상관 모델은 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는 입력 데이터만 주어지는 경우에도, 상관 모델은 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다. 일 실시예에서, 기계 학습 알고리즘은 심층 신경망(deep neural network), 순환 신경망(recurrent neural network), 합성곱 신경망(convolution neural network), 분류-회귀 분석(regression analysis)을 위한 머신 러닝 모델, 강화 학습(reinforcement learning) 모델, 결정 트리 학습법(decision tree learning), 연관 규칙 학습법, 유전 계획법, 귀납 논리 계획법, 서포트 벡터 머신(support vector machine), 클러스터링(clustering), 베이즈 네트워크(Bayesian network) 또는 동일성 계측 학습법 중에서 선택된 적어도 하나일 수 있다.
제1 상관 모델(310)은, 상기 초음파 이미지 세트로부터, 질감, 밀도, 자궁 경부의 모양, 자궁 전체의 모양, 자궁 주변 조직의 모양, 병변의 유무, 슬러지(sludge)의 유무 및 자궁 경부의 길이 중 적어도 하나의 특징을 추출하고, 제1 상관 모델(310)은 추출된 적어도 하나의 특징을 이용하여, 초음파 이미지 세트 및 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 도출하도록 기계 학습된 상관 모델일 수 있다.
제1 상관 모델(310)은, 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 자궁 경부에 관한 복수의 초음파 이미지 세트를 입력 데이터로 사용하고, 복수의 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터(330)를 출력 데이터로 사용하여, 기계 학습 모델을 학습시켜서 구축한 상관 모델일 수 있다. 상기 입력 데이터로 사용된 복수의 초음파 이미지 세트는, 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 복수의 초음파를 전처리하여 획득한 산모들의 자궁 경부에 관한 복수의 초음파 이미지를 포함할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 제1 상관 모델(310)에 상술한 산모들의 자궁 경부에 관한 초음파 이미지(320)를 입력할 수 있다. 제1 상관 모델(310)은 입력된 산모들의 자궁 경부에 관한 초음파 이미지(320)에 기초하여, 산모들의 조산 여부를 나타내는 데이터(330)를 도출(예측)할 수 있다. 제1 상관 모델(310)은 도출된 산모들의 조산 여부를 나타내는 데이터(330)를 출력할 수 있다. 산모들의 조산 여부를 나타내는 데이터(330)는 산모들이 임신 37주차 이전에 조산할지 여부를 나타내는 데이터일 수 있으며, 예를 들어, 임신 37주차 이전에 조산할지 여부를 O(preterm) 또는 X(normal)로 나타내는 데이터일 수 있다. 따라서, 구축된 제1 상관 모델(310)을 이용하면, 타겟 산모의 자궁 경부에 관한 초음파 이미지(320)로부터 타겟 산모의 조산 여부를 나타내는 데이터(330)를 도출할 수 있다.
도 4a 내지 4d는 본 개시의 다양한 실시예에 따른 산모의 제1 초음파 이미지를 전처리하여 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하는 과정을 도시한 도면이다.
도 4a는 외부 장치로부터 수신한 산모의 제1 초음파 이미지(401)를 나타낸 도면이다. 도 4b는 외부 장치로부터 수신한 산모의 제1 초음파 이미지(403)를 나타낸 도면이다. 다양한 실시예에 따른 전자 장치(100)는 외부 장치로부터 자궁 경부의 외부 입구 및 내부 입구의 위치가 표시되지 않은 산모의 제1 초음파 이미지(401)를 수신할 수도 있고, 자궁 경부의 외부 입구 및 내부 입구의 위치가 표시된 산모의 제1 초음파 이미지(403)를 수신할 수도 있다.
도 4a를 참조하면, 다양한 실시예에 따른 하나 이상의 프로세서(110)는 통신 회로(130)를 통해 외부 장치로부터 자궁 경부의 외부 입구 및 내부 입구의 위치가 표시되지 않은 산모의 제1 초음파 이미지(401)를 수신할 수 있다. 외부 장치는, 예를 들어, 초음파 검사 장치(200), 서버 장치 또는 저장 장치(예: 클라우드)일 수 있다. 산모의 제1 초음파 이미지(401)는 초음파 검사 장치(200)를 통해 산모의 자궁을 측정함으로써 획득된 초음파 이미지일 수 있다. 하나 이상의 프로세서(110)는 수신한 산모의 제1 초음파 이미지(401)를 하나 이상의 메모리(120)에 저장할 수 있다. 상기의 경우, 하나 이상의 프로세서(110)는 제2 상관 모델(예: 도 7의 제2 상관 모델(710))을 이용하여 제1 초음파 이미지(403)로부터 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나의 위치를 도출할 수도 있다. 제2 상관 모델을 이용하는 구체적인 방법은 후술하도록 한다.
도 4b를 참조하면, 다양한 실시예에 따른 하나 이상의 프로세서(110)는 외부 장치로부터 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411)의 위치가 표시된 제1 초음파 이미지(403)를 수신할 수 있다. 예를 들어, 사용자(예: 의사)는 초음파 검사 장치(200)를 통해 초음파 검사를 진행하는 중 초음파 검사 장치(200)를 통해 제1 초음파 이미지(403) 상에 자궁 경부의 외부 입구(413) 및 내부 입구(411)의 위치를 마킹할 수 있다. 예를 들어, 사용자는 초음파 검사가 끝난 이후, 초음파 검사 장치(200)를 통해 획득된 산모의 제1 초음파 이미지(403) 상에 자궁 경부의 외부 입구(413) 및 내부 입구(411)의 위치를 마킹할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 초음파 검사 장치(200)로부터 산모의 제1 초음파 이미지(403)를 수신한 이후, 사용자는 전자 장치(100)의 입력 장치(140)를 이용하여 수신한 제1 초음파 이미지(403) 상에 자궁 경부의 외부 입구(413) 및 내부 입구(411)의 위치를 결정할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 입력 장치(140)를 통해 수신한 사용자 입력에 기초하여, 제1 초음파 이미지(403)에서 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나의 위치를 결정할 수 있다.
산모의 제1 초음파 이미지(401 또는 403)는 자궁 경부의 외부 입구(413) 및 내부 입구(411)의 위치뿐만 아니라, 산모의 자궁의 위치, 태아의 위치, 산모의 질 조직 위치 등이 나타난 로우 이미지(raw image)일 수 있다. 제1 상관 모델(310)을 이용하여 정확도가 높은 산모의 조산 여부를 나타내는 데이터를 도출하기 위해서는, 산모의 자궁 경부에 관한 이미지가 필요하므로, 산모의 제1 초음파 이미지(401 또는 403)를 전처리하여, 조산 여부를 예측하는데 불필요한 정보들이 제거하는 것이 바람직할 수 있다.
도 4c 및 4d는 제1 초음파 이미지를 전처리하여 제2 초음파 이미지를 획득하는 방법을 도시한 도면이다. 다양한 실시예에 따른 하나 이상의 프로세서(110)는 산모의 제1 초음파 이미지(401 또는 403)를 전처리하여, 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득할 수 있다. 제2 초음파 이미지는 자궁 경부의 적어도 일부를 포함하는 초음파 이미지일 수 있다. 제2 초음파 이미지는, 예를 들어, 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나의 위치를 포함하는 초음파 이미지일 수 있다.
도 4c를 참조하면, 다양한 실시예에 따른 하나 이상의 프로세서(110)는 제1 초음파 이미지 상에서 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나의 위치를 결정할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 제1 초음파 이미지(403) 상에 마킹된 위치들에 기초하여, 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나의 위치를 결정할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 제2 상관 모델(710)을 이용하여, 제1 초음파 이미지(401)로부터 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나의 위치를 도출할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 제2 상관 모델(710)로부터 도출된 위치들을 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411)의 위치로 결정할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 결정된 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나의 위치에 기초하여, 제1 초음파 이미지를 회전시키고, 회전된 제1 초음파 이미지에서 관심 영역을 결정할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 산모의 자궁 경부의 외부 입구(413)에서 내부 입구(411)로 향하는 방향이 수직으로 올라가는 방향이 되도록 제1 초음파 이미지를 회전시킬 수 있다. 즉, 하나 이상의 프로세서(110)는 산모의 자궁 경부의 외부 입구(413)로부터 내부 입구(411)로 향하는 반직선이 수평선에 대해 수직하도록 제1 초음파 이미지를 회전시킬 수 있다. 일 실시예에 따르면, 제1 초음파 이미지를 회전시키지 않고 바로 관심 영역을 결정할 수도 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 회전된 제1 초음파 이미지(405)에서 관심 영역을 결정할 수 있다. 하나 이상의 프로세서(110)는 회전된 제1 초음파 이미지(405)에서 산모의 자궁 경부의 적어도 일부를 포함하는 관심 영역을 결정할 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 회전된 제1 초음파 이미지(405)에서 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나가 포함되도록 특정 크기의 관심 영역을 결정할 수 있다. 예를 들어, 산모의 자궁 경부의 외부 입구(413)를 기준으로 기 지정된 세로 길이 및 가로 길이를 갖는 관심 영역을 결정할 수 있다. 예를 들어, 산모의 자궁 경부의 외부 입구(413)로부터 위로 5cm, 아래로 1cm, 좌로 2cm 및 우로 1.5cm 길이를 갖는 직사각형 영역을 관심 영역으로 결정할 수 있다. 상기에서는 설명의 편의를 위하여 특정 값으로 설명하였지만, 관심 영역의 크기, 모양 및 결정 방법은 다양하게 변형될 수 있음은 통상의 기술자 입장에서 자명할 것이다.
도 4d는 제2 초음파 이미지(407)를 도시한 도면이다. 도 4d 를 참조하면, 다양한 실시예에 따른 하나 이상의 프로세서(110)는 제1 초음파 이미지에서 결정된 관심 영역을 크롭하여, 산모의 자궁 경부에 관한 제2 초음파 이미지(407)를 획득할 수 있다. 제1 초음파 이미지에서 결정된 관심 영역에는 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411) 중 적어도 하나가 포함되므로, 관심 영역을 크롭하여 획득된 제2 초음파 이미지(407)는 산모의 자궁 경부의 외부 입구(413) 및 내부 입구(411)의 위치 중 적어도 하나가 나타날 수 있다. 상기의 방법으로 획득된 제2 초음파 이미지(407)를 이용하여 기계 학습 모델을 학습시킬 수 있고, 구축된 제1 상관 모델(310)에 입력할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 제2 초음파 이미지(407)의 대비를 향상시키기 위하여, 제2 초음파 이미지에 CLAHE(contrast limited adaptive histogram equalization) 알고리즘을 적용할 수도 있다. CLAHE 알고리즘은 이미지 간 대비 차이를 최소화시켜서 이미지의 대비를 개선하기 위해 사용되는 이미지 처리 알고리즘일 수 있다. 예를 들어, CLAHE 알고리즘은 이미지의 각 픽셀의 밝기를 변환하여 이미지의 로컬 대비를 향상시키기 위한 알고리즘일 수 있다. 하나 이상의 프로세서(110)는 제2 초음파 이미지(407)에 CLAHE 알고리즘을 적용하여, 제2 초음파 이미지(407)의 대비를 향상시킬 수 있다. 대비가 향상된 제2 초음파 이미지(407)를 제1 상관 모델(310)에 입력하는 경우, 제1 상관 모델(310)을 통해 출력되는 데이터의 정확도가 향상될 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 제1 초음파 이미지(401 또는 403)를 전처리하지 않고, 기계 학습 모델을 학습시켜 제1 상관 모델(310)을 구축할 수도 있다. 상기의 경우, 하나 이상의 프로세서(110)는 제1 상관 모델(310)을 이용하여, 타겟 산모의 제1 초음파 이미지(401 또는 403)로부터 타겟 산모의 조산 여부를 나타내는 데이터를 도출할 수도 있다.
도 5는 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 구체적으로, 도 5는 기계 학습 알고리즘에 따라 구축된 제1 상관 모델(310)을 이용하는 방법을 도시한 동작 흐름도이다.
도 5를 참조하면, 다양한 실시예에 따른 전자 장치(100)의 하나 이상의 프로세서(110)는, 동작 510에서, 통신 회로(130)를 통해 외부 장치로부터 수신한 타겟 산모의 제1 초음파 이미지를 하나 이상의 메모리(120)에 저장할 수 있다. 제1 초음파 이미지는 초음파 검사 장치(200)를 통해 획득된 산모의 초음파 이미지일 수 있다. 외부 장치는, 예를 들어, 초음파 검사 장치(200)일 수 있다. 외부 장치는, 예를 들어, 서버 장치 또는 저장 장치일 수 있다. 상기의 경우, 서버 장치 또는 저장 장치는 초음파 검사 장치(200)로부터 산모의 초음파 이미지를 수신하여 저장하고 있을 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 520에서, 제1 초음파 이미지를 전처리하여, 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 530에서, 제1 상관 모델(310)을 이용하여, 제2 초음파로부터 타겟 산모의 조산 여부를 나타내는 데이터를 도출할 수 있다. 제1 상관 모델(310)은, 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다. 제1 상관 모델(310)은 하나 이상의 메모리(120)에 저장되어 있을 수 있다. 제1 상관 모델(310)은, 타겟 산모의 조산 여부를 예측하기 이전에, 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 자궁 경부에 관한 복수의 초음파 이미지를 이용해 기계 학습 모델을 학습시켜서 구축된 상관 모델일 수 있다.
도 6은 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 구체적으로, 도 6은 도 5의 동작 520에 관한 동작 흐름도이다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 610에서, 타겟 산모의 제1 초음파 이미지에서 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정할 수 있다. 일 실시예에 따르면, 제1 초음파 이미지에는 산모의 자궁 경부의 외부 입구 및 내부 입구의 위치가 마킹되어 있을 수 있다. 상기의 경우, 하나 이상의 프로세서(110)는 제1 초음파 이미지 상에 마킹된 위치들에 기초하여, 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정할 수 있다. 일 실시예에 따르면, 제1 초음파 이미지에 산모의 자궁 경부의 외부 입구 및 내부 입구의 위치가 마킹되어 있지 않을 수도 있다. 상기의 경우, 하나 이상의 프로세서(110)는 제2 상관 모델(710)을 이용하여, 제1 초음파 이미지로부터 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 도출할 수 있다. 제2 상관 모델(710)을 이용하는 구체적인 방법은 후술하기로 한다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 620에서, 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 제1 초음파 이미지에서 관심 영역을 결정할 수 있다. 하나 이상의 프로세서(110)는 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여, 제1 초음파 이미지를 회전시키고, 회전된 제1 초음파 이미지 상에서 관심 영역을 결정할 수 있다. 관심 영역은 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나를 포함하는 특정 크기 및 특정 모양의 영역일 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 630에서, 제1 초음파 이미지에서 결정된 관심 영역을 크롭하여, 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득할 수 있다. 이후, 하나 이상의 프로세서(110)는 제2 초음파 이미지를 제1 상관 모델(310)에 입력하여, 타겟 산모의 조산 여부를 나타내는 데이터를 출력시킬 수 있다.
도 7은 본 개시의 다양한 실시예에 따른 제2 상관 모델(710)을 나타낸 도면이다. 제2 상관 모델(710)은 기계 학습 알고리즘에 따라, 산모들의 초음파 이미지 세트 및 산모들의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 관한 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다. 산모들의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 관한 데이터는 제2 상관 모델(710)에 의해 도출된(예측된) 데이터일 수 있다. 상기 초음파 이미지 세트는 산모들의 복수의 초음파 이미지를 포함할 수 있다.
제2 상관 모델(710)은 산모들의 자궁 경부의 외부 입구 및 내부 입구의 위치가 나타난 복수의 초음파 이미지(720)를 입력 데이터로 사용하고, 산모들의 자궁 경부의 외부 입구 및 내부 입구의 위치에 관한 데이터(730)를 출력 데이터로 사용하여, 기계 학습 모델을 학습시켜서 구축한 상관 모델일 수 있다. 따라서, 구축된 제2 상관 모델(710)을 이용하면, 산모의 자궁 경부의 외부 입구 및 내부 입구의 위치가 나타나지 않은 초음파 이미지로부터 산모의 자궁 경부의 외부 입구 및 내부 입구의 위치를 도출할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는 제2 상관 모델(710)에 산모들의 초음파 이미지(720)를 입력할 수 있다. 제2 상관 모델(710)은 입력된 산모들의 초음파 이미지(720)에 기초하여, 산모들의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 관한 데이터(730)를 출력할 수 있다.
도 8은 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 도 8을 참조하면, 다양한 실시예에 따른 전자 장치(100)의 하나 이상의 프로세서(110)는, 동작 810에서, 통신 회로(130)를 통해 외부 장치로부터 수신한 타겟 산모의 제1 초음파 이미지를 하나 이상의 메모리(120)에 저장할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 820에서, 제1 초음파 이미지를 전처리하여 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 830에서, 제2 초음파 이미지에 CLAHE 알고리즘을 적용할 수 있다. 제2 초음파 이미지에 CLAHE 알고리즘을 적용하는 경우, 제2 초음파 이미지의 대비가 향상될 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 840에서, 제1 상관 모델(310)을 이용하여 제2 초음파 이미지로부터 타겟 산모의 조산 여부를 나타내는 데이터를 도출할 수 있다. 제1 상관 모델(310)은 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 850에서, 타겟 산모의 조산 여부를 나타내는 데이터를 외부 장치로 전송할 수 있다. 외부 장치는, 예를 들어, 초음파 검사 장치(200)일 수 있다.
도 9는 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 구체적으로, 도 9는 기계 학습 모델을 학습시키는 방법에 관한 동작 흐름도이다.
도 9를 참조하면, 다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 910에서, 산모들에 있어서, 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 복수의 초음파 이미지를 저장할 수 있다. 하나 이상의 프로세서(110)는, 통신 회로(130)를 통해 외부 장치로부터 실제 조산이 발생했는지 여부에 따라 분류된 산모들의 복수의 초음파 이미지 수신할 수 있고, 수신한 복수의 초음파 이미지를 하나 이상의 메모리(120)에 저장할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 920에서, 복수의 제1 초음파 이미지를 전처리하여, 산모들의 자궁 경부에 관한 복수의 제2 초음파 이미지를 획득할 수 있다. 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지 각각에서 복수의 제1 초음파 이미지 각각에 대응하는 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정할 수 있다. 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지 각각에 대해 결정된 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 복수의 제1 초음파 이미지 각각에서 관심 영역을 결정할 수 있다. 하나 이상의 프로세서(110)는 복수의 제1 초음파 이미지 각각에서 결정된 관심 영역을 크롭하여, 복수의 제2 초음파 이미지를 획득할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(110)는 복수의 제2 초음파 이미지의 대비를 향상시키기 위하여, 복수의 제2 초음파 이미지에 CLAHE 알고리즘을 적용할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(110)는, 동작 930에서, 복수의 제2 초음파 이미지의 세트를 입력 데이터로 사용하고, 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여 기계 학습 모델을 학습시킬 수 있다. 예를 들어, 하나 이상의 프로세서(110)는 복수의 제2 초음파 이미지 각각으로부터 질감, 밀도, 자궁 경부의 모양, 자궁 전체의 모양, 자궁 주변 조직의 모양, 병변의 유무, 슬러지의 유무 및 자궁 경부의 길이 중 적어도 하나의 특징을 추출할 수 있다. 하나 이상의 프로세서(110)는 추출된 적어도 하나의 특징을 이용하여, 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트 사이의 상관 관계를 도출하도록 기계 학습 모델을 학습시킬 수 있다. 기계 학습 모델은, 예를 들어, 심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석 모델 또는 강화 학습 모델 중 하나일 수 있다. 하나 이상의 프로세서(110)는 상술한 학습 과정을 통해 구축된 제1 상관 모델(310)을 하나 이상의 메모리(120)에 저장할 수 있다.
본 문서에 도시된 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 개시의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 개시에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 개시의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 개시가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 사상 및 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (30)

  1. 조산을 예측하기 위한 전자 장치에 있어서,
    외부 장치와 통신 연결되는 통신 회로;
    기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 제1 상관 모델을 저장하는 하나 이상의 메모리; 및
    하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    상기 통신 회로를 통해 상기 외부 장치로부터 수신한 타겟 산모의 제1 초음파 이미지를 상기 하나 이상의 메모리에 저장하고,
    상기 제1 초음파 이미지를 전처리하여, 상기 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하고,
    상기 제1 상관 모델을 이용하여, 상기 제2 초음파 이미지로부터 상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하도록 구성되는, 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제1 초음파 이미지에서 상기 타겟 산모의 자궁 경부의 외부 입구(external orifice) 및 내부 입구(internal orifice) 중 적어도 하나의 위치를 결정하고,
    상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 상기 제1 초음파 이미지에서 관심 영역을 결정하고,
    상기 제1 초음파 이미지에서 상기 결정된 관심 영역을 크롭하여, 상기 제2 초음파 이미지를 획득하도록 구성된, 전자 장치.
  3. 제2항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제2 초음파 이미지의 대비를 향상시키기 위하여, 상기 제2 초음파 이미지에 CLAHE 알고리즘을 적용하도록 구성된, 전자 장치.
  4. 제2항에 있어서,
    상기 하나 이상의 메모리는,
    기계 학습 알고리즘에 따라, 산모들의 초음파 이미지 세트 및 상기 산모들의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 관한 데이터 세트 사이의 상관 관계를 모델링하여 구축된 제2 상관 모델을 더 저장하고,
    상기 하나 이상의 프로세서는,
    상기 제2 상관 모델을 이용하여, 상기 제1 초음파 이미지로부터 상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 도출하도록 구성된, 전자 장치.
  5. 제2항에 있어서,
    입력 장치를 더 포함하고,
    상기 하나 이상의 프로세서는,
    상기 입력 장치를 통해 수신한 사용자 입력에 기초하여, 상기 제1 초음파 이미지에서 상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하도록 구성된, 전자 장치.
  6. 제1항에 있어서,
    상기 초음파 이미지 세트는 상기 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 상기 산모들의 임신 15주차 내지 28주차의 자궁 경부에 관한 복수의 초음파 이미지를 포함하고,
    상기 제1 초음파 이미지는 임신 15주차 내지 28주차의 상기 타겟 산모의 초음파 이미지이고,
    상기 타겟 산모의 조산 여부를 나타내는 데이터는 상기 타겟 산모가 임신 37주차 이전에 조산할지 여부를 나타내는 데이터인, 전자 장치.
  7. 제1항에 있어서,
    상기 외부 장치는 초음파 검사 장치이며,
    상기 하나 이상의 프로세서는,
    상기 타겟 산모의 조산 여부를 나타내는 데이터를 상기 외부 장치로 전송하도록 구성된, 전자 장치.
  8. 제1항에 있어서,
    상기 제1 상관 모델은,
    상기 초음파 이미지 세트로부터, 질감, 밀도, 자궁 전체의 모양, 자궁 주변 조직의 모양, 병변의 유무, 슬러지의 유무, 자궁 경부의 모양 및 자궁 경부의 길이 중 적어도 하나의 특징을 추출하고,
    상기 추출된 적어도 하나의 특징을 이용하여, 상기 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 도출하도록 기계 학습된 상관 모델인, 전자 장치.
  9. 제1항에 있어서,
    상기 기계 학습 알고리즘은,
    심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석을 위한 머신 러닝 모델 또는 강화 학습 모델 중 하나인, 전자 장치.
  10. 조산을 예측하는 방법에 있어서,
    외부 장치로부터 수신한 타겟 산모의 제1 초음파 이미지를 저장하는 동작;
    상기 제1 초음파 이미지를 전처리하여, 상기 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하는 동작; 및
    제1 상관 모델을 이용하여, 상기 제2 초음파 이미지로부터 상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하는 동작을 포함하고,
    상기 제1 상관 모델은, 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델인, 방법.
  11. 제10항에 있어서,
    상기 제2 초음파 이미지를 획득하는 동작은,
    상기 제1 초음파 이미지에서 상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하는 동작;
    상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 상기 제1 초음파 이미지에서 관심 영역을 결정하는 동작; 및
    상기 제1 초음파 이미지에서 상기 결정된 관심 영역을 크롭하여, 상기 제2 초음파 이미지를 획득하는 동작을 포함하는, 방법.
  12. 제11항에 있어서,
    상기 제2 초음파 이미지의 대비를 향상시키기 위하여, 상기 제2 초음파 이미지에 CLAHE 알고리즘을 적용하는 동작을 더 포함하는, 방법.
  13. 제11항에 있어서,
    상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하는 동작은,
    제2 상관 모델을 이용하여, 상기 제1 초음파 이미지로부터 상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 도출하는 동작을 포함하고,
    상기 제2 상관 모델은, 기계 학습 알고리즘에 따라, 산모들의 초음파 이미지 세트 및 상기 산모들의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 관한 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델인, 방법.
  14. 제11항에 있어서,
    상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하는 동작은,
    입력 장치를 통해 수신한 사용자 입력에 기초하여, 상기 제1 초음파 이미지에서 상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하는 동작을 포함하는, 방법.
  15. 제10항에 있어서,
    상기 초음파 이미지 세트는 상기 산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 상기 산모들의 임신 15주차 내지 28주차의 자궁 경부에 관한 복수의 초음파 이미지를 포함하고,
    상기 제1 초음파 이미지는 임신 15주차 내지 28주차의 상기 타겟 산모의 초음파 이미지이고,
    상기 타겟 산모의 조산 여부를 나타내는 데이터는 상기 타겟 산모가 임신 37주차 이전에 조산할지 여부를 나타내는 데이터인, 방법.
  16. 제10항에 있어서,
    상기 외부 장치는 초음파 검사 장치이며,
    상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하는 동작 이후, 상기 타겟 산모의 조산 여부를 나타내는 데이터를 상기 외부 장치로 전송하는 동작을 더 포함하는, 방법.
  17. 제10항에 있어서,
    상기 제1 상관 모델은,
    상기 초음파 이미지 세트로부터, 질감, 밀도, 자궁 전체의 모양, 자궁 주변 조직의 모양, 병변의 유무, 슬러지의 유무, 자궁 경부의 모양, 및 자궁 경부의 길이 중 적어도 하나의 특징을 추출하고,
    상기 추출된 적어도 하나의 특징을 이용하여, 상기 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 도출하도록 기계 학습된 상관 모델인, 방법.
  18. 제10항에 있어서,
    상기 기계 학습 알고리즘은,
    심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석을 위한 머신 러닝 모델 또는 강화 학습 모델 중 하나인, 방법.
  19. 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 프로그램은, 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가,
    외부 장치로부터 수신한 타겟 산모의 제1 초음파 이미지를 저장하는 동작;
    상기 제1 초음파 이미지를 전처리하여, 상기 타겟 산모의 자궁 경부에 관한 제2 초음파 이미지를 획득하는 동작; 및
    제1 상관 모델을 이용하여, 상기 제2 초음파 이미지로부터 상기 타겟 산모의 조산 여부를 나타내는 데이터를 도출하는 동작
    을 수행하도록 하는 실행 가능한 명령을 포함하고,
    상기 제1 상관 모델은, 기계 학습 알고리즘에 따라, 산모들의 자궁 경부에 관한 초음파 이미지 세트 및 상기 산모들의 조산 여부를 나타내는 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델인, 컴퓨터 판독 가능한 기록 매체.
  20. 제19항에 있어서,
    상기 제2 초음파 이미지를 획득하는 동작은,
    상기 제1 초음파 이미지에서 상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하는 동작;
    상기 타겟 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 상기 제1 초음파 이미지에서 관심 영역을 결정하는 동작; 및
    상기 제1 초음파 이미지에서 상기 결정된 관심 영역을 크롭하여, 상기 제2 초음파 이미지를 획득하는 동작을 포함하는, 컴퓨터 판독 가능한 기록 매체.
  21. 조산 예측에 이용되는 기계 학습 모델을 학습시키기 위한 전자 장치에 있어서,
    산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 상기 산모들의 복수의 제1 초음파 이미지를 저장하는 하나 이상의 메모리; 및
    하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    상기 복수의 제1 초음파 이미지를 전처리하여, 상기 산모들의 자궁 경부에 관한 복수의 제2 초음파 이미지를 획득하고,
    상기 복수의 제2 초음파 이미지의 세트를 입력 데이터로 사용하고, 상기 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시키도록 구성된, 전자 장치.
  22. 제21항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 제1 초음파 이미지 각각에서 상기 복수의 제1 초음파 이미지 각각에 대응하는 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하고,
    상기 복수의 제1 초음파 이미지 각각에 대해 결정된 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 상기 복수의 제1 초음파 이미지 각각에서 관심 영역을 결정하고,
    상기 복수의 제1 초음파 이미지 각각에서 상기 결정된 관심 영역을 크롭하여, 상기 복수의 제2 초음파 이미지를 획득하도록 구성된, 전자 장치.
  23. 제22항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 제2 초음파 이미지의 대비를 향상시키기 위하여, 상기 복수의 제2 초음파 이미지에 CLAHE 알고리즘을 적용하도록 구성된, 전자 장치.
  24. 제21항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 제2 초음파 이미지 각각으로부터 질감, 밀도, 자궁 전체의 모양, 자궁 주변 조직의 모양, 병변의 유무, 슬러지의 유무, 자궁 경부의 모양 및 자궁 경부의 길이 중 적어도 하나의 특징을 추출하고,
    상기 추출된 적어도 하나의 특징을 이용하여, 상기 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트 사이의 상관 관계를 도출하도록 상기 기계 학습 모델을 학습시키는, 전자 장치.
  25. 제21항에 있어서,
    상기 기계 학습 모델은,
    심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석 모델 또는 강화 학습 모델 중 하나인, 전자 장치.
  26. 기계 학습 모델을 학습시키는 방법에 있어서,
    산모들에 있어서 실제 조산이 발생했는지 여부에 따라 분류된 상기 산모들의 복수의 제1 초음파 이미지를 저장하는 동작;
    상기 복수의 제1 초음파 이미지를 전처리하여, 상기 산모들의 자궁 경부에 관한 복수의 제2 초음파 이미지를 획득하는 동작; 및
    상기 복수의 제2 초음파 이미지의 세트를 입력 데이터로 사용하고, 상기 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시키는 동작을 포함하는, 방법.
  27. 제26항에 있어서,
    상기 복수의 제2 초음파 이미지를 획득하는 동작은,
    상기 복수의 제1 초음파 이미지 각각에서 상기 복수의 제1 초음파 이미지 각각에 대응하는 산모의 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치를 결정하는 동작;
    상기 복수의 제1 초음파 이미지 각각에 대해 결정된 자궁 경부의 외부 입구 및 내부 입구 중 적어도 하나의 위치에 기초하여 상기 복수의 제1 초음파 이미지 각각에서 관심 영역을 결정하는 동작; 및
    상기 복수의 제1 초음파 이미지 각각에서 상기 결정된 관심 영역을 크롭하여, 상기 복수의 제2 초음파 이미지를 획득하는 동작을 포함하는, 방법.
  28. 제27항에 있어서,
    상기 복수의 제2 초음파 이미지의 대비를 향상시키기 위하여, 상기 복수의 제2 초음파 이미지에 CLAHE 알고리즘을 적용하는 동작을 더 포함하는, 방법.
  29. 제26항에 있어서,
    상기 기계 학습 모델을 학습시키는 동작은,
    상기 복수의 제2 초음파 이미지의 세트로부터, 질감, 밀도, 자궁 전체의 모양, 자궁 주변 조직의 모양, 병변의 유무, 슬러지의 유무, 자궁 경부의 모양 및 자궁 경부의 길이 중 적어도 하나의 특징을 추출하는 동작; 및
    상기 추출된 적어도 하나의 특징을 이용하여, 상기 복수의 제2 초음파 이미지 각각에 대응하는 산모의 조산 여부를 나타내는 데이터의 세트 사이의 상관 관계를 도출하도록 상기 기계 학습 모델을 학습하는 동작을 포함하는, 방법.
  30. 제26항에 있어서,
    상기 기계 학습 모델은,
    심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석을 위한 머신 러닝 모델 또는 강화 학습 모델 중 하나인, 방법.
PCT/KR2021/016053 2020-12-11 2021-11-05 조산을 예측하기 위한 전자 장치 및 방법 WO2022124588A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0173144 2020-12-11
KR1020200173144A KR102286190B1 (ko) 2020-12-11 2020-12-11 조산을 예측하기 위한 전자 장치 및 방법
KR10-2021-0063971 2020-12-11
KR1020210063971A KR102270010B1 (ko) 2020-12-11 2021-05-18 조산을 예측하기 위한 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022124588A1 true WO2022124588A1 (ko) 2022-06-16

Family

ID=76626345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016053 WO2022124588A1 (ko) 2020-12-11 2021-11-05 조산을 예측하기 위한 전자 장치 및 방법

Country Status (2)

Country Link
KR (2) KR102286190B1 (ko)
WO (1) WO2022124588A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286190B1 (ko) * 2020-12-11 2021-08-09 한림대학교 산학협력단 조산을 예측하기 위한 전자 장치 및 방법
KR102559223B1 (ko) * 2021-07-19 2023-07-26 주식회사 디앤피바이오텍 기계 학습에 기반한 조산 위험도 예측 장치
KR102414713B1 (ko) * 2021-11-29 2022-07-01 주식회사 코스모스웨일 태아 모니터링 데이터로부터 태아 상태를 판단하기 위한 장치
KR20230110986A (ko) * 2022-01-17 2023-07-25 연세대학교 산학협력단 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160058812A (ko) * 2013-09-20 2016-05-25 트랜스뮤럴 바이오테크, 에스.엘. 질환을 진단하기 위한 영상 분석 기법
KR20160065669A (ko) * 2014-12-01 2016-06-09 삼성메디슨 주식회사 초음파 영상 장치 및 그 동작 방법
KR20180085247A (ko) * 2017-01-18 2018-07-26 삼성메디슨 주식회사 초음파 영상 장치 및 초음파 영상 표시 방법
KR20200013161A (ko) * 2018-07-19 2020-02-06 김승우 인공지능 기반 조산예측 시스템 및 그 방법
KR102286190B1 (ko) * 2020-12-11 2021-08-09 한림대학교 산학협력단 조산을 예측하기 위한 전자 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122770A1 (en) * 2013-10-15 2019-04-25 Parkland Center For Clinical Innovation Lightweight Clinical Pregnancy Preterm Birth Predictive System and Method
EP2869261B1 (en) * 2013-11-04 2018-10-31 Cyrill Gyger Method for processing image data representing a three-dimensional volume
US20200022674A1 (en) * 2016-08-29 2020-01-23 Vladimir Egorov Method and probe for predicting spontaneous preterm delivery
US20200395117A1 (en) * 2019-06-14 2020-12-17 Cycle Clarity, LLC Adaptive image processing method and system in assisted reproductive technologies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160058812A (ko) * 2013-09-20 2016-05-25 트랜스뮤럴 바이오테크, 에스.엘. 질환을 진단하기 위한 영상 분석 기법
KR20160065669A (ko) * 2014-12-01 2016-06-09 삼성메디슨 주식회사 초음파 영상 장치 및 그 동작 방법
KR20180085247A (ko) * 2017-01-18 2018-07-26 삼성메디슨 주식회사 초음파 영상 장치 및 초음파 영상 표시 방법
KR20200013161A (ko) * 2018-07-19 2020-02-06 김승우 인공지능 기반 조산예측 시스템 및 그 방법
KR102286190B1 (ko) * 2020-12-11 2021-08-09 한림대학교 산학협력단 조산을 예측하기 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
KR102270010B1 (ko) 2021-06-29
KR102286190B1 (ko) 2021-08-09

Similar Documents

Publication Publication Date Title
WO2022124588A1 (ko) 조산을 예측하기 위한 전자 장치 및 방법
WO2020207377A1 (zh) 一种图像识别模型训练及图像识别方法、装置及系统
JP2021068382A (ja) 疾患予測システム、保険料算出システム及び疾患予測方法
CN205405516U (zh) 院前院内急诊信息共享系统
Rasheed et al. Automated fetal head classification and segmentation using ultrasound video
Shihadeh et al. Deep learning based image classification for remote medical diagnosis
van Teijlingen et al. Artificial intelligence and health in Nepal
WO2022173232A2 (ko) 병변의 발생 위험성을 예측하는 방법 및 시스템
WO2023054768A1 (ko) 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법
Abbasi et al. Deep-learning for automated markerless tracking of infants general movements
Medjedovic et al. Artificial intelligence as a new answer to old challenges in maternal-fetal medicine and obstetrics
Barbounaki et al. Fuzzy logic intelligent systems and methods in midwifery and obstetrics
Rani et al. Prediction of the mortality rate and framework for remote monitoring of pregnant women based on IoT
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
Lin et al. A deep learning model for screening computed tomography imaging for thyroid eye disease and compressive optic neuropathy
CN113408533B (zh) 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备
Vemuri et al. Artificial intelligence and internet of medical things based health-care system for real-time maternal stress–strategies to reduce maternal mortality rate
WO2022119347A1 (ko) 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체
WO2018236195A1 (ko) 초음파 영상 처리 방법
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
Sriraam et al. Ultrasound imaging based recognition of prenatal anomalies: a systematic clinical engineering review
WO2022124737A1 (ko) 수술 부위 모니터링 방법 및 이를 이용한 디바이스
WO2019078577A1 (en) METHODS AND SYSTEMS FOR ASSESSING OVARIAN PARAMETERS FROM ULTRASONIC IMAGES
Kannaiyan et al. Revolutionizing Women\'s Health: Artificial Intelligence\'s Impact on Obstetrics and Gynecology
WO2022119350A1 (ko) 초음파 영상 기반의 딥 러닝을 통한 관상동맥 스텐트 예측 방법, 장치 및 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903635

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21903635

Country of ref document: EP

Kind code of ref document: A1