WO2023136579A1 - 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스 - Google Patents

자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스 Download PDF

Info

Publication number
WO2023136579A1
WO2023136579A1 PCT/KR2023/000424 KR2023000424W WO2023136579A1 WO 2023136579 A1 WO2023136579 A1 WO 2023136579A1 KR 2023000424 W KR2023000424 W KR 2023000424W WO 2023136579 A1 WO2023136579 A1 WO 2023136579A1
Authority
WO
WIPO (PCT)
Prior art keywords
cervix
cervical
region
predicting
providing information
Prior art date
Application number
PCT/KR2023/000424
Other languages
English (en)
French (fr)
Inventor
권하얀
윤혜선
서진근
권자영
조현철
정윤지
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2023136579A1 publication Critical patent/WO2023136579A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
    • A61B5/435—Assessing cervix alteration or dilation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method for providing information on the cervix and a device for providing information on the cervix using the same.
  • the cervix is a hard, cylindrical structure in the lower part of the uterine body measuring about 3.0 cm or more.
  • the structural transformation of the cervix can provide prediction and diagnosis of natural preterm birth prior to delivery, prediction of successful delivery induction and discrimination of false delivery.
  • Cervical length may be one of the key parameters involved in decision making. For example, in the case of a mother with a short cervical length, there may be a risk of premature birth, so diagnosis or treatment such as examination timing or medication may be performed.
  • the measurement of the cervical length may vary depending on the skill level of the doctor.
  • the placement of calipers for measuring the cervical length based on ultrasound diagnosis should be preceded by accurate identification of the internal os and external os and the cervical canal between them. , speckle noise, mucus, and echoes from adjacent structures such as the posterior vaginal wall can be difficult.
  • the cervical path may not be clearly visible due to various echoes found in the inner and surrounding mucosal layers of the cervix.
  • the inventors of the present invention tried to develop an information providing system based on an artificial neural network trained to segment a specific region within an image.
  • the inventors of the present invention have recognized that it is possible to segment the cervical cervix, which is structurally difficult to distinguish, with high accuracy, by performing the cervical segmentation step by step rather than segmenting the cervix in a single procedure.
  • the inventors of the present invention segment a cervix region in a medical image of the cervix, such as an ultrasound image, and precisely segment the anterior lip of the cervix through precise segmentation within the segmented uterine region. ), the posterior lip of the cervix, and the vaginal wall, and finally, an information provision system was designed to predict the cervical region.
  • the inventors of the present invention in the learning of the artificial neural network, further applied a confidence map for the cervical cervix that provides information on the position of the cervical cervix in the segmentation process of the cervical cervix.
  • an information provision system capable of accurately identifying the cervical cervix and automatically measuring the cervical length in medical images was developed through a step-by-step segmentation procedure using deep learning-based structures around the cervix.
  • the inventors of the present invention could recognize that by providing a new information providing system, it is possible to reduce cumbersome expert's work time and standardized cervical tracking with a deep learning system.
  • the inventors of the present invention can track the cervix and measure the length of the cervix with high accuracy regardless of the skill level of medical staff, and provide highly reliable information about the cervix. could be expected
  • an object to be solved by the present invention is a method for providing information on the cervix configured to predict a cervical region from a received medical image, predict a detailed region for the predicted uterine region, and finally predict a cervical cervix, and using the same to provide the device.
  • the information providing method includes the steps of receiving a medical image of the subject's uterus, predicting the uterus region based on the received medical image using a first prediction model learned to segment the uterus region using the medical image as an input and predicting a cervical canal region within the predicted cervical canal region by using a second prediction model learned to divide the cervical canal region with respect to the cervical region.
  • the step of predicting the cervical region includes the anterior lip of the cervix, the posterior lip of the cervix, and the vaginal wall ( The method may include dividing at least one region of the vaginal wall, and predicting a cervical cervical region based on the at least one region.
  • the step of predicting the cervical region comprises: acquiring a confidence map during the process of predicting the cervical region using the second predictive model; and predicting the cervical region based on the confidence map. steps may be included.
  • the step of predicting the cervical region includes dividing at least one of the anterior part of the cervix, the posterior part of the cervix, and the vaginal wall within the cervical region using the second prediction model.
  • the method may include: obtaining a reliability map during processing for predicting a cervical cervical region using a second predictive model, and predicting a cervical cervical region based on at least one region and the reliability map.
  • the step of estimating the cervical region comprises: estimating the internal os and external cervical sphere, and the internal cervical sphere and the lateral cervical sphere The step of estimating the cervical cervical region based on may be further included.
  • the predicting of the cervical region includes predicting a pre-cervix, a uterus, and a post-cervix in the medical image using the first prediction model. and cropping only the cervical region.
  • the method may further include determining a cervical length based on the cervical region.
  • the method for providing information may further include predicting a risk of premature birth based on the length of the cervix.
  • the information providing method may further include providing a cervical region.
  • the medical image may be a gynecology ultrasonography image.
  • the device for providing information includes a communication unit configured to receive a medical image of an object's uterus, and a processor configured to communicate with the communication unit.
  • the processor predicts the cervical region based on the received medical image using the first prediction model learned to divide the cervical region by taking the medical image as an input, and learns to divide the cervical cervix with respect to the cervical region.
  • the second predictive model it may be configured to predict the cervical cervical region within the predicted cervical region.
  • the processor determines at least one of the anterior lip of the cervix, the posterior lip of the cervix, and the vaginal wall within the uterine region using the second prediction model. segment the regions and predict the cervical region based on the at least one region.
  • the processor may be configured to obtain a confidence map during the process of predicting the cervical region using the second predictive model, and to predict the cervical region based on the confidence map.
  • the processor divides at least one of the anterior part of the cervix, the posterior part of the cervix, and the vaginal wall within the uterine region using the second predictive model, and uses the second predictive model. and obtain a confidence map during the process of predicting the used cervical region, and predict the cervical region based on the at least one region and the confidence map.
  • the processor may be configured to predict the inner cervical sphere and the lateral cervical sphere, and to predict the cervical region based on the inner cervical sphere and the lateral cervical sphere.
  • the processor may be configured to predict the anterior, uterine, and posterior parts of the uterus in the medical image using the first prediction model, and crop only the uterine region.
  • the processor may be further configured to determine the cervical length based on the cervical region.
  • the processor may be further configured to predict risk of preterm birth based on cervical length.
  • the device for providing information may further include an output unit connected to the processor and configured to output a cervical region.
  • the present invention has an effect of providing information related to the cervix by providing an information providing system for the cervix based on an artificial neural network configured to predict the cervix using medical images.
  • the present invention can provide an information providing system that divides the cervix in detail through a plurality of steps, so that the cervix can be predicted with higher accuracy than a system that divides the cervix in a single step, and the cervix with high reliability You can provide information about length.
  • the present invention provides a system for providing information on the cervix based on an artificial neural network so that the medical staff can automatically measure the length of the cervix by referring to the provided information on the cervical region regardless of skill level, and make various decisions and plan treatment. information can be provided to establish
  • the present invention by providing an information providing system capable of standardized cervical tracking, can contribute to high-accuracy decision-making for predicting and diagnosing natural preterm birth, predicting success of childbirth induction and discrimination of false childbirth.
  • FIG. 1 illustrates a system for providing information on the cervix using a device for providing information on the cervix according to an embodiment of the present invention.
  • FIG. 2A is a block diagram showing the configuration of a medical staff device according to an embodiment of the present invention.
  • 2B is a block diagram showing the configuration of a server for providing information according to an embodiment of the present invention.
  • FIG. 3 illustrates a procedure of a method for providing information on the cervix according to an embodiment of the present invention.
  • 4a and 4b illustrate procedures of a method for providing information on the cervix according to an embodiment of the present invention.
  • 5A illustrates a structure of a first prediction model used in a method for providing information on the cervix according to an embodiment of the present invention.
  • 5B illustrates a structure of a second prediction model used in a method for providing information on the cervix according to an embodiment of the present invention.
  • 6A to 6B illustrate preprocessing procedures of medical images for learning and verifying a first prediction model and a second prediction model, respectively, in a method for providing information on the cervix according to an embodiment of the present invention.
  • the term "subject" may refer to any subject to whom information on the cervix is desired.
  • the subject may be a mother.
  • the subject disclosed in this specification may be any mammal except for humans, but is not limited thereto.
  • the term “medical image” is a medical image of the uterus, and may be a medical image of the uterus that can be obtained by a non-invasive method.
  • the medical image may be a gynecology ultrasonography image such as lower abdominal ultrasound and transvaginal ultrasound, but is not limited thereto.
  • the medical image may be a video composed of a plurality of cuts.
  • the cervix area and the length of the cervix may be determined for each frame of the video according to the method for providing information on the cervix according to an embodiment of the present invention.
  • the present invention can provide a streaming service by performing prediction simultaneously with reception of a medical image from an image diagnosis device, and can also provide cervical information in real time.
  • the medical image may be a 2D image, but is not limited thereto and may be a 3D image.
  • first predictive model may be a model configured to output a cervical region using a medical image as an input.
  • the first predictive model may be a model learned to divide three classes of pre-cervix, uterus or post-cervix based on medical images.
  • the first prediction model may be a model learned to predict only the uterine region in the image.
  • second prediction model may be a model trained to predict the cervical cervix by using an image of the cervical region as an input.
  • the second predictive model may be a model learned to divide the cervical cervix by a plurality of steps rather than a single step.
  • the second predictive model divides at least one region of the anterior lip of the cervix, the posterior lip of the cervix, and the vaginal wall in the uterine region, and , may be a model learned to output the cervical region based on the segmentation result.
  • the second predictive model may be a model learned to output a confidence map during processing of predicting a cervical cervical region and to finally output a cervical region based on the confidence map.
  • the second predictive model divides the anterior part of the cervix, the posterior part of the cervix, and the vaginal wall within the cervical region simultaneously with the output of the reliability map during the process of predicting the cervical region, and the reliability map and region segmentation result It may be a model learned to finally output the cervical region based on .
  • the second prediction model is a model obtained by learning the structure of the uterus and the positional characteristics of the cervical cervix, and may be a model capable of highly accurate segmentation of the cervical cervix.
  • the second predictive model may be further trained to divide internal os and external os corresponding to the start point and end point of the cervical cervix, respectively, within the cervical region.
  • the first prediction model and the second prediction model may be U-net, but are not limited thereto.
  • predictive models include VGG net, DenseNet, Fully Convolutional Network (FCN) with encoder-decoder structure, deep neural network (DNN) such as SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, and MobileNet-v2. , GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, and Inception-v3.
  • the prediction models may be ensemble models based on at least two algorithm models among the aforementioned algorithms.
  • FIGS. 1 and 2a and 2b a system for providing information on the cervix using a device for providing information on the cervix and a device for providing information on the cervix according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2a and 2b.
  • FIG. 1 illustrates a system for providing information on the cervix using a device for providing information on the cervix according to an embodiment of the present invention.
  • FIG. 2A is an exemplary diagram illustrating a configuration of a medical staff device receiving information about the cervix according to an embodiment of the present invention.
  • Figure 2b illustrates the configuration of a device for providing information on the cervix according to an embodiment of the present invention by way of example.
  • an information providing system 1000 may be a system configured to provide information related to the cervix based on a medical image of an object.
  • the information providing system 1000 includes the medical staff device 100 receiving information related to the cervix, the medical image diagnosis device 200 providing medical images such as gynecological ultrasound images, and the uterus based on the received medical images. It can be configured with an information providing server 300 that generates information about the cervix.
  • the medical staff device 100 is an electronic device that provides a user interface for displaying information related to the cervix, and includes at least one of a smart phone, a tablet PC (Personal Computer), a laptop computer, and/or a PC. can do.
  • a smart phone a tablet PC (Personal Computer), a laptop computer, and/or a PC. can do.
  • tablet PC Personal Computer
  • laptop computer a laptop computer
  • PC Personal Computer
  • the medical staff device 100 may receive a prediction result associated with the cervix of the object from the server 300 for providing information, and display the received result through a display unit to be described later.
  • the information provision server 300 is a general-purpose computer, laptop, and/or data that performs various calculations for determining information related to the cervix based on a medical image provided from the medical image diagnosis device 200 such as an ultrasound diagnosis device. server, etc.
  • the information providing server 300 may be a device for accessing a web server providing web pages or a mobile web server providing mobile web sites, but is not limited thereto.
  • the server 300 for providing information receives a medical image from the medical image diagnosis device 200, divides the cervical region and detailed cervical region in the received medical image, and determines the final cervical cervix from this. It can provide information related to the cervix by determining or determining the cervical length. In this case, information related to the cervix may be predicted from the medical image using the information providing server 300 and the predictive model.
  • the server 300 for providing information may provide a prediction result related to the cervix to the medical device 100 .
  • the information provided from the server 300 for providing information in this way may be provided as a web page through a web browser installed in the medical device 100, or may be provided in the form of an application or program. In various embodiments, this data may be provided in a form incorporated into the platform in a client-server environment.
  • the medical device 100 may include a memory interface 110 , one or more processors 120 and a peripheral interface 130 .
  • the various components within clinician device 100 may be connected by one or more communication buses or signal lines.
  • the memory interface 110 is connected to the memory 150 and can transfer various data to the processor 120 .
  • the memory 150 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage, cloud , It may include at least one type of storage medium among blockchain databases.
  • memory 150 includes operating system 151 , communication module 152 , graphical user interface module (GUI) 153 , sensor processing module 154 , telephony module 155 , and application module 156 .
  • the operating system 151 can include instructions for handling basic system services and instructions for performing hardware tasks.
  • the communication module 152 can communicate with at least one of another one or more devices, computers, and servers.
  • a graphical user interface module (GUI) 153 can process a graphical user interface.
  • Sensor processing module 154 can process sensor-related functions (eg, process voice input received using one or more microphones 192).
  • the telephony module 155 can process telephony-related functions.
  • Application module 156 can perform various functions of a user application, such as electronic messaging, web browsing, media processing, navigation, imaging, and other processing functions.
  • the medical device 100 may store one or more software applications 156 - 1 and 156 - 2 (eg, information providing applications) associated with a certain type of service in the memory 150 .
  • memory 150 can store digital assistant client module 157 (hereafter referred to as DA client module), thereby storing instructions and various user data 158 for performing client-side functions of the digital assistant. (eg, user-customized vocabulary data, preference data, and other data such as the user's electronic address book, to-do list, shopping list, etc.).
  • DA client module digital assistant client module 157
  • user-customized vocabulary data, preference data, and other data such as the user's electronic address book, to-do list, shopping list, etc.
  • the DA client module 157 receives a user's voice input, text input, touch input, and/or gesture through various user interfaces (eg, the I/O subsystem 140) provided in the medical device 100. input can be obtained.
  • various user interfaces eg, the I/O subsystem 140
  • the DA client module 157 can output data in audio-visual and tactile forms.
  • the DA client module 157 may output data consisting of a combination of at least two of voice, sound, notification, text message, menu, graphic, video, animation, and vibration.
  • the DA client module 157 can communicate with a digital assistant server (not shown) using the communication subsystem 180 .
  • DA client module 157 can collect additional information about the surrounding environment of clinician device 100 from various sensors, subsystems, and peripheral devices to construct a context associated with user input. .
  • the DA client module 157 can provide contextual information along with user input to the digital assistant server to infer the user's intent.
  • the situational information that may accompany the user input may include sensor information, eg, lighting, ambient noise, ambient temperature, image of the surrounding environment, video, and the like.
  • contextual information can include the physical state of the clinician device 100 (eg, device orientation, device location, device temperature, power level, speed, acceleration, motion patterns, cellular signal strength, etc.) .
  • contextual information may include information related to the state of the software of the clinician device 100 (e.g., processes running on the clinician device 100, installed programs, past and current network activity, background services, error logs, resource usage, etc.).
  • the memory 150 may include added or deleted commands, and the medical device 100 may also include additional components other than those shown in FIG. 2 or may exclude some components.
  • the processor 120 may control the overall operation of the medical device 100 and may execute various commands for implementing an interface providing information related to the cervix by driving an application or program stored in the memory 150. there is.
  • the processor 120 may correspond to a computing device such as a central processing unit (CPU) or an application processor (AP).
  • the processor 120 may be implemented in the form of an integrated chip (IC) such as a System on Chip (SoC) in which various computing devices such as a Neural Processing Unit (NPU) are integrated.
  • IC integrated chip
  • SoC System on Chip
  • NPU Neural Processing Unit
  • the peripheral interface 130 may be connected to various sensors, subsystems, and peripheral devices to provide data so that the medical device 100 can perform various functions.
  • the fact that the medical device 100 performs a certain function can be understood as being performed by the processor 120 .
  • Peripheral interface 130 can receive data from motion sensor 160, light sensor (light sensor) 161, and proximity sensor 162, through which medical device 100 can determine orientation, light, and proximity. sensing function, etc.
  • peripheral interface 130 can receive data from other sensors 163 (positioning system-GPS receiver, temperature sensor, biometric sensor), through which medical device 100 can receive data from other sensors. (163) and related functions can be performed.
  • clinician device 100 can include a camera subsystem 170 coupled with peripheral interface 130 and an optical sensor 171 coupled thereto, through which clinician device 100 can take pictures and video Various shooting functions such as clip recording can be performed.
  • clinician device 100 can include a communication subsystem 180 coupled with peripheral interface 130 .
  • the communication subsystem 180 is composed of one or more wired/wireless networks, and may include various communication ports, radio frequency transceivers, and optical transceivers.
  • clinician device 100 includes an audio subsystem 190 coupled to peripheral interface 130, which audio subsystem 190 includes one or more speakers 191 and one or more microphones 192.
  • audio subsystem 190 includes one or more speakers 191 and one or more microphones 192.
  • clinician device 100 can perform voice-activated functions, such as voice recognition, voice replication, digital recording, and telephony functions.
  • clinician device 100 can include I/O subsystem 140 coupled with peripheral interface 130 .
  • the I/O subsystem 140 can control the touch screen 143 included in the medical practitioner device 100 via the touch screen controller 141 .
  • the touch screen controller 141 uses any one of a plurality of touch sensing technologies such as capacitive, resistive, infrared, surface acoustic wave technology, proximity sensor array, and the like to detect the user's touch and movement or touch. and cessation of movement.
  • I/O subsystem 140 can control other input/control devices 144 included in clinician device 100 via other input controller(s) 142 .
  • other input controller(s) 142 can control one or more buttons, rocker switches, thumb-wheels, infrared ports, USB ports, and pointer devices such as styluses and the like.
  • the information providing server 300 may include a communication interface 310, a memory 320, an I/O interface 330, and a processor 340, each component being one They can communicate with each other through the above communication buses or signal lines.
  • the communication interface 310 is connected to the medical staff device 100 and the medical imaging diagnosis device 200 through a wired/wireless communication network to exchange data.
  • the communication interface 310 may receive a medical image from the medical image diagnosis device 200 and transmit information related to the determined uterus to the medical device 100 .
  • the communication interface 310 enabling transmission and reception of such data includes a communication pod 311 and a wireless circuit 312, where the wired communication port 311 is one or more wired interfaces, for example, Ethernet, This may include Universal Serial Bus (USB), FireWire, and the like.
  • the wireless circuitry 312 can transmit and receive data to and from external devices through RF signals or optical signals.
  • wireless communication may use at least one of a plurality of communication standards, protocols and technologies, such as GSM, EDGE, CDMA, TDMA, Bluetooth, Wi-Fi, VoIP, Wi-MAX, or any other suitable communication protocol.
  • the memory 320 can store various data used in the server 300 for providing information.
  • the memory 320 may store a medical image or store a first prediction model and a second prediction model learned to divide a cervical region and a cervical region within a medical image.
  • memory 320 may include volatile or non-volatile recording media capable of storing various data, commands, and information.
  • the memory 320 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage. , Cloud, and a blockchain database may include at least one type of storage medium.
  • memory 320 can store a configuration of at least one of operating system 321 , communication module 322 , user interface module 323 and one or more applications 324 .
  • Operating system 321 e.g., an embedded operating system such as LINUX, UNIX, MAC OS, WINDOWS, VxWorks, etc.
  • controls and manages general system tasks e.g., memory management, storage device control, power management, etc.
  • general system tasks e.g., memory management, storage device control, power management, etc.
  • the communication module 323 can support communication with other devices via the communication interface 310 .
  • the communication module 320 may include various software components for processing data received by the wired communication port 311 or the wireless circuitry 312 of the communication interface 310 .
  • the user interface module 323 can receive a user's request or input from a keyboard, touch screen, microphone, etc. through the I/O interface 330 and provide a user interface on a display.
  • Applications 324 can include programs or modules configured to be executed by one or more processors 330 .
  • an application for providing information related to the cervix may be implemented on a server farm.
  • the I/O interface 330 may connect at least one of an input/output device (not shown) of the information providing server 300, for example, a display, a keyboard, a touch screen, and a microphone, to the user interface module 323.
  • the I/O interface 330 together with the user interface module 323 can receive user input (eg, voice input, keyboard input, touch input, etc.) and process commands according to the received input.
  • the processor 340 is connected to the communication interface 310, the memory 320, and the I/O interface 330 to control the overall operation of the server 300 for providing information, and applications stored in the memory 320 or Various commands for providing information can be executed through the program.
  • the processor 340 may correspond to a computing device such as a central processing unit (CPU) or an application processor (AP).
  • the processor 340 may be implemented in the form of an integrated chip (IC) such as a System on Chip (SoC) in which various computing devices are integrated.
  • the processor 340 may include a module for calculating an artificial neural network model, such as a Neural Processing Unit (NPU).
  • NPU Neural Processing Unit
  • the processor 340 may be configured to segment a cervical region and a detailed region in a medical image using predictive models, and finally provide a cervical region.
  • processor 340 can be configured to provide information about cervical length.
  • FIGS. 3 and 4A and 4B illustrate a procedure of a method for providing information on the cervix according to an embodiment of the present invention.
  • 3 illustrates a procedure of a method for providing information on the cervix according to an embodiment of the present invention.
  • 4a and 4b illustrate procedures of a method for providing information on the cervix according to an embodiment of the present invention.
  • an information providing procedure is as follows. First, a medical image of an object is received (S310). Then, the uterine region is predicted by the first prediction model (S320). Then, the cervical region is predicted by the second prediction model (S330). Finally, data on the cervix is determined (S340).
  • an ultrasound medical image including a target region, that is, a cervical region may be received.
  • gynecology ultrasonography such as 2D lower abdominal ultrasound and transvaginal ultrasound may be received.
  • a transvaginal ultrasound image may be received, but is not limited thereto.
  • the pre-cervix, uterus, and post-cervix of the uterus can be predicted in the medical image by the first prediction model.
  • the medical image 312 is input to the first prediction model 320 .
  • the first prediction model may be a model learned to divide the anterior part of the uterus, the uterus, and the posterior part of the uterus by using the learning medical image as an input.
  • the anterior portion of the uterus may include the bladder, the anterior wall of the vagina, and the uterine cavity, and the uterus may include the cervix, the anterior lip of the cervix, the posterior lip of the cervix, and the vaginal wall.
  • the posterior part of the uterus may include the cul-de-sac, the rectum.
  • anterior cervical region 3222, uterine region 3224, and posterior uterine region 3226 are divided and output from the first predictive model 320.
  • the cervical region 3224 among the plurality of regions is cropped, and the cropped image 324 has an aspect ratio adjusted to a predetermined level. is obtained
  • a step (S330) of predicting the cervical region is performed.
  • the step of predicting the cervical region (S330), the anterior lip of the cervix, the posterior lip of the cervix, and the vaginal wall within the cervical region understood by the second prediction model At least one region of the vaginal wall is segmented, and a cervical region is predicted based on the at least one region.
  • a reliability map during processing for predicting the cervical cervical region by the second prediction model is obtained, and the cervical region is predicted based on the reliability map. do.
  • the step of predicting the cervical region (S330) at least one region is predicted and a reliability map is acquired simultaneously, and the cervical region is obtained based on the at least one region and the reliability map. This may be the final output.
  • a cropped image 324 including the cervical region 3224 is input to the second prediction model 330 .
  • the second predictive model 330 may include a layer that outputs a reliability map during processing that predicts the cervix, and an output layer that predicts the anterior part of the cervix, the posterior part of the cervix, and the vaginal wall within the cervical region. there is. Furthermore, it may include an output layer that finally outputs the cervical canal based on these output values.
  • the second predictive model 330 outputs a reliability map 322 showing high reliability in the cervical region 3322, and at the same time, the anterior region of the cervix 3342, the posterior region of the cervix 3344, and The vaginal wall region 334 can be divided and output.
  • the image 342 in which the cervical region 3422 is divided can be output through the last output layer.
  • the second prediction model 330 can finally predict the cervical region through a step-by-step segmentation procedure using the position of the cervical cervix and structures around the cervix. It may be possible to accurately determine the
  • a step of determining data on the cervix (S340) is performed.
  • the length of the cervix may be measured based on the cervical region.
  • the risk of premature birth may be further predicted based on the cervical length in step S340 in which data on the cervix is determined.
  • medical images including data on the cervix and the divided cervix can be received by the medical device 100 .
  • the medical staff may be provided with information on information related to the cervix of the subject according to the information providing method according to various embodiments of the present invention, so that a more accurate decision-making and treatment plan may be established.
  • 5A illustrates a structure of a first prediction model used in a method for providing information on the cervix according to an embodiment of the present invention.
  • the first prediction model used in various embodiments of the present invention may have a U-net structure. More specifically, in the U-shaped first prediction model of FIG. 5, the left region is max pooling, which is used as a feature by extracting a convolutional layer and a local maximum value for the input 2D transvaginal ultrasound image. ) is composed of layers. In the lowermost region, the 2D transvaginal ultrasound image may be expressed as a global feature. Furthermore, in the right region of the first prediction model, features obtained in the lowermost region are upsampled as they go up. As a result, the input 2D transvaginal ultrasound image may be output as three channels of the posterior uterine region, cervical region, and anterior uterine region, and each section may be divided and determined. However, the present invention is not limited thereto, and according to another embodiment of the present invention, the input 2D transvaginal ultrasound image may be output as 2 channels of the background or uterine region.
  • features of the left region may be copied and pasted to positions of the same level in the right region through a skip connection from left to right.
  • features lost as the input 2D transvaginal ultrasound image becomes smaller may be corrected, and copied features may be used together with features transmitted from the lowermost region.
  • each of the pre-cervix, cervix, and post-cervix within the training ultrasound image When defined as function that satisfies Acquire
  • the cervical region may be the region where the cervical canal, which is the final segmentation target region, is located.
  • the batch size was set to 4. Furthermore, the weight of each layer can be mediated by the set loss function (Equation 1), the learning rate is set to 1e-4, and the number of learning epochs is set to 1000.
  • the learning parameters of the first predictive model are not limited to those described above.
  • FIG. 5B the structure of the second prediction model used in the method for providing information on the cervix according to an embodiment of the present invention is illustrated as an example.
  • 6A to 6B illustrate preprocessing procedures of medical images for learning and verifying a first prediction model and a second prediction model, respectively, in a method for providing information on the cervix according to an embodiment of the present invention.
  • the second prediction model may have the same U-net structure as the first prediction model described above.
  • image 622 can be used as an input image in training of the second predictive model.
  • a region corresponding to the cervical When the distance map Each pixel of can be defined as Referring to FIG. 6B together, the cervical cervical region established based on the internal os and external os is the minimum Euclidean distance between is determined, and based on this, a reliability map ( ) can be obtained.
  • the reliability map Can be calculated by Equation 2 below.
  • the second predictive model does not directly determine the cervical region, but outputs a reliability map for the cervical region as an intermediate output value, and based on this, the cervical region is output. can determine
  • the second predictive model divides the anterior lip of the cervix, the posterior lip of the cervix, and the vaginal wall region within the cervical region, and functions as a function in the learning step. to learn
  • Equation 3 the function is learned through a minimization process through Equation 3 below.
  • class may mean a regression loss for a reliability map and a segmentation loss for image segmentation, respectively.
  • the second predictive model can segment the cervical region with high accuracy by learning the location of the cervical cervix and the characteristics of the structure of the cervix.
  • the test result of the set model obtained by the error measurement method in this way is 95%.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Reproductive Health (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 자궁 경부에 대한 정보 제공 방법으로, 개체의 의료 영상을 수신하는 단계, 의료 영상의 임상 특징 (자궁 경부 길이inical features) 을 기초로 CAM (자궁 경부 길이ass-activation map) 영상을 생성하도록 구성된 CAM 생성 모델을 이용하여, 의료 영상을 기초로 CAM 영상을 생성하는 단계, 의료 영상 및 CAM 영상을 입력으로 하여 자궁 경부의 예후를 예측하도록 구성된 예측 모델을 이용하여, 의료 영상 및 CAM 영상을 기초로 개체의 자궁 경관을 결정하는 단계를 포함하는, 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.

Description

자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스
본 발명은 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스에 관한 것이다.
자궁 경부는 약 3.0cm 이상 측정되는 자궁체의 하부에 있는 단단한 원통형 구조로서, 태아의 무게를 지탱하고 임신 기간 동안 질 미생물의 상승을 막는 장벽 역할을 하기에 임신 유지에 매우 중요하다. 또한, 자궁 경부의 구조적 변형이 분만에 앞서 자연 조산 예측 및 진단, 분만 유도 성공 및 거짓 분만의 감별 예측 등을 제공할 수 있다.
이에, 자궁 경부에 대한 계측 정보는 임상 매개변수로서 중요할 수 있다. 자궁 경부 길이 (cervical length; CL) 는 의사 결정과 연관된 주요 매개변수 중 하나일 수 있다. 예를 들어, 짧은 자궁경부길이를 지닌 산모의 경우 조산의 위험이 있을 수 있어 진찰시기나 투약 등의 진찰이나 치료가 행해질 수 있다.
이때, 잘못된 자궁 경부 길이의 측정은 의사 결정에 부정적인 영향을 주어 불필요한 입원이나 중재를 유발할 수 있으므로 표준화된 기준을 엄격히 준수하여 수행되어야 한다.
한편, 자궁 경부 길이의 측정은 의사의 숙련도에 따라 다를 수 있다. 특히, 초음파 진단 기반의 자궁 경부 길이 측정을 위한 캘리퍼 (caliper) 의 배치는 내측 자궁 경부구 (internal os) 및 외측 자궁 경부구 (external os) 및 그 사이에 있는 자궁 경관의 정확한 식별이 선행되어야 하지만, 스페클 잡음 (speckle noise), 점액, 후질벽과 같은 인접 구조로부터의 에코로 인해 어려울 수 있다.
즉, 자궁경부 길이의 측정 시, 특히 초음파 진단을 통한 자궁 경부 길이 측정에서, 자궁 경부 내측 및 주변 점막층에서 발견되는 다양한 에코 발생으로 인해 자궁 경부 경로가 뚜렷하게 보이지 않을 수 있다.
따라서, 의료 서비스 질의 향상 등을 위하여 정확하게 자궁 경부의 예후와 연관된 정보를 제공하는 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 전술한 문제점을 해결하기 위해, 본 발명의 발명자들은 영상 내에서 특정 영역을 분할하도록 학습된 인공 신경망 네트워크 기반의 정보 제공 시스템을 개발하고자 하였다.
특히, 본 발명의 발명자들은 단일 절차로 자궁 경관을 분할하는 것이 아닌 단계적인 분할을 수행함으로써, 구조적으로 구별되기 어려운 자궁 경관에 대한 정확도 높은 분할이 가능함을 인지할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 초음파 영상과 같은 자궁 경부에 대한 의료 영상 내에서 자궁 영역 (cervix region) 을 분할하고, 분할된 자궁 영역 내에서 정밀한 분할을 통해 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 을 분할하고 최종적으로 자궁 경관 영역을 예측하도록 정보 제공 시스템을 설계하고자 하였다.
더욱이, 본 발명의 발명자들은, 인공 신경망 네트워크의 학습에 있어서, 자궁 경관의 분할 과정에서 자궁 경관의 위치에 대한 정보를 제공하는 자궁 경관에 대한 신뢰도 맵 (confidence map) 을 더욱 적용하고자 하였다.
그 결과, 딥러닝 기반의 자궁 경부 주변 구조물을 이용한 단계적인 분할 절차를 통해 의료 영상 내에서 자궁 경관에 대한 정확한 판별 및 자궁 경부 길이의 자동화된 측정이 가능한 정보 제공 시스템을 개발하기에 이르렀다.
이에, 본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 번거로운 전문가의 작업 시간을 줄이고, 딥러닝 시스템으로 표준화된 자궁 경관 추적이 가능함을 인지할 수 있었다.
즉, 본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 관계 없이 자궁 경관에 대한 추적과 자궁 경부 길이의 정확도 높은 측정이 가능하며, 자궁 경부에 대한 신뢰도 높은 정보의 제공이 가능함을 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 의료 영상으로부터 자궁 영역을 예측하고, 예측된 자궁 영역에 대하여 세부 영역을 예측하고 최종적으로 자궁 경관을 예측하도록 구성된 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 자궁 경부에 대한 정보 제공 방법이 제공된다. 상기 정보 제공 방법은, 개체의 자궁에 대한 의료 영상을 수신하는 단계, 의료 영상을 입력으로 하여 자궁 영역을 분할하도록 학습된 제1 예측 모델을 이용하여, 수신된 의료 영상을 기초로 자궁 영역을 예측하는 단계, 및 자궁 영역에 대하여 자궁 경관 (cervical canal) 영역을 분할하도록 학습된 제2 예측 모델을 이용하여, 예측된 자궁 영역 내에서 자궁 경관 영역을 예측하는 단계를 포함한다.
본 발명의 특징에 따르면, 자궁 경관 영역을 예측하는 단계는, 제2 예측 모델을 이용하여, 자궁 영역 내에서 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 중 적어도 하나의 영역을 분할하는 단계, 및 적어도 하나의 영역에 기초하여 자궁 경관 영역을 예측하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 자궁 경관 영역을 예측하는 단계는, 제2 예측 모델을 이용한 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하는 단계, 및 신뢰도 맵에 기초하여 자궁 경관 영역을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 자궁 경관 영역을 예측하는 단계는, 제2 예측 모델을 이용하여, 자궁 영역 내에서 자궁 경부의 전방부, 자궁 경부의 후방부 및 질벽 중 적어도 하나의 영역을 분할하는 단계, 제2 예측 모델을 이용한 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하는 단계, 및 적어도 하나의 영역 및 신뢰도 맵에 기초하여 자궁 경관 영역을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 자궁 경관 영역을 예측하는 단계는, 내측 자궁 경부구 (internal os) 및 외측 자궁 경부구 (external os) 를 예측하는 단계, 및 내측 자궁 경부구 및 외측 자궁 경부구를 기초로 자궁 경관 영역을 예측하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 자궁 영역을 예측하는 단계는, 제1 예측 모델을 이용하여, 의료 영상 내에서 자궁 전방부 (pre-cervix), 자궁 및 자궁 후방부 (post-cervix) 를 예측하는 단계, 및 자궁 영역만을 크로핑 (cropping)하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 자궁 경관 영역을 기초로 자궁 경부 길이를 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은, 자궁 경부 길이에 기초하여 조산 위험도를 예측하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은 자궁 경관 영역을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은, 부인과 초음파 (gynecology ultrasonography) 영상일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 자궁 경부에 대한 정보 제공용 디바이스가 제공된다. 상기 정보 제공용 디바이스는, 개체의 자궁에 대한 의료 영상을 수신하도록 구성된 통신부, 및 통신부와 통신하도록 구성된 프로세서를 포함한다. 이때, 프로세서는, 의료 영상을 입력으로 하여 자궁 영역을 분할하도록 학습된 제1 예측 모델을 이용하여, 수신된 의료 영상을 기초로 자궁 영역을 예측하고, 자궁 영역에 대하여 자궁 경관을 분할하도록 학습된 제2 예측 모델을 이용하여, 예측된 자궁 영역 내에서 자궁 경관 영역을 예측하도록 구성될 수 있다.
본 발명의 특징에 따르면 프로세서는, 제2 예측 모델을 이용하여, 자궁 영역 내에서 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 중 적어도 하나의 영역을 분할하고, 적어도 하나의 영역에 기초하여 자궁 경관 영역을 예측하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면 프로세서는, 제2 예측 모델을 이용한 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하고, 신뢰도 맵에 기초하여 자궁 경관 영역을 예측하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 제2 예측 모델을 이용하여, 자궁 영역 내에서 자궁 경부의 전방부, 자궁 경부의 후방부 및 질벽 중 적어도 하나의 영역을 분할하고, 제2 예측 모델을 이용한 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하고, 적어도 하나의 영역 및 신뢰도 맵에 기초하여 자궁 경관 영역을 예측하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 내측 자궁 경부구 및 외측 자궁 경부구를 예측하고, 내측 자궁 경부구 및 외측 자궁 경부구를 기초로 자궁 경관 영역을 예측하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 제1 예측 모델을 이용하여, 의료 영상 내에서 자궁 전방부, 자궁 및 자궁 후방부를 예측하고, 자궁 영역만을 크로핑하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는 자궁 경관 영역을 기초로 자궁 경부 길이를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 자궁 경부 길이에 기초하여 조산 위험도를 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공용 디바이스는 프로세서와 연결되고, 자궁 경관 영역을 출력하도록 구성된 출력부를 더 포함할 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 의료 영상을 이용하여 자궁 경관을 예측하도록 구성된 인공 신경망 네트워크 기반의 자궁 경부에 대한 정보 제공 시스템을 제공함으로써 자궁 경부와 연관된 정보를 제공할 수 있는 효과가 있다.
특히 본 발명은, 복수의 단계를 통해 자궁 경관을 세부적으로 분할하는 정보 제공 시스템을 제공할 수 있어, 단일 단계에서 자궁 경관을 분할하는 시스템보다 높은 정확도로 자궁 경관을 예측할 수 있고, 신뢰도 높은 자궁 경부 길이에 대한 정보를 제공할 수 있다.
즉 본 발명은, 인공 신경망 네트워크 기반의 자궁 경부에 대한 정보 제공 시스템을 제공함으로써 의료진이 숙련도에 관계 없이 제공된 자궁 경관 부위에 대한 정보를 참고하여 자궁 경부 길이를 자동 측정하고, 다양한 의사 결정 및 치료 계획을 수립하도록 정보를 제공할 수 있다.
특히 본 발명은, 표준화된 자궁 경관 추적이 가능한 정보 제공 시스템을 제공함으로써, 자연 조산 예측 및 진단, 분만 유도 성공 및 거짓 분만의 감별 예측에 대한 정확도 높은 의사 결정에 기여할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공용 디바이스를 이용한 자궁 경부에 대한 정보 제공 시스템을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료진 디바이스의 구성을 나타낸 블록도이다.
도 2b는 본 발명의 일 실시예에 따른 정보 제공용 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 5a는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법에 이용되는 제1 예측 모델의 구조를 예시적으로 도시한 것이다.
도 5b는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법에 이용되는 제2 예측 모델의 구조를 예시적으로 도시한 것이다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법에서, 제1 예측 모델 및 제2 예측 모델 각각의 학습 및 검증을 위한 의료 영상의 전처리 절차를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 자궁 경부에 대한 정보를 제공받고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 산모일 수도 있다. 한편, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "의료 영상"은, 자궁에 대한 의료 영상으로서, 비침습적인 방법으로 획득 가능한 자궁 의료 영상일 수 있다.
본 발명의 특징에 따르면, 의료 영상은 하복부 초음파 및 질 경유 초음파와 같은 부인과 초음파 (gynecology ultrasonography) 영상일 수 있으나, 이에 제한되는 것은 아니다.
한편, 의료 영상은, 복수 개의 컷으로 구성된 동영상일 수 있다. 이때, 동영상은 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법에 따라 동영상의 프레임 각각에 대하여 자궁 경부 영역 및 자궁 경부 길이가 결정될 수도 있다. 그 결과, 본 발명은 영상 진단 디바이스로부터의 의료 영상의 수신과 동시에 예측을 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 자궁 경부 정보를 제공할 수도 있다.
한편, 의료 영상은, 2 차원 영상일 수 있으나, 이에 제한되는 것은 아니며 3 차원의 영상일 수도 있다.
본 명세서에서 사용되는 용어, "제1 예측 모델"은 의료 영상을 입력으로 하여, 자궁 영역을 출력하도록 구성된 모델일 수 있다.
본 발명의 특징에 따르면, 제1 예측 모델은 의료 영상에 기초하여 자궁 전방부 (pre-cervix), 자궁 또는 자궁 후방부 (post-cervix) 의 세 개의 클래스를 분할하도록 학습된 모델일 수 있다. 그러나, 이에 제한되는 것은 아니며 제1 예측 모델은 영상 내에서 자궁 영역만을 예측하도록 학습된 모델일 수도 있다.
본 명세서에서 사용되는 용어, "제2 예측 모델"은, 자궁 영역에 대한 영상을 입력으로 하여 자궁 경관을 예측하도록 학습된 모델일 수 있다.
이때, 제2 예측 모델은 단일 단계가 아닌 복수의 단계에 의해 자궁 경관을 분할하도록 학습된 모델일 수 있다.
본 발명의 특징에 따르면, 제2 예측 모델은, 자궁 영역 내에서 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 중 적어도 하나의 영역을 분할하고, 분할 결과에 기초하여 자궁 경관 영역을 출력하도록 학습된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 제2 예측 모델은 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 출력하고, 신뢰도 맵에 기초하여 자궁 경관 영역을 최종 출력하도록 학습된 모델일 수 있다.
바람직하게 제2 예측 모델은, 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵에 대한 출력과 동시에 자궁 영역 내에서 자궁 경부의 전방부, 자궁 경부의 후방부 및 질벽을 분할하고, 신뢰도 맵 및 영역 분할 결과에 기초하여 최종적으로 자궁 경관 영역을 출력하도록 학습된 모델일 수 있다.
이에, 제2 예측 모델은 자궁에 대한 구조물 및 자궁 경관에 대한 위치적 특징을 학습한 모델로서, 자궁 경관에 대한 정확도 높은 분할이 가능한 모델일 수 있다.
이에 제한되는 것은 아니며, 제2 예측 모델은 자궁 영역 내에서 자궁 경관의 시작 지점과 끝 지점에 각각 대응하는 내측 자궁 경부구 (internal os) 및 외측 자궁 경부구 (external os) 를 분할하도록 더욱 학습될 수 있다.
한편, 제1 예측 모델 및 제2 예측 모델은, U-net일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 예측 모델들은 VGG net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 예측 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
이하에서는 도 1 및 2a 및 2b를 참조하여, 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공용 디바이스를 이용한 자궁 경부에 대한 정보 제공 시스템 및 자궁 경부에 대한 정보 제공용 디바이스를 설명한다.
도 1은 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공용 디바이스를 이용한 자궁 경부에 대한 정보 제공 시스템을 도시한 것이다. 도 2a는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보를 제공받는 의료진 디바이스의 구성을 예시적으로 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1을 참조하면, 정보 제공 시스템 (1000) 은, 개체에 대한 의료 영상을 기초로 자궁 경부와 연관된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 정보 제공 시스템 (1000) 은, 자궁 경부와 연관된 정보를 수신하는 의료진 디바이스 (100), 부인과 초음파 영상과 같은 의료 영상을 제공하는 의료 영상 진단 디바이스 (200) 및 수신된 의료 영상에 기초하여 자궁 경부에 관한 정보를 생성하는 정보 제공용 서버 (300) 로 구성될 수 있다.
먼저, 다음으로, 의료진 디바이스 (100) 는 자궁 경부와 연관된 정보를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (100) 는 정보 제공용 서버 (300) 로부터 개체에 대한 자궁 경부와 연관된 예측 결과를 수신하고, 수신된 결과를 후술할 표시부를 통해 표시할 수 있다.
정보 제공용 서버 (300) 는 초음파 진단 디바이스와 같은 의료 영상 진단 디바이스 (200) 로부터 제공된 의료 영상을 기초로 자궁 경부와 연관된 정보를 결정하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 정보 제공용 서버 (300) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 정보 제공용 서버 (300) 는 의료 영상 진단 디바이스 (200) 로부터 의료 영상을 수신하고, 수신된 의료 영상 내에서 자궁 영역, 나아가 세부 자궁 경부 영역을 분할하고, 이로부터 자궁 경관을 최종 결정하거나 자궁 경부 길이를 결정하여 자궁 경부와 연관된 정보를 제공할 수 있다. 이때, 정보 제공용 서버 (300), 예측 모델을 이용하여 의료 영상으로부터 자궁 경부와 연관된 정보를 예측할 수 있다.
정보 제공용 서버 (300) 는 자궁 경부와 연관된 예측 결과를 의료진 디바이스 (100) 로 제공할 수 있다.
이와 같이 정보 제공용 서버 (300) 로부터 제공되는 정보는 의료진 디바이스 (100) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 도 2a 및 2b를 참조하여, 본 발명의 정보 제공용 서버 (300) 의 구성 요소에 대하여 구체적으로 설명한다.
먼저, 도 2a를 참조하면, 의료진 디바이스 (100) 는 메모리 인터페이스 (110), 하나 이상의 프로세서 (120) 및 주변 인터페이스 (130) 를 포함할 수 있다. 의료진 디바이스 (100) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결될 수 있다.
메모리 인터페이스 (110) 는 메모리 (150) 에 연결되어 프로세서 (120) 로 다양한 데이터를 전할 수 있다. 여기서, 메모리 (150) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 운영 체제 (151), 통신 모듈 (152), 그래픽 사용자 인터페이스 모듈 (GUI) (153), 센서 처리 모듈 (154), 전화 모듈 (155) 및 애플리케이션 모듈 (156) 중 적어도 하나 이상을 저장할 수 있다. 구체적으로, 운영 체제 (151) 는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 작업들을 수행하기 위한 명령어를 포함할 수 있다. 통신 모듈 (152) 은 다른 하나 이상의 디바이스, 컴퓨터 및 서버 중 적어도 하나와 통신할 수 있다. 그래픽 사용자 인터페이스 모듈 (GUI) (153) 은 그래픽 사용자 인터페이스를 처리할 수 있다. 센서 처리 모듈 (154) 은 센서 관련 기능 (예를 들어, 하나 이상의 마이크 (192) 를 이용하여 수신된 음성 입력을 처리함) 을 처리할 수 있다. 전화 모듈 (155) 은 전화 관련 기능을 처리할 수 있다. 애플리케이션 모듈 (156) 은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징, 기타 프로세스 기능을 수행할 수 있다. 아울러, 의료진 디바이스 (100) 는 메모리 (150) 에 어느 한 종류의 서비스와 연관된 하나 이상의 소프트웨어 애플리케이션 (156-1, 156-2) (예를 들어, 정보 제공 어플리케이션) 을 저장할 수 있다.
다양한 실시예에서, 메모리 (150) 는 디지털 어시스턴트 클라이언트 모듈 (157) (이하, DA 클라이언트 모듈) 을 저장할 수 있으며, 그에 따라 디지털 어시스턴트의 클라이언트 측의 기능을 수행하기 위한 명령어 및 다양한 사용자 데이터 (158) (예를 들어, 사용자 맞춤형 어휘 데이터, 선호도 데이터, 사용자의 전자 주소록, 할 일 목록, 쇼핑 리스트 등과 같은 기타 데이터) 를 저장할 수 있다.
한편, DA 클라이언트 모듈 (157) 은 의료진 디바이스 (100) 에 구비된 다양한 사용자 인터페이스 (예를 들어, I/O 서브시스템 (140)) 를 통해 사용자의 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 획득할 수 있다.
또한, DA 클라이언트 모듈 (157) 은 시청각적, 촉각적 형태의 데이터를 출력할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션 및 진동 중 적어도 둘 하나 이상의 조합으로 이루어진 데이터를 출력할 수 있다. 아울러, DA 클라이언트 모듈 (157) 은 통신 서브시스템 (180) 을 이용하여 디지털 어시스턴트 서버 (미도시) 와 통신할 수 있다.
다양한 실시예에서, DA 클라이언트 모듈 (157) 은 사용자 입력과 연관된 상황 (context) 을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스로부터 의료진 디바이스 (100) 의 주변 환경에 대한 추가 정보를 수집할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 사용자 입력과 함께 상황 정보를 디지털 어시스턴트 서버에 제공하여 사용자의 의도를 추론할 수 있다. 여기서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광 (lighting), 주변 소음, 주변 온도, 주변 환경의 이미지, 비디오 등을 포함할 수 있다. 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 물리적 상태 (예를 들어, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등) 을 포함할 수 있다. 또 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 소프트웨어 상태에 관련된 정보 (예를 들어, 의료진 디바이스 (100) 에서 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등) 를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 추가 또는 삭제된 명령어를 포함할 수 있으며, 나아가 의료진 디바이스 (100)도 도 2에 도시된 구성 외에 추가 구성을 포함하거나, 일부 구성을 제외할 수도 있다.
프로세서 (120) 는 의료진 디바이스 (100) 의 전반적인 동작을 제어할 수 있으며, 메모리 (150) 에 저장된 어플리케이션 또는 프로그램을 구동하여 자궁 경부와 연관된 정보를 제공하는 인터페이스를 구현하기 위한 다양한 명령들을 수행할 수 있다.
프로세서 (120) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (120) 는 NPU (Neural Processing Unit) 과 같은 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다.
주변 인터페이스 (130) 는 다양한 센서, 서브 시스템 및 주변 디바이스와 연결되어, 의료진 디바이스 (100) 가 다양한 기능을 수행할 수 있도록 데이터를 제공해 줄 수 있다. 여기서, 의료진 디바이스 (100) 가 어떠한 기능을 수행한다는 것은 프로세서 (120) 에 의해 수행되는 것으로 이해될 수 있다.
주변 인터페이스 (130) 는 모션 센서 (160), 조명 센서 (광 센서) (161) 및 근접 센서 (162) 로부터 데이터를 제공받을 수 있으며, 이를 통해, 의료진 디바이스 (100) 는 배향, 광, 및 근접 감지 기능 등을 수행할 수 있다. 다른 예를 들어, 주변 인터페이스 (130) 는 기타 센서들 (163) (포지셔닝 시스템-GPS 수신기, 온도 센서, 생체인식 센서) 로부터 데이터를 제공받을 수 있으며, 이를 통해 의료진 디바이스 (100) 가 기타 센서들 (163) 과 관련된 기능들을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 카메라 서브시스템 (170) 및 이와 연결된 광학 센서 (171) 를 포함할 수 있으며, 이를 통해 의료진 디바이스 (100) 는 사진 촬영 및 비디오 클립 녹화 등의 다양한 촬영 기능을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 통신 서브 시스템 (180) 을 포함할 수 있다. 통신 서브 시스템 (180) 은 하나 이상의 유/무선 네트워크로 구성되며, 다양한 통신 포트, 무선 주파수 송수신기, 광학 송수신기를 포함할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 오디오 서브 시스템 (190) 을 포함하며, 이러한 오디오 서브 시스템 (190) 은 하나 이상의 스피커 (191) 및 하나 이상의 마이크 (192) 를 포함함으로써, 의료진 디바이스 (100) 는 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능 등을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 I/O 서브시스템 (140) 을 포함할 수 있다. 예를 들어, I/O 서브시스템 (140) 은 터치 스크린 제어기 (141) 를 통해 의료진 디바이스 (100) 에 포함된 터치 스크린 (143) 을 제어할 수 있다. 일 예로서, 터치 스크린 제어기 (141) 는 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 어느 하나의 기술을 사용하여 사용자의 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출할 수 있다. 다른 예를 들어, I/O 서브시스템 (140) 은 기타 입력 제어기 (들) (142) 를 통해 의료진 디바이스 (100) 에 포함된 기타 입력/제어 디바이스 (144) 를 제어할 수 있다. 일 예로서, 기타 입력 제어기 (들) (142) 은 하나 이상의 버튼, 로커 스위치 (rocker switches), 썸 휠 (thumb-wheel), 적외선 포트, USB 포트 및 스타일러스 등과 같은 포인터 디바이스를 제어할 수 있다.
다음으로, 도 2b를 참조하면, 정보 제공용 서버 (300) 는 통신 인터페이스 (310), 메모리 (320), I/O 인터페이스 (330) 및 프로세서 (340) 를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.
통신 인터페이스 (310) 는 유/무선 통신 네트워크를 통해 의료진 디바이스 (100) 및 의료 영상 진단 디바이스 (200) 와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스 (310) 는 의료 영상 진단 디바이스 (200) 로부터 의료 영상을 수신할 수 있고, 결정된 자궁과 연관된 정보를 의료진 디바이스 (100) 에 송신할 수 있다.
한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스 (310) 는 통신 포드 (311) 및 무선 회로 (312) 를 포함하며, 여기 유선 통신 포트 (311) 는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스 (USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로 (312) 는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.
메모리 (320) 는 정보 제공용 서버 (300) 에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리 (320) 는 의료 영상을 저장하거나, 의료 영상 내에서 자궁 영역 나아가 자궁 경관 영역을 분할하도록 학습된 제1 예측 모델 및 제2 예측 모델을 저장할 수 있다.
다양한 실시예에서, 메모리 (320) 는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리 (320) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (320) 는 운영 체제 (321), 통신 모듈 (322), 사용자 인터페이스 모듈 (323) 및 하나 이상의 애플리케이션 (324) 중 적어도 하나의 구성을 저장할 수 있다.
운영 체제 (321) (예를 들어, LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제) 는 일반적인 시스템 작업 (예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등) 를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.
통신 모듈 (323) 은 통신 인터페이스 (310) 를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈 (320) 은 통신 인터페이스 (310) 의 유선 통신 포트 (311) 또는 무선 회로 (312) 에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.
사용자 인터페이스 모듈 (323) 은 I/O 인터페이스 (330) 를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.
애플리케이션 (324) 은 하나 이상의 프로세서 (330) 에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 자궁 경부와 연관된 정보를 제공하기 위한 애플리케이션은 서버 팜 (server farm) 상에서 구현될 수 있다.
I/O 인터페이스 (330) 는 정보 제공용 서버 (300) 의 입출력 디바이스 (미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈 (323) 과 연결할 수 있다. I/O 인터페이스 (330) 는 사용자 인터페이스 모듈 (323) 과 함께 사용자 입력 (예를 들어, 음성 입력, 키보드 입력, 터치 입력 등) 을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.
프로세서 (340) 는 통신 인터페이스 (310), 메모리 (320) 및 I/O 인터페이스 (330) 와 연결되어 정보 제공용 서버 (300) 의 전반적인 동작을 제어할 수 있으며, 메모리 (320) 에 저장된 애플리케이션 또는 프로그램을 통해 정보 제공을 위한 다양한 명령들을 수행할 수 있다.
프로세서 (340) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (340) 는 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다. 또는 프로세서 (340) 는 NPU (Neural Processing Unit) 과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.
다양한 실시예에서, 프로세서 (340) 는 예측 모델들을 이용하여 의료 영상 내에서 자궁 영역 및 세부 영역을 각각 분할하고, 최종적으로 자궁 경관 영역을 제공하도록 구성될 수 있다. 선택적으로, 프로세서 (340) 는 자궁 경부 길이에 대한 정보를 제공하도록 구성될 수 있다.
이하에서는, 도 3 및 도 4a 및 4b를 참조하여, 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법을 구체적으로 설명한다. 도 3은 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 4a 및 4b는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 의료 영상이 수신된다 (S310). 그 다음, 제1 예측 모델에 의해 자궁 영역이 예측된다 (S320). 그 다음, 제2 예측 모델에 의해 자궁 경관 영역이 예측되고 (S330). 마지막으로, 자궁 경부에 관한 데이터가 결정된다 (S340).
보다 구체적으로, 의료 영상이 수신되는 단계 (S310) 에서 표적 부위 즉 자궁 경부 영역을 포함하는 초음파 의료 영상이 수신될 수 있다.
본 발명의 특징에 따르면, 의료 영상이 수신되는 단계 (S310) 에서 2 D 형태의 하복부 초음파 및 질 경유 초음파와 같은 부인과 초음파 (gynecology ultrasonography) 이 수신될 수 있다. 바람직하게, 질 경유 초음파 영상이 수신될 수 있으나, 이에 제한되는 것은 아니다.
다음으로, 자궁 영역이 예측되는 단계 (S320) 가 수행된다.
본 발명의 특징에 따르면, 자궁 영역이 예측되는 단계 (S320) 에서 제1 예측 모델에 의해 의료 영상 내에서 자궁 전방부 (pre-cervix), 자궁 및 자궁 후방부 (post-cervix) 가 예측될 수 있다.
예를 들어, 도 4a를 함께 참조하면, 자궁 영역이 예측되는 단계 (S320) 에서 의료 영상 (312) 이 제1 예측 모델 (320) 에 입력된다. 이때, 제1 예측 모델은 학습용 의료 영상을 입력으로 하여 자궁 전방부, 자궁 및 자궁 후방부를 분할하도록 학습된 모델일 수 있다. 여기서, 자궁 전방부는 방광, 질전벽 및 자궁강을 포함할 수 있고, 자궁은 자궁 경부, 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 을 포함할 수 있다. 나아가, 자궁 후방부는 맹낭 (cul-de-sac), 직장을 포함할 수 있다.
결과적으로, 제1 예측 모델 (320) 로부터 자궁 전방부 영역 (3222), 자궁 영역 (3224) 및 자궁 후방부 영역 (3226) 이 분할되어 출력된다.
본 발명의 다른 특징에 따르면, 자궁 영역이 예측되는 단계 (S320) 이후에, 복수의 영역 중 자궁 영역 (3224) 이 크로핑되고, 가로 세로 비율이 미리 결정된 수준으로 조절된 크로핑 영상 (324) 가 획득된다.
다시 도 3을 참조하면, 자궁 경관 영역이 예측되는 단계 (S330) 가 수행된다.
본 발명의 특징에 따르면, 자궁 경관 영역이 예측되는 단계 (S330) 에서, 제2 예측 모델에 이해 자궁 영역 내에서 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 중 적어도 하나의 영역이 분할되고, 적어도 하나의 영역에 기초하여 자궁 경관 영역이 예측된다.
본 발명의 다른 특징에 따르면, 자궁 경관 영역이 예측되는 단계 (S330) 에서, 제2 예측 모델에 의한 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵이 획득되고, 신뢰도 맵에 기초하여 자궁 경관 영역이 예측된다.
본 발명의 또 다른 특징에 따르면, 자궁 경관 영역이 예측되는 단계 (S330) 에서, 적어도 하나의 영역의 예측과 동시에 신뢰도 맵의 획득이 진행되고, 적어도 하나의 영역 및 신뢰도 맵에 기초하여 자궁 경관 영역이 최종 출력될 수도 있다.
예를 들어, 도 4b를 함께 참조하면, 자궁 경관 영역이 예측되는 단계 (S330) 에서 자궁 영역 (3224) 을 포함하는 크로핑 영상 (324) 이 제2 예측 모델 (330) 에 입력된다. 이때, 제2 예측 모델 (330) 은 자궁 경관을 예측 하는 처리 중의 신뢰도 맵을 출력하는 레이어 및 자궁 영역 내에서 자궁 경부의 전방부, 자궁 경부의 후방부 및 질벽을 예측하는 출력 레이어를 포함할 수 있다. 나아가, 이들 출력값에 기초하여 자궁 경관을 최종 출력하는 출력 레이어를 포함할 수 있다. 즉, 제2 예측 모델 (330) 로부터 자궁 경관 영역 (3322) 에 높은 신뢰도를 나타내는 신뢰도 맵 (322) 을 출력하는 동시에 자궁 경부의 전방부 영역 (3342), 자궁 경부의 후방부 영역 (3344) 및 질벽 영역 (334) 를 분할하여 출력할 수 있다.
그 다음, 마지막 출력 레이어를 통해 자궁 경관 영역 (3422) 이 분할된 영상 (342) 을 출력할 수 있다.
즉, 자궁 경관 영역이 예측되는 단계 (S330) 에서 제2 예측 모델 (330) 은 자궁 경관에 대한 위치 및 자궁 경부 주변 구조물을 이용한 단계적인 분할 절차를 통해 자궁 경관 영역을 최종 예측할 수 있어, 자궁 경관에 대한 정확한 판별이 가능할 수 있다.
다시 도 3을 참조하면, 자궁 경부에 관한 데이터가 결정되는 단계 (S340) 가 수행된다.
이때, 자궁 경부에 관한 데이터가 결정되는 단계 (S340) 에서 자궁 경관 영역에 기초하여 자궁 경부 길이의 계측이 수행될 수 있다.
본 발명의 다른 특징에 따르면, 자궁 경부에 관한 데이터가 결정되는 단계 (S340) 에서 자궁 경부 길이에 기초하여 조산 위험도의 예측이 더욱 수행될 수 있다.
즉, 의료진 디바이스 (100) 에 자궁 경부에 관한 데이터 및 분할된 자궁 경관을 포함하는 의료 영상이 수신될 수 있다.
이에, 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 피검자의 자궁 경부와 연관된 정보에 대한 정보를 제공받을 수 있어, 보다 정확한 의사 결정 및 치료 계획을 수립할 수 있다.
이하에서는, 도 5a 및 5b, 6a 및 6b를 참조하여, 본 발명의 다양한 실시예에서 이용되는 자궁 경부와 연관된 정보 예측 모델의 구조적 특징 및 학습에 대하여 설명한다.
도 5a는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법에 이용되는 제1 예측 모델의 구조를 예시적으로 도시한 것이다.
보다 구체적으로, 본 발명의 본 발명의 다양한 실시예에서 이용되는 제1 예측 모델은, U-net 구조를 가질 수 있다. 보다 구체적으로, 도 5의 U 자 형태의 제1 예측 모델에서 왼쪽 영역은 입력된 2D 질 경유 초음파 영상에 대한 컨볼루션 층 (convolutional layer) 과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서 2D 질 경유 초음파 영상은 전역적 특징으로 표현될 수 있다. 나아가, 제1 예측 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 입력된 2D 질 경유 초음파 영상은 자궁 후방부 영역, 자궁 영역 및 자궁 전방부 영역의 3 개의 채널로 출력되고, 각 구간이 분할되어 결정될 수 있다. 그러나, 이에 제한되는 것은 아니며 본 발명의 다른 실시예에 따르면, 입력된 2D 질 경유 초음파 영상은 배경 또는 자궁 영역의 2 채널로 출력될 수도 있다.
한편, U 형태의 신호 분할 모델에서 왼쪽에서 오른쪽으로 연결된 선 (skip connection) 을 통해, 왼쪽 영역의 특징이 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이를 통해, 영역 분할 동안, 입력된 2D 질 경유 초음파 영상이 작아짐에 따라 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다.
제1 예측 모델은 학습 단계에서, 학습용 초음파 이미지 내에서 자궁 전방부 (pre-cervix), 자궁 (cervix) 및 자궁 후방부 (post-cervix) 각각이
Figure PCTKR2023000424-appb-img-000001
로 정의될 때,
Figure PCTKR2023000424-appb-img-000002
을 만족하는 함수
Figure PCTKR2023000424-appb-img-000003
를 획득한다.
이때,
Figure PCTKR2023000424-appb-img-000004
는 다음의 수학식 1의 최소화 과정을 통해 학습될 수 있다.
[수학식 1]
Figure PCTKR2023000424-appb-img-000005
이때, 획득된
Figure PCTKR2023000424-appb-img-000006
, 즉 자궁 영역은 최종 분할 목표 영역인 자궁 경관이 위치하는 영역일 수 있다.
한편, 제1 예측 모델의 학습에 있어서, 배치 크기는 4으로 설정되었다. 나아가, 각 층의 웨이트 (weight) 는 설정된 손실함수 (수식1) 에 의해 매개될 수 있고, 학습율은 1e-4 로 설정되었으며, 학습 에폭 (epochs) 의 수는 1000으로 설정되었다.
그러나 제1 예측 모델의 학습 파라미터는 전술한 것에 제한되는 것은 아니다.
다음으로, 도 5b를 참조하면, 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법에 이용되는 제2 예측 모델의 구조가 예시적으로 도시된다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른 자궁 경부에 대한 정보 제공 방법에서, 제1 예측 모델 및 제2 예측 모델 각각의 학습 및 검증을 위한 의료 영상의 전처리 절차를 도시한 것이다.
보다 구체적으로, 도 5b를 참조하면, 제2 예측 모델은 전술한 제1 예측 모델과 동일하게 U-net 구조를 가질 수 있다.
한편, 도 6a을 함께 참조하면 제2 예측 모델의 학습에 있어서 제1 예측 모델로부터 획득한
Figure PCTKR2023000424-appb-img-000007
을 포함하는 크로핑 영상 (324) 에서,
Figure PCTKR2023000424-appb-img-000008
에 해당하는 영역이 1로, 나머지 영역로 0으로 이진화되고, 마스크 (mask) 이미지
Figure PCTKR2023000424-appb-img-000009
(622) 가 획득된다. 이때, 이미지
Figure PCTKR2023000424-appb-img-000010
(622) 가 제2 예측 모델의 학습에서 입력 이미지로서 이용될 수 있다.
선택적으로, 제2 예측 모델의 학습에 있어서 자궁 경관에 해당하는 영역이
Figure PCTKR2023000424-appb-img-000011
라 할 때, 거리 맵 (distance map)
Figure PCTKR2023000424-appb-img-000012
의 각 픽셀은
Figure PCTKR2023000424-appb-img-000013
와 같이 정의될 수 있다. 도 6b를 함께 참조하면, 내측 자궁 경부구 (internal os) 및 외측 자궁 경부구 (external os) 를 기초로 설정된 자궁 경관 영역
Figure PCTKR2023000424-appb-img-000014
과의 최소 유클리디안 거리인
Figure PCTKR2023000424-appb-img-000015
가 결정되고, 이를 기초로 신뢰도 맵 (
Figure PCTKR2023000424-appb-img-000016
) 이 획득될 수 있다.
이때, 신뢰도 맵
Figure PCTKR2023000424-appb-img-000017
는 다음의 수학식 2에 의해 산출될 수 있다.
[수학식 2]
Figure PCTKR2023000424-appb-img-000018
즉, 다시 도 5b를 함께 참조하면 제2 예측 모델은 바로 자궁 경관 영역을 결정하는 것이 아니라 자궁 경관 영역에 대한 신뢰도 맵을 중간 출력값으로 출력하고, 이를 바탕으로 자궁 경관 영역
Figure PCTKR2023000424-appb-img-000019
을 결정할 수 있다.
동시에, 제2 예측 모델은 자궁 경부 영역 내에서 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 영역을 분할하고, 학습 단계에서 함수
Figure PCTKR2023000424-appb-img-000020
를 학습한다.
이때, 함수
Figure PCTKR2023000424-appb-img-000021
는 다음의 수학식 3을 통해 최소화 과정을 통해 학습된다.
[수학식 3]
Figure PCTKR2023000424-appb-img-000022
여기서
Figure PCTKR2023000424-appb-img-000023
과
Figure PCTKR2023000424-appb-img-000024
는 각각 신뢰도 맵에 대한 회기 손실 (regression loss) 과 영상 분할에 대한 분할 손실을 의미할 수 있다.
즉, 제2 예측 모델은 자궁 경관 위치 및 자궁 구조물에 대한 특징을 학습하여 자궁 경관 영역을 높은 정확도로 분할할 수 있다.
평가 1: 예측 모델에 대한 평가
검출된 자궁 경관 영역의 중간 선을 검출하여 그 길이가 측정된 결과와, 전문가의 측정법으로 결정된 자궁 경관 길이가 비되었다. 검출된 길이를 l_output, 전문가의 측정법으로 잰 자궁 경관 길이를 l_gt 라고 할때, 오차 측정은 다음의 수학식 4를 통해 얻어진다.
[수학식 4]
| l_output - l_gt | / l_gt
이와 같은 방식의 오차 측정법으로 얻은 설정된 모델의 테스트 결과는 95%이다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 프로세서에 의해 구현되는 자궁 경부에 대한 정보 제공 방법으로,
    개체의 자궁에 대한 의료 영상을 수신하는 단계;
    의료 영상을 입력으로 하여 자궁 영역을 분할하도록 학습된 제1 예측 모델을 이용하여, 수신된 상기 의료 영상을 기초로 자궁 영역을 예측하는 단계, 및
    자궁 영역에 대하여 자궁 경관 (cervical canal) 영역을 분할하도록 학습된 제2 예측 모델을 이용하여, 예측된 상기 자궁 영역 내에서 자궁 경관 영역을 예측하는 단계를 포함하는, 자궁 경부에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 자궁 경관 영역을 예측하는 단계는,
    상기 제2 예측 모델을 이용하여, 상기 자궁 영역 내에서 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 중 적어도 하나의 영역을 분할하는 단계, 및
    상기 적어도 하나의 영역에 기초하여 상기 자궁 경관 영역을 예측하는 단계를 포함하는, 자궁 경부에 대한 정보 제공 방법.
  3. 제1항에 있어서,
    상기 자궁 경관 영역을 예측하는 단계는,
    상기 제2 예측 모델을 이용한 상기 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하는 단계, 및
    상기 신뢰도 맵에 기초하여 상기 자궁 경관 영역을 예측하는 단계를 포함하는, 자궁 경부에 대한 정보 제공 방법.
  4. 제1항에 있어서,
    상기 자궁 경관 영역을 예측하는 단계는,
    상기 제2 예측 모델을 이용하여, 상기 자궁 영역 내에서 자궁 경부의 전방부, 자궁 경부의 후방부 및 질벽 중 적어도 하나의 영역을 분할하는 단계;
    상기 제2 예측 모델을 이용한 상기 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하는 단계, 및
    상기 적어도 하나의 영역 및 상기 신뢰도 맵에 기초하여 상기 자궁 경관 영역을 예측하는 단계를 포함하는, 자궁 경부에 대한 정보 제공 방법.
  5. 제1항에 있어서,
    상기 자궁 경관 영역을 예측하는 단계는,
    내측 자궁 경부구 (internal os) 및 외측 자궁 경부구 (external os) 를 예측하는 단계, 및
    상기 내측 자궁 경부구 및 상기 외측 자궁 경부구를 기초로 상기 자궁 경관 영역을 예측하는 단계를 더 포함하는, 자궁 경부에 대한 정보 제공 방법.
  6. 제1항에 있어서,
    상기 자궁 영역을 예측하는 단계는,
    상기 제1 예측 모델을 이용하여, 상기 의료 영상 내에서 자궁 전방부 (pre-cervix), 자궁 및 자궁 후방부 (post-cervix) 를 예측하는 단계, 및
    상기 자궁 영역만을 크로핑 (cropping)하는 단계를 포함하는, 자궁 경부에 대한 정보 제공 방법.
  7. 제1항에 있어서,
    상기 자궁 경관 영역을 기초로 자궁 경부 길이를 결정하는 단계를 더 포함하는, 자궁 경부에 대한 정보 제공 방법.
  8. 제7항에 있어서,
    상기 자궁 경부 길이에 기초하여 조산 위험도를 예측하는 단계를 더 포함하는, 자궁 경부에 대한 정보 제공 방법.
  9. 제1항에 있어서,
    상기 자궁 경관 영역을 제공하는 단계를 더 포함하는, 자궁 경부의 진단에 대한 정보 제공 방법.
  10. 제1항에 있어서,
    상기 의료 영상은,
    부인과 초음파 (gynecology ultrasonography) 영상인, 자궁 경부의 진단에 대한 정보 제공 방법.
  11. 개체의 자궁에 대한 의료 영상을 수신하도록 구성된 통신부, 및
    상기 통신부와 통신하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    의료 영상을 입력으로 하여 자궁 영역을 분할하도록 학습된 제1 예측 모델을 이용하여, 수신된 상기 의료 영상을 기초로 자궁 영역을 예측하고,
    자궁 영역에 대하여 자궁 경관 (cervical canal) 을 분할하도록 학습된 제2 예측 모델을 이용하여, 예측된 상기 자궁 영역 내에서 자궁 경관 영역을 예측하도록 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 제2 예측 모델을 이용하여, 상기 자궁 영역 내에서 자궁 경부의 전방부 (anterior lip), 자궁 경부의 후방부 (posterior lip) 및 질벽 (vaginal wall) 중 적어도 하나의 영역을 분할하고,
    상기 적어도 하나의 영역에 기초하여 상기 자궁 경관 영역을 예측하도록 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 제2 예측 모델을 이용한 상기 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하고,
    상기 신뢰도 맵에 기초하여 상기 자궁 경관 영역을 예측하도록 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 제2 예측 모델을 이용하여, 상기 자궁 영역 내에서 자궁 경부의 전방부, 자궁 경부의 후방부 및 질벽 중 적어도 하나의 영역을 분할하고,
    상기 제2 예측 모델을 이용한 상기 자궁 경관 영역을 예측하는 처리 중의 신뢰도 맵을 획득하고,
    상기 적어도 하나의 영역 및 상기 신뢰도 맵에 기초하여 상기 자궁 경관 영역을 예측하도록 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  15. 제11항에 있어서,
    상기 프로세서는,
    내측 자궁 경부구 (internal os) 및 외측 자궁 경부구 (external os) 를 예측하고,
    상기 내측 자궁 경부구 및 상기 외측 자궁 경부구를 기초로 상기 자궁 경관 영역을 예측하도록 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 제1 예측 모델을 이용하여, 상기 의료 영상 내에서 자궁 전방부, 자궁 및 자궁 후방부를 예측하고,
    상기 자궁 영역만을 크로핑하도록 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  17. 제11항에 있어서,
    상기 프로세서는
    상기 자궁 경관 영역을 기초로 자궁 경부 길이를 결정하도록 더 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  18. 제13항에 있어서,
    상기 CAM 생성 모델은 상기 예측 모델 중 적어도 일부로 구성되고,
    상기 프로세서는,
    상기 예측 모델을 이용하여, 상기 의료 영상 및 상기 전처리 영상에 대한 자궁 경부 예후 예측을 위한 처리 중에, 상기 임상 특징을 기초로 상기 CAM 영상을 특징으로서 획득하도록 더 구성된, 자궁 경부에 대한 정보 제공용 디바이스.
  19. 제13항에 있어서,
    상기 임상 특징은,
    전장관급보철물 (Full veneer; FV), 인접 치아의 부재 (Absence of proximal teeth; PrX), 치관부 결손 (Coronal Defect; CoD), 잔존치근 (Root Rest; RR), 임시수복재 (Temporary filled; TM), 근관가시성 (Canal visibility; CV), 기존충전물 (Previous filling; PF), 치근단 방사선투과상 (Periapical radiolucency; PAR) 및 누공 (Sinus tract; ST) 중 적어도 하나인, 자궁 경부에 대한 정보 제공용 디바이스.
  20. 제19항에 있어서,
    상기 임상 특징은,
    상기 인접 치아의 부재, 상기 치관부 결손, 상기 근관가시성, 상기 기존충전물, 상기 치근단 방사선투과상 및 상기 누공 중 적어도 두 개의 조합을 포함하는, 자궁 경부에 대한 정보 제공용 디바이스.
PCT/KR2023/000424 2022-01-17 2023-01-10 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스 WO2023136579A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0006624 2022-01-17
KR1020220006624A KR20230110986A (ko) 2022-01-17 2022-01-17 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스

Publications (1)

Publication Number Publication Date
WO2023136579A1 true WO2023136579A1 (ko) 2023-07-20

Family

ID=87279453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/000424 WO2023136579A1 (ko) 2022-01-17 2023-01-10 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스

Country Status (2)

Country Link
KR (1) KR20230110986A (ko)
WO (1) WO2023136579A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200018360A (ko) * 2019-10-21 2020-02-19 주식회사 버즈폴 자궁경부 학습 데이터 생성 시스템과 자궁경부 학습 데이터 분류방법
WO2020178881A1 (ja) * 2019-03-01 2020-09-10 日本電気株式会社 制御方法、学習装置、識別装置及びプログラム
WO2020234106A1 (en) * 2019-05-17 2020-11-26 Koninklijke Philips N.V. System, device and method for assistance with cervical ultrasound examination
KR102270010B1 (ko) * 2020-12-11 2021-06-29 한림대학교 산학협력단 조산을 예측하기 위한 전자 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020178881A1 (ja) * 2019-03-01 2020-09-10 日本電気株式会社 制御方法、学習装置、識別装置及びプログラム
WO2020234106A1 (en) * 2019-05-17 2020-11-26 Koninklijke Philips N.V. System, device and method for assistance with cervical ultrasound examination
KR20200018360A (ko) * 2019-10-21 2020-02-19 주식회사 버즈폴 자궁경부 학습 데이터 생성 시스템과 자궁경부 학습 데이터 분류방법
KR102270010B1 (ko) * 2020-12-11 2021-06-29 한림대학교 산학협력단 조산을 예측하기 위한 전자 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BEHBOODI BAHAREH; RIVAZ HASSAN; LALONDRELLE SUSAN; HARRIS EMMA: "Automatic 3D Ultrasound Segmentation of Uterus Using Deep Learning", 2021 IEEE INTERNATIONAL ULTRASONICS SYMPOSIUM (IUS), 11 September 2021 (2021-09-11), pages 1 - 4, XP034018377, DOI: 10.1109/IUS52206.2021.9593671 *

Also Published As

Publication number Publication date
KR20230110986A (ko) 2023-07-25

Similar Documents

Publication Publication Date Title
WO2018012945A1 (en) Method and device for obtaining image, and recording medium thereof
WO2019164093A1 (ko) Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2022252908A1 (zh) 对象识别方法、装置、计算机设备及存储介质
WO2013125801A1 (en) Method of controlling image diagnosis apparatus and mobile terminal for the same, and method of operating image diagnosis apparatus and image diagnosis apparatus for the same
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2022124705A1 (ko) 의료 영상 기반 홀로그램 제공 장치 및 방법
WO2023136579A1 (ko) 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스
WO2022139246A1 (ko) 골절 검출 방법 및 이를 이용한 디바이스
WO2018110847A1 (ko) 생체 데이터를 등록 및 인증하기 위한 방법 및 그 전자 장치
CN115040278A (zh) 备牙模型的获取方法、装置、设备及介质
EP3001805A1 (en) Ultrasonic diagnostic apparatus and method of operating the same
WO2024087910A1 (zh) 正畸治疗监测方法、装置、设备及存储介质
WO2017135500A1 (ko) 대상체의 속도를 출력하는 방법 및 이를 위한 초음파 진단 장치
WO2023128284A1 (ko) 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
AU2019208949B2 (en) Apparatus and method for determining calibration timing for blood pressure measurement in electronic device
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2023282451A1 (ko) 내면 집중력 훈련 방법 및 장치
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2024090810A1 (ko) 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스
WO2024028849A1 (ko) 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스
WO2020246773A1 (ko) 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법
WO2020212962A2 (ko) 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
JPH11155823A (ja) 在宅健康管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23740423

Country of ref document: EP

Kind code of ref document: A1