WO2024028849A1 - 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스 - Google Patents

도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스 Download PDF

Info

Publication number
WO2024028849A1
WO2024028849A1 PCT/IB2023/058265 IB2023058265W WO2024028849A1 WO 2024028849 A1 WO2024028849 A1 WO 2024028849A1 IB 2023058265 W IB2023058265 W IB 2023058265W WO 2024028849 A1 WO2024028849 A1 WO 2024028849A1
Authority
WO
WIPO (PCT)
Prior art keywords
cross
sectional
image
view
doppler
Prior art date
Application number
PCT/IB2023/058265
Other languages
English (en)
French (fr)
Inventor
심학준
전재익
김지연
하성민
최안네스
Original Assignee
주식회사 온택트헬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 온택트헬스 filed Critical 주식회사 온택트헬스
Publication of WO2024028849A1 publication Critical patent/WO2024028849A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to a method for providing information on Doppler ultrasound images and a device for providing information on Doppler ultrasound images using the same.
  • Echocardiography is performed by projecting ultrasound waves onto the three-dimensional heart in multiple planes to obtain images of the heart and measure hemodynamic variables.
  • the medical staff places the ultrasound probe in a location where it is easy to obtain Doppler ultrasound images to obtain multifaceted images through anatomical structures around the heart, such as between the ribs, and finds the appropriate tomography through rotation and tilt and records the images. do.
  • Doppler mode allows measurement of the velocity of blood flow within blood vessels.
  • the blood flow measurement method based on the Doppler mode of ultrasound has the feature of being able to measure blood flow velocity in real time non-invasively, and is widely used in modern medical diagnosis.
  • Doppler ultrasound images can provide blood flow information for various cross-sectional views.
  • Doppler images obtained during echocardiography only provide velocity-time information about blood vessels.
  • the inventors of the present invention attempted to develop an information provision system based on an artificial neural network network that was learned to recognize cross-sectional views of Doppler echocardiographic images and distinguish each cross-sectional view.
  • the inventors of the present invention were able to recognize that cross-sectional views of Doppler ultrasound images could be recognized and classified by applying an artificial neural network.
  • the inventors of the present invention focused on an artificial neural network network learned to classify each corresponding cross-sectional view using Doppler echocardiographic images as input.
  • the inventors of the present invention paid more attention to B-mode images that provide information related to the cross-sectional view of Doppler echocardiographic images.
  • the present inventors attempted to build an artificial neural network network to extract features for each of Doppler ultrasound images and B-mode images, and to integrate the extracted features to classify cross-sectional views of Doppler ultrasound images.
  • the inventors of the present invention were able to recognize that highly accurate classification of the cross-sectional view of the obtained Doppler echocardiographic image was possible without recording the time of examination.
  • the inventors of the present invention paid more attention to having a DICOM (Digital Imaging and Communications in Medicine) format with various tagging information in selecting Doppler ultrasound images and B-mode images.
  • DICOM Digital Imaging and Communications in Medicine
  • the inventors of the present invention were able to recognize that rapid acquisition of Doppler ultrasound images and B-mode images was possible based on metadata.
  • the inventors of the present invention sought to further apply an algorithm for classifying cross-sectional views based on the Doppler flow direction, that is, the location of the baseline, for Doppler ultrasound images.
  • the inventors of the present invention developed a system for providing information on Doppler ultrasound images that is capable of classifying cross-sectional views of Doppler echocardiographic images based on an artificial neural network network.
  • the inventors of the present invention were able to recognize that by providing a new information provision system, unnecessary diagnosis time can be reduced and standardized cross-sectional views can be obtained with an artificial neural network-based system.
  • the problem to be solved by the present invention is a method for providing information on Doppler ultrasound images configured to recognize and classify cross-sections from Doppler echocardiogram images and B-mode images received using an artificial neural network-based classification model, and a method for providing information on Doppler ultrasound images using the same.
  • the device is provided.
  • the information providing method is a method of providing information on a Doppler echocardiographic image implemented by a processor, comprising: receiving a first image showing a portion of the heart of an object and a second image showing the flow or velocity of blood; Classifying the cross-sectional view for the second image based on the received first and second images, using a cross-sectional view classification model learned to classify the cross-sectional view using each of the first and second images as input.
  • the classification model includes a first feature extraction unit for extracting features using a first image as input, a second feature extraction unit for extracting features using a second image as input, and a first feature extraction unit. And it may include a full connection unit that integrates the features from each of the second feature extraction units.
  • the cross-sectional view is a plurality of cross-sectional views
  • the cross-sectional view classification model has an output node corresponding to the number of each of the plurality of cross-sectional views, and through the output node, a plurality of cross-sectional views for the second image. The probability corresponding to each can be output.
  • the step of classifying the cross-sectional views includes obtaining a probability corresponding to each of a plurality of cross-sectional views output through an output node, and selecting the cross-sectional view with the highest value among the probabilities corresponding to each, It may include determining a cross-sectional view for the second image.
  • the cross-sectional view may include a cross-sectional view for a pulsed wave (PW) Doppler mode and a cross-sectional view for a continuous wave (CW) Doppler mode.
  • the step of classifying the cross-sectional view is a cross-sectional view according to the Doppler mode of the cross-sectional view for the intermittent wave Doppler mode or the cross-sectional view for the continuous-wave Doppler mode based on the received first and second images using a cross-sectional view classification model. It may include a step of classifying.
  • the second image includes a baseline that serves as a reference for the Doppler flow direction
  • the information providing method includes the position of the baseline after classifying the cross-sectional view according to the Doppler mode. Based on this, a step of classifying the cross-sectional view according to the Doppler mode may be further included.
  • the cross-sectional view is a cross-sectional view of the intermittent wave Doppler mode
  • the detailed classification step is to determine the cross-sectional view as MV-PW (Apical) when the baseline is located at the top of the second image.
  • the step of determining the cross-sectional view as PV-PW (PSAX, Aortic) or LVOT-PW (A5C/A3C) may be further included.
  • the cross-sectional view is a cross-sectional view of the continuous wave Doppler mode
  • the detailed classification step is to divide the cross-sectional view into MV (MR) - CW (Apical) when the baseline is located at the top of the second image.
  • MV MR
  • CW CW
  • AV AS
  • PS PV
  • PS - CW
  • TR TV
  • the step of determining the cross-sectional view to at least one of MV (MS) - CW (Apical), AV (AR) - CW (Apical), and PV (PR) - CW (PSAX/Aortic) may be further included. there is.
  • the information provision method includes a DICOM (Digital Imaging and Communications in Medicine) format that displays metadata including tagging information for the second image before the receiving step.
  • the method may further include receiving an ultrasound image and acquiring a first image and a second image based on metadata.
  • DICOM Digital Imaging and Communications in Medicine
  • the step of classifying the cross-sectional view includes pulmonary vein, MV (MS) - CW (Apical), MV (MR) - for echocardiographic images using a cross-sectional view classification model.
  • the information provision device includes a communication unit configured to receive a first image showing a partial region of the subject's heart and a second image of blood flow or speed, and a processor functionally connected to the communication unit.
  • the processor uses a cross-sectional view classification model learned to classify a cross-sectional view by taking each of the first and second images as input, and classifies the second image based on the received first and second images. It is configured to classify cross-sectional views.
  • the information providing device includes a processor functionally connected to an ultrasound probe and a communication unit that provides a first image showing a portion of the heart of the subject and a second image showing the flow or speed of blood.
  • the processor uses a cross-sectional view classification model learned to classify a cross-sectional view by taking each of the first and second images as input, and classifies the second image based on the received first and second images. It is configured to classify cross-sectional views.
  • the classification model includes a first feature extraction unit for extracting features using a first image as input, a second feature extraction unit for extracting features using a second image as input, and a first feature extraction unit. It may include a complete connection unit that integrates the features from each of the secondary feature extraction unit and the second feature extraction unit.
  • the cross-sectional view is a plurality of cross-sectional views
  • the cross-sectional view classification model may have an output node corresponding to the number of each of the plurality of cross-sectional views. Furthermore, the probability corresponding to each of the plurality of cross-sectional views of the second image may be output through the output node.
  • the processor obtains a probability corresponding to each of a plurality of cross-sectional views output through an output node, and selects the cross-sectional view with the highest value among the corresponding probabilities as the cross-sectional view for the second image. It can be configured to decide.
  • the cross-sectional view may include a cross-sectional view for a pulsed wave (PW) Doppler mode and a cross-sectional view for a continuous wave (CW) Doppler mode.
  • the processor further uses the cross-sectional view classification model to classify the cross-sectional view according to the Doppler mode of the cross-sectional view for the intermittent wave Doppler mode or the cross-sectional view for the continuous-wave Doppler mode based on the received first and second images. It can be configured.
  • the second image may include a baseline that serves as a reference for the Doppler flow direction.
  • the processor may be further configured to classify the cross-sectional view according to the Doppler mode in detail based on the position of the baseline.
  • the cross-sectional view is a cross-sectional view for the intermittent wave Doppler mode
  • the processor determines the cross-sectional view as MV-PW (Apical) when the baseline is located at the top of the second image, or when the baseline is located at the top of the second image.
  • MV-PW MV-PW
  • the cross-sectional view may be further configured to be determined as PV-PW (PSAX, Aortic) or LVOT-PW (A5C/A3C).
  • the cross-sectional view is a cross-sectional view for continuous wave Doppler mode
  • the processor when the baseline is located at the top of the second image, divides the cross-sectional view into MV (MR) - CW (Apical), AV ( AS) - CW (Apical), PV (PS) - CW (PSAX/Aortic) and TV (TR) - CW (PLAX/PSAX/Apical), or the baseline is located at the bottom of the second image.
  • the cross-sectional view may be further configured to be determined as at least one of MV (MS) - CW (Apical), AV (AR) - CW (Apical), and PV (PR) - CW (PSAX/Aortic).
  • the communication unit is further configured to receive an ultrasound image in DICOM (Digital Imaging and Communications in Medicine) format that displays metadata including tagging information for the second image
  • the processor may be further configured to acquire the first image and the second image based on metadata
  • the present invention provides a system for providing information on Doppler ultrasound images based on an artificial neural network configured to classify ultrasound cross-sections using Doppler echocardiography images and B-mode images, thereby providing highly reliable echocardiography diagnostic results. .
  • the present invention can recognize and classify cross-sectional views by using the Doppler ultrasound image and the matching B-mode image together, so that it is possible to classify with high accuracy which cross-sectional view the corresponding Doppler image corresponds to.
  • the present invention can provide a post-processing algorithm configured to classify cross-sections by considering the Doppler flow direction, that is, the position of the baseline, for the results output from the artificial neural network network, thereby providing accuracy for cross-sections of various classes of Doppler modes. High classification may be possible.
  • the present invention provides a system for providing information on Doppler ultrasound images based on an artificial neural network network, enabling medical staff to acquire and classify cross-sectional views of Doppler echocardiogram images regardless of their skill level, thereby enabling more accurate decision-making and It can contribute to establishing a treatment plan.
  • FIG. 1 shows a system for providing information on Doppler ultrasound images using a device for providing information on Doppler ultrasound images according to an embodiment of the present invention. It is shown.
  • Figure 2a is a block diagram showing the configuration of a medical staff device according to an embodiment of the present invention.
  • Figure 2b is a block diagram showing the configuration of an information providing server according to an embodiment of the present invention.
  • Figure 3 illustrates the procedure of a method for providing information on a Doppler ultrasound image according to an embodiment of the present invention.
  • 4 to 8 exemplarily illustrate procedures of a method for providing information on a Doppler ultrasound image according to an embodiment of the present invention.
  • Figure 9 exemplarily shows the structure of a cross-sectional view classification model used in an information provision method according to various embodiments of the present invention.
  • 10A to 10C show evaluation results of a cross-sectional view classification model used in an information provision method according to various embodiments.
  • subject used in this specification may refer to any object that wishes to receive information about a Doppler ultrasound image. Meanwhile, the entity disclosed in this specification may be any mammal except human, but is not limited thereto.
  • the term “ultrasound image” may be an echocardiogram image that can be obtained through a non-invasive method.
  • the ultrasound image may be a still cut image or a video composed of multiple cuts.
  • the video may be classified into a cross-sectional view of each Doppler echocardiogram image for each frame of the video according to the method for providing information on the Doppler ultrasound image according to an embodiment of the present invention.
  • the present invention can provide a streaming service by performing cross-sectional classification at the same time as receiving a Doppler echocardiogram image from an imaging device, and can also provide Doppler ultrasound image information in real time.
  • the ultrasound image may be a two-dimensional video, but is not limited thereto and may also be a three-dimensional image.
  • first image may refer to an image in which a tomographic plane is recorded by moving and radiating a probe little by little on the same plane.
  • second image may be an image capable of analyzing the velocity of blood flow within a blood vessel in a non-invasive manner among various ultrasound modes. At this time, Doppler ultrasound images can provide blood flow information for various cross-sectional views.
  • a “cross-sectional view” is a cross-sectional view of a Doppler ultrasound image and may include a cross-sectional view of a pulsed wave (PW) Doppler mode and a cross-sectional view of a continuous wave (CW) Doppler mode. .
  • PW pulsed wave
  • CW continuous wave
  • TDI tissue Doppler imaging
  • Cross-sectional view of Doppler ultrasound images refers to MV-PW (Apical), LVOT-PW (A5C/A3C), PV-PW (PSAX, Aortic) and pulmonary vein for intermittent wave Doppler mode.
  • cross-sectional view for Doppler ultrasound imaging may include cross-sectional views of Septal Annulus PW TDI (A4C) and Lateral Annulus PW TDI (A4C) for tissue Doppler imaging mode.
  • the ultrasound image may be a DICOM format image including metadata for the ultrasound image.
  • Metadata may correspond to video DICOM tag information.
  • the metadata may further include information about whether the Doppler ultrasound image is a still cut image, a video, a color image, or a black-and-white image.
  • the ultrasound cross-section can be recognized and classified within the image regardless of the Doppler ultrasound mode using a cross-section classification model.
  • cross-sectional view classification model used in this specification may be a model configured to input a Doppler echocardiographic image and a B-mode ultrasound image matching it and output a cross-sectional view of the Doppler ultrasound image.
  • the cross-sectional view classification model may be a model learned to classify cross-sectional views in various Doppler modes based on training Doppler echocardiographic images and B-mode images.
  • the Doppler echocardiogram image for learning may be an image with labeled cross-sectional views in PW, CW, and TDI Doppler modes, respectively.
  • the cross-sectional view classification model is a cross-sectional view classification model that classifies pulmonary veins (pulmonary veins), MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV with respect to Doppler ultrasound images.
  • the cross-sectional view classification model can classify the cross-sectional view with high accuracy regardless of the mode of the input Doppler ultrasound image.
  • the cross-sectional classification model may be a DBNet-based model, but is not limited thereto.
  • classification models include U-net, VGG net, DenseNet, FCN (Fully Convolutional Network) with encoder-decoder structure, SegNet, DeconvNet, deep neural networks (DNN) such as DeepLAB V3+, SqueezeNet, Alexnet, ResNet18 , MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, and Inception-v3.
  • the cross-sectional classification model may be an ensemble model based on at least two algorithm models among the above-described algorithms.
  • FIG. 1 illustrates a system for providing information on Doppler ultrasound images using a device for providing information on Doppler ultrasound images according to an embodiment of the present invention.
  • FIG. 2A exemplarily shows the configuration of a medical staff device that receives information on Doppler ultrasound images according to an embodiment of the present invention.
  • FIG. 2B exemplarily shows the configuration of a device for providing information on Doppler ultrasound images according to an embodiment of the present invention.
  • the information providing system 1000 may be a system configured to provide information related to a Doppler ultrasound image based on a Doppler echocardiogram image for an object.
  • the information providing system 1000 includes a medical staff device 100 that receives information related to a Doppler ultrasound image, a Doppler echocardiogram imaging device 200 that provides a Doppler echocardiogram image, and a Doppler echocardiogram image based on the received Doppler echocardiogram image.
  • it may be configured as an information provision server 300 that generates information about Doppler ultrasound images.
  • the medical staff device 100 is an electronic device that provides a user interface for displaying information related to a Doppler ultrasound image, and is equipped with at least one of a smartphone, a tablet PC (personal computer), a laptop, and/or a PC. It can be included.
  • the medical staff device 100 may receive a prediction result associated with a Doppler ultrasound image of an object from the information provision server 300 and display the received result through a display unit to be described later.
  • the information provision server 300 performs various operations to determine information associated with the Doppler ultrasound image based on the Doppler echocardiogram image and B-mode ultrasound image provided from the Doppler echocardiogram imaging device 200, such as an ultrasound diagnosis device. It may include general-purpose computers, laptops, and/or data servers, etc. At this time, the information providing server 300 may be a device for accessing a web server that provides web pages or a mobile web server that provides a mobile web site, but is not limited to this.
  • the information provision server 300 receives a Doppler echocardiography image and a B-mode ultrasound image from the Doppler echocardiography imaging device 200, and classifies the ultrasound mode and cross-sectional view for the received Doppler echocardiography image.
  • information related to the Doppler ultrasound image can be provided.
  • the information provision server 300 may classify the ultrasound cross-section from the Doppler echocardiogram image using a classification model.
  • the information provision server 300 may provide the cross-sectional view classification results for the Doppler ultrasound image to the medical staff device 100.
  • the information provided from the information providing server 300 may be provided as a web page through a web browser installed on the medical staff device 100, or may be provided in the form of an application or program. In various embodiments, such data may be provided as part of a platform in a client-server environment.
  • medical staff device 100 may include a memory interface 110, one or more processors 120, and a peripheral interface 130.
  • the various components within medical device 100 may be connected by one or more communication buses or signal lines.
  • the memory interface 110 is connected to the memory 150 and can transmit various data to the processor 120.
  • the memory 150 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage, and cloud. , may include at least one type of storage medium among blockchain data.
  • memory 150 includes operating system 151, communications module 152, graphical user interface module (GUI) 153, sensor processing module 154, telephony module 155, and application module 156. ) can be stored.
  • the operating system 151 may include instructions for processing basic system services and instructions for performing hardware tasks.
  • Communication module 152 may communicate with at least one of one or more other devices, computers, and servers.
  • a graphical user interface module (GUI) 153 can handle graphical user interfaces.
  • Sensor processing module 154 may process sensor-related functions (e.g., processing voice input received using one or more microphones 192).
  • the phone module 155 can handle phone-related functions.
  • Application module 156 may perform various functions of a user application, such as electronic messaging, web browsing, media processing, navigation, imaging, and other processing functions.
  • the medical staff device 100 may store one or more software applications 156-1 and 156-2 (eg, information provision applications) associated with one type of service in the memory 150.
  • memory 150 may store a digital assistant client module 157 (hereinafter referred to as the DA client module), thereby storing various user data 158 and instructions for performing the functions of the client side of the digital assistant. can be saved.
  • DA client module digital assistant client module 157
  • the DA client module 157 uses the user's voice input, text input, touch input, and/or gesture through various user interfaces (e.g., I/O subsystem 140) provided in the medical staff device 100. Input can be obtained.
  • various user interfaces e.g., I/O subsystem 140
  • the DA client module 157 can output data in audiovisual and tactile forms.
  • the DA client module 157 may output data consisting of a combination of at least two or more of voice, sound, notification, text message, menu, graphics, video, animation, and vibration.
  • the DA client module 157 can communicate with a digital assistant server (not shown) using the communication subsystem 180.
  • DA client module 157 may collect additional information about the surrounding environment of medical staff device 100 from various sensors, subsystems, and peripheral devices to construct a context associated with user input. .
  • the DA client module 157 may provide context information along with user input to the digital assistant server to infer the user's intent.
  • context information that may accompany the user input may include sensor information, for example, lighting, ambient noise, ambient temperature, images of the surrounding environment, video, etc.
  • the contextual information may include the physical state of the medical staff device 100 (e.g., device orientation, device location, device temperature, power level, speed, acceleration, motion pattern, cellular signal strength, etc.) .
  • the context information may include information related to the software state of the medical staff device 100 (e.g., processes running on the medical staff device 100, installed programs, past and current network activity, background services, error logs, resource usage, etc.).
  • memory 150 may include added or deleted instructions, and further, medical device 100 may include additional elements other than those shown in FIG. 2A or exclude some elements.
  • the processor 120 can control the overall operation of the medical staff device 100 and executes various commands to implement an interface that provides information related to Doppler ultrasound images by running an application or program stored in the memory 150. You can.
  • the processor 120 may correspond to a computing device such as a CPU (Central Processing Unit) or AP (Application Processor). Additionally, the processor 120 may be implemented in the form of an integrated chip (IC) such as a system on chip (SoC) in which various computing devices such as a neural processing unit (NPU) are integrated.
  • IC integrated chip
  • SoC system on chip
  • NPU neural processing unit
  • the peripheral interface 130 is connected to various sensors, subsystems, and peripheral devices, and can provide data so that the medical staff device 100 can perform various functions.
  • what function the medical staff device 100 performs may be understood as being performed by the processor 120.
  • the peripheral interface 130 may receive data from the motion sensor 160, the light sensor (light sensor) 161, and the proximity sensor 162, through which the medical staff device 100 can detect orientation, light, and proximity. It can perform detection functions, etc.
  • the peripheral interface 130 may receive data from other sensors 163 (positioning system-GPS receiver, temperature sensor, biometric sensor), through which the medical staff device 100 can use other sensors. (163) It is possible to perform functions related to .
  • the medical staff device 100 may include a camera subsystem 170 connected to the peripheral interface 130 and an optical sensor 171 connected thereto, through which the medical staff device 100 can take pictures and video. You can perform various shooting functions such as clip recording.
  • medical staff device 100 may include a communication subsystem 180 coupled with peripheral interface 130 .
  • the communication subsystem 180 is comprised of one or more wired/wireless networks and may include various communication ports, radio frequency transceivers, and optical transceivers.
  • medical staff device 100 includes an audio subsystem 190 coupled with a peripheral interface 130, which includes one or more speakers 191 and one or more microphones 192.
  • clinician device 100 can perform voice-activated functions, such as voice recognition, voice replication, digital recording, and telephony functions.
  • medical staff device 100 may include an I/O subsystem 140 coupled with a peripheral interface 130 .
  • the I/O subsystem 140 may control the touch screen 143 included in the medical staff device 100 through the touch screen controller 141.
  • the touch screen controller 141 uses any one of a plurality of touch sensing technologies such as capacitive, resistive, infrared, surface acoustic wave technology, proximity sensor array, etc. to sense the user's contact and movement or contact. and cessation of movement can be detected.
  • the I/O subsystem 140 may control other input/control devices 144 included in the medical staff device 100 through other input controller(s) 142.
  • other input controller(s) 142 may control one or more buttons, rocker switches, thumb-wheels, infrared ports, USB ports, and pointer devices such as a stylus.
  • the information providing server 300 may include a communication interface 310, a memory 320, an I/O interface 330, and a processor 340, each component being one. They can communicate with each other through one or more communication buses or signal lines.
  • the communication interface 310 can be connected to the medical staff device 100 and the Doppler echocardiography imaging device 200 through a wired/wireless communication network to exchange data.
  • communication interface 310 may receive Doppler echocardiography and imaging B-mode ultrasound images from Doppler echocardiography imaging device 200 and transmit information about the determined cross-section to medical staff device 100. You can.
  • the communication interface 310 that enables transmission and reception of such data includes a communication pod 311 and a wireless circuit 312, where the wired communication port 311 is connected to one or more wired interfaces, for example, Ethernet, May include Universal Serial Bus (USB), Firewire, etc.
  • the wireless circuit 312 can transmit and receive data with an external device through RF signals or optical signals.
  • wireless communications may use at least one of a plurality of communication standards, protocols and technologies, such as GSM, EDGE, CDMA, TDMA, Bluetooth, Wi-Fi, VoIP, Wi-MAX, or any other suitable communication protocol.
  • the memory 320 can store various data used in the information provision server 300.
  • the memory 320 may store Doppler echocardiographic images and B-mode ultrasound images, or may store a cross-section classification model learned to classify ultrasound cross-sections within Doppler echocardiographic images.
  • memory 320 may include volatile or non-volatile recording media capable of storing various data, instructions, and information.
  • the memory 320 may be a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage.
  • cloud, and blockchain data may include at least one type of storage medium.
  • memory 320 may store configuration of at least one of operating system 321, communication module 322, user interface module 323, and one or more applications 324.
  • Operating system 321 e.g., embedded operating system such as LINUX, UNIX, MAC OS, WINDOWS, VxWorks, etc.
  • controls and manages general system operations e.g., memory management, storage device control, power management, etc.
  • general system operations e.g., memory management, storage device control, power management, etc.
  • the communication module 323 may support communication with other devices through the communication interface 310.
  • the communication module 320 may include various software components for processing data received by the wired communication port 311 or the wireless circuit 312 of the communication interface 310.
  • the user interface module 323 may receive a user's request or input from a keyboard, touch screen, microphone, etc. through the I/O interface 330 and provide a user interface on the display.
  • Applications 324 may include programs or modules configured to be executed by one or more processors 330 .
  • an application for providing information related to Doppler ultrasound images may be implemented on a server farm.
  • the I/O interface 330 may connect at least one of input/output devices (not shown) of the information providing server 300, such as a display, keyboard, touch screen, and microphone, to the user interface module 323.
  • the I/O interface 330 may receive user input (eg, voice input, keyboard input, touch input, etc.) together with the user interface module 323 and process commands according to the received input.
  • the processor 340 is connected to the communication interface 310, the memory 320, and the I/O interface 330 to control the overall operation of the information server 300, and operates the application or The program can execute various commands to provide information.
  • the processor 340 may correspond to a computing device such as a CPU (Central Processing Unit) or AP (Application Processor). Additionally, the processor 340 may be implemented in the form of an integrated chip (IC) such as a system on chip (SoC) in which various computing devices are integrated. Alternatively, the processor 340 may include a module for calculating an artificial neural network model, such as a Neural Processing Unit (NPU).
  • a computing device such as a CPU (Central Processing Unit) or AP (Application Processor).
  • IC integrated chip
  • SoC system on chip
  • the processor 340 may include a module for calculating an artificial neural network model, such as a Neural Processing Unit (NPU).
  • NPU Neural Processing Unit
  • processor 340 may be configured to classify and provide cross-sectional views within a Doppler echocardiographic image using classification models.
  • Figure 3 illustrates the procedure of a method for providing information on a Doppler ultrasound image according to an embodiment of the present invention.
  • 4 to 8 exemplarily illustrate procedures of a method for providing information on a Doppler ultrasound image according to an embodiment of the present invention.
  • the information provision procedure is as follows. First, the first and second images of the object are received (S310). Next, the cross-sectional view of the doppler ultrasound image is classified by the cross-sectional view classification model (S320).
  • a Doppler echocardiogram image for the target region that is, the heart region
  • a B-mode ultrasound image corresponding to the Doppler echocardiogram image may be received.
  • a DICOM format echocardiogram image may be received in step S310 where the first image and the second image are received.
  • the DICOM format echocardiogram image may include metadata such as coordinates for the Doppler echocardiogram image and B-mode ultrasound image.
  • step (S320) in which the cross-sectional view of the second image is classified is performed.
  • the cross-sectional view is a plurality of cross-sectional views
  • the probability that each of the plurality of cross-sectional views for the input Doppler image corresponds to each of the plurality of cross-sectional views for the input Doppler image is calculated by the cross-sectional view classification model. and can be output.
  • the classification model includes a first feature extraction unit for extracting features using a B-mode echocardiographic image as an input, a second feature extraction unit for extracting features using a Doppler echocardiography image as an input, and a first feature extraction unit. And it may include a complete connection unit that integrates the features from each of the second feature extraction units.
  • the B-mode echocardiogram image 412a and the Doppler echocardiogram image 412b within the echocardiogram image 412 are input into the cross-section classification model 420.
  • the cross-sectional view classification model 420 includes a first feature extraction unit 420a configured to extract features by inputting a B-mode echocardiographic image, and a second feature extraction unit configured to extract features by inputting a Doppler echocardiographic image ( 420b) and a fully connected portion 420c configured to integrate features extracted from each.
  • the cross-sectional view classification model 420 further includes an output unit (not shown) configured to finally output the probability of corresponding to each class, that is, the probability of corresponding to the cross-sectional view.
  • the output unit has an output node corresponding to the number of each of the plurality of cross-sections, and the probability corresponding to each of the plurality of cross-sections of the second image can be output through the output node. .
  • the features extracted from each of the first feature extraction unit 420a and the second feature extraction unit 420b are integrated through the complete connection unit 420c. Then, the probability 422 for each of the plurality of cross-sectional views calculated for the Doppler echocardiogram image 412b finally input through the output unit (not shown) is output.
  • the cross-sectional view of the Doppler echocardiography image 412b may be determined as MV-PW (Apical) with the highest probability value of 97%.
  • step (S310) of receiving the first and second images metadata containing tagging information about the Doppler echocardiographic image is provided.
  • a step of receiving an ultrasound image in a DICOM (Digital Imaging and Communications in Medicine) format and acquiring a B-mode echocardiogram image and a Doppler echocardiogram image based on metadata may be further performed.
  • a DICOM format echocardiogram image is received (S510), and whether metadata is present in the header is determined (S520).
  • an algorithm for extracting coordinates of the B-mode echocardiogram image and the Doppler echocardiogram image operates (S531), and as a result, the B-mode echocardiogram image
  • the coordinates of the ultrasound image and Doppler echocardiogram image are acquired (S541).
  • a B-mode echocardiogram image and a Doppler echocardiogram image may be acquired based on the coordinates (S550).
  • the coordinates of the B-mode echocardiogram image and the Doppler echocardiogram image are obtained based on the metadata in the header (S533), and the coordinates of the B-mode echocardiogram image and the Doppler echocardiogram are obtained based on the coordinates.
  • the image may be obtained by cropping (S550).
  • the intermittent wave (PW) Doppler mode image may have an MV-PW (Apical) cross-sectional view with the baseline located at the bottom. Furthermore, intermittent wave Doppler mode images have cross-sectional views of LVOT-PW (A5C/A3C) and PV-PW (PSAX, Aortic) with the baseline located at the top, or pulmonary veins with the baseline located at the top and bottom. It can have a cross-sectional view of the vein.
  • continuous wave (CW) Doppler mode images include AV(AR)-CW(Apical), PV(PR)-CW(PSAX/Aortic), MV(MS)-CW(Apical), and You can have cross-sectional images of TV(TS)-CW(PLAX/PSAX/Apical).
  • continuous wave Doppler mode images include AV(AS)-CW(Apical), PV(PS)-CW(PSAX/Aortic), MV(MR)-CW(Apical), and TV(TR) with the baseline located at the top.
  • )-CW(PLAX/PSAX/Apical) and LVOT-CW(A5C/A3C) cross sections are examples of the baseline located at the top.
  • tissue Doppler imaging mode can have cross-sectional views of the Septal Annulus PW TDI (A4C) and Lateral Annulus PW TDI (A4C) with the baseline located at the top and bottom.
  • the cross-sectional view can be classified in detail according to the Doppler flow direction, that is, the location of the baseline.
  • step S320 in which the cross-sectional view for the second image is classified based on the received first image and the Doppler echocardiographic image, a cross-sectional view for the intermittent wave Doppler mode or continuous wave Doppler mode
  • the cross-sectional view can be classified according to the Doppler mode of the cross-sectional view.
  • the Doppler echocardiographic image includes a baseline that serves as a reference for the Doppler flow direction as described above, and after the step (S320) in which the cross-sectional view of the second image is classified, the Doppler mode is selected based on the algorithm based on the baseline.
  • the cross-sectional view can be classified in detail.
  • the cross-sectional view for the second image is classified, it is probabilistically determined that the Doppler ultrasound image corresponds to the cross-sectional view for the intermittent wave Doppler mode.
  • the baseline position within the intermittent wave Doppler mode image is determined (S710).
  • the cross-sectional view for the intermittent wave Doppler mode image may be determined as MV-PW (Apical) (S731).
  • the cross section for intermittent wave Doppler mode imaging is PV-PW (PSAX, Aortic) or LVOT-PW (A5C/A3C ) can be determined (S732).
  • the cross-sectional view with the highest value may be determined as the final cross-sectional view.
  • the Doppler ultrasound image is probabilistically determined to correspond to the cross-sectional view for the continuous wave Doppler mode. If determined, the baseline position within the continuous wave Doppler mode image is determined (S810). Next, it is determined whether the position of the baseline exists at the bottom (S820).
  • the cross-sectional view for the continuous wave Doppler mode image is MV (MR) - CW (Apical), AV (AS) - CW ( Apical), PV (PS) - CW (PSAX/Aortic), and TV (TR) - CW (PLAX/PSAX/Apical) (S831).
  • the position of the baseline is at the bottom, i.e. the Doppler flow direction is 'UP'
  • the cross-sectional view for continuous wave Doppler mode imaging is MV (MS) - CW (Apical), AV (AR) - CW.
  • a post-processing algorithm based on the Doppler flow direction can be applied to the classification result of the classification model, enabling more accurate classification of the cross-sectional view of the Doppler ultrasound image.
  • Figure 9 exemplarily shows the structure of a cross-sectional view classification model used in a method for providing information on Doppler ultrasound images according to an embodiment of the present invention.
  • the cross-sectional classification model used in various embodiments of the present invention may have a DBNet structure.
  • the DBNet-based cross-sectional classification model 420 may be composed of a plurality of blocks on which various convolution operations are performed.
  • the cross-sectional view classification model includes a first feature extraction unit 420a of the EfficientNET structure configured to extract features for the input B-mode echocardiogram image (first image), and an input Doppler echocardiogram image (second image). It includes a second feature extraction unit 420b of an EfficientNET structure configured to extract features for an image).
  • the features extracted from each feature extraction unit are integrated through a complete connection unit 420c consisting of multiple FCNs, and finally, multiple classes (cross sections) can be probabilistically classified through the output unit 420d of Softmax. .
  • the number of nodes of the output unit 420d may correspond to the number of ultrasonic cross sections.
  • the ultrasonic cross-section classification model used in various embodiments of the present invention includes cross-sections corresponding to three intermittent wave (PW) Doppler modes and nine continuous wave (CW) Doppler modes. It may be a model learned to probabilistically classify a total of 15 cross sections of cross sections corresponding to the corresponding cross section and two tissue Doppler imaging modes.
  • PW intermittent wave
  • CW continuous wave
  • the number of output nodes of the output unit 420d of the cross-sectional view classification model may be equal to 15, which is the number of classification target cross-sectional views set in the learning step.
  • the training data of the cross-sectional view classification model is not limited to the above, and the structure of the cross-sectional view classification model is not limited to the above.
  • 10A to 10C show evaluation results of a cross-sectional view classification model used in an information provision method according to various embodiments.
  • the cross-sectional view classification model used in various embodiments of the present invention shows a high classification accuracy of 98.7% even though there are 15 cross-sectional view classes to be classified.
  • the discrimination time of the cross-sectional view classification model used in various embodiments of the present invention is 0.08 to 0.15 seconds per frame for Doppler ultrasound images.
  • the information provision method according to various embodiments of the present invention may be able to quickly provide information about a cross-sectional view using a classification model.
  • FIG. 10C a Doppler confusion matrix for 12 cross-sectional view classification results for the cross-sectional view classification model used by medical staff and various embodiments of the present invention is shown. More specifically, according to the metrics, the cross-sectional view classification model used in various embodiments of the present invention shows a high level of confusion in classification of cross-sectional views that actual medical staff are confused about in classifying the cross-sectional views.
  • these results may mean that the cross-sectional view classification model used in various embodiments of the present invention has a cross-sectional view classification performance at a level similar to that of actual medical staff.

Abstract

본 발명은, 프로세서에 의해 구현되는 도플러 초음파 영상에 대한 정보 제공 방법으로, 개체의 심장의 일부 영역을 보여주는 제 1 영상 및 혈액의 흐름 또는 속도에 대한 제 2 영상을 수신하는 단계, 제1 영상 및 제 2 영상 각각을 입력으로 하여 단면도 (view) 를 분류하도록 학습된 단면도 분류 모델을 이용하여, 수신된 제 1 영상 및 제 2 영상을 기초로, 제 2 영상에 대한 단면도를 분류하는 단계를 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.

Description

도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스
본 발명은 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스에 관한 것이다.
심장 초음파 검사는 입체적인 구조의 심장을 여러 차원의 평면에서 초음파를 투사하여 심장의 영상을 획득하고 혈역학적인 변수들을 측정하는 방식으로 이루어진다.
이때, 의료진은 갈비뼈 사이 등 심장 주위의 해부학적인 구조물들을 통해 다면적인 영상을 획득하도록, 도플러 초음파 영상을 얻기 쉬운 위치에 초음파 탐촉자 (probe) 를 위치시키고 회전과 기울임을 통해 적절한 단층을 찾아 영상을 기록한다.
한편, 심장 초음파 모드 중, 도플러 (doppler) 모드의 경우 혈관 내 혈류의 속도 측정이 가능하다. 특히, 초음파의 도플러 모드 기반의 혈류 측정 방법은 비침습적으로 실시간에 혈류 속도를 측정할 수 있다는 특징을 가지고 있는 바, 현대 의학의 진단에 널리 활용되고 있다.
이때, 도플러 초음파 영상은 다양한 단면도 (View) 에 대한 혈류의 흐름 정보를 제공할 수 있다. 통상적으로, 심장 초음파를 진행하면서 획득된 도플러 영상은 혈관에 대한 속도-시간 정보를 제공할 뿐이다.
즉, 의료진은 영상 분석 단계에서, 획득된 도플러 초음파 영상이 어떤 단면도에 해당하는지 분류해야만 한다.
여기서, 의료진의 숙련도에 따라 획득된 도플러 초음파 영상 단면도 분류의 편차가 클 수 있어, 단면도의 인식 및 분류가 가능한 새로운 정보 제공 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 전술한 문제점을 해결하기 위해, 본 발명의 발명자들은 도플러 심장 초음파 영상에 대하여 단면도를 인식하고 각 단면도별로 구별하도록 학습된 인공 신경망 네트워크 기반의 정보 제공 시스템을 개발하고자 하였다.
특히, 본 발명의 발명자들은, 인공 신경망 네트워크를 적용함으로써 도플러 초음파 영상에 대하여 단면도를 인식하고 분류할 수 있음을 인지할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 도플러 심장 초음파 영상을 입력으로 하여 대응하는 단면도 각각을 분류하도록 학습된 인공 신경망 네트워크에 주목하였다.
한편, 본 발명의 발명자들은 도플러 심장 초음파 영상에 대하여, 단면도와 연관된 정보를 제공하는 B-모드 (B-mode) 영상에 더욱 주목하였다.
보다 구체적으로, 본 발명자들은 인공 신경망 네트워크에 대하여, 도플러 초음파 영상 및 B-모드 영상 각각에 대하여 특징을 추출하고, 추출된 특징을 통합하여 도플러 초음파 영상에 대한 단면도가 분류되도록 구축하고자 하였다.
그 결과, 본 발명의 발명자들은 획득된 도플러 심장 초음파 영상에 대하여, 검사 시점에 대한 기록 없이도 단면도에 대한 정확도 높은 분류가 가능함을 인지할 수 있었다.
나아가, 본 발명의 발명자들은 도플러 초음파 영상과 B-모드 영상 선별에 있어서, 다양한 태깅 정보를 갖는 DICOM (Digital Imaging and Communications in Medicine) 형식을 갖는 것에 더욱 주목하였다.
*보다 구체적으로 본 발명의 발명자들은, DICOM 형식의 초음파 영상 내에서, 각 영상의 초음파 모드가 무엇인지에 대한 다양한 메타데이터를 활용할 수 있음에 주목하였다.
결과적으로, 본 발명의 발명자들은, 메타데이터에 기초하여 도플러 초음파 영상과 B-모드 영상에 대한 신속한 획득이 가능함을 인지할 수 있었다
나아가, 본 발명의 발명자들은 도플러 초음파 영상에 대한 도플러 플로우 (Doppler flow) 방향, 즉 베이스라인 (Baseline) 의 위치에 기초하여 단면도를 분류하는 알고리즘을 더욱 적용하고자 하였다.
그 결과, 본 발명의 발명자들은 인공 신경망 네트워크 기반의 도플러 심장 초음파 영상 단면도 분류가 가능한, 도플러 초음파 영상에 대한 정보 제공 시스템을 개발하기에 이르렀다.
본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 불필요한 진단 시간을 줄이고, 인공 신경망 기반 시스템으로 표준화된 단면도의 획득이 가능함을 인지할 수 있었다.
즉, 본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 관계 없이 도플러 초음파 영상 획득이 가능하며, 이에 따라 도플러 심장 초음파 영상에 대한 신뢰도 높은 분석 결과의 제공이 가능함을 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 인공 신경망 기반의 분류 모델을 이용하여 수신된 도플러 심장 초음파 영상 및 B-모드 영상으로부터 단면도를 인식 및 분류하도록 구성된 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법이 제공된다. 상기 정보 제공 방법은, 프로세서에 의해 구현되는 도플러 심장 초음파 영상에 대한 정보 제공 방법으로서, 개체의 심장의 일부 영역을 보여주는 제 1 영상 및 혈액의 흐름 또는 속도에 대한 제 2 영상을 수신하는 단계, 제 1 영상 및 제 2 영상 각각을 입력으로 하여 단면도 (view) 를 분류하도록 학습된 단면도 분류 모델을 이용하여, 수신된 제 1 영상 및 제 2 영상을 기초로, 제 2 영상에 대한 단면도를 분류하는 단계를 포함한다,
본 발명의 특징에 따르면 분류 모델은, 제 1 영상을 입력으로 하여 특징을 추출하는 제1 특징 추출부, 제 2 영상을 입력으로 하여 특징을 추출하는 제2 특징 추출부, 및 제1 특징 추출 부 및 제2 특징 추출부 각각으로부터의 특징을 통합 (integration) 하는 완전 연결부를 포함할 수 있다.
본 발명의 다른 특징에 따르면 단면도는 복수의 단면도 단면도이고, 단면도 분류 모델은, 복수의 단면도 각각의 개수에 대응하는 출력 노드 (node) 를 갖고, 출력 노드를 통해, 제 2 영상에 대한 복수의 단면도 각각에 해당하는 확률이 출력될 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도를 분류하는 단계는, 출력 노드를 통해 출력된 복수의 단면도 각각에 해당하는 확률을 획득하는 단계, 및 각각에 해당하는 확률 중 가장 높은 값을 갖는 단면도를, 제 2 영상에 대한 단면도로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도는, 간헐파 (Pulsed wave; PW) 도플러 모드에 대한 단면도 및 지속파 (Continuous wave; CW) 도플러 모드에 대한 단면도를 포함할 수 있다. 이때, 단면도를 분류하는 단계는, 단면도 분류 모델을 이용하여, 수신된 제 1 영상 및 제 2 영상을 기초로, 간헐파 도플러 모드에 대한 단면도 또는 지속파 도플러 모드에 대한 단면도의 도플러 모드에 따른 단면도를 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 제 2 영상은 도플러 흐름 방향의 기준이 되는 베이스라인 (baseline) 을 포함하고, 상기 정보 제공 방법은 도플러 모드에 따른 단면도를 분류하는 단계 이후에, 베이스라인의 위치에 기초하여 도플러 모드에 따른 단면도를 세부 분류하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도는 간헐파 도플러 모드에 대한 단면도이고, 세부 분류하는 단계는, 베이스라인이 제 2 영상의 상단에 위치할 경우, 단면도를 MV-PW (Apical) 로 결정하고, 또는 베이스라인이 제 2 영상의 하단에 위치할 경우, 단면도를 PV-PW (PSAX, Aortic) 또는 LVOT-PW (A5C/A3C) 로 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도는 지속파 도플러 모드에 대한 단면도이고, 세부 분류하는 단계는, 베이스라인이 제 2 영상의 상단에 위치할 경우, 단면도를 MV (MR) - CW (Apical), AV (AS) - CW (Apical), PV (PS) - CW (PSAX/Aortic) 및 TV (TR) - CW (PLAX/PSAX/Apical) 중 적어도 하나로 결정하고, 또는 베이스라인이 제 2 영상의 하단에 위치할 경우, 단면도를 MV (MS) - CW (Apical), AV (AR) - CW (Apical) 및 PV (PR) - CW (PSAX/Aortic) 중 적어도 하나로 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은, 수신하는 단계 이전에, 제 2 영상에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 초음파 영상을 수신하는 단계, 및 메타데이터에 기초하여 제 1 영상 및 제 2 영상을 획득하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도를 분류하는 단계는, 단면도 분류 모델을 이용하여, 심장 초음파 영상에 대하여, 폐정맥 (pulmonary vein), MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 단면도를 결정하는 단계를 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 도플러 초음파 영상에 대한 정보용 디바이스가 제공된다. 상기 정보 제공용 디바이스는 개체의 심장의 일부 영역을 보여주는 제 1 영상 및 혈액의 흐름 또는 속도에 대한 제 2 영상을 수신하도록 구성된 통신부, 및 통신부와 기능적으로 연결된 프로세서를 포함한다. 이때, 프로세서는, 제 1 영상 및 제 2 영상 각각을 입력으로 하여 단면도 (view) 를 분류하도록 학습된 단면도 분류 모델을 이용하여, 수신된 제 1 영상 및 제 2 영상을 기초로, 제 2 영상에 대한 단면도를 분류하도록 구성된다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시예에 따른 도플러 초음파 영상에 대한 정보용 디바이스가 제공된다. 상기 정보 제공용 디바이스는 개체의 심장의 일부 영역을 보여주는 제 1 영상 및 혈액의 흐름 또는 속도에 대한 제 2 영상을 제공하는 초음파 프로브 (probe) 및 통신부와 기능적으로 연결된 프로세서를 포함한다. 이때, 프로세서는, 제 1 영상 및 제 2 영상 각각을 입력으로 하여 단면도 (view) 를 분류하도록 학습된 단면도 분류 모델을 이용하여, 수신된 제 1 영상 및 제 2 영상을 기초로, 제 2 영상에 대한 단면도를 분류하도록 구성된다.
본 발명의 특징에 따르면, 분류 모델은, 제 1 영상을 입력으로 하여 특징을 추출하는 제1 특징 추출부, 제 2 영상을 입력으로 하여 특징을 추출하는 제2 특징 추출부, 및 제1 특징 추출 부 및 제2 특징 추출부 각각으로부터의 특징을 통합 (integration) 하는 완전 연결부를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 단면도는 복수의 단면도이고, 단면도 분류 모델은, 복수의 단면도 각각의 개수에 대응하는 출력 노드 (node) 를 가질 수 있다. 더욱이, 출력 노드를 통해, 제 2 영상에 대한 복수의 단면도 각각에 해당하는 확률이 출력될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 출력 노드를 통해 출력된 복수의 단면도 각각에 해당하는 확률을 획득하고, 각각에 해당하는 확률 중 가장 높은 값을 갖는 단면도를, 제 2 영상에 대한 단면도로 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도는, 간헐파 (Pulsed wave; PW) 도플러 모드에 대한 단면도 및 지속파 (Continuous wave; CW) 도플러 모드에 대한 단면도를 포함할 수 있다. 이때, 프로세서는, 단면도 분류 모델을 이용하여, 수신된 제 1 영상 및 제 2 영상을 기초로, 간헐파 도플러 모드에 대한 단면도 또는 지속파 도플러 모드에 대한 단면도의 도플러 모드에 따른 단면도를 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 제 2 영상은 도플러 흐름 방향의 기준이 되는 베이스라인 (baseline) 을 포함할 수 있다. 이때, 프로세서는, 베이스라인의 위치에 기초하여 도플러 모드에 따른 단면도를 세부 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도는 간헐파 도플러 모드에 대한 단면도이고, 프로세서는 베이스라인이 제 2 영상의 상단에 위치할 경우 단면도를 MV-PW (Apical) 로 결정하거나, 또는 베이스라인이 제 2 영상의 하단에 위치할 경우 단면도를 PV-PW (PSAX, Aortic) 또는 LVOT-PW (A5C/A3C) 로 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 단면도는 지속파 도플러 모드에 대한 단면도이고, 프로세서는, 베이스라인이 제 2 영상의 상단에 위치할 경우, 단면도를 MV (MR) - CW (Apical), AV (AS) - CW (Apical), PV (PS) - CW (PSAX/Aortic) 및 TV (TR) - CW (PLAX/PSAX/Apical) 중 적어도 하나로 결정하거나, 또는 베이스라인이 제 2 영상의 하단에 위치할 경우 단면도를 MV (MS) - CW (Apical), AV (AR) - CW (Apical) 및 PV (PR) - CW (PSAX/Aortic) 중 적어도 하나로 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 통신부는 제 2 영상에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 초음파 영상을 수신하도록 더 구성되고, 프로세서는 메타데이터에 기초하여 제 1 영상 및 제 2 영상을 획득하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 도플러 심장 초음파 영상 및 B-모드 영상을 이용하여 초음파 단면도를 분류하도록 구성된 인공 신경망 네트워크 기반의 도플러 초음파 영상에 대한 정보 제공 시스템을 제공함으로써, 신뢰도 높은 심장 초음파 진단 결과를 제공할 수 있다.
보다 구체적으로, 본 발명은, 도플러 초음파 영상과 매칭되는 B-모드 영상을 함께 이용하여 단면도를 인식하고 분류할 수 있어 해당 도플러 영상이 어떠한 단면도에 대응하는지 정확도 높게 분류할 수 있다.
특히, 본 발명은, 인공 신경망 네트워크로부터 출력된 결과에 대하여 도플러 플로우 방향, 즉 베이스라인의 위치를 고려하여 단면도를 분류하도록 구성된 후처리 알고리즘을 제공할 수 있어 다양한 클래스의 도플러 모드의 단면도에 대하여 정확도 높은 분류가 가능할 수 있다.
즉 본 발명은, 인공 신경망 네트워크 기반의 도플러 초음파 영상에 대한 정보 제공 시스템을 제공함으로써 의료진이 숙련도에 관계 없이 도플러 심장 초음파 영상의 획득 및 단면도 분류가 가능함에 따라, 영상 분석 단계에서 보다 정확한 의사 결정 및 치료 계획을 수립하는데 기여할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공용 디바이스를 이용한 도플러 초음파 영상에 대한 정보 제공 시스템을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료진 디바이스의 구성을 나타낸 블록도이다.
도 2b는 본 발명의 일 실시예에 따른 정보 제공용 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 4 내지 8은 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 9는 본 발명의 다양한 실시예에 따른 정보 제공 방법에 이용되는 단면도 분류 모델의 구조를 예시적으로 도시한 것이다.
도 10a 내지 10c는 다양한 실시예에 따른 정보 제공 방법에 이용되는 단면도 분류 모델의 평과 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 도플러 초음파 영상에 대한 정보를 제공받고자 하는 모든 대상을 의미할 수 있다. 한편, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "초음파 영상"은, 비침습적인 방법으로 획득 가능한 심장 초음파 영상일 수 있다.
한편, 초음파 영상은, 스틸 컷 영상 또는 복수 개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 동영상은 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법에 따라 동영상의 프레임에 대하여 각각의 도플러 심장 초음파 영상에 대한 단면도가 분류될 수도 있다. 그 결과, 본 발명은 영상 진단 디바이스로부터의 도플러 심장 초음파 영상의 수신과 동시에 단면도 분류를 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 도플러 초음파 영상 정보를 제공할 수도 있다.
한편, 초음파 영상은, 2 차원 동영상일 수 있으나, 이에 제한되는 것은 아니며 3 차원의 영상일 수도 있다.
본 명세서에서 사용되는 용어, "제 1 영상", "B-모드 심장 초음파 영상" 또는 "B-모드 초음파 영상"은 프로브를 동일 평면상에서 조금씩 옮기며 방사시켜 단층면을 기록한 영상을 의미할 수 있다.
이때, 도플러 초음파 영상과 매칭되는 B-모드 심장 초음파 영상의 경우, 단면도와 관련된 정보를 제공할 수 있다.
본 명세서에서 사용되는 용어, "제 2 영상", "도플러 심장 초음파 영상" 또는 "도플러 초음파 영상"은, 다양한 초음파 모드 중, 비침습적인 방법으로 혈관 내 혈류의 속도 분석이 가능한 영상일 수 있다. 이때, 도플러 초음파 영상은 다양한 단면도 (View) 에 대한 혈류의 흐름 정보를 제공할 수 있다.
본 명세서 내에서, "단면도"는, 도플러 초음파 영상에 대한 단면도로서, 간헐파 (Pulsed wave; PW) 도플러 모드에 대한 단면도 및 지속파 (Continuous wave; CW) 도플러 모드에 대한 단면도를 포함할 수 있다. 그러나, 이에 제한되는 것은 아니며, 조직 도플러 영상 (Tissue Doppler imaging; TDI) 모드에 대한 단면도를 더욱 포함할 수 있다.
보다 구체적으로, "도플러 초음파 영상에 대한 단면도"는, 간헐파 도플러 모드에 대한 MV-PW　(Apical), LVOT-PW　(A5C/A3C), PV-PW　(PSAX,　Aortic) 및 폐정맥 (pulmonary vein) 의 단면도, 지속파 도플러 모드에 대한 AV　(AR)　-　CW　(Apical), PV　(PR)　-　CW　(PSAX/Aortic), MV　(MS)　-　CW　(Apical), TV　(TS)　-　CW　(PLAX/PSAX/Apical), AV　(AS)　-　CW　(Apical), PV　(PS)　-　CW　(PSAX/Aortic), MV　(MR)　-　CW　(Apical), TV　(TR)　-　CW　(PLAX/PSAX/Apical) 및 LVOT-CW　(A5C/A3C) 의 단면도를 포함할 수 있다. 더욱이, "도플러 초음파 영상에 대한 단면도"는, 조직 도플러 영상 모드에 대한 Septal　Annulus　PW　TDI　(A4C) 및 Lateral　Annulus　PW　TDI　(A4C)의 단면도를 포함할 수 있다.
본 발명의 특징에 따르면, 초음파 영상은, 초음파 영상에 대한 메타데이터를 포함하는 DICOM 형식의 영상일 수 있다.
여기서, "메타데이터"는 영상 DICOM 태그 정보에 대응할 수 있다.
예를 들어, B-모드 초음파 영상 및 도플러 초음파 영상의 경우, DICOM 헤더 (header) 의 좌표 값에 기초하여 해당 영역만이 크로핑되면서 획득될 수 있다.
이때 메타데이터는, 도플러 초음파 영상이 스틸 컷 영상인지 또는 동영상인지, 칼라 영상인지 또는 흑백 영상인지 등에 대한 정보를 더욱 포함할 수도 있다.
한편, 복수의 단면도에 대한 도플러 심장 초음파 영상은, 단면도 분류 모델에 의해 도플러 초음파 모드에 관계 없이, 영상 내에서 초음파 단면도가 인식 및 분류될 수 있다.
본 명세서에서 사용되는 용어, "단면도 분류 모델"은 도플러 심장 초음파 영상 및 이와 매칭되는 B-모드 초음파 영상을 입력으로 하여, 도플러 초음파 영상에 대한 단면도를 출력하도록 구성된 모델일 수 있다.
본 발명의 특징에 따르면, 단면도 분류 모델은 학습용 도플러 심장 초음파 영상 및 B-모드 영상에 기초하여 다양한 도플러 모드에서의 단면도를 분류하도록 학습된 모델일 수 있다. 이때, 학습용 도플러 심장 초음파 영상은 PW, CW 및 TDI 도플러 모드에서의 단면도가 각각 라벨링된 영상일 수 있다.
본 발명의 다른 특징에 따르면, 단면도 분류 모델은, 단면도 분류 모델은, 도플러 초음파 영상에 대하여 폐정맥 (pulmonary vein), MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 의 15 가지 단면도를 분류하도록 학습된 15 개의 출력 노드를 갖는 모델일 수 있다. 그러나, 이에 제한되는 것이 아니다.
즉, 본 발명의 다양한 실시예에서, 단면도 분류 모델은 입력되는 도플러 초음파 영상의 모드에 관계 없이 단면도를 높은 정확도로 분류할 수 있다.
한편, 단면도 분류 모델은, DBNet에 기반한 모델일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 분류 모델들은 U-net, VGG net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 단면도 분류 모델은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
이하에서는 도 1, 2a 및 2b를 참조하여, 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공용 디바이스를 이용한 도플러 초음파 영상에 대한 정보 제공 시스템 및 도플러 초음파 영상에 대한 정보 제공용 디바이스를 설명한다.
도 1은 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공용 디바이스를 이용한 도플러 초음파 영상에 대한 정보 제공 시스템을 도시한 것이다. 도 2a는 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보를 제공받는 의료진 디바이스의 구성을 예시적으로 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1을 참조하면, 정보 제공 시스템 (1000) 은, 개체에 대한 도플러 심장 초음파 영상을 기초로 도플러 초음파 영상과 연관된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 정보 제공 시스템 (1000) 은, 도플러 초음파 영상과 연관된 정보를 수신하는 의료진 디바이스 (100), 도플러 심장 초음파 영상을 제공하는 도플러 심장 초음파 영상 진단 디바이스 (200) 및 수신된 도플러 심장 초음파 영상에 기초하여 도플러 초음파 영상에 관한 정보를 생성하는 정보 제공용 서버 (300) 로 구성될 수 있다.
먼저, 다음으로, 의료진 디바이스 (100) 는 도플러 초음파 영상과 연관된 정보를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (100) 는 정보 제공용 서버 (300) 로부터 개체에 대한 도플러 초음파 영상과 연관된 예측 결과를 수신하고, 수신된 결과를 후술할 표시부를 통해 표시할 수 있다.
정보 제공용 서버 (300) 는 초음파 진단 디바이스와 같은 도플러 심장 초음파 영상 진단 디바이스 (200) 로부터 제공된 도플러 심장 초음파 영상 및 B-모드 초음파 영상을 기초로 도플러 초음파 영상과 연관된 정보를 결정하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 정보 제공용 서버 (300) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 정보 제공용 서버 (300) 는 도플러 심장 초음파 영상 진단 디바이스 (200) 로부터 도플러 심장 초음파 영상 및 B-모드 초음파 영상을 수신하고, 수신된 도플러 심장 초음파 영상에 대한 초음파 모드 및 단면도를 분류하여, 도플러 초음파 영상과 연관된 정보를 제공할 수 있다. 이때, 정보 제공용 서버 (300) 는 분류 모델을 이용하여 도플러 심장 초음파 영상으로부터 초음파 단면도를 분류할 수 있다.
정보 제공용 서버 (300) 는 도플러 초음파 영상에 대한 단면도 분류 결과를 의료진 디바이스 (100) 로 제공할 수 있다.
이와 같이 정보 제공용 서버 (300) 로부터 제공되는 정보는 의료진 디바이스 (100) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 도 2a 및 2b를 참조하여, 본 발명의 정보 제공용 서버 (300) 의 구성 요소에 대하여 구체적으로 설명한다.
먼저, 도 2a를 참조하면, 의료진 디바이스 (100) 는 메모리 인터페이스 (110), 하나 이상의 프로세서 (120) 및 주변 인터페이스 (130) 를 포함할 수 있다. 의료진 디바이스 (100) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결될 수 있다.
메모리 인터페이스 (110) 는 메모리 (150) 에 연결되어 프로세서 (120) 로 다양한 데이터를 전할 수 있다. 여기서, 메모리 (150) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 운영 체제 (151), 통신 모듈 (152), 그래픽 사용자 인터페이스 모듈 (GUI) (153), 센서 처리 모듈 (154), 전화 모듈 (155) 및 애플리케이션 모듈 (156) 중 적어도 하나 이상을 저장할 수 있다. 구체적으로, 운영 체제 (151) 는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 작업들을 수행하기 위한 명령어를 포함할 수 있다. 통신 모듈 (152) 은 다른 하나 이상의 디바이스, 컴퓨터 및 서버 중 적어도 하나와 통신할 수 있다. 그래픽 사용자 인터페이스 모듈 (GUI) (153) 은 그래픽 사용자 인터페이스를 처리할 수 있다. 센서 처리 모듈 (154) 은 센서 관련 기능 (예를 들어, 하나 이상의 마이크 (192) 를 이용하여 수신된 음성 입력을 처리함) 을 처리할 수 있다. 전화 모듈 (155) 은 전화 관련 기능을 처리할 수 있다. 애플리케이션 모듈 (156) 은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징, 기타 프로세스 기능을 수행할 수 있다. 아울러, 의료진 디바이스 (100) 는 메모리 (150) 에 어느 한 종류의 서비스와 연관된 하나 이상의 소프트웨어 애플리케이션 (156-1, 156-2) (예를 들어, 정보 제공 어플리케이션) 을 저장할 수 있다.
다양한 실시예에서, 메모리 (150) 는 디지털 어시스턴트 클라이언트 모듈 (157) (이하, DA 클라이언트 모듈) 을 저장할 수 있으며, 그에 따라 디지털 어시스턴트의 클라이언트 측의 기능을 수행하기 위한 명령어 및 다양한 사용자 데이터 (158) 를 저장할 수 있다.
한편, DA 클라이언트 모듈 (157) 은 의료진 디바이스 (100) 에 구비된 다양한 사용자 인터페이스 (예를 들어, I/O 서브시스템 (140)) 를 통해 사용자의 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 획득할 수 있다.
또한, DA 클라이언트 모듈 (157) 은 시청각적, 촉각적 형태의 데이터를 출력할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션 및 진동 중 적어도 둘 하나 이상의 조합으로 이루어진 데이터를 출력할 수 있다. 아울러, DA 클라이언트 모듈 (157) 은 통신 서브시스템 (180) 을 이용하여 디지털 어시스턴트 서버 (미도시) 와 통신할 수 있다.
다양한 실시예에서, DA 클라이언트 모듈 (157) 은 사용자 입력과 연관된 상황 (context) 을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스로부터 의료진 디바이스 (100) 의 주변 환경에 대한 추가 정보를 수집할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 사용자 입력과 함께 상황 정보를 디지털 어시스턴트 서버에 제공하여 사용자의 의도를 추론할 수 있다. 여기서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광 (lighting), 주변 소음, 주변 온도, 주변 환경의 이미지, 비디오 등을 포함할 수 있다. 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 물리적 상태 (예를 들어, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등) 을 포함할 수 있다. 또 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 소프트웨어 상태에 관련된 정보 (예를 들어, 의료진 디바이스 (100) 에서 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등) 를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 추가 또는 삭제된 명령어를 포함할 수 있으며, 나아가 의료진 디바이스 (100) 도 2a에 도시된 구성 외에 추가 구성을 포함하거나, 일부 구성을 제외할 수도 있다.
프로세서 (120) 는 의료진 디바이스 (100) 의 전반적인 동작을 제어할 수 있으며, 메모리 (150) 에 저장된 어플리케이션 또는 프로그램을 구동하여 도플러 초음파 영상과 연관된 정보를 제공하는 인터페이스를 구현하기 위한 다양한 명령들을 수행할 수 있다.
프로세서 (120) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (120) 는 NPU (Neural Processing Unit) 과 같은 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다.
주변 인터페이스 (130) 는 다양한 센서, 서브 시스템 및 주변 디바이스와 연결되어, 의료진 디바이스 (100) 가 다양한 기능을 수행할 수 있도록 데이터를 제공해 줄 수 있다. 여기서, 의료진 디바이스 (100) 가 어떠한 기능을 수행한다는 것은 프로세서 (120) 에 의해 수행되는 것으로 이해될 수 있다.
주변 인터페이스 (130) 는 모션 센서 (160), 조명 센서 (광 센서) (161) 및 근접 센서 (162) 로부터 데이터를 제공받을 수 있으며, 이를 통해, 의료진 디바이스 (100) 는 배향, 광, 및 근접 감지 기능 등을 수행할 수 있다. 다른 예를 들어, 주변 인터페이스 (130) 는 기타 센서들 (163) (포지셔닝 시스템-GPS 수신기, 온도 센서, 생체인식 센서) 로부터 데이터를 제공받을 수 있으며, 이를 통해 의료진 디바이스 (100) 가 기타 센서들 (163) 과 관련된 기능들을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 카메라 서브시스템 (170) 및 이와 연결된 광학 센서 (171) 를 포함할 수 있으며, 이를 통해 의료진 디바이스 (100) 는 사진 촬영 및 비디오 클립 녹화 등의 다양한 촬영 기능을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 통신 서브 시스템 (180) 을 포함할 수 있다. 통신 서브 시스템 (180) 은 하나 이상의 유/무선 네트워크로 구성되며, 다양한 통신 포트, 무선 주파수 송수신기, 광학 송수신기를 포함할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 오디오 서브 시스템 (190) 을 포함하며, 이러한 오디오 서브 시스템 (190) 은 하나 이상의 스피커 (191) 및 하나 이상의 마이크 (192) 를 포함함으로써, 의료진 디바이스 (100) 는 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능 등을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 I/O 서브시스템 (140) 을 포함할 수 있다. 예를 들어, I/O 서브시스템 (140) 은 터치 스크린 제어기 (141) 를 통해 의료진 디바이스 (100) 에 포함된 터치 스크린 (143) 을 제어할 수 있다. 일 예로서, 터치 스크린 제어기 (141) 는 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 어느 하나의 기술을 사용하여 사용자의 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출할 수 있다. 다른 예를 들어, I/O 서브시스템 (140) 은 기타 입력 제어기(들) (142) 를 통해 의료진 디바이스 (100) 에 포함된 기타 입력/제어 디바이스 (144) 를 제어할 수 있다. 일 예로서, 기타 입력 제어기(들) (142) 은 하나 이상의 버튼, 로커 스위치 (rocker switches), 썸 휠 (thumb-wheel), 적외선 포트, USB 포트 및 스타일러스 등과 같은 포인터 디바이스를 제어할 수 있다.
다음으로, 도 2b를 참조하면, 정보 제공용 서버 (300) 는 통신 인터페이스 (310), 메모리 (320), I/O 인터페이스 (330) 및 프로세서 (340) 를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.
통신 인터페이스 (310) 는 유/무선 통신 네트워크를 통해 의료진 디바이스 (100) 및 도플러 심장 초음파 영상 진단 디바이스 (200) 와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스 (310) 는 도플러 심장 초음파 영상 진단 디바이스 (200) 로부터 도플러 심장 초음파 및 영상 B-모드 초음파 영상을 수신할 수 있고, 결정된 단면도에 대한 정보를 의료진 디바이스 (100) 에 송신할 수 있다.
한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스 (310) 는 통신 포드 (311) 및 무선 회로 (312) 를 포함하며, 여기 유선 통신 포트 (311) 는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스 (USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로 (312) 는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.
메모리 (320) 는 정보 제공용 서버 (300) 에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리 (320) 는 도플러 심장 초음파 영상 및 B-모드 초음파 영상을 저장하거나, 도플러 심장 초음파 영상 내에서 초음파 단면도를 분류하도록 학습된 단면도 분류 모델을 저장할 수 있다.
다양한 실시예에서, 메모리 (320) 는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리 (320) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (320) 는 운영 체제 (321), 통신 모듈 (322), 사용자 인터페이스 모듈 (323) 및 하나 이상의 애플리케이션 (324) 중 적어도 하나의 구성을 저장할 수 있다.
운영 체제 (321) (예를 들어, LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제) 는 일반적인 시스템 작업 (예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등) 를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.
통신 모듈 (323) 은 통신 인터페이스 (310) 를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈 (320) 은 통신 인터페이스 (310) 의 유선 통신 포트 (311) 또는 무선 회로 (312) 에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.
사용자 인터페이스 모듈 (323) 은 I/O 인터페이스 (330) 를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.
애플리케이션 (324) 은 하나 이상의 프로세서 (330) 에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 도플러 초음파 영상과 연관된 정보를 제공하기 위한 애플리케이션은 서버 팜 (server farm) 상에서 구현될 수 있다.
I/O 인터페이스 (330) 는 정보 제공용 서버 (300) 의 입출력 디바이스 (미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈 (323) 과 연결할 수 있다. I/O 인터페이스 (330) 는 사용자 인터페이스 모듈 (323) 과 함께 사용자 입력 (예를 들어, 음성 입력, 키보드 입력, 터치 입력 등) 을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.
프로세서 (340) 는 통신 인터페이스 (310), 메모리 (320) 및 I/O 인터페이스 (330) 와 연결되어 정보 제공용 서버 (300) 의 전반적인 동작을 제어할 수 있으며, 메모리 (320) 에 저장된 애플리케이션 또는 프로그램을 통해 정보 제공을 위한 다양한 명령들을 수행할 수 있다.
프로세서 (340) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (340) 는 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다. 또는 프로세서 (340) 는 NPU (Neural Processing Unit) 과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.
다양한 실시예에서, 프로세서 (340) 는 분류 모델들을 이용하여 도플러 심장 초음파 영상 내에서 단면도를 분류하여 제공하도록 구성될 수 있다.
이하에서는, 도 3 내지 도 8을 참조하여, 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법을 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 4 내지 8은 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 제1 영상 및 제2 영상이 수신된다 (S310). 그 다음, 단면도 분류 모델에 의해 도플로 초음파 영상에 대한 단면도가 분류된다 (S320).
보다 구체적으로, 제 1 영상 및 제 2 영상이 수신되는 단계 (S310) 에서 표적 부위 즉 심장 부위에 대한 도플러 심장 초음파 영상 및 해당 도플러 심장 초음파 영상에 대응하는 B-모드 초음파 영상이 수신될 수 있다.
본 발명의 특징에 따르면, 제 1 영상 및 제 2 영상이 수신되는 단계 (S310)에서 DICOM 형식의 심장 초음파 영상이 수신될 수 있다. 이때, DICOM 형식의 심장 초음파 영상은, 도플러 심장 초음파 영상 및 B-모드 초음파 영상에 대한 좌표 등의 메타데이터를 포함할 수 있다.
다음으로, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 가 수행된다.
본 발명의 특징에 따르면, 단면도는 복수의 단면도이고, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 에서 단면도 분류 모델에 의해, 입력된 도플러 영상에 대한 복수의 단면도 각각에 해당할 확률이 산출되고 출력될 수 있다.
이때, 분류 모델은, B-모드 심장 초음파 영상을 입력으로 하여 특징을 추출하는 제1 특징 추출부, 도플러 심장 초음파 영상을 입력으로 하여 특징을 추출하는 제2 특징 추출부, 및 제1 특징 추출 부 및 상기 제2 특징 추출부 각각으로부터의 특징을 통합 (integration) 하는 완전 연결부를 포함할 수 있다. 나아가,
예를 들어, 도 4를 함께 참조하면, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 에서, 심장 초음파 영상 (412) 내의 B-모드 심장 초음파 영상 (412a) 및 도플러 심장 초음파 영상 (412b) 각각이 단면도 분류 모델 (420) 에 입력된다. 이때, 단면도 분류 모델 (420) 은 B-모드 심장 초음파 영상을 입력으로 특징을 추출하도록 구성된 제1 특징 추출부 (420a), 도플러 심장 초음파 영상을 입력으로 특징을 추출하도록 구성된 제2 특징 추출부 (420b) 및 각각으로부터 추출된 특징을 통합하도록 구성된 완전 연결부 (420c) 를 포함한다. 나아가 단면도 분류 모델 (420) 은, 최종적으로 각 클래스에 해당할 확률, 즉 단면도에 해당할 확률을 출력하도록 구성된 출력부 (미도시) 를 더욱 포함한다. 여기서, 출력부 (미도시) 는 복수의 단면도 각각의 개수에 대응하는 출력 노드 (node) 를 갖고, 출력 노드를 통해, 상기 제 2 영상에 대한 복수의 단면도 각각에 해당하는 확률이 출력될 수 있다.
다시 말해, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 에서, 제1 특징 추출부 (420a) 및 제2 특징 추출부 (420b) 각각으로부터 추출된 특징이 완전 연결부 (420c) 를 통해 통합된 후, 최종적으로 출력부 (미도시) 를 통해 입력된 도플러 심장 초음파 영상 (412b) 에 대하여 산출된 복수의 단면도 각각에 대한 확률 (422) 이 출력되게 된다.
결과적으로, 복수의 단면도 각각에 대한 확률 (422) 에 기초하여, 도플러 심장 초음파 영상 (412b) 의 단면도는, 97 %의 가장 높은 확률 값을 갖는 MV-PW (Apical) 로 결정될 수 있다.
다시, 도 3을 참조하면, 본 발명의 다양한 실시예에서, 제 1 영상 및 제 2 영상이 수신되는 단계 (S310) 이전에, 도플러 심장 초음파 영상에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 초음파 영상을 수신하고, 메타데이터에 기초하여 B-모드 심장 초음파 영상 및 도플러 심장 초음파 영상을 획득하는 단계가 더욱 수행될 수 있다.
예를 들어, 도 5를 함께 참조하면, DICOM 형식의 심장 초음파 영상이 수신되고 (S510), 헤더에 메타데이터 존재 여부가 결정된다 (S520). 이때, 메타데이터가 존재하지 않을 경우, DICOM 형식의 심장 초음파 영상 내에서, B-모드 심장 초음파 영상 및 도플러 심장 초음파 영상의 좌표 추출을 위한 알고리즘이 동작하고 (S531), 그 결과로 B-모드 심장 초음파 영상 및 도플러 심장 초음파 영상의 좌표가 획득된다 (S541). 그 다음, 좌표에 기초하여 B-모드 심장 초음파 영상 및 도플러 심장 초음파 영상이 획득될 수 있다 (S550). 선택적으로, 메타데이터가 존재할 경우, 헤더 내의 메타데이터에 기초하여 B-모드 심장 초음파 영상 및 도플러 심장 초음파 영상의 좌표가 획득되고 (S533), 좌표에 기초하여 B-모드 심장 초음파 영상 및 도플러 심장 초음파 영상이 크로핑되어 획득될 수 있다 (S550).
즉, DICOM 형식의 심장 초음파 영상으로부터 획득된 정보에 의해, 분류 모델에 입력 가능한 도플러 심장 초음파 영상 (또는, 영역) 및 B-모드 심장 초음파 영상 (또는, 영역) 의 획득이 가능할 수 있다.
한편, 도 6을 참조하면, 간헐파 (PW) 도플러 모드 영상은, 베이스라인 (baseline) 이 하부에 위치한 MV-PW　(Apical) 단면도를 가질 수 있다. 나아가, 간헐파 도플러 모드 영상은, 베이스라인이 상부에 위치한 LVOT-PW　(A5C/A3C) 및 PV-PW　(PSAX,　Aortic) 의 단면도를 가지거나, 베이스라인이 상부 및 하부에 존재하는 폐정맥 (pulmonary vein) 의 단면도를 가질 수 있다.
나아가, 지속파 (CW) 도플러 모드 영상은, 베이스라인이 하부에 위치한 AV　(AR)　-　CW　(Apical), PV　(PR)　-　CW　(PSAX/Aortic), MV　(MS)　-　CW　(Apical) 및 TV　(TS)　-　CW　(PLAX/PSAX/Apical) 의 단면도 영상을 가질 수 있다. 나아가, 지속파 도플러 모드 영상은, 베이스라인이 상부에 위치한 AV　(AS)　-　CW　(Apical), PV　(PS)　-　CW　(PSAX/Aortic), MV　(MR)　-　CW　(Apical), TV　(TR)　-　CW　(PLAX/PSAX/Apical) 및 LVOT-CW　(A5C/A3C) 의 단면도를 가질 수 있다.
또한, 조직 도플러 영상 모드는, 베이스라인이 상부 및 하부에 위치한 Septal　Annulus　PW　TDI　(A4C) 및 Lateral　Annulus　PW　TDI　(A4C) 의 단면도를 가질 수 있다.
이와 같이 하나의 모드 (예를 들어, 간헐파 도플러 모드) 에서 도플러 플로우 방향, 즉 베이스라인의 위치에 따라 단면도가 세부 분류될 수 있다.
이에, 도 3을 다시 참조하면, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 에서, 수신된 제 1 영상 및 도플러 심장 초음파 영상을 기초로, 간헐파 도플러 모드에 대한 단면도 또는 지속파 도플러 모드에 대한 단면도의 도플러 모드에 따른 단면도가 분류될 수 있다.
이때, 도플러 심장 초음파 영상은 전술한 바와 같이 도플러 흐름 방향의 기준이 되는 베이스라인을 포함하며, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 이후에, 베이스라인의 기반 알고리즘에 기초하여 도플러 모드에 따른 단면도가 세부 분류될 수 있다.
예를 들어, 도 3 및 도 7을 함께 참조하면, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 의 결과로, 도플러 초음파 영상이 간헐파 도플러 모드에 대한 단면도에 해당되는 것으로 확률적으로 결정된 경우, 간헐파 도플러 모드 영상 내의 베이스라인 위치가 결정된다 (S710). 그 다음, 베이스라인의 위치가 하단에 존재하는지 여부가 결정된다 (S720). 이때, 베이스라인의 위치가 상단에 존재하는 경우, 즉 도플러 플로우 방향이 'DOWN'인 경우, 간헐파 도플러 모드 영상에 대한 단면도는 MV-PW (Apical) 로 결정될 수 있다 (S731). 선택적으로, 베이스라인의 위치가 하단에 존재하는 경우, 즉 도플러 플로우 방향이 'UP'인 경우, 간헐파 도플러 모드 영상에 대한 단면도는 PV-PW (PSAX, Aortic) 또는 LVOT-PW (A5C/A3C) 로 결정될 수 있다 (S732). 이때, 분류 모델로부터 출력된 확률에 기초하여, 가장 높은 값을 갖는 단면도가 최종 단면도로 결정될 수 있다.
다른 예를 들어, 도 3 및 도 8을 함께 참조하면, 제 2 영상에 대한 단면도가 분류되는 단계 (S320) 의 결과로, 도플러 초음파 영상이 지속파 도플러 모드에 대한 단면도에 해당되는 것으로 확률적으로 결정된 경우, 지속파 도플러 모드 영상 내의 베이스라인 위치가 결정된다 (S810). 그 다음, 베이스라인의 위치가 하단에 존재하는지 여부가 결정된다 (S820). 이때, 베이스라인의 위치가 상단에 존재하는 경우, 즉 도플러 플로우 방향이 'DOWN'인 경우, 지속파 도플러 모드 영상에 대한 단면도는 MV (MR) - CW (Apical), AV (AS) - CW (Apical), PV (PS) - CW (PSAX/Aortic) 및 TV (TR) - CW (PLAX/PSAX/Apical) 중 적어도 하나로 결정될 수 있다 (S831). 선택적으로, 베이스라인의 위치가 하단에 존재하는 경우, 즉 도플러 플로우 방향이 'UP'인 경우, 지속파 도플러 모드 영상에 대한 단면도는 MV (MS) - CW (Apical), AV (AR) - CW (Apical) 및 PV (PR) - CW (PSAX/Aortic) 중 적어도 하나로 결정될 수 있다 (S832). 이때, 분류 모델로부터 출력된 확률에 기초하여, 가장 높은 값을 갖는 단면도가 최종 단면도로 결정될 수 있다.
즉, 분류 모델의 분류 결과에 대하여, 도플러 플로우 방향에 기초한 후처리 알고리즘이 적용될 수 있어, 도플러 초음파 영상에 대한 보다 정확도 높은 단면도의 분류가 가능할 수 있다.
이하에서는, 도 9를 참조하여, 본 발명의 다양한 실시예에서 이용되는 도플러 초음파 영상과 연관된 정보 분류 모델의 구조적 특징 및 학습에 대하여 설명한다. 이때, 설명의 편의를 위해 도 4에서 전술한 도면부호가 참조로서 사용된다.
도 9는 본 발명의 일 실시예에 따른 도플러 초음파 영상에 대한 정보 제공 방법에 이용되는 단면도 분류 모델의 구조를 예시적으로 도시한 것이다.
도 9를 참조하면 본 발명의 본 발명의 다양한 실시예에서 이용되는 단면도 분류 모델은, DBNet의 구조를 가질 수 있다. 구체적으로, DBNet기반의 단면도 분류 모델 (420)은, 다양한 컨볼루션 연산이 수행되는 복수의 블록으로 구성될 수 있다.
보다 구체적으로, 단면도 분류 모델은, 입력된 B-모드 심장 초음파 영상 (제 1 영상) 에 대하여 특징을 추출하도록 구성된 EfficientNET 구조의 제1 특징 추출부 (420a), 입력된 도플러 심장 초음파 영상 (제 2 영상) 에 대하여 특징을 추출하도록 구성된 EfficientNET 구조의 제2 특징 추출부 (420b) 를 포함한다. 각각의 특징 추출부로부터 추출된 특징들은 복수의 FCN으로 이루어진 완전 연결부 (420c) 를 통해 통합되고, 최종적으로 Softmax의 출력부 (420d) 를 통해 복수의 클래스 (단면도) 가 확률적으로 분류될 수 있다.
본 발명의 특징에 따르면, 출력부 (420d) 의 노드의 개수는 초음파 단면도의 수에 대응할 수 있다.
예를 들어, 도 6을 다시 참조하면, 본 발명의 다양한 실시예에 이용되는 초음파 단면도 분류 모델은, 3 개의 간헐파 (PW) 도플러 모드에 해당하는 단면도, 9 개의 지속파 (CW) 도플러 모드에 해당하는 단면도 및 2 개의 조직 도플러 영상 모드에 해당하는 단면도의 총 15 개의 단면도를 확률적으로 분류하도록 학습된 모델일 수 있다.
이때, 단면도 분류 모델의 출력부 (420d) 의 출력 노드의 수는, 학습 단계에서 설정된 분류 목표 단면도의 수인 15 개와 동일할 수 있다.
그러나, 단면도 분류 모델의 학습 데이터는 전술한 것에 제한되는 것이 아니며, 단면도 분류 모델의 구조는 전술한 것에 제한되는 것이 아니다.
평가: 본 발명의 다양한 실시예에 이용되는 단면도 분류 모델의 평가
이하에서는 도 10a 내지 10c를 참조하여, 본 발명의 다양한 실시예에 이용되는 단면도 분류 모델에 대한 평가 결과를 설명한다.
도 10a 내지 10c는 다양한 실시예에 따른 정보 제공 방법에 이용되는 단면도 분류 모델의 평과 결과를 도시한 것이다.
먼저, 도 10a를 참조하면, 본 발명의 다양한 실시예에 이용되는 단면도 분류 모델은, 분류해야할 단면도 클래스가 15 개임에도, 98.7%의 높은 분류 정확도를 나타낸다
다음으로, 도 10b를 참조하면 본 발명의 다양하 실시예에 이용되는 단면도 분류 모델의 판별 시간 (inference time) 도플러 초음파 영상에 대하여 프레임당 0.08 내지 0.15초로 나타난다. 즉, 본 발명의 다양한 실시예에 따른 정보 제공 방법은 분류 모델에 의해 신속하게 단면도에 대한 정보 제공이 가능할 수 있다.
다음으로 도 10c를 참조하면, 의료진 및 본 발명의 다양하 실시예에 이용되는 단면도 분류 모델에 대한 12 개의 단면도 분류 결과에 대한 도플러 컨퓨젼 메트릭스 (Doppler confusion matrix) 가 도시된다. 보다 구체적으로, 메트릭스에 따르면 본 발명의 다양하 실시예에 이용되는 단면도 분류 모델은 실제 의료진이 단면도 분류에 있어서 헷갈려 하는 단면도에 대하여 분류의 혼란도가 높은 것으로 나타난다.
즉, 이러한 결과는 본 발명의 다양하 실시예에 이용되는 단면도 분류 모델은 실제 의료진과 유사한 수준의 단면도 분류 성능을 갖는 것을 의미할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 프로세서에 의해 구현되는 도플러 심장 초음파 영상에 대한 정보 제공 방법으로서,
    개체의 심장의 일부 영역을 보여주는 제 1 영상 및 혈액의 흐름 또는 속도에 대한 제 2 영상을 수신하는 단계;
    상기 제 1 영상 및 상기 제 2 영상 각각을 입력으로 하여 단면도 (view) 를 분류하도록 학습된 단면도 분류 모델을 이용하여, 수신된 상기 제 1 영상 및 상기 제 2 영상을 기초로, 도플러 심장 초음파 영상에 대한 단면도를 분류하는 단계를 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 분류 모델은,
    상기 제 1 영상을 입력으로 하여 특징을 추출하는 제1 특징 추출부;
    상기 제 2 영상을 입력으로 하여 특징을 추출하는 제2 특징 추출부, 및
    상기 제1 특징 추출 부 및 상기 제2 특징 추출부 각각으로부터의 특징을 통합 (integration) 하는 완전 연결부를 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법.
  3. 제1항에 있어서,
    상기 단면도는 복수의 단면도이고,
    상기 단면도 분류 모델은,
    상기 복수의 단면도 각각의 개수에 대응하는 출력 노드 (node) 를 갖고,
    상기 출력 노드를 통해, 상기 제 2 영상에 대한 상기 복수의 단면도 각각에 해당하는 확률이 출력되는, 도플러 초음파 영상에 대한 정보 제공 방법.
  4. 제3항에 있어서,
    상기 단면도를 분류하는 단계는,
    상기 출력 노드를 통해 출력된 상기 복수의 단면도 각각에 해당하는 확률을 획득하는 단계, 및
    상기 각각에 해당하는 확률 중 가장 높은 값을 갖는 단면도를, 제 2 영상에 대한 단면도로 결정하는 단계를 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법.
  5. 제1항에 있어서,
    상기 단면도는, 간헐파 (Pulsed wave; PW) 도플러 모드에 대한 단면도 및 지속파 (Continuous wave; CW) 도플러 모드에 대한 단면도를 포함하고,
    상기 단면도를 분류하는 단계는,
    단면도 분류 모델을 이용하여, 수신된 상기 제 1 영상 및 상기 제 2 영상을 기초로, 상기 간헐파 도플러 모드에 대한 단면도 또는 상기 지속파 도플러 모드에 대한 단면도의 도플러 모드에 따른 단면도를 분류하는 단계를 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법.
  6. 제5항에 있어서,
    상기 제 2 영상은 도플러 흐름 방향의 기준이 되는 베이스라인 (baseline) 을 포함하고,
    도플러 모드에 따른 단면도를 분류하는 단계 이후에,
    상기 베이스라인의 위치에 기초하여 상기 도플러 모드에 따른 단면도를 세부 분류하는 단계를 더 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법.
  7. 제6항에 있어서,
    상기 단면도는 상기 간헐파 도플러 모드에 대한 단면도이고,
    상기 세부 분류하는 단계는,
    상기 베이스라인이 제 2 영상의 상단에 위치할 경우, 상기 단면도를 MV-PW (Apical) 로 결정하고, 또는
    상기 베이스라인이 제 2 영상의 하단에 위치할 경우, 상기 단면도를 PV-PW (PSAX, Aortic) 또는 LVOT-PW (A5C/A3C) 로 결정하는 단계를 더 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법.
  8. 제6항에 있어서,
    상기 단면도는 상기 지속파 도플러 모드에 대한 단면도이고,
    상기 세부 분류하는 단계는,
    상기 베이스라인이 제 2 영상의 상단에 위치할 경우, 상기 단면도를 MV (MR) - CW (Apical), AV (AS) - CW (Apical), PV (PS) - CW (PSAX/Aortic) 및 TV (TR) - CW (PLAX/PSAX/Apical) 중 적어도 하나로 결정하고, 또는
    상기 베이스라인이 제 2 영상의 하단에 위치할 경우, 상기 단면도를 MV (MS) - CW (Apical), AV (AR) - CW (Apical) 및 PV (PR) - CW (PSAX/Aortic) 중 적어도 하나로 결정하는 단계를 더 포함하는, 도플러 초음파 영상에 대한 정보 제공 방법.
  9. 제1항에 있어서,
    상기 수신하는 단계 이전에,
    상기 제 2 영상에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 초음파 영상을 수신하는 단계, 및
    상기 메타데이터에 기초하여 상기 제 1 영상 및 상기 제 2 영상을 획득하는 단계를 더 포함하는, 도플러 초음파 영상의 진단에 대한 정보 제공 방법.
  10. 제1항에 있어서,
    상기 단면도를 분류하는 단계는,
    상기 단면도 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, 폐정맥 (pulmonary vein), MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 단면도를 결정하는 단계를 포함하는, 도플러 초음파 영상의 진단에 대한 정보 제공 방법.
  11. 개체의 심장의 일부 영역을 보여주는 제 1 영상 및 혈액의 흐름 또는 속도에 대한 제 2 영상을 수신하도록 구성된 통신부, 및
    상기 통신부와 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 제 1 영상 및 상기 제 2 영상 각각을 입력으로 하여 단면도 (view) 를 분류하도록 학습된 단면도 분류 모델을 이용하여, 수신된 상기 제 1 영상 및 상기 제 2 영상을 기초로, 제 2 영상에 대한 단면도를 분류하도록 구성된, 도플러 심장 초음파 영상에 대한 정보 제공용 디바이스.
  12. 개체의 심장의 일부 영역을 보여주는 제 1 영상 및 혈액의 흐름 또는 속도에 대한 제 2 영상을 제공하는 초음파 프로브 (probe) 및
    상기 통신부와 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 제 1 영상 및 상기 제 2 영상 각각을 입력으로 하여 단면도 (view) 를 분류하도록 학습된 단면도 분류 모델을 이용하여, 수신된 상기 제 1 영상 및 상기 제 2 영상을 기초로, 상기 제 2 영상에 대한 단면도를 분류하도록 구성된, 도플러 심장 초음파 영상에 대한 정보 제공용 디바이스.
  13. 제12항에 있어서,
    상기 분류 모델은,
    상기 제 1 영상을 입력으로 하여 특징을 추출하는 제1 특징 추출부;
    상기 제 2 영상을 입력으로 하여 특징을 추출하는 제2 특징 추출부, 및
    상기 제1 특징 추출 부 및 상기 제2 특징 추출부 각각으로부터의 특징을 통합 (integration) 하는 완전 연결부를 포함하는, 도플러 심장 초음파 영상에 대한 정보 제공용 디바이스.
  14. 제12항에 있어서,
    상기 단면도는 복수의 단면도이고,
    상기 단면도 분류 모델은,
    상기 복수의 단면도 각각의 개수에 대응하는 출력 노드 (node) 를 갖고,
    상기 출력 노드를 통해, 상기 제 2 영상에 대한 상기 복수의 단면도 각각에 해당하는 확률이 출력되는, 도플러 초음파 영상에 대한 정보 제공용 디바이스.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 출력 노드를 통해 출력된 상기 복수의 단면도 각각에 해당하는 확률을 획득하고,
    상기 각각에 해당하는 확률 중 가장 높은 값을 갖는 단면도를, 상기 제 2 영상에 대한 단면도로 결정하도록 구성된, 도플러 초음파 영상에 대한 정보 제공용 디바이스.
  16. 제12항에 있어서,
    상기 단면도는, 간헐파 (Pulsed wave; PW) 도플러 모드에 대한 단면도 및 지속파 (Continuous wave; CW) 도플러 모드에 대한 단면도를 포함하고,
    상기 프로세서는,
    단면도 분류 모델을 이용하여, 수신된 상기 제 1 영상 및 상기 제 2 영상을 기초로, 상기 간헐파 도플러 모드에 대한 단면도 또는 상기 지속파 도플러 모드에 대한 단면도의 도플러 모드에 따른 단면도를 분류하도록 더 구성된, 도플러 초음파 영상에 대한 정보 제공용 디바이스.
  17. 제16항에 있어서,
    상기 제 2 영상은 도플러 흐름 방향의 기준이 되는 베이스라인 (baseline) 을 포함하고,
    상기 프로세서는,
    상기 베이스라인의 위치에 기초하여 상기 도플러 모드에 따른 단면도를 세부 분류하도록 더 구성된, 도플러 초음파 영상에 대한 정보 제공용 디바이스.
  18. 제17항에 있어서,
    상기 단면도는 상기 간헐파 도플러 모드에 대한 단면도이고,
    상기 프로세서는,
    상기 베이스라인이 제 2 영상의 상단에 위치할 경우, 상기 단면도를 MV-PW (Apical) 로 결정하거나, 또는
    상기 베이스라인이 제 2 영상의 하단에 위치할 경우, 상기 단면도를 PV-PW (PSAX, Aortic) 또는 LVOT-PW (A5C/A3C) 로 결정하도록 더 구성된, 도플러 초음파 영상에 대한 정보 제공용 디바이스.
  19. 제17항에 있어서,
    상기 단면도는 상기 지속파 도플러 모드에 대한 단면도이고,
    상기 프로세서는,
    상기 베이스라인이 제 2 영상의 상단에 위치할 경우, 상기 단면도를 MV (MR) - CW (Apical), AV (AS) - CW (Apical), PV (PS) - CW (PSAX/Aortic) 및 TV (TR) - CW (PLAX/PSAX/Apical) 중 적어도 하나로 결정하거나, 또는
    상기 베이스라인이 제 2 영상의 하단에 위치할 경우, 상기 단면도를 MV (MS) - CW (Apical), AV (AR) - CW (Apical) 및 PV (PR) - CW (PSAX/Aortic) 중 적어도 하나로 결정하도록 더 구성된, 도플러 초음파 영상에 대한 정보 제공용 디바이스.
  20. 제12항에 있어서,
    상기 통신부는,
    상기 제 2 영상에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 초음파 영상을 수신하도록 더 구성되고,
    상기 프로세서는,
    상기 메타데이터에 기초하여 상기 제 1 영상 및 상기 제 2 영상을 획득하도록 더 구성된, 도플러 초음파 영상에 대한 정보 제공용 디바이스.
PCT/IB2023/058265 2022-08-01 2023-08-18 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스 WO2024028849A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220095284A KR20240017487A (ko) 2022-08-01 2022-08-01 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스
KR10-2022-0095284 2022-08-01

Publications (1)

Publication Number Publication Date
WO2024028849A1 true WO2024028849A1 (ko) 2024-02-08

Family

ID=89848896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2023/058265 WO2024028849A1 (ko) 2022-08-01 2023-08-18 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스

Country Status (2)

Country Link
KR (1) KR20240017487A (ko)
WO (1) WO2024028849A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090029673A (ko) * 2007-09-18 2009-03-23 지멘스 메디컬 솔루션즈 유에스에이, 인크. 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출
JP2010119847A (ja) * 2008-11-19 2010-06-03 Medison Co Ltd 超音波システムおよび標準断面情報提供方法
JP2012254279A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、画像処理方法、プログラム、記録媒体、画像処理システム、および、プローブ
KR20160080864A (ko) * 2014-12-29 2016-07-08 삼성메디슨 주식회사 초음파 영상 장치 및 그에 따른 초음파 영상 처리 방법
JP2022512027A (ja) * 2018-10-22 2022-02-01 コーニンクレッカ フィリップス エヌ ヴェ 血管からの流れに関するパラメータを導出するための方法及びシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090029673A (ko) * 2007-09-18 2009-03-23 지멘스 메디컬 솔루션즈 유에스에이, 인크. 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출
JP2010119847A (ja) * 2008-11-19 2010-06-03 Medison Co Ltd 超音波システムおよび標準断面情報提供方法
JP2012254279A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、画像処理方法、プログラム、記録媒体、画像処理システム、および、プローブ
KR20160080864A (ko) * 2014-12-29 2016-07-08 삼성메디슨 주식회사 초음파 영상 장치 및 그에 따른 초음파 영상 처리 방법
JP2022512027A (ja) * 2018-10-22 2022-02-01 コーニンクレッカ フィリップス エヌ ヴェ 血管からの流れに関するパラメータを導出するための方法及びシステム

Also Published As

Publication number Publication date
KR20240017487A (ko) 2024-02-08

Similar Documents

Publication Publication Date Title
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019117563A1 (ko) 대화형 원격 의료를 위한 통합 예측 분석 장치 및 동작 방법
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2018016891A1 (en) Real time authentication based on blood flow parameters
WO2020076133A1 (ko) 암 영역 검출의 유효성 평가 장치
WO2019045385A1 (ko) 영상 얼라인먼트 방법 및 그 장치
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2023243959A1 (ko) 사용자 자세 인식 기반 신체 부상 위험 예측을 위한 방법 및 이를 위한 장치
WO2021091066A1 (en) System and method for passive subject specific monitoring
WO2021251652A1 (ko) 영상 분석 장치 및 방법
WO2024028849A1 (ko) 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스
WO2023080697A1 (ko) 심장 신호 분할 방법 및 이를 이용한 심장 신호 분할용 디바이스
WO2024090810A1 (ko) 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스
WO2023234762A1 (ko) 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스
WO2022182096A1 (en) Real-time limb motion tracking
WO2021194197A1 (ko) 주요 우울증에 대한 정보 제공 방법 및 이를 이용한 주요 우울증에 대한 정보 제공용 디바이스
WO2023136579A1 (ko) 자궁 경부에 대한 정보 제공 방법 및 이를 이용한 자궁 경부에 대한 정보 제공용 디바이스
WO2021256846A1 (ko) 슬라이드 이미지에 포함된 생체 조직의 길이를 측정하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023204457A1 (ko) M-모드 초음파 영상에 대한 정보 제공 방법, 이를 이용한 m-모드 초음파 영상에 대한 정보 제공용 디바이스, m-모드 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 장치
WO2023239150A1 (ko) 기능적 분석 장치 및 방법
WO2022173232A2 (ko) 병변의 발생 위험성을 예측하는 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23849625

Country of ref document: EP

Kind code of ref document: A1