WO2023234762A1 - 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스 - Google Patents

초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스 Download PDF

Info

Publication number
WO2023234762A1
WO2023234762A1 PCT/KR2023/007715 KR2023007715W WO2023234762A1 WO 2023234762 A1 WO2023234762 A1 WO 2023234762A1 KR 2023007715 W KR2023007715 W KR 2023007715W WO 2023234762 A1 WO2023234762 A1 WO 2023234762A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mode
psax
ultrasound
view
Prior art date
Application number
PCT/KR2023/007715
Other languages
English (en)
French (fr)
Inventor
심학준
하성민
정현석
전재익
최안네스
Original Assignee
주식회사 온택트헬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 온택트헬스 filed Critical 주식회사 온택트헬스
Publication of WO2023234762A1 publication Critical patent/WO2023234762A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method for providing information on ultrasound image views and a device for providing information on ultrasound image views using the same.
  • Ultrasound examination is performed by projecting ultrasound waves on a three-dimensional object in multiple planes to obtain images and measure hemodynamic variables.
  • the medical staff places the ultrasound probe in a location where it is easy to obtain ultrasound images and rotates and tilts it to obtain multifaceted images through anatomical structures around the heart, such as between the ribs. Find the appropriate fault and record the image.
  • the ultrasound examination process is divided into examination preparation, image acquisition, image analysis, and report writing.
  • the image acquisition and analysis process can take a lot of time.
  • Non-patent Document 1 Rahul C. Deo., et al. Circulation. 2018;138:1623-1635.; Fully Automated Echocardiogram Interpretation in Clinical Practice
  • Non-patent Document 2 LASSE LOVSTAKKEN., et al. Ultrasound in Med. & Biol., Vol. 45, No. 2, pp. 374-384, 2019.; REAL-TIME STANDARD VIEW CLASSIFICATION IN TRANSTHORACIC ECHOCARDIOGRAPHY USING CONVOLUTIONAL NEURAL NETWORKS
  • Non-patent Document 3 Bj ⁇ rnar Grenne., et al. JACC: CARDIOVASCULAR IMAGING, VOL. 14, NO. 10, 2021 OCTOBER 2021:1918-1928.; Artificial Intelligence for Automatic Measurement of Left Ventricular Strain in Echocardiography
  • Non-patent Document 4 (Non-patent Document 4) Sultan Almotairi., et al. An Accurate and Fast Cardio-views Classification System Based on Fused Deep Features and LSTM
  • the inventors of the present invention attempted to develop an information provision system based on an artificial neural network network learned to recognize image views of ultrasound images and distinguish ultrasound images for each image view.
  • the inventors of the present invention can recognize and classify image views within ultrasound images, regardless of ultrasound modes such as B-mode, M-mode, and Doppler mode. I was able to recognize that it was there.
  • the inventors of the present invention focused on an artificial neural network network learned to classify each corresponding image view using ultrasound images as input. As a result, the inventors of the present invention were able to recognize that, for ultrasound images having image views acquired in multiple modes, highly accurate classification of the image views is possible without recording the time of examination.
  • ultrasound images have a DICOM (Digital Imaging and Communications in Medicine) format with various tagging information.
  • DICOM Digital Imaging and Communications in Medicine
  • the inventors of the present invention within the DICOM format ultrasound image, various metadata about what the ultrasound mode of each image is, and further, whether the ultrasound image is a still cut image or a moving image, a color image, or a black and white image. It was noted that it can be used.
  • the inventors of the present invention were able to recognize that it was possible to verify (or correct) ultrasound images whose image views were classified based on metadata and to provide information about more reliable image views.
  • the inventors of the present invention developed a system for providing information on ultrasound image views that is capable of classification of ultrasound image views based on artificial neural network networks and verification of image views based on metadata.
  • the inventors of the present invention were able to recognize that by providing a new information provision system, it was possible to reduce unnecessary diagnosis time and obtain standardized image views with an artificial neural network-based system.
  • the inventors of the present invention were able to expect that it would be possible to obtain ultrasound images regardless of the skill level of the medical staff, and thus provide highly reliable analysis results for ultrasound images.
  • the problem to be solved by the present invention is to provide a method for providing information on ultrasound image views configured to recognize and classify each image view from received ultrasound images using an artificial neural network-based classification model, and a device using the same. will be.
  • Another problem to be solved by the present invention is a method for providing information on ultrasound image views, configured to verify image views for ultrasound images in which each image view is classified, using metadata of ultrasound images, and a device using the same. is to provide.
  • a method for providing information on an ultrasound image view is provided.
  • the method of providing the above information is:
  • each image view represents an ultrasound image view in a plurality of different ultrasound modes.
  • the plurality of ultrasound modes include M-mode and B-mode
  • the ultrasound image is an echocardiogram image
  • the step of classifying each image view is using an image view classification model
  • M-mode image view among M-mode through large vessels (PLAX/PSAX), M-mode through MV (PLAX/PSAX), and M-mode through LV (PLAX/PSAX)
  • PLAX-LV PLAX-LV (Ao/LA)
  • LV zoomed PLAX AV focused PSAX (major vessel section), PSAX (MV section), PSAX (papillary muscle section), PSAX (appendix section)
  • the plurality of ultrasound modes include Doppler mode and B-mode
  • the ultrasound image is an echocardiogram image
  • the step of classifying each image view is performed by using an image view classification model.
  • the plurality of ultrasound modes include Doppler mode, M-mode, and B-mode
  • the ultrasound image is an echocardiogram image
  • the step of classifying each image view includes an image view classification model.
  • the plurality of ultrasound modes include at least one of M-mode, Doppler mode, and B-mode, and an unclassified mode defined by an ultrasound image view that is different from the M-mode, Doppler mode, and B-mode. can do.
  • the ultrasound image is a cardiac ultrasound image
  • the step of classifying each image view uses an image view classification model to classify the ultrasound image into 4 chambers, 2 chambers, It may include the step of classifying each image view into Long Axis, Base, Mid, and Apex.
  • the information providing method may further include verifying each image view after classifying each image view.
  • verifying each image view may include determining whether the ultrasound image is a still cut image or a moving image based on the number of frames of each image view.
  • verifying each image view may include determining whether each image view is a color image or a black-and-white image.
  • the ultrasound image may be a DICOM (Digital Imaging and Communications in Medicine) format image that displays metadata including tagging information about the ultrasound mode of the ultrasound image.
  • the step of verifying each video view includes verifying each classified video view based on metadata, and after the verifying step, if each video view is different from the tagging information, A step of correcting the classification result of each image view may be further included.
  • DICOM Digital Imaging and Communications in Medicine
  • the image view classification model may have output nodes corresponding to the number of image views according to a plurality of ultrasound modes.
  • the information provision device includes a communication unit configured to receive an ultrasound image of an object, and a processor operably connected to the communication unit.
  • the processor is configured to classify each image view based on the received ultrasound image using an image view classification model learned to classify a plurality of image views using the ultrasound image as input and output each,
  • the image views represent ultrasound image views in a plurality of different ultrasound modes.
  • the ultrasound image is a cardiac ultrasound image
  • the processor uses an image view classification model to classify the ultrasound image into M-mode through large blood vessels (PLAX/PSAX) and M-mode through MV.
  • PLAX-LV PLAX-LV
  • PLAX-LV Ao/LA
  • AV focus PSAX major vessel cross-section
  • PSAX MV cross-section
  • PSAX papillary muscle cross-section
  • PSAX appendix cross-section
  • the ultrasound image is a cardiac ultrasound image
  • the processor uses an image view classification model to classify the ultrasound image as MV (MS) - CW (Apical), MV (MR) - CW (Apical) ), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW ( PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT -At least one Doppler mode imaging view among CW (A5C/A3C), Septal Annulus PW TDI (A4C), and Lateral Annulus P
  • the processor determines that the ultrasound image is a cardiac ultrasound image, and uses an image view classification model to classify the ultrasound image as MV (MS) - CW (Apical), MV (MR) - CW ( Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), Doppler mode imaging view of at least one of LVOT-CW (A5C/A3C), Septal Annulus PW TDI (A4C), and Lateral Annulus PW
  • the processor determines that the ultrasound image is a cardiac ultrasound image, and uses an image view classification model to classify the ultrasound image into 4 chambers, 2 chambers, long axis, and bottom. It can be configured to classify each video view into Base, Mid, and Apex.
  • the processor may be further configured to verify each image view.
  • the processor may be further configured to determine whether the ultrasound image is a still cut image or a moving image based on the number of frames of each image view.
  • the processor may be further configured to determine for each image view whether it is a color image or a black-and-white image.
  • the processor may be further configured to verify each image view based on metadata and, if each image view is different from the tagging information, correct the classification result of each image view. You can.
  • the present invention can provide highly reliable echocardiographic diagnosis results by providing a system for providing information on ultrasound image views based on an artificial neural network network configured to classify ultrasound image views using ultrasound images.
  • the present invention recognizes and classifies each image view regardless of the set ultrasound mode, and provides a verifiable information provision system, so it can be universally applied to various ultrasound analysis systems that provide ultrasound images in DICOM format. .
  • the present invention provides an information provision system capable of verifying (or correcting) ultrasound images whose image views are classified based on metadata, thereby providing information about image views with higher reliability.
  • the present invention provides a system for providing information on ultrasound image views based on an artificial neural network network, allowing medical staff to acquire ultrasound images regardless of their skill level, thereby helping to establish more accurate decisions and treatment plans in the image analysis stage. You can contribute.
  • Figure 1 illustrates a system for providing information on ultrasound image views using a device for providing information on ultrasound image views according to an embodiment of the present invention.
  • Figure 2a is a block diagram showing the configuration of a medical staff device according to an embodiment of the present invention.
  • Figure 2b is a block diagram showing the configuration of an information providing server according to an embodiment of the present invention.
  • Figure 3 illustrates the procedure of a method for providing information on an ultrasound image view according to an embodiment of the present invention.
  • Figures 4A to 4E exemplarily illustrate procedures of a method for providing information on an ultrasound image view according to an embodiment of the present invention.
  • Figures 5a and 5b illustrate the procedure of a method for providing information on an ultrasound image view according to another embodiment of the present invention.
  • Figure 6 exemplarily illustrates the procedure of a method for providing information on an ultrasound image view according to another embodiment of the present invention.
  • Figure 7 exemplarily shows the structure of an image view classification model used in an information provision method according to various embodiments of the present invention.
  • Figure 8 exemplarily shows training data of an image view classification model used in an information provision method according to various embodiments of the present invention.
  • Figure 9 shows evaluation results of an image view classification model used in an information provision method according to various embodiments.
  • Figure 10 illustrates the procedure of a method for providing information on an ultrasound image view according to various embodiments of the present invention.
  • Figure 11 illustrates the procedure of a method for providing information on an ultrasound image view according to another embodiment of the present invention.
  • object used in this specification may refer to any object that wishes to receive information about an ultrasound image view. Meanwhile, the entity disclosed in this specification may be any mammal except human, but is not limited thereto.
  • ultrasound image used in this specification refers to an ultrasound image and may be an ultrasound image that can be obtained through a non-invasive method.
  • the ultrasound image may be an echocardiogram, but is not limited thereto.
  • the ultrasound image may be a still cut image or a video composed of multiple cuts.
  • each ultrasound image view may be classified for each frame of the video according to the method of providing information on the ultrasound image view according to an embodiment of the present invention.
  • the present invention can provide a streaming service by performing image view classification simultaneously with the reception of ultrasound images from an imaging device, and can also provide ultrasound image view information in real time.
  • the ultrasound image may be a two-dimensional video, but is not limited thereto and may also be a three-dimensional image.
  • the ultrasound image may be a DICOM format image including metadata.
  • Metadata may correspond to DICOM tag information.
  • the metadata includes the ultrasound mode of each image, etc. May include information about ultrasound images. However, it is not limited to this and may further include information about whether the ultrasound image is a still cut image, a moving image, a color image, or a black and white image.
  • metadata can be used for verification and correction of image view classification results.
  • an ultrasound image may include a plurality of ultrasound image views in M-mode, B-mode, Doppler mode, or other modes.
  • ultrasonic image view used in this specification may encompass an image view according to the location of the ultrasonic probe, that is, an imaging location, and may also encompass an image corresponding to the image view.
  • an ultrasound image is an echocardiogram, 4 chambers, 2 chambers, long axis, base, middle, acquired in M-mode, B-mode, Doppler mode, or other modes. It may include mid and apex ultrasound image views.
  • the imaging view includes at least one of the M-mode through the great vessels (PLAX/PSAX), the M-mode through the MV (PLAX/PSAX), and the M-mode through the LV (PLAX/PSAX).
  • the mode may include video views.
  • the image views include PLAX-LV, PLAX-LV (Ao/LA), LV zoomed PLAX, AV focused PSAX (macrovascular section), PSAX (MV section), PSAX (papillary muscle section), PSAX ( attached section), A4C, A4C, A3C, LV zoomed A3C, A2C, LV zoomed A2C, A5C, RV-focused A4C (modified A4C), subcostal (SC4C) and subcostal (SC long axis IVC). It may include at least one B-mode image view.
  • the video views are MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical) ), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX) /Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), Septal Annulus PW TDI (A4C) and Lateral Annulus PW It may include at least one Doppler mode image view among the TDI (A4C).
  • the image view may further include an image view in an unclassified mode (other mode).
  • the ultrasound image views within the image can be recognized and classified regardless of the ultrasound mode by an image view classification model.
  • image view classification model used in this specification may be a model configured to take an ultrasound image as input and output an ultrasound image view.
  • the image view classification model may be a model learned to classify image views in M-mode, B-mode, and Doppler mode based on ultrasound images for training.
  • the ultrasound image for learning may be an image in which image views in M-mode, B-mode, and Doppler mode are respectively labeled.
  • the image view classification model is, for M-mode ultrasound images, M-mode (PLAX/PSAX), M-mode through MV (PLAX/PSAX), and M-mode through LV (PLAX) /PSAX) may be a model with three output nodes, trained to classify three image views.
  • the image view classification model includes PLAX-LV, PLAX-LV (Ao/LA), LV zoomed PLAX, and AV focused PSAX (large vessel cross-section) for B-mode ultrasound images. ), PSAX (MV cross-section), PSAX (papillary muscle cross-section), PSAX (appendix cross-section), A4C, A4C, A3C, LV zoomed A3C, A2C, LV zoomed A2C, A5C, RV-focused A4C (modified A4C), ribs It may be a model with 17 output nodes, trained to classify 17 image views: Subcostal (SC4C) and Subcostal (SC Long Axis IVC).
  • SC4C Subcostal
  • SC Long Axis IVC Subcostal
  • the image view classification model has MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV ( AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), septal ring ( It may be a model with 14 output nodes learned to classify 14 image views of Septal Annulus PW TDI (A4C) and Lateral Annulus PW TDI (A4C).
  • the image view classification model can be used in unclassified modes, for example, unclassified (B-mode), unclassified (M-mode), unclassified (Doppler mode), unclassified (color Doppler mode) and unclassified 5 It may have 5 output nodes to classify the different image views. .
  • the image view classification model takes ultrasound images as input and generates 3 M-mode image views, 17 B-mode image views, 14 Doppler mode image views, and 5 unclassified images. It can be a model with 39 output nodes to classify all image views of the branch image views.
  • the image view classification model can classify image views with high accuracy regardless of the mode of the input image.
  • the image view classification model may be a model based on DenseNet-121, but is not limited thereto.
  • prediction models include U-net, VGG net, DenseNet, FCN (Fully Convolutional Network) with encoder-decoder structure, SegNet, DeconvNet, deep neural networks (DNN) such as DeepLAB V3+, SqueezeNet, Alexnet, ResNet18 , MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, and Inception-v3.
  • the image view classification model may be an ensemble model based on at least two algorithm models among the above-described algorithms.
  • FIG. 1 illustrates a system for providing information on ultrasound image views using a device for providing information on ultrasound image views according to an embodiment of the present invention.
  • FIG. 2A exemplarily shows the configuration of a medical staff device that receives information about an ultrasound image view according to an embodiment of the present invention.
  • FIG. 2B exemplarily shows the configuration of a device for providing information on an ultrasound image view according to an embodiment of the present invention.
  • the information providing system 1000 may be a system configured to provide information related to an ultrasound image view based on an ultrasound image of an object.
  • the information providing system 1000 includes a medical staff device 100 that receives information related to the ultrasound image view, an ultrasound image diagnosis device 200 that provides an ultrasound image, and information related to the ultrasound image view based on the received ultrasound image. It may be comprised of an information provision server 300 that generates information.
  • the medical staff device 100 is an electronic device that provides a user interface for displaying information related to an ultrasound image view, and is equipped with at least one of a smartphone, a tablet PC (personal computer), a laptop, and/or a PC. It can be included.
  • the medical staff device 100 may receive a prediction result associated with an ultrasound image view of an object from the information provision server 300 and display the received result through a display unit to be described later.
  • the information provision server 300 is a general-purpose computer, laptop, and/or that performs various operations to determine information associated with an ultrasound image view based on an ultrasound image provided from an ultrasound imaging device 200, such as an ultrasound diagnosis device. It may include a data server, etc. At this time, the information providing server 300 may be a device for accessing a web server that provides web pages or a mobile web server that provides a mobile web site, but is not limited to this.
  • the information provision server 300 may receive an ultrasound image from the ultrasound image diagnosis device 200, classify an ultrasound image view within the received ultrasound image, and provide information related to the ultrasound image view. . At this time, the information provision server 300 may classify the ultrasound image view from the ultrasound image using a prediction model.
  • the information provision server 300 may provide the prediction result for the ultrasound image view to the medical staff device 100.
  • the information provided from the information providing server 300 may be provided as a web page through a web browser installed on the medical staff device 100, or may be provided in the form of an application or program. In various embodiments, such data may be provided as part of a platform in a client-server environment.
  • medical staff device 100 may include a memory interface 110, one or more processors 120, and a peripheral interface 130.
  • the various components within medical device 100 may be connected by one or more communication buses or signal lines.
  • the memory interface 110 is connected to the memory 150 and can transmit various data to the processor 120.
  • the memory 150 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage, and cloud. , may include at least one type of storage medium among blockchain data.
  • memory 150 includes operating system 151, communications module 152, graphical user interface module (GUI) 153, sensor processing module 154, telephony module 155, and application module 156. ) can be stored.
  • the operating system 151 may include instructions for processing basic system services and instructions for performing hardware tasks.
  • Communication module 152 may communicate with at least one of one or more other devices, computers, and servers.
  • a graphical user interface module (GUI) 153 can handle graphical user interfaces.
  • Sensor processing module 154 may process sensor-related functions (e.g., processing voice input received using one or more microphones 192).
  • the phone module 155 can handle phone-related functions.
  • Application module 156 may perform various functions of a user application, such as electronic messaging, web browsing, media processing, navigation, imaging, and other processing functions.
  • the medical staff device 100 may store one or more software applications 156-1 and 156-2 (eg, information provision applications) associated with one type of service in the memory 150.
  • memory 150 may store a digital assistant client module 157 (hereinafter referred to as the DA client module), thereby storing various user data 158 and instructions for performing the functions of the client side of the digital assistant. can be saved.
  • DA client module digital assistant client module 157
  • the DA client module 157 uses the user's voice input, text input, touch input, and/or gesture through various user interfaces (e.g., I/O subsystem 140) provided in the medical staff device 100. Input can be obtained.
  • various user interfaces e.g., I/O subsystem 140
  • the DA client module 157 can output data in audiovisual and tactile forms.
  • the DA client module 157 may output data consisting of a combination of at least two or more of voice, sound, notification, text message, menu, graphics, video, animation, and vibration.
  • the DA client module 157 can communicate with a digital assistant server (not shown) using the communication subsystem 180.
  • DA client module 157 may collect additional information about the surrounding environment of medical staff device 100 from various sensors, subsystems, and peripheral devices to construct a context associated with user input. .
  • the DA client module 157 may provide context information along with user input to the digital assistant server to infer the user's intent.
  • context information that may accompany the user input may include sensor information, for example, lighting, ambient noise, ambient temperature, images of the surrounding environment, video, etc.
  • the contextual information may include the physical state of the medical staff device 100 (e.g., device orientation, device location, device temperature, power level, speed, acceleration, motion pattern, cellular signal strength, etc.) .
  • the context information may include information related to the software state of the medical staff device 100 (e.g., processes running on the medical staff device 100, installed programs, past and current network activity, background services, error logs, resource usage, etc.).
  • memory 150 may include added or deleted instructions, and further, medical device 100 may include additional elements other than those shown in FIG. 2A or exclude some elements.
  • the processor 120 can control the overall operation of the medical staff device 100 and executes various commands to implement an interface that provides information related to the ultrasound image view by running an application or program stored in the memory 150. You can.
  • the processor 120 may correspond to a computing device such as a CPU (Central Processing Unit) or AP (Application Processor). Additionally, the processor 120 may be implemented in the form of an integrated chip (IC) such as a system on chip (SoC) in which various computing devices such as a neural processing unit (NPU) are integrated.
  • IC integrated chip
  • SoC system on chip
  • NPU neural processing unit
  • the peripheral interface 130 is connected to various sensors, subsystems, and peripheral devices, and can provide data so that the medical staff device 100 can perform various functions.
  • what function the medical staff device 100 performs may be understood as being performed by the processor 120.
  • the peripheral interface 130 may receive data from the motion sensor 160, the light sensor (light sensor) 161, and the proximity sensor 162, through which the medical staff device 100 can detect orientation, light, and proximity. It can perform detection functions, etc.
  • the peripheral interface 130 may receive data from other sensors 163 (positioning system-GPS receiver, temperature sensor, biometric sensor), through which the medical staff device 100 can use other sensors. (163) It is possible to perform functions related to .
  • the medical staff device 100 may include a camera subsystem 170 connected to the peripheral interface 130 and an optical sensor 171 connected thereto, through which the medical staff device 100 can take pictures and video. You can perform various shooting functions such as clip recording.
  • medical staff device 100 may include a communication subsystem 180 coupled with peripheral interface 130 .
  • the communication subsystem 180 is comprised of one or more wired/wireless networks and may include various communication ports, radio frequency transceivers, and optical transceivers.
  • medical staff device 100 includes an audio subsystem 190 coupled with a peripheral interface 130, which includes one or more speakers 191 and one or more microphones 192.
  • clinician device 100 can perform voice-activated functions, such as voice recognition, voice replication, digital recording, and telephony functions.
  • medical staff device 100 may include an I/O subsystem 140 coupled with a peripheral interface 130 .
  • the I/O subsystem 140 may control the touch screen 143 included in the medical staff device 100 through the touch screen controller 141.
  • the touch screen controller 141 uses any one of a plurality of touch sensing technologies such as capacitive, resistive, infrared, surface acoustic wave technology, proximity sensor array, etc. to sense the user's contact and movement or contact. and cessation of movement can be detected.
  • I/O subsystem 140 may control other input/control devices 144 included in medical staff device 100 through other input controller(s) 142.
  • other input controller(s) 142 may control one or more buttons, rocker switches, thumb-wheels, infrared ports, USB ports, and pointer devices such as a stylus.
  • the information providing server 300 may include a communication interface 310, a memory 320, an I/O interface 330, and a processor 340, each component being one. They can communicate with each other through one or more communication buses or signal lines.
  • the communication interface 310 can be connected to the medical staff device 100 and the ultrasound imaging device 200 through a wired/wireless communication network to exchange data.
  • the communication interface 310 may receive an ultrasound image from the ultrasound imaging device 200 and transmit the determined information to the medical staff device 100.
  • the communication interface 310 that enables transmission and reception of such data includes a communication pod 311 and a wireless circuit 312, where the wired communication port 311 is connected to one or more wired interfaces, for example, Ethernet, May include Universal Serial Bus (USB), Firewire, etc.
  • the wireless circuit 312 can transmit and receive data with an external device through RF signals or optical signals.
  • wireless communications may use at least one of a plurality of communication standards, protocols and technologies, such as GSM, EDGE, CDMA, TDMA, Bluetooth, Wi-Fi, VoIP, Wi-MAX, or any other suitable communication protocol.
  • the memory 320 can store various data used in the information provision server 300.
  • the memory 320 may store an ultrasound image, or store an image view classification model and a second prediction model learned to segment an ultrasound image view and even a cervix region within an ultrasound image.
  • memory 320 may include volatile or non-volatile recording media capable of storing various data, instructions, and information.
  • the memory 320 may be a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage.
  • cloud, and blockchain data may include at least one type of storage medium.
  • memory 320 may store configuration of at least one of operating system 321, communication module 322, user interface module 323, and one or more applications 324.
  • Operating system 321 e.g., embedded operating system such as LINUX, UNIX, MAC OS, WINDOWS, VxWorks, etc.
  • controls and manages general system operations e.g., memory management, storage device control, power management, etc.
  • general system operations e.g., memory management, storage device control, power management, etc.
  • the communication module 323 may support communication with other devices through the communication interface 310.
  • the communication module 320 may include various software components for processing data received by the wired communication port 311 or the wireless circuit 312 of the communication interface 310.
  • the user interface module 323 may receive a user's request or input from a keyboard, touch screen, microphone, etc. through the I/O interface 330 and provide a user interface on the display.
  • Applications 324 may include programs or modules configured to be executed by one or more processors 330 .
  • an application for providing information related to ultrasound image views may be implemented on a server farm.
  • the I/O interface 330 may connect at least one of input/output devices (not shown) of the information providing server 300, such as a display, keyboard, touch screen, and microphone, to the user interface module 323.
  • the I/O interface 330 may receive user input (eg, voice input, keyboard input, touch input, etc.) together with the user interface module 323 and process commands according to the received input.
  • the processor 340 is connected to the communication interface 310, the memory 320, and the I/O interface 330 to control the overall operation of the information server 300, and operates the application or The program can execute various commands to provide information.
  • the processor 340 may correspond to a computing device such as a CPU (Central Processing Unit) or AP (Application Processor). Additionally, the processor 340 may be implemented in the form of an integrated chip (IC) such as a system on chip (SoC) in which various computing devices are integrated. Alternatively, the processor 340 may include a module for calculating an artificial neural network model, such as a Neural Processing Unit (NPU).
  • a computing device such as a CPU (Central Processing Unit) or AP (Application Processor).
  • IC integrated chip
  • SoC system on chip
  • the processor 340 may include a module for calculating an artificial neural network model, such as a Neural Processing Unit (NPU).
  • NPU Neural Processing Unit
  • the processor 340 may be configured to classify and provide an ultrasound image view within an ultrasound image using prediction models.
  • processor 340 may be configured to provide information about ultrasound image view length.
  • Figure 3 illustrates the procedure of a method for providing information on an ultrasound image view according to an embodiment of the present invention.
  • Figures 4A to 4E exemplarily illustrate procedures of a method for providing information on an ultrasound image view according to an embodiment of the present invention.
  • the view classification of the cardiac ultrasound image is described as an example, but it is not limited thereto, and the method of providing information according to various embodiments of the present invention can be applied to ultrasound images of various objects capable of ultrasound imaging.
  • the information provision procedure is as follows. First, an ultrasound image of the object is received (S310). Next, the image view for each ultrasound mode is classified by the image view classification model (S320).
  • an ultrasound image of the target area that is, the heart area
  • the target area that is, the heart area
  • an ultrasound image in DICOM format may be received in the ultrasound image reception step (S310).
  • the DICOM format ultrasound image may include metadata such as the set ultrasound mode.
  • image views for each of M-mode, B-mode, and Doppler mode may be classified by an image view classification model.
  • image views in an unclassified mode different from the ultrasound mode may be further classified.
  • the image view classification model may be a model learned to classify each of the image views for M-mode, image view for B-mode, and image view for Doppler mode by using the ultrasound image for training as input.
  • the image view classification model may be a model learned to further classify image views in an unclassified mode such as 'color Doppler' with respect to the input ultrasound image.
  • classification results 422a, 422b, 422c, and 422d for each of the plurality of ultrasound modes are output from the image view classification model 420.
  • the received ultrasound image 412 is an image captured in multiple ultrasound modes
  • the images corresponding to each image view can be classified and provided using an image view classification model.
  • preprocessing may be performed on the received ultrasound image before the step (S320) in which each ultrasound image view is classified.
  • the boundary line forming the fan-shaped echocardiographic region is maximized. It can be. As a result, an image 413 with a maximized border area can be obtained.
  • the boundary forming the echocardiographic region can be maximized even for a single frame, that is, a still cut ultrasound image.
  • the ultrasound image 412 including a rectangular echocardiographic region such as M-mode or Doppler mode is generated based on the coordinate values of the DICOM header. Only regions can be cropped. As a result, a pre-processed ultrasound image 414 can be obtained.
  • the ultrasound image 414 preprocessed may be input to the image view classification model 420.
  • verification of each ultrasound image view may be performed after the step of classifying each ultrasound image view (S320).
  • verification and correction can be performed on the classified image view based on metadata that can be obtained from the DICOM format image in the verification step.
  • metadata-based verification is performed on the image view classification results (422a, 422b, 422c, and 422d) for each of the plurality of ultrasound modes classified from the image view classification model 420. This can be done.
  • the image view classification results (422a, 422b, 422c and 422d)
  • verification is performed on the image view classification results (422a, 422b, 422c and 422d) based on the pre-stored ultrasonic mode of the DICOM tagging information, that is, metadata, and is different from the pre-stored ultrasonic mode. If so, correction of the classification results may be performed.
  • the classification result of 'PSAX' (422b) can be corrected to 'PSAX (attached cross-section)' based on the ultrasound mode previously stored in the metadata. That is, the classification result of the image view classification model 420 can be verified to finally determine the corresponding ultrasound mode.
  • the verification results 432a, 432b, 432c, and 432d are provided as a result of the verification step, not only an image view of the ultrasound image but also more diverse information can be provided.
  • a file name describing each classified image view may be output for each ultrasound image through the user interface module 323 described above in FIG. 2B.
  • medical staff can easily identify each image view without a confirmation procedure for the acquired ultrasound image, so they can proceed with the ultrasound analysis step more quickly and more accurately. Able to make decisions and develop treatment plans.
  • FIGS. 5A, 5B, and 6 a method of providing information on an ultrasound image view according to another embodiment of the present invention will be described with reference to FIGS. 5A, 5B, and 6.
  • Figures 5a and 5b illustrate the procedure of a method for providing information on an ultrasound image view according to another embodiment of the present invention.
  • Figure 6 exemplarily illustrates the procedure of a method for providing information on an ultrasound image view according to another embodiment of the present invention.
  • an ultrasound image of an object is received (S510), each image view for the received ultrasound image is classified (S520), and the classified The video view is verified (S530).
  • each image view for the ultrasound image is classified in a step (S520). , the images corresponding to each of the plurality of image views are classified.
  • step S530 it is determined (S5432) what the ultrasound is for the classified image view, and optionally, whether the image corresponding to the classified image view is a still cut. Alternatively, it may be determined whether it is a video (S5434), and it may be determined whether the image corresponding to the optionally classified image view is a color image or a black-and-white image (S5436). At this time, according to a feature of the present invention, in step S530 where the video view is verified, verification of the video view may be performed based on metadata tagged in the DICOM video.
  • various information about the image can be determined.
  • information about the type of video view may be included as a header value in DICIOM.
  • the image view verification step (S530) the image view classification results (422a, 422b, 422c) for each of the plurality of ultrasound modes are shown in the image view verification step (S530). and 422d), metadata-based verification may be performed.
  • the image view verification step (S530) with respect to the image view classification results (422a, 422b, 422c, and 422d), it is determined whether the image view image is a still cut image or a moving image, and whether it is a color image or a black and white image. It can be determined whether it is a video.
  • the B-mode image may be a video format
  • the M-mode and Doppler mode may be a still cut image format. Accordingly, after distinguishing whether it is a still cut or a video, detailed classification of the video can be performed.
  • the image view classification results (422a, 422b, 422c, and 422d) are verified based on DICOM tagging information for the ultrasound mode, that is, the ultrasound mode previously stored in the metadata. If it is different from the pre-stored ultrasonic mode, correction of the classification result may be performed.
  • the classification result of 'PSAX' through the verification step (422b) is the ultrasound image previously stored in the metadata.
  • the classification result can be corrected to 'PSAX (attached cross-section)' based on the mode (or tagging information in the DICOM image). That is, the image view classification results (422a, 422b, 422c, and 422d) can be verified to determine the corresponding ultrasound mode.
  • the verification results 432a, 432b, 432c, and 432d are provided as a result of the verification step, not only an image view of the ultrasound image but also more diverse information can be provided.
  • Figure 7 exemplarily shows the structure of an image view classification model used in a method for providing information on ultrasound image views according to an embodiment of the present invention.
  • Figure 8 exemplarily shows training data of an image view classification model used in an information provision method according to various embodiments of the present invention.
  • the image view classification model used in various embodiments of the present invention may have the structure of DeseNet 121.
  • the DenseNet 121-based image view classification model may be composed of a plurality of blocks on which operations are performed.
  • the image view classification model consists of a CP block consisting of a convolutional layer and a pooling layer in which operations on the input ultrasound image are performed, and a plurality of dense layers.
  • a predetermined It may consist of a DB block to which a feature map corresponding to the growth rate is added, and a TL layer of a transition layer that exists between DB blocks.
  • the multi-view classification model may include output layers of a fully connected layer and a softmax layer that output classified ultrasound image views.
  • the number of nodes in the output layer may correspond to the number of ultrasound image views.
  • the ultrasound image view classification model used in various embodiments of the present invention includes image views corresponding to 17 B-mode, image views corresponding to 3 M-mode, and A total of 39 image views, including image views corresponding to 14 Doppler modes and image views corresponding to 5 unclassified modes, can be learned to classify the image views corresponding to each image for labeled ultrasound images.
  • the number of nodes in the output layer of the image view classification model may be equal to 39, which is the number of classification target image views set in the learning step.
  • the training data of the video view classification model is not limited to the above.
  • an ultrasound image tagged with an image view of a combination of B-mode and M-mode, or a combination of M-mode and Doppler mode, or a combination of B-mode and Doppler mode may be set as learning data. .
  • the structure of the video view classification model is not limited to the above.
  • Figure 9 shows evaluation results of an image view classification model used in an information provision method according to various embodiments.
  • classification using a classification model according to an embodiment of the present invention shows a high accuracy of 92.33% even though there are 39 ultrasound image view classes for classification.
  • Comparative Example 1 (Andreas ⁇ et al.), Comparative Example 2 (Ivar M. Salte, MD et al.), and Comparative Example 3 (Ahmed I. Shanin et al.) were 98% and 97%, respectively. and shows a high accuracy of 96.3%.
  • each classification class in the comparative example is 8, 3, and 8, and the classification accuracy is for 8 or less single-mode image views.
  • Figure 10 illustrates the procedure of a method for providing information on an ultrasound image view according to an embodiment of the present invention.
  • FIG. 11 exemplarily illustrates a procedure of a method for providing information on an ultrasound image view according to an embodiment of the present invention.
  • the view classification of the cardiac ultrasound image is described as an example, but it is not limited thereto, and the method of providing information according to various embodiments of the present invention can be applied to ultrasound images of various objects capable of ultrasound imaging.
  • the information provision procedure is as follows. First, an ultrasound image of an object is received (S1010). Next, for the received echocardiographic image, the mode of the ultrasound cross-section is classified using a mode classifier (S1020).
  • the classification result is output using the cross-section classification model using the classified ultrasonic cross-section as input (S1030).
  • an ultrasound image of the target area that is, the heart area
  • the target area that is, the heart area
  • a step (S1020) in which the mode of the ultrasound cross-section is classified using a mode classifier is performed on the received echocardiographic image.
  • each of the M-mode, B-mode and Doppler mode is classified.
  • Image views may be classified or image views for each of M-mode, B-mode, and Doppler mode may be classified using an artificial intelligence model.
  • image views in an unclassified mode different from the ultrasound mode may be further classified.
  • the ultrasound image is input to a mode classifier to classify the mode, and the mode-classified ultrasound image is input to classify the cross-sectional view.
  • classification results for each mode are output.
  • the mode classifier may classify M-mode, B-mode, and Doppler mode based on metadata that can be obtained from DICOM format images or using an artificial intelligence model.
  • the cross-sectional classification model is a B-mode cross-sectional classification model, an M-mode cross-sectional classification model, or a Doppler in one embodiment. It may be any one of the cross-sectional classification models, but is not limited thereto.
  • the received ultrasound image can be classified and provided for each of M-mode, B-mode, and Doppler mode based on metadata that can be obtained from DICOM format images or using a mode classifier using an artificial intelligence model, Using the classified ultrasound image as an input, classification results can be output and provided using a classification model corresponding to each of the classified modes among the B-mode cross-section classification model, M-mode cross-section classification model, or Doppler cross-section classification model.
  • preprocessing may be performed on the received ultrasound image before the step (S1120) in which each ultrasound image view is classified, as described with reference to FIG. 4B.
  • medical staff can easily identify each image view of the acquired ultrasound image according to the information provision method according to various embodiments of the present invention, so that they can proceed with the ultrasound analysis step more quickly and make more accurate decisions and treatments. You can make a plan.

Abstract

본 발명은, 프로세서에 의해 구현되는 초음파 영상 뷰에 대한 정보 제공 방법으로, 개체의 초음파 영상을 수신하는 단계, 초음파 영상을 입력으로 하여 복수의 영상 뷰를 분류하여 각각을 출력하도록 학습된 영상 뷰 분류 모델을 이용하여, 수신된 초음파 영상을 기초로 각각의 영상 뷰를 분류하는 단계를 포함하되, 각각의 영상 뷰가 서로 다른 복수의 초음파 모드에서의 초음파 영상 뷰를 나타내는, 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.

Description

초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스
본 발명은 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스에 관한 것이다.
초음파 검사는 입체적인 구조의 대상을 여러 차원의 평면에서 초음파를 투사하여 영상을 획득하고 혈역학적인 변수들을 측정하는 방식으로 이루어진다.
예를 들어 심장 초음파 영상이ㅡ 경우, 의료진은 갈비뼈 사이 등 심장 주위의 해부학적인 구조물들을 통해 다면적인 영상을 획득하도록, 초음파 영상을 얻기 쉬운 위치에 초음파 탐촉자 (probe) 를 위치시키고 회전과 기울임을 통해 적절한 단층을 찾아 영상을 기록한다.
한편, 최근에는 기술의 발전으로 인하여 다수의 초음파 소자 (elements) 들을 집적하여 많은 정보들을 동시에 획득하고 그 중에서 원하는 정보를 선택하여 볼 수 있는 기술도 제시되고 있다.
그럼에도, 영상 획득 과정이 의료진에 의해 이루어짐에 따라 적절한 검사를 수행하기 위해서는 오랜 수련 기간이 요구될 수 있다.
한편, 초음파 검사 과정은 검사 준비, 영상 획득과 영상 분석 및 보고서 작성으로 나누어지는데, 특히 영상 획득 및 분석 과정에 많은 시간이 소요될 수 있다.
이때, 영상 분석 과정에서 표준 측정 영상 뷰 (View) 에 대응하는 영상이 획득되지 않을 경우, 재검사가 불가피하며 필수 측정값에 오차가 발생할 수 있고, 각 영상 뷰에 따라 검사 시점 판단이 필수적으로 요구될 수 있다.
즉, 의료진의 숙련도에 따라 획득된 초음파 영상의 편차가 클 수 있어, 영상 뷰의 인식 및 분류가 가능한 새로운 정보 제공 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
[선행기술문헌]
[비특허문헌]
(비특허문헌 1) Rahul C. Deo., et al. Circulation. 2018;138:1623-1635.; Fully Automated Echocardiogram Interpretation in Clinical Practice
(비특허문헌 2) LASSE LOVSTAKKEN., et al. Ultrasound in Med. & Biol., Vol. 45, No. 2, pp. 374-384, 2019.; REAL-TIME STANDARD VIEW CLASSIFICATION IN TRANSTHORACIC ECHOCARDIOGRAPHY USING CONVOLUTIONAL NEURAL NETWORKS
(비특허문헌 3) Bjørnar Grenne., et al. JACC: CARDIOVASCULAR IMAGING, VOL. 14, NO. 10, 2021 OCTOBER 2021:1918-1928.; Artificial Intelligence for Automatic Measurement of Left Ventricular Strain in Echocardiography
(비특허문헌 4) Sultan Almotairi., et al. An Accurate and Fast Cardio-views Classification System Based on Fused Deep Features and LSTM
한편, 전술한 문제점을 해결하기 위해, 본 발명의 발명자들은 초음파 영상에 대하여 영상 뷰를 인식하고 초음파 영상을 각 영상 뷰별로 구별하도록 학습된 인공 신경망 네트워크 기반의 정보 제공 시스템을 개발하고자 하였다.
특히, 본 발명의 발명자들은, 인공 신경망 네트워크를 적용함으로써 초음파 영상 내에서 B-모드 (mode), M-모드 및 도플러 (Doppler) 모드와 같은 초음파 모드에 관계 없이, 영상 뷰를 인식하고 분류할 수 있음을 인지할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 초음파 영상을 입력으로 하여 대응하는 영상 뷰 각각을 분류하도록 학습된 인공 신경망 네트워크에 주목하였다. 그 결과, 본 발명의 발명자들은 복수의 모드에서 획득된 영상 뷰를 갖는 초음파 영상에 대하여, 검사 시점에 대한 기록 없이도 영상 뷰에 대한 정확도 높은 분류가 가능함을 인지할 수 있었다.
한편, 본 발명의 발명자들은 초음파 영상이, 다양한 태깅 정보를 갖는 DICOM (Digital Imaging and Communications in Medicine) 형식을 갖는 것에 더욱 주목하였다.
보다 구체적으로 본 발명의 발명자들은, DICOM 형식의 초음파 영상 내에서, 각 영상의 초음파 모드가 무엇인지, 나아가 초음파 영상이 스틸 컷 영상인지 또는 동영상인지, 칼라 영상인지 또는 흑백 영상인지 등에 대한 다양한 메타데이터를 활용할 수 있음에 주목하였다.
결과적으로, 본 발명의 발명자들은, 메타데이터에 기초하여 영상 뷰가 분류된 초음파 영상에 대한 검증 (또는 보정) 이 가능하며, 보다 신뢰도 높은 영상 뷰에 대한 정보를 제공할 수 있음을 인지할 수 있었다
그 결과, 본 발명의 발명자들은 인공 신경망 네트워크 기반의 초음파 영상초음파 영상 뷰 분류 및 메타데이터 기반의 영상 뷰 검증이 가능한, 초음파 영상 뷰에 대한 정보 제공 시스템을 개발하기에 이르렀다.
본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 불필요한 진단 시간을 줄이고, 인공 신경망 기반 시스템으로 표준화된 영상 뷰의 획득이 가능함을 인지할 수 있었다.
즉, 본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 관계 없이 초음파 영상 획득이 가능하며, 이에 따라 초음파 영상에 대한 신뢰도 높은 분석 결과의 제공이 가능함을 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 인공 신경망 기반의 분류 모델을 이용하여 수신된 초음파 영상으로부터 각각의 영상 뷰를 인식 및 분류하도록 구성된 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
이에, 본 발명이 해결하고자 하는 다른 과제는, 초음파 영상의 메타데이터를 이용하여, 영상 뷰가 각각 분류된 초음파 영상에 대하여 영상 뷰를 검증하도록 구성된, 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법이 제공된다. 상기 정보 제공 방법은,
개체의 초음파 영상을 수신하는 단계, 초음파 영상을 입력으로 하여 복수의 영상 뷰를 분류하여 각각을 출력하도록 학습된 영상 뷰 분류 모델을 이용하여, 수신된 초음파 영상을 기초로 각각의 영상 뷰를 분류하는 단계를 포함한다. 이때, 각각의 영상 뷰는 서로 다른 복수의 초음파 모드에서의 초음파 영상 뷰를 나타낸다.
*본 발명의 특징에 따르면, 복수의 초음파 모드는 M-모드 및 B-모드를 포함하고, 초음파 영상은 심장 초음파 영상이며, 각각의 영상 뷰를 분류하는 단계는, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, 대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및 PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 복수의 초음파 모드는 도플러 모드 및 B-모드를 포함하고, 초음파 영상은 심장 초음파 영상이며, 각각의 영상 뷰를 분류하는 단계는, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰, 및 PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 초음파 모드는 도플러 모드, M-모드 및 B-모드를 포함하고, 초음파 영상은 심장 초음파 영상이며, 각각의 영상 뷰를 분류하는 단계는, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰, 대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및 PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 초음파 모드는 M-모드, 도플러 모드 및 B-모드 중 적어도 하나, 및 M-모드, 도플러 모드 및 B-모드와 상이한 초음파 영상 뷰로 정의되는 미분류 모드를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 영상은 심장 초음파 영상이며, 각각의 영상 뷰를 분류하는 단계는, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, 4 방도 (4 chamber), 2 방도, 장축 (Long Axis), 바닥부 (Base) 중간부 (Mid) 및 첨부 (Apex) 각각의 영상 뷰를 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은, 각각의 영상 뷰를 분류하는 단계 이후에, 각각의 영상 뷰를 검증하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 각각의 영상 뷰를 검증하는 단계는, 각각의 영상 뷰의 프레임 수에 기초하여 초음파 영상이 스틸 컷 영상인지 또는 동영상인지를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 각각의 영상 뷰를 검증하는 단계는, 각각의 영상 뷰에 대하여 컬러 영상인지 흑백 영상인지를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 영상은, 초음파 영상의 초음파 모드에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 영상일 수 있다. 이때, 각각의 영상 뷰를 검증하는 단계는, 메타데이터에 기초하여, 분류된 각각의 영상 뷰를 검증하는 단계를 포함하고, 검증하는 단계 이후에, 각각의 영상 뷰가 태깅 정보와 상이할 경우, 각각의 영상 뷰의 분류 결과를 보정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 영상 뷰 분류 모델은, 복수의 초음파 모드에 따른 복수의 영상 뷰의 개수에 대응하는 출력 노드 (node) 를 가질 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대한 정보 제공용 디바이스가 제공된다. 상기 정보 제공용 디바이스는, 개체의 초음파 영상을 수신하도록 구성된 통신부, 및 통신부와 동작 가능하도록 연결된 프로세서를 포함한다. 이때, 프로세서는, 초음파 영상을 입력으로 하여 복수의 영상 뷰를 분류하여 각각을 출력하도록 학습된 영상 뷰 분류 모델을 이용하여, 수신된 초음파 영상을 기초로 각각의 영상 뷰를 분류하도록 구성되며, 각각의 영상 뷰는 서로 다른 복수의 초음파 모드에서의 초음파 영상 뷰를 나타낸다.
본 발명의 특징에 따르면, 초음파 영상은 심장 초음파 영상이며, 프로세서는, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, 대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및 PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 초음파 영상은 심장 초음파 영상이며, 프로세서는, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰, 및 PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 초음파 영상은 심장 초음파 영상이며, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰, 대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및 PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 초음파 영상은 심장 초음파 영상이며, 영상 뷰 분류 모델을 이용하여, 초음파 영상에 대하여, 4 방도 (4 chamber), 2 방도, 장축 (Long Axis), 바닥부 (Base) 중간부 (Mid) 및 첨부 (Apex) 각각의 영상 뷰를 분류하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 각각의 영상 뷰를 검증하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 각각의 영상 뷰의 프레임 수에 기초하여 초음파 영상이 스틸 컷 영상인지 또는 동영상인지를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 각각의 영상 뷰에 대하여 컬러 영상인지 흑백 영상인지를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 메타데이터에 기초하여, 각각의 영상 뷰를 검증하고, 각각의 영상 뷰가 태깅 정보와 상이할 경우, 각각의 영상 뷰 분류 결과를 보정하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 초음파 영상을 이용하여 초음파 영상 뷰를 분류하도록 구성된 인공 신경망 네트워크 기반의 초음파 영상 뷰에 대한 정보 제공 시스템을 제공함으로써, 신뢰도 높은 심장 초음파 진단 결과를 제공할 수 있다.
특히 본 발명은, 설정된 초음파 모드에 관계 없이 각각의 영상 뷰를 인식하고 분류하며, 검증 가능한 정보 제공 시스템을 제공함에 따라, DICOM 형식의 초음파 영상을 제공하는 다양한 초음파 분석 시스템에 범용적으로 적용될 수 있다.
더욱이 본 발명은, 메타데이터에 기초하여 영상 뷰가 분류된 초음파 영상에 대한 검증 (또는 보정) 이 가능한 정보 제공 시스템을 제공함에 따라, 보다 신뢰도 높은 영상 뷰에 대한 정보를 제공할 수 있다.
즉 본 발명은, 인공 신경망 네트워크 기반의 초음파 영상 뷰에 대한 정보 제공 시스템을 제공함으로써 의료진이 숙련도에 관계 없이 초음파 영상의 획득이 가능함에 따라, 영상 분석 단계에서 보다 정확한 의사 결정 및 치료 계획을 수립하는데 기여할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공용 디바이스를 이용한 초음파 영상 뷰에 대한 정보 제공 시스템을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료진 디바이스의 구성을 나타낸 블록도이다.
도 2b는 본 발명의 일 실시예에 따른 정보 제공용 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 4a 내지 4e는 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 5a 및 5b는 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 7은 본 발명의 다양한 실시예에 따른 정보 제공 방법에 이용되는 영상 뷰 분류 모델의 구조를 예시적으로 도시한 것이다.
도 8은 본 발명의 다양한 실시예에 따른 정보 제공 방법에 이용되는 영상 뷰 분류 모델의 학습 데이터를 예시적으로 도시한 것이다.
도 9는 다양한 실시예에 따른 정보 제공 방법에 이용되는 영상 뷰 분류 모델의 평과 결과를 도시한 것이다.
도 10은 본 발명의 다양한 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 11은 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 초음파 영상 뷰에 대한 정보를 제공받고자 하는 모든 대상을 의미할 수 있다. 한편, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "초음파 영상"은, 초음파 영상으로서, 비침습적인 방법으로 획득 가능한 초음파 영상일 수 있다.
바람직한 실시예에서, 초음파 영상은 심장 초음파 영상일 수 있으나, 이에 제한되는 것은 아니다.
한편, 초음파 영상은, 스틸 컷 영상 또는 복수 개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 동영상은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법에 따라 동영상의 프레임에 대하여 각각의 초음파 영상 뷰가 분류될 수도 있다. 그 결과, 본 발명은 영상 진단 디바이스로부터의 초음파 영상의 수신과 동시에 영상 뷰 분류를 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 초음파 영상 뷰 정보를 제공할 수도 있다.
한편, 초음파 영상은, 2 차원 동영상일 수 있으나, 이에 제한되는 것은 아니며 3 차원의 영상일 수도 있다.
본 발명의 특징에 따르면, 초음파 영상은, 메타데이터를 포함하는 DICOM 형식의 영상일 수 있다.
여기서, "메타데이터"는 DICOM 태그 정보에 대응할 수 있다.
이때 메타데이터는, 각 영상의 초음파 모드가 무엇인지 등. 초음파 영상에 대한 정보를 포함할 수 있다. 그러나 이에 제한되는 것은 아니며 초음파 영상이 스틸 컷 영상인지 또는 동영상인지, 칼라 영상인지 또는 흑백 영상인지 등에 대한 정보를 더욱 포함할 수도 있다.
즉, 본 발명의 다양한 실시예에서, 메타데이터는 영상 뷰 분류 결과에 대한 검증 및 보정에 이용될 수 있다.
본 발명의 다른 특징에 따르면, 초음파 영상은, M-모드, B-모드, 도플러 모드 또는 기타 모드에서의 복수의 초음파 영상 뷰를 포함할 수 있다.
본 명세서에서 사용되는 용어, "초음파 영상 뷰"는 초음파 프로브의 위치, 즉 촬영 위치에 따른 영상 뷰 나아가, 영상 뷰에 대응하는 영상을 아우를 수 있다.
예를 들어, 초음파 영상은 심장 초음파 영상이고, M-모드, B-모드, 도플러 모드 또는 기타 모드에서 획득된 4 방도 (4 chamber), 2 방도, 장축 (Long Axis), 바닥부 (Base) 중간부 (Mid) 및 첨부 (Apex) 의 초음파 영상 뷰를 포함할 수 있다.
보다 구체적으로, 영상 뷰는, 대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰를 포함할 수 있다.
나아가, 영상 뷰는, PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 포함할 수 있다.
더욱이, 영상 뷰는 MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰를 포함할 수 있다.
그러나, 이에 제한되는 것은 아니며, 영상 뷰는, 미분류 모드 (기타 모드) 에서의 영상 뷰를 더욱 포함할 수 있다.
한편, 복수의 초음파 모드 및/또는 복수의 영상 뷰가 포함된 초음파 영상은, 영상 뷰 분류 모델에 의해 초음파 모드에 관계 없이, 영상 내에서 초음파 영상 뷰가 인식 및 분류될 수 있다.
본 명세서에서 사용되는 용어, "영상 뷰 분류 모델"은 초음파 영상을 입력으로 하여, 초음파 영상 뷰를 출력하도록 구성된 모델일 수 있다.
본 발명의 특징에 따르면, 영상 뷰 분류 모델은 학습용 초음파 영상에 기초하여 M-모드, B-모드, 도플러 모드에서의 영상 뷰를 분류하도록 학습된 모델일 수 있다. 이때, 학습용 초음파 영상은 M-모드, B-모드, 도플러 모드에서의 영상 뷰가 각각 라벨링된 영상일 수 있다.
본 발명의 다른 특징에 따르면, 영상 뷰 분류 모델은, M-모드 초음파 영상에 대하여 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 의 3 가지 영상 뷰를 분류하도록 학습된, 3 개의 출력 노드를 갖는 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 영상 뷰 분류 모델은, B-모드 초음파 영상에 대하여 PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 의 17 가지 영상 뷰를 분류하도록 학습된, 17 개의 출력 노드를 갖는 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 영상 뷰 분류 모델은, 도플러 모드 초음파 영상에 대하여 MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 의 14 가지 영상 뷰를 분류하도록 학습된 14 개의 출력 노드를 갖는 모델일 수 있다.
그러나, 이에 제한되는 것이 아니며, 영상 뷰 분류 모델은 미분류 모드, 예를 들어, 미분류 (B-모드), 미분류 (M-모드), 미분류 (도플러 모드), 미분류 (컬러 도플러 모드) 및 미분류의 5 가지 영상 뷰를 분류하도록, 5 개의 출력 노드를 가질 수도 있다. .
본 발명의 또 다른 특징에 따르면, 영상 뷰 분류 모델은, 초음파 영상을 입력으로 하여 3 가지의 M-모드 영상 뷰, 17 가지의 B-모드 영상 뷰, 14 가지의 도플러 모드 영상 뷰 및 미분류의 5 가지 영상 뷰의 모든 영상 뷰를 분류하도록, 39 개의 출력 노드를 갖는 모델일 수 있다.
즉, 본 발명의 다양한 실시예에서, 영상 뷰 분류 모델은 입력되는 영상의 모드에 관계 없이 영상 뷰를 높은 정확도로 분류할 수 있다.
한편, 영상 뷰 분류 모델은, DenseNet-121에 기반한 모델일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 예측 모델들은 U-net, VGG net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 영상 뷰 분류 모델은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
이하에서는 도 1 및 2a 및 2b를 참조하여, 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공용 디바이스를 이용한 초음파 영상 뷰에 대한 정보 제공 시스템 및 초음파 영상 뷰에 대한 정보 제공용 디바이스를 설명한다.
도 1은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공용 디바이스를 이용한 초음파 영상 뷰에 대한 정보 제공 시스템을 도시한 것이다. 도 2a는 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보를 제공받는 의료진 디바이스의 구성을 예시적으로 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1을 참조하면, 정보 제공 시스템 (1000) 은, 개체에 대한 초음파 영상을 기초로 초음파 영상 뷰와 연관된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 정보 제공 시스템 (1000) 은, 초음파 영상 뷰와 연관된 정보를 수신하는 의료진 디바이스 (100), 초음파 영상을 제공하는 초음파 영상 진단 디바이스 (200) 및 수신된 초음파 영상에 기초하여 초음파 영상 뷰에 관한 정보를 생성하는 정보 제공용 서버 (300) 로 구성될 수 있다.
먼저, 다음으로, 의료진 디바이스 (100) 는 초음파 영상 뷰와 연관된 정보를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (100) 는 정보 제공용 서버 (300) 로부터 개체에 대한 초음파 영상 뷰와 연관된 예측 결과를 수신하고, 수신된 결과를 후술할 표시부를 통해 표시할 수 있다.
정보 제공용 서버 (300) 는 초음파 진단 디바이스와 같은 초음파 영상 진단 디바이스 (200) 로부터 제공된 초음파 영상을 기초로 초음파 영상 뷰와 연관된 정보를 결정하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 정보 제공용 서버 (300) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 정보 제공용 서버 (300) 는 초음파 영상 진단 디바이스 (200) 로부터 초음파 영상을 수신하고, 수신된 초음파 영상 내에서 초음파 영상 뷰를 분류하여, 초음파 영상 뷰와 연관된 정보를 제공할 수 있다. 이때, 정보 제공용 서버 (300) 는 예측 모델을 이용하여 초음파 영상으로부터 초음파 영상 뷰를 분류할 수 있다.
정보 제공용 서버 (300) 는 초음파 영상 뷰에 대한 예측 결과를 의료진 디바이스 (100) 로 제공할 수 있다.
이와 같이 정보 제공용 서버 (300) 로부터 제공되는 정보는 의료진 디바이스 (100) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 도 2a 및 2b를 참조하여, 본 발명의 정보 제공용 서버 (300) 의 구성 요소에 대하여 구체적으로 설명한다.
먼저, 도 2a를 참조하면, 의료진 디바이스 (100) 는 메모리 인터페이스 (110), 하나 이상의 프로세서 (120) 및 주변 인터페이스 (130) 를 포함할 수 있다. 의료진 디바이스 (100) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결될 수 있다.
메모리 인터페이스 (110) 는 메모리 (150) 에 연결되어 프로세서 (120) 로 다양한 데이터를 전할 수 있다. 여기서, 메모리 (150) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 운영 체제 (151), 통신 모듈 (152), 그래픽 사용자 인터페이스 모듈 (GUI) (153), 센서 처리 모듈 (154), 전화 모듈 (155) 및 애플리케이션 모듈 (156) 중 적어도 하나 이상을 저장할 수 있다. 구체적으로, 운영 체제 (151) 는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 작업들을 수행하기 위한 명령어를 포함할 수 있다. 통신 모듈 (152) 은 다른 하나 이상의 디바이스, 컴퓨터 및 서버 중 적어도 하나와 통신할 수 있다. 그래픽 사용자 인터페이스 모듈 (GUI) (153) 은 그래픽 사용자 인터페이스를 처리할 수 있다. 센서 처리 모듈 (154) 은 센서 관련 기능 (예를 들어, 하나 이상의 마이크 (192) 를 이용하여 수신된 음성 입력을 처리함) 을 처리할 수 있다. 전화 모듈 (155) 은 전화 관련 기능을 처리할 수 있다. 애플리케이션 모듈 (156) 은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징, 기타 프로세스 기능을 수행할 수 있다. 아울러, 의료진 디바이스 (100) 는 메모리 (150) 에 어느 한 종류의 서비스와 연관된 하나 이상의 소프트웨어 애플리케이션 (156-1, 156-2) (예를 들어, 정보 제공 어플리케이션) 을 저장할 수 있다.
다양한 실시예에서, 메모리 (150) 는 디지털 어시스턴트 클라이언트 모듈 (157) (이하, DA 클라이언트 모듈) 을 저장할 수 있으며, 그에 따라 디지털 어시스턴트의 클라이언트 측의 기능을 수행하기 위한 명령어 및 다양한 사용자 데이터 (158) 를 저장할 수 있다.
한편, DA 클라이언트 모듈 (157) 은 의료진 디바이스 (100) 에 구비된 다양한 사용자 인터페이스 (예를 들어, I/O 서브시스템 (140)) 를 통해 사용자의 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 획득할 수 있다.
또한, DA 클라이언트 모듈 (157) 은 시청각적, 촉각적 형태의 데이터를 출력할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션 및 진동 중 적어도 둘 하나 이상의 조합으로 이루어진 데이터를 출력할 수 있다. 아울러, DA 클라이언트 모듈 (157) 은 통신 서브시스템 (180) 을 이용하여 디지털 어시스턴트 서버 (미도시) 와 통신할 수 있다.
다양한 실시예에서, DA 클라이언트 모듈 (157) 은 사용자 입력과 연관된 상황 (context) 을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스로부터 의료진 디바이스 (100) 의 주변 환경에 대한 추가 정보를 수집할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 사용자 입력과 함께 상황 정보를 디지털 어시스턴트 서버에 제공하여 사용자의 의도를 추론할 수 있다. 여기서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광 (lighting), 주변 소음, 주변 온도, 주변 환경의 이미지, 비디오 등을 포함할 수 있다. 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 물리적 상태 (예를 들어, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등) 을 포함할 수 있다. 또 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 소프트웨어 상태에 관련된 정보 (예를 들어, 의료진 디바이스 (100) 에서 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등) 를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 추가 또는 삭제된 명령어를 포함할 수 있으며, 나아가 의료진 디바이스 (100) 도 2a에 도시된 구성 외에 추가 구성을 포함하거나, 일부 구성을 제외할 수도 있다.
프로세서 (120) 는 의료진 디바이스 (100) 의 전반적인 동작을 제어할 수 있으며, 메모리 (150) 에 저장된 어플리케이션 또는 프로그램을 구동하여 초음파 영상 뷰와 연관된 정보를 제공하는 인터페이스를 구현하기 위한 다양한 명령들을 수행할 수 있다.
프로세서 (120) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (120) 는 NPU (Neural Processing Unit) 과 같은 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다.
주변 인터페이스 (130) 는 다양한 센서, 서브 시스템 및 주변 디바이스와 연결되어, 의료진 디바이스 (100) 가 다양한 기능을 수행할 수 있도록 데이터를 제공해 줄 수 있다. 여기서, 의료진 디바이스 (100) 가 어떠한 기능을 수행한다는 것은 프로세서 (120) 에 의해 수행되는 것으로 이해될 수 있다.
주변 인터페이스 (130) 는 모션 센서 (160), 조명 센서 (광 센서) (161) 및 근접 센서 (162) 로부터 데이터를 제공받을 수 있으며, 이를 통해, 의료진 디바이스 (100) 는 배향, 광, 및 근접 감지 기능 등을 수행할 수 있다. 다른 예를 들어, 주변 인터페이스 (130) 는 기타 센서들 (163) (포지셔닝 시스템-GPS 수신기, 온도 센서, 생체인식 센서) 로부터 데이터를 제공받을 수 있으며, 이를 통해 의료진 디바이스 (100) 가 기타 센서들 (163) 과 관련된 기능들을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 카메라 서브시스템 (170) 및 이와 연결된 광학 센서 (171) 를 포함할 수 있으며, 이를 통해 의료진 디바이스 (100) 는 사진 촬영 및 비디오 클립 녹화 등의 다양한 촬영 기능을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 통신 서브 시스템 (180) 을 포함할 수 있다. 통신 서브 시스템 (180) 은 하나 이상의 유/무선 네트워크로 구성되며, 다양한 통신 포트, 무선 주파수 송수신기, 광학 송수신기를 포함할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 오디오 서브 시스템 (190) 을 포함하며, 이러한 오디오 서브 시스템 (190) 은 하나 이상의 스피커 (191) 및 하나 이상의 마이크 (192) 를 포함함으로써, 의료진 디바이스 (100) 는 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능 등을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 I/O 서브시스템 (140) 을 포함할 수 있다. 예를 들어, I/O 서브시스템 (140) 은 터치 스크린 제어기 (141) 를 통해 의료진 디바이스 (100) 에 포함된 터치 스크린 (143) 을 제어할 수 있다. 일 예로서, 터치 스크린 제어기 (141) 는 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 어느 하나의 기술을 사용하여 사용자의 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출할 수 있다. 다른 예를 들어, I/O 서브시스템 (140) 은 기타 입력 제어기 (들) (142) 를 통해 의료진 디바이스 (100) 에 포함된 기타 입력/제어 디바이스 (144) 를 제어할 수 있다. 일 예로서, 기타 입력 제어기(들) (142) 은 하나 이상의 버튼, 로커 스위치 (rocker switches), 썸 휠 (thumb-wheel), 적외선 포트, USB 포트 및 스타일러스 등과 같은 포인터 디바이스를 제어할 수 있다.
다음으로, 도 2b를 참조하면, 정보 제공용 서버 (300) 는 통신 인터페이스 (310), 메모리 (320), I/O 인터페이스 (330) 및 프로세서 (340) 를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.
통신 인터페이스 (310) 는 유/무선 통신 네트워크를 통해 의료진 디바이스 (100) 및 초음파 영상 진단 디바이스 (200) 와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스 (310) 는 초음파 영상 진단 디바이스 (200) 로부터 초음파 영상을 수신할 수 있고, 결정된 정보를 의료진 디바이스 (100) 에 송신할 수 있다.
한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스 (310) 는 통신 포드 (311) 및 무선 회로 (312) 를 포함하며, 여기 유선 통신 포트 (311) 는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스 (USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로 (312) 는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.
메모리 (320) 는 정보 제공용 서버 (300) 에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리 (320) 는 초음파 영상을 저장하거나, 초음파 영상 내에서 초음파 영상 뷰 나아가 자궁 경관 영역을 분할하도록 학습된 영상 뷰 분류 모델 및 제2 예측 모델을 저장할 수 있다.
다양한 실시예에서, 메모리 (320) 는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리 (320) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (320) 는 운영 체제 (321), 통신 모듈 (322), 사용자 인터페이스 모듈 (323) 및 하나 이상의 애플리케이션 (324) 중 적어도 하나의 구성을 저장할 수 있다.
운영 체제 (321) (예를 들어, LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제) 는 일반적인 시스템 작업 (예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등) 를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.
통신 모듈 (323) 은 통신 인터페이스 (310) 를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈 (320) 은 통신 인터페이스 (310) 의 유선 통신 포트 (311) 또는 무선 회로 (312) 에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.
사용자 인터페이스 모듈 (323) 은 I/O 인터페이스 (330) 를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.
애플리케이션 (324) 은 하나 이상의 프로세서 (330) 에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 초음파 영상 뷰와 연관된 정보를 제공하기 위한 애플리케이션은 서버 팜 (server farm) 상에서 구현될 수 있다.
I/O 인터페이스 (330) 는 정보 제공용 서버 (300) 의 입출력 디바이스 (미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈 (323) 과 연결할 수 있다. I/O 인터페이스 (330) 는 사용자 인터페이스 모듈 (323) 과 함께 사용자 입력 (예를 들어, 음성 입력, 키보드 입력, 터치 입력 등) 을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.
프로세서 (340) 는 통신 인터페이스 (310), 메모리 (320) 및 I/O 인터페이스 (330) 와 연결되어 정보 제공용 서버 (300) 의 전반적인 동작을 제어할 수 있으며, 메모리 (320) 에 저장된 애플리케이션 또는 프로그램을 통해 정보 제공을 위한 다양한 명령들을 수행할 수 있다.
프로세서 (340) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (340) 는 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다. 또는 프로세서 (340) 는 NPU (Neural Processing Unit) 과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.
다양한 실시예에서, 프로세서 (340) 는 예측 모델들을 이용하여 초음파 영상 내에서 초음파 영상 뷰를 분류하여 제공하도록 구성될 수 있다. 선택적으로, 프로세서 (340) 는 초음파 영상 뷰 길이에 대한 정보를 제공하도록 구성될 수 있다.
이하에서는, 도 3 및 도 4a 내지 4e를 참조하여, 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법을 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 4a 내지 4e는 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
이때, 심장 초음파 영상의 뷰 분류가 예시로서 설명되나, 이에 제한되는 것은 아니며 초음파 영상 촬영이 가능한, 다양한 대상체의 초음파 영상에 대하여 본 발명의 다양한 실시예에 따른 정보 제공 방법이 적용될 수 있다.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 초음파 영상이 수신된다 (S310). 그 다음, 영상 뷰 분류 모델에 의해 초음파 모드 각각에 대한 영상 뷰가 분류된다 (S320).
보다 구체적으로, 초음파 영상이 수신되는 단계 (S310) 에서 표적 부위 즉 심장 부위에 대한 초음파 영상이 수신될 수 있다.
본 발명의 특징에 따르면, 초음파 영상이 수신되는 단계 (S310) 에서 DICOM 형식의 초음파 영상이 수신될 수 있다. 이때, DICOM 형식의 초음파 영상은, 설정된 초음파 모드 등의 메타데이터를 포함할 수 있다.
다음으로, 각각의 초음파 영상 뷰가 분류되는 단계 (S320) 가 수행된다.
본 발명의 특징에 따르면, 각각의 초음파 영상 뷰가 분류되는 단계 (S320) 에서 영상 뷰 분류 모델에 의해, M-모드, B-모드 및 도플러 모드 각각에 대한 영상 뷰가 분류될 수 있다. 그러나, 이에 제한되는 것은 아니며, 상기 초음파 모드와 상이한 미분류 모드에서의 영상 뷰가 더욱 분류될 수 있다.
예를 들어, 도 4a를 함께 참조하면, 각각의 초음파 영상 뷰가 분류되는 단계 (S320) 에서 초음파 영상 (412) 에 대한 전처리가 수행되고, 전처리된 초음파 영상 (414) 이 영상 뷰 분류 모델 (420) 에 입력된다. 이때, 영상 뷰 분류 모델은 학습용 초음파 영상을 입력으로 하여 M-모드에 대한 영상 뷰, B-모드에 대한 영상 뷰, 도플러 모드에 대한 영상 뷰 각각을 분류하도록 학습된 모델일 수 있다. 그러나 이에 제한되는 것은 아니며, 영상 뷰 분류 모델은, 입력된 초음파 영상에 대하여 '칼라 도플러'와 같은 미분류 모드의 영상 뷰를 더욱 분류하도록 학습된 모델일 수 있다.
결과적으로, 영상 뷰 분류 모델 (420) 로부터 복수의 초음파 모드 각각에 대한 분류 결과 (422a, 422b, 422c 및 422d) 가 출력된다.
즉, 수신된 초음파 영상 (412) 이 복수의 초음파 모드에서 촬영된 영상임에도, 영상 뷰 분류 모델에 의해 각각의 영상 뷰에 해당하는 영상이 분류되어 제공될 수 있다.
한편, 본 발명의 다른 특징에 따르면, 각각의 초음파 영상 뷰가 분류되는 단계 (S320) 이전에 수신된 초음파 영상이 대한 전처리가 수행될 수 있다.
예를 들어, 도 4b를 함께 참조하면, 전처리가 수행되는 단계에서 B-모드 영상과 같은 멀티 프레임을 갖는, 즉 동영상의 초음파 영상 (412) 에 대하여, 부채꼴 형태의 심장 초음파 영역을 이루는 경계선이 극대화될 수 있다. 그 결과, 경계선 영역이 극대화된 영상 (413) 이 획득될 수 있다. 그러나 이에 제한되는 것은 아니며 전처리가 수행되는 단계에서, 싱글 프레임, 즉 스틸 컷의 초음파 영상에 대해서도, 심장 초음파 영역을 이루는 경계의 극대화가 수행될 수 있다.
도 4c를 더욱 참조하면, 전처리가 수행되는 단계에서, M-모드, 도플러 모드와 같이 사각형 형태의 심장 초음파 영역을 포함하는 초음파 영상 (412) 은, DICOM 헤더 (header) 의 좌표 값에 기초하여 해당 영역만이 크로핑될 수 있다. 그 결과 전처리된 전처리된 초음파 영상 (414) 이 획득될 수 있다.
즉, 다시 도 4a를 참조하면, 다양한 실시예에 따라 전처리된 초음파 영상 (414) 이 영상 뷰 분류 모델 (420) 에 입력될 수 있다.
한편, 본 발명의 다양한 실시예에서, 각각의 초음파 영상 뷰가 분류되는 단계 (S320) 이후에 각각의 초음파 영상 뷰에 대한 검증이 수행될 수 있다.
본 발명의 특징에 따르면, 검증이 수행되는 단계에서 DICOM 형식의 영상으로부터 획득 가능한 메타데이터에 기초하여 분류된 영상 뷰에 대한 검증 및 보정이 수행될 수 있다.
예를 들어, 도 4d를 함께 참조하면, 영상 뷰 분류 모델 (420) 로부터 분류된, 복수의 초음파 모드 각각에 대한 영상 뷰 분류 결과 (422a, 422b, 422c 및 422d) 에 대하여, 메타데이터 기반의 검증이 수행될 수 있다.
보다 구체적으로, 검증이 수행되는 단계에서, 영상 뷰 분류 결과 (422a, 422b, 422c 및 422d) 에 대하여, 영상 뷰 영상이 스틸 컷 영상인지 또는 동영상인지 결정되고, 컬러 영상인지 또는 흑백 영상인지 결정될 수 있다.
더욱이, 검증이 수행되는 단계에서 영상 뷰 분류 결과 (422a, 422b, 422c 및 422d) 에 대하여, DICOM 태깅 정보, 즉 메타데이터의 기저장된 초음파 모드에 기초하여 검증이 수행되고, 기저장된 초음파 모드와 상이할 경우 분류 결과에 대한 보정이 수행될 수 있다.
구체적인 실시예에서, 영상 뷰 분류 모델 (420) 에 의해 입력된 초음파 영상 (414) 내에서 'PSAX' (422b) 의 B-모드 중 하나의 초음파 영상 뷰가 분류되었을 때, 검증이 수행되는 단계를 통해 'PSAX'의 분류 결과는 (422b) 는 메타데이터에 기저장된 초음파 모드에 기초하여 'PSAX (첨부 단면)' 로 보정될 수 있다. 즉, 영상 뷰 분류 모델 (420) 의 분류 결과는, 검증을 통해 해당 초음파 모드가 최종 결정될 수 있다.
즉, 검증을 수행하는 단계의 결과로, 검증 결과 (432a, 432b, 432c, 432d) 가 제공됨에 따라, 초음파 영상에 대한 영상 뷰뿐만 아니라, 보다 다양한 정보가 제공될 수 있다.
도 4e를 더욱 참조하면, 다양한 실시예에서, 도 2b에서 전술한 사용자 인터페이스 모듈 (323) 을 통해, 각 초음파 영상에 대하여 각각 분류된 영상 뷰가 기재된 파일명이 출력될 수 있다.
이에 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 획득된 초음파 영상에 대한 확인 절차 없이도, 각각의 영상 뷰를 용이하게 파악할 수 있어 보다 빠르게 초음파 분석 단계를 진행할 수 있고, 보다 정확한 의사 결정 및 치료 계획을 수립할 수 있다.
이하에서는, 도 5a 및 5b, 도 6을 참조하여 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법을 설명한다.
도 5a 및 5b는 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 6은 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
먼저, 본 발명의 다른 실시예에 따른 초음파 영상 뷰에 대하 정보 제공을 위해, 개체의 초음파 영상이 수신되고 (S510), 수신된 초음파 영상에 대한 각각의 영상 뷰가 분류되고 (S520), 분류된 영상 뷰가 검증된다 (S530).
보다 구체적으로, 초음파 영상이 수신되는 단계 (S510) 를 통해, 초음파 진단 기기로부터 심초음파 영상, 특히 DICOM 형식의 초음파 영상이 획득되면, 초음파 영상에 대한 각각의 영상 뷰가 분류되는 단계 (S520) 에서, 복수의 영상 뷰 각각에 대응하는 영상이 분류된다.
다음으로, 도 5b를 함께 참조하면, 영상 뷰가 검증되는 단계 (S530) 에서, 분류된 영상 뷰에 대한 초음파 무엇인지 결정되고 (S5432), 선택적으로 분류된 영상 뷰에 대응하는 영상이 스틸 컷인지 또는 동영상인지 결정되며 (S5434), 선택적으로 분류된 영상 뷰에 대응하는 영상이 칼라 영상인지 또는 흑백 영상인지 결정될 수 있다 (S5436). 이때, 본 발명의 특징에 따르면 영상 뷰가 검증되는 단계 (S530) 에서, 영상 뷰의 검증은 DICOM 영상에 태깅된 메타데이터에 기초하여 영상 뷰에 대한 검증이 수행될 수 있다.
즉, 영상 뷰가 검증되는 단계 (S530) 에서, 분류된 영상 뷰에 대한 검증뿐만 아니라, 영상에 대한 다양한 정보가 결정될 수 있다. 이때, DICIOM 내의 헤더값으로 영상 뷰 종류에 대한 정보가 포함될 수 있다.
예를 들어, 도 6을 함께 참조하면, 영상 뷰가 검증되는 단계 (S530) 에서, 영상 뷰가 검증되는 단계 (S530) 에서, 복수의 초음파 모드 각각에 대한 영상 뷰 분류 결과 (422a, 422b, 422c 및 422d) 에 대하여 메타데이터 기반의 검증이 수행될 수 있다.
보다 구체적으로, 영상 뷰가 검증되는 단계 (S530) 에서, 영상 뷰 분류 결과 (422a, 422b, 422c 및 422d) 에 대하여, 영상 뷰 영상이 스틸 컷 영상인지 또는 동영상인지 결정되고, 컬러 영상인지 또는 흑백 영상인지 결정될 수 있다.
이때, B-mode 영상은 동영상의 포맷일 수 있고, M-mode 및 도플러 모드는 스틸 컷 영상의 포맷일 수 있다. 이에, 스틸 컷 또는 영상인지 구별된 후 해당 영상에 대한 상세한 분류가 수행될 수 있다.
더욱이, 영상 뷰가 검증되는 단계 (S530) 에서, 영상 뷰 분류 결과 (422a, 422b, 422c 및 422d) 에 대하여, 초음파 모드에 대한 DICOM 태깅 정보, 즉 메타데이터의 기 저장된 초음파 모드에 기초하여 검증이 수행되고, 기저장된 초음파 모드와 상이할 경우 분류 결과에 대한 보정이 수행될 수 있다.
구체적인 실시예에서, 'PSAX' (422b) 의 B-모드 중 하나의 초음파 영상 뷰가 분류되었을 때, 검증이 수행되는 단계를 통해 'PSAX'의 분류 결과는 (422b) 는 메타데이터에 기 저장된 초음파 모드 (또는, DICOM 영상 내 태깅 정보) 에 기초하여 'PSAX (첨부 단면)' 로 분류 결과가 보정될 수 있다. 즉, 영상 뷰 분류 결과 (422a, 422b, 422c 및 422d) 는, 검증을 통해 해당 초음파 모드가 최종 결정될 수 있다.
즉, 검증을 수행하는 단계의 결과로, 검증 결과 (432a, 432b, 432c, 432d) 가 제공됨에 따라, 초음파 영상에 대한 영상 뷰뿐만 아니라, 보다 다양한 정보가 제공될 수 있다.
이하에서는, 도 7 및 도 8을 참조하여, 본 발명의 다양한 실시예에서 이용되는 초음파 영상 뷰와 연관된 정보 예측 모델의 구조적 특징 및 학습에 대하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법에 이용되는 영상 뷰 분류 모델의 구조를 예시적으로 도시한 것이다. 도 8은 본 발명의 다양한 실시예에 따른 정보 제공 방법에 이용되는 영상 뷰 분류 모델의 학습 데이터를 예시적으로 도시한 것이다.
먼저, 도 7을 참조하면 본 발명의 본 발명의 다양한 실시예에서 이용되는 영상 뷰 분류 모델은, DeseNet 121의 구조를 가질 수 있다. 구체적으로, DenseNet 121 기반의 영상 뷰 분류 모델은, 연산이 수행되는 복수의 블록으로 구성될 수 있다.
보다 구체적으로, 영상 뷰 분류 모델은, 입력된 초음파 영상에 대한 연산이 수행되는 컨볼루션 레이어 및 풀링 레이어로 이루어진 CP 블록, 복수의 덴스 (Dense) 레이어로 이루어져, 각 덴스 레이어를 거칠 때마다 미리 결정된 성장률 (growth rate) 만큼의 특징 맵이 추가되는 DB 블록, 및 DB 블록 사이 사이에 존재하는 전이 레이어의 TL 레이어로 이루어질 수 있다. 나아가, 다면도 분류 모델은 분류된 초음파 영상 뷰를 출력하는 완전 연결 레이어 (Fully connected layer) 및 소프트맥스 레이어 (Softmax layer) 의 출력 레이어를 포함할 수 있다.
본 발명의 특징에 따르면, 출력 레이어의 노드의 개수는 초음파 영상 뷰의 수에 대응할 수 있다.
예를 들어, 도 8을 더욱 참조하면, 본 발명의 다양한 실시예에 이용되는 초음파 영상 뷰 분류 모델은, 17 개의 B-모드에 해당하는 영상 뷰, 3 개의 M-모드에 해당하는 영상 뷰, 및 14 개의 도플러 모드에 해당하는 영상 뷰, 나아가 5 개의 미분류 모드에 대응하는 영상 뷰의 총 39 개의 영상 뷰가 라벨링된 초음파 영상에 대하여 각 영상에 해당하는 영상 뷰를 분류하도록 학습될 수 있다.
이때, 영상 뷰 분류 모델의 출력 레이어의 노드의 수는, 학습 단계에서 설정된 분류 목표 영상 뷰의 수인 39 개와 동일할 수 있다.
그러나, 영상 뷰 분류 모델의 학습 데이터는 전술한 것에 제한되는 것이 아니다. 예를 들어, B-모드 및 M-모드의 조합, 또는 M-모드 및 도플러 모드의 조합, 또는 B- 모드 및 도플러 모드의 조합의 영상 뷰가 태깅된 초음파 영상이, 학습 데이터로서 설정될 수도 있다.
더욱이 영상 뷰 분류 모델의 구조는 전술한 것에 제한되는 것이 아니다.
평가: 본 발명의 다양한 실시예에 이용되는 영상 뷰 분류 모델의 평가
이하에서는 도 9를 참조하여, 본 발명의 다양한 실시예에 이용되는 영상 뷰 분류 모델 및 종래 기술 기반의 모델들에 대한 성능을 비교하여 설명한다.
도 9는 다양한 실시예에 따른 정보 제공 방법에 이용되는 영상 뷰 분류 모델의 평과 결과를 도시한 것이다.
보다 구체적으로, 도 9를 참조하면, 본 발명의 일 실시예에 따른 분류 모델을 이용한 분류는, 분류를 위한 초음파 영상 뷰 클래스가 39 개임에도, 92.33%의 높은 정확도를 나타낸다
한편, 비교예 1 (Andreas Øet al.), 비교예 2 (Ivar M. Salte, MD et al.), 비교예 3 (Ahmed I. Shanin et al.) 의 분류 결과는, 각각 98%, 97% 및 96.3%의 높은 정확도를 나타낸다. 그러나, 비교예 각각의 분류 클래스는 8 개, 3 개 및 8 개로, 분류 정확도는 8 개 이하의 단일 모드의 영상 뷰에 대한 것이다.
머신러닝 기반의 비교예 4 (Jeffrey Zhang et al.) 의 분류 결과는 23 개의 영상 뷰 클래스를 분류하지만, 분류 정확도는 84%로 본 발명의 일 실시예에 따른 정보 제공 방법에 따른 분류의 정확도 (92.33%) 보다 낮은 것으로 나타난다.
이러한 결과는, 본 발명의 다양한 실시예에 이용되는 영상 뷰 분류 모델이 보다 많은 영상 뷰를 분류할 수 있음에도 종래의 기술보다 우수한 분류 성능을 가진다는 것을 의미할 수 있다.
이하에서는, 도 10 및 도 11을 참조하여, 본 발명의 다양한 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법을 구체적으로 설명한다.
도 10은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 초음파 영상 뷰에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
이때, 심장 초음파 영상의 뷰 분류가 예시로서 설명되나, 이에 제한되는 것은 아니며 초음파 영상 촬영이 가능한, 다양한 대상체의 초음파 영상에 대하여 본 발명의 다양한 실시예에 따른 정보 제공 방법이 적용될 수 있다.
먼저, 도 10을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 초음파 영상이 수신된다 (S1010). 그 다음, 수신된 심장 초음파 영상에 대해, 모드 분류기를 이용하여 초음파 단면도의 모드가 분류된다 (S1020).
그 다음, 상기 분류된 초음파 단면도를 입력으로 단면도 분류 모델을 이용하여 분류 결과가 출력된다 (S1030).
보다 구체적으로, 초음파 영상이 수신되는 단계 (S1010) 에서 표적 부위 즉 심장 부위에 대한 초음파 영상이 수신될 수 있다.
다음으로, 수신된 심장 초음파 영상에 대해, 모드 분류기를 이용하여 초음파 단면도의 모드가 분류되는 단계 (S1020) 가 수행된다.
본 발명의 특징에 따르면, 모드 분류기를 이용하여 초음파 단면도의 모드가 분류되는 단계 (S1020) 에서 DICOM 형식의 영상으로부터 획득 가능한 메타데이터에 기초하여, M-모드, B-모드 및 도플러 모드 각각에 대한 영상 뷰가 분류되거나 인공지능 모델을 이용하여 M-모드, B-모드 및 도플러 모드 각각에 대한 영상 뷰가 분류될 수 있다. 그러나, 이에 제한되는 것은 아니며, 상기 초음파 모드와 상이한 미분류 모드에서의 영상 뷰가 더욱 분류될 수 있다.
예를 들어, 도 11을 함께 참조하면, 각각의 초음파 영상 뷰가 분류되는 단계 (S1020) 에서 초음파 영상이 모드 분류기에 입력되어 모드가 분류되고, 상기 모드가 분류된 초음파 영상을 입력으로 하여 단면도 분류 모델을 이용하여 각 모드별 분류 결과가 출력된다.
이때, 모드 분류기는 일 실시예로 DICOM 형식의 영상으로부터 획득 가능한 메타데이터에 기초하거나, 인공지능 모델을 이용하여 M-모드, B-모드 및 도플러 모드를 분류할 수 있다.
상기 모드 분류기를 통해 분류된 초음파 영상을 입력으로 단면도 분류 모델을 이용하여 각 모드별 결과가 출력되며, 이때 단면도 분류 모델은 일 실시예에서 B-모드 단면도 분류모델, M-모드 단면도 분류모델 또는 도플러 단면도 분류모델 중 어느 하나일 수 있으나 이에 제한되는 것은 아니다.
즉, 수신된 초음파 영상은 DICOM 형식의 영상으로부터 획득 가능한 메타데이터에 기초하거나 인공지능 모델을 이용한 모드 분류기를 이용하여, M-모드, B-모드 및 도플러 모드 각각에 대해 분류되어 제공될 수 있으며, 분류된 초음파 영상을 입력으로 하여 B-모드 단면도 분류모델, M-모드 단면도 분류모델 또는 도플러 단면도 분류모델 중 상기 분류된 각 모드에 해당하는 분류모델을 이용하여 분류 결과가 출력되어 제공될 수 있다.
한편, 본 발명의 다른 특징에 따르면, 각각의 초음파 영상 뷰가 분류되는 단계 (S1120) 이전에 수신된 초음파 영상이 대한 전처리가 수행될 수 있으며, 이는 상기 도 4b 를 참조하여 설명한 바와 같다.
이에 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 획득된 초음파 영상에 대한 각각의 영상 뷰를 용이하게 파악할 수 있어 보다 빠르게 초음파 분석 단계를 진행할 수 있고, 보다 정확한 의사 결정 및 치료 계획을 수립할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (26)

  1. 프로세서에 의해 구현되는 초음파 영상 뷰에 대한 정보 제공 방법으로서,
    개체의 초음파 영상을 수신하는 단계;
    상기 초음파 영상을 입력으로 하여 복수의 영상 뷰를 분류하여 각각을 출력하도록 학습된 영상 뷰 분류 모델을 이용하여, 상기 수신된 초음파 영상을 기초로 각각의 영상 뷰를 분류하는 단계를 포함하고,
    상기 각각의 영상 뷰는 서로 다른 복수의 초음파 모드에서의 초음파 영상 뷰를 나타내는, 초음파 영상 뷰에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 복수의 초음파 모드는 M-모드 및 B-모드를 포함하고,
    상기 초음파 영상은, 심장 초음파 영상이고,
    상기 각각의 영상 뷰를 분류하는 단계는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, 혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및
    PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하는 단계를 포함하는, 초음파 영상 뷰에 대한 정보 제공 방법.
  3. 제1항에 있어서,
    상기 복수의 초음파 모드는 도플러 모드 및 B-모드를 포함하고,
    상기 초음파 영상은, 심장 초음파 영상이고,
    상기 각각의 영상 뷰를 분류하는 단계는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰, 및
    PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하는 단계를 포함하는, 초음파 영상 뷰에 대한 정보 제공 방법.
  4. 제1항에 있어서,
    상기 복수의 초음파 모드는 도플러 모드, M-모드 및 B-모드를 포함하고, 상기 초음파 영상은, 심장 초음파 영상이고,
    상기 각각의 영상 뷰를 분류하는 단계는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰,
    대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및
    PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하는 단계를 포함하는, 초음파 영상 뷰에 대한 정보 제공 방법.
  5. 제1항에 있어서,
    상기 복수의 초음파 모드는 M-모드, 도플러 모드 및 B-모드 중 적어도 하나, 및 상기 M-모드, 상기 도플러 모드 및 상기 B-모드와 상이한 초음파 영상 뷰로 정의되는 미분류 모드를 포함하는, 초음파 영상 뷰에 대한 정보 제공 방법.
  6. 제1항에 있어서,
    상기 초음파 영상은, 심장 초음파 영상이고,
    상기 각각의 영상 뷰를 분류하는 단계는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, 4 방도 (4 chamber), 2 방도, 장축 (Long Axis), 바닥부 (Base) 중간부 (Mid) 및 첨부 (Apex) 각각의 영상 뷰를 분류하는 단계를 포함하는, 초음파 영상 뷰에 대한 정보 제공 방법.
  7. 제1항에 있어서,
    상기 각각의 영상 뷰를 분류하는 단계 이후에,
    상기 각각의 영상 뷰를 검증하는 단계를 더 포함하는, 초음파 영상 뷰에 대한 정보 제공 방법.
  8. 제7항에 있어서,
    상기 각각의 영상 뷰를 검증하는 단계는,
    상기 각각의 영상 뷰의 프레임 수에 기초하여 상기 초음파 영상이 스틸 컷 영상인지 또는 동영상인지를 결정하는 단계를 포함하는, 초음파 영상 뷰에 대한 정보 제공 방법.
  9. 제7항에 있어서,
    상기 각각의 영상 뷰를 검증하는 단계는,
    상기 각각의 영상 뷰에 대하여 컬러 영상인지 흑백 영상인지를 결정하는 단계를 포함하는, 초음파 영상 뷰의 진단에 대한 정보 제공 방법.
  10. 제7항에 있어서,
    상기 초음파 영상은, 상기 초음파 영상의 초음파 모드에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 영상이고,
    상기 각각의 영상 뷰를 검증하는 단계는,
    상기 메타데이터에 기초하여, 상기 각각의 영상 뷰를 검증하는 단계를 포함하고,
    상기 검증하는 단계 이후에,
    분류된 상기 각각의 영상 뷰가 상기 태깅 정보와 상이할 경우, 상기 각각의 영상 뷰의 분류 결과를 보정하는 단계를 더 포함하는, 초음파 영상 뷰의 진단에 대한 정보 제공 방법.
  11. 제1항에 있어서,
    상기 영상 뷰 분류 모델은,
    상기 복수의 초음파 모드에 따른 복수의 영상 뷰의 개수에 대응하는 출력 노드 (node) 를 갖는, 초음파 영상 뷰에 대한 정보 제공 방법.
  12. 개체의 초음파 영상을 수신하도록 구성된 통신부, 및
    상기 통신부와 동작 가능하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 초음파 영상을 입력으로 하여 복수의 영상 뷰를 분류하여 각각을 출력하도록 학습된 영상 뷰 분류 모델을 이용하여, 상기 수신된 초음파 영상을 기초로 각각의 영상 뷰를 분류하도록 구성되고,
    상기 각각의 영상 뷰는 서로 다른 복수의 초음파 모드에서의 초음파 영상초음파 영상 뷰를 나타내는, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  13. 제12항에 있어서,
    상기 복수의 초음파 모드는 M-모드 및 B-모드를 포함하고,
    상기 초음파 영상은, 심장 초음파 영상이고,
    상기 프로세서는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, 대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및
    PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하도록 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  14. 제12항에 있어서,
    상기 복수의 초음파 모드는 도플러 모드 및 B-모드를 포함하고,
    상기 초음파 영상은, 심장 초음파 영상이고,
    상기 프로세서는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰, 및
    PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하도록 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  15. 제12항에 있어서,
    상기 복수의 초음파 모드는 도플러 모드, M-모드 및 B-모드를 포함하고,
    상기 초음파 영상은, 심장 초음파 영상이고,
    상기 프로세서는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, MV (MS) - CW (Apical), MV (MR) - CW (Apical), MV-PW (Apical), AV (AS) - CW (Apical), AV (AR) - CW (Apical), TV (TS) - CW (PLAX/PSAX/Apical), TV (TR) - CW (PLAX/PSAX/Apical), PV (PS) - CW (PSAX/Aortic), PV (PR) - CW (PSAX/Aortic), PV-PW (PSAX, Aortic), LVOT-PW (A5C/A3C), LVOT-CW (A5C/A3C), 중격 고리 (Septal Annulus) PW TDI (A4C) 및 측 고리 (Lateral Annulus) PW TDI (A4C) 중 적어도 하나의 도플러 모드 영상 뷰,
    대혈관을 통한 M-모드 (PLAX/PSAX), MV를 통한 M-모드 (PLAX/PSAX) 및 LV 를 통한 M-모드 (PLAX/PSAX) 중 적어도 하나의 M-모드 영상 뷰, 및
    PLAX-LV, PLAX-LV (Ao/LA), LV 줌된 (zoomed) PLAX, AV 포커스된 PSAX (대혈관 단면), PSAX (MV 단면), PSAX (유두근 단면), PSAX (첨부 단면), A4C, A4C, A3C, LV 줌된 A3C, A2C, LV 줌된 A2C, A5C, RV-포커스된 A4C (변형된 A4C), 늑골하 (Subcostal) (SC4C) 및 늑골하 (SC 장축 IVC) 중 적어도 하나의 B-모드 영상 뷰를 결정하도록 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  16. 제12항에 있어서,
    상기 복수의 초음파 모드는 M-모드, 도플러 모드 및 B-모드 중 적어도 하나, 및 상기 M-모드, 상기 도플러 모드 및 상기 B-모드와 상이한 초음파 영상 뷰로 정의되는 미분류 모드를 포함하는, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  17. 제12항에 있어서,
    상기 초음파 영상은, 심장 초음파 영상이고,
    상기 프로세서는,
    상기 영상 뷰 분류 모델을 이용하여, 상기 심장 초음파 영상에 대하여, 4 방도 (4 chamber), 2 방도, 장축 (Long Axis), 바닥부 (Base) 중간부 (Mid) 및 첨부 (Apex) 각각의 영상 뷰를 분류하도록 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  18. 제12항에 있어서,
    상기 프로세서는,
    상기 각각의 영상 뷰를 검증하도록 더 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 각각의 영상 뷰의 프레임 수에 기초하여 상기 초음파 영상이 스틸 컷 영상인지 또는 동영상인지를 결정하도록 더 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  20. 제18항에 있어서,
    상기 프로세서는,
    상기 각각의 영상 뷰에 대하여 컬러 영상인지 흑백 영상인지를 결정도록 더 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  21. 제18항에 있어서,
    상기 초음파 영상은, 상기 초음파 영상의 초음파 모드에 대한 태깅 정보를 포함하는 메타데이터 (Metadata) 를 표시하는 DICOM (Digital Imaging and Communications in Medicine) 형식의 영상이고,
    상기 프로세서는,
    상기 메타데이터에 기초하여, 상기 각각의 영상 뷰를 검증하고,
    분류된 상기 각각의 영상 뷰가 상기 태깅 정보와 상이할 경우, 상기 각각의 영상 뷰의 분류 결과를 보정하도록 더 구성된, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  22. 제12항에 있어서,
    상기 영상 뷰 분류 모델은,
    상기 복수의 초음파 모드에 따른 복수의 영상 뷰의 개수에 대응하는 출력 노드 (node) 를 갖는, 초음파 영상 뷰에 대한 정보 제공용 디바이스.
  23. 프로세서에 의해 구현되는 초음파 영상 뷰에 대한 정보 제공 방법으로서,
    개체의 초음파 영상을 수신하는 단계;
    상기 수신된 초음파 영상에 대해 모드 분류기를 이용하여 초음파 단면도의 모드를 분류하는 단계 및
    상기 분류된 초음파 단면도를 입력으로 분류 모델을 이용하여 분류 결과를 출력하여 제공하는 단계를 포함하는,
    초음파 영상 뷰에 대한 정보 제공 방법.
  24. 제23항에 있어서,
    상기 초음파 단면도의 모드는 도플러 모드, M-모드 및 B-모드를 포함하고,
    상기 초음파 영상은, 심장 초음파 영상인,
    초음파 영상 뷰에 대한 정보 제공 방법.
  25. 제23항에 있어서,
    상기 수신된 초음파 영상에 대해 모드 분류기를 이용하여 초음파 단면도의 모드를 분류하는 단계는,
    DICOM 형식의 영상으로부터 획득 가능한 메타데이터에 기초하여 영상 뷰를 분류하는 것인,
    초음파 영상 뷰에 대한 정보 제공 방법.
  26. 제23항에 있어서,
    상기 분류 모델은
    B-모드 분류모델, M-모드 분류모델 또는 도플러 모드 분류모델 중 어느 하나인 것인,
    초음파 영상 뷰에 대한 정보 제공 방법.
PCT/KR2023/007715 2022-06-03 2023-06-05 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스 WO2023234762A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0068536 2022-06-03
KR20220068536 2022-06-03

Publications (1)

Publication Number Publication Date
WO2023234762A1 true WO2023234762A1 (ko) 2023-12-07

Family

ID=89025285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007715 WO2023234762A1 (ko) 2022-06-03 2023-06-05 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스

Country Status (2)

Country Link
KR (1) KR20230168168A (ko)
WO (1) WO2023234762A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150141826A1 (en) * 2013-11-16 2015-05-21 International Business Machines Corporation Prediction of diseases based on analysis of medical exam and/or test workflow
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
KR20180008041A (ko) * 2016-07-15 2018-01-24 주식회사 인피니트헬스케어 Ｄｉｃｏｍ 게이트웨이에서 송수신 영상의 자동 검증 방법
KR20220000813A (ko) * 2020-06-26 2022-01-04 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 이미징에서의 이미지 분류-의존 사용자 인터페이스
JP2022519979A (ja) * 2018-12-11 2022-03-28 エコ．エーアイ プライベート リミテッド 心臓病の自動化された心臓測定および診断、予測、および予後のために２ｄおよびドップラーモダリティ心エコー図画像を認識および分析する自動臨床ワークフロー

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150141826A1 (en) * 2013-11-16 2015-05-21 International Business Machines Corporation Prediction of diseases based on analysis of medical exam and/or test workflow
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
KR20180008041A (ko) * 2016-07-15 2018-01-24 주식회사 인피니트헬스케어 Ｄｉｃｏｍ 게이트웨이에서 송수신 영상의 자동 검증 방법
JP2022519979A (ja) * 2018-12-11 2022-03-28 エコ．エーアイ プライベート リミテッド 心臓病の自動化された心臓測定および診断、予測、および予後のために２ｄおよびドップラーモダリティ心エコー図画像を認識および分析する自動臨床ワークフロー
KR20220000813A (ko) * 2020-06-26 2022-01-04 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 이미징에서의 이미지 분류-의존 사용자 인터페이스

Also Published As

Publication number Publication date
KR20230168168A (ko) 2023-12-12

Similar Documents

Publication Publication Date Title
WO2020096099A1 (ko) 기계 학습 방법 및 장치
WO2020045927A1 (en) Electronic device and method for generating short cut of quick command
WO2015167160A1 (en) Command displaying method and command displaying device
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2018088809A1 (en) Method of displaying user interface related to user authentication and electronic device for implementing same
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2012134106A2 (ko) 의료 영상 정보 저장과 표시 방법 및 그 장치
WO2020189954A1 (en) Millimeter wave radar and camera fusion based face authentication system
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
WO2015076508A1 (en) Method and apparatus for displaying ultrasound image
WO2017039103A1 (ko) 이동 단말기 및 그의 제어 방법
WO2016190652A1 (en) Electronic device, information providing system and information providing method thereof
EP3906553A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2018038526A1 (en) Electronic device and method for measuring heart rate based on infrared rays sensor using the same
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
EP3071113A1 (en) Method and apparatus for displaying ultrasound image
WO2023234762A1 (ko) 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스
WO2021251652A1 (ko) 영상 분석 장치 및 방법
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2024028849A1 (ko) 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스
WO2023132657A1 (ko) 상품 트렌드 예측 서비스 제공 장치, 방법 및 프로그램
WO2023204457A1 (ko) M-모드 초음파 영상에 대한 정보 제공 방법, 이를 이용한 m-모드 초음파 영상에 대한 정보 제공용 디바이스, m-모드 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 장치
WO2022035054A1 (ko) 로봇 및 이의 제어 방법
WO2021251651A1 (ko) 회전 대칭성 판단이 가능한 영상 분석 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23816421

Country of ref document: EP

Kind code of ref document: A1