WO2022059982A1 - 초음파 진단 시스템 - Google Patents

초음파 진단 시스템 Download PDF

Info

Publication number
WO2022059982A1
WO2022059982A1 PCT/KR2021/012018 KR2021012018W WO2022059982A1 WO 2022059982 A1 WO2022059982 A1 WO 2022059982A1 KR 2021012018 W KR2021012018 W KR 2021012018W WO 2022059982 A1 WO2022059982 A1 WO 2022059982A1
Authority
WO
WIPO (PCT)
Prior art keywords
diagnosis
image
ultrasound
carotid artery
breast
Prior art date
Application number
PCT/KR2021/012018
Other languages
English (en)
French (fr)
Inventor
정재훈
Original Assignee
주식회사 아이도트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이도트 filed Critical 주식회사 아이도트
Priority to US18/026,001 priority Critical patent/US20230363741A1/en
Publication of WO2022059982A1 publication Critical patent/WO2022059982A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an ultrasound diagnosis system, and more particularly, to a system for diagnosing abnormal symptoms of an ultrasound diagnosis site using one or more artificial neural networks.
  • Ultrasound is a kind of seismic wave. Accordingly, as it propagates into the human body, it is reflected or transmitted at the interface of the medium depending on the physical characteristics of the human tissue, and amplitude attenuation occurs due to absorption. Using these characteristics of ultrasound, an image of the internal tissue of the human body can be obtained and the size or characteristic of the tissue can be determined from the image, so an ultrasound diagnostic device is widely used in the medical industry.
  • the parts that are widely known for diagnosing abnormalities in the body using ultrasound diagnostic devices are carotid artery ultrasound, breast ultrasound, thyroid ultrasound, and deep vein thrombosis (femoral vein, middle vein). .
  • the carotid artery or carotid artery is an artery that passes through the neck and enters the face and skull, and is largely divided into the external carotid artery and the internal carotid artery. It supplies blood to the brain and nerve tissue within the skull.
  • carotid artery stenosis This narrowing of the carotid artery, including the internal carotid artery, is referred to as carotid stenosis, which reduces blood flow or blocks blood vessels, causing ischemic stroke. Therefore, if there is carotid artery stenosis, it is a target of treatment for the prevention and treatment of stroke.
  • carotid ultrasound is a simple test that observes the presence of plaque, blood flow, blood vessel thickness, etc. in the carotid artery, and has the advantage of short test time and low cost.
  • Patent Document 1 Republic of Korea Patent Publication No. 10-2009840
  • the present invention is an invention devised according to the above-mentioned necessity, and the main object of the present invention is an artificial neural network that can automatically and accurately diagnose abnormal symptoms of carotid artery, thyroid gland, femoral vein, middle vein, and breast regardless of the examiner.
  • the main object of the present invention is an artificial neural network that can automatically and accurately diagnose abnormal symptoms of carotid artery, thyroid gland, femoral vein, middle vein, and breast regardless of the examiner.
  • Another object of the present invention is to guide ultrasound images of the carotid artery, thyroid gland, femoral vein, middle vein, and breast to obtain ultrasound image images at optimal locations, thereby providing convenience in operating a diagnostic device. To provide a diagnostic system.
  • the present invention is an ultrasound using an artificial neural network that can automatically diagnose abnormalities in the carotid artery, thyroid gland, femoral vein, middle vein, or breast by selecting only ultrasound images of the carotid artery, thyroid gland, femoral vein, middle vein, or breast among the input images.
  • an artificial neural network that can automatically diagnose abnormalities in the carotid artery, thyroid gland, femoral vein, middle vein, or breast by selecting only ultrasound images of the carotid artery, thyroid gland, femoral vein, middle vein, or breast among the input images.
  • Another object of the present invention is to provide an ultrasound diagnosis system using an artificial neural network that can detect a vascular plaque that is likely to develop into a floating thrombus and notify in advance the possibility of a stroke.
  • Another object of the present invention is to automatically diagnose whether or not one or more diagnostic sites of the carotid artery, thyroid gland, femoral vein, middle vein, or breast are abnormal, but for abnormal diagnostic sites (carotid artery, thyroid gland, femoral vein, middle vein, breast).
  • the present invention uses one or more artificial neural networks to automatically diagnose whether one or more of the carotid artery, thyroid gland, femoral vein, middle vein, or breast is abnormal or carotid artery, thyroid gland, and femoral vein with respect to an ultrasound image image transmitted from a remote location.
  • an ultrasound diagnosis system using an artificial neural network that can accurately and automatically diagnose and notify abnormalities of , middle vein, and breast.
  • a diagnosis site search unit that finds a diagnosis site in the input image image and displays and outputs at least the diagnosis site in a color differentiated from the tissue
  • an automatic diagnosis unit for diagnosing whether the diagnosis site is normal based on the first artificial neural network with respect to the image of the diagnosis site found by the diagnosis site search unit and output control of the diagnosis result.
  • the diagnosis site search unit includes:
  • the second artificial neural network is characterized in that it is an artificial neural network trained to selectively display ultrasound image images in both longitudinal and lateral directions.
  • the risk level is diagnosed for the image of any one of the carotid artery, thyroid, breast, femoral vein, and middle vein blood vessels using a pre-trained third artificial neural network. Another feature is that the level of risk is output controlled as the diagnosis result,
  • the diagnostic site search unit outputs and controls the stop command of the ultrasound probe when the color-displayed diagnostic area has a preset display form, wherein the color-displayed diagnostic area is a carotid artery, thyroid, breast, and femoral vein blood vessel. It is characterized in that it is any one of a region and a middle venous vascular region.
  • the diagnosis site search unit includes:
  • the diagnostic region search unit corrects the virtual lines using the brightness of pixels to correct the virtual line for carotid artery, thyroid, breast, and femur. It is characterized by controlling the display and output of any one of the venous vascular region and the middle venous vascular region with a color differentiated from the tissue.
  • the automatic diagnosis unit uses a pre-learned third artificial neural network to search for the diagnosis site image found by the diagnosis site search unit.
  • the diagnostic site search unit only uses an ultrasound image of any one of carotid artery, thyroid gland, breast, femoral vein, and middle vein from the input image image. It may include a second artificial neural network pre-trained to select and extract any one of the carotid artery, thyroid, breast, femoral vein, and middle vein blood vessels from the selected ultrasound image image as a diagnostic site. there is.
  • the present invention provides an ultrasound image of a carotid artery, an ultrasound image of the thyroid gland, an ultrasound image of a femoral vein, an ultrasound image of a middle venous blood vessel, and an ultrasound image of a carotid artery, a thyroid gland, or a femur, respectively. Since the venous or middle venous vascular or breast region is extracted and displayed in color, the operator of the diagnostic device can easily recognize the carotid artery, thyroid, femoral vein, middle venous vascular region, and breast region, which are diagnostic sites. provides the advantages of
  • the present invention can automatically diagnose by selecting only ultrasound image images of carotid artery, thyroid gland, femoral vein, middle vein, or breast from the input image through a pre-trained artificial neural network, so inappropriate image images that cannot be diagnosed are filtered in advance. It has the advantage of increasing the reliability of the system,
  • an artificial neural network automatically diagnoses abnormalities in the carotid artery, femoral vein, middle vein, thyroid gland, or breast, as well as the risk level and lesion area of the diagnosis site. Not only does it not depend on it, but it also provides an effect that can accurately detect even subtle signs in the ultrasound image.
  • the present invention can be implemented as an independent ultrasound diagnosis device, as well as as a remote medical treatment server, so it has the advantage of providing a remote medical service. Since it can be detected and displayed, the examinee who has a possibility of floating thrombus, the examinee with carotid artery stenosis, etc. can receive necessary measures in advance, thereby preventing the risk of stroke in advance.
  • FIG. 1 is an exemplary block configuration diagram of a medical diagnosis device including a carotid artery diagnosis system as an ultrasound diagnosis system according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating a partial configuration of a carotid ultrasound diagnosis system according to another embodiment of the present invention in FIG. 1 .
  • FIG. 3 is a view for explaining a diagnosis process of a carotid ultrasound diagnosis system according to an embodiment of the present invention
  • FIGS. 4 to 10 are diagrams for explaining in more detail the operation of the carotid ultrasound diagnosis system according to an embodiment of the present invention.
  • 'learning' is a term referring to performing deep learning according to a procedure throughout the detailed description and claims of the present invention, and is not intended to refer to a mental operation such as human educational activity. will be.
  • the word 'comprise' and variations thereof are not intended to exclude other technical features, additions, components or steps.
  • Other objects, advantages and characteristics of the present invention will become apparent to a person skilled in the art in part from this description and in part from practice of the present invention.
  • the following illustrations and drawings are provided by way of illustration and are not intended to limit the invention.
  • the invention encompasses all possible combinations of the embodiments indicated herein. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive.
  • the artificial neural network mentioned below may be, as an example, a convolutional neural network (CNN) model in which artificial neural networks are stacked in multiple layers.
  • CNN convolutional neural network
  • This can be expressed as a deep neural network in the sense of a network having a deep structure.
  • the characteristics of each image are automatically learned by learning a large amount of data, and the network is trained in a way that minimizes the error of the objective function through this. Since such a CNN model is already known, a detailed description thereof will be omitted.
  • FIG. 1 illustrates a block configuration of a medical diagnosis device including a carotid artery diagnosis system as an ultrasound diagnosis system according to an embodiment of the present invention
  • FIG. 2 is a carotid ultrasound diagnosis system according to another embodiment of the present invention in FIG.
  • a partial configuration of that is, a configuration diagram of the carotid artery diagnosis unit 220 is illustrated.
  • the carotid artery vessel search unit 210 and the carotid artery diagnosis unit 220 are terms used to describe the embodiment of the present invention on the assumption of a carotid ultrasound diagnosis system.
  • the carotid artery vascular search unit 210 may be referred to as a femoral vein blood vessel search unit
  • the carotid artery diagnosis unit 220 may be referred to as a femoral vein diagnosis unit.
  • the carotid artery vessel search unit, the femoral vein vessel search unit, the mid-venous vessel search unit, the thyroid search unit, and the breast search unit are terms assigned according to the diagnosis site, they will be referred to as diagnostic site search units in the claims of the present specification.
  • the carotid artery diagnosis unit 220, the femoral vein diagnosis unit, the middle vein diagnosis unit, the thyroid diagnosis unit, and the breast diagnosis unit are configured to automatically diagnose abnormalities in the diagnosis site, in the claims of the present specification, they are called automatic diagnosis units. do it with
  • the carotid ultrasound diagnosis system 200 is illustrated as forming a part of a medical diagnosis device, for example, an ultrasound medical diagnosis device, but input or transmitted Alternatively, it can be built into a computer system that can diagnose by reading the carotid ultrasound image read from the memory, and it can also be built into a remote diagnosis server that can be connected to multiple medical institution computer systems through a communication network for remote diagnosis to determine whether the carotid artery is abnormal. can be diagnosed
  • the carotid artery ultrasound image acquisition unit 100 is configured to acquire a carotid artery ultrasound image to be diagnosed.
  • the carotid ultrasound diagnosis system 200 is a part of a medical diagnosis device
  • the carotid ultrasound image image acquisition unit 100 transmits an ultrasound signal to the examination site including the carotid artery and receives the ultrasound echo signal reflected from the examination site. It may be implemented with a probe and an ultrasound image image generator configured to process an ultrasound echo signal provided from the ultrasound probe into the carotid ultrasound image image.
  • the carotid ultrasound image acquisition unit 100 is a peripheral ultrasound device including the ultrasound probe and the ultrasound image generation unit. It may be an interface unit capable of interfacing with the data interface unit, and may be an interface unit capable of transmitting/receiving data to and from a portable storage device.
  • the carotid ultrasound image image acquisition unit 100 may be a receiver for receiving a carotid ultrasound image image from a computer system of a remote medical institution through a communication network.
  • the carotid ultrasound diagnosis system 200 includes:
  • the carotid blood vessel search unit 210 (which may be referred to as a diagnostic site search unit) that finds the carotid artery blood vessel site (corresponding to the diagnosis site) in the input image image and displays and output controls at least the carotid artery blood vessel site (diagnosis site) in a color differentiated from the tissue )Wow,
  • the carotid artery diagnosis unit 220 (to be referred to as an automatic diagnosis unit) diagnoses whether the carotid artery is normal based on the second artificial neural network with respect to the image of the carotid vessel site found by the carotid artery vessel search unit 210 and outputs the diagnosis result. may be included).
  • the carotid artery vessel search unit 210 may include a first artificial neural network pre-trained to select only the carotid ultrasound image from the input image and to extract the carotid artery region from the selected carotid ultrasound image.
  • the first artificial neural network uses a 2-class classification artificial intelligence algorithm to display a carotid ultrasound image on one side and a non-carotid ultrasound image on the other side (desk, traffic light, sofa, etc.), as well as a carotid ultrasound image, a thyroid ultrasound image, an abdominal ultrasound image, etc. that are unsuitable for diagnosis, can be selectively extracted from the input image image only as an ultrasound image of the carotid artery that is effective for diagnosis.
  • the first artificial neural network is configured to primarily select only ultrasound image images from the input image images, selects only carotid ultrasound images from the selected ultrasound image images, and then filters out carotid ultrasound images that are unsuitable for diagnosis. It may be configured to do so.
  • the first artificial neural network included in the carotid artery vascular search unit 210 may be an artificial neural network trained to selectively display carotid ultrasound image images in both the longitudinal (B-Type) and lateral (A-Type) directions.
  • the transverse direction refers to a direction in which a cross-section of a blood vessel rising from a person's neck to the brain can be seen
  • the long direction refers to the longitudinal direction of the blood vessel.
  • the carotid artery vascular search unit 210 As another modified embodiment, the carotid artery vascular search unit 210,
  • It includes a first artificial neural network pre-trained to select only a carotid ultrasound image image from an input image image, extract a carotid artery blood vessel region from the selected carotid artery image image, and display it as a virtual line.
  • the carotid artery searcher 210 may correct the virtual line using the brightness of the pixel, thereby smoothing out the roughness formed between the edge of the carotid artery and the tissue.
  • the carotid blood vessel search unit 210 outputs and controls the stop command of the ultrasound probe when the color display of the carotid blood vessel region has a preset display shape, so that the ultrasound probe user can optimize It is possible to guide so as to obtain an ultrasound image of the carotid artery at the position of This will also be described in more detail with reference to FIG. 3 .
  • the learning of the first artificial neural network described above may be performed by setting the ultrasound carotid blood vessel image or the carotid blood vessel region marked by a specialist as the learning data.
  • the carotid artery diagnosis unit 220 including the second artificial neural network learns the second artificial neural network by setting images of one or more carotid blood vessel regions marked as normal or abnormal by a specialist as learning data.
  • the carotid artery diagnosis unit 220 may display the lesion area in the image of the carotid artery blood vessel region and control the output together with the diagnosis result.
  • the carotid artery diagnosis unit 220 may further include a third artificial neural network in addition to the second artificial neural network as shown in FIG. 2 .
  • the carotid artery diagnosis unit 220 diagnoses the carotid risk for the image of the carotid blood vessel region using the pre-trained third artificial neural network, and determines the diagnosed risk as the diagnosis result. As such, it is possible to control the output of the display unit constituting the user interface unit I/F.
  • the 'carotid artery risk' refers to a risk level indicated by grading the risk by stages, such as an 'abnormal high-risk group' and an 'abnormal low-risk group'.
  • the grades were graded in two steps, but this is only an example and may be subdivided into two or more steps.
  • the carotid artery diagnosis unit 220 including the second and third artificial neural networks sets the lesion area set by the specialist in the image of one or more carotid blood vessel sites and the carotid artery risk set for the lesion area as learning data, and the third artificial neural network to learn
  • the specialist reads the abnormal carotid artery site and examines the lesion area where plaque is excessively located, the lesion area where the thrombus is excessively distributed in the blood vessel, the lesion area where the possibility of thrombus separation is high, the lesion area where the carotid artery stenosis is visible, etc.
  • the carotid artery diagnosis unit 220 sets the lesion area and the carotid artery risk set as the learning data to learn the third artificial neural network.
  • the third artificial neural network is trained in this way, it is possible to automatically diagnose the carotid artery risk information as well as the lesion area for the carotid artery part that is primarily diagnosed as abnormal carotid artery in the later diagnosis mode.
  • the carotid artery diagnosis unit 220 shown in FIG. 2 may display and output the lesion region (eg, the location of a plaque) in the image of the carotid artery site as well as the carotid artery risk as a diagnosis result.
  • the lesion region eg, the location of a plaque
  • the carotid artery diagnosis unit 220 shown in FIG. 2 may expand the carotid artery region before diagnosing the carotid artery region image using the third artificial neural network.
  • the carotid artery ultrasound diagnosis system 200 shown in FIGS. 1 and 2 increases visibility of the carotid artery region image extracted from the carotid artery vascular search unit 210 and heatmaps it to improve diagnostic performance. It may further include a heat map processing unit 250 that transmits the .
  • the heat map processing unit 250 may be implemented as being included in the carotid artery diagnosis unit 220 .
  • the carotid artery ultrasound diagnosis system 200 can construct various types of carotid ultrasound diagnosis system 200 by mutually combining the first artificial neural network, the second artificial neural network, and the third artificial neural network.
  • the heat map processing unit 250 may be further included in such a system that can be built in various ways to increase visibility and diagnostic performance. For reference, according to the experimental values, it was found that the overall sensitivity was improved when the heat map image was used compared to the grayscale image.
  • the storage unit 230 stores control program data necessary for the carotid ultrasound diagnosis system 200 to control the overall operation of the medical device, as well as the learning data set by the specialist and the respective learning data related settings or Includes a DB in which marking information is stored.
  • the user interface unit 240 includes a manipulation unit for a specialist to set the environment, operation mode, ROI, etc. of the carotid ultrasound diagnosis system 200, and various display data according to system manipulation, diagnosis results, and carotid ultrasound images obtained by an ultrasound probe, etc. and a display unit on which an image is displayed.
  • the carotid ultrasound diagnosis system 200 which may have the above-described configuration and various combinations of artificial neural networks, will be described in more detail with reference to the accompanying drawings. to explain what to do.
  • FIG. 3 is a diagram for explaining a diagnosis process of a carotid ultrasound diagnosis system according to an embodiment of the present invention
  • FIGS. 4 to 10 are diagrams for explaining the operation of the carotid ultrasound diagnosis system according to an embodiment of the present invention A drawing is shown for
  • a carotid ultrasound image may be input through the carotid ultrasound image acquisition unit 100 (step S100 ).
  • the input carotid artery ultrasound image image is input to the carotid artery vascular search unit 210 .
  • the carotid artery vessel search unit 210 selects only the carotid ultrasound image image using the first artificial neural network previously learned from the input image image (step S110).
  • the first artificial neural network uses a 2-class classification artificial intelligence algorithm in the learning mode to pre-lear the carotid ultrasound image and images of general objects (desk, traffic light, sofa, etc.) or other ultrasound images, so that the input image From the image, only the carotid ultrasound image that is effective for diagnosis may be selected.
  • 4 illustrates selected carotid artery ultrasound images.
  • the carotid blood vessel search unit 210 extracts a carotid blood vessel region from the selected carotid artery ultrasound image image (step S120 ).
  • the vascular region marked by the specialist is learned from the readable carotid artery ultrasound image.
  • white represents blood vessels and black represents tissue, so if a specialist marks only the blood vessel area in a curved shape, by learning this pattern, the carotid blood vessel area as shown in FIG. A virtual line can be displayed on the boundary between the extracted blood vessel and tissue.
  • the carotid artery vascular search unit 210 displays the carotid artery part divided by the virtual line in a color differentiated from the tissue. The reason and examples of displaying the extracted carotid artery blood vessel region in a different color to differentiate it from the tissue will be described later.
  • the virtual line is generated by learning a pattern marked in a curved shape by a specialist, the roughness of the line is large and the shape of the line may be unnatural.
  • the carotid artery vascular search unit 210 uses the brightness of pixels positioned within a predetermined area based on the virtual line to smoothly correct the virtual line to display the carotid artery region in a color differentiated from the tissue. method can be adopted.
  • the edge between the blood vessel and the tissue can be referred to as the point where the brightness changes the most (the direction in which the value changes the most in the grayscale image can be defined as the edge), which is mathematically This is the direction in which the differential value changes the most. Since an image is a pixel unit, if the direction in which the brightness in one pixel changes the most, that is, the direction in which the differential value is greatest at that point is the vector a as shown in FIG. 6, a vector b perpendicular to the vector a can be defined. And, by connecting all of the vectors b, a carotid blood vessel site having an edge in which the virtual line is smoothly corrected can be obtained as shown in FIG. 7 .
  • the carotid blood vessel search unit 210 may display a carotid blood vessel region having an edge in which the virtual line is smoothly corrected, as shown in FIG. 7 , in a color differentiated from the tissue.
  • FIG. 8 shows carotid artery ultrasound image images shown in (a, b, and c) respectively shown in FIG. 4 but in which carotid artery blood vessels are displayed in color.
  • the ultrasound probe to a position ((c) of FIG. 8) where the carotid artery site can be recognized and an optimal carotid artery ultrasound image can be obtained by looking at the display screen as shown in (a), (b), (c) can be moved
  • ultrasound probe operator finds difficult during carotid ultrasound examination is that the ultrasound probe must be stopped at a specific position (represented as a frame image) in order to recognize the diagnostic site and obtain an optimal readable image.
  • the carotid blood vessel search unit 210 displays the carotid blood vessel region in color as shown in FIG. offers the advantage of being able to
  • the display type of the color-displayed carotid blood vessel region is preset as shown in FIG.
  • the present invention provides the convenience of guiding a probe operator to obtain an ultrasound image of the carotid artery at an optimal position.
  • the ultrasound diagnosis system according to an embodiment of the present invention is a femoral vein or middle vein ultrasound diagnosis system, it is possible to guide the probe operator to obtain an ultrasound image of the femoral vein or middle vein at an optimal position based on the above-described method. Provides convenience.
  • the ultrasound probe is stopped at the optimal position, and the image of the carotid artery region extracted from the carotid artery ultrasound image image obtained therefrom is transmitted to the carotid artery diagnosis unit 220 .
  • the image of the carotid artery region may be denoised through a denoising process step.
  • the carotid artery diagnosis unit 220 may simply diagnose whether the carotid artery is normal based on machine learning with respect to the transferred image of the carotid artery blood vessel region, and output and control the diagnosis result.
  • the carotid artery diagnosis unit 220 may diagnose whether the carotid artery is normal for the carotid artery using the second artificial neural network learned in advance (step S130). If the diagnosis is normal (step S140), the carotid artery diagnosis unit 220 displays the diagnosis result as normal on the user interface unit 240 (step S150) and ends the series of diagnosis processes.
  • the carotid artery diagnosis unit 220 When the diagnosis result is abnormal, if the carotid artery diagnosis unit 220 does not include the third artificial neural network, it simply displays the diagnosis result as abnormal, whereas if the carotid artery diagnosis unit 220 includes the third artificial neural network, The carotid artery diagnosis unit 220 may expand the carotid artery blood vessel region before diagnosing the carotid artery blood vessel image using the third artificial neural network. Such expansion of the carotid artery region is one option that can be selected.
  • the carotid artery diagnosis unit 220 diagnoses the risk of carotid artery for the extracted carotid blood vessel using the third artificial neural network learned in advance (step S160). As a result of the diagnosis, if the carotid artery risk is high-risk group carotid artery (step S170), proceed to step S180 and display the abnormal high-risk group (FH) carotid artery and lesion area (bounding box). If it is a low-risk group carotid artery, proceed to step S190, mark the abnormal low-risk group (FL) carotid artery and the lesion area (bounding box), and then end a series of diagnostic procedures.
  • step S170 the abnormal high-risk group carotid artery and lesion area (bounding box).
  • the carotid ultrasound diagnosis system 200 uses the first artificial neural network for the carotid ultrasound image image input or transmitted through the carotid ultrasound image acquisition unit 100 or read from the memory. Since the site of the carotid artery is found through the method, and at least the carotid blood vessel is displayed in a color differentiated from the tissue, it has the advantage of guiding the probe operator to obtain an ultrasound image of the carotid artery at an optimal location.
  • the carotid artery ultrasound diagnosis system 200 automatically diagnoses abnormalities in the carotid artery region through one or more artificial neural networks, as well as displays the risk and lesion area of the carotid artery as well. It is a useful invention that can provide the effect of not only being dependent on the reading ability of each (reader), but also accurately detecting even the microscopic signs in the ultrasound image.
  • the present invention can be implemented as an independent ultrasound diagnosis device, as well as as a remote medical treatment server, so it has the advantage of providing a remote medical service. Since it can be detected and displayed, the examinee who has a possibility of floating thrombus, the examinee with carotid artery stenosis, etc. can receive necessary measures in advance and prevent the risk of stroke in advance.
  • the carotid artery abnormality is automatically diagnosed by learning the rectangular carotid artery ultrasound image image. Not only can it be displayed in a color differentiated from the tissue, it can also automatically diagnose whether there is an abnormality in the carotid artery, and it can also automatically diagnose the abnormality of the carotid artery by learning the carotid ultrasound image in both the longitudinal and transverse directions. In some cases, if the results of automatic diagnosis of carotid blood vessel abnormalities on both longitudinal and transverse carotid ultrasound image images and the automatic diagnosis results are inconsistent, the newly learned artificial It is also possible to finally diagnose whether it is normal or abnormal through the neural network.
  • the carotid artery diagnosis unit 220 of the present invention may display the size of a bounding box centered on a lesion area marked by a specialist or a lesion (plaque) area detected as a result of diagnosis as shown in FIG. 10 .
  • the object of the technical solution of the present invention or parts contributing to the prior art may be implemented in the form of program instructions that can be executed through various computer components and recorded in a machine-readable recording medium.
  • the machine-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the machine-readable recording medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the art of computer software.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.
  • the hardware device is coupled with a memory (storage unit) such as ROM/RAM for storing program instructions as shown in FIG. 1, and may include a processor such as a CPU or GPU configured to execute instructions stored in the memory, It may include a communication unit capable of sending and receiving a signal to and from an external device.
  • the hardware device may include a keyboard, a mouse, and other external input devices for receiving commands written by developers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 최적의 위치에서 경동맥 혹은 갑상선 혹은 유방 혹은 대퇴정맥 혹은 중정맥 초음파 영상 이미지를 얻을 수 있도록 안내하여 진단기기 조작의 편의성을 제공할 수 있는 인공 신경망을 활용한 초음파 진단 시스템에 관한 것으로, 입력 영상 이미지에서 진단 부위(경동맥 혹은 갑상선 혹은 대퇴정맥 혹은 중정맥 혹은 유방)를 찾아 적어도 그 진단 부위를 조직과 차별화된 컬러로 표시 출력 제어하는 진단 부위 탐색부와, 상기 진단 부위 탐색부에 의해 찾아진 진단 부위의 이미지에 대해 제1인공 신경망에 기초하여 진단 부위의 정상여부를 진단하고 그 진단결과를 출력 제어하는 자동 진단부를 포함함을 특징으로 한다.

Description

초음파 진단 시스템
본 발명은 초음파 진단 시스템에 관한 것으로, 특히 하나 이상의 인공 신경망을 이용하여 초음파 진단부위의 이상징후를 진단하는 시스템에 관한 것이다.
초음파는 일종의 탄성파이다. 이에 인체 내부로 전파되면서 인체 조직의 물리적 특성에 따라 매질의 경계면에서는 반사되거나 투과되고 흡수로 인해 진폭 감쇠가 일어나기도 한다. 이러한 초음파의 특성을 이용하면 인체 내부 조직의 영상을 얻을 수 있고 이 영상으로부터 조직의 크기나 특성을 결정지을 수 있기 때문에 초음파 진단기기가 의료업계에서 폭넓게 활용되고 있다.
초음파 진단기기를 이용해 신체의 이상 여부를 진단하는 부위로 널리 알려져 있는 것은 경동맥 초음파, 유방 초음파, 갑상선 초음파, 심부정맥혈전중 초음파(Deep Vein Thrombosis)(대퇴정맥 혈관, 중정맥 혈관이 대상) 등이다.
참고적으로 경동맥(Carotid artery) 또는 목동맥은 목을 지나서 안면과 두개골 안으로 들어가는 동맥으로써 크게 외경동맥과 내경동맥으로 나눠지며, 외경동맥은 주로 두개골 밖에 있는 피부나 근육에 혈액을 공급하고 내경동맥은 두개골 내의 뇌나 신경조직에 혈액을 공급한다.
외경동맥은 좁아지거나 막히더라도 다른 혈관을 통해서 비교적 풍부하게 혈액이 공급되므로 특별히 문제가 발생하지 않는다. 하지만 내경동맥은 좁아지거나 막히면 뇌에 혈액공급이 감소할 수 있으며, 내경동맥 벽에 침착되어 있는(쌓여서 들러붙어 있는) 지방 조직들이 떨어져 나와 뇌혈관의 말단 부위로 흘러가 혈관을 막을 수도 있다. 이처럼 내경동맥을 포함한 경동맥이 좁아지는 경우를 경동맥 협착증이라고 지칭하며, 이는 혈류를 감소시키거나 혈관을 막게 되어 허혈성 뇌졸중의 원인이 된다. 따라서 경동맥 협착증이 있는 경우 뇌졸중의 예방과 치료를 위해 치료 대상이 된다.
경동맥 협착증을 조기 진단 및 검사하는 방법의 하나가 경동맥 초음파이다. 경동맥 초음파는 경동맥 내 플라크 유무, 혈액의 흐름, 혈관 두께 등을 관찰하는 간단한 검사로서, 검사시간이 짧고 비용이 저렴하다는 장점이 있다.
하지만 검사자가 충분한 기술과 지식을 습득해야 수행이 가능하다는 단점이 있으며, 동일한 초음파 영상에 대해서도 검사자별로 판독 능력에 차이를 보일 수 있으며, 초음파 영상에서 미세하게 표시되는 징후에 대해서는 숙련된 검사자라 하더라도 판독 능력이 떨어져 오진 확률이 높다는 단점이 있다.
특히, 경동맥의 이상징후를 정확히 진단하기 위해서는 무엇보다 최적의 위치에서 경동맥 초음파 영상 이미지를 얻을 수 있는 방법이 필요한데, 숙련된 전문가가 아닌 이상 최적의 초음파 영상을 얻을 수 있는 위치까지 초음파 프로브를 이동하는 것이 그리 쉬운 일이 아니다. 이는 경동맥 초음파는 물론, 갑상선 초음파, 유방 초음파 등 여러 초음파 진단에서 공통적으로 나타나는 문제이다.
이에 신체 부위의 이상징후를 정확히 진단하기 위해 필요한 초음파 영상을 얻을 수 있는 위치까지 안내하여 누구나 편리하게 사용할 수 있는 새로운 방식의 초음파 진단 시스템이 요구되는 바이며, 검사자별 판독 능력에 좌우되지 않으면서도, 초음파 영상에서 미세하게 나타나는 징후까지 정확하게 검출하여 신체 부위의 이상징후를 정확히 예측 진단할 수 있는 새로운 방식의 초음파 진단 시스템이 필요하다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 등록특허공보 제10-2009840호
이에 본 발명은 상술한 필요성에 따라 창안된 발명으로서, 본 발명의 주요 목적은 검사자에 상관없이 균일하고도 정확하게 경동맥, 갑상선, 대퇴정맥, 중정맥, 유방의 이상징후를 자동 진단할 수 있는 인공 신경망을 활용한 초음파 진단 시스템을 제공함에 있으며,
더 나아가 본 발명의 또 다른 목적은 최적의 위치에서 경동맥, 갑상선, 대퇴정맥, 중정맥, 유방의 초음파 영상 이미지를 얻을 수 있도록 안내하여 진단기기 조작의 편의성을 제공할 수 있는 인공 신경망을 활용한 초음파 진단 시스템을 제공함에 있다.
또한 본 발명은 입력 영상 중 경동맥 혹은 갑상선 혹은 대퇴정맥 혹은 중정맥 혹은 유방의 초음파 이미지만을 선별하여 경동맥 혹은 갑상선 혹은 대퇴정맥 혹은 중정맥 혹은 유방의 이상여부를 자동 진단할 수 있는 인공 신경망을 활용한 초음파 진단 시스템을 제공함에 있으며,
더 나아가 본 발명의 또 다른 목적은 부유(浮遊) 혈전으로 발전할 가능성이 있는 혈관 플라크를 검색해 뇌졸증의 발생 가능성을 사전 통보해 줄 수 있는 인공 신경망을 활용한 초음파 진단 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은 경동맥, 갑상선, 대퇴정맥, 중정맥 혹은 유방 중 하나 이상의 진단 부위에 대한 비정상 여부를 자동 진단하되, 비정상적인 진단 부위(경동맥, 갑상선, 대퇴정맥, 중정맥, 유방)에 대해서 그 진단 부위의 위험도를 다단계로 차별화하여 표시할 수 있는 인공 신경망을 활용한 초음파 진단 시스템을 제공함에 있으며,
더 나아가 본 발명은 하나 이상의 인공 신경망을 활용하여 경동맥, 갑상선, 대퇴정맥, 중정맥 혹은 유방 중 하나 이상의 이상여부를 정확하게 자동 진단하거나, 원격지에서 전송되어 온 초음파 영상 이미지에 대하여 경동맥, 갑상선, 대퇴정맥, 중정맥, 유방의 이상여부를 정확하게 자동 진단하여 통보해 줄 수 있는 인공 신경망을 활용한 초음파 진단 시스템을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 초음파 진단 시스템은,
입력 영상 이미지에서 진단 부위를 찾아 적어도 그 진단 부위를 조직과 차별화된 컬러로 표시 출력 제어하는 진단 부위 탐색부와;
상기 진단 부위 탐색부에 의해 찾아진 진단 부위의 이미지에 대해 제1인공 신경망에 기초하여 진단 부위의 정상여부를 진단하고 그 진단결과를 출력 제어하는 자동 진단부;를 포함함을 특징으로 한다.
더 나아가 상술한 초음파 진단 시스템에 있어서, 상기 진단 부위 탐색부는,
입력 영상 이미지에서 경동맥, 갑상선, 유방, 대퇴정맥, 중정맥 중 어느 하나의 초음파 영상 이미지만을 선별하고, 선별된 초음파 영상 이미지에서 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나의 부위를 추출하도록 사전 학습된 제2인공 신경망을 포함함을 또 다른 특징으로 하며,
상기 제2인공 신경망은 장방향과 횡방향 모두의 초음파 영상 이미지를 선별 표시토록 학습된 인공 신경망임을 특징으로 한다.
더 나아가 상기 자동 진단부는,
상기 진단결과가 비정상일 경우 사전 학습된 제3인공 신경망을 이용해 상기 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 한 부위의 이미지에 대해 위험도를 진단하고 진단된 위험도를 상기 진단결과로서 출력 제어함을 또 다른 특징으로 하며,
상기 진단 부위 탐색부는 컬러 표시되는 진단 부위가 사전 설정되어 있는 표시형태를 가질 때 초음파 프로브의 정지명령을 출력 제어하되, 상기 컬러 표시되는 진단 부위는 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나임을 특징으로 한다.
변형 가능한 또 다른 실시예로서 상술한 구성의 초음파 진단 시스템에 있어서, 상기 진단 부위 탐색부는,
입력 영상 이미지에서 경동맥, 갑상선, 유방, 대퇴정맥, 중정맥 중 어느 하나의 초음파 영상 이미지만을 선별하고, 선별된 초음파 영상 이미지에서 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나를 추출하여 가상라인으로 표시하도록 사전 학습된 제2인공 신경망을 포함하고, 상기 진단 부위 탐색부는 화소의 밝기를 이용해 상기 가상라인을 보정하여 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나를 조직과 차별화된 컬러로 표시 출력 제어함을 특징으로 한다.
변형 가능한 또 다른 실시예로서 상술한 구성의 초음파 진단 시스템에 있어서, 상기 자동 진단부는 상기 진단결과가 비정상일 경우 사전 학습된 제3인공 신경망을 이용해 상기 진단 부위 탐색부에 의해 찾아진 진단 부위 이미지에 대해 위험도를 진단하고 진단된 위험도를 상기 진단결과로서 출력 제어할 수 있으며, 이러한 시스템 구성에서 진단 부위 탐색부는 입력 영상 이미지에서 경동맥, 갑상선, 유방, 대퇴정맥, 중정맥 중 어느 하나의 초음파 영상 이미지만을 선별하고, 선별된 초음파 영상 이미지에서 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나의 부위를 진단 부위로 추출하도록 사전 학습된 제2인공 신경망을 포함할 수도 있다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명은 경동맥 혈관의 초음파 이미지, 갑상선 초음파 이미지, 대퇴정맥 혈관의 초음파 이미지, 중정맥 혈관의 초음파 이미지, 유방의 초음파 이미지에서 각각 경동맥 혈관 부위 혹은 갑상선 부위 혹은 대퇴정맥 혈관 혹은 중정맥 혈관 부위 혹은 유방 부위를 추출하여 컬러화 표시하기 때문에 진단 부위가 되는 경동맥 혈관 부위, 갑상선 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위, 유방 부위를 진단기기 조작자가 용이하게 인지할 수 있는 이점을 제공하며,
더 나아가 자동 진단을 위해 필요한 최적의 위치에서 진단 부위에 대한 초음파 영상 이미지가 얻어질 수 있도록 프로브 조작의 이동을 안내할 수 있는 편의성을 제공한다.
또한 본 발명은 사전 학습된 인공 신경망을 통해 입력 영상 이미지에서 경동맥 혹은 갑상선 혹은 대퇴정맥 혹은 중정맥 혹은 유방의 초음파 영상 이미지만을 선별하여 자동 진단할 수 있기 때문에 진단할 수 없는 부적절한 영상 이미지를 미리 필터링해 낼 수 있어 시스템의 신뢰성을 높일 수 있는 장점이 있으며,
하나 이상의 인공 신경망을 통해 경동맥 혹은 대퇴정맥 혹은 중정맥 혹은 갑상선 혹은 유방의 이상여부를 자동 진단해 줌은 물론, 진단 부위에 대한 위험도와 병변 영역까지 함께 표시해 주기 때문에, 검사자(판독자)별 판독 능력에 좌우되지 않음은 물론 초음파 영상에서 미세하게 표시되는 징후까지 정확하게 검출할 수 있는 효과를 제공한다.
더 나아가 본 발명은 독립된 초음파 진단기기로 구현할 수 있음은 물론, 원격 진료 서버로 구현할 수 있기 때문에 원격 진료 서비스를 제공할 수 있는 이점이 있으며, 검사자의 육안으로 식별 불가능한 분리 가능성이 높은 혈전을 사전에 검출하여 표시해 줄 수 있기 때문에, 혈전의 부유 가능성이 있는 검진자, 경동맥 협착증이 있는 검진자 등은 필요한 조치를 사전에 받을 수 있어 뇌졸증 위험을 사전에 예방할 수 있다.
도 1은 본 발명의 일 실시예에 따른 초음파 진단 시스템으로서 경동맥 진단 시스템을 포함하는 의료진단 기기의 블럭 구성 예시도.
도 2는 도 1 중 본 발명의 또 다른 실시예에 따른 경동맥 초음파 진단 시스템의 일부 구성 예시도.
도 3은 본 발명의 일 실시예에 따른 경동맥 초음파 진단 시스템의 진단과정을 설명하기 위한 도면.
도 4 내지 도 10은 본 발명의 일 실시예에 따른 경동맥 초음파 진단 시스템의 동작을 부연 설명하기 위한 도면 예시도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
그리고 본 발명의 상세한 설명 및 청구항들에 걸쳐 '학습'은 절차에 따라 딥 러닝을 수행함을 일컫는 용어인바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 이해할 수 있을 것이다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
참고적으로 하기에서 언급되는 인공 신경망은 일 예로서, 인공 신경망을 다층으로 쌓은 CNN(convolutional neural network; 합성 신경망) 모델일 수 있다. 이는 깊은 구조의 네트워크라는 의미로 딥 뉴럴 네트워크(deep neural network)라 표현할 수 있다. 이러한 딥 뉴럴 네트워크에서는 다량의 데이터를 학습시킴으로써 각각의 이미지의 특징을 자동으로 학습하고, 이를 통하여 목적 함수의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다. 이러한 CNN 모델은 이미 공지된 것이므로 이에 대한 상세 설명은 생략하기로 한다.
또한 하기에서는 본 발명의 실시예에 따른 초음파 진단 시스템으로서 경동맥 초음파 진단 시스템을 일 예로 하여 본 발명의 실시 예를 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 초음파 진단 시스템으로서 경동맥 진단 시스템을 포함하는 의료진단 기기의 블럭 구성 예시한 것이며, 도 2는 도 1 중 본 발명의 또 다른 실시예에 따른 경동맥 초음파 진단 시스템의 일부 구성, 즉 경동맥 진단부(220)의 구성도를 예시한 것이다.
하기에서 사용되는 용어 중 경동맥 혈관 탐색부(210)와 경동맥 진단부(220)는 경동맥 초음파 진단 시스템을 가정하여 본 발명의 실시예를 설명하기 위해 붙여진 용어로서, 예를 들어 대퇴정맥 혈관을 초음파로 진단하는 초음파 진단 시스템이라면 경동맥 혈관 탐색부(210)는 대퇴정맥 혈관 탐색부로, 경동맥 진단부(220)는 대퇴정맥 진단부로 명명될 수 있을 것이다. 이에 경동맥 혈관 탐색부, 대퇴정맥 혈관 탐색부, 중정맥 혈관 탐색부, 갑상선 탐색부, 유방 탐색부 각각은 진단 부위에 따라 붙여진 용어이므로 본 명세서의 특허청구범위에서는 진단 부위 탐색부로 명명하기로 한다. 이와 함께 경동맥 진단부(220), 대퇴정맥 진단부, 중정맥 진단부, 갑상선 진단부, 유방 진단부는 진단 부위에 대해 이상여부를 자동 진단하는 구성이므로 본 명세서의 특허청구범위에서는 자동 진단부로 명명하기로 한다.
이하 도 1을 참조하면, 우선 도 1에서는 본 발명의 실시예에 따른 경동맥 초음파 진단 시스템(200)이 의료진단 기기, 예를 들면 초음파 의료진단 기기의 일부를 구성하는 것으로 도시하였으나, 입력 혹은 전송받은 혹은 메모리에서 독출된 경동맥 초음파 영상 이미지를 판독하여 진단할 수 있는 컴퓨터 시스템에도 구축될 수 있으며, 원격 진단을 위해 통신망을 통해 다수의 의료기관 컴퓨터 시스템과 연결될 수 있는 원격 진단 서버에도 구축되어 경동맥의 이상여부를 진단할 수 있다.
도 1을 참조하면, 경동맥 초음파 영상 이미지 획득부(100)는 진단하고자 하는 경동맥 초음파 영상 이미지를 획득하기 위한 구성이다. 경동맥 초음파 진단 시스템(200)이 의료진단 기기의 일부일 경우 상기 경동맥 초음파 영상 이미지 획득부(100)는 경동맥을 포함하는 검진부위에 초음파 신호를 송신하고 그 검진부위로부터 반사되는 초음파 에코신호를 수신하는 초음파 프로브와, 상기 초음파 프로브로부터 제공되는 초음파 에코신호를 신호처리하여 상기 경동맥 초음파 영상 이미지로 변환하는 초음파 영상 이미지 생성부로 구현될 수 있다.
경동맥 초음파 진단 시스템(200)이 전문의 등이 사용하는 진단용 컴퓨터 시스템 혹은 의료기관의 컴퓨터 시스템이라면, 상기 경동맥 초음파 영상 이미지 획득부(100)는 상기 초음파 프로브와 상기 초음파 영상 이미지 생성부를 포함하는 주변 초음파 기기와 데이터 인터페이스할 수 있는 인터페이스부일 수 있고, 이동형 저장장치와 데이터 송수신할 수 있는 인터페이스부일 수 있다.
만약 경동맥 초음파 진단 시스템(200)을 원격 진단 서버에 구축한 경우라면 상기 경동맥 초음파 영상 이미지 획득부(100)는 통신망을 통해 원격지의 의료기관 컴퓨터 시스템으로부터 경동맥 초음파 영상 이미지를 수신하기 위한 수신부일 수 있다.
다시 도 1을 참조하면, 경동맥 초음파 진단 시스템(200)은,
입력 영상 이미지에서 경동맥 혈관 부위(진단 부위에 해당함)를 찾아 적어도 그 경동맥 혈관 부위(진단 부위)를 조직과 차별화된 컬러로 표시 출력 제어하는 경동맥 혈관 탐색부(210)(진단 부위 탐색부로 칭할 수 있음)와,
상기 경동맥 혈관 탐색부(210)에 의해 찾아진 경동맥 혈관 부위의 이미지에 대해 제2인공 신경망에 기초하여 경동맥 정상여부를 진단하고 그 진단결과를 출력 제어하는 경동맥 진단부(220)(자동 진단부로 칭할 수 있음)를 포함한다.
상기 경동맥 혈관 탐색부(210)는 입력 영상 이미지에서 경동맥 초음파 영상 이미지만을 선별하고, 선별된 경동맥 초음파 영상 이미지에서 경동맥 혈관 부위를 추출하도록 사전 학습된 제1인공 신경망을 포함할 수 있다.
입력 영상 중 경동맥 초음파 영상 이미지만을 선별하기 위해 상기 제1인공 신경망은 2-class 구분 인공지능 알고리즘을 이용해 한쪽에는 경동맥 초음파 이미지를, 다른 한쪽에는 경동맥 초음파가 아닌 일반 사물들(책상, 신호등, 쇼파, 등등)에 대한 이미지는 물론 진단에 부적합한 경동맥 초음파 이미지, 갑상선 초음파 이미지, 복부 초음파 이미지 등을 사전에 학습시킴으로써, 입력 영상 이미지에서 진단에 유효한 경동맥 초음파 영상 이미지만을 선별 추출할 수 있다.
구현 방법에 따라서는 상기 제1인공 신경망이 입력 영상 이미지에서 1차적으로 초음파 영상 이미지만을 선별하도록 구성하고, 선별된 초음파 영상 이미지에서 경동맥 초음 영상 이미지만을 선별한 후 진단에 부적법한 경동맥 초음파 이미지를 필터링하도록 구성될 수도 있을 것이다.
더 나아가 상기 경동맥 혈관 탐색부(210)에 포함되는 제1인공 신경망은 장방향(B-Type)과 횡방향(A-Type) 모두의 경동맥 초음파 영상 이미지를 선별 표시토록 학습된 인공 신경망일 수 있다. 횡방향은 사람의 목에서 뇌로 올라가는 혈관을 cross-section으로 잘랐을 경우의 혈관 단면을 볼 수 있는 방향을 의미하며, 장방향은 혈관의 길이 방향을 의미한다.
또 다른 변형 실시예로서, 상기 경동맥 혈관 탐색부(210)는,
입력 영상 이미지에서 경동맥 초음파 영상 이미지만을 선별하고, 선별된 경동맥 영상 이미지에서 경동맥 혈관 부위를 추출하여 가상라인으로 표시하도록 사전 학습된 제1인공 신경망을 포함한다. 이러한 경우 경동맥 혈관 탐색부(210)는 화소의 밝기를 이용해 상기 가상라인을 보정함으로써, 경동맥 혈관의 에지(edge)부와 조직 사이에 형성되는 거칠기를 보다 매끄럽게 정리할 수 있다.
화소의 밝기를 이용해 가상라인을 보정하는 것과 경동맥 혈관 부위를 조직과 차별화된 컬러로 표시는 것은 도 3에서 보다 상세히 설명하기로 한다.
변형 가능한 또 다른 실시예로서 상기 경동맥 혈관 탐색부(210)는 컬러 표시되는 경동맥 혈관 부위의 표시형태가 사전 설정되어 있는 표시형태를 가질 때 초음파 프로브의 정지명령을 출력 제어함으로써, 초음파 프로브 사용자가 최적의 위치에서 경동맥 초음파 영상 이미지를 얻을 수 있도록 안내할 수 있다. 이에 대해서도 도 3에서 보다 상세히 설명하기로 한다.
이상에서 설명한 제1인공 신경망의 학습은 전문의에 의해 마킹된 초음파 경동맥 혈관 이미지 혹은 경동맥 혈관 부위를 학습 데이터로 설정해 이루어질 수 있다.
한편, 제2인공 신경망을 포함하는 경동맥 진단부(220)는 전문의에 의해 정상 혹은 비정상 마킹된 하나 이상의 경동맥 혈관 부위의 이미지를 학습 데이터로 설정해 제2인공 신경망을 학습시킨다.
경동맥 진단부(220)는 경동맥 혈관 부위의 이미지 내에 병변 영역을 표시하여 진단결과로 함께 출력 제어할 수 있다.
변형 가능한 실시예로서, 경동맥 진단부(220)는 도 2에 도시한 바와 같이 제2인공 신경망 외에 제3인공 신경망을 더 포함할 수 있다. 이러한 경동맥 진단부(220)는 제2인공 신경망에 의해 진단한 결과가 비정상일 경우 사전 학습된 제3인공 신경망을 이용해 상기 경동맥 혈관 부위의 이미지에 대해 경동맥 위험도를 진단하고 진단된 위험도를 상기 진단결과로서 유저 인터페이스부(I/F)를 구성하는 표시부에 출력 제어할 수 있다.
상기 '경동맥 위험도'란 '비정상 고위험군', '비정상 저위험군'과 같이 위험도를 단계별로 등급화하여 위험도를 표시한 것을 말한다. 하기 설명에서는 두 단계로 등급화하였지만 이는 하나의 예시일 뿐 2단계 이상으로 세분화할 수 있을 것이다.
제2 및 제3인공 신경망을 포함하는 경동맥 진단부(220)는 하나 이상의 경동맥 혈관 부위의 이미지에서 전문의에 의해 설정된 병변 영역 및 그 병변 영역에 대해 설정된 경동맥 위험도를 학습 데이터로 설정해 상기 제3인공 신경망을 학습시킨다. 예를 들어 전문의는 비정상 경동맥 혈관 부위를 판독해 플라크가 과도하게 위치하는 병변 영역, 혈전이 과도하게 혈관 내에 분포해 있는 병변 영역, 혈전의 분리 가능성이 높아 보이는 병변 영역, 경동맥 협착증이 보이는 병변 영역 등을 박스로 설정하고 설정된 각 병변 영역에 대한 경동맥 위험도, 예를 들면 비정상 고위험군 경동맥, 비정상 저위험군 경동맥을 함께 설정해 준다. 이어 전문의가 병변 영역과 경동맥 위험도가 설정된 경동맥 혈관 부위에 대해 학습명령을 내리면 경동맥 진단부(220)는 병변 영역 및 경동맥 위험도가 설정된 경동맥 혈관 부위를 학습 데이터로 설정해 제3인공 신경망을 학습시킨다.
이와 같은 방식으로 제3인공 신경망을 학습시키면, 추후 진단모드에서 비정상 경동맥으로 1차 진단된 경동맥 혈관 부위에 대해 병변 영역은 물론 경동맥 위험도 정보까지 자동 진단할 수 있다.
한편, 도 2에 도시한 경동맥 진단부(220)는 경동맥 위험도 뿐만 아니라 경동맥 혈관 부위의 이미지 내에 병변 영역(예를 들면 플라크의 위치)을 진단결과로서 함께 표시 출력해 줄 수도 있다.
더 나아가 도 2에 도시한 경동맥 진단부(220)는 제3인공 신경망을 이용해 경동맥 혈관 부위 이미지를 진단하기 전에 경동맥 혈관 부위를 확장 처리할 수도 있다.
아울러 도 1 및 도 2에 도시한 경동맥 초음파 진단 시스템(200)은 경동맥 혈관 탐색부(210)에서 추출된 경동맥 혈관 부위 이미지를 가시성을 높이는 한편 진단 성능을 높이기 위해 히트맵 처리해 경동맥 진단부(220)로 전달하는 히트맵 처리부(250)를 더 포함할 수도 있다. 이러한 히트맵 처리부(250)는 경동맥 진단부(220)내에 포함되는 것으로 구현할 수도 있다.
참고적으로 본 발명의 실시예에 따른 경동맥 초음파 진단 시스템(200)은 제1인공 신경망, 제2인공 신경망, 제3인공 신경망들을 상호 조합하여 다양한 형태의 경동맥 초음파 진단 시스템(200)을 구축할 수 있으며, 이와 같이 다양하게 구축 가능한 시스템에 히트맵 처리부(250)를 더 포함시켜 가시성 및 진단 성능을 높일 수 있다. 참고적으로 실험치에 따르면 그레이스케일 이미지에 비해 히트맵 이미지를 이용했을 경우 민감도가 전반적으로 향상된 것으로 나타났다.
도 1에서 미설명한 저장부(230)는 경동맥 초음파 진단 시스템(200)이 의료기기의 전반적인 동작을 제어하기 위해 필요한 제어 프로그램 데이터가 저장됨은 물론, 전문의에 의해 설정된 학습 데이터와 각 학습 데이터 관련 설정 혹은 마킹 정보들이 저장되는 DB를 포함한다.
유저 인터페이스부(240)는 전문의가 경동맥 초음파 진단 시스템(200)의 환경, 동작 모드, ROI 등을 설정하기 위한 조작부와, 시스템 조작에 따른 각종 표시 데이터, 진단 결과, 초음파 프로브 등에 의해 얻어지는 경동맥 초음파 영상 이미지가 표시되는 표시부를 포함한다.
이하 상술한 구성과 다양한 인공 신경망 조합을 가질 수 있는 경동맥 초음파 진단 시스템(200)의 동작을 첨부 도면을 참조하여 보다 상세히 설명하되, 하기에서는 장방향 경동맥 초음파 영상 이미지를 분석하여 경동맥의 이상여부를 진단하는 것에 대해 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 경동맥 초음파 진단 시스템의 진단과정을 설명하기 위한 도면을 도시한 것이며, 도 4 내지 도 10은 본 발명의 실시예에 따른 경동맥 초음파 진단 시스템의 동작을 부연 설명하기 위한 도면을 도시한 것이다.
도 3을 참조하면, 우선 진단모드에서 경동맥 초음파 영상 이미지는 경동맥 초음파 영상 이미지 획득부(100)를 통해 입력(S100단계) 가능하다. 입력된 경동맥 초음파 영상 이미지는 경동맥 혈관 탐색부(210)로 입력된다.
경동맥 혈관 탐색부(210)는 입력된 영상 이미지에서 사전 학습된 제1인공 신경망을 이용해 경동맥 초음파 영상 이미지만을 선별(S110단계)한다. 앞서 설명하였듯이 제1인공 신경망은 학습모드에서 2-class 구분 인공지능 알고리즘을 이용해 경동맥 초음파 이미지와 일반 사물들(책상, 신호등, 쇼파, 등등)에 대한 이미지 혹은 타 초음파 이미지를 사전 학습함으로써, 입력 영상 이미지에서 진단에 유효한 경동맥 초음파 영상 이미지만을 선별할 수 있다. 도 4는 선별된 경동맥 초음파 영상을 예시한 것이다.
이후 경동맥 혈관 탐색부(210)는 선별된 경동맥 초음파 영상 이미지에서 경동맥 혈관 부위를 추출(S120단계)한다. 참고적으로 학습모드에서는 판독 가능한 경동맥 초음파 이미지에 대해 전문의가 마킹한 혈관 부위를 학습한다. 그레이 스케일의 전체 경동맥 초음파 이미지에서 흰색은 혈관, 검정색은 조직을 나타내기에, 전문의가 혈관 부위만을 곡선 형태로 마킹해 주면 이러한 패턴을 학습함으로써 도 5의 (b)에 도시한 바와 같은 경동맥 혈관 부위를 추출해 추출한 혈관 부위와 조직의 경계에 가상라인을 표시할 수 있다.
이어 경동맥 혈관 탐색부(210)는 가상라인으로 구분되는 경동맥 혈관 부위를 조직과 차별화된 컬러로 표시해 준다. 이와 같이 추출된 경동맥 혈관 부위를 조직과 차별화하기 위해 다른 컬러로 표시하는 이유와 예는 후술하기로 한다.
다만, 상기 가상라인은 전문의가 곡선 형태로 마킹한 패턴을 학습하여 생성되는 것이기 때문에 라인의 거칠기가 크고 라인의 형태가 부자연스러울 수 있다.
이에 변형 가능한 실시예로서 경동맥 혈관 탐색부(210)는 상기 가상라인을 기준으로 소정 영역내에 위치하게 되는 화소들의 밝기를 이용해 상기 가상라인을 부드럽게 보정하여 경동맥 혈관 부위를 조직과 차별화된 컬러로 표시하는 방법을 채택할 수 있다.
보다 구체적으로, 혈관과 조직과의 에지(edge)는 밝기가 가장 많이 변하는(그레이 스케일 이미지에서 값이 가장 크게 변하는 방향을 에지라 정의할 수 있음)점이라 할 수 있고, 이는 수학적으로 한 점에서 미분값이 가장 크게 변하는 방향이다. 이미지는 화소 단위이기 때문에, 한 픽셀에서 밝기가 가장 많이 변하는, 즉 그 점에서 미분값이 가장 큰 방향을 도 6에 도시한 바와 같이 벡터 a라고 하면 그 벡터 a에 수직인 벡터b를 정의할 수 있고, 그 벡터 b를 모두 이음으로써 도 7에 도시한 바와 같이 가상라인이 매끄럽게 보정된 에지를 가지는 경동맥 혈관 부위가 얻어질 수 있다.
따라서 경동맥 혈관 탐색부(210)는 가상라인이 매끄럽게 보정된 에지를 가지는 경동맥 혈관 부위를 도 7에 도시한 바와 같이 조직과 차별화된 컬러로 표시할 수 있다.
도 8은 도 4에 각각 도시된(a,b,c) 경동맥 초음파 영상 이미지에 대응하되 경동맥 혈관 부위가 컬러화 표시되어 있는 것을 도시한 것으로, 초음파 프로브 조작자는 전문의와 같은 전문 지식이 없더라도 도 8의 (a), (b), (c)에 도시한 바와 같은 표시화면을 보고 경동맥 혈관 부위를 인지할 수 있고, 최적의 경동맥 초음파 이미지를 얻을 수 있는 위치(도 8의 (c))로 초음파 프로브를 이동시킬 수 있다.
참고적으로, 경동맥 초음파 검사시 초음파 프로브 조작자가 어려워하는 것은 진단부위를 인식하는 것과, 판독이 가능한 최적의 이미지를 얻기 위해 특정 위치(프레임 영상으로 나타남)에서 초음파 프로브를 멈추어야 한다는 것이다.
이러한 문제를 해결하기 위해 본 발명의 실시예에 따른 경동맥 혈관 탐색부(210)는 도 8에 도시한 바와 같이 경동맥 혈관 부위를 컬러화 표시하기 때문에 진단 부위가 되는 경동맥 혈관 부위를 프로브 조작자가 용이하게 인지할 수 있는 이점을 제공한다.
더 나아가 경동맥 혈관 탐색부(210)는 컬러 표시되는 경동맥 혈관 부위의 표시형태가 도 8의 (c)에 도시한 바와 같이 사전 설정되어 있는 표시형태(장방향의 경우 경동맥 혈관이 가로로 길게 잘 표현되어 있는 경우)를 가질 때 초음파 프로브의 정지명령을 출력 제어함으로써, 프로브 조작자는 도 8의 (c)와 같은 영상이 얻어질때까지 초음파 프로브를 이동시키고, 정지명령이 출력되면 프로브 조작을 멈춤으로써 상술한 문제를 해결할 수 있다. 참고적으로 경동맥 초음파의 횡방향 영상에 대해서는 혈관이 원형으로 표현되었을때 멈추는 것이 일반적이다.
이에 본 발명은 최적의 위치에서 경동맥 초음파 영상 이미지를 얻을 수 있도록 프로브 조작자를 안내할 수 있는 편의성을 제공한다. 만약 본 발명의 실시예에 따른 초음파 진단 시스템이 대퇴정맥 혹은 중정맥 초음파 진단 시스템이라면 상술한 방식에 의거해 최적의 위치에서 대퇴정맥 혹은 중정맥 초음파 영상 이미지를 얻을 수 있도록 프로브 조작자를 안내할 수 있는 편의성을 제공한다.
이상에서 설명한 바와 같이 최적의 위치에서 초음파 프로브가 멈추고 그로부터 얻어지는 경동맥 초음파 영상 이미지에서 추출되는 경동맥 혈관 부위의 이미지는 경동맥 진단부(220)로 전달된다. 이러한 경동맥 혈관 부위의 이미지는 노이즈 제거 처리 단계를 통해 노이즈 제거될 수 있다.
경동맥 진단부(220)는 전달된 경동맥 혈관 부위의 이미지에 대해 기계학습에 근거하여 단순히 경동맥 정상여부를 진단하고 그 진단결과를 출력 제어할 수 있다.
경우에 따라 상기 경동맥 진단부(220)는 사전 학습된 제2인공 신경망을 이용해 경동맥 혈관 부위에 대해 경동맥 정상 여부를 진단(S130단계)할 수 있다. 만약 정상으로 진단(S140단계)되면 경동맥 진단부(220)는 유저 인터페이스부(240)에 그 진단결과를 정상으로 표시(S150단계)하고 일련의 진단과정을 종료한다.
진단결과가 비정상일 경우 경동맥 진단부(220)가 제3인공 신경망을 포함하고 있지 않은 경우라면 단순히 진단결과를 비정상으로 표시하는데 반해, 경동맥 진단부(220)가 제3인공 신경망을 포함하고 있다면, 경동맥 진단부(220)는 제3인공 신경망을 이용해 경동맥 혈관 이미지를 진단하기 전에 경동맥 혈관 부위를 확장 처리할 수도 있다. 이와 같은 경동맥 혈관 부위의 확장은 선택 가능한 하나의 옵션이다.
경동맥 진단부(220)는 사전 학습된 제3인공 신경망을 이용해 추출된 경동맥 혈관 부위에 대해 경동맥 위험도를 진단(S160단계)한다. 진단결과 경동맥 위험도가 고위험군 경동맥이라면(S170단계) S180단계로 진행하여 비정상 고위험군(FH) 경동맥과 병변 영역(바운딩 박스)을 표시한다. 만약 저위험군 경동맥이라면 S190단계로 진행하여 비정상 저위험군(FL) 경동맥과 병변 영역(바운딩 박스)을 표시한 후 일련의 진단과정을 종료한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 따른 경동맥 초음파 진단 시스템(200)은 경동맥 초음파 영상 이미지 획득부(100)를 통해 입력 혹은 전송 혹은 메모리에서 독출된 경동맥 초음파 영상 이미지에 대해 제1인공 신경망을 통해 경동맥 혈관 부위를 찾아 적어도 그 경동맥 혈관 부위를 조직과 차별화된 컬러로 표시하여 출력하기 때문에 최적의 위치에서 경동맥 초음파 영상 이미지를 얻을 수 있도록 프로브 조작자를 안내할 수 있는 이점이 있다.
더 나아가 본 발명의 실시예에 따른 경동맥 초음파 진단 시스템(200)은 하나 이상의 인공 신경망을 통해 경동맥 혈관 부위의 이상여부를 자동 진단해 줌은 물론, 경동맥의 위험도와 병변 영역까지 함께 표시해 주기 때문에, 검사자(판독자)별 판독 능력에 좌우되지 않음은 물론 초음파 영상에서 미세하게 표시되는 징후까지 정확하게 검출할 수 있는 효과를 제공할 수 있는 유용한 발명이다.
더 나아가 본 발명은 독립된 초음파 진단기기로 구현할 수 있음은 물론, 원격 진료 서버로 구현할 수 있기 때문에 원격 진료 서비스를 제공할 수 있는 이점이 있으며, 검사자의 육안으로 식별 불가능한 분리 가능성이 높은 혈전을 사전에 검출하여 표시해 줄 수 있기 때문에, 혈전의 부유 가능성이 있는 검진자, 경동맥 협착증이 있는 검진자등은 필요한 조치를 사전에 받아 뇌졸중 위험을 사전에 예방할 수 있다.
상술한 본 발명의 실시예에서는 장방형의 경동맥 초음파 영상 이미지를 학습하여 경동맥의 이상여부를 자동 진단하는 것으로 설명하였으나, 도 9에 도시한 바와 같은 횡방향의 경동맥 초음파 영상 이미지를 학습하여 경동맥 혈관 부위를 조직과 차별화된 컬러로 표시할 수 있음은 물론, 경동맥 혈관의 이상여부를 자동 진단할 수 있고, 장방향과 횡방향 모두의 경동맥 초음파 영상 이미지를 학습해 경동맥의 이상여부를 자동 진단할 수도 있다. 경우에 따라서는 장방향과 횡방향 모두의 경동맥 초음파 영상 이미지에 대해 경동맥 혈관의 이상여부를 자동 진단한 결과 그 자동 진단 결과가 불일치하면, 정상 혹은 비정상 진단된 어느 하나의 이미지에 대해 새롭게 학습된 인공 신경망을 통해 정상 혹은 비정상 여부를 최종 진단할 수도 있다.
또한, 본 발명의 경동맥 진단부(220)는 전문의에 의해 마킹된 병변 영역 혹은 진단결과 검출된 병변(플라크) 영역을 중심으로 하는 바운딩 박스의 크기를 도 10과 같이 가변하여 표시할 수도 있다.
위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는 도 1과 같이 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리(저장부)와 결합되고, 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
예를 들면 본 발명의 실시예에서는 경동맥 혈관에 대한 초음파 영상에 대해 자동 진단하는 것을 설명하였으나, 별다른 변형 없이 갑상선, 대퇴정맥, 중정맥, 유방 초음파 영상 이미지에 대하여 갑상선, 대퇴정맥, 중정맥, 유방 부위의 이상징후를 자동 진단할 수 있다. 물론 이들 각 진단 부위에 대해 이상징후를 자동 진단할 수도 있지만, 갑상선, 경동맥, 대퇴정맥, 중정맥, 유방 부위의 이상징후를 하나의 시스템에서 사전 학습하여 경동맥, 갑상선, 대퇴정맥, 중정맥, 유방 중 어느 하나의 초음파 영상 이미지가 입력되더라도 그 진단 부위에 대한 이상징후를 자동 진단할 수 있는 시스템을 구축할 수도 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 입력 영상 이미지에서 진단 부위를 찾아 적어도 그 진단 부위를 조직과 차별화된 컬러로 표시 출력 제어하는 진단 부위 탐색부와;
    상기 진단 부위 탐색부에 의해 찾아진 진단 부위의 이미지에 대해 제1인공 신경망에 기초하여 진단 부위의 정상여부를 진단하고 그 진단결과를 출력 제어하는 자동 진단부;를 포함함을 특징으로 하는 초음파 진단 시스템.
  2. 청구항 1에 있어서, 상기 진단 부위 탐색부는,
    입력 영상 이미지에서 경동맥, 갑상선, 유방, 대퇴정맥, 중정맥 중 어느 하나의 초음파 영상 이미지만을 선별하고, 선별된 초음파 영상 이미지에서 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나의 부위를 추출하도록 사전 학습된 제2인공 신경망을 포함함을 특징으로 하는 초음파 진단 시스템.
  3. 청구항 2에 있어서, 상기 제2인공 신경망은 장방향과 횡방향 모두의 경동맥 초음파 영상 이미지를 선별 표시토록 학습된 인공 신경망임을 특징으로 하는 초음파 진단 시스템.
  4. 청구항 2에 있어서, 상기 자동 진단부는,
    상기 진단결과가 비정상일 경우 사전 학습된 제3인공 신경망을 이용해 상기 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 한 부위의 이미지에 대해 위험도를 진단하고 진단된 위험도를 상기 진단결과로서 출력 제어함을 특징으로 하는 초음파 진단 시스템.
  5. 청구항 2에 있어서, 상기 자동 진단부는,
    상기 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 한 부위의 이미지 내에 병변 영역을 표시하여 상기 진단결과로 함께 출력 제어함을 특징으로 하는 초음파 진단 시스템.
  6. 청구항 1에 있어서, 상기 진단 부위 탐색부는,
    컬러 표시되는 진단 부위가 사전 설정되어 있는 표시형태를 가질 때 초음파 프로브의 정지명령을 출력 제어하되, 상기 컬러 표시되는 진단 부위는,
    경동맥 혈관 부위, 갑상선 부위, 대퇴정맥 혈관 부위, 유방 부위, 중정맥 혈관 부위 중 어느 하나임을 특징으로 하는 초음파 진단 시스템.
  7. 청구항 1에 있어서, 상기 진단 부위 탐색부는,
    입력 영상 이미지에서 경동맥, 갑상선, 유방, 대퇴정맥, 중정맥 중 어느 하나의 초음파 영상 이미지만을 선별하고, 선별된 초음파 영상 이미지에서 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나를 추출하여 가상라인으로 표시하도록 사전 학습된 제2인공 신경망을 포함하고, 상기 진단 부위 탐색부는,
    화소의 밝기를 이용해 상기 가상라인을 보정하여 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나를 조직과 차별화된 컬러로 표시 출력 제어함을 특징으로 하는 초음파 진단 시스템.
  8. 청구항 7에 있어서, 상기 자동 진단부는,
    상기 진단결과가 비정상일 경우 사전 학습된 제3인공 신경망을 이용해 상기 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 한 부위의 이미지에 대해 위험도를 진단하고 진단된 위험도를 상기 진단결과로서 출력 제어함을 특징으로 하는 초음파 진단 시스템.
  9. 청구항 1에 있어서, 상기 자동 진단부는,
    상기 진단결과가 비정상일 경우 사전 학습된 제3인공 신경망을 이용해 상기 진단 부위 탐색부에 의해 찾아진 진단 부위 이미지에 대해 위험도를 진단하고 진단된 위험도를 상기 진단결과로서 출력 제어함을 특징으로 하는 초음파 진단 시스템.
  10. 청구항 9에 있어서, 상기 진단 부위 탐색부는,
    입력 영상 이미지에서 경동맥, 갑상선, 유방, 대퇴정맥, 중정맥 중 어느 하나의 초음파 영상 이미지만을 선별하고, 선별된 초음파 영상 이미지에서 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 하나의 부위를 진단 부위로 추출하도록 사전 학습된 제2인공 신경망을 포함함을 특징으로 하는 초음파 진단 시스템.
  11. 청구항 10에 있어서, 상기 자동 진단부는,
    상기 경동맥 혈관 부위, 갑상선 부위, 유방 부위, 대퇴정맥 혈관 부위, 중정맥 혈관 부위 중 어느 한 부위의 이미지 내에 병변 영역을 표시하여 상기 진단결과로 함께 출력 제어함을 특징으로 하는 초음파 진단 시스템.
PCT/KR2021/012018 2020-09-15 2021-09-06 초음파 진단 시스템 WO2022059982A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/026,001 US20230363741A1 (en) 2020-09-15 2021-09-06 Ultrasound diagnostic system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200118622A KR102250219B1 (ko) 2020-09-15 2020-09-15 초음파 진단 시스템
KR10-2020-0118622 2020-09-15

Publications (1)

Publication Number Publication Date
WO2022059982A1 true WO2022059982A1 (ko) 2022-03-24

Family

ID=75914706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012018 WO2022059982A1 (ko) 2020-09-15 2021-09-06 초음파 진단 시스템

Country Status (4)

Country Link
US (1) US20230363741A1 (ko)
KR (2) KR102250219B1 (ko)
CN (1) CN114176641A (ko)
WO (1) WO2022059982A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250219B1 (ko) * 2020-09-15 2021-05-11 주식회사 아이도트 초음파 진단 시스템
KR20230092306A (ko) * 2021-12-17 2023-06-26 주식회사 빔웍스 의료 영상을 분석하기 위한 방법
KR20230153166A (ko) * 2022-04-28 2023-11-06 가톨릭대학교 산학협력단 초음파 이미지 분석 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR20190083185A (ko) * 2018-01-03 2019-07-11 주식회사 메디웨일 Ivus 영상 분석방법
KR20190119731A (ko) * 2018-04-13 2019-10-23 연세대학교 산학협력단 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스
KR102250219B1 (ko) * 2020-09-15 2021-05-11 주식회사 아이도트 초음파 진단 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2642459B2 (ja) * 1988-12-07 1997-08-20 東京電力株式会社 超音波探傷画像処理装置
JP2008307087A (ja) * 2007-06-12 2008-12-25 Toshiba Corp 超音波診断装置
JP2009225905A (ja) * 2008-03-21 2009-10-08 Gifu Univ 超音波診断支援システム
CN102469988B (zh) * 2009-07-16 2014-12-03 尤奈克斯公司 超声波血管检查装置
JP5337626B2 (ja) * 2009-08-19 2013-11-06 株式会社東芝 超音波画像診断装置
JP6651810B2 (ja) * 2015-11-25 2020-02-19 コニカミノルタ株式会社 超音波画像診断装置
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
JP7217589B2 (ja) * 2018-02-27 2023-02-03 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR102009840B1 (ko) 2018-03-19 2019-08-12 한림대학교 산학협력단 인공신경망(ann)을 이용하여 지속적 혈류역학적 이상(phd)를 예측하는 방법 및 장치
KR101974786B1 (ko) * 2018-08-17 2019-05-31 (주)제이엘케이인스펙션 뇌동맥류 병변의 특성을 이용한 중증도 및 예후 예측 방법 및 시스템
CN110297436A (zh) * 2019-07-15 2019-10-01 无锡海斯凯尔医学技术有限公司 检测模式控制电路

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR20190083185A (ko) * 2018-01-03 2019-07-11 주식회사 메디웨일 Ivus 영상 분석방법
KR20190119731A (ko) * 2018-04-13 2019-10-23 연세대학교 산학협력단 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스
KR102250219B1 (ko) * 2020-09-15 2021-05-11 주식회사 아이도트 초음파 진단 시스템

Also Published As

Publication number Publication date
KR102250219B9 (ko) 2022-07-06
KR102250219B1 (ko) 2021-05-11
KR20220036321A (ko) 2022-03-22
CN114176641A (zh) 2022-03-15
US20230363741A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
WO2022059982A1 (ko) 초음파 진단 시스템
WO2018074739A1 (ko) 뇌졸중 진단 및 예후 예측 방법 및 시스템
EP1437083B1 (en) Endoscope insertion direction sensing method and endoscope insertion direction sensing apparatus
US8837821B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
EP1994878A1 (en) Image processing device for medical use and image processing method for medical use
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
US10178941B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
WO2019083129A1 (ko) 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN103327883A (zh) 医用图像处理装置和医用图像处理方法
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2021187700A2 (ko) 경동맥 초음파 진단 방법
CN114980793A (zh) 内窥镜检查辅助装置、内窥镜检查辅助装置的工作方法以及程序
WO2022231329A1 (ko) 생체 이미지 조직 표시 방법 및 장치
WO2021187699A1 (ko) 경동맥 초음파 진단 시스템
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
US11024416B2 (en) Tomographic image processing device, ophthalmic device comprising the same and non-transitory computer-readable recording medium storing computer-readable instructions for tomographic image processing device
Litchfield et al. The flash-preview moving window paradigm: unpacking visual expertise one glimpse at a time.
JP2001128958A (ja) アイリス・アイリドロジ健康診断管理システム
Ciaccio et al. Recommendations to quantify villous atrophy in video capsule endoscopy images of celiac disease patients
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2022191539A1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022114357A1 (ko) 영상 병변 진단 시스템
WO2022119347A1 (ko) 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체
WO2022034955A1 (ko) 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869604

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21869604

Country of ref document: EP

Kind code of ref document: A1