WO2023113092A1 - 요로결석 진단 시스템 및 그 방법 - Google Patents

요로결석 진단 시스템 및 그 방법 Download PDF

Info

Publication number
WO2023113092A1
WO2023113092A1 PCT/KR2021/020241 KR2021020241W WO2023113092A1 WO 2023113092 A1 WO2023113092 A1 WO 2023113092A1 KR 2021020241 W KR2021020241 W KR 2021020241W WO 2023113092 A1 WO2023113092 A1 WO 2023113092A1
Authority
WO
WIPO (PCT)
Prior art keywords
stone
image
urinary
urinary tract
detected
Prior art date
Application number
PCT/KR2021/020241
Other languages
English (en)
French (fr)
Inventor
정재훈
오재훈
이동건
Original Assignee
주식회사 아이도트
한양대학교 산학협력단
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이도트, 한양대학교 산학협력단, 서울대학교병원 filed Critical 주식회사 아이도트
Publication of WO2023113092A1 publication Critical patent/WO2023113092A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a urinary stone diagnosis system, and more particularly, to a urinary stone diagnosis system and method for detecting and displaying the location and size of a urinary stone using machine learning.
  • Urolithiasis is a disease in which urinary stones are formed in the urinary tract and obstruct the flow of urine, resulting in severe pain, urinary tract infection, hydronephrosis, or renal failure. Urolithiasis can occur in the kidney, ureter, and bladder, and for an accurate diagnosis of urolithiasis, the location of the urinary tract must be accurately identified.
  • Diagnosis of urolithiasis is usually diagnosed by abdominal CT, X-ray, and ultrasound, and among them, CT has more information than other modalities and can specify the diagnosis of stones relatively easily.
  • Abdominal CT images consist of about 500 to 800 series images on a 1 mm basis, so it is difficult for doctors to see one by one. It is difficult to distinguish when overlapped with other parts such as the psoas. The location of the stone is also likely to be confused with calcified material or high-density material when it overlaps with the artery.
  • the bladder it is difficult to estimate because the anatomy of men and women is different, especially in women. In this case, it is not easy to diagnose urolithiasis because there may be calcified material (especially plaque) in the artery entering the uterus.
  • Patent Document 1 Republic of Korea Patent Registration No. 10-2209086
  • the present invention was invented to solve the above problems, and the main purpose of the present invention is to estimate the position of the urinary tract from a series of CT images and in parallel with this, to detect the position of the stone candidate group, and finally to determine the location and location of the urinary stone.
  • An object of the present invention is to provide a urinary stone diagnosis system and method capable of detecting and displaying the size of a urinary stone.
  • Another object of the present invention is to provide a urinary stone diagnosis system and method capable of improving the efficiency and accuracy of reading by providing a visualized urinary tract that is difficult to specify.
  • a method for diagnosing urolithiasis according to an embodiment of the present invention for achieving the above object is a method executable in a computer system
  • the positions of blobs estimated to be stones are detected using the machine-learned second artificial neural network model and brightness information, and the positions of each detected blob are compared to candidate stones for each CT image. estimating blobs;
  • It is characterized by including; detecting a urinary stone by overlapping the position of the urinary tract estimated for each CT image with the position of the stone candidate blobs and displaying it together with location information on the CT image,
  • the distance between pixels and the distance between CT images provided by the Digital Medical Imaging and Communication Standard (DICOM) after stone margin refinement processing for the stone candidate blobs detected as urolithiasis.
  • DICOM Digital Medical Imaging and Communication Standard
  • Another feature is that it further includes the step of measuring and displaying the stone size using the information.
  • a CT image with a disconnected urinary tract is detected by examining the connection of the urinary tract from the position of the ureter detected in each adjacent CT image, and a CT image with a disconnected urinary tract from the location information of the ureter detected in several CT images preceding the CT image with the disconnected urinary tract. It is characterized in that it includes a urinary supplementation step of supplementing the urinary tract by estimating the location of the ureter.
  • a urinary stone diagnosis system is a urinary stone diagnosis system including a processor and a memory
  • a urinary tract estimation unit that estimates the urinary tract for each CT image by detecting the location of the ureter using a first artificial neural network model machine-learned for each of a plurality of tomography (CT) images having different tomography heights, at least from the kidney to the bladder, and ;
  • CT tomography
  • the positions of blobs estimated to be stones are detected using the machine-learned second artificial neural network model and brightness information, and the positions of each detected blob are compared to candidate stones for each CT image.
  • an absent candidate estimator for estimating blobs is an absent candidate estimator for estimating blobs
  • a urinary stone detection display unit that detects a urinary stone by overlapping the position of the urinary tract estimated for each CT image with the position of candidate stone blobs and displays it together with location information on the CT image
  • the urinary tract estimation unit In the urinary stone diagnosis system including the above-described configurations, the urinary tract estimation unit, the urinary tract estimation unit, and
  • a CT image with a disconnected urinary tract is detected by examining the connection of the urinary tract from the position of the ureter detected in each adjacent CT image, and a CT image with a disconnected urinary tract from the location information of the ureter detected in several CT images preceding the CT image with the disconnected urinary tract. It is characterized by supplementing the urinary tract by estimating the location of the ureter,
  • the first artificial neural network model of the urinary tract estimation unit is characterized in that it is a machine learning model formed by machine learning the characteristics of the region marked as the ureter in each image obtained by tomography from the kidney to the bladder.
  • the second artificial neural network model formed by machine learning the features of regions marked as stones in each image obtained by tomography from the kidney to the bladder;
  • a brightness-based absence candidate detection unit for detecting positions of blobs whose brightness is equal to or greater than a set threshold in each of the plurality of CT images
  • an estimator that compares location information of the blobs estimated or detected by the second artificial neural network model and the brightness-based absence candidate detection unit, respectively, and estimates matched blobs as absent candidate blobs for each CT image.
  • the urinary stone diagnosis system and method according to an embodiment of the present invention estimate the location of the urinary tract and the location of the stone candidate group using different artificial neural network models for a plurality of CT images, respectively.
  • the position of the urinary stone can be finally detected and marked by checking whether the position of the estimated urinary tract and the position of the stone candidate overlap. Therefore, it is convenient for specialists and the like to utilize the urinary stone diagnosis system according to the embodiment of the present invention as an auxiliary tool for diagnosing urinary stones.
  • the present invention supplements and visualizes a urinary tract that is difficult to specify in a CT image, that is, a disconnected urinary tract, it has the advantage of improving the efficiency and accuracy of reading.
  • FIG. 1 is an exemplary configuration diagram of a urinary stone diagnosis system according to an embodiment of the present invention.
  • FIG. 2 is an exemplary flow diagram for diagnosing urolithiasis according to an embodiment of the present invention.
  • FIG. 3 is a detailed flowchart illustrating a urinary tract estimation step in FIG. 2;
  • FIG. 4 is a detailed flowchart illustrating the step of estimating an absent candidate in FIG. 2;
  • FIG. 5 is a detailed flowchart illustrating a urinary stone detection step in FIG. 2;
  • CT tomography
  • FIGS. 7A to 7C are diagrams for explaining a method for diagnosing urolithiasis according to an embodiment of the present invention.
  • FIGS. 8 and 9 are exemplary views of screens displayed as a result of urinary stone diagnosis according to an embodiment of the present invention.
  • the artificial neural network models mentioned below include a convolutional neural network (CNN) model in which artificial neural networks are stacked in multiple layers, R-CNN (Regions with CNN), SPP-net (Spatial Pyramid Pooling network), FAST R-CNN, and YOLO (You Only Look Once), UNet, or DeepLab artificial neural network models.
  • CNN convolutional neural network
  • R-CNN Registered with CNN
  • SPP-net Spatial Pyramid Pooling network
  • FAST R-CNN FAST R-CNN
  • YOLO You Only Look Once
  • UNet or DeepLab artificial neural network models.
  • the feature of each image is automatically learned by machine learning a large amount of data, and the network is learned in a way to minimize the error of the objective function through this. Since the exemplified models are technologies that have already been implemented in various forms and are used in various industrial fields, a detailed description thereof will be omitted.
  • FIG. 1 illustrates a configuration diagram of a urinary stone diagnosis system according to an embodiment of the present invention.
  • the urinary stone diagnosis system according to an embodiment of the present invention may be an aggregate of application program data that is installed and executed by the processor 100 .
  • the urolithiasis diagnosis system forming a collection of application program data
  • a pre-processing unit 101 that converts or changes CT image data of different formats into a unified format
  • the positions of blobs estimated to be stones are detected using the machine-learned second artificial neural network model and brightness information, and the positions of each detected blob are compared to candidate stones for each CT image.
  • a urinary stone detection display unit 104 that detects a urinary stone by overlapping the position of the urinary tract estimated for each CT image with the position of candidate stone blobs and displays it along with location information on the CT image.
  • a urinary stone diagnosis system including the above-described configuration as a deformable embodiment is a distance between pixels and a distance between CT images provided by medical digital imaging and communication standards after stone margin refinement processing for a candidate stone blob detected as a urinary stone. It may further include a urinary stone size measurement unit that measures and displays the size of the stone using the information.
  • the urinary tract estimation unit 102 detects a CT image with a urinary tract disconnection by examining whether the urinary tract is connected from the location of the ureter detected in each of the adjacent CT images, and detects a CT image with a urinary tract disconnection, and several (
  • the urinary tract can be complemented by estimating the position of the ureter in the CT image that has been disconnected from the urinary tract from positional information of the ureter detected in CT images (eg, 4 frames before).
  • the first artificial neural network model of the urinary tract estimation unit 102 performs machine learning on the characteristics of the region marked as the ureter by a specialist for each image obtained by tomography from the kidney to the bladder in advance. It is a machine learning model formed by Accordingly, the urinary tract estimation unit 102 may detect the position of the ureter in each of a plurality of tomography (CT) images having different tomography heights from at least the kidney to the bladder in the diagnosis mode.
  • CT tomography
  • the stone candidate estimator 106 is more specifically, a second artificial neural network model obtained by machine learning the characteristics of regions marked as stones in each of the images obtained by tomography from the kidney to the bladder;
  • a brightness-based absence candidate detection unit for detecting the positions of blobs having an intensity greater than a set threshold in each of the plurality of CT images
  • an estimator that compares location information of blobs estimated or detected by the second artificial neural network model and the brightness-based absent candidate detector, respectively, and estimates matched blobs as absent candidate blobs for each CT image.
  • the communication unit 110 not described in FIG. 1 represents a wired/wireless communication unit for data communication with an external network
  • the user interface unit (I/F) 130 is understood as a concept including a data input unit and a display unit.
  • the memory 120 represents a data storage in which a collection of software modules, instruction sets, and application program data necessary for the operation of a computer system is stored.
  • the configuration of such a computer system is only an example, and depending on the environment in which it is used, some components shown may be omitted or components not shown (moving medium connection unit, network connection unit, etc.) may be added.
  • FIG. 2 illustrates a flow chart for diagnosing urinary tract stones according to an embodiment of the present invention
  • FIG. 3 is a detailed flow chart of the urinary tract estimation step in FIG. 2
  • FIG. 4 is a detailed flow chart of the stone candidate estimation step in FIG. 2
  • FIG. 2 illustrates a detailed flow chart of a urinary stone detection step, respectively
  • FIG. 6 illustrates a plurality of CT images according to an embodiment of the present invention
  • FIGS. 7A to 7C are examples of an embodiment of the present invention.
  • FIGS. 8 and 9 are diagrams for further explanation of the method for diagnosing urinary stones according to the present invention, and FIGS.
  • the urinary stone diagnosis system first stores a CT series obtained from a computerized tomography device in a memory 120 or a CD, in order to detect urinary stones in a CT image. It is loaded from a storage medium such as a mobile medium (step S100).
  • the CT series may be referred to as a plurality of tomographic images (see FIG. 6) having different tomographic heights from at least the kidney to the bladder.
  • CT images are composed of a format called DICOM, a medical digital image and communication standard, and since the parameters and number of bits used are different for each hospital, it is necessary to convert them into a uniform format. That is, the pre-processing unit 101 performs a pre-processing process of converting or changing CT image data of different formats into a unified format (for example, into a format capable of expressing multi-dimensionality such as Tensor and Numpy) for CT images. Execute (step S110).
  • the preprocessed CT image is transmitted to the urinary tract estimation unit 102 and the stone candidate estimation unit 106 through different paths.
  • the urinary tract estimator 106 detects the location of the ureter for each of a plurality of tomography (CT) images having different tomographic heights from at least the kidney to the bladder using a first machine-learned artificial neural network model, and detects the location of the ureter for each CT image.
  • the urinary tract is estimated (step S120). Since the collection of CT images forms a 3D map as shown in FIG. 6, each ureter detected for each CT image can be regarded as forming a urinary tract on the 3D map. That is, it is assumed that the urinary tract for each CT image has the same meaning as the urinary tract on the 3D map.
  • the urinary tract estimation unit 102 detects (step S121) the position of the ureter in each CT image using the first artificial neural network model that has been machine-learned in advance and marks it.
  • the first artificial neural network model is a model obtained by machine learning in advance the characteristics of a region marked as the ureter by a specialist for each image obtained by tomography from the kidney to the bladder.
  • the urinary tract estimation unit 102 detects a CT image with a disconnected urinary tract by examining whether the urinary tract is connected from the location (information) of the ureter detected in each of the adjacent CT images (step S122). do. Disruption of the urinary tract means that the ureter is not detected in one of the adjacent images or that a change in position of the ureter detected in each of the adjacent images exceeds a predetermined threshold.
  • the urinary tract estimation unit 102 complements the disconnected urinary tract using a 2D tracking algorithm (step S123). More specifically, the urinary tract estimation unit 102 supplements the urinary tract by estimating the position of the ureter in the CT image of the urinary tract from the positional information of the ureter detected in several CT images preceding the CT image of the urinary tract.
  • the position of the ureter is detected using the first artificial neural network model or another artificial neural network model for a CT image 4 frames prior to the CT image of the urinary tract disconnection, and the position of the detected ureter is set as a reference point.
  • the position of the ureter is detected as described above for the CT image 3 frames prior to the CT image of the urinary tract disconnection.
  • the degree of movement of the detected ureter's position from the reference point has a value within a preset threshold range, it is recognized as a valid value, and the position of the ureter is detected again for the CT image 2 frames prior to the CT image disconnected from the urinary tract.
  • the disconnected urinary tract is complemented by generating the position of the ureter (to the position of the ureter in the previous frame) or correcting the position (to the position of the ureter in the previous frame) on the CT image of the disconnected urinary tract.
  • the stone candidate estimator 106 estimates stone stone candidates from each of the preprocessed CT images (step S130). If this is further explained with reference to FIG. 4,
  • the brightness-based absent candidate detection unit (not shown) constituting the absent candidate estimation unit 106 detects the positions of blobs whose brightness is equal to or greater than a set threshold in each of the plurality of CT images (step S131).
  • a set threshold in each of the plurality of CT images.
  • stones have a brighter brightness than surrounding organs in a CT image, so all blobs with a brightness higher than a threshold value are detected as stone candidates.
  • the second artificial neural network model constituting the absence candidate estimator 106 also detects the positions of blobs of the absence presumptions in each of the plurality of CT images (step S132).
  • This second artificial neural network model is a model formed by machine learning the characteristics of regions marked as stones in each image obtained by tomography from the kidney to the bladder.
  • the estimators constituting the stone candidate estimator 106 are different from each other.
  • the locations (information) of each detected blob in the path are compared, and only matched blobs are estimated as final absent candidate blobs (step S133).
  • the concept of coincidence does not mean that the positional information of the blobs, that is, the positional coordinates are completely matched, but exists within the set degree of approximation range, some coordinates overlap, or the degree of overlap is calculated and the value exceeds the threshold.
  • the urinary stone detection display unit 104 overlaps the position of the urinary tract estimated for each CT image with the positions of candidate stone blobs to detect a urinary stone (step S140) and displays it along with location information on the CT image (step S150).
  • the urinary stone detection display unit 104 first compares the position of the urinary tract estimated for each CT image with the position of candidate stone blobs (step S141). If the location of the urinary tract estimated as a result of the comparison overlaps with the locations of candidate stone blobs, this is marked as the location of urinary stone detection (step S143).
  • the urinary stone detection display unit 104 If there is no urinary stone size measurement display unit 108 in the system or if the urinary stone detection display unit 104 does not have a urinary stone size measurement function, the urinary stone detection display unit 104 returns to the main routine (FIG. 2) The urolithiasis detection result screen as shown in FIG. 8 is displayed (step S150).
  • the urolithiasis detection position is marked (A) using a green marker on the Axial View.
  • the urinary stone detection result may be observed on a coronal view and a sagittal view, respectively, as shown in FIGS. 7B and 7C.
  • FIGS. 7A to 7C show CT images viewed from three directions, the image on the left shows the original CT image in each direction, and the second image from left to right shows ground truth;
  • the third image shows the first urinary tract estimation image before urinary tract disconnection.
  • the rightmost image is an image obtained by overlaying the original CT image with the predicted image, the image supplemented with the urinary tract can be overlaid on the original image and used as a urinary stone detection result image.
  • an image in which the location is marked should be marked and displayed on the overlay image.
  • the urinary stone diagnosis system and method according to the embodiment of the present invention estimate the position of the urinary tract and the position of the stone candidate group using different artificial neural network models for a plurality of CT images, respectively, and estimate the estimated The position of the urinary stone can be finally detected and marked by checking whether the position of the urinary tract and the position of the stone candidate overlap.
  • the urinary stone diagnosis system according to the embodiment of the present invention as an auxiliary tool for diagnosing urinary stones.
  • the present invention supplements and visualizes a urinary tract that is difficult to specify in a CT image, that is, a disconnected urinary tract, it has the advantage of improving the efficiency and accuracy of reading.
  • the urinary stone diagnosis system can measure the size as well as the location of a urinary stone.
  • the size of a urinary stone may be measured and displayed by a separate urinary stone size measurement display unit 108 or may also be measured and displayed by a urinary stone detection display unit 104 .
  • refinement of the stone margin can be performed based on the bone window, and the size of the stone can be measured for the refined stone margin.
  • DICOM which is a medical image format
  • distances in 2D and 3D spaces can be expressed as Euclidean distances.
  • the size measurement is obtained by searching the outline of the stone acquired through margin refinement for the maximum distance in axial, coronal, sagittal, and three-dimensional spaces. The unit at this time is mm.
  • the horizontal and vertical axes of one CT image are x and y respectively, the distance between pixels is expressed as (0.7mm, 0.7mm), and the distance (z direction) of each stacked CT image is 1mm.
  • the Euclidean distance (Length) can be calculated by the following equation.
  • Ux and Uy represent pixel space in DICOM attributes
  • Uz represent slice space in DICOM attributes.
  • the maximum distance is measured using only the x and y axes. Measure.
  • the urinary stone diagnosis system has the advantage of being able to measure the stone size in a 3D space (optimal), which is difficult to measure with a PACS or DICOM viewer.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 기계학습을 이용해 요로결석의 위치와 크기를 검출하여 표시하는 요로결석 진단 시스템 및 그 방법에 관한 것으로, 적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지 각각에 대해, 기계학습한 제1인공 신경망 모델을 이용해 요관의 위치를 검출해 CT 이미지별 요로를 추정하는 단계와; 상기 복수의 CT 이미지 각각에 대해, 기계학습한 제2인공 신경망 모델과 밝기정보를 이용해 각각 결석으로 추정되는 블랍(blob)들의 위치를 검출하고, 각각 검출된 블랍들의 위치를 비교해 CT 이미지별 결석 후보 블랍들을 추정하는 단계와; 상기 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 오버랩시켜 요로결석을 검출하고 이를 CT 이미지상에 위치정보와 함께 표시하는 단계;를 포함함을 특징으로 한다.

Description

요로결석 진단 시스템 및 그 방법
본 발명은 요로결석 진단 시스템에 관한 것으로, 특히 기계학습을 이용해 요로결석의 위치와 크기를 검출하여 표시하는 요로결석 진단 시스템 및 그 방법에 관한 것이다.
요로결석이란 요로계에 요석이 생성되어 소변의 흐름에 장애가 초래되고, 그 결과 격심한 통증이 발생하거나 요로 감염, 수신증, 신부전 등이 나타나는 질환이다. 요로결석은 신장, 요관, 방광에 발생할 수 있으며, 정확한 요로결석 진단을 위해서는 요로(urinary tract)의 위치를 정확히 파악해야 한다.
요로결석의 진단은 보통 복부 CT, X-레이, 초음파로 진단하며, 그 중 CT는 다른 양식(modality)에 비해 더 많은 정보를 가지며 결석의 진단을 상대적으로 쉽게 특정할 수 있다.
복부 CT 영상은 1mm 기준으로 500 내지 800장 정도의 시리즈(series) 이미지들로 구성되어 있어 의사가 한 장씩 봐야 하는 어려움이 있고, 요관은 위치를 특정하기가 매우 어려우며, 특히 동맥(artery)이나 요근(psoas) 등 기타 부위에 오버랩(overlao)될 경우 구별이 힘들다. 결석의 위치 또한 동맥과 오버랩 되었을 때 석회화된(calcified) 물질(material), 고밀도(high density) 물질 등과 혼동될 가능성이 높으며, 방광의 경우 남녀의 해부학적 구조가 다르기 때문에 추정이 까다롭고 특히 여성의 경우 자궁으로 들어가는 동맥 등에 석회화된 물질(특히, plaque)이 있을 수 있어 요로결석의 진단이 쉽지 않다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 등록특허공보 제10-2209086호
이에 본 발명은 상술한 문제점을 해결하기 위해 창안된 발명으로서, 본 발명의 주요 목적은 일련의 CT 영상에서 요로의 위치를 추정하고 이와 병행하여 결석 후보군의 위치를 검출해 최종적으로 요로결석의 위치와 크기를 검출하여 표시할 수 있는 요로결석 진단 시스템 및 그 방법을 제공함에 있다.
더 나아가 본 발명의 또 다른 목적은 특정이 어려운 요로를 가시화하여 제공함으로써 판독의 효율성 및 정확성을 향상시켜 줄 수 있는 요로결석 진단 시스템 및 그 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 요로결석 진단 방법은 컴퓨터 시스템에서 실행 가능한 방법으로서,
적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지 각각에 대해, 기계학습된 제1인공 신경망 모델을 이용해 요관의 위치를 검출해 CT 이미지별 요로를 추정하는 단계와;
상기 복수의 CT 이미지 각각에 대해, 기계학습된 제2인공 신경망 모델과 밝기정보를 이용해 각각 결석으로 추정되는 블랍(blob)들의 위치를 검출하고, 각각 검출된 블랍들의 위치를 비교해 CT 이미지별 결석 후보 블랍들을 추정하는 단계와;
상기 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 오버랩시켜 요로결석을 검출하고 이를 CT 이미지상에 위치정보와 함께 표시하는 단계;를 포함함을 특징으로 하며,
변형 가능한 또 다른 실시예로서, 상기 요로결석으로 검출된 결석 후보 블랍에 대하여 스톤 마진(stone margin) 정교화 처리 후 의료용 디지털 영상 및 통신 표준(DICOM)에서 제공하는 픽셀 사이의 거리 및 CT 이미지 사이의 거리 정보를 이용해 결석 크기를 측정해 표시하는 단계를 더 포함함을 또 다른 특징으로 한다.
또한 상기 CT 이미지별 요로를 추정하는 단계는,
인접하는 CT 이미지 각각에서 검출된 요관의 위치로부터 요로의 연결 여부를 검사해 요로 단절된 CT 이미지를 검출하고, 요로 단절된 CT 이미지 보다 앞선 몇몇 CT 이미지들에서 검출된 요관의 위치 정보로부터 상기 요로 단절된 CT 이미지의 요관 위치를 추정하여 요로를 보완하는 요로 보완단계를 포함함을 특징으로 한다.
한편, 본 발명의 또 다른 실시예에 따른 요로결석 진단 시스템은 프로세서와 메모리를 포함하는 요로결석 진단 시스템으로서,
적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지 각각에 대해 기계학습된 제1인공 신경망 모델을 이용해 요관의 위치를 검출해 CT 이미지별 요로를 추정하는 요로 추정부와;
상기 복수의 CT 이미지 각각에 대해, 기계학습된 제2인공 신경망 모델과 밝기정보를 이용해 각각 결석으로 추정되는 블랍(blob)들의 위치를 검출하고, 각각 검출된 블랍들의 위치를 비교해 CT 이미지별 결석 후보 블랍들을 추정하는 결석후보 추정부와;
상기 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 오버랩시켜 요로결석을 검출하고 이를 CT 이미지상에 위치정보와 함께 표시하는 요로결석 검출 표시부;를 포함함을 특징으로 하며,
상기 요로결석으로 검출된 결석 후보 블랍에 대하여 스톤 마진 정교화 처리 후 의료용 디지털 영상 및 통신 표준에서 제공하는 픽셀 사이의 거리 및 CT 이미지 사이의 거리 정보를 이용해 결석 크기를 측정해 표시하는 요로결석 크기 측정부를 더 포함함을 또 다른 특징으로 한다.
상술한 구성들을 포함하는 요로결석 진단 시스템에 있어서, 상기 요로 추정부는,
인접하는 CT 이미지 각각에서 검출된 요관의 위치로부터 요로의 연결 여부를 검사해 요로 단절된 CT 이미지를 검출하고, 요로 단절된 CT 이미지 보다 앞선 몇몇 CT 이미지들에서 검출된 요관의 위치 정보로부터 상기 요로 단절된 CT 이미지의 요관 위치를 추정하여 요로를 보완함을 특징으로 하며,
상기 요로 추정부의 제1인공 신경망 모델은 신장에서 방광까지 단층 촬영하여 얻은 이미지 각각에서 요관으로 마킹된 영역의 특징을 기계학습하여 형성된 기계학습모델임을 특징으로 한다.
한편, 상기 결석후보 추정부는,
신장에서 방광까지 단층촬영하여 얻은 이미지 각각에서 결석으로 마킹된 영역의 특징을 기계학습하여 형성된 상기 제2인공 신경망 모델과;
상기 복수의 CT 이미지 각각에서 밝기가 설정 임계치 이상인 블랍들의 위치를 검출하는 밝기 기반의 결석후보 검출부와;
상기 제2인공 신경망 모델과 상기 밝기 기반의 결석후보 검출부 각각에서 추정 혹은 검출된 블랍들의 위치정보를 비교해 일치하는 블랍들을 CT 이미지별 결석 후보 블랍들로 추정하는 추정부;를 포함함을 특징으로 한다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 요로결석 진단 시스템 및 그 방법은 복수의 CT 영상 이미지에 대해 서로 다른 인공 신경망 모델을 활용해 요로의 위치와 결석 후보군의 위치를 각각 추정하고, 추정된 요로의 위치와 결석 후보의 위치 중첩 여부 검사를 통해 최종적으로 요로결석의 위치를 검출하여 마킹 표시할 수 있다. 따라서 전문의 등은 본 발명의 실시예에 따른 요로결석 진단 시스템을 요로결석 진단을 위한 보조도구로 활용할 수 있는 편리함이 있다.
더 나아가 본 발명은 CT 이미지에서 특정이 어려운 요로, 즉 단절된 요로를 보완하여 가시화하기 때문에 판독의 효율성 및 정확성을 향상시켜 줄 수 있는 장점도 있다.
도 1은 본 발명의 실시예에 따른 요로결석 진단 시스템의 구성 예시도.
도 2는 본 발명의 실시예에 따른 요로결석 진단 흐름 예시도.
도 3은 도 2 중 요로 추정 단계의 상세 흐름 예시도.
도 4는 도 2 중 결석 후보 추정 단계의 상세 흐름 예시도.
도 5는 도 2 중 요로 결석 검출 단계의 상세 흐름 예시도.
도 6은 본 발명의 실시예에 따른 복수의 단층촬영(CT) 이미지 예시도.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 요로결석 진단방법을 부연 설명하기 위한 도면.
도 8 및 도 9는 본 발명의 실시예에 따른 요로결석 진단결과 표시되는 화면 예시도
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
한편, 본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
참고적으로 하기에서 언급되는 인공 신경망 모델은 인공 신경망을 다층으로 쌓은 CNN(Convolutional Neural Network) 모델, R-CNN(Regions with CNN), SPP-net(Spatial Pyramid Pooling network), FAST R-CNN, YOLO(You Only Look Once), UNet, DeepLab 인공 신경망 모델 중 어느 하나를 사용할 수 있다. 이러한 인공 신경망 모델(알고리즘)에서는 다량의 데이터를 기계 학습시킴으로써 각각의 이미지의 특징을 자동 학습하고, 이를 통하여 목적 함수의 에러를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다. 예시한 모델들은 이미 다양한 형태로 구현되어 여러 산업분야에 사용되고 있는 기술이므로 그에 대한 상세 설명은 생략하기로 한다.
우선 도 1은 본 발명의 실시예에 따른 요로결석 진단 시스템의 구성도를 예시한 것으로, 본 발명의 실시예에 따른 요로결석 진단 시스템은 도 1에 도시한 바와 같이 컴퓨터 시스템의 메모리(120)에 설치되어 프로세서(100)에 의해 실행되는 응용 프로그램 데이터들의 집합체일 수 있다.
응용 프로그램 데이터들의 집합체를 형성하는 요로결석 진단 시스템은 도 1에 도시한 바와 같이,
서로 다른 포맷의 CT 이미지 데이터를 단일화된 포맷으로 변환 혹은 변경해 주는 전처리부(101)와,
적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지(도 6 참조) 각각에 대해, 기계학습된 제1인공 신경망 모델을 이용해 요관의 위치를 검출해 CT 이미지별 요로를 추정하는 요로 추정부(102)와,
상기 복수의 CT 이미지 각각에 대해, 기계학습한 제2인공 신경망 모델과 밝기정보를 이용해 각각 결석으로 추정되는 블랍(blob)들의 위치를 검출하고, 각각 검출된 블랍들의 위치를 비교해 CT 이미지별 결석 후보 블랍들을 추정하는 결석후보 추정부(106)와,
상기 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 오버랩시켜 요로결석을 검출하고 이를 CT 이미지상에 위치정보와 함께 표시하는 요로결석 검출 표시부(104)를 포함한다.
변형 가능한 실시예로서 상술한 구성을 포함하는 요로결석 진단 시스템은 요로결석으로 검출된 결석 후보 블랍에 대하여 스톤 마진 정교화 처리 후 의료용 디지털 영상 및 통신 표준에서 제공하는 픽셀 사이의 거리 및 CT 이미지 사이의 거리 정보를 이용해 결석 크기를 측정해 표시하는 요로결석 크기 측정부;를 더 포함할 수 있다.
상술한 요로결석 진단 시스템 구성에서 요로 추정부(102)는 인접하는 CT 이미지 각각에서 검출된 요관의 위치로부터 요로의 연결 여부를 검사해 요로 단절된 CT 이미지를 검출하고, 요로 단절된 CT 이미지 보다 앞선 몇몇(예를 들면 4 프레임 전) CT 이미지들에서 검출된 요관의 위치 정보로부터 상기 요로 단절된 CT 이미지의 요관 위치를 추정하여 요로를 보완할 수 있다.
CT 이미지 각각에서 요관의 위치를 검출하기 위해 요로 추정부(102)의 제1인공 신경망 모델은 신장에서 방광까지 단층 촬영하여 얻은 이미지 각각에 대해 전문의가 요관으로 마킹한 영역의 특징을 사전에 기계학습하여 형성된 기계학습모델이다. 이에 요로 추정부(102)는 진단 모드에서 적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지 각각에서 요관의 위치를 검출할 수 있다. 참고적으로 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지들이 모여 3D 맵을 구성한다고 볼 수 있다.
한편, 상기 결석후보 추정부(106)는 보다 구체적으로, 신장에서 방광까지 단층 촬영하여 얻은 이미지 각각에서 결석으로 마킹된 영역의 특징을 기계학습한 제2인공 신경망 모델과,
상기 복수의 CT 이미지 각각에서 밝기(intensity)가 설정 임계치 이상인 블랍들(blob)의 위치를 검출하는 밝기 기반의 결석후보 검출부와,
상기 제2인공 신경망 모델과 상기 밝기 기반의 결석후보 검출부 각각에서 추정 혹은 검출된 블랍들의 위치정보를 비교해 일치하는 블랍들을 CT 이미지별 결석 후보 블랍들로 추정하는 추정부를 포함한다.
상술한 구성 외에 도 1에서 미설명한 통신부(110)는 외부 네트워크와 데이터 통신하기 위한 유무선 통신부를 나타낸 것이며, 유저 인터페이스부(I/F)(130)는 데이터 입력부와 표시부를 포함하는 개념으로 이해하는 것이 바람직하고, 메모리(120)는 컴퓨터 시스템의 동작에 필요한 소프트웨어 모듈, 명령어 집합, 응용 프로그램 데이터들의 집합체가 저장되는 데이터 저장소를 나타낸 것이다. 이러한 컴퓨터 시스템의 구성은 일 예에 불과하며 사용되는 환경에 따라 도시된 일부 구성이 생략되거나 미도시 구성(이동매체 접속부, 네트워크 접속부 등)이 추가될 수 있다.
이하 상술한 요로결석 진단 시스템의 동작을 첨부 도면을 참조하여 보다 상세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 요로결석 진단 흐름도를 예시한 것이며, 도 3은 도 2 중 요로 추정 단계의 상세 흐름도를, 도 4는 도 2 중 결석 후보 추정 단계의 상세 흐름도를, 도 5는 도 2 중 요로 결석 검출 단계의 상세 흐름도를 각각 예시한 것이며, 도 6은 본 발명의 실시예에 따른 복수의 단층촬영(CT) 이미지 예시도를, 도 7a 내지 도 7c는 본 발명의 실시예에 따른 요로결석 진단방법을 부연 설명하기 위한 도면을, 도 8 및 도 9는 본 발명의 실시예에 따른 요로결석 진단결과 표시되는 화면 예시도를 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 요로결석 진단 시스템은 CT 이미지에 대해 요로결석을 검출하기 위해서 우선적으로 컴퓨터 단층촬영장치로부터 획득한 CT 시리즈(series)를 메모리(120) 혹은 CD, 이동매체와 같은 저장매체로부터 불러 온다(S100단계). 상기 CT 시리즈는 적어도 신장에서 방광까지 서로 다른 단층 촬영 높이를 가지는 복수의 단층 촬영 이미지(도 6 참조)라 할 수 있다.
참고적으로, CT 이미지는 의료용 디지털 영상 및 통신 표준, 일명 DICOM이라는 포맷으로 구성되어 있으며, 병원마다 사용하는 파리미터나 비트 수가 다르기 때문에 이를 일률적인 포맷으로 변환해 줄 필요가 있다. 즉, 전처리부(101)는 서로 다른 포맷의 CT 이미지 데이터를 단일화된 포맷으로 변환 혹은 변경(예를 들면, Tensor, Numpy 등 다차원을 표현할 수 있는 포맷으로)해 주는 전처리 과정을 CT 이미지들에 대해 실행(S110단계)한다.
전처리된 CT 이미지는 서로 다른 경로를 통해 요로 추정부(102)와 결석후보 추정부(106)로 전달된다.
요로 추정부(106)는 적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층 촬영(CT) 이미지 각각에 대해, 기계학습된 제1인공 신경망 모델을 이용해 요관의 위치를 검출해 CT 이미지별 요로를 추정(S120단계)한다. 여기서 CT 이미지들의 집합체는 도 6에서와 같이 3D 맵을 형성하기에 CT 이미지별로 검출된 각 요관은 3D 맵 상에서 요로를 형성한다고 볼 수 있다. 즉 CT 이미지별 요로는 3D 맵 상의 요로와 동일 의미인 것으로 가정한다.
요로를 추정하는 단계를 도 3을 참조하여 부연 설명하면,
우선 요로 추정부(102)는 사전에 기계학습한 제1인공 신경망 모델을 이용하여 CT 이미지 각각에서 요관의 위치를 검출(S121단계)하여 마킹한다. 상기 제1인공 신경망 모델은 신장에서 방광까지 단층 촬영하여 얻은 이미지 각각에 대해 전문의가 요관으로 마킹한 영역의 특징을 사전에 기계학습한 모델이다.
CT 이미지 각각에서 요관의 위치를 검출하면, 요로 추정부(102)는 인접하는 CT 이미지 각각에서 검출된 요관의 위치(정보)로부터 요로의 연결 여부를 검사해 요로 단절된 CT 이미지를 검출(S122단계)한다. 요로가 단절되었다는 것은 인접 이미지 중 하나의 이미지에서 요관이 검출되지 않았거나, 인접 이미지 각각에서 검출된 요관의 위치 변화가 정해진 임계치를 벗어났다는 것을 의미한다.
만약 요로가 단절되었다면 요로 추정부(102)는 2D 트랙킹 알고리즘을 이용해 단절 요로를 보완(S123단계)한다. 보다 구체적으로, 요로 추정부(102)는 요로 단절된 CT 이미지 보다 앞선 몇몇 CT 이미지들에서 검출된 요관의 위치 정보로부터 상기 요로 단절된 CT 이미지의 요관 위치를 추정하여 요로를 보완한다.
예를 들면, 요로 단절된 CT 이미지의 4 프레임 이전의 CT 이미지에 대해 상기 제1인공 신경망 모델 혹은 또 다른 인공 신경망 모델을 이용해 요관의 위치를 검출하고, 검출된 요관의 위치를 기준점으로 설정한 후 상기 요로 단절된 CT 이미지의 3 프레임 이전의 CT 이미지에 대해 상술한 바와 같이 요관의 위치를 검출한다. 이때 검출된 요관의 위치가 상기 기준점에서 이동한 정도가 미리 설정된 임계치 범위 내의 값을 가지면 유효한 값으로 인정하고, 다시 상기 요로 단절된 CT 이미지의 2 프레임 이전의 CT 이미지에 대해 요관의 위치를 검출하는 방식으로 하여, 상기 요로 단절된 CT 이미지에 대해 요관의 위치를 생성(직전 프레임의 요관의 위치로) 혹은 위치 정정(직전 프레임의 요관의 위치로)함으로써 단절된 요로를 보완해 준다.
이와 같이 복수의 CT 이미지 각각에 대해 요관의 위치를 검출하고, 검출된 요관의 위치를 비교하는 방식으로 요로 단절 CT 이미지를 찾아 보완하게 되면 도 7a 내지 도 7c에서와 같이 여러 축(Axial(도 7a), Coronal(도 7b), Sagittal(도 7c)) 방향에서 바라본 이미지에서 요로를 추정(S124)할 수 있다.
한편, 요로 추정과 함께 결석후보 추정부(106)는 전처리된 CT 이미지들 각각에서 결석후보를 추정(S130단계)한다. 이를 도 4를 참조하여 부연 설명하면,
우선 결석후보 추정부(106)를 구성하는 밝기 기반의 결석후보 검출부(도시하지 않았음)는 상기 복수의 CT 이미지 각각에서 밝기가 설정 임계치 이상인 블랍들의 위치를 검출(S131단계)한다. 보통의 경우 CT 이미지에서 결석은 주위 장기에 비해 밝은 밝기를 가지므로 임계치 이상의 밝기를 가지는 블랍들을 모두 결석 후보군으로 검출한다.
이와 더불어 결석후보 추정부(106)를 구성하는 제2인공 신경망 모델 역시 상기 복수의 CT 이미지 각각에서 결석으로 추정들의 블랍들의 위치를 검출(S132단계)한다. 이러한 제2인공 신경망 모델은 신장에서 방광까지 단층 촬영하여 얻은 이미지 각각에서 결석으로 마킹된 영역의 특징을 기계학습하여 형성된 모델이다.
복수의 CT 이미지 각각에 대해, 기계학습한 제2인공 신경망 모델과 밝기정보를 이용해 각각 결석으로 추정되는 블랍(blob)들의 위치가 검출되면, 결석후보 추정부(106)를 구성하는 추정부는 서로 다른 경로에서 각각 검출된 블랍들의 위치(정보)를 비교해 일치하는 블랍들만을 최종 결석 후보 블랍들로 추정(S133단계)한다. 여기서 일치라는 개념은 블랍들의 위치정보, 즉 위치좌표가 완전 일치하는 것을 의미하는 것은 아니며, 설정된 근사도 범위 내에 존재한다거나 일부 좌표가 중첩된다거나, 오버랩의 정도를 계산하여 그 값이 임계치를 넘는다거나, 비교 대상인 블랍들의 중심점 간의 이격 거리가 허용치 내의 값을 가지는 등, 사전에 정해진 룰을 만족시킬 경우에 일치하는 것으로 정의하기로 한다.
이상에서 설명한 바와 같이 서로 다른 인공 신경망 모델을 이용해 요로와 결석 후보가 추정되면,
요로결석 검출 표시부(104)는 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 오버랩시켜 요로결석을 검출(S140단계)하고 이를 CT 이미지상에 위치정보와 함께 표시(S150단계)한다.
요로결석 검출단계를 구체화한 도 5를 참조하면, 요로결석 검출 표시부(104)는 우선 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 비교(S141단계)한다. 비교결과 추정된 요로의 위치와 결석 후보 블랍들의 위치가 오버랩되면 이를 요로결석 검출 위치로 마킹(S143단계)한다.
만약 시스템 내 요로결석 크기 측정 표시부(108)가 구비되어 있지 않거나, 요로 결석 검출 표시부(104)가 요로결석 크기 측정 기능이 없다면, 요로결석 검출 표시부(104)는 메인 루틴(도 2)으로 리턴하여 도 8에서와 같은 요로결석 검출 결과 화면을 표시(S150단계)해 준다.
도 8을 참조해 보면, Axial View 상에 초록색 마커를 이용해 요로결석 검출 위치가 마킹(A)되어 있는 것을 알 수 있다. 이는 하나의 예시로 요로결석 검출결과는 도 7b, 도 7c에서와 같이 각각 관상면(Coronal View), 시상면(Sagittal View) 상에서 관찰할 수도 있다.
참고적으로 도 7a 내지 도 7c는 세 방향에서 바라본 CT 이미지를 각각 나타낸 것으로, 좌측 이미지는 각 방향에서의 CT 이미지 원본을 나타낸 것이며, 좌측에서 우측으로 두 번째 이미지는 실측 자료(Ground Truth)를, 세 번째 위치하는 이미지는 요로 단절 전의 1차 요로 추정 이미지를 나타낸 것이다. 그리고 최우측 이미지는 CT 이미지 원본에 예측 추정 이미지를 오버레이한 이미지이기 때문에, 요로를 보완한 이미지를 원본 이미지에 오버레이하여 요로결석 검출결과 이미지로 사용할 수도 있다. 물론, 요로결석이 검출되었을 경우 그 위치가 마킹된 이미지를 오버레이 이미지상에 마킹하여 표시해야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예에 따른 요로결석 진단 시스템 및 그 방법은 복수의 CT 영상 이미지에 대해 서로 다른 인공 신경망 모델을 활용해 요로의 위치와 결석 후보군의 위치를 각각 추정하고, 추정된 요로의 위치와 결석 후보의 위치 중첩 여부 검사를 통해 최종적으로 요로결석의 위치를 검출하여 마킹 표시할 수 있는 것이다.
따라서 전문의 등은 본 발명의 실시예에 따른 요로결석 진단 시스템을 요로결석 진단을 위한 보조도구로 활용할 수 있는 편리함이 있다.
더 나아가 본 발명은 CT 이미지에서 특정이 어려운 요로, 즉 단절된 요로를 보완하여 가시화하기 때문에 판독의 효율성 및 정확성을 향상시켜 줄 수 있는 장점이 있다.
한편, 본 발명의 실시예에 따른 요로결석 진단 시스템은 요로결석의 위치 뿐만 아니라 크기도 측정 가능하다. 앞서 언급한 바와 같이 요로결석의 크기는 별도의 요로결석 크기 측정 표시부(108)에 의해 측정되어 표시될 수도 있고, 요로결석 검출 표시부(104)에 의해서도 측정되어 표시될 수 있다.
참고적으로, 요로결석의 크기 측정은 Bone window에 기반하여 스톤 마진(stone margin) 정교화를 실행하고, 정교화된 결석 마진에 대해 결석 크기를 측정할 수 있다. 일반적으로 의료영상 포맷인 DICOM 내부에는 인접한 픽셀 사이의 거리 및 CT 이미지 사이의 거리가 포함되어 있으며, 이를 이용하여 2차원 및 3차원 공간상의 거리를 유클리드 거리로 표현할 수 있다. 크기 측정은 횡단면(Axial), 관상면(Coronal), 시상면(Sagittal), 3차원(Optimal) 공간상에서의 최대거리를 마진 정교화를 통해 획득한 결석의 외곽선을 탐색하여 획득한다. 이때의 단위는 mm이다.
예를 들어 하나의 CT 이미지의 가로축과 세로축을 각각 x, y라 하고, 픽셀 사이의 거리가 (0.7mm, 0.7mm)로 표현되어 있고, 쌓아 올린 CT 이미지 각각의 거리(z 방향)가 1mm로 표시되어 있다면 상기 유클리드 거리(Length)는 하기 수학식으로 산출될 수 있다.
Figure PCTKR2021020241-appb-I000001
Ux, Uy는 pixel space in DICOM attributes를, Uz는 Slice space in DICOM attributes를 나타낸다. 다만, 횡단면 영상에 대해 크기를 측정할 때는 x, y축만을 이용하여 최대거리를 측정하며, 관상면에 대해서는 y축을, 시상면에 대해서는 x축을 버리고 나머지를 이용해 측정하며, Optimal에 대해서는 모두 사용하여 측정한다. 요로결석의 크기를 측정하면 위치정보와 함께 그 크기를 도 9에서와 같이 진단결과와 함께 표시함으로써, 전문의 등은 화면을 통해 검출된 요로결석의 위치와 크기를 확인할 수 있다.
이상에서 설명한 바에 따르면, 본 발명의 실시예에 따른 요로결석 진단 시스템은 PACS나 DICOM 뷰어에서 측정이 어려운 3D 공간(Optimal)의 결석 크기도 측정 가능한 장점이 있다.
위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다.
한편, 상술한 실시예에서는 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 컴퓨터 시스템에서 실행되는 요로결석 진단 방법에 있어서,
    적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지 각각에 대해, 기계학습한 제1인공 신경망 모델을 이용해 요관의 위치를 검출해 CT 이미지별 요로를 추정하는 단계와;
    상기 복수의 CT 이미지 각각에 대해, 기계학습한 제2인공 신경망 모델과 밝기정보를 이용해 각각 결석으로 추정되는 블랍(blob)들의 위치를 검출하고, 각각 검출된 블랍들의 위치를 비교해 CT 이미지별 결석 후보 블랍들을 추정하는 단계와;
    상기 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 오버랩시켜 요로결석을 검출하고 이를 CT 이미지상에 위치정보와 함께 표시하는 단계;를 포함함을 특징으로 하는 요로결석 진단 방법.
  2. 청구항 1에 있어서, 상기 요로결석으로 검출된 결석 후보 블랍에 대하여 스톤 마진 정교화 처리 후 의료용 디지털 영상 및 통신 표준에서 제공하는 픽셀 사이의 거리 및 CT 이미지 사이의 거리 정보를 이용해 결석 크기를 측정해 표시하는 단계;를 더 포함함을 특징으로 하는 요로결석 진단 방법.
  3. 청구항 1 또는 청구항 2에 있어서, 상기 CT 이미지별 요로를 추정하는 단계는,
    인접하는 CT 이미지 각각에서 검출된 요관의 위치로부터 요로의 연결 여부를 검사해 요로 단절된 CT 이미지를 검출하고, 요로 단절된 CT 이미지 보다 앞선 몇몇 CT 이미지들에서 검출된 요관의 위치 정보로부터 상기 요로 단절된 CT 이미지의 요관 위치를 추정하여 요로를 보완하는 요로 보완단계를 포함함을 특징으로 하는 요로결석 진단 방법.
  4. 프로세서와 메모리를 포함하는 요로결석 진단 시스템으로서,
    적어도 신장에서 방광까지 서로 다른 단층촬영 높이를 가지는 복수의 단층촬영(CT) 이미지 각각에 대해, 기계학습한 제1인공 신경망 모델을 이용해 요관의 위치를 검출해 CT 이미지별 요로를 추정하는 요로 추정부와;
    상기 복수의 CT 이미지 각각에 대해, 기계학습한 제2인공 신경망 모델과 밝기정보를 이용해 각각 결석으로 추정되는 블랍(blob)들의 위치를 검출하고, 각각 검출된 블랍들의 위치를 비교해 CT 이미지별 결석 후보 블랍들을 추정하는 결석후보 추정부와;
    상기 CT 이미지별로 추정된 요로의 위치와 결석 후보 블랍들의 위치를 오버랩시켜 요로결석을 검출하고 이를 CT 이미지상에 위치정보와 함께 표시하는 요로결석 검출 표시부;를 포함함을 특징으로 하는 요로결석 진단 시스템.
  5. 청구항 4에 있어서, 상기 요로결석으로 검출된 결석 후보 블랍에 대하여 스톤 마진 정교화 처리 후 의료용 디지털 영상 및 통신 표준에서 제공하는 픽셀 사이의 거리 및 CT 이미지 사이의 거리 정보를 이용해 결석 크기를 측정해 표시하는 요로결석 크기 측정부;를 더 포함함을 특징으로 하는 요로결석 진단 시스템.
  6. 청구항 4 또는 청구항 5에 있어서, 상기 요로 추정부는,
    인접하는 CT 이미지 각각에서 검출된 요관의 위치로부터 요로의 연결 여부를 검사해 요로 단절된 CT 이미지를 검출하고, 요로 단절된 CT 이미지 보다 앞선 몇몇 CT 이미지들에서 검출된 요관의 위치 정보로부터 상기 요로 단절된 CT 이미지의 요관 위치를 추정하여 요로를 보완함을 특징으로 하는 요로결석 진단 시스템.
  7. 청구항 4 또는 청구항 5에 있어서, 상기 요로 추정부의 제1인공 신경망 모델은 신장에서 방광까지 단층 촬영하여 얻은 이미지 각각에서 요관으로 마킹된 영역의 특징을 기계학습하여 형성된 기계학습모델임을 특징으로 하는 요로결석 진단 시스템.
  8. 청구항 4 또는 청구항 5에 있어서, 상기 결석후보 추정부는,
    신장에서 방광까지 단층 촬영하여 얻은 이미지 각각에서 결석으로 마킹된 영역의 특징을 기계학습하여 형성된 상기 제2인공 신경망 모델과;
    상기 복수의 CT 이미지 각각에서 밝기가 설정 임계치 이상인 블랍들의 위치를 검출하는 밝기 기반의 결석후보 검출부와;
    상기 제2인공 신경망 모델과 상기 밝기 기반의 결석후보 검출부 각각에서 추정 혹은 검출된 블랍들의 위치정보를 비교해 일치하는 블랍들을 CT 이미지별 결석 후보 블랍들로 추정하는 추정부;를 포함함을 특징으로 하는 요로결석 진단 시스템.
PCT/KR2021/020241 2021-12-15 2021-12-30 요로결석 진단 시스템 및 그 방법 WO2023113092A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210179789A KR20230090741A (ko) 2021-12-15 2021-12-15 요로결석 진단 시스템 및 그 방법
KR10-2021-0179789 2021-12-15

Publications (1)

Publication Number Publication Date
WO2023113092A1 true WO2023113092A1 (ko) 2023-06-22

Family

ID=86774591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020241 WO2023113092A1 (ko) 2021-12-15 2021-12-30 요로결석 진단 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR20230090741A (ko)
WO (1) WO2023113092A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190209116A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN110033432A (zh) * 2019-03-01 2019-07-19 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于机器学习和能谱ct的泌尿结石成分分析方法及系统
KR102209086B1 (ko) * 2020-08-28 2021-01-28 주식회사 스타랩스 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190209116A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN110033432A (zh) * 2019-03-01 2019-07-19 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于机器学习和能谱ct的泌尿结石成分分析方法及系统
KR102209086B1 (ko) * 2020-08-28 2021-01-28 주식회사 스타랩스 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CUI YINGPU; SUN ZHAONAN; MA SHUAI; LIU WEIPENG; WANG XIANGPENG; ZHANG XIAODONG; WANG XIAOYING: "Automatic Detection and Scoring of Kidney Stones on Noncontrast CT Images Using S.T.O.N.E. Nephrolithometry: Combined Deep Learning and Thresholding Methods", MOLECULAR IMAGING & BIOLOGY, ELSEVIER, BOSTON, vol. 23, no. 3, 27 October 2020 (2020-10-27), Boston , pages 436 - 445, XP037443500, ISSN: 1536-1632, DOI: 10.1007/s11307-020-01554-0 *
PARAKH ANUSHRI, LEE HYUNKWANG, LEE JEONG HYUN, EISNER BRIAN H., SAHANI DUSHYANT V., DO SYNHO: "Urinary Stone Detection on CT Images Using Deep Convolutional Neural Networks: Evaluation of Model Performance and Generalization", RADIOLOGY: ARTIFICIAL INTELLIGENCE, vol. 1, no. 4, 1 July 2019 (2019-07-01), pages e180066, XP093071366, DOI: 10.1148/ryai.2019180066 *

Also Published As

Publication number Publication date
KR20230090741A (ko) 2023-06-22

Similar Documents

Publication Publication Date Title
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US8116574B2 (en) Result filter and method for selecting the result data of an application for automatic pattern recognition
CN102915400B (zh) 用于计算机支持地显示或分析医学检查数据的方法和装置
US8213700B2 (en) Systems and methods for identifying suspicious anomalies using information from a plurality of images of an anatomical colon under study
Näppi et al. Region-based Supine-prone Correspondence for the Reduction of False-positive CAD Polyp Candidates in CT Colonography1
WO2004049948A1 (ja) コンピュータ支援診断装置
US20130002842A1 (en) Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
CN103945755B (zh) 图像处理装置
CN102378594B (zh) 用于将传感器位置与图像位置相关联的系统和方法
CN104798107B (zh) 从医学图像生成关键图像
WO2017051944A1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
EP2591459B1 (en) Automatic point-wise validation of respiratory motion estimation
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
US11935237B2 (en) Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
WO2022014856A1 (ko) 흉부 의료 영상 판독 지원 장치 및 방법
KR101050769B1 (ko) 의료영상 처리 시스템 및 처리 방법
AU2004219199B2 (en) Computer-aided detection systems and methods for ensuring manual review of computer marks in medical images
CN111161848A (zh) Ct图像的病灶标注方法及装置、存储介质
KR20200135171A (ko) 의료 영상에서 악성의심 병변을 구별하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치
WO2022010075A1 (ko) 의료영상을 기초로 인체 조직을 분석하는 방법 및 그 장치
US20100260393A1 (en) Navigation guide
WO2023113092A1 (ko) 요로결석 진단 시스템 및 그 방법
WO2016085236A1 (ko) 갑상선암 자동 판별 방법 및 시스템
WO2024090651A1 (ko) 요로위치 추정 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968301

Country of ref document: EP

Kind code of ref document: A1