KR102209086B1 - 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체 - Google Patents

요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR102209086B1
KR102209086B1 KR1020200109211A KR20200109211A KR102209086B1 KR 102209086 B1 KR102209086 B1 KR 102209086B1 KR 1020200109211 A KR1020200109211 A KR 1020200109211A KR 20200109211 A KR20200109211 A KR 20200109211A KR 102209086 B1 KR102209086 B1 KR 102209086B1
Authority
KR
South Korea
Prior art keywords
information
absence
image
tomography
area
Prior art date
Application number
KR1020200109211A
Other languages
English (en)
Inventor
이준호
추민수
김진
곽찬우
Original Assignee
주식회사 스타랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스타랩스 filed Critical 주식회사 스타랩스
Priority to KR1020200109211A priority Critical patent/KR102209086B1/ko
Priority to US16/952,442 priority patent/US11521318B2/en
Application granted granted Critical
Publication of KR102209086B1 publication Critical patent/KR102209086B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

본 발명은 요로결석 정보제공 방법에 관한 것으로서, 더욱 상세하게는 복수의 단층촬영 이미지에서 기계학습모델을 이용하여 결석이 존재하는 영역을 검출하고 자동으로 결석의 위치 및 크기를 포함하는 정보를 도출함으로써 요로결석 수술에 필요한 정보를 제공하는 요로결석 정보제공 방법에 관한 것이다.

Description

요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체{Urinary Stones Information Providing Method, Apparatus and Computer-Readable Medium}
본 발명은 요로결석 정보제공 방법에 관한 것으로서, 더욱 상세하게는 복수의 단층촬영 이미지에서 기계학습모델을 이용하여 결석이 존재하는 영역을 검출하고 자동으로 결석의 위치 및 크기를 포함하는 정보를 도출함으로써 요로결석 수술에 필요한 정보를 제공하는 요로결석 정보제공 방법에 관한 것이다.
소변이 생성되어 체외로 배출될 때까지의 경로를 요로라고 하며, 요로결석이란 소변이 만들어져 수송, 배설되는 길에 결석이 생긴 것을 말한다. 결석은 요로의 어느 부위에서나 형성될 수 있으며, 크기와 숫자는 하나에서 여러 개까지 다양하게 나타난다. 비뇨기과적 결석은 크게 신장결석, 요관결석, 방광결석으로 나뉜다. 실제 임상에서는 방광결석은 매우 드물고 요관결석의 비중이 높다. 요로결석 환자는 2013년 28만 명으로 연평균 2.8%의 증가율을 보이고 있으며, 주로 활동적인 20~40대에 자주 발생하며, 여자보다 남자에게 2배 이상 많이 발생하고 재발 확률이 70% 이상인 질환이다. 또한 치료비는 2013년 기준 1,926억 원으로 연평균 6% 정도의 증가율을 보이고 있다. 증상으로는 혈뇨가 나타날 수 있으며, 옆구리에 심한 통증이 나타날 수 있다.
이와 같은 요로결석은 다양한 물질이 결정을 이루기 때문에 도 1에 도시된 바와 같이 매우 날카로운 형상을 가지게 되고, 이로 인해 칼로 찌르는 것 같은 극심한 통증이 나타나게 된다. 숨도 제대로 쉬지 못할 정도의 통증 때문에 진통제 주사를 맞아야만 움직일 수 있는 경우도 있다. 따라서 요로결석으로 인한 증상이 나타나는 경우 빠른 치료가 이루어질 필요가 있다.
요로결석의 치료 방법은 환자에 따라 달라지는데 증상, 결석의 크기, 요폐나 요로 감염의 유무, 요로의 해부학적 이상 유무, 결석의 원인 등에 따라 치료법을 선택한다.
결석의 크기가 5㎜ 미만일 경우, 수분을 다량 섭취하고, 진통제를 투여하면서 줄넘기 등의 운동을 실시하며, 정기적으로 방사선 촬영하여 결석의 자연 배출되도록 기다린다. 단, 요로결석으로 인해 요관 폐색이 발생하고 요로 감염이 동반되어 열이 나거나 오심, 구토 등의 증상이 심한 경우, 혹은 신장이 하나인 요로 결석의 경우에는 응급으로 요로 전환술을 시행해야 한다.
자연 배출이 어려운 경우 체외 충격파 쇄석술, 요관경하 배석술 또는 복강경/개복 수술을 시행할 수 있다.
체외 충격파 쇄석술은 몸 밖에서 충격파를 주어 결석을 파쇄하여 자연 배출되도록 유도하는 치료법이고, 요관경하 배석술은 요도를 통해 내시경을 삽입하고 결석을 파쇄한 후 제거하는 수술 방법이다. 요로결석의 크기가 너무 커서 체외 충격파 쇄석술 또는 요관경하 배석술로 해결할 수 없는 경우 복강경이나 개복 수술을 통해 제거하여야 하나 최근에는 자주 시행되지는 않고 있다.
체외 충격파 쇄석술은 신체에 대한 침습 없이 외부에서의 충격파만으로 결석을 파쇄하여 배출시키는 방법으로서, 마취나 통증이 없으며 피부 절개 등이 필요 없어 많이 이용되고 있다. 다만 이와 같은 체외 충격파 쇄석술을 위해서는 초음파로 요로결석을 파쇄하기 위하여 요로결석의 정확한 위치와 크기를 파악 할 필요가 있다. X-ray 촬영을 통해 위치와 크기를 파악할 수도 있으나, 정확한 요로결석의 정보를 획득하기 위해서는 단층촬영(CT)을 통해 위치와 크기를 파악하는 것이 바람직하다.
종래에는 요로결석 환자의 단층촬영 이미지를 의사가 일일이 눈으로 확인하여 요로결석을 찾아내고, 찾아낸 요로결석 이미지를 자 등을 이용하여 측정함으로써 대략적인 크기를 파악해 내고 있었다. 다만 이와 같은 방법은 단층촬영 이미지로부터 요로결석을 찾아내는데 시간이 오래 걸리는 문제가 있고, 측정의 정확도가 낮기 때문에 적절한 치료 방법의 선택 및 치료 진행에 있어서 어려움이 있다. 따라서 단층촬영 이미지를 분석하여 요로결석의 치료에 도움을 줄 수 있는 정보를 제공하는 방법의 개발이 요구되고 있다.
본 발명은 복수의 단층촬영 이미지에서 기계학습모델을 이용하여 결석이 존재하는 영역을 검출하고 자동으로 결석의 위치 및 크기를 포함하는 정보를 도출함으로써 요로결석 수술에 필요한 정보를 제공하는 요로결석 정보제공 방법을 제공하는 것을 그 목적으로 한다.
상기와 같은 과제를 해결하기 위하여 본 발명에서는 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 시스템에서 수행되는 요로결석 정보제공 방법으로서,
서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 단계; 상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 단계; 복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 단계; 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 단계; 및 사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 단계; 를 포함하는, 요로결석 정보제공 방법을 제공한다.
본 발명에서는, 상기 이미지별결석세부정보를 도출하는 단계는, 상기 단층촬영 이미지의 상기 결석영역의 픽셀 중 색상정보가 기설정된 RGB값 범위에 해당하는 픽셀을 실제 결석에 해당하는 영역으로 결정할 수 있다.
본 발명에서는, 상기 단층촬영 높이는 기설정된 간격을 가지고, 상기 결석별세부정보를 도출하는 단계는, 상기 이미지별결석세부정보의 면적 및 단층촬영 높이의 간격에 기초하여 각각의 결석의 부피를 도출할 수 있다.
본 발명에서는, 상기 결석의 부피는 상기 결석에 대한 이미지별결석세부정보를 포함하는 단층촬영 이미지 중 이웃한 단층촬영 높이에서 촬영된 두 단층촬영 이미지의 이미지별결석세부정보의 면적의 평균과 단층촬영 높이의 간격을 곱한 값을 누적 합산하여 도출될 수 있다.
본 발명에서는, 상기 이미지별결석세부정보를 클러스터링 하는 단계는, 복수의 상기 단층촬영 이미지를 상기 단층촬영 높이에 따라 정렬하는 단계; 정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보의 좌표를 도출하는 단계; 및 정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보에서 도출된 상기 좌표를 이웃한 단층촬영 이미지와 비교하여 동일한 결석에 대한 이미지별결석세부정보인지 여부를 판단하는 단계; 를 포함할 수 있다.
본 발명에서는, 상기 결석별세부정보는, 상기 결석의 좌표, 상기 결석의 최대 단면적, 상기 결석의 부피 및 상기 결석의 장축의 길이를 포함할 수 있다.
본 발명에서는, 상기 요로결석 정보제공 방법은, 사용자의 요청에 따라 생성된 상기 요로결석 정보를 디스플레이 하는 단계; 를 더 포함하고, 상기 요로결석 정보를 디스플레이 하는 단계는, 복수의 상기 단층촬영 이미지에 기초하여 생성된 신체 3D 모델 상에 도출된 요로결석 정보를 오버레이 하여 디스플레이 할 수 있다.
본 발명에서는, 상기 요로결석 정보를 디스플레이 하는 단계는, 사용자의 입력에 따라 상기 신체 3D 모델의 디스플레이 각도 및 크기가 조절 가능할 수 있다,
본 발명에서는, 상기 요로결석 정보제공 방법은, 각각의 결석에 대한 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 학습된 제2기계학습모델 혹은 기설정된 조건을 이용하여 수술 성공 확률을 도출하는 단계; 를 더 포함할 수 있다,
본 발명에서는, 상기 제1기계학습모델은, YOLO 인공신경망 알고리즘에 기초하여 결석영역정보를 도출할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명은, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 요로결석 정보제공 장치로서, 서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 결석영역정보도출부; 상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 이미지별결석세부정보도출부; 복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 이미지별결석세부정보클러스터링부; 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 결석세부정보도출부; 및 사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 요로결석정보생성부; 를 포함하는, 요로결석 정보제공 장치를 제공한다.
상기와 같은 과제를 해결하기 위하여 본 발명은, 상기와 같은 요로결석 정보제공 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독가능 매체를 제공한다.
본 발명의 일 실시예에 따르면 기계학습모델을 이용하여 단층촬영 이미지에서 요로결석을 자동으로 검출하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 YOLO 인공신경망 알고리즘에 기초하여 요로결석을 검출함으로써 매우 빠르게 요로결석을 검출하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 검출된 요로결석의 크기 및 위치를 포함하는 정보를 자동으로 도출하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 단층촬영 이미지에서의 요로결석의 면적에 기초하여 요로결석의 부피를 도출할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 기계학습모델을 이용하여 요로결석의 수술 성공 확률을 도출함으로써 적절한 치료 방법을 선택할 수 있도록 하는 효과를 발휘할 수 있다,
본 발명의 일 실시예에 따르면 요로결석에 대한 정보를 신체 3D 모델 상에 디스플레이 함으로써 요로결석의 정보를 명료하게 확인할 수 있는 효과를 발휘할 수 있다.
도 1은 요로결석의 모습을 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 요로결석 정보제공 방법의 각 단계를 개략적으로 도시하는 도면이다.
도 3은 단층촬영 이미지를 촬영하는 모습을 개략적으로 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 요로결석 정보를 도출하기 위한 복수의 단층촬영 이미지를 개략적으로 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1기계학습모델이 결석이 존재하는 영역을 검출하는 과정을 개략적으로 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 제1기계학습모델이 단층촬영 이미지에서 결석영역정보를 도출한 모습을 개략적으로 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따라 결석의 표면적을 시각적으로 표시한 사진이다.
도 8은 본 발명의 일 실시예에 따라 복수의 단층촬영 이미지의 이미지별결석세부정보를 클러스터링 하는 과정을 개략적으로 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따라 결석별세부정보 중 장축의 길이를 도출하는 방법을 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따라 결석세부정보 중 결석의 부피를 도출하는 방법을 개략적으로 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따라 요로결석 정보를 디스플레이 하기 위하여 신체 3D 모델을 생성하는 모습을 개략적으로 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따라 생성된 신체 3D 모델에 요로결석 정보가 디스플레이 된 모습을 개략적으로 도시하는 도면이다.
도 13은 본 발명의 일 실시예에 따른 요로결석 정보제공 장치의 구성을 개략적으로 도시하는 도면이다.
도 14는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 요로결석이라 함은 소변이 생성되어 수송, 저장, 배설되는 길에 생성된 결석으로서, 신장결석, 신우결석, 요관결석, 방광결석 및 요도결석을 모두 포함하는 개념이다.
도 2는 본 발명의 일 실시예에 따른 요로결석 정보제공 방법의 각 단계를 개략적으로 도시하는 도면이다.
도 2를 참조하면 본 발명의 일 실시예에 따른 요로결석 정보제공 방법은, 서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 단계(S100); 상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 단계(S200); 복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 단계(S300); 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 단계(S400); 사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 단계(S500); 사용자의 요청에 따라 생성된 상기 요로결석 정보를 디스플레이 하는 단계(S600); 및 각각의 결석에 대한 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 학습된 제2기계학습모델 혹은 기설정된 조건을 이용하여 수술 성공 확률을 도출하는 단계(S700); 를 포함할 수 있다.
본 발명에서는 상기와 같이 일련의 단계를 거쳐 복수의 단층촬영 이미지로부터 결석이 존재하는 결석영역을 검출하여 결석영역정보를 도출하고, 상기 결석영역에서 실제로 결석이 존재하는 영역에 대한 이미지별결석세부정보를 도출하고, 상기 이미지별결석세부정보를 결석 별로 클러스터링 하여 결석에 대한 결석별세부정보를 도출하여 요로결석 정보를 의료진에게 제공하게 된다. 또한, 의료진이 요로결석에 대한 정보를 용이하게 파악할 수 있도록 디스플레이 할 수 있고, 요로결석에 대한 수술의 성공 확률을 자동으로 도출하여 제공하여 의료진이 치료 방법을 선택하는데 도움을 줄 수 있다.
우선 상기 결석영역정보를 도출하는 단계(S100)에서는 학습된 제1기계학습모델을 이용하여 복수의 단층촬영 이미지에서 결석을 검출하여 결석이 포함되는 영역인 결석영역을 검출하고 상기 결석영역에 대한 결석영역정보를 도출한다. 본 발명에서는 이와 같이 제1기계학습모델을 통해 결석을 검출함으로써 종래에 의료진이 단층촬영 이미지를 일일이 확인하면서 요로결석을 찾아내는 과정을 자동화 하면서도 높은 정확도로 요로결석을 검출할 수 있도록 할 수 있다.
이 후 이미지별결석세부정보를 도출하는 단계(S200)에서는 도출된 상기 결석영역에서 실제 결석에 해당하는 영역을 판별하여 이미지별결석세부정보를 도출한다. 상기 제1기계학습모델은 결석이 포함되는 영역인 결석영역을 도출하게 되는데, 이는 요로결석이 포함되는 영역으로서 실제로 요로결석이 촬영된 영역(픽셀)도 포함되지만 요로결석이 아닌 영역(픽셀)도 포함하고 있다, 따라서 실제 결석에 해당하는 영역을 분리하여 검출함으로써 결석에 대한 정확한 정보를 파악할 수 있고, 이와 같이 결석에 해당하는 영역을 분리함으로써 해당 단층촬영 이미지에서 결석의 단면을 파악함으로써 단면의 면적, 요로결석의 부피 등 요로결석에 대한 정보를 도출하는데 이용할 수 있다.
이 후 이미지별결석세부정보를 클러스터링 하는 단계(S300)에서는 각각의 단층촬영 이미지의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 한다. 이와 같이 동일한 요로결석에 대한 이미지별결석세부정보를 모아서 정리함으로써 해당 요로결석에 대한 상세한 정보를 파악할 수 있게 된다.
이 후 결석별세부정보를 도출하는 단계(S400)에서는 클러스터링 된 이미지별결석세부정보에 기초하여 해당 요로결석에 대한 결석별세부정보를 도출한다. 상기 결석별세부정보는 상기 결석의 좌표, 부피, 단면적, 길이 등의 정보를 포함할 수 있다.
이 후 요로결석 정보를 생성 혹은 제공하는 단계(S500)에서는 사용자의 요청에 따라 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보로부터 필요한 정보를 도출하여 요로결석 정보를 생성하거나 사용자에게 제공한다.
이 후 요로결석 정보를 디스플레이 하는 단계(S600)에서는 상기 요로결석 정보를 디스플레이 한다. 본 발명의 일 실시예에서는 상기 요로결석의 정보를 복수의 상기 단층촬영 이미지에 기초하여 생성된 신체 3D 모델 상에 표시하여 사용자가 상기 요로결석에 대한 정보를 한눈에 파악할 수 있도록 할 수 있다.
이 후 수술 성공 확률을 도출하는 단계(S700)에서는 학습된 제2기계학습모델 혹은 기설정된 조건을 이용하여 각각의 결석에 대한 수술, 특히 체외 충격파 쇄석술에 대한 성공 확률을 도출할 수 있다. 본 발명에서는 기설정된 조건, 예를 들어 결석의 위치 및 결석의 크기 등에 따라 결석에 대한 체외 충격파 쇄석술의 성공 확률을 도출할 수도 있고, 혹은 학습된 제2기계학습모델에 기초하여 체외 충격파 쇄석술의 성공 확률을 도출할 수도 있다. 상기 제2기계학습모델은 기존 환자의 요로결석이 촬영된 단층촬영 이미지에 해당 환자의 수술 성공 여부를 라벨링 하여 학습 데이터로 사용함으로써, 새로 입력되는 단층촬영 이미지의 요로결석이 수술에 적합한지 판단하기 위한 수술 성공 확률을 도출하게 된다. 이와 같이 본 발명에서는 수술 성공 확률을 도출하여 제공함으로써 사용자인 의료진이 수술(체외 충격파 쇄석술)을 시도할지 아니면 다른 치료 방법을 시도할지에 대한 판단을 도울 수 있다.
도 3은 단층촬영 이미지를 촬영하는 모습을 개략적으로 도시하는 도면이다.
도 3을 참조하면 본 발명에서 사용되는 복수의 단층촬영 이미지를 획득하기 위하여 단층촬영 이미지를 촬영하기 위한 장치의 모습을 확인할 수 있다. 도 3에서와 같이 촬영 대상 환자(10)가 장치에 마련된 플랫폼(23)에 누워 있으면 장치의 X-Ray 광원(21)으로부터 X선이 환자(10)를 향해 조사되고, X-Ray 광원(21)의 반대측에 위치한 센서(22)에서는 환자(10)를 투과한 X선을 검출하게 된다. 이 때 상기 X-Ray 광원(21)과 센서(22)가 도 3에 표시된 바와 같이 XY평면상에서 회전하면서 여러 방향에서 상기 환자(10)에 X선을 조사하고, 투과한 X선을 검출하게 된다.
X선이 상기 환자(10)에 조사되면 일부는 상기 환자(10)의 신체에 흡수되고, 일부는 상기 환자(10)를 투과하여 상기 센서(22)까지 도달하게 된다. 상기 센서(22)는 투과한 상기 X선의 양을 감지하게 된다. 이와 같이 투과된 X선의 양은 상기 환자(10) 신체 내부의 각 기관 등의 투과율과 두께 등에 따라 달라지게 된다.
이와 같이 X선의 조사 각도에 따라 투과된 X선을 검출함으로써 사이노그램(Sinogram)을 획득할 수 있게 된다. 사이노그램은 상기 센서(22)에서 각도에 따라 검출한 투과 X선의 양을 명암을 사용하여 시각화한 것이다. 즉 여러 각도고 X선 사진을 획득하여 얻은 그래프라 할 수 있다. 일반적으로 흰 색에 가까울수록 흡수가 많이 된 경우로, 이는 해당 위치에서의 신체 기관의 흡수율이 높거나, 그 크기(두께)가 커 흡수가 많이 일어났다고 판단할 수 있다.
다만 이와 같은 사이노그램은 흡수된 X선의 양을 표시해 주지만 사이노그램을 통해 신체 단면의 모양을 바로 확인할 수는 없다. 따라서 상기 사이노그램을 처리하여 사람이 판독 가능한 형태로 변환할 필요가 있다.
한편, 이와 같은 사이노그램은 물체를 투과한 X선량은 해당 X선 궤적에서의 흡수량을 선적분한 것으로 표현할 수 있다. 또한 광원과 센서가 회전하기 때문에 선적분 함수에 회전 변수가 추가되어야 한다. 이와 같은 함수를 라돈변환(Radon Transform)이라 한다. 즉, 상기 사이노그램은 상기 환자(10)의 촬영 단면에 대해 라돈변환을 물리적으로 수행한 결과이고, 상기 사이노그램으로부터 촬영 단면을 획득하기 위해서는 역라돈변환(Inverse Radon Transform)을 수행하면 된다. 즉, 상기 센서(22)를 통해 획득한 사이노그램에 역라돈변환을 수행함으로써 상기 X선이 투과된 환자(10) 신체의 단층촬영 이미지(30)를 획득할 수 있게 된다.
이와 같이 신체의 단층촬영 이미지를 획득한 이후, 상기 플랫폼(23)은 Z방향으로 이동하게 되고, 이 후 상기 광원(21)과 센서(22)가 회전하면서 X선을 조사하고 검출함으로써 또 다른 단층촬영 이미지를 획득하게 된다. 즉 도 3에 도시된 장치를 통해 Z방향, 즉 환자(10)의 키 방향으로 상기 플랫폼(23)을 이동시키면서 서로 다른 단층촬영 높이(Z축 좌표)를 갖는 복수의 단층촬영 이미지를 획득할 수 있다. 바람직하게는 상기 단층촬영 높이는 기설정된 동일한 간격을 갖는 것이 바람직하다.
도 4는 본 발명의 일 실시예에 따른 요로결석 정보를 도출하기 위한 복수의 단층촬영 이미지를 개략적으로 도시하는 도면이다.
도 4를 참조하면 도 3에 도시된 것과 같은 방식으로 촬영된 복수의 단층촬영 이미지가 저장된 모습을 확인할 수 있다. 이와 같이 촬영된 복수의 단층촬영 이미지는 상기 단층촬영 높이에 따라 순서대로 정렬이 되어 저장될 수 있다. 본 발명에서는 이와 같은 복수의 단층촬영 이미지에 기초하여 요로결석을 감지하고 분석하여 요로결석 정보를 도출해낼 수 있다.
도 5는 본 발명의 일 실시예에 따른 제1기계학습모델이 결석이 존재하는 영역을 검출하는 과정을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서는 제1기계학습모델을 통해 결석이 존재하는 결석영역정보를 도출하게 된다. 이와 같은 제1기계학습모델은 인공신경망과 같은 구조를 가질 수 있고, 인공신경망의 학습을 통해 결석이 존재하는 결석영역정보를 도출할 수 있다.
본 발명의 일 실시예에서 상기 제1기계학습모델은 YOLO 인공신경망 알고리즘에 기초하여 결석영역정보를 도출할 수 있다.
이미지로부터 특정 객체의 포함 여부를 확인하고 객체 영역을 추출하는 인공신경망이 다수 개발되어 왔다.
일반적으로 이미지에서 객체는 다양한 영역에 분포되어 있을 수 있으므로, 이미지로부터 객체를 추출하기 전에 객체가 어느 범위 내에 있는지를 경계 상자를 통해 확인하여야 한다. 이와 같은 경계 상자를 예측하기 위한 여러 알고리즘이 존재한다.
슬라이딩 윈도우 방식에서는 이미지의 슬라이딩 윈도우 영역 이미지가 객체 클래스 예측 함수에 전달된다. 슬라이딩 윈도우는 이미지의 객체 탐색을 위해, 이미지 좌상단부터 일정 크기의 경계 상자를 만들어, 그 안에 객체를 탐색하는 과정을 반복한다.
한편, 객체는 다양한 크기가 될 수 있다. 경계 상자 내 이미지를 객체 인식 가능한 특정 크기로 정규화하기 위해, 일반적으로는 이미지 피라미드를 생성하여 문제를 해결한다. 이미지는 최소 크기에 도달 할 때까지 다운 샘플링 된다. 이러한 이미지 각각에 대해 객체 검출이 실행된다. 피라미드는 최대 64 레벨을 가지는 것이 일반적이다.
CNN(Convolution Neural Network)와 같은 인공신경망에서는 매우 높은 정확도로 객체의 분류를 수행할 수 있지만, 전술한 바와 같은 슬라이딩 윈도우에서 획득한 수 많은 윈도우 이미지에 대해 CNN 객체 분류를 수행하는 것은 불가능하다. 따라서 영역(Region)을 고려한 R-CNN(Regions with CNN) 알고리즘을 통해 이와 같은 문제를 해결할 수 있었다. R-CNN에서는 객체 분류에 필요한 경계 상자의 수를 줄여 CNN을 적용하였다. 다만 R-CNN 또한 수많은 영역에 대한 CNN 처리에 많은 시간이 소요되는 문제가 있다.
따라서 소요 시간 단축을 위해 전체 이미지에 대한 CNN을 한 번만 계산하는 SPP-net(Spatial Pyramid Pooling network), 공간 풀링을 통해 구배를 계산하는 FAST R-CNN 등의 신경망이 개발되었고, 종전에 비해 빠른 계산 속도를 획득하였으나 여전히 동영상에서의 실시간 처리를 수행할 수 있을 정도의 속도에는 도달하지 못하였다.
YOLO(You Only Look Once) 인공신경망 알고리즘은 이와 같은 객체 검출 신경망의 처리 속도를 획기적으로 개선한 인공신경망이다. YOLO는 네트워크의 최종 출력단에서 경계박스의 위치 찾기와 객체의 클래스 분류가 동시에 이루어진다. 단 하나의 네트워크에서 한 번에 특징도 추출하고, 경계박스도 생성하며, 클래스도 분류하게 된다. 따라서 그 구조가 매우 간단하고 빠른 속도를 낼 수 있게 된다.
도 5를 참조하면 YOLO 인공신경망에 좌측의 입력 영상이 통과하면 중앙과 같은 2개의 데이터를 획득하게 된다. 이와 같은 2개의 데이터가 인공신경망 네트워크의 최종 출력이다. 이와 같은 출력에는 수많은 경계박스들과 영상을 S x S 그리드로 나누었을 때 해당 그리드 셀 안에는 어떤 클래스가 있는지에 대한 정보가 인코딩 되어 있다. 우측의 이미지는 이와 같은 네트워크의 최종 출력을 이용해 생성하는 것으로서, 상기 네트워크가 직접 생성하지 않는다.
중앙 상단의 이미지는 경계 박스에 대한 정보이다. 서로 다른 크기의 많은 경계박스들이 그려져 있다. 네트워크는 영상을 S x S 그리드로 나눈다. 도 5의 실시예에서는 7 x 7 그리드로 분할하였다. 각 그리드에서는 중심이 그리드 내부에 위치하면서 크기가 일정하지 않은 경계박스를 2개씩 생성한다. 그리드 셀이 7 x 7 = 49 개이므로 경계박스는 총 98개가 만들어진다.
이 중 경계박스 내부에 객체가 존재할 것으로 확신되는 경계박스를 굵게 표시한다. 이는 확신도(Confidence Score)를 도출하여 상기 확신도가 기설정된 값 이상인 경우를 나타낼 수 있다. 이와 같은 확신도가 기설정된 값 이상인 경계박스를 제외하고 나머지 경계박스를 지운다. 남은 경계박스들을 선별하면 우측의 이미지와 같이 3개의 경계박스가 남게 된다.
한편 경계박스의 색깔은 객체의 클래스를 의미한다. 중앙 하단의 이미지에는 7 x 7의 그리드로 분할되어 총 49개의 그리드 셀이 만들어져 있다. 각 그리드 셀은 해당 영역에서 제안한 경계박스 안의 오브젝트가 어떤 클래스인지를 컬러로 표현하고 있다.
따라서 이를 조합하면 최종적으로 남은 3개의 경계박스 내부의 객체의 클래스를 알 수 있다. 이를 통해 우측의 이미지와 같은 최종 결과를 얻을 수 있다.
이와 같은 YOLO 인공신경망을 본 발명의 제1기계학습모델로 사용하게 되면 입력되는 단층촬영 이미지로부터 객체인 요로결석을 검출하여 요로결석이 포함된 결석영역정보를 도출할 수 있다. 이와 같이 도출된 결석영역정보가 도 6에 도시되어 있다. 도 6에는 단층촬영 이미지에서 요로결석이 포함된 것으로 판단된 영역이 붉은 사각형으로 표시되어 있고, stone이라는 라벨이 상기 영역에 부착된다.
이와 같은 YOLO 인공신경망은 학습을 통해 상기 확신도의 도출의 정확도를 높이고, 경계박스 생성의 정확도를 높일 수 있게 된다. 이와 같은 학습은 요로결석 환자의 요로결석이 포함된 단층촬영 이미지를 입력하여 수행될 수 있다. 본 발명의 일 실시예에서는 요로결석이 포함된 단층촬영 이미지의 상기 요로결석이 포함되는 영역에 라벨링을 수행하여 입력함으로써 지도학습 방법을 통해 상기 YOLO 인공신경망을 학습시킬 수 있게 된다. 더 많은 단층촬영 이미지를 이용하여 학습을 수행할수록 상기 YOLO 인공신경망이 요로결석을 검출하는 정확도를 높일 수 있다.
한편, 본 발명의 일 실시예에서는 제2기계학습모델을 이용하여 수술 성공 확률을 도출할 수 있다. 상기 제2기계학습모델은 상기 단층촬영 이미지로부터 도출된 이미지별결석세부정보를 포함하는 정보에 기초하여 수술 성공 확률을 도출할 수 있다. 이와 같은 제2기계학습모델 또한 인공신경망 모델을 통해 구현될 수 있고, 상기 제1기계학습모델과 같이 학습을 통해 도출되는 수술 성공 확률의 정확도를 높일 수 있다. 이와 같은 학습 또한 요로결석 환자의 요로결석이 포함된 단층촬영 이미지를 입력하여 수행될 수 있다. 본 발명의 일 실시예에서는 요로결석이 포함된 단층촬영 이미지에 해당 이미지의 환자의 수술 실시 경과를 라벨링을 수행하여 입력함으로써 지도학습 방법을 통해 상기 제2기계학습모델을 학습시킬 수 있게 된다.
도 7은 본 발명의 일 실시예에 따라 결석의 표면적을 시각적으로 표시한 사진이다.
본 발명의 일 실시예에서 상기 이미지별결석세부정보를 도출하는 단계(S200)는, 상기 단층촬영 이미지의 상기 결석영역의 픽셀 중 색상정보가 기설정된 RGB값 범위에 해당하는 픽셀을 실제 결석에 해당하는 영역으로 결정할 수 있다.
전술한 바와 같이 상기 결석영역정보를 도출하는 단계(S100)에서 도출된 결석영역은 단층촬영 이미지에서 결석이 존재하는 것으로 판단되는 영역을 나타낸다. 본 발명의 일 실시예에서 이와 같은 결석영역은 상기 단층촬영 이미지에서 결석을 포함하는 사각형 형태로 도출되어, 이와 같은 결석영역에서 실제로 결석이 존재하는 영역과 결석이 존재하지 않는 영역을 구분하여야 한다.
본 발명의 일 실시예에서는 상기 결석영역에서 색상정보가 기설정된 RGB값 범위에 해당하는 픽셀을 실제 결석에 해당하는 영역으로 결정하여 결석이 존재하는 영역과 결석이 존재하지 않는 영역을 구분할 수 있다.
본 발명의 일 실시예에서 상기 단층촬영 이미지는 환자의 신체를 투과한 X선을 측정하여 이미지화 한 것으로서, 흡수가 많이 일어난 영역은 흰색에 가깝게 표시되고, 흡수가 거의 일어나지 않은 영역은 검은색에 가깝게 표시된다. 요로결석의 경우 X선의 흡수가 많이 일어나기 때문에 단층촬영 이미지에서 흰색에 가깝게 나타난다. 바람직하게는 24비트 RGB 색상에서 R, G 및 B 모두 210 이상인 픽셀을 실제 결석에 해당하는 영역으로 결정할 수 있다. 도 7에는 사각형으로 표시된 결석영역에서 상기와 같은 기준에 의해 실제 결석에 해당하는 영역을 도출하여 나온 영역이 붉은색으로 표시되어 있다.
본원 발명에서는 이와 같이 실제 결석에 해당하는 영역을 도출함으로써 상기 단층촬영 이미지에서의 결석의 면적, 결석의 위치 등 결석에 대한 정보를 파악하여 의료진에게 제공하여 치료에 도움을 줄 수 있다.
한편, 본 발명에서는 제1기계학습모델을 통해 결석영역을 도출하고, 픽셀의 색상정보에 기초하여 실제 결석에 해당하는 영역을 결정하는 2중 구성을 취하고 있다. 이와 같이 본 발명에서는 인공신경망을 이용한 기계학습모델과 색상정보에 기초한 규칙기반모델이 역할을 분담하여 결석영역을 검출하고 결석에 해당하는 영역을 도출함으로써 정확도를 높이면서도 빠른 속도로 결석을 탐지할 수 있게 된다. 본 발명의 일 실시예에서는 상기 제1기계학습모델을 통해 결석영역을 도출함으로써 복수의 단층촬영 이미지로부터 높은 정확도로 결석을 탐지할 수 있으며, 이 때 제1기계학습모델은 결석이 포함되는 결석영역만을 도출함으로써 연산량을 줄여 빠른 속도로 탐지가 가능하게 된다. 한편 상기 결석영역에서 실제 결석에 해당하는 영역은 간단한 로직의 규칙기반모델을 통해 도출함으로써 매우 빠른 속도로 상기 결석영역에서 실제 결석에 해당하는 영역을 도출해 낼 수 있다.
도 8은 본 발명의 일 실시예에 따라 복수의 단층촬영 이미지의 이미지별결석세부정보를 클러스터링 하는 과정을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 이미지별결석세부정보를 클러스터링 하는 단계(S300)는, 복수의 상기 단층촬영 이미지를 상기 단층촬영 높이에 따라 정렬하는 단계(S310); 정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보의 좌표를 도출하는 단계(S320); 및 정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보에서 도출된 상기 좌표를 이웃한 단층촬영 이미지와 비교하여 동일한 결석에 대한 이미지별결석세부정보인지 여부를 판단하는 단계(S330); 를 포함할 수 있다.
본 발명에서는 이와 같이 각각의 단층촬영 이미지의 이미지별결석세부정보를 클러스터링 하여 하나의 요로결석이 촬영된 복수의 단층촬영 이미지 각각에서의 이미지별결석세부정보를 종합하여 정보를 처리하도록 할 수 있다. 이와 같이 하나의 요로결석에 대한 복수의 단층촬영 이미지 각각에서의 결석에 대한 정보를 모아서 처리함으로써 상기 요로결석에 대한 다양한 정보를 획득할 수 있게 된다.
도 8에는 본 발명의 일 실시예에 따라 요로결석을 분석하기 위한 복수의 단층촬영 이미지(img001 내지 img006)이 도시되어 있다. 각각의 이미지는 도 3에서 도시된 바와 같이 서로 다른 단층촬영 높이(z축 좌표)를 가지고, 단층촬영 높이의 순서대로 정렬되어 넘버링 되어 있다. 이와 같이 복수의 단층촬영 이미지를 상기 단층촬영 높이에 따라 정렬함으로써(S310) 복수의 단층촬영 이미지 내의 이미지별결석세부정보를 클러스터링 하기 위한 준비를 하게 된다.
첫 번째 단층촬영 이미지인 img001을 참조하면 제1기계학습모델에 의해 a 위치에 요로결석이 검출되어 결석영역으로 표시되어 있다. 이와 같은 결석영역에 대해서 상기 이미지별결석세부정보를 도출하는 단계(S200)를 통해 실제 결석에 해당하는 영역을 도출해 낼 수 있다. 이와 같이 도출된 결석영역은 좌표가 도출되어 저장된다(S320).
이 때 상기 a 위치의 요로결석에 대해 제1요로결석으로 지정하고, 상기 a 위치의 이미지별결석세부정보를 제1요로결석으로 클러스터링 한다(S330).
두 번째 단층촬영 이미지인 img002를 참조하면 제1기계학습모델에 의해 b 위치에 요로결석이 검출되어 결석영역으로 표시되어 있다. 이와 같은 결석영역은 img001에서와 동일하게 좌표가 도출되어 저장된다(S320).
이 때, 상기 b 위치의 요로결석은 인접한 단층촬영 이미지인 img001의 a 위치의 요로결석과 좌표의 차이가 매우 작으므로, 동일한 요로결석에 대한 결석영역으로 판단할 수 있다. 따라서 상기 b 위치의 이미지별결석세부정보를 a 위치의 이미지별결석세부정보와 동일한 제1요로결석으로 클러스터링 한다(S330).
이와 같이 각각의 단층촬영 이미지의 좌표를 비교하여 동일한 결석에 대한 이미지별결석세부정보인지 여부를 판단하기 위한 기준이 필요하게 된다. 본 발명의 일 실시예에서는 상기 이미지별결석세부정보의 좌표의 시작점을 비교하여 좌표간의 거리가 기설정된 기준 이하인 경우 동일한 결석에 대한 이미지별결석세부정보로 판단할 수도 있고, 혹은 다른 실시예에서는 상기 이미지별결석세부정보의 각 픽셀의 좌표를 도출하고, 서로 겹치는 픽셀의 비율 혹은 픽셀의 수가 기설정된 기준 이상인 경우 동일한 결석에 대한 이미지별결석세부정보로 판단할 수도 있다. 이와 같이 본 발명에서는 다양한 방법으로 상기 이미지별결석세부정보의 좌표를 가공 또는 처리하여 이웃한 단층촬영 이미지의 이미지별결석세부정보의 좌표와 비교함으로써 동일한 결석에 대한 이미지별결석세부정보인지를 판단할 수 있다.
세 번째 단층촬영 이미지인 img003을 참조하면 제1기계학습모델에 의해 c 위치 및 d 위치에 요로결석이 검출되어 결석영역으로 표시되어 있다. 이와 같은 결석영역은 img001에서와 동일하게 좌표가 도출되어 저장된다(S320).
이 때, 상기 d 위치의 요로결석은 인접한 단층촬영 이미지인 img002의 b 위치의 요로결석과 좌표의 차이가 매우 작으므로, 동일한 요로결석에 대한 결석영역으로 판단할 수 있다. 따라서 상기 d 위치의 이미지별결석세부정보를 b 위치의 이미지별결석세부정보와 동일한 제1요로결석으로 클러스터링 한다.
한편, 상기 c 위치의 요로결석은 인접한 단층촬영 이미지인 img002의 b 위치의 요로결석과 좌표의 차이가 크기 때문에, 새로운 요로결석에 대한 결석영역으로 판단할 수 있다. 따라서 상기 c 위치의 요로결석에 대해 제2요로결석으로 지정하고, 상기 c 위치의 이미지별결석세부정보를 제2요로결석으로 클러스터링 한다(S330).
네 번째 단층촬영 이미지인 img004를 참조하면 제1기계학습모델에 의해 e 위치에 요로결석이 검출되어 결석영역으로 표시되어 있다. 이와 같은 결석영역은 img001에서와 동일하게 좌표가 도출되어 저장된다(S320).
이 때, 상기 e 위치의 요로결석은 인접한 단층촬영 이미지인 img003의 c 위치의 요로결석과 좌표의 차이가 매우 작으므로, 동일한 요로결석에 대한 결석영역으로 판단할 수 있다. 따라서 상기 e 위치의 이미지별결석세부정보를 c 위치의 이미지별결석세부정보와 동일한 제2요로결석으로 클러스터링 한다(S330).
다섯 번째 단층촬영 이미지인 img005를 참조하면 제1기계학습모델에 의해 f 위치에 요로결석이 검출되어 결석영역으로 표시되어 있다. 이와 같은 결석영역은 img001에서와 동일하게 좌표가 도출되어 저장된다(S320).
이 때, 상기 f 위치의 요로결석은 인접한 단층촬영 이미지인 img004의 e 위치의 요로결석과 좌표의 차이가 크기 때문에, 새로운 요로결석에 대한 결석영역으로 판단할 수 있다. 따라서 상기 f 위치의 요로결석에 대해 제3요로결석으로 지정하고, 상기 f 위치의 이미지별결석세부정보를 제3요로결석으로 클러스터링 한다(S330).
여섯 번째 단층촬영 이미지인 img006을 참조하면 제1기계학습모델에 의해 g 위치에 요로결석이 검출되어 결석영역으로 표시되어 있다. 이와 같은 결석영역은 img001에서와 동일하게 좌표가 도출되어 저장된다(S320).
이 때, 상기 g 위치의 요로결석은 인접한 단층촬영 이미지인 img005의 f 위치의 요로결석과 좌표의 차이가 매우 작으므로, 동일한 요로결석에 대한 결석영역으로 판단할 수 있다. 따라서 상기 g 위치의 이미지별결석세부정보를 f 위치의 이미지별결석세부정보와 동일한 제3요로결석으로 클러스터링 한다(S330).
도 8에서는 상기와 같은 과정을 거쳐 인접한 여섯 단층촬영 이미지에서 검출된 결석영역의 이미지별결석세부정보를 세 개의 요로결석으로 클러스터링 하였다. 그 결과 제1요로결석에는 a, b 및 d 위치의 이미지별결석세부정보가 클러스터링 되어 있고, 제2요로결석에는 c 및 e 위치의 이미지별결석세부정보가 클러스터링 되어 있고, 제3요로결석에는 f 및 g 위치의 이미지별결석세부정보가 클러스터링 되어 있다. 이와 같이 하나의 요로결석에 대해 복수의 이미지별결석세부정보가 클러스터링 되어 있음으로 인해 본 발명에서는 복수의 상기 이미지별결석세부정보를 종합하여 상기 요로결석에 대한 다양한 결석세부정보를 도출할 수 있다(S400).
본 발명의 일 실시예에서 상기 결석별세부정보는, 상기 결석의 좌표, 상기 결석의 최대 단면적, 상기 결석의 부피 및 상기 결석의 장축의 길이를 포함할 수 있다. 이와 같이 본 발명의 일 실시예에서는 복수의 단층촬영 이미지로부터 상기 요로결석에 대한 다양한 정보를 추출하고 도출하여 의료진에게 제공함으로써 의료진이 요로결석의 치료를 위한 판단을 내리는데 도움을 줄 수 있다.
도 9는 본 발명의 일 실시예에 따라 결석별세부정보 중 장축의 길이를 도출하는 방법을 개략적으로 도시하는 도면이다.
도 9를 참조하면 본 발명의 일 실시예에 따른 상기 단층촬영 이미지에 요로결석이 하얀색으로 나타나 있다. 이와 같은 요로결석의 단면은 도 9에 도시된 바와 같이 일측으로 긴 형태를 가질 수도 있고, 혹은 전체적으로 둥근 형태를 가질 수도 있다. 이 때, 일측으로 긴 형태를 갖는 경우. 긴 형태에서의 장축의 길이가 요로결석의 주요 정보가 된다. 이는 요로결석의 수술 여부를 판단할 때, 요로결석이 자연배출 될 수 있는지 여부를 판단해야 하는데, 이 때 전체적으로 둥근 형태보다 일측으로 긴 형태의 단면을 갖는 경우 요로결석이 요관 등을 통해 배출되기 어렵기 때문이다.
도 9에서는 이와 같이 일측으로 긴 형태의 요로결석의 장축의 길이를 도출하기 위한 보조선이 도시되어 있다. 본 발명의 일 실시예에서는 요로결석에서 가장 돌출된 두 점(도 9에서의 좌상단 및 우하단)을 도출하고 두 점을 잇는 선분의 길이를 장축의 길이로 할 수 있다. 이 때, 상기 장축의 길이는 좌하단에 표시된 것과 같은 보조점을 통해 직각삼각형을 형성함으로써, 상기 직각삼각형의 높이(세로 픽셀의 수) 및 너비(가로 픽셀의 수)를 도출하고, 이를 피타고라스의 정리에 적용함으로써 상기 장축의 길이(빗변의 길이)를 도출할 수 있게 된다.
도 10은 본 발명의 일 실시예에 따라 결석세부정보 중 결석의 부피를 도출하는 방법을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 단층촬영 높이는 기설정된 간격을 가지고, 상기 결석별세부정보를 도출하는 단계(S400)는, 상기 이미지별결석세부정보의 면적 및 단층촬영 높이의 간격에 기초하여 각각의 결석의 부피를 도출할 수 있다.
클러스터링 된 상기 이미지별결석세부정보는 해당 요로결석이 촬영된 각각의 단층촬영 이미지에서의 정보를 포함하고 있다. 이와 같은 이미지별결석세부정보에는 해당 단층촬영 이미지에서의 요로결석의 면적에 대한 정보를 포함하고 있다. 이는 전술한 바와 같이 상기 단층촬영 이미지에서 요로결석으로 판단되는 픽셀의 면적에 의해 도출될 수 있다.
본 발명에서는 이와 같은 단층촬영 이미지에서의 요로결석의 면적과 단층촬영 이미지의 단층촬영 높이의 간격에 기초하여 결석의 부피를 도출할 수 있다.
도 10의 (a)에는 요로결석이 복수의 단층촬영 이미지(img02 내지 img05)에 걸쳐 촬영된 모습이 도시되어 있다. 복수의 상기 단층촬영 이미지는 기설정된 간격(h)만큼 촬영높이에 차이를 두고 있다.
한편, 상기 각각의 단층촬영 이미지에서는 전술한 바와 같이 요로결석의 단면적을 도출할 수 있다. 이 때, img02에서의 요로결석의 면적을 a2, img03에서의 요로결석의 면적을 a3, img04에서의 요로결석의 면적을 a4, img05에서의 요로결석의 면적을 a5라 표현할 수 있다.
본 발명의 일 실시예에서는 이와 같은 각각의 단층촬영 이미지의 요로결석의 면적을 단순히 상기 단층촬영 높이의 간격을 곱하여 합산함으로써 상기 요로결석의 부피를 근사적으로 도출할 수 있다.
도 10의 (b)를 참조하면 img02에서의 면적 a2에 단층촬영 높이의 간격 h를 곱하면 가장 상단의 박스형태의 부피가 된다. 동일하게 img03, img04 및 img05에서의 각각의 면적에 높이 h를 곱하면 각각의 단층촬영 이미지에 걸쳐있는 박스형태의 부피가 된다. 이와 같이 도출된 부피를 합산하게 되면 상기 요로결석의 부피를 근사적으로 도출할 수 있게 된다.
한편, 본 발명의 다른 실시예에서 상기 결석의 부피는, 상기 결석에 대한 이미지별결석세부정보를 포함하는 단층촬영 이미지 중 이웃한 단층촬영 높이에서 촬영된 두 단층촬영 이미지의 이미지별결석세부정보의 면적의 평균과 단층촬영 높이의 간격을 곱한 값을 누적 합산하여 도출할 수 있다.
도 10을 참조하면 도 10의 (c)에서와 같이 요로결석이 촬영되지 않은 img01 및 img06을 이용하여 설명할 수 있다.
도 10의 (a) 및 (b)에서 설명한 바와 같이 요로결석이 복수의 단층촬영 이미지(img02 내지 img05)에 걸쳐 촬영되어 있다. 각각의 단층촬영 이미지에서 상기 요로결석의 면적을 각각 a2, a3, a4 및 a5라 하면, 도 10의 (d)에 도시된 것과 같이 요로결석의 부피를 근사적으로 도출할 수 있다. 도 10의 (d)에서 img01과 img02 사이에 삼각형으로 표시된 가장 상단의 박스의 부피는 img01에서의 요로결석의 면적 0과 img02에서의 요로결석의 면적 a2의 평균 (0 + a2)/2로 근사할 수 있다. 동일하게 img02와 img03 사이에 사각형으로 표시된 박스의 부피는 img02에서의 요로결석의 면적 a2와 img03에서의 요로결석의 면적 a3의 평균 (a2 + a3)/2로 근사할 수 있고, img03과 img04 사이에 사각형으로 표시된 박스의 부피는 img03에서의 요로결석의 면적 a3과 img04에서의 요로결석의 면적 a4의 평균 (a3 + a4)/2로 근사할 수 있고, img04와 img05 사이에 사각형으로 표시된 박스의 부피는 img04에서의 요로결석의 면적 a4와 img05에서의 요로결석의 면적 a5의 평균 (a4 + a5)/2로 근사할 수 있고, img05와 img06 사이에 삼각형으로 표시된 박스의 부피는 img05에서의 요로결석의 면적 a5와 img06에서의 요로결석의 면적 0의 평균 (a5 + 0)/2로 근사할 수 있다. 이와 같이 근사적으로 구한 각 박스의 부피를 모두 더하면 도시된 바와 같은 요로결석의 부피를 근사적으로 구할 수 있게 된다.
이와 같이 본 발명의 일 실시예에서는 복수의 단층촬영 이미지에서 요로결석의 면적과 단층촬영 이미지의 단층촬영 높이의 간격에 기초하여 결석의 부피를 도출할 수 있고, 이와 같이 도출된 결석의 부피는 의료진이 결석의 치료를 위해 의사결정을 하기 위한 자료로 활용될 수 있다.
본 발명에서는 도 10에서와 같은 결석의 부피를 도출하기 위한 두 가지 실시예에 대하여 설명하였으나 본 발명은 이에 한정되지 않고 복수의 단층촬영 이미지에서의 요로결석의 면적과 단층촬영 높이의 간격을 이용하여 다양한 방법으로 상기 요로결석의 부피를 도출할 수 있다.
도 11은 본 발명의 일 실시예에 따라 요로결석 정보를 디스플레이 하기 위하여 신체 3D 모델을 생성하는 모습을 개략적으로 도시하는 도면이고, 도 12는 본 발명의 일 실시예에 따라 생성된 신체 3D 모델에 요로결석 정보가 디스플레이 된 모습을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 요로결석 정보를 디스플레이 하는 단계(S700)는, 복수의 상기 단층촬영 이미지에 기초하여 생성된 신체 3D 모델 상에 도출된 요로결석 정보를 오버레이 하여 디스플레이 할 수 있다.
본 발명에서는 상기 요로결석 정보를 디스플레이 하는 단계(S700)를 통해 상기 요로결석을 치료하려는 의료진에게 상기 요로결석에 대한 상세한 정보를 표시하여 상기 의료진이 요로결석에 대한 정보를 명료하게 인식할 수 있도록 할 수 있다. 이를 위해 본 발명의 일 실시예에서는 복수의 상기 단층촬영 이미지에 기초하여 환자의 신체 3D 모델을 생성하고, 상기 신체 3D 모델 상에 요로결석 정보를 표시함으로써 의료진이 요로결석의 위치 및 크기와 같은 정보를 확인할 수 있도록 할 수 있다.
도 3에서 전술한 바와 같이 상기 단층촬영 이미지는 환자(10)의 키 방향(z축 방향)에서 서로 다른 단층촬영 높이를 갖고 있다. 따라서 도 11에 도시된 바와 같이 상기 단층촬영 높이에 따라 상기 단층촬영 이미지를 배치하고 합성하여 모델링을 수행함으로써 환자의 신체 3D 모델을 생성할 수 있다. 이와 같이 생성되는 신체 3D 모델은 상기 단층촬영 이미지에 표시되는 다양한 신체 장기와 요로결석과 같은 물체가 포함될 수 있다.
도 12를 참조하면 도 12의 (a)는 상기 신체 3D 모델을 환자의 배 방향에서 본 모습을 도시한다. 좌측 상단과 중앙부에 각각 하나씩의 요로결석이 붉은 색의 영역으로 표시되어 있고, 각각의 요로결석의 크기와 같은 결석별세부정보가 라벨링 되어 표시되어 있다. 이와 같이 본 발명의 일 실시예에서는 상기 신체 3D 모델상에 도출된 요로결석 정보를 오버레이 하여 디스플레이 함으로써 요로결석의 위치와 함께 결석별세부정보를 확인할 수 있기 때문에 의료진이 용이하게 요로결석에 대한 정보를 파악하고 이를 활용하여 환자의 치료를 진행할 수 있게 된다.
한편, 본 발명의 일 실시예에서 상기 요로결석 정보를 디스플레이 하는 단계(S700)는, 사용자의 입력에 따라 상기 신체 3D 모델의 디스플레이 각도 및 크기가 조절 가능할 수 있다. 이는 상기 의료진이 상기 신체 3D 모델을 회전 및 확대/축소 함으로써 상기 요로결석의 위치 및 크기 등을 용이하게 확인할 수 있도록 하기 위함이다.
도 12의 (a)에서는 전술한 바와 같이 상기 신체 3D 모델을 환자의 배 방향에서 본 모습을 도시한다. 이를 통해 상기 신체 3D 모델에서 붉은 색의 영역으로 표시된 요로결석의 위치와 각 요로결석의 결석세부정보를 확인할 수 있다.
다만 이와 같이 한 방향에서 요로결석의 위치를 확인하는 경우 요로결석의 정확한 위치를 확인하기 어렵게 된다. 도 12의 (a)를 통해서 좌측 상단에 위치한 요로결석의 경우 갈비뼈의 위치에 존재함을 확인할 수 있지만, 상기 요로결석이 어느 정도의 깊이에 위치하는지는 확인할 수 없다.
따라서 본 발명의 일 실시예에서는 도 12의 (b)에서와 같이 상기 신체 3D 모델을 회전시켜 환자의 다리 방향에서 상기 신체 3D 모델을 관찰함으로써, 상기 요로결석이 어느 정도의 깊이에 위치하는지를 확인할 수 있다.
또한, 상기 신체 3D 모델을 회전 및 확대/축소 함으로써 도 12의 (b)에서와 같이 환자의 척추 뼈 및 골반 뼈 등 신체 기관에 가려져서 보이지 않는 요로결석을 확인할 수도 있다.
도 13은 본 발명의 일 실시예에 따른 요로결석 정보제공 장치의 구성을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에 따른 요로결석 정보제공 장치는 서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 결석영역정보도출부(100); 상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 이미지별결석세부정보도출부(200); 복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 이미지별결석세부정보클러스터링부(300); 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 결석세부정보도출부(400); 및 사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보, 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 요로결석정보생성부(500); 사용자의 요청에 따라 생성된 상기 요로결석 정보를 디스플레이 하는 요로결석정보디스플레이부(600); 및 각각의 결석에 대한 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 학습된 제2기계학습모델 혹은 기설정된 조건을 이용하여 수술 성공 확률을 도출하는 수술성공확률도출부(700)를 포함할 수 있다.
상기 요로결석 정보제공 장치의 각 구성요소들은 전술한 바와 같은 요로결석 정보제공 방법의 각 단계들을 수행하기 위한 구성을 가지고 각각의 단계를 수행할 수 있다.
도 13의 (a)를 참조하면 본 발명의 일 실시예에서는 서버(1000)와 사용자단말(2000)로 구성된 네트워크에서 서버가 상기 요로결석 정보제공 장치로서의 역할을 수행하고, 사용자단말(2000)이 서버(1000)에 접속하여 단층촬영 이미지를 업로드 함으로써 요로결석 정보제공 장치를 통해 요로결석에 대한 정보를 제공 받을 수 있다.
한편, 도 13의 (b)를 참조하면 본 발명의 일 실시예에서는 사용자단말(2000)이 상기 요로결석 정보제공 장치로서의 역할을 수행하고, 사용자단말(2000) 자체에서 단층촬영 이미지로부터 요로결석에 대한 정보를 도출하여 이용할 수도 있다.
혹은, 도 13에는 도시되지 않았으나 상기 요로결석 정보제공 장치의 일부 구성요소는 상기 서버(1000)에 포함되고, 일부 구성요소는 상기 사용자단말(2000)에 포함되어 요로결석에 대한 정보를 제공 받을 수도 있다. 예를 들어 상기 서버(1000)에 요로결석정보생성부(500)가 포함되어 사용자의 요청에 따라 요로결석 정보를 생성하고, 사용자단말(2000)에 포함된 요로결석정보디스플레이부(600)를 통해 사용자에게 요로결석 정보를 디스플레이 하도록 구성될 수도 있다.
도 14는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 14에 도시한 바와 같이, 컴퓨팅 장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 요로결석 정보제공 장치, 서버 또는 클라이언트에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 14의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 14에 도시된 일부 컴포넌트가 생략되거나, 도 14에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 14에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
본 발명의 일 실시예에 따르면 기계학습모델을 이용하여 단층촬영 이미지에서 요로결석을 자동으로 검출하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 YOLO 인공신경망 알고리즘에 기초하여 요로결석을 검출함으로써 매우 빠르게 요로결석을 검출하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 검출된 요로결석의 크기 및 위치를 포함하는 정보를 자동으로 도출하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 단층촬영 이미지에서의 요로결석의 면적에 기초하여 요로결석의 부피를 도출할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면 기계학습모델을 이용하여 요로결석의 수술 성공 확률을 도출함으로써 적절한 치료 방법을 선택할 수 있도록 하는 효과를 발휘할 수 있다,
본 발명의 일 실시예에 따르면 요로결석에 대한 정보를 신체 3D 모델 상에 디스플레이 함으로써 요로결석의 정보를 명료하게 확인할 수 있는 효과를 발휘할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나 또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 시스템에서 수행되는 요로결석 정보제공 방법으로서,
서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 단계;
상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 단계;
복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 단계;
상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 단계; 및
사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 단계; 를 포함하고,
상기 단층촬영 높이는 기설정된 간격을 가지고,
상기 결석별세부정보를 도출하는 단계는,
상기 이미지별결석세부정보의 면적 및 단층촬영 높이의 간격에 기초하여 각각의 결석의 부피를 도출하는, 요로결석 정보제공 방법.
삭제
청구항 1에 있어서,
상기 결석의 부피는
상기 결석에 대한 이미지별결석세부정보를 포함하는 단층촬영 이미지 중 이웃한 단층촬영 높이에서 촬영된 두 단층촬영 이미지의 이미지별결석세부정보의 면적의 평균과 단층촬영 높이의 간격을 곱한 값을 누적 합산하여 도출되는, 요로결석 정보제공 방법.
1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 시스템에서 수행되는 요로결석 정보제공 방법으로서,
서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 단계;
상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 단계;
복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 단계;
상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 단계; 및
사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 단계; 를 포함하고,
상기 이미지별결석세부정보를 클러스터링 하는 단계는,
복수의 상기 단층촬영 이미지를 상기 단층촬영 높이에 따라 정렬하는 단계;
정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보의 좌표를 도출하는 단계; 및
정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보에서 도출된 상기 좌표를 이웃한 단층촬영 이미지와 비교하여 동일한 결석에 대한 이미지별결석세부정보인지 여부를 판단하는 단계; 를 포함하는, 요로결석 정보제공 방법.
청구항 1에 있어서,
상기 결석별세부정보는,
상기 결석의 좌표 및 상기 결석의 부피를 포함하는, 요로결석 정보제공 방법.
1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 시스템에서 수행되는 요로결석 정보제공 방법으로서,
서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 단계;
상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 단계;
복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 단계;
상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 단계; 및
사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 단계; 를 포함하고,
상기 요로결석 정보제공 방법은,
사용자의 요청에 따라 생성된 상기 요로결석 정보를 디스플레이 하는 단계; 를 더 포함하고,
상기 요로결석 정보를 디스플레이 하는 단계는,
복수의 상기 단층촬영 이미지에 기초하여 생성된 신체 3D 모델 상에 도출된 요로결석 정보를 오버레이 하여 디스플레이 하는, 요로결석 정보제공 방법.
청구항 6에 있어서,
상기 요로결석 정보를 디스플레이 하는 단계는,
사용자의 입력에 따라 상기 신체 3D 모델의 디스플레이 각도 및 크기가 조절 가능한, 요로결석 정보제공 방법.
청구항 1에 있어서,
상기 요로결석 정보제공 방법은,
각각의 결석에 대한 상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 학습된 제2기계학습모델 혹은 기설정된 조건을 이용하여 체외 충격파 쇄석술 성공 확률을 도출하는 단계; 를 더 포함하는, 요로결석 정보제공 방법.
1 이상의 프로세서 및 1 이상의 메모리를 갖는 요로결석 정보제공 장치로서,
서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 결석영역정보도출부;
상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 이미지별결석세부정보도출부;
복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 이미지별결석세부정보클러스터링부;
상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 결석세부정보도출부; 및
사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 요로결석정보생성부; 를 포함하고,
상기 단층촬영 높이는 기설정된 간격을 가지고,
상기 결석세부정보도출부는,
상기 이미지별결석세부정보의 면적 및 단층촬영 높이의 간격에 기초하여 각각의 결석의 부피를 도출하는, 요로결석 정보제공 장치.
1 이상의 프로세서 및 1 이상의 메모리를 갖는 요로결석 정보제공 장치로서,
서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 결석영역정보도출부;
상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 이미지별결석세부정보도출부;
복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 이미지별결석세부정보클러스터링부;
상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 결석세부정보도출부; 및
사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 요로결석정보생성부; 를 포함하고,
상기 이미지별결석세부정보클러스터링부는,
복수의 상기 단층촬영 이미지를 상기 단층촬영 높이에 따라 정렬하는 단계;
정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보의 좌표를 도출하는 단계; 및
정렬된 상기 단층촬영 이미지의 상기 이미지별결석세부정보에서 도출된 상기 좌표를 이웃한 단층촬영 이미지와 비교하여 동일한 결석에 대한 이미지별결석세부정보인지 여부를 판단하는 단계; 를 수행하는, 요로결석 정보제공 장치.
1 이상의 프로세서 및 1 이상의 메모리를 갖는 요로결석 정보제공 장치로서,
서로 다른 단층촬영 높이를 갖는 복수의 단층촬영 이미지 각각에 대해 학습된 제1기계학습모델을 이용하여 1 이상의 결석영역정보를 도출하는 결석영역정보도출부;
상기 1 이상의 결석영역정보에 상응하는 해당 단층촬영 이미지의 결석영역에서의 픽셀의 색상정보에 기초하여 각각의 결석영역에서의 실제 결석에 해당하는 영역과 관련된 이미지별결석세부정보를 도출하는 이미지별결석세부정보도출부;
복수의 상기 단층촬영 이미지 각각의 이미지별결석세부정보 중 동일한 결석에 대한 이미지별결석세부정보를 클러스터링 하는 이미지별결석세부정보클러스터링부;
상기 결석영역정보 및 상기 이미지별결석세부정보를 포함하는 정보에 기초하여 각각의 결석에 대한 크기를 포함하는 결석별세부정보를 도출하는 결석세부정보도출부; 및
사용자의 요청에 따라, 상기 단층촬영 이미지, 상기 결석영역정보, 상기 이미지별결석세부정보 및 상기 결석별세부정보 중 1 이상에 기초한 요로결석 정보를 생성 혹은 제공하는 요로결석정보생성부; 를 포함하고,
상기 요로결석 정보제공 장치는, 사용자의 요청에 따라 생성된 상기 요로결석 정보를 디스플레이 하는 요로결석정보디스플레이부; 를 더 포함하고,
상기 요로결석정보디스플레이부는,
복수의 상기 단층촬영 이미지에 기초하여 생성된 신체 3D 모델 상에 도출된 요로결석 정보를 오버레이 하여 디스플레이 하는, 요로결석 정보제공 장치.
청구항 1 및 청구항 3 내지 청구항 8 중 어느 한 항에 따르는 요로결석 정보제공 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독가능 매체.
KR1020200109211A 2020-08-28 2020-08-28 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체 KR102209086B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200109211A KR102209086B1 (ko) 2020-08-28 2020-08-28 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체
US16/952,442 US11521318B2 (en) 2020-08-28 2020-11-19 Method, apparatus and computer-readable medium for providing urinary stone information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109211A KR102209086B1 (ko) 2020-08-28 2020-08-28 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체

Publications (1)

Publication Number Publication Date
KR102209086B1 true KR102209086B1 (ko) 2021-01-28

Family

ID=74239290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109211A KR102209086B1 (ko) 2020-08-28 2020-08-28 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체

Country Status (2)

Country Link
US (1) US11521318B2 (ko)
KR (1) KR102209086B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472299B1 (ko) * 2021-11-03 2022-11-30 주식회사 웨이센 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법
KR20220169134A (ko) * 2021-06-18 2022-12-27 한림대학교 산학협력단 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램
KR20230090741A (ko) 2021-12-15 2023-06-22 주식회사 아이도트 요로결석 진단 시스템 및 그 방법
KR20230094855A (ko) 2021-12-21 2023-06-28 조상욱 딥러닝 기반 의료영상 요로 결석 자동 검출 및 분할 방법
WO2023158118A1 (ko) * 2022-02-21 2023-08-24 계명대학교 산학협력단 컴퓨터 단층 촬영 영상의 라디오믹스 파라미터를 이용한 요로결석의 요산석 분류 방법 및 분석장치
WO2024014906A1 (ko) * 2022-07-13 2024-01-18 주식회사 로엔서지컬 결석 제거를 위한 가이던스 제공 시스템 및 방법
WO2024058388A1 (ko) * 2022-09-14 2024-03-21 계명대학교 산학협력단 요로결석 환자 결석 분석 방법 및 분석 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115547481A (zh) * 2021-06-29 2022-12-30 富联精密电子(天津)有限公司 疾病辨别模型训练方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033432A (zh) * 2019-03-01 2019-07-19 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于机器学习和能谱ct的泌尿结石成分分析方法及系统
CN110378875A (zh) * 2019-06-18 2019-10-25 中国科学院苏州生物医学工程技术研究所 基于机器学习算法的体内尿路结石成分鉴别方法
CN111340130A (zh) * 2020-03-09 2020-06-26 江西省人民医院 一种基于深度学习和影像组学的泌尿结石检测分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033432A (zh) * 2019-03-01 2019-07-19 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于机器学习和能谱ct的泌尿结石成分分析方法及系统
CN110378875A (zh) * 2019-06-18 2019-10-25 中国科学院苏州生物医学工程技术研究所 基于机器学习算法的体内尿路结石成分鉴别方法
CN111340130A (zh) * 2020-03-09 2020-06-26 江西省人民医院 一种基于深度学习和影像组学的泌尿结石检测分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(M.S.Choo 외,A Prediction Model Using Machine Learning Algorithm for Assessing Stone-Free Status after Single Session Shock Wave Lithotripsy to Treat Ureteral Stones,The journal of urology* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220169134A (ko) * 2021-06-18 2022-12-27 한림대학교 산학협력단 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램
KR102593539B1 (ko) 2021-06-18 2023-10-23 한림대학교 산학협력단 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램
KR102472299B1 (ko) * 2021-11-03 2022-11-30 주식회사 웨이센 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법
KR20230090741A (ko) 2021-12-15 2023-06-22 주식회사 아이도트 요로결석 진단 시스템 및 그 방법
WO2023113092A1 (ko) * 2021-12-15 2023-06-22 주식회사 아이도트 요로결석 진단 시스템 및 그 방법
KR20230094855A (ko) 2021-12-21 2023-06-28 조상욱 딥러닝 기반 의료영상 요로 결석 자동 검출 및 분할 방법
WO2023158118A1 (ko) * 2022-02-21 2023-08-24 계명대학교 산학협력단 컴퓨터 단층 촬영 영상의 라디오믹스 파라미터를 이용한 요로결석의 요산석 분류 방법 및 분석장치
WO2024014906A1 (ko) * 2022-07-13 2024-01-18 주식회사 로엔서지컬 결석 제거를 위한 가이던스 제공 시스템 및 방법
WO2024058388A1 (ko) * 2022-09-14 2024-03-21 계명대학교 산학협력단 요로결석 환자 결석 분석 방법 및 분석 장치

Also Published As

Publication number Publication date
US11521318B2 (en) 2022-12-06
US20220067936A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
KR102209086B1 (ko) 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체
CN107569257A (zh) 超声图像处理方法及系统、超声诊断设备
US20200226752A1 (en) Apparatus and method for processing medical image
JP2009502230A (ja) 医用画像における傷病部位の検知
CN109492547B (zh) 一种结节识别方法、装置和存储介质
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
Wang et al. An interpretable deep neural network for colorectal polyp diagnosis under colonoscopy
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
Zhao et al. A deep-learning based automatic pulmonary nodule detection system
Gunasekaran Leveraging object detection for the identification of lung cancer
Xiao et al. A cascade and heterogeneous neural network for CT pulmonary nodule detection and its evaluation on both phantom and patient data
Raja et al. Lung segmentation and nodule detection in 3D medical images using convolution neural network
Zhang et al. A new window loss function for bone fracture detection and localization in X-ray images with point-based annotation
Sha et al. The improved faster-RCNN for spinal fracture lesions detection
US20220277445A1 (en) Artificial intelligence-based gastroscopic image diagnosis assisting system and method
KR20230050253A (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치
Qian et al. Knowledge-based automatic detection of multitype lung nodules from multidetector CT studies
Bhagavan et al. A compressive survey on different image processing techniques to identify the brain tumor.
WO2020263002A1 (ko) 혈관 세그멘테이션 방법
KR102152385B1 (ko) 특이점 진단 장치 및 진단 방법
Zhang et al. Window loss for bone fracture detection and localization in x-ray images with point-based annotation
Tsunoyama et al. Automated CT detection of intestinal abnormalities and ischemia for decision making in emergency medicine
Balu et al. Identification Of Acute Appendicitis Using Euclidean Distance On Sonographic Image
Xiong et al. Deep Ensemble Learning Network for Kidney Lesion Detection
CN113409312B (zh) 一种用于生物医疗影像的图像处理方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant