KR20220090172A - 골절 검출 방법 및 이를 이용한 디바이스 - Google Patents
골절 검출 방법 및 이를 이용한 디바이스 Download PDFInfo
- Publication number
- KR20220090172A KR20220090172A KR1020200181117A KR20200181117A KR20220090172A KR 20220090172 A KR20220090172 A KR 20220090172A KR 1020200181117 A KR1020200181117 A KR 1020200181117A KR 20200181117 A KR20200181117 A KR 20200181117A KR 20220090172 A KR20220090172 A KR 20220090172A
- Authority
- KR
- South Korea
- Prior art keywords
- fracture
- bone
- region
- image
- suspected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 156
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000001914 filtration Methods 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims description 22
- 210000004204 blood vessel Anatomy 0.000 claims description 12
- 210000001991 scapula Anatomy 0.000 claims description 10
- 210000003625 skull Anatomy 0.000 claims description 10
- 210000002454 frontal bone Anatomy 0.000 claims description 8
- 210000002303 tibia Anatomy 0.000 claims description 8
- 210000000614 rib Anatomy 0.000 claims description 7
- 210000000459 calcaneus Anatomy 0.000 claims description 5
- 210000003109 clavicle Anatomy 0.000 claims description 5
- 210000002082 fibula Anatomy 0.000 claims description 5
- 210000002758 humerus Anatomy 0.000 claims description 5
- 210000004373 mandible Anatomy 0.000 claims description 5
- 210000001872 metatarsal bone Anatomy 0.000 claims description 5
- 210000004417 patella Anatomy 0.000 claims description 5
- 210000002320 radius Anatomy 0.000 claims description 5
- 210000001562 sternum Anatomy 0.000 claims description 5
- 210000004233 talus Anatomy 0.000 claims description 5
- 210000000115 thoracic cavity Anatomy 0.000 claims description 5
- 210000000623 ulna Anatomy 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 210000000689 upper leg Anatomy 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 claims description 4
- 210000002474 sphenoid bone Anatomy 0.000 claims description 4
- 210000003853 toe phalanges Anatomy 0.000 claims description 4
- 210000000458 cuboid bone Anatomy 0.000 claims description 3
- 210000000450 navicular bone Anatomy 0.000 claims description 2
- 210000000103 occipital bone Anatomy 0.000 claims description 2
- 206010017076 Fracture Diseases 0.000 description 309
- 208000010392 Bone Fractures Diseases 0.000 description 287
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000028979 Skull fracture Diseases 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000004349 growth plate Anatomy 0.000 description 2
- 210000003823 hyoid bone Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000024779 Comminuted Fractures Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 210000003189 scaphoid bone Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 206010041569 spinal fracture Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4504—Bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Clinical applications
- A61B8/0875—Clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Optics & Photonics (AREA)
- Rheumatology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은, 프로세서에 의해 구현되는 골절 검출 방법으로서, 개체에 대한 골 의료 영상을 수신하는 단계; 골 의료 영상을 입력으로 하여 골절 부위를 출력하도록 구성된 예측 모델을 이용하여, 골 의료 영상에 대한 골절 의심 영역을 결정하는 단계; 골절 의심 영역 중 유사 골절 영역을 결정하는 단계, 및 유사 골절 영역이 제거되도록 상기 골절 의심 영역을 필터링하여 골절 부위를 결정하는 단계를 포함하는 절 검출 방법 및 이를 이용한 골절 검출용 디바이스를 제공한다.
Description
본 발명은, 골절 검출 방법 및 이를 이용한 디바이스에 관한 것이다.
골절이란, 뼈나 골단판 또는 관절면의 연속성이 완전 혹은 불완전하게 소실된 상태를 말하며, 이는 대개의 경우 외부의 힘에 의하여 발생한다. 이때, 골절은 뼈의 주변에 있는 연부 조직이나 장기들의 손상도 흔히 동반된다. 골절이 발생하는 위치에 따라 크게 골절은 사지골절, 척추골절 그리고 늑골, 두개골, 안와 등과 같은 기타 골절로 나눌 수 있다.
한편, 골절의 진단은, X-레이 촬영을 통해 진행될 수 있다. 그러나, X-레이 영상에 기초한 골절의 진단은, 그 결과가 애매하거나 골절 양상에 대한 정확한 확인이 어려워, 컴퓨터 단층촬영, 자기공명영상 촬영과 같은 추가적인 특수 검사가 요구될 수 도 있다.
나아가, 골 의료 영상에 기초한 골절 진단의 경우, 의료진들이 직접 육안으로 확인하여 골절의 유무를 판별함에 따라, 의료진들의 실력 또는 경험에 따라 의견 차이가 발생할 수 있어 신뢰도 높은 진단 결과를 제공하는 것에 한계가 있을 수 있다.
한편, 골절 진단의 실패는, 환자의 경과 악화 및 의료 비용의 증가를 야기할 수 있어, 새로운 골절 검출 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
전술한 한계를 극복하기 위한 방안으로, 의료진을 보조하는 소프트웨어 기반의 컴퓨터 보조 진단 (computer aided diagnosis, CAD) 시스템이 제안되었다.
그러나, 제안된 골절 검출 시스템은, 여전히 골절의 검출, 특히 골절과 유사한 형태의 혈관, 두개골의 접합선이 존재하는 두개골의 골절의 검출에 대하여 위양성 (false positive) 이 높아 실제 임상에 적용되기 어렵다는 한계가 있을 수 있다.
한편, 본 발명의 발명자들은, 전술한 과제를 해결하기 위한 방안으로, 골절 골 의료 영상을 학습하여 자동으로 예측하도록 구성된 딥 러닝 기반의 예측 모델을 적용하여 위양성의 발생을 최소화하는 새로운 골절 검출 시스템을 개발하고자 하였다.
보다 구체적으로, 본 발명의 발명자들은 새로운 골절 검출 시스템에 대하여, 예측 모델을 이용해 골절 의심 영역을 검출하고, 골절 의심 영역 중 골절과 유사한 형태의 유사 골절 영역을 제거하여 최종적으로 골절을 분류하도록 설계할 수 있었다.
이때, 본 발명의 발명자들은, 선의 굵기가 일정하고, 크기 및 위치가 정해져 있지 않은 골절과 상이한 특징을 갖는 혈관, 및 골 접합선 등을 유사 골절 영역으로 설정할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 혈관의 경우 선 굵기가 불규칙하고 안구, 관자 놀이 부근에 위치하며, 골 접한선의 경우 선 모양이 불규칙하고 선 굵기가 골절 선보다 굵고 개체마다 일정한 위치에 존재하는 특징을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은, 골절 검출 시스템에 대하여 예측 모델의 분류 결과에 대하여, 혈관 또는 골 접합선과 같은 유사 골절 영역이 제거되도록 필터링하여 최종적으로 골절이 결정되도록 설계할 수 있었다.
이에, 예측 모델에 의해 골절로 의심되는 영역을 검출하고 유사 골절 영역을 제거 하도록 설계된 골절 검출 시스템의 구축이 가능하였고, 본 발명의 발명자들은 상기 골절 검출 시스템을 제공함으로써 골절 검출의 민감도를 높일 수 있음을 인지할 수 있었다.
특히, 본 발명의 발명자들은, 예측 모델에 기초한 골절 검출 시스템을 제공함으로써, 육안으로 식별되지 않은 부분들에 대한 정보 제공에 의해 의료진이 추가적인 골 의료 영상 진단을 수행하지 않아도 골절 진단의 민감도가 높아질 것을 기대할 수 있었다.
또한, 본 발명의 발명자들은, 예측 모델에 대하여 복수의 방향에서 촬영된 골 의료 영상을 모두 고려하여 골절을 분류하도록 학습 가능한 멀티뷰 (multi view) 알고리즘을 적용하고자 하였다.
보다 구체적으로, 본 발명의 발명자들은 복수의 각도에서 촬영된 골 의료 영상이 정합된 학습용 골 의료 영상을 예측 모델의 학습에 적용할 수 있었다.
즉, 본 발명의 발명자들은 이와 같은 딥 러닝 기반의 골절 검출 시스템을 제공함으로써, 숙련도에 관계 없이 골절을 높은 정확도로 예측할 수 있음을 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 딥 러닝 기반 예측 모델을 이용하여 골 의료 영상에 대하여 골절을 감지하고, 유사 골절 영역을 결정하여 제거한 후 최종적으로 골절 부위를 제공하도록 구성된, 골절 검출 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 골절 검출 방법이 제공된다. 본 발명의 일 실시예에 따른 골절 검출 방법은, 프로세서에 의해 구현되는 골절 검출 방법으로서, 개체에 대한 골 의료 영상을 수신하는 단계, 골 의료 영상을 입력으로 하여 골절 부위를 출력하도록 구성된 예측 모델을 이용하여, 골 의료 영상에 대한 골절 의심 영역을 결정하는 단계, 골절 의심 영역 중 유사 골절 영역을 결정하는 단계, 및 유사 골절 영역이 제거되도록 골절 의심 영역을 필터링하여 골절 부위를 결정하는 단계를 포함한다.
본 발명의 특징에 따르면, 골 의료 영상은, 개체의 목적 부위에 대하여 복수의 각도에서 촬영한 복수의 골 의료 영상을 포함할 수 있다. 이때, 골절 의심 영역을 결정하는 단계는, 예측 모델을 이용하여 복수의 골 의료 영상 각각에 대한 골절 의심 영역을 결정하는 단계를 포함하고, 유사 골절 영역을 결정하는 단계는, 복수의 골 의료 영상 각각에 대한 골절 의심 영역 중, 유사 골절 영역을 결정하는 단계를 포함할 수 있다. 골절 부위를 결정하는 단계는, 복수의 골 의료 영상 각각에 대하여 골절 영역을 결정하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 예측 모델은, 복수의 골 의료 영상 각각에 대하여 골절 부위를 예측하도록 구성된 복수의 예측 모델일 수 있다. 이때, 골절 의심 영역을 결정하는 단계는, 복수의 예측 모델 각각을 이용하여, 복수의 골 의료 영상 각각에 대한 골절 의심 영역을 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 복수의 골 의료 영상에 대하여 골절 부위를 예측하도록 구성된 단일의 예측 모델일 수 있다. 이때, 골절 의심 영역을 결정하는 단계는, 단일의 예측 모델을 이용하여, 복수의 골 의료 영상에 대한 골절 의심 영역을 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 골 의료 영상은, 정면 골 의료 영상, 후면 골 의료 영상, 우측 골 의료 영상 및 좌측 골 의료 영상 중 적어도 두 개일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은, 골절 부위를 결정하는 단계 이후에, 복수의 골 의료 영상 중 선택된 세트 영상의 골절 부위를 비교하는 단계, 및 비교 결과에 기초하여 골절 부위를 최종 결정하는 단계를 더 포함할 수 있다. 이때, 세트 영상은, 정면 골 의료 영상 및 후면 골 의료 영상, 또는 우측 골 의료 영상 및 좌측 골 의료 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 골절 부위를 비교하는 단계는, 세트 영상에 대하여 결정된 골절 부위의 위치를 비교하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 골절은 선형 골절이고, 유사 골절 영역을 결정하는 단계는, 골절 의심 영역의 두께, 형태 및 위치 중 적어도 하나에 기초하여, 유사 골절 영역을 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 유사 골절 영역은, 골 접합선, 혈관 및 골 중첩 중 적어도 하나의 영역이다.
본 발명의 또 다른 특징에 따르면, 골 의료 영상은, X-레이 영상, 컴퓨터 단층 촬영 영상, 자기 공명 영상 및 초음파 영상 중 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 골절 의심 영역은, 두개골, 하악골, 설골, 경추, 흉추, 요추, 늑골, 흉골, 쇄골, 견갑골, 상완골, 요골, 척골, 주상골, 월상골, 삼각골, 두상골, 대능형골, 소농형골, 유두골, 유두골, 중수골, 손가락뼈, 관골, 대퇴골, 슬개골, 경골, 비골, 거골, 종골, 주상골, 입방골, 쐐기뼈, 증족골 및 발가락뼈 중 적어도 하나에 대한 골절 의심 영역일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 디바이스가 제공된다. 상기 디바이스는, 개체에 대한 골 의료 영상을 수신하도록 구성된 통신부, 및 통신부와 통신하도록 연결된 프로세서를 포함하고, 프로세서는 골 의료 영상을 입력으로 하여 골절 부위를 출력하도록 구성된 예측 모델을 이용하여, 골 의료 영상에 대한 골절 의심 영역을 결정하고, 골절 의심 영역 중 유사 골절 영역을 결정하고, 유사 골절 영역이 제거되도록 골절 의심 영역을 필터링하여 골절 부위를 결정하도록 구성된다.
본 발명의 특징에 따르면 골 의료 영상은, 개체의 목적 부위에 대하여 복수의 각도에서 촬영한 복수의 골 의료 영상을 포함할 수 있다. 이때, 프로세서는, 예측 모델을 이용하여 복수의 골 의료 영상 각각에 대한 골절 의심 영역을 결정하고, 복수의 골 의료 영상 각각에 대한 골절 의심 영역 중, 유사 골절 영역을 결정하고, 복수의 골 의료 영상 각각에 대하여 골절 영역을 결정하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 예측 모델은, 복수의 골 의료 영상 각각에 대하여 골절 부위를 예측하도록 구성된 복수의 예측 모델일 수 있다. 이때, 프로세서는, 복수의 예측 모델 각각을 이용하여, 복수의 골 의료 영상 각각에 대한 골절 의심 영역을 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 복수의 골 의료 영상에 대하여 골절 부위를 예측하도록 구성된 단일의 예측 모델일 수 있다. 이때, 프로세서는, 단일의 예측 모델을 이용하여, 복수의 골 의료 영상에 대한 골절 의심 영역을 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 골 의료 영상은, 정면 골 의료 영상, 후면 골 의료 영상, 우측 골 의료 영상 및 좌측 골 의료 영상 중 적어도 두 개일 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 복수의 골 의료 영상 중 선택된 세트 영상의 골절 부위를 비교하고, 비교 결과에 기초하여 골절 부위를 최종 결정하도록 더 구성되고, 세트 영상은, 정면 골 의료 영상 및 후면 골 의료 영상, 또는 우측 골 의료 영상 및 좌측 골 의료 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 세트 영상에 대하여 결정된 골절 부위의 위치를 비교하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 딥 러닝 알고리즘에 기초하여 골 의료 영상에 대하여 골절 부위를 예측하고 검출하도록 구성된, 골절 검출 시스템을 제공할 수 있다.
보다 구체적으로, 본 발명은, 딥 러닝 기반의 골절 검출 시스템을 제공함으로써, 골절을 높은 정확도로 예측할 수 있는 효과가 있다.
특히, 본 발명은 예측 모델을 이용해 골절 의심 영역을 검출하고, 골절 의심 영역 중 골절과 유사한 형태의 유사 골절 영역을 제거하여 최종적으로 골절을 분류하도록 설계된 골절 검출 시스템을 제공함으로써, 두개골 골절과 같이 골절의 정확한 진단이 어려운 부위에 대한 신뢰도 높은 진단 결과를 제공할 수 있다.
즉, 본 발명은 예측 모델 기반의 골절 검출 시스템을 제공함으로써, 육안으로 식별되지 않은 부분들에 대한 정보 제공에 의해 의료진의 추가적인 골 의료 영상 진단의 수행 없이 골절에 대한 민감도 높은 진단 결과를 제공할 수 있다.
또한, 본 발명은 딥 러닝 알고리즘 기반의 예측 모델을 이용한 골절 검출 시스템을 제공함으로써, 의료진의 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 골절 검출용 디바이스에 기초한 골절 검출 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 골절 검출용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 골절 검출용 디바이스로부터 골절 의심 부위를 수신하도록 구성된 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 골절 검출 방법의 절차를 예시적으로 도시한 것이다.
도 3 및 4는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
도 5a 내지 5e는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 골절 검출용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 골절 검출용 디바이스로부터 골절 의심 부위를 수신하도록 구성된 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 골절 검출 방법의 절차를 예시적으로 도시한 것이다.
도 3 및 4는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
도 5a 내지 5e는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "골절"은 뼈나 골단판 또는 관절면의 연속성이 완전 혹은 불완전하게 소실된 상태로서, 분쇄 골절, 분절성 골절, 선형 골절, 함몰 골절, 기저 골절 등을 아우를 수 있다. 바람직하게, 본원 명세서 내에서 골절은 선형 골절일 수 있고, 보다 바람직하게 두개골 선형 골절일 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 골절 의심 부위는, 하악골, 설골, 경추, 흉추, 요추, 늑골, 흉골, 쇄골, 견갑골, 상완골, 요골, 척골, 주상골, 월상골, 삼각골, 두상골, 대능형골, 소농형골, 유두골, 유두골, 중수골, 손가락뼈, 관골, 대퇴골, 슬개골, 경골, 비골, 거골, 종골, 주상골, 입방골, 쐐기뼈, 증족골 및 발가락뼈 중 적어도 하나의 부위일 수 있다.
본 명세서에서 사용되는 용어, "개체"는 골절을 검출 하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 두개골 골절이 의심되는 개체일 수 있다. 그러나 이에 제한되지 않고, 하악골, 설골, 경추, 흉추, 요추, 늑골, 흉골, 쇄골, 견갑골, 상완골, 요골, 척골, 주상골, 월상골, 삼각골, 두상골, 대능형골, 소농형골, 유두골, 유두골, 중수골, 손가락뼈, 관골, 대퇴골, 슬개골, 경골, 비골, 거골, 종골, 주상골, 입방골, 쐐기뼈, 증족골 및 발가락뼈 중 적어도 하나의 부위에 대한 골절이 의심되는 개체일 수 있다. 한편, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "골 의료 영상"은, 골절 의심 부위를 포함하는 골 의료 영상으로, X-레이 영상, 컴퓨터 단층 촬영 영상, 자기 공명 영상 및 초음파 영상 중 하나일 수 있다. 바람직하게, 본원 명세서에서 골 의료 영상은, X-레이 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 본원 명세서에서 골 의료 영상은, 의료 영상과 상호 교환적으로 이용될 수 있다.
본 발명의 특징에 따르면, 골 의료 영상은 복수의 각도에서 촬영한 복수의 의료 영상일 수 있다.
예를 들어, 복수의 의료 영상은, 정면 의료 영상, 후면 의료 영상, 우측면 의료 영상 및 좌측면 의료 영상 중 적어도 두 개의 의료 영상일 수 있다.
한편, 골 의료 영상은 복수의 프레임으로 이루어진 동영상일 수도 있다. 예를 들어, 복수의 프레임으로 구성된 골 의료 영상은 본 발명의 일 실시예에 따른 골절 검출 방법에 따라 동영상의 프레임 각각에 대하여 골절 예측이 가능할 수 있다. 즉, 카메라로부터 골 의료 영상의 수신과 동시에 골절 예측이 가능하여 골절에 대한 검출이 가능할 수 있다.
본 발명의 특징에 따르면, 골 의료 영상은, 2차원 영상, 3차원 영상일 수도 있다.
본 명세서에서 사용되는 용어, "골절 의심 영역"은 의료 영상 내에서 골절로 의심되는 영역일 수 있다. 이때, 골절 의심 영역은 실제 골절이 일어난 부위에 대한 영역과 골절과 유사한 형태를 갖는 골절 유사 영역으로 이루어질 수 있다. 이때, 골절 유사 영역은, 골 접합선, 혈관 및 골 중첩 선과 같은 골절과 유사한 부위에 대한 영역을 포함할 수 있다. 그러나, 골절 유사 영역은 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "예측 모델"은 골 의료 영상을 입력으로 하여, 골절 의심 부위, 즉 골절 의심 영역을 출력하도록 구성된 모델일 수 있다.
보다 구체적으로, 예측 모델은, 골 의료 영상을 입력으로 하여 골절 의심 영역을 분할하여 출력하도록 구성될 수 있다.
본 발명의 특징에 따르면, 예측 모델은, 복수의 각도에서 촬영된 골 의료 영상 각각에 대하여 골절 의심 영역을 예측하도록 구성된 복수의 모델을 포함할 수 있다.
이때, 예측 모델은 복수의 각도에서 촬영된 복수의 의료 영상이 정합된 영상을 학습 데이터로 이용하여 골절의 오검출을 줄이도록 구성된 모델일 수 있다.
예를 들어, 예측 모델은 정면 의료 영상 및 후면 의료 영상이 정합된 정면-후면 정합 의료 영상, 또는 좌측면 의료 영상 및 우측면 의료 영상이 정합된 좌측-우측 정합 의료 영상을 학습에 이용하여 골절 의심 영역을 결정하도록 구성될 수 있다.
이때, 의료 영상의 정합은, 각각의 의료 영상의 위치와 크기가 맞춰진 이후, 각 의료 영상에 대하여 미리 결정된 골절 영역의 위치가 일치하도록 수행될 수 있다. 특히, 좌측면 의료 영상 및 우측면 의료 영상이 정합될 경우, 좌측면 의료 영상 또는 우측면 의료 영상의 좌우 반전이 수행된 후, 두 개의 영상이 정합될 수 있다.
즉, 본 발명의 다양한 실시예에 이용되는 예측 모델은 동일 개체에 대한 다각도의 영상이 정합된 의료 영상에 대하여 골절 부위를 예측하도록 학습함에 따라, 골절의 예측 성능이 다른 모델보다 우수할 수 있다.
한편, 예측 모델은, 복수의 각도에서 촬영된 복수의 영상 각각에 대하여 골절 의심 영역을 출력하도록 학습된 RetinaNet일 수 있으나, 이에 제한되지 않고, Resnet50, Resnet-v2, Resnet101, Inception-v3, 또는 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN, SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet 중 선택된 적어도 하나의 알고리즘에 기초할 수도 있다.
즉, 본 발명의 다양한 실시예에서, 의료 영상의 각도 별로 골절 의심 영역을 예측하도록 학습된 복수의 모델이 복수의 영상 각각에 대한 골절 의심 영역 예측하기 위해 이용될 수 있다.
나아가, 예측 모델은, 멀티뷰 영상 (예를 들어, 3D 이미지, 또는 다각도 영상) 에 대하여 골절 의심 영역을 예측하도록 학습된, MVCNN (Multi-view Convolutional Neural Network) 또는 MPCNN (Multi-Planar CNN) 일수도 있다. 즉, 다각도에서 촬영된 멀티뷰 영상에 대하여 골절 의심 영역을 예측하도록 학습된 단일의 모델이 다각도의 복수의 영상에 대한 골절 의심 영역을 예측하기 위해 이용될 수도 있다.
그러나, 이에 제한되는 것이 아니며 상기 예측 모델은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
또한, 예측 모델은, 의료 영상 내에서 골절 의심 영역, 및 골 접합선, 혈관 및 골 중첩 선과 같은 유사 골절 영역을 분류하도록 학습될 수도 있다. 예를 들어, 예측 모델은 의료 영상 내에서 골절 의심 영역인 ROI (region of interest) 를 분할하는 영역 분할 모델과, 분할된 ROI에 대하여 골절 영역 또는 유사 골절 영역을 분류하는 분류기로 이루어질 수도 있다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 골절 검출용 디바이스에 기초한 골절 검출 시스템을 설명한다.
도 1a는 본 발명의 일 실시예에 따른 골절 검출용 디바이스에 기초한 골절 검출 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 골절 검출용 디바이스의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 골절 검출용 디바이스로부터 골절 의심 부위를 수신하도록 구성된 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a을 참조하면, 골절 검출 시스템 (1000) 은, 개체에 대한 골 의료 영상을 기초로 골절과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 골절 검출 시스템 (1000) 은, 골 의료 영상에 기초하여, 골절을 예측하고 골절 의심 영역을 결정하도록 구성된 골절 검출용 디바이스 (100), 골절 검출에 대한 정보를 수신하는 의료진 디바이스 (200) 및 골절 의심 부위에 대한 영상을 제공하는, 의료 영상 제공용 디바이스 (300) 로 구성될 수 있다.
먼저, 골절 검출용 디바이스 (100) 는 의료 영상 제공용 디바이스 (300) 로부터 제공된 개체의 골 의료 영상을 기초로 골절 부위를 진단하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 골절 검출용 디바이스 (100) 는 의료 영상 제공용 디바이스 (300) 로부터 골 의료 영상을 수신하고, 수신된 골 의료 영상으로부터 골절 부위와 연관된 정보를 제공할 수 있다. 이때, 의료 영상 제공용 디바이스 (300) 는, 예측 모델을 이용하여 골 의료 영상에 대한 골절 의심 영역을 예측할 수 있다. 골절 검출용 디바이스 (100) 는 개체에 대한 골절 부위와 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 골절 검출용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 개체에 대한 골절 부위에 대한 정보 제공을 요청하고 골절 부위 예측 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 골절 검출용 디바이스 (100) 로부터 개체에 대한 골절에 관한 검출 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다.
의료 영상 제공용 디바이스 (300) 는 X-레이 촬영 디바이스, 초음파 디바이스, 자기공명영상 촬영 디바이스, CT 촬영 디바이스일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 의료 영상 제공용 디바이스 (300) 는 다양한 의료 영상 데이터베이스를 제공하는 별도의 서버일 수도 있다.
다음으로, 도 1b를 참조하여, 본 발명의 골절 검출용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 골절 검출용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체에 대한 골절 부위를 진단하는 중에 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는, 후술할 통신부 (120) 를 통해 의료 영상 제공용 디바이스 (300) 로부터 수신된 골 의료 영상, 나아가 예측 모델의 분류 과정에서의 다양한 산물들을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 골절 검출용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 의료 영상 제공용 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 의료 영상 제공용 디바이스 (300) 로부터 개체의 골 의료 영상을 수신할 수 있다. 예를 들어, 통신부 (120) 는 의료 영상 제공용 디바이스 (300) 로부터, X-레이 영상을 수신할 수 있다. 나아가, 통신부 (120) 는 의료진 디바이스 (200) 로 검출 결과를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 골 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 골 의료 영상에 기초하여 골절 의심 부위를 감지하고, 골절 유사 영역을 제거하여 골절 부위를 최종적으로 결정하도록 구성될 수 있다.
이때, 프로세서 (130) 는 골 의료 영상에 기초하여, 골절 의심 영역을 예측하도록 구성된, 예측 모델에 기초할 수 있다.
한편, 골절 검출용 디바이스 (100) 는 하드웨어 적으로 설계된 것으로 제한되는 것은 아니다. 예를 들어, 골절 검출용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 골절에 대한 검출 결과는 상기 소프트웨어가 연결된 의료 영상 제공용 디바이스 (300) 의 표시부를 통해 표시될 수도 있다.
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 디바이스와 통신 가능하도록 구성될 수 있다. 통신부 (210) 는 유/무선 통신을 이용하여 골절 검출용 디바이스 (100) 와 연결되어 골절의 진단과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 골절 검출용 디바이스 (100) 로부터, 예측 모델들에 의해 예측된 골절 의심 부위, 나아가 치료 예후 등을 수신할 수 있다.
표시부 (220) 는 개체의 골절의 검출 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 검출 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 2a, 2b, 및 2c를 참조하여, 본 발명의 일 실시예에 따른 골절 검출 방법을 구체적으로 설명한다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 골절 검출 방법의 절차를 예시적으로 도시한 것이다.
먼저, 도 2a를 참조하면, 본 발명의 일 실시예에 따른 골절 검출의 절차는 다음과 같다. 먼저, 개체에 대한 골 의료 영상이 수신되고 (S210), 예측 모델에 의해, 골 의료 영상에 대한 골절 의심 영역이 결정된다 (S220). 그 다음, 골절 의심 영역 중 유사 골절 영역이 결정되고 (S230), 마지막으로 골절 의심 영역이 필터링되어 골절 부위가 결정된다 (S240).
본 발명의 특징에 따르면, 골 의료 영상이 수신되는 단계 (S210) 에서, 개체의 목적 부위에 대하여 복수의 각도에서 촬영된 복수의 의료 영상이 수신된다.
본 발명의 특징에 따르면, 골 의료 영상이 수신되는 단계 (S210) 에서, X-레이 영상, 컴퓨터 단층 촬영 영상, 자기 공명 영상 및 초음파 영상 중 하나의 골 의료 영상이 수신된다.
바람직하게, 골 의료 영상이 수신되는 단계 (S210) 에서, 복수의 각도에서 촬영한 X-레이 영상이 수신될 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 다른 특징에 따르면, 골 의료 영상이 수신되는 단계 (S210) 에서, 두개골, 하악골, 설골, 경추, 흉추, 요추, 늑골, 흉골, 쇄골, 견갑골, 상완골, 요골, 척골, 주상골, 월상골, 삼각골, 두상골, 대능형골, 소농형골, 유두골, 유두골, 중수골, 손가락뼈, 관골, 대퇴골, 슬개골, 경골, 비골, 거골, 종골, 주상골, 입방골, 쐐기뼈, 증족골 및 발가락뼈 중 적어도 하나에 대한 골절 의심 부위에 대한 의료 영상이 수신된다.
다음으로, 예측 모델에 의해, 골 의료 영상에 대한 골절 의심 영역이 결정된다 (S220).
본 발명의 특징에 따르면, 골절 의심 영역이 결정되는 단계 (S220) 에서, 복수의 의료 영상 각각에 대하여 골절 부위를 예측하도록 구성된 복수의 예측 모델에 의해 골절 의심 영역이 각각 결정된다.
보다 구체적으로, 골절 의심 영역이 결정되는 단계 (S220) 에서, 의료 영상의 각도 별로 골절 의심 영역을 예측하도록 학습된 복수의 모델이 복수의 영상 각각에 대한 골절 의심 영역 예측하기 위해 이용될 수 있다.
본 발명의 다른 특징에 따르면, 골절 의심 영역이 결정되는 단계 (S220) 에서, 복수의 의료 영상에 대하여 골절 부위를 예측하도록 구성된 단일의 예측 모델에 의해 골절 의심 영역이 결정된다.
보다 구체적으로, 골절 의심 영역이 결정되는 단계 (S220) 에서, 다각도에서 촬영된 멀티뷰 영상에 대하여 골절 의심 영역을 예측하도록 학습된 단일의 모델이 다각도의 복수의 영상에 대하여 골절 의심 영역을 예측하기 위해 이용될 수 있다.
예를 들어, 도 2b를 함께 참조하면, 골절 의심 영역이 결정되는 단계 (S220) 에서, 수신된 정면 의료 영상 (412), 후면 의료 영상 (414), 우측면 의료 영상 (416) 및 좌측면 의료 영상 (418) 의 다각도에서 촬영된 복수의 의료 영상 (410) 각각이 정면 예측 모델 (422), 후면 예측 모델 (424), 우측면 예측 모델 (426) 및 좌측면 예측 모델 (428) 의 복수의 예측 모델 (420) 에 입력된다. 그 결과, 복수의 의료 영상 (410) 내에서 골절 의심 영역 (432, 434, 436a, 436b 및 438) 이 결정된다.
다시 도 2a를 참조하면, 유사 골절 영역이 결정되는 단계 (S230) 에서, 예측 모델에 의해 결정된 골절 의심 영역 중, 실제 골절 부위에 대한 영역이 아닌 유사 결정 영역이 결정되고, 유사 결정 영역이 제거되도록 골절 의심 영역이 필터링되어 최종적으로 골절 부위가 결정된다 (S240).
본 발명의 특징에 따르면, 유사 골절 영역이 결정되는 단계 (S230) 에서, 골절 의심 영역의 두께, 형태 및 위치 중 적어도 하나에 기초하여, 유사 골절 영역이 결정된다.
예를 들어, 다시 도 2b를 참조하면, 복수의 예측 모델 (420) 에 의해 결정된, 골절 의심 영역은 실제 골절에 대한 영역 (432 및 436b) 과 골절과 형태가 유사한 유사 골절 영역 (434, 436a 및 438) 을 포함할 수 있다.
보다 구체적으로, 도 2c를 함께 참조하면, 골절에 대한 영역 (432 및 436b) (도 2c의 (a) 참조), 특히 선형 골절에 대한 영역은 선의 굵기가 일정하고, 크기 및 위치가 정해져 있지 않다. 반면에, 유사 골절 영역 (434, 436a 및 438), 중 혈관 (도 2c의 (b) 참조) 은 여러 개의 선이 존재하며, 뻗어 나갈수록 선의 굵기가 얇아지고 안와부, 관자놀이 주변에 위치할 수 있다. 골 접합선 (도 2c의 (c) 참조) 은 선 모양이 불규칙하며, 일정한 위치에 존재하고 혈관 또는 골절 부위에 비하여 선의 굵기가 굵을 수 있다.
즉, 다시 도 2b를 참조하면, 유사 골절 영역이 결정되는 단계 (S230) 에서, 골절 의심 영역 (432, 434, 436a, 436b 및 438) 의 두께, 형태 및 위치 중 적어도 하나에 기초하여, 유사 골절 영역 (434, 436a 및 438) 이 결정되고, 골절 부위가 결정되는 단계 (S240) 에서 유사 골절 영역 (434, 436a 및 438) 이 제거된다. 그 결과, 정면 의료 영상 (412) 및 우측면 의료 영상 (416) 에 각각에 대한 골절에 대한 영역 (432 및 436b) 이 골절 부위로 결정될 수 있다.
즉, 유사 골절 영역이 결정되는 단계 (S230) 에서, 오검출 영역인 유사 골절 영역 (434, 436a 및 438) 이 제거되어 골절 검출의 민감도가 증가할 수 있다.
본 발명의 특징에 따르면, 유사 골절 영역이 결정되는 단계 (S230) 는, 골절 의심 영역, 즉 ROI (region of interest) 을 입력으로 하여 골절, 또는 혈관, 골 접합 영역과 같은 유사 골절 부위를 분류하도록 구성된 분류기가 동작하여 수행될 수도 있다.
본 발명의 다른 특징에 따르면, 골절 부위가 결정되는 단계 (S240) 이후에, 복수의 의료 영상 중 선택된 세트 영상의 골절 부위가 비교되고, 비교 결과에 기초하여 골절 부위가 최종 결정되는 단계가 더 수행된다. 이때, 세트 영상은, 정면 의료 영상 및 후면 의료 영상, 또는 우측면 의료 영상 및 좌측면 의료 영상일 수 있다.
예를 들어, 도 2b를 참조하면, 골절 부위가 최종 결정되는 단계에서, 정면 의료 영상 (412) 및 후면 의료 영상 (414) 에 대하여 결정된 골절에 대한 영역의 위치가 비교되고, 우측면 의료 영상 (416) 및 좌측면 의료 영상 (418) 에 대하여 결정된 골절에 대한 영역의 위치가 비교될 수 있다. 이를 통해 오검출, 즉 유사 골절 영역이 다시 한 번 제거되고, 정면 의료 영상 (412) 및 우측면 의료 영상 (416) 에 대한 골절에 대한 영역 (432 및 436b) 이 최종 골절 부위로 결정될 수 있다. 나아가, 골절에 대한 영역 (432 및 436b) 이 표시된 골절 진단 의료 영상 (440) 이 제공될 수 있다.
이때, 골절에 대한 영역 (432 및 436b) 은 동일한 골절 부위에 대한 다른 각도의 영역일 수도 있으나, 이에 제한되는 것은 아니다.
이상의 다양한 실시예에 따른 골절 검출 방법에 기초한 골절 검출 시스템은, 종래의 골절 검출 시스템의 한계를 극복할 수 있다. 특히, 상기 시스템은, 두개골, 늑골과 같이 X-레이 영상만으로 골절의 육안 식별의 어려움이 있는 골절 의심 부위에 대하여 신뢰도 높은 진단 결과를 제공할 수 있다는 점에서 종래의 골절 검출 시스템의 한계를 극복할 수 있다. 나아가, 상기 시스템은 검출 소요 시간을 줄일 수 있으며, 의료진의 숙련도에 관계 없이 정확한 골절 진단 결과를 제공할 수도 있다.
이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 다양한 실시예에 따른 예측 모델의 구조를 설명한다. 도 3 및 4는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
이때, 제시된 실시예에서는 골 의료 영상을 피검자 얼굴의 전면, 측면 및 후면을 촬영한 X-레이 영상인 것으로 한정하고, 목적 부위를 두개골의 골절인 것으로 한정하여 설명하도록 한다. 그러나, 예측 모델은 이에 제한되지 않고 다양한 부위에 대한 의료 영상 내에서 골절을 진단하는 것에 적용될 수 있다.
도 3를 참조하면, 예측 모델은 복수의 골 의료 영상 (510) 각각을 입력으로 하여 골절 의심 영역을 예측하도록 학습된 복수의 인공신경망으로 이루어진 RetinaNet기반의 예측 모델일 수 있다. 이때, RetinaNet기반의 예측 모델은 다각도에서 촬영된 복수의 의료 영상 각각에 대하여 골절 의심 영역을 예측하도록 학습된 복수의 모델일 수 있다. 다만, 본 예시에서는 설명의 편의를 위해 복수의 모델 중 하나의 모델의 구조에 대하여 설명한다.
보다 구체적으로, 복수의 인공신경망은 제1 인공신경망 (520), 제2 인공신경망 (530) 및 제3 인공신경망 (540) 을 포함할 수 있다.
제1 인공신경망 (520) 은 복수의 골 의료 영상 (510) 각각을 입력으로 각 레이어 (layer) 에 대한 중간 특징 데이터 (intermediate feature map) 를 생성하는 레스넷 (Residual Network, ResNet) 일 수 있으나, 이에 한정되지 않는다.
제2 인공신경망 (530) 은 상위 레이어에서 하위 레이어 순으로 특정 레이어의 중간 특징 데이터와, 다음 레이어의 중간 특징 데이터를 합 (merging) 하여 각 레이어에 대응하는 특징 데이터를 생성하는 피쳐 피라미드 네트워크 (Feature Pyramid Network, FPN) 일 수 있으나, 이에 한정되지 않는다. 여기서, 특징 데이터에 대응하는 레이어는 레스넷의 각 레이어를 의미할 수 있다.
제3 인공신경망 (540) 은 골절 의심 영역을 포함하도록 바운딩 박스 (bounding box) 를 조정하는 바운딩 박스 회귀 (Regression) 서브넷을 포함할 수 있다. 선택적으로, 제3 인공신경망 (540) 은 바운딩 박스에 포함된 골절 의심 영역의 종류를 예측 (또는 분류) 하는 분류 서브넷 (classification subnet) 을 포함할 수도 있다. 이러한 서브넷들은 병렬적으로 구성될 수 있다.
바운딩 박스를 조정하는 동작은 실제 골 의료 영상에서 골절 의심 영역을 나타내는 그라운드-트루스 (ground-truth) 바운딩 박스 (즉, 정답) 와 예측된 바운딩 박스 간의 오프셋 (offset) 을 이용하여 수행될 수 있다. 여기서, 오프셋은 예측된 바운딩 박스 및 정답에 해당하는 그라운드-트루스 바운딩 박스가 서로 중첩 (또는 일치) 되는 정도를 의미할 수 있다. 이를 통해서 예측 모델의 성능이 평가될 수 있다.
이러한 예측 모델을 통해서 출력된 예측 결과 데이터 (550) 는 골절 의심 영역 (522, 554, 556a, 556b 및 558) 각각에 대응하는 바운딩 박스를 포함할 수 있다. 다양한 실시예에서 예측 결과 데이터 (550) 는, 골절 의심 영역에 대한 예측 결과 (예를 들어, 골절, 혈관, 골 접합선, 골 중첩 선 등) 를 더 포함할 수도 있다. 그러나, 이에 제한되는 것은 아니다. 예를 들어, 골절 의심 영역에 대한 분류 결과는 골절 의심 영역을 입력으로 하여 영역의 종류를 출력하도록 구성된 별도의 분류기에 의해 출력될 수 있다.
이때, RetinaNet기반의 예측 모델 구축을 위한 파라미터로서, 에폭 (Epoch) 은 300, 배치 사이즈 (Batch size) 는 6일 수 있으나, 이에 제한되는 것은 아니다.
한편, 다양한 실시예에서 다각도에서 촬영된 멀티뷰 영상에 대하여 골절 의심 영역을 예측하는 단일 모델이 이용될 수 있다.
도 4를 참조하면, 예측 모델은 정면 의료 영상, 후면 의료 영상, 우측면 의료 영상 및 좌측면 의료 영상이 합쳐진 멀티뷰 의료 영상 (610) 을 입력으로 하여 골절 의심 영역을 예측하도록 학습된 복수의 인공신경망으로 이루어진 MVCNN (Multi-view Convolutional Neural Network) 기반의 단일 예측 모델 (620) 일 수 있다.
보다 구체적으로, 멀티뷰 의료 영상 (610) 이 입력되면, 멀티뷰 의료 영상 (610) 내의 다각의 의료 영상 (612, 614, 616 및 618) 을 입력으로 하는 복수의 제1 CNN (622) 에 의해 다각의 의료 영상 각각에 대하여 특징맵 (feature map) 이 출력된다. 그 다음, 다각의 의료 영상 각각에 대한 복수의 특징맵은 뷰 풀링 레이어 (View pooling layer)(624) 에 의해 하나의 특징 맵으로 통합 (aggregation) 된다. 그 다음 완벽-연결된 레이어들 (fully-connected layers) 를 포함하는, 단일의 제2 CNN (626) 의 에 의해, 멀티뷰 의료 영상 (610) 내의 골절 의심 영역 (632) 이 결정된다. 즉, 골절 의심 영역 (632) 이 결정된 예측 결과 데이터 (630) 가 제공될 수 있다.
한편, MVCNN 기반의 단일 예측 모델 (620) 에 입력되는 의료 영상은 이에 제한되는 것이 아니며, 골절 의심 부위에 대한 3D 영상일 수도 있다. 나아가, 단일 예측 모델 (620) 은 MPCNN(Multi-Planar CNN) 기반의 모델일 수도 있다.
평가: 본 발명의 다양한 실시예에 이용되는 예측 모델의 평가 결과
이하에서는, 도 5a 내지 5e를 참조하여, 본 발명의 다양한 실시예에 이용되는 예측 모델의 성능 평가 결과에 대하여 설명한다.
본 평가에서는, ResNet-152 알고리즘 기반의 예측 모델에 대한 두개골의 골절 부위 예측 평가가 수행되었으나, 모델의 종류 및 목적 부위는 이에 제한되는 것이 아니다.
이때, 810 장의 골절 X-레이 영상 및 829 장의 정상의 X-레이 영상으로 학습된 예측 모델에 대하여, 183 장의 X-레이 영상 및 206 장의 정상의 X-레이 영상을 이용한 평가가 수행되었다.
나아가, 280 장의 골절 X-레이 영상 및 280 장의 정상의 X-레이 영상으로 학습된 예측 모델에 대하여, 119 장의 X-레이 영상 및 118 장의 정상의 X-레이 영상을 이용한 평가가 수행되었다.
도 5a 내지 5e는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
먼저, 도 5a의 (a), (b) 및 (c)를 참조하면, 본 발명의 다양한 실시예에 이용되는 예측 모델은, 후면 X-레이 영상, 좌측면 X-레이 영상 및 정면 X-레이 영상 내에서 골절 부위에 대하여 미리 라벨링된 정답 영역 (초록색 박스) 을 포함하도록 골절 의심 영역 (붉은색 박스) 을 예측한 것으로 나타난다.
특히, 도 5b의 (a), (b) 및 (c)를 더욱 참조하면, 예측 모델의 골절 의심 영역의 예측에 있어서, 관심도를 나타내는 CAM 영상이 도시된다.
구체적으로, 예측 모델은, 골절 의심 영역의 예측에 있어서, 실제 골절이 나타난 골절 부위에 높은 관심도를 갖는 것으로 나타난다.
도 5c를 참조하면, 예측 모델의 성능 평가 결과가 도시된다.
보다 구체적으로, 예측 모델이 골절 의심 영역을 얼마나 잘 검출 했는지를 나타내는 지표인 리콜 (recall) 값이 0.77로 나타나고, 예측된 골절 의심 영역이 얼마나 정확한지 (즉, 실제 골절 부위에 대응하는 지) 를 나타내는 지표인 정밀도는 0.73으로 나타난다. 도 5d를 함께 참조하면, 평균 정밀도는 0.7131로 나타난다.
이때, 예측 모델의 성능 평가를 위한, 정답 영역 및 예측 영역의 전체 영역에 대한 중첩 영역으로 정의되는 IOU (도 5e 참조) 는 0.1 이상으로 설정되었고, 확률 임계치는 0.1 이상으로 설정되었다.
즉, 본 평가 결과에 따르면, 본 발명의 다양한 실시예에 이용되는 예측 모델은 복수의 각도에서 촬영된 두개골 X-레이 영상 내에서 골절 부위를 높은 정확도로 찾는 것으로 나타난다.
이에, 본 발명은 예측 모델 기반의 골절 검출 시스템을 제공함으로써, 육안으로 식별되지 않은 부분들에 대한 정보 제공에 의해 의료진의 추가적인 골 의료 영상 진단의 수행 없이 골절에 대한 민감도 높은 진단 결과를 제공할 수 있다.
또한, 본 발명은 딥 러닝 알고리즘 기반의 예측 모델을 이용한 골절 검출 시스템을 제공함으로써, 의료진의 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 골절 검출용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 의료 영상 제공용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 의료 영상 제공용 디바이스
Claims (18)
- 프로세서에 의해 구현되는 골절 검출 방법으로,
개체에 대한 골 의료 영상을 수신하는 단계;
상기 골 의료 영상을 입력으로 하여 골절 부위를 출력하도록 구성된 예측 모델을 이용하여, 상기 골 의료 영상에 대한 골절 의심 영역을 결정하는 단계;
상기 골절 의심 영역 중 유사 골절 영역을 결정하는 단계, 및
상기 유사 골절 영역이 제거되도록 상기 골절 의심 영역을 필터링하여 골절 부위를 결정하는 단계를 포함하는, 골절 검출 방법. - 제1항에 있어서,
상기 골 의료 영상은,
상기 개체의 목적 부위에 대하여 복수의 각도에서 촬영한 복수의 골 의료 영상을 포함하고,
상기 골절 의심 영역을 결정하는 단계는,
상기 예측 모델을 이용하여 상기 복수의 골 의료 영상 각각에 대한 상기 골절 의심 영역을 결정하는 단계를 포함하고,
상기 유사 골절 영역을 결정하는 단계는,
상기 복수의 골 의료 영상 각각에 대한 상기 골절 의심 영역 중, 상기 유사 골절 영역을 결정하는 단계를 포함하고,
상기 골절 부위를 결정하는 단계는,
상기 복수의 골 의료 영상 각각에 대하여 골절 영역을 결정하는 단계를 포함하는, 골절 검출 방법. - 제2항에 있어서,
상기 예측 모델은,
상기 복수의 골 의료 영상 각각에 대하여 골절 부위를 예측하도록 구성된 복수의 예측 모델이고,
상기 골절 의심 영역을 결정하는 단계는,
상기 복수의 예측 모델 각각을 이용하여, 상기 복수의 골 의료 영상 각각에 대한 상기 골절 의심 영역을 결정하는 단계를 포함하는, 골절 검출 방법. - 제2항에 있어서,
상기 예측 모델은,
상기 복수의 골 의료 영상에 대하여 골절 부위를 예측하도록 구성된 단일의 예측 모델이고,
상기 골절 의심 영역을 결정하는 단계는,
상기 단일의 예측 모델을 이용하여, 상기 복수의 골 의료 영상에 대한 상기 골절 의심 영역을 결정하는 단계를 포함하는, 골절 검출 방법. - 제2항에 있어서,
상기 복수의 골 의료 영상은,
정면 골 의료 영상, 후면 골 의료 영상, 우측 골 의료 영상 및 좌측 골 의료 영상 중 적어도 두 개인, 골절 검출 방법. - 제2항에 있어서,
상기 골절 부위를 결정하는 단계 이후에,
상기 복수의 골 의료 영상 중 선택된 세트 영상의 골절 부위를 비교하는 단계, 및
비교 결과에 기초하여 골절 부위를 최종 결정하는 단계를 더 포함하고,
상기 세트 영상은, 정면 골 의료 영상 및 후면 골 의료 영상, 또는 우측 골 의료 영상 및 좌측 골 의료 영상인, 골절 검출 방법. - 제6항에 있어서,
상기 골절 부위를 비교하는 단계는,
상기 세트 영상에 대하여 결정된 골절 부위의 위치를 비교하는 단계를 포함하는, 골절 검출 방법. - 제1항에 있어서,
상기 골절은 선형 골절이고,
상기 유사 골절 영역을 결정하는 단계는,
상기 골절 의심 영역의 두께, 형태 및 위치 중 적어도 하나에 기초하여, 상기 유사 골절 영역을 결정하는 단계를 포함하는, 골절 검출 방법. - 제1항에 있어서,
상기 유사 골절 영역은,
골 접합선, 혈관 및 골 중첩 선 중 적어도 하나인, 골절 검출 방법. - 제1항에 있어서,
상기 골 의료 영상은,
X-레이 영상, 컴퓨터 단층 촬영 영상, 자기 공명 영상 및 초음파 영상 중 하나인, 골절 검출 방법. - 제1항에 있어서,
상기 골절 의심 영역은,
두개골, 하악골, 설골, 경추, 흉추, 요추, 늑골, 흉골, 쇄골, 견갑골, 상완골, 요골, 척골, 주상골, 월상골, 삼각골, 두상골, 대능형골, 소농형골, 유두골, 유두골, 중수골, 손가락뼈, 관골, 대퇴골, 슬개골, 경골, 비골, 거골, 종골, 주상골, 입방골, 쐐기뼈, 증족골 및 발가락뼈 중 적어도 하나에 대한 골절 의심 영역인, 골절 검출 방법. - 개체에 대한 골 의료 영상을 수신하도록 구성된 통신부, 및
상기 통신부와 통신하도록 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 골 의료 영상을 입력으로 하여 골절 부위를 출력하도록 구성된 예측 모델을 이용하여, 상기 골 의료 영상에 대한 골절 의심 영역을 결정하고,
상기 골절 의심 영역 중 유사 골절 영역을 결정하고,
상기 유사 골절 영역이 제거되도록 상기 골절 의심 영역을 필터링하여 골절 부위를 결정하도록 구성된, 골절 검출용 디바이스. - 제12항에 있어서,
상기 골 의료 영상은,
상기 개체의 목적 부위에 대하여 복수의 각도에서 촬영한 복수의 골 의료 영상을 포함하고,
상기 프로세서는,
상기 예측 모델을 이용하여 상기 복수의 골 의료 영상 각각에 대한 상기 골절 의심 영역을 결정하고,
상기 복수의 골 의료 영상 각각에 대한 상기 골절 의심 영역 중, 상기 유사 골절 영역을 결정하고,
상기 복수의 골 의료 영상 각각에 대하여 골절 영역을 결정하도록 더 구성된, 골절 검출용 디바이스. - 제13항에 있어서,
상기 예측 모델은,
상기 복수의 골 의료 영상 각각에 대하여 골절 부위를 예측하도록 구성된 복수의 예측 모델이고,
상기 프로세서는,
상기 복수의 예측 모델 각각을 이용하여, 상기 복수의 골 의료 영상 각각에 대한 상기 골절 의심 영역을 결정하도록 구성된, 골절 검출용 디바이스. - 제13항에 있어서,
상기 예측 모델은,
상기 복수의 골 의료 영상에 대하여 골절 부위를 예측하도록 구성된 단일의 예측 모델이고,
상기 프로세서는,
상기 단일의 예측 모델을 이용하여, 상기 복수의 골 의료 영상에 대한 상기 골절 의심 영역을 결정하도록 구성된, 골절 검출용 디바이스. - 제13항에 있어서,
상기 복수의 골 의료 영상은,
정면 골 의료 영상, 후면 골 의료 영상, 우측 골 의료 영상 및 좌측 골 의료 영상 중 적어도 두 개인, 골절 검출용 디바이스. - 제13항에 있어서,
상기 프로세서는,
상기 복수의 골 의료 영상 중 선택된 세트 영상의 골절 부위를 비교하고,
비교 결과에 기초하여 골절 부위를 최종 결정하도록 더 구성되고,
상기 세트 영상은, 정면 골 의료 영상 및 후면 골 의료 영상, 또는 우측 골 의료 영상 및 좌측 골 의료 영상인, 골절 검출용 디바이스. - 제17항에 있어서,
상기 프로세서는,
상기 세트 영상에 대하여 결정된 골절 부위의 위치를 비교하도록 더 구성된, 골절 검출용 디바이스.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200181117A KR102530016B1 (ko) | 2020-12-22 | 2020-12-22 | 골절 검출 방법 및 이를 이용한 디바이스 |
| PCT/KR2021/018314 WO2022139246A1 (ko) | 2020-12-22 | 2021-12-06 | 골절 검출 방법 및 이를 이용한 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200181117A KR102530016B1 (ko) | 2020-12-22 | 2020-12-22 | 골절 검출 방법 및 이를 이용한 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220090172A true KR20220090172A (ko) | 2022-06-29 |
| KR102530016B1 KR102530016B1 (ko) | 2023-05-08 |
Family
ID=82159506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200181117A KR102530016B1 (ko) | 2020-12-22 | 2020-12-22 | 골절 검출 방법 및 이를 이용한 디바이스 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102530016B1 (ko) |
| WO (1) | WO2022139246A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024106799A1 (ko) * | 2022-11-16 | 2024-05-23 | 연세대학교 산학협력단 | 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| KR20240078132A (ko) | 2022-11-25 | 2024-06-03 | 학교법인 일송학원 | 두개골 단순 방사선 영상을 이용한 인공지능 기반 영유아 골절 진단 장치 및 영유아 골절 진단을 위한 정보 제공 방법 |
| KR20240078546A (ko) | 2022-11-25 | 2024-06-04 | 학교법인 일송학원 | 단순 방사선 영상을 이용한 인공지능 기반의 영아의 나이 추정 장치 및 방법 |
| CN118351120A (zh) * | 2024-06-18 | 2024-07-16 | 北京大学人民医院 | 一种骨衰老程度预测模型的构建方法、系统、设备及介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117679160B (zh) * | 2023-12-26 | 2024-06-11 | 北京长木谷医疗科技股份有限公司 | 创伤骨折复位方法、装置、设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| WO2020109161A1 (en) * | 2018-11-26 | 2020-06-04 | Metamorphosis Gmbh | Bone fracture detection and classification |
| KR20200080626A (ko) * | 2018-12-27 | 2020-07-07 | 연세대학교 산학협력단 | 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 |
| KR102179090B1 (ko) * | 2020-01-30 | 2020-11-16 | 주식회사 투비코 | 신경망을 이용한 의료 진단 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8538117B2 (en) * | 2009-04-07 | 2013-09-17 | Virginia Commonwealth University | Accurate pelvic fracture detection for X-ray and CT images |
| KR101880678B1 (ko) * | 2016-10-12 | 2018-07-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
| KR101981202B1 (ko) * | 2018-12-11 | 2019-05-22 | 메디컬아이피 주식회사 | 의료영상 재구성 방법 및 그 장치 |
| KR102119057B1 (ko) * | 2019-10-08 | 2020-06-29 | (주)제이엘케이 | 골절 진단모델의 학습 방법 및 장치 |
-
2020
- 2020-12-22 KR KR1020200181117A patent/KR102530016B1/ko active IP Right Grant
-
2021
- 2021-12-06 WO PCT/KR2021/018314 patent/WO2022139246A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| WO2020109161A1 (en) * | 2018-11-26 | 2020-06-04 | Metamorphosis Gmbh | Bone fracture detection and classification |
| KR20200080626A (ko) * | 2018-12-27 | 2020-07-07 | 연세대학교 산학협력단 | 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 |
| KR102179090B1 (ko) * | 2020-01-30 | 2020-11-16 | 주식회사 투비코 | 신경망을 이용한 의료 진단 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024106799A1 (ko) * | 2022-11-16 | 2024-05-23 | 연세대학교 산학협력단 | 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| KR20240078132A (ko) | 2022-11-25 | 2024-06-03 | 학교법인 일송학원 | 두개골 단순 방사선 영상을 이용한 인공지능 기반 영유아 골절 진단 장치 및 영유아 골절 진단을 위한 정보 제공 방법 |
| KR20240078546A (ko) | 2022-11-25 | 2024-06-04 | 학교법인 일송학원 | 단순 방사선 영상을 이용한 인공지능 기반의 영아의 나이 추정 장치 및 방법 |
| CN118351120A (zh) * | 2024-06-18 | 2024-07-16 | 北京大学人民医院 | 一种骨衰老程度预测模型的构建方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022139246A1 (ko) | 2022-06-30 |
| KR102530016B1 (ko) | 2023-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102530016B1 (ko) | 골절 검출 방법 및 이를 이용한 디바이스 | |
| US11710233B2 (en) | Three-dimensional medical image analysis method and system for identification of vertebral fractures | |
| Thian et al. | Convolutional neural networks for automated fracture detection and localization on wrist radiographs | |
| US11604949B2 (en) | Image processing method and apparatus, computer-readable storage medium, and computer device | |
| US11751832B2 (en) | CTA large vessel occlusion model | |
| Heidari et al. | A new lung cancer detection method based on the chest CT images using Federated Learning and blockchain systems | |
| WO2019238804A1 (en) | Localization and classification of abnormalities in medical images | |
| Nicolaes et al. | Detection of vertebral fractures in CT using 3D convolutional neural networks | |
| US12056890B2 (en) | Method for measuring volume of organ by using artificial neural network, and apparatus therefor | |
| US11741694B2 (en) | Spinal fracture detection in x-ray images | |
| Nousiainen et al. | Automating chest radiograph imaging quality control | |
| US11257214B2 (en) | Two-stage variational image segmentation of medical images using fracture mechanics | |
| Kumar et al. | IOT enabled Intelligent featured imaging Bone Fractured Detection System | |
| Melinska et al. | Statistical, morphometric, anatomical shape model (atlas) of calcaneus | |
| WO2022017238A1 (en) | Automatic detection of vertebral dislocations | |
| Sha et al. | The improved faster-RCNN for spinal fracture lesions detection | |
| Yıldız Potter et al. | An automated vertebrae localization, segmentation, and osteoporotic compression fracture detection pipeline for computed tomographic imaging | |
| Wang et al. | A machine learning method for precise detection of spine bone mineral density | |
| Lee et al. | Comparison of gray-scale inversion to improve detection of pulmonary nodules on chest X-rays between radiologists and a deep convolutional neural network | |
| Suna et al. | Automated computation of radiographic parameters of distal radial metaphyseal fractures in forearm X-rays | |
| KR102647251B1 (ko) | 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스 | |
| Khan et al. | Transformative deep neural network approaches in kidney ultrasound segmentation: empirical validation with an annotated dataset | |
| Liu | DW-YOLO: improved YOLO for bone fracture detection | |
| US20240203039A1 (en) | Interpretable task-specific dimensionality reduction | |
| Franchini et al. | Automatic method for vertebral morphometry measurements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20201222 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221013 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230425 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230502 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230503 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |