KR20220033373A - 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 - Google Patents
의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 Download PDFInfo
- Publication number
- KR20220033373A KR20220033373A KR1020200115689A KR20200115689A KR20220033373A KR 20220033373 A KR20220033373 A KR 20220033373A KR 1020200115689 A KR1020200115689 A KR 1020200115689A KR 20200115689 A KR20200115689 A KR 20200115689A KR 20220033373 A KR20220033373 A KR 20220033373A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- chest
- image
- learning
- input data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008569 process Effects 0.000 title description 4
- 238000012549 training Methods 0.000 claims abstract description 84
- 238000011976 chest X-ray Methods 0.000 claims abstract description 81
- 238000013528 artificial neural network Methods 0.000 claims abstract description 77
- 208000001132 Osteoporosis Diseases 0.000 claims abstract description 75
- 230000037182 bone density Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 49
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 210000004872 soft tissue Anatomy 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 12
- 238000003745 diagnosis Methods 0.000 claims description 9
- 238000002059 diagnostic imaging Methods 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 230000036541 health Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 206010017076 Fracture Diseases 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 229910052500 inorganic mineral Inorganic materials 0.000 description 4
- 239000011707 mineral Substances 0.000 description 4
- 208000010392 Bone Fractures Diseases 0.000 description 3
- 208000001164 Osteoporotic Fractures Diseases 0.000 description 3
- 230000037118 bone strength Effects 0.000 description 3
- 238000001739 density measurement Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000009547 dual-energy X-ray absorptiometry Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000035764 nutrition Effects 0.000 description 3
- 235000016709 nutrition Nutrition 0.000 description 3
- 206010020100 Hip fracture Diseases 0.000 description 2
- 208000029725 Metabolic bone disease Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010049088 Osteopenia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 208000020084 Bone disease Diseases 0.000 description 1
- 206010020462 Humerus fracture Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033558 biomineral tissue development Effects 0.000 description 1
- 230000004097 bone metabolism Effects 0.000 description 1
- 230000008416 bone turnover Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000000326 densiometry Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009245 menopause Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001009 osteoporotic effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 208000001076 sarcopenia Diseases 0.000 description 1
- 210000001991 scapula Anatomy 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
일 실시예에 따른 의료영상 처리 장치의 의료영상 학습 방법은, 학습용 흉부 엑스(X)선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상을 제 1 학습용 입력 데이터 세트로서 준비하는 단계와, 상기 제 1 학습용 입력 데이터 세트 각각에 대한 레이블 데이터로서 상기 학습용 흉부 X선 영상에 대응하는 골다공증 정보 또는 골밀도 정보를 준비하는 단계와, 상기 제 1 학습용 입력 데이터 세트 및 상기 레이블 데이터를 이용하여 인공 신경망 모델을 학습시키는 단계를 포함한다.
Description
본 발명은 신체에 대한 의료영상을 학습하는 방법 및 장치, 그리고 신체에 대한 의료영상을 처리하는 방법 및 장치에 관한 것이다.
의료영상 장치는 진단 대상자의 신체 내부 구조를 영상으로 획득하기 위한 장비이다. 의료영상 장치는 비침습 검사 장치로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 사용자에게 보여준다. 의사 등의 사용자는 의료영상 장치에서 출력되는 의료영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.
의료영상 장치로는 대상체에 엑스(X)선을 조사하고 대상체를 통과한 X선을 감지하여 영상을 이미징하는 X선(X-ray) 촬영 장치, 자기 공명 영상을 제공하기 위한 자기 공명 영상(MRI: magnetic resonance imaging) 장치, 컴퓨터 단층 촬영(CT: Computed Tomography) 장치, 및 초음파(Ultrasound) 진단 장치 등이 있고, 이 중에서 X선 촬영 장치가 가장 널리 사용되고 있다.
한편, 『Choi, H.J., et al., Burden of osteoporosis in adults in Korea: a national health insurance database study. Journal of bone and mineral metabolism, 2012. 30(1): p. 54-58.』 및 『 Lee, Y.-K., B.-H. Yoon, and K.-H. Koo, Epidemiology of osteoporosis and osteoporotic fractures in South Korea. Endocrinology and Metabolism, 2013. 28(2): p. 90-93.』에 의하면, 우리나라는 2018년 65세이상 노인비율이 14%인 고령사회에 진입하였고, 2025년에 20%가 넘는 초고령사회에 진입할 것으로 예상되고 있다. 이러한 고령사회 및/또는 초고령사회는 다양한 고령화 문제를 야기하고 있고, 그 중 하나로 골다공증(Osteoporosis) 환자의 수가 증가하고 이러한 골다공증과 골다공증으로 인한 골절에 대한 의료비용 및 사용경제적 비용이 급증하는 문제가 있다.
골다공증은 골강도가 약해져서 골절이 일어날 가능성이 높은 상태를 지칭하고, 전신으로 진행되는 뼈의 질환이며, 골강도의 손상으로 골절의 위험이 증가되는 골격계 질환이다.
『Hong, S. and K. Han, The incidence of hip fracture and mortality rate after hip fracture in Korea: A nationwide population-based cohort study. Osteoporosis and Sarcopenia, 2019.』 및 『Jung, H.-S., et al., Incidence of Osteoporotic Refractures Following Proximal Humerus Fractures in Adults Aged 50 Years and Older in Korea. Journal of Bone Metabolism, 2019. 26(2): p. 105-111.』에 의하면, 골다공증은 증상이 없으나, 골절이 발생하면 2차 골절이 발생할 가능성이 높고, 합병증 발생이 높아지기 때문에 골절 발생 이전에 골밀도 감소를 예방하는 것이 중요하며, 이러한 골밀도 감소 예방을 위해서는 골밀도 감소에 대한 선별검사가 중요하다.
골강도는 골교체율, 구조, 미세손상과 무기질화로 결정되는 골의 질과 골밀도로 결정되며, 골강도의 80%가 골밀도에 의존하기 때문에 골밀도 측정이 골다공증 진단에 유용한 방법이다.
『LewieckiEM , LaneNE . Common mistakes in the clinical use of bone mineral density testing . Nat Clin Pract Rheumatol.2008; 4: 667-674』과 『김재균 ( Jae Gyoon Kim ) , 문영완 ( Young Wan Moon ). 2011. 골다공증의 진단. Hip & Pelvis(구 대한고관절학회지), 23(2): 108-115』 및 『Ho-Sung, K., Tae-Hyung, K., & Sang-Hyun, K. (2018). Management Methods of Bone Mineral Density Examination Using Dual Energy X-ray Absorptiometry. Journal of Radiological Science and Technology, 41(4), 351-360』에 의하면, 골밀도 측정에 대하여, 국제학술단체인 ISCD(International Society for Clinical Densitometry)에서는 이중 에너지 방사선 골밀도 측정법(DXA : Dual Energy X-ray Absorptiometry)을 가장 적합한 골밀도 측정법으로 인정하고 있다. 이중 에너지 방사선 골밀도 측정법으로 중심골인 요추와 대퇴골의 골밀도를 측정하여 가장 낮은 수치를 기준으로 골다공증과 골감소증 및 정상 중 어느 하나로 진단한다.
『Lee, K.-S., et al., New reference data on bone mineral density and the prevalence of osteoporosis in Korean adults aged 50 years or older: the Korea National Health and Nutrition Examination Survey 2008-2010. Journal of Korean medical science, 2014. 29(11): p. 1514-1522.』 및 『Kim, K.H., et al., Prevalence, awareness, and treatment of osteoporosis among Korean women: the Fourth Korea National Health and Nutrition Examination Survey. Bone, 2012. 50(5): p. 1039-1047.』에 개재된 국민건강영양조사를 이용한 연구에 따르면, 50세 이상의 성인 4명 중 1명은 골다공증이며, 70세 이상에서는 여자는 3명 중 2명, 남자는 5명 중 1명이 골다공증으로 매우 흔한 질환이나, 의사로부터 진단받고 치료받는 사람은 10명 중 1명에 불과하며 특히 남성 대부분이 골다공증을 건강문제로 인식하지 못하고 있다. 국가 일반 건강검진에서 만 54세, 66세 중 여성만을 대상으로 골밀도검사를 하고 있어, 남성에 대한 진단율은 떨어질 수밖에 없는 실정이다.
또한,『https://www.hira.or.kr/dummy.do?pgmid=HIRAA030060000000&cmsurl=/cms/medi_info/02/01/1343529_27565.html&subject=%EA%B3%A8%EB%B0%80%EB%8F%84+%EA%B2%80%EC%82%AC』에 의하면, 한국 의료보험에서 골밀도검사는 고위험요소가 있는 경우를 제외하고는 65세 이상의 여성과 70세 이상의 남성에서 진단시 1회, 추적검사 실시는 1년 이상으로 하여 보험급여를 인정하고 있다. 이 기준은 50세 전후 폐경기를 지나며 골다공증의 위험이 증가하는 여성과, 질환 인지도가 낮은 남성에서는 골다공증 관리율이 미흡할 수밖에 없다.
『Yu, T. Y., Cho, H., Kim, T.-Y., Ha, Y.-C., Jang, S., & Kim, H. Y. (2018). Utilization of Osteoporosis-Related Health Services: Use of Data from the Korean National Health Insurance Database 2008-2012. J Korean Med Sci, 33(3).』에 의하면, 건강보험심사청구자료 분석 결과 골다공증 골절의 발생이 2008년 14만 건에서 지속적으로 증가하여 2012년에는 21만 건이 발생한 것으로 나타나 골다공증 관리의 중요성을 알려주고 있다.
그런데, 골밀도 감소에 대한 선별검사를 위한 가장 적합한 골밀도 측정법으로 알려진 이중 에너지 방사선 골밀도 측정법은 의료영상 장치 중 가장 널리 이용되고 있는 X선 촬영 검사와 비교할 때에 고비용이 소요될 뿐만 아니라 상대적으로 방사선 피폭량이 높아서 X선 촬영 검사만큼 자주 수행하지 못하는 실정이다.
실시예에 따르면, 흉부 X선 영상을 이용하여 정상군과 골다공증 고위험군을 분류할 수 있도록, 흉부 X선 영상과 골다공증 정보 또는 골밀도 정보를 인공 신경망 모델에 학습시키는 의료영상 학습 방법 및 그 의료영상 처리 장치를 제공한다.
또한, 학습된 인공 신경망 모델이 진단 대상자의 흉부 X선 영상으로부터 골다공증 정보 또는 골밀도 정보를 획득하는 의료영상 처리 방법 및 그 의료영상 처리 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 의료영상 처리 장치에 의해 수행되는 의료영상 학습 방법은, 학습용 흉부 엑스(X)선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상을 제 1 학습용 입력 데이터 세트로서 준비하는 단계와, 상기 제 1 학습용 입력 데이터 세트 각각에 대한 레이블 데이터로서 상기 학습용 흉부 X선 영상에 대응하는 골다공증 정보 또는 골밀도 정보를 준비하는 단계와, 상기 제 1 학습용 입력 데이터 세트 및 상기 레이블 데이터를 이용하여 인공 신경망 모델을 학습시키는 단계를 포함한다.
제 2 관점에 따라 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체의 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 상기 의료영상 처리 장치의 의료영상 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 3 관점에 따른 의료영상 처리 장치에 의해 수행되는 의료영상 처리 방법은, 학습용 흉부 X선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상, 상기 학습용 흉부 X선 영상에 대응하는 연조직 영상, 상기 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함된 조각 영상 중 적어도 2종의 영상을 포함하는 학습용 입력 데이터 세트와 레이블 데이터를 학습시킨 인공 신경망 모델에 진단 대상자의 흉부 X선 영상을 입력 받는 단계와, 상기 진단 대상자의 흉부 X선 영상으로부터 상기 인공 신경망 모델이 획득한 골다공증 정보 또는 골밀도 정보를 출력하는 단계를 포함한다.
제 4 관점에 따라 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체의 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 상기 의료영상 처리 장치를 이용한 의료영상 처리 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 5 관점에 따른 의료영상 처리 장치는, 학습용 흉부 X선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상을 제 1 학습용 입력 데이터 세트로서 입력 받고, 상기 제 1 학습용 입력 데이터 세트 각각에 대한 레이블 데이터로서 상기 학습용 흉부 X선 영상에 대응하는 골다공증 정보 또는 골밀도 정보를 입력 받는 입력부와, 상기 입력부를 통하여 입력 받은 상기 제 1 학습용 입력 데이터 세트 및 상기 레이블 데이터를 인공 신경망 모델이 학습하는 인공 신경망 모델부를 포함한다.
제 6 관점에 따른 의료영상 처리 장치는, 진단 대상자의 흉부 X선 영상을 입력 받는 입력부와, 학습용 흉부 X선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상, 상기 학습용 흉부 X선 영상에 대응하는 연조직 영상, 상기 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함된 조각 영상 중 적어도 2종의 영상을 포함하는 학습용 입력 데이터 세트와 레이블 데이터를 학습한 인공 신경망 모델이 상기 입력부가 입력 받은 상기 진단 대상자의 흉부 X선 영상으로부터 상기 진단 대상자의 골다공증 정보 또는 골밀도 정보를 획득하는 인공 신경망 모델부와, 상기 인공 신경망 모델부에 의하여 획득된 상기 진단 대상자의 골다공증 정보 또는 골밀도 정보를 출력하는 출력부를 포함한다.
일 실시예에 따르면 인공 신경망 모델을 학습시켜서, 학습된 인공 신경망 모델이 진단 대상자의 흉부 X선 영상으로부터 골다공증 정보 또는 골밀도 정보를 획득할 수 있도록 한다. 이에 따라, 진단 대상자의 골다공증 정보 또는 골밀도 정보를 출력하거나 진단 대상자의 흉부 X선 영상을 정상군과 골다공증 위험군으로 분류하여 출력할 수 있다.
이러한 본 발명의 일 실시예에 의하면, 이중에너지 X선 흡수계측법, 정량 전산화단층촬영술 등의 골밀도 검사 방법을 이용하지 않은 상태에서 진단 대상자의 X선 영상을 정상군과 골다공증 고위험군으로 분류할 수 있다.
도 1은 일 실시예에 따른 의료영상 처리 장치의 구성도이다.
도 2는 일 실시예에 따른 의료영상 처리 장치에 의해 수행되는 의료영상 학습 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 의료영상 처리 장치에 의해 수행되는 의료영상 처리 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 일 실시예에 따른 의료영상 처리 장치가 의료영상 학습에 이용할 수 있는 다양한 X선 영상의 예이다.
도 2는 일 실시예에 따른 의료영상 처리 장치에 의해 수행되는 의료영상 학습 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 의료영상 처리 장치에 의해 수행되는 의료영상 처리 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 일 실시예에 따른 의료영상 처리 장치가 의료영상 학습에 이용할 수 있는 다양한 X선 영상의 예이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
본 명세서에서 진단 대상자나 환자 등은 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다.
또한, 본 명세서에서 '영상'은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다.
도 1은 일 실시예에 따른 의료영상 처리 장치(100)의 구성을 도시하고 있으며, 다만 도 1에 도시된 것은 예시적인 것에 불과하다. 이러한 의료영상 처리 장치(100)는 PC나 서버 등에서 구현되거나 이를 포함할 수 있다.
도 1을 참조하면, 의료영상 처리 장치(100)는 입력부(110), 인공 신경망 모델(artificial neutral network model)부(120)를 포함하며, 실시예에 따라 출력부(130), 정보 가공부(140), 저장부(150) 중 하나 이상을 더 포함할 수 있다.
입력부(110)는 인공 신경망 모델부(120)의 인공 신경망 모델을 학습시키기 위한 학습용 입력 데이터 세트 및 레이블 데이터를 입력 받는다. 또, 입력부(110)는 학습된 인공 신경망 모델에 입력하기 위한 진단 대상자의 신체 X선 영상을 입력 받는다. 예를 들어, 입력부(110)는 제 1 학습용 입력 데이터 세트 및 제 2 학습용 입력 데이터 세트를 입력 받을 수 있다. 제 1 학습용 입력 데이터 세트는 학습용 흉부 X선 영상, 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상, 또는 뼈 추출 영상 및 연조직 영상일 수 있고, 제 1 학습용 입력 데이터 세트에 대응하는 레이블 데이터는 학습용 흉부 X선 영상의 골다공증 정보 또는 골밀도 정보일 수 있다. 제 2 학습용 입력 데이터 세트는 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함되도록 한 조각 영상일 수 있고, 제 2 학습용 입력 데이터 세트에 대응하는 레이블 데이터는 학습용 흉부 X선 영상 및/또는 조각 영상의 골다공증 정보 또는 골밀도 정보일 수 있다.
인공 신경망 모델부(120)는 입력부(110)를 통하여 입력 받는 학습용 입력 데이터 세트 및 레이블 데이터를 학습하는 인공 신경망 모델을 포함한다. 예를 들어, 인공 신경망 모델부(120)는 인공 신경망 모델로서 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서를 포함할 수 있다.
이러한 인공 신경망 모델부(120)의 인공 신경망 모델이 학습하는 학습용 입력 데이터 세트는 입력부(110)가 입력 받은 학습용 입력 데이터 세트로서, 예컨대 제 1 학습용 입력 데이터 세트 및/또는 제 2 학습용 입력 데이터 세트일 수 있다. 제 1 학습용 입력 데이터 세트 및/또는 제 2 학습용 입력 데이터 세트는 앞서 예시한 바와 같이 학습용 흉부 X선 영상들일 수 있다. 예를 들어, 인공 신경망 모델은 제 2 학습용 입력 데이터 세트 및 레이블 데이터를 선학습한 후에 제 1 학습용 입력 데이터 세트 및 레이블 데이터를 후학습할 수 있다. 제 1 학습용 입력 데이터 세트 중 흉부 X선 영상은 이로부터 추출할 수 있는 제 2 학습용 입력 데이터 세트의 조각 영상보다 정보의 양이 많기 때문에 인공 신경망 모델의 입장에서는 제 1 학습용 입력 데이터 세트보다 제 2 학습용 입력 데이터 세트가 학습하기 더 쉽다. 이에, 인공 신경망 모델은 상대적으로 더 쉬운 제 2 학습용 입력 데이터 세트를 선학습한 후에 상대적으로 더 어려운 제 1 학습용 입력 데이터 세트를 후학습하는 커리큘럼 러닝(Curriculum learning)을 이용할 수 있다. 예를 들어, 인공 신경망 모델은 컨볼루션 블록들(Convolution Blocks) 및 전역 평균 풀링(Global Average Pooling)을 포함하여 구성될 수 있다.
이처럼, 인공 신경망 모델부(120)는 인공 신경망 모델이 학습용 흉부 X선 영상과 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상, 학습용 흉부 X선 영상에 대응하는 연조직 영상, 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함된 조각 영상 중 적어도 2종의 영상 및 레이블 데이터를 학습할 수 있다.
또한, 인공 신경망 모델부(120)는 학습된 인공 신경망 모델이 입력부(110)를 통하여 입력 받은 진단 대상자의 흉부 X선 영상으로부터 골다공증 정보 또는 골밀도 정보를 획득할 수 있다.
정보 가공부(130)는 학습된 인공 신경망 모델이 획득한 진단 대상자의 흉부 X선 영상에 대한 골다공증 정보 또는 골밀도 정보에 기초하여 진단 대상자의 흉부 X선 영상을 정상군과 골다공증 위험군으로 분류한 CAM(Class Activation Map)을 생성할 수 있다. 예를 들어, 정보 가공부(140)는 각종 정보를 소정의 형태로 가공하는 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서를 포함할 수 있다.
출력부(140)는 인공 신경망 모델부(120)에 의하여 획득된 진단 대상자의 골다공증 정보 또는 골밀도 정보를 외부로 출력할 수 있다. 또는, 출력부(130)는 정보 가공부(130)가 인공 신경망 모델이 획득한 골다공증 정보 또는 골밀도 정보에 기초하여 생성한 정상군과 골다공증 위험군에 대한 CAM을 외부로 출력할 수 있다. 이러한 출력부(140)는 진단 대상자의 골다공증 정보, 골밀도 정보, 정상군과 골다공증 위험군으로 분류한 CAM 등의 각종 정보를 출력하는 포트, 유선 통신 모듈 또는 무선 통신 모듈 등을 포함할 수 있다. 또는, 출력부(140)는 진단 대상자의 골다공증 정보, 골밀도 정보, 정상군과 골다공증 위험군으로 분류한 CAM 등의 각종 정보를 영상 형태로 출력할 수 있는 영상 표시 장치를 포함할 수도 있다.
저장부(150)는 의료영상 처리 장치(100)가 각종의 기능을 수행하도록 프로그램된 명령어를 저장하거나 입력부(110)를 통하여 입력 받은 영상 등과 같은 각종 정보를 저장하거나 또는 인공 신경망 모델부(120)에 의한 연산 및 처리 결과를 저장할 수 있다. 예를 들어, 저장부(150)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치 등과 같이 컴퓨터 판독 가능한 기록매체일 수 있다.
도 2는 일 실시예에 따른 의료영상 처리 장치(100)에 의해 수행되는 의료영상 학습 방법을 설명하기 위한 흐름도이고, 도 3은 일 실시예에 따른 의료영상 처리 장치(100)에 의해 수행되는 의료영상 처리 방법을 설명하기 위한 흐름도이며, 도 4 및 도 5는 일 실시예에 따른 의료영상 처리 장치(100)가 의료영상 학습에 이용할 수 있는 다양한 X선 영상의 예이다.
이하, 도 1 내지 도 5를 참조하여 일 실시예에 따른 의료영상 처리 장치(100)에 의해 수행되는 의료영상 학습 방법과 의료영상 처리 방법에 대하여 자세히 살펴보기로 한다.
도 2의 흐름 순서에 따라 의료영상 처리 장치(100)의 의료영상 학습 방법에 대하여 설명하겠다. 앞서 언급한 바와 같이, 제 1 학습용 입력 데이터 세트 중 흉부 X선 영상은 이로부터 추출할 수 있는 제 2 학습용 입력 데이터 세트 중 조각 영상보다 정보의 양이 많기 때문에 인공 신경망 모델의 입장에서는 제 1 학습용 입력 데이터 세트보다 제 2 학습용 입력 데이터 세트가 학습이기 더 쉽다. 이에, 인공 신경망 모델은 상대적으로 더 쉬운 제 2 학습용 입력 데이터 세트를 선학습한 후에 상대적으로 더 어려운 제 1 학습용 입력 데이터 세트를 후학습하는 커리큘럼 러닝을 이용할 수 있다. 이하의 설명에서는 이처럼 커리큘럼 러닝을 이용하는 실시예에 대하여 설명하기로 한다. 물론, 의료영상 처리 장치(100)는 제 1 학습용 입력 데이터 세트와 제 2 학습용 입력 데이터 세트 중 어느 하나의 입력 데이터 세트만 학습하거나 제 1 학습용 입력 데이터 세트를 선학습한 후에 제 2 학습용 입력 데이터 세트를 후학습할 수도 있다.
먼저, 의료영상 처리 장치(100)의 인공 신경망 모델부(120)의 인공 신경망 모델을 학습시키기 위한 학습용 입력 데이터 세트를 준비한다. 예를 들어, 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함되도록 한 조각 영상으로서 도 4a 내지 도 4c의 조각 영상들과 학습용 흉부 X선 영상을 학습용 입력 데이터 세트로서 준비할 수 있고(S210), 학습용 입력 데이터 세트에 대응하는 레이블 데이터로는 학습용 흉부 X선 영상들에 각각 대응하는 골다공증 정보 또는 골밀도 정보를 준비할 수 있다(S220). 예를 들어, 조각 영상은 학습용 흉부 X선 영상에 대하여 쇄골, 경추, 흉추, 견갑골 중 2개 이하가 포함되도록 한 영상일 수 있다.
그리고, 단계 S210 및 단계 S220을 통하여 준비된 학습용 입력 데이터 세트 및 레이블 데이터는 입력부(110)를 통하여 입력 되어 인공 신경망 모델부(120)에 제공되고, 인공 신경망 모델부(120)의 인공 신경망 모델은 단계 S210 및 단계 S220의 학습용 입력 데이터 세트 및 레이블 데이터를 선학습한다(S230).
다음으로, 의료영상 처리 장치(100)의 인공 신경망 모델부(120)의 인공 신경망 모델을 학습시키기 위한 학습용 입력 데이터 세트 및 레이블 데이터를 입력부(110)를 통하여 새롭게 입력 받아 준비한다. 예를 들어, 학습용 흉부 X선 영상(도 5a)과 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상(도 5b) 및/또는 뼈 추출 영상(도 5c), 학습용 흉부 X선 영상에 대응하는 연조직 영상(도 5d)을 학습용 입력 데이터 세트로서 준비할 수 있고(S240), 학습용 입력 데이터 세트에 대응하는 레이블 데이터로는 학습용 흉부 X선 영상(도 5a)에 각각 대응하는 골다공증 정보 또는 골밀도 정보를 준비할 수 있다(S250). 예를 들어, 단계 S240에서 학습용 입력 데이터 세트로서 뼈 추출 영상(도 5c)을 준비한 경우에는 연조직 영상(도 5d)을 함께 준비하여 이후 뼈 추출 영상(도 5c)과 연조직 영상(도 5d)을 인공 신경망 모델이 함께 학습할 수 있도록 할 수 있다.
그리고, 단계 S240 및 단계 S250을 통하여 준비된 학습용 입력 데이터 세트 및 레이블 데이터는 입력부(110)를 통하여 입력 되어 인공 신경망 모델부(120)에 제공되고, 인공 신경망 모델부(120)의 인공 신경망 모델은 단계 S240 및 단계 S250의 학습용 입력 데이터 세트 및 레이블 데이터를 후학습한다(S260).
다음으로, 도 3의 흐름 순서에 따라 의료영상 처리 장치(100)의 의료영상 처리 방법에 대하여 설명하겠다.
우선, 도 2를 참조하여 설명하였던 바와 같이, 의료영상 처리 장치(100)는 인공 신경망 모델부(120)의 인공 신경망 모델이 학습용 입력 데이터로서 학습용 흉부 X선 영상들과 레이블 데이터로서 학습용 흉부 X선 영상들에 각각 대응하는 골다공증 정보 또는 골밀도 정보를 학습한다(S310).
이렇게 인공 신경망 모델부(120)의 인공 신경망 모델이 학습된 상태에서, 입력부(110)를 통하여 진단 대상자의 흉부 X선 영상이 입력되어 인공 신경망 모델부(120)에 제공된다(S320).
그리고, 인공 신경망 모델부(120)의 인공 신경망 모델은 단계 S320을 통하여 제공된 진단 대상자의 흉부 X선 영상으로부터 진단 대상자의 골다공증 정보 또는 골밀도 정보를 획득한다(S330).
그러면, 출력부(140)는 인공 신경망 모델부(120)에 의하여 획득된 진단 대상자의 골다공증 정보 또는 골밀도 정보를 외부로 출력할 수 있다.
여기서, 출력부(140)는 인공 신경망 모델부(120)에 의하여 획득된 골다공증 정보 또는 골밀도 정보를 원시 데이터 형태로 출력할 수도 있지만, 정보 가공부(130)에 의하여 가공된 소정의 형태로 출력할 수도 있다. 이를 위하여, 정보 가공부(130)는 인공 신경망 모델부(120)에 의하여 획득된 골다공증 정보 또는 골밀도 정보에 기초하여 진단 대상자의 흉부 X선 영상을 정상군과 골다공증 위험군으로 분류한 CAM을 생성하여 출력부(140)에 제공할 수 있다. 그러면, 출력부(140)는 정보 가공부(130)에 의해 생성된 CAM을 외부로 출력할 수 있다(S340).
본 발명의 실시예에 의하면, 인공 신경망 모델을 학습시켜서, 학습된 인공 신경망 모델이 진단 대상자의 흉부 X선 영상으로부터 골다공증 정보 또는 골밀도 정보를 획득할 수 있도록 한다. 이에 따라, 진단 대상자의 골다공증 정보 또는 골밀도 정보를 출력하거나 진단 대상자의 흉부 X선 영상을 정상군과 골다공증 위험군으로 분류하여 출력할 수 있다.
본 출원인은 흉부 X선 촬영과 골밀도 검사를 모두 수행한 총 77,812명을 실험 대상자로 선정하여, 흉부 X선 영상과 골밀도 검사의 결과인 골다공증 정보 또는 골밀도 정보를 학습용 데이터로 확보하였다. 이를 기초로 본 발명의 실시예에 따른 의료영상 처리 장치(100)의 의료영상 처리 결과는 아래의 표 1과 같이 도출되었다.
| 학습용 입력 데이터 세트 | AUC | 정확도 | 민감도 | 특이도 |
| 남성+여성(정상/골다공증) | 98% | 93.1% | 94.5% | 91.8% |
| 여성(정상/골다공증) | 99% | 94.2% | 96.2% | 90.5% |
| 남성(정상/골다공증) | 97% | 91.1% | 85.8% | 92.8% |
| 남성+여성(정상+골감소증/골다공증) | 93% | 83.0% | 89.1% | 82.6% |
표 1을 통해서 알 수 있듯이 본 발명의 일 실시예에 의하면, 이중에너지 X선 흡수계측법, 정량 전산화단층촬영술 등의 골밀도 검사 방법을 이용하지 않더라도, 상대적으로 저비용이 소요되고 방사선 피폭량이 낮은 X선 촬영 검사만으로 정상군과 골다공증 고위험군으로 분류할 수 있다.
지금까지 설명한 실시예에서는 학습용 흉부 X선 영상이나 이로부터 가공한 다양한 영상을 인공 신경망 모델이 학습하고, 학습된 모델이 진단 대상자의 흉부 X선 영상으로부터 진단 대상자의 골다공증 정보 또는 골밀도 정보를 획득하는 예에 대해서 설명하였다. 그런데, 골다공증 정보 또는 골밀도 정보는 흉부 X선 영상뿐만 아니라 신체의 뼈를 포함하는 다양한 신체 X선 영상으로부터 추출할 수도 있다. 예를 들어, 인공 신경망 모델은 다양한 신체 X선 영상과 이에 대응하는 골다공증 정보 또는 골밀도 정보를 학습용 데이터로서 학습할 수 있고, 이렇게 학습된 인공 신경망 모델은 진단 대상자의 다양한 신체 X선 영상으로부터 진단 대상자의 골다공증 정보 또는 골밀도 정보를 획득할 수 있다. 예를 들어, 다양한 신체 X선 영상은 골반 X선 영상, 머리-목 X선 영상, 팔 X선 영상, 다리 X선 영상, 치과 파노라마 X선 영상 등일 수 있다.
한편, 전술한 일 실시예에 따른 의료영상 학습 방법 및 의료영상 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
또한, 전술한 일 실시예에 따른 의료영상 학습 방법 및 의료영상 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된, 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 의료영상 처리 장치
110: 입력부
120: 인공 신경망 모델부
130: 출력부
140: 정보 가공부
150: 저장부
110: 입력부
120: 인공 신경망 모델부
130: 출력부
140: 정보 가공부
150: 저장부
Claims (14)
- 의료영상 처리 장치에 의해 수행되는 의료영상 학습 방법으로서,
학습용 흉부 엑스(X)선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상을 제 1 학습용 입력 데이터 세트로서 준비하는 단계와,
상기 제 1 학습용 입력 데이터 세트 각각에 대한 레이블 데이터로서 상기 학습용 흉부 X선 영상에 대응하는 골다공증 정보 또는 골밀도 정보를 준비하는 단계와,
상기 제 1 학습용 입력 데이터 세트 및 상기 레이블 데이터를 이용하여 인공 신경망 모델을 학습시키는 단계를 포함하는
의료영상 학습 방법. - 제 1 항에 있어서,
상기 제 1 학습용 입력 데이터 세트로서 준비하는 단계는, 상기 학습용 흉부 X선 영상에 대응하는 연조직 영상을 준비하는 단계를 포함하고,
상기 제 1 학습용 입력 데이터 세트는 상기 연조직 영상을 더 포함하는
의료영상 학습 방법. - 제 1 항에 있어서,
상기 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함되도록 한 조각 영상을 제 2 학습용 입력 데이터 세트로서 준비하는 단계와,
상기 제 2 학습용 입력 데이터 세트에 대응하는 골다공증 정보 또는 골밀도 정보를 상기 레이블 데이터로서 준비하는 단계와,
상기 제 2 학습용 입력 데이터 세트 및 상기 레이블 데이터를 이용하여 상기 인공 신경망 모델을 학습시키는 단계를 더 포함하는
의료영상 학습 방법. - 제 3 항에 있어서,
상기 제 2 학습용 입력 데이터 세트를 이용하여 상기 인공 신경망 모델을 선학습시킨 후에 상기 제 1 학습용 입력 데이터 세트를 이용하여 상기 인공 신경망 모델을 후학습시키는
의료영상 학습 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체. - 의료영상 처리 장치에 의해 수행되는 의료영상 처리 방법으로서,
학습용 흉부 엑스(X)선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상, 상기 학습용 흉부 X선 영상에 대응하는 연조직 영상, 상기 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함된 조각 영상 중 적어도 2종의 영상을 포함하는 학습용 입력 데이터 세트와 레이블 데이터를 학습시킨 인공 신경망 모델에 진단 대상자의 흉부 X선 영상을 입력 받는 단계와,
상기 진단 대상자의 흉부 X선 영상으로부터 상기 인공 신경망 모델이 획득한 골다공증 정보 또는 골밀도 정보를 출력하는 단계를 포함하는
의료영상 처리 방법. - 제 6 항에 있어서,
상기 출력하는 단계는, 상기 골다공증 정보 또는 상기 골밀도 정보에 기초하여 상기 진단 대상자의 흉부 X선 영상을 정상군과 골다공증 위험군으로 분류한 CAM(Class Activation Map)을 출력하는
의료영상 처리 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제 6 항 또는 제 7 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체. - 학습용 흉부 엑스(X)선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상을 제 1 학습용 입력 데이터 세트로서 입력 받고, 상기 제 1 학습용 입력 데이터 세트 각각에 대한 레이블 데이터로서 상기 학습용 흉부 X선 영상에 대응하는 골다공증 정보 또는 골밀도 정보를 입력 받는 입력부와,
상기 입력부를 통하여 입력 받은 상기 제 1 학습용 입력 데이터 세트 및 상기 레이블 데이터를 인공 신경망 모델이 학습하는 인공 신경망 모델부를 포함하는
의료영상 처리 장치. - 제 9 항에 있어서,
상기 입력부는 상기 제 1 학습용 입력 데이터 세트로서 상기 학습용 흉부 X선 영상에 대응하는 연조직 영상을 입력 받고,
상기 인공 신경망 모델부의 인공 신경망 모델이 상기 연조직 영상을 포함하여 상기 제 1 학습용 입력 데이터 세트 및 상기 레이블 데이터를 학습하는
의료영상 처리 장치. - 제 9 항에 있어서,
상기 입력부는, 상기 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함된 조각 영상을 제 2 학습용 입력 데이터 세트로서 입력 받고, 상기 제 2 학습용 입력 데이터 세트에 대응하는 골다공증 정보 또는 골밀도 정보를 상기 레이블 데이터로서 입력 받으며,
상기 인공 신경망 모델부의 인공 신경망 모델이 상기 제 2 학습용 입력 데이터 세트 및 상기 레이블 데이터를 학습하는
의료영상 처리 장치. - 제 11 항에 있어서,
상기 인공 신경망 모델부의 인공 신경망 모델이 상기 제 2 학습용 입력 데이터 세트를 선학습한 후에 상기 제 1 학습용 입력 데이터 세트를 후학습하는
의료영상 처리 장치. - 진단 대상자의 흉부 엑스(X)선 영상을 입력 받는 입력부와,
학습용 흉부 X선 영상과 상기 학습용 흉부 X선 영상에 대응하는 뼈 강조 영상 또는 뼈 추출 영상, 상기 학습용 흉부 X선 영상에 대응하는 연조직 영상, 상기 학습용 흉부 X선 영상에 포함된 다수의 뼈 중 일부만 포함된 조각 영상 중 적어도 2종의 영상을 포함하는 학습용 입력 데이터 세트와 레이블 데이터를 학습한 인공 신경망 모델이 상기 입력부가 입력 받은 상기 진단 대상자의 흉부 X선 영상으로부터 상기 진단 대상자의 골다공증 정보 또는 골밀도 정보를 획득하는 인공 신경망 모델부와,
상기 인공 신경망 모델부에 의하여 획득된 상기 진단 대상자의 골다공증 정보 또는 골밀도 정보를 출력하는 출력부를 포함하는
의료영상 처리 장치. - 제 13 항에 있어서,
상기 골다공증 정보 또는 상기 골밀도 정보에 기초하여 상기 진단 대상자의 흉부 X선 영상을 정상군과 골다공증 위험군으로 분류한 CAM(Class Activation Map)을 생성하는 정보 가공부를 더 포함하고,
상기 출력부는 상기 CAM을 출력하는
의료영상 처리 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200115689A KR102573893B1 (ko) | 2020-09-09 | 2020-09-09 | 의료영상 처리 장치 및 의료영상 처리 방법 |
| PCT/KR2021/012271 WO2022055271A1 (ko) | 2020-09-09 | 2021-09-09 | 의료영상 처리 장치와 의료영상 학습 방법 및 의료영상 처리 방법 |
| US18/264,976 US20240225581A9 (en) | 2020-09-09 | 2021-09-09 | Medical image processing apparatus, medical image learning method, and medical image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200115689A KR102573893B1 (ko) | 2020-09-09 | 2020-09-09 | 의료영상 처리 장치 및 의료영상 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220033373A true KR20220033373A (ko) | 2022-03-16 |
| KR102573893B1 KR102573893B1 (ko) | 2023-09-01 |
Family
ID=80630302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200115689A KR102573893B1 (ko) | 2020-09-09 | 2020-09-09 | 의료영상 처리 장치 및 의료영상 처리 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240225581A9 (ko) |
| KR (1) | KR102573893B1 (ko) |
| WO (1) | WO2022055271A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661052A (zh) * | 2022-10-13 | 2023-01-31 | 高峰医疗器械(无锡)有限公司 | 牙槽骨的骨质检测方法、装置、设备及存储介质 |
| WO2024071796A1 (ko) * | 2022-09-30 | 2024-04-04 | 연세대학교 산학협력단 | 척추 방사선 영상 기반의 골절 위험도 예측을 위한 머신 러닝 방법 및 시스템 그리고 이를 이용한 골절 위험도 예측 방법 및 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019154943A (ja) | 2018-03-15 | 2019-09-19 | ライフサイエンスコンピューティング株式会社 | 人工知能を用いた病変の検知方法、及び、そのシステム |
| WO2020054738A1 (ja) * | 2018-09-10 | 2020-03-19 | 京セラ株式会社 | 推定装置、推定システム及び推定プログラム |
| KR102112858B1 (ko) * | 2020-03-03 | 2020-05-19 | 셀렉트스타 주식회사 | 가이드 포인트를 제공하는 ui를 이용한 학습 데이터 생성 방법 및 장치 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030198316A1 (en) * | 2002-04-17 | 2003-10-23 | Piet Dewaele | Osteoporosis screening method |
| JP6810395B2 (ja) * | 2016-03-18 | 2021-01-06 | メディア株式会社 | 骨粗鬆症診断支援装置 |
| KR101928984B1 (ko) * | 2016-09-12 | 2018-12-13 | 주식회사 뷰노 | 골밀도 추정 방법 및 장치 |
| KR101874348B1 (ko) * | 2017-11-21 | 2018-07-09 | 주식회사 뷰노 | 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
| KR102256315B1 (ko) * | 2018-08-03 | 2021-05-26 | 고려대학교 산학협력단 | 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법 |
| KR102158197B1 (ko) * | 2018-08-27 | 2020-09-21 | 주식회사 셀바스헬스케어 | 골밀도에 대한 예측 정보를 제공하는 컴퓨팅 장치 |
-
2020
- 2020-09-09 KR KR1020200115689A patent/KR102573893B1/ko active IP Right Grant
-
2021
- 2021-09-09 US US18/264,976 patent/US20240225581A9/en active Pending
- 2021-09-09 WO PCT/KR2021/012271 patent/WO2022055271A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019154943A (ja) | 2018-03-15 | 2019-09-19 | ライフサイエンスコンピューティング株式会社 | 人工知能を用いた病変の検知方法、及び、そのシステム |
| WO2020054738A1 (ja) * | 2018-09-10 | 2020-03-19 | 京セラ株式会社 | 推定装置、推定システム及び推定プログラム |
| KR102112858B1 (ko) * | 2020-03-03 | 2020-05-19 | 셀렉트스타 주식회사 | 가이드 포인트를 제공하는 ui를 이용한 학습 데이터 생성 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| B. Park 외. Curriculum learning from patch to entire image for screening pulmonary abnormal patterns in chest-PA X-ray: intra- and extra-validations on multi-center datasets.(2018.04.12.)* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024071796A1 (ko) * | 2022-09-30 | 2024-04-04 | 연세대학교 산학협력단 | 척추 방사선 영상 기반의 골절 위험도 예측을 위한 머신 러닝 방법 및 시스템 그리고 이를 이용한 골절 위험도 예측 방법 및 시스템 |
| CN115661052A (zh) * | 2022-10-13 | 2023-01-31 | 高峰医疗器械(无锡)有限公司 | 牙槽骨的骨质检测方法、装置、设备及存储介质 |
| CN115661052B (zh) * | 2022-10-13 | 2023-09-12 | 高峰医疗器械(无锡)有限公司 | 牙槽骨的骨质检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240225581A9 (en) | 2024-07-11 |
| KR102573893B1 (ko) | 2023-09-01 |
| US20240130703A1 (en) | 2024-04-25 |
| WO2022055271A1 (ko) | 2022-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bazzocchi et al. | DXA: Technical aspects and application | |
| Chhem et al. | Paleoradiology | |
| CN111310851B (zh) | 一种人工智能超声辅助系统及其应用 | |
| Mughal et al. | Bone age assessment methods: a critical review | |
| Bentov et al. | Frailty assessment: from clinical to radiological tools | |
| US9918691B2 (en) | Device and method for determining image quality of a radiogram image | |
| KR102245189B1 (ko) | 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법 | |
| US20240225581A9 (en) | Medical image processing apparatus, medical image learning method, and medical image processing method | |
| Jouffroy et al. | Improved acetabular fracture diagnosis after training in a CT-based method | |
| Kats et al. | Atherosclerotic carotid plaques on panoramic imaging: an automatic detection using deep learning with small dataset | |
| RU2699727C2 (ru) | Способ ультразвуковой диагностики забрюшинного висцерального ожирения | |
| JP2023176825A (ja) | 動態画像解析装置及びプログラム | |
| Chhem et al. | Paleoradiology: history and new developments | |
| Majewski et al. | Ability assessment of the craniofacial structures radiological anatomy on panoramic radiography among dental student during pandemic of Covid-19. Ability assessment on OPG among dental student during pandemic of Covid-19 | |
| Hazell | Introduction to CT Image Interpretation | |
| Barszcz et al. | A review of methods of age estimation based on postmortem computed tomography | |
| Simonds et al. | A Comprehensive Review of Medical Imaging Equipment Used in Cadaveric Studies | |
| van Wijk et al. | Pediatric medicine—Postmortem imaging in suspected child abuse | |
| Lee et al. | Predoctoral education in cone beam computed tomography | |
| CN119027406A (zh) | 一种骨骼影像增强方法及系统 | |
| Maruyama et al. | CT image based training tool for positioning in radiography | |
| Re et al. | Postmortem Computed Tomography: From Acquisition | |
| Bassed et al. | Application of post‐mortem computed tomography to forensic odontology | |
| Lai | Monitoring of spine curvature progression of adolescent idiopathic scoliosis (AIS) patients using three-dimensional ultrasound | |
| Urmanova | ROENTGEN COMPUTED TOMOGRAPHY |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200909 |
|
| PG1501 | Laying open of application | ||
| PN2301 | Change of applicant |
Patent event date: 20221005 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20221103 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20200909 Comment text: Patent Application |
|
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20221116 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20200909 Patent event code: PA03021R01I Comment text: Patent Application |
|
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230130 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20230530 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20230130 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0701 | Decision of registration after re-examination |
Patent event date: 20230824 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20230712 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20230530 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20230330 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20230105 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230829 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230829 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |