KR102444274B1 - 관절염 심각도 정밀 분석 장치 및 방법 - Google Patents
관절염 심각도 정밀 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR102444274B1 KR102444274B1 KR1020200088316A KR20200088316A KR102444274B1 KR 102444274 B1 KR102444274 B1 KR 102444274B1 KR 1020200088316 A KR1020200088316 A KR 1020200088316A KR 20200088316 A KR20200088316 A KR 20200088316A KR 102444274 B1 KR102444274 B1 KR 102444274B1
- Authority
- KR
- South Korea
- Prior art keywords
- severity
- region
- arthritis
- analysis
- interest
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 183
- 206010003246 arthritis Diseases 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title description 15
- 201000008482 osteoarthritis Diseases 0.000 claims abstract description 61
- 210000005065 subchondral bone plate Anatomy 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000012351 Integrated analysis Methods 0.000 claims abstract description 34
- 239000000284 extract Substances 0.000 claims abstract description 18
- 208000034189 Sclerosis Diseases 0.000 claims abstract description 12
- 230000008468 bone growth Effects 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 210000000988 bone and bone Anatomy 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 9
- 230000035755 proliferation Effects 0.000 claims description 3
- 208000008558 Osteophyte Diseases 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000002917 arthritic effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 210000000845 cartilage Anatomy 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000281 joint capsule Anatomy 0.000 description 4
- 210000001188 articular cartilage Anatomy 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 206010007710 Cartilage injury Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000005786 degenerative changes Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000008407 joint function Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009528 severe injury Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4504—Bones
- A61B5/4509—Bone density determination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
- A61B5/7485—Automatic selection of region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 관절염 심각도 정밀 분석 장치는 사용자의 관절을 촬영한 의료 영상을 수집하는 영상 수집부, 학습된 영역 자동 검출 모델을 통해 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 영역 검출부, 검출된 관심 영역으로부터 정량화된 특징 값들을 추출하고, 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 개별 분석부, 그리고 개별 분석 데이터를 기초로 분석된 퇴행성 관절염의 심각도를 세밀하게 분류하는 통합 분석부를 포함한다.
Description
관절염 심각도 정밀 분석 장치 및 방법이 제공된다.
퇴행성 관절염이란 관절을 보호하고 있는 연골의 손상이나 퇴행성 변화로 인해 관절을 이루는 뼈와 인대 등에 손상이 생겨 염증과 통증이 발생하는 질환이다.
이러한 퇴행성 관절염은 관절 연골의 퇴행성 변화에 의해 발생되므로 초기에 정확한 진단을 통해 통증을 경감시켜 주고 관절의 기능을 유지시키며 변형을 방지하는 게 매우 중요하다. 변형이 이미 발생한 경우에는 수술적인 교정과 재활 치료를 수행해야 하기 때문에 환자에 경제적 비용 및 정신적인 악영향이 크다. 또한 퇴행성 관절염의 진행 정도에 따라 적절한 약물 요법 또는 인공 관절 치환술 등의 진료가 이뤄지므로 정확한 진단이 중요하다.
하지만, 일반적인 퇴행성 관절염에 대한 진단의 경우, 의료진의 경험 또는 숙련도에 의해 정확도가 좌우되는 경우가 많다.
퇴행성 관절염의 초기 진단 도구인 단순 방사선 영상의 판독을 각 의료진이 수행하기 때문에, 의료진마다 판독의 차이로 진단 및 이상 분류가 상이하게 적용되어 적시에 진료가 이뤄지지 않고, 부적합한 진료 및 건강 보험 손실이 발생할 수 있다.
이러한 주관적인 의료 영상의 판독을 개선하고자 최근에는 인공지능을 이용하여 방사선 영상을 판독하는 과정을 학습하여 추론하는 방법이 연구되고 있다.
하지만, 아직까지는 인공지능을 이용하여 진단하는 경우, 관절염의 이상 분류에 대한 명확한 근거를 제시하기 어렵고, 등급의 경계선에 있는 의료영상에 대해서는 학습하는 모델별 편차가 존재할 수 있다.
따라서, 관절염 심각도를 정량화하고 정밀하게 관절염의 이상 분류를 수행하여 자동으로 분류 평가하는 기술이 요구된다.
본 발명이 해결하고자 하는 과제는 인공지능 기반으로 영역별 특징을 분석하여 관절염 심각도를 판단한 근거를 확보하고, 정밀하게 관절염 심각도를 정량화하는 장치 및 방법을 제공하고자 한다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따른 관절염 심각도 정밀 분석 장치는, 사용자의 관절을 촬영한 의료 영상을 수집하는 영상 수집부, 학습된 영역 자동 검출 모델을 통해 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 영역 검출부, 검출된 관심 영역으로부터 정량화된 특징 값들을 추출하고, 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 개별 분석부, 그리고 개별 분석 데이터를 기초로 학습된 통합 분석 모델을 통해 퇴행성 관절염의 심각도를 세밀하게 분류하는 통합 분석부를 포함한다.
관절이 촬영된 학습 의료 영상들과 학습 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터를 기초로 학습 의료 영상으로부터 관심 영역들을 검출하고 검출된 관심 영역들에서 추출된 특징 값들과 결과 데이터와의 상관관계를 분석하는 개별 분석 모델을 학습시키는 학습부를 더 포함할 수 있다.
개별 분석 모델은, 관절강 영역을 검출한 관심 영역에 기초하여 관절강 감소를 추정하기 위한 정량적인 특징 값들을 추출하는 관절염 심각도 분석 모델, 골증식 가능 영역을 검출한 관심 영역에 기초하여 골증식의 유무 또는 증식된 골증식의 진행 정도에 대한 정량적인 특징 값들을 추출하는 골증식 심각도 분석 모델, 그리고 연골하골 영역을 검출한 관심 영역에 기초하여 연골하골의 경화 진행 정도에 대한 정량적인 특징 값들을 추출하는 연골하골의 경화 심각도 분석 모델을 포함할 수 있다.
개별 분석부는, 관절염 심각도 분석 모델을 통해 관심영역에서 관절강의 내측 수치 및 관절강의 외측 수치를 추정하여 내측 수치와 외측 수치의 평균에 의한 관절의 심각도의 정량적인 수치를 추출하며, 관절강의 내측 수치와 외측 수치간의 불균형 비율을 산출할 수 있다.
개별 분석부는, 골증식 심각도 분석 모델을 통해 관심영역에서 골증식을 나타내는 골극 또는 뼈돌기를 검출하고, 미리 설정된 골증식의 등급 중에서 해당되는 골증식 등급을 추출하고, 연골하골의 경화 심각도 분석 모델을 통해 관심 영역에서 연골하골의 경화 정도를 검출하고 미리 설정된 연고하골의 경화 심각도 등급 중에서 해당되는 경화 심각도 등급을 추출할 수 있다.
학습부는, 학습 데이터를 기초로 개별 분석 모델로부터 획득한 개별 분석 데이터들을 각각 하나의 벡터로 변환하고, 변환된 벡터들을 이용하여 벡터들간의 상관관계를 분석하는 통합 분석 모델을 학습시키고, 통합 분석 모델은 개별 분석 테이터에 기초하여 퇴행성 관절염의 진행 정도에 대한 심각도를 세밀하게 분류하는 퇴행성 관절염 심각도 분석 모델과 개별 분석 데이터와 상기 퇴행성 관절염의 심각도에 기초하여 퇴행성 관절염의 진행 과정을 예측하는 퇴행성 관절염 진행 예측 모델을 포함할 수 있다.
통합 분석부는, 퇴행성 관절염 심각도 분석 모델을 통해 개별 분석 데이터들을 통합하여 의료 영상에서 퇴행성 관절염의 심각도를 세밀하게 분석하고, 퇴행성 관절염 진행 예측 모델을 통해 이후의 퇴행성 관절염의 진행 과정을 예측할 수 있다.
개별 분석부에서 도출된 하나 이상의 개별 분석 데이터에 해당하는 특징값들과 통합 분석부에서 도출된 퇴행성 관절염의 심각도에 대한 특징값들 중에서 적어도 하나 이상의 특징 값들을 출력하는 제어부를 더 포함할 수 있다.
본 발명의 하나의 실시예에 따른 컴퓨터로 판독가능한 저장매체에 저장되고, 프로세서에 의해 실행되는 프로그램으로서, 수집된 의료 영상에 기초하여 학습된 영역 자동 검출 모델을 통해 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 단계, 검출된 관심 영역으로부터 정량화된 특징 값들을 추출하고, 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 단계, 개별 분석 데이터를 기초로 분석된 퇴행성 관절염의 심각도를 세밀하게 분류하는 단계 그리고 분류된 퇴행성 관절염의 심각도와 함께, 개별 분석 데이터들을 연동되는 단말에 출력하는 단계를 실행하는 명령어들을 포함한다.
본 발명의 하나의 실시예에 따르면 의료 영상으로부터 검출된 관심 영역에서 인공지능 모델을 통해 개별 분석 데이터를 획득함으로써, 세부 의료 전문 영역 단계로 정량화된 주요 특징 값들을 확보할 수 있다.
본 발명의 하나의 실시예에 따르면, 개별 분석 데이터들의 각 특징값들을 기초로 관절염 심각도를 정밀하게 분류 평가할 수 있다.
또한 본 발명의 하나의 실시예에 따르면 관절염 심각도의 분류함에 있어 의학적 근거가 되는 개별 분석 데이터를 제공함으로써, 분류된 관절염 심각도의 결과 데이터의 신뢰성을 확보할 수 있다.
도 1은 관절의 구조 및 관절염 진행 상태를 나타낸 예시도이다.
도 2는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 장치를 나타낸 구조도이다.
도 3은 본 발명의 실시예에 따른 인공지능 알고리즘을 나타낸 개략적인 개념도이다.
도 4는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 의료 영상에 기초하여 분석 영상을 나타낸 예시도이다.
도 6는 본 발명의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.
도 2는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 장치를 나타낸 구조도이다.
도 3은 본 발명의 실시예에 따른 인공지능 알고리즘을 나타낸 개략적인 개념도이다.
도 4는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 의료 영상에 기초하여 분석 영상을 나타낸 예시도이다.
도 6는 본 발명의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 관절의 구조 및 관절염 진행 상태를 나타낸 예시도이다.
도 1의 (a)에서와 같이, 관절은 두 개의 서로 마주보는 뼈의 연결 부분으로 뼈가 움직일 수 있는 구조로 결합되어 있다.
두 개의 뼈가 움직일 수 있도록 각 뼈에는 관절연골이 있으며, 관절 연골을 감싸는 영역에는 관절낭이 있다. 관절낭 내측에는 관절강이 있으며, 관절낭과 뼈 사이에는 연골하골이 있다. 관절강은 관절을 이루는 두 뼈 사이의 틈새로서 관절포(관절 주머니)로 둘러싸인 공간(내강)을 의미하며, 연골하골은 연골 바로 밑에 있는 뼈 부분을 의미한다.
도 1의 (b)는 관절염의 심각도에 따라 1 단계 내지 4 단계로 도시하였다.
1단계에서는 연골이 일부 감소되어 관절 간격이 좁아졌으며, 관절 질환이 시작되는 상태를 나타내고, 2단계에서는 좁은 관절 간격과 연골의 손상되었으며, 연골하골의 경화가 시작되는 상태를 나타낸다. 다음 3단계에서는 2단계보다 관절 간격이 좁아지고 연골의 손상으로 틈이 확장되었으며, 연골하골의 경화가 진행되는 상태를 나타내고, 4단계에서는 연골이 절반 이하로 감소하고 연골하골의 경화가 심화되었으며 연골 손상이 심화된 상태를 나타낸다.
도 1의 (b)에서와 같이, 관절을 이루고 있는 다수의 영역에서 동시에 관절염이 진행되기 때문에 각 영역의 진행 정도와 전체적인 관절의 상태 등을 종합적으로 분석하여 관절염 심각도를 획득하고 그에 따른 치료 방법을 선택해야 한다.
도 2는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 장치를 나타낸 구조도이고, 도 3은 본 발명의 실시예에 따른 인공지능 알고리즘을 나타낸 개략적인 개념도이다.
도 2에 도시한 바와 같이, 관절염 심각도 정밀 분석 장치(100)는 의료 영상을 수집하여 의료 영상에서 개별 분석 또는 통합 분석을 수행하여 획득한 분석 결과를 제공한다.
관절염 심각도 정밀 분석 장치(100)는 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)를 포함한다.
설명을 위해, 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)는 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)는 통신 인터페이스를 통해 서로 통신할 수 있다. 컴퓨팅 장치는 본 발명을 수행하도록 작성된 소프트웨어 프로그램을 실행할 수 있는 장치이면 충분하다.
수집부(110)는 연동된 의료 영상 촬영 장비로부터 실시간으로 촬영된 의료 영상을 수집하거나 연동된 데이터베이스로부터 이전 시점에 촬영한 의료 영상을 수집한다. 이때, 의료 영상은 관절 영역을 촬영한 x-ray (X선영상 기술, radiography)을 의미하지만, 반드시 이에 한정하는 것은 아니며, CT(전산화 단층 촬영 기술, Computed Tomography), PET(양전자 방출 단층 촬영기술, Positron Emission Tomography), Ultrasound(초음파영상 진단 기술), MRI(자기공명영상 진단 기술, Magnetic Resonance Imaging)등 중에서 하나의 의료 영상을 나타낼 수 있다.
또한, 수집부(110)는 다수의 영상 판독 전문의에 의해 판독된 의료 영상과, 해당 의료 영상에 대한 판독 결과를 학습데이터로 수집할 수 있다. 여기서, 학습 데이터는 각 의료 영상마다 판독 결과를 라벨링될 수 있다.
그리고 수집부(110)는 수집한 의료 영상에 대해 인공지능 모델에 입력할 수 있도록 인공지능 모델의 입력 형식에 기초하여 의료영상을 전처리할 수 있다. 의료영상의 전처리는 인공지능 학습과 분석 효과를 증대시키기 위한 단계이며, 영상 화질 개선 및 균일화 등의 프로세스를 포함한다. 예를 들어, 화질 개선 방법으로는 CLAHE (Contrast Limited Adaptive Histogram Equalization), 히스토그램 균일화 등을 적용하여 영상 분석의 정확성을 향상할 수 있다.
학습부(120)는 수집된 학습 데이터를 이용하여 입력 영상에 대응하여 관심 영역을 검출하거나 분석한 데이터를 도출하도록 인공지능 모델을 학습시킨다. 여기서, 인공지능 모델은 컨볼루션 신경망(convolutional neural network)이 주로 사용되지만, 이에 한정하는 것은 아니고 머신러닝(machine learning), 딥러닝(Deep learning), 지도학습, 비지도 학습 등을 포함할 수 있다.
학습부(120)는 검출 모델, 하나 이상의 개별 분석 모델, 그리고 통합 분석 모델 등을 학습시킨다.
학습부에서 사용하는 모델은, 하나 이상의 계층으로 구성된 심층 신경망으로, 관심 영역의 특징들에 대한 특징 지도(feature map)을 만들어내는 다수의 컨볼루션 계층(convolution layer)과 다수의 컨볼루션 계층 사이에 서브 샘플링을 수행하는 통합 계층(pooling layer)을 포함하는 컨볼루션 신경망(convolutional Neural Network, CNN)일 수 있다. 컨볼루션 신경망은 입력 영상에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 분석결과값을 추출할 수 있다.
상세하게는 검출 학습의 경우, 영상 내에 자동 검출하고자 하는 영역들에 대한 표시가 되어 있는 학습데이터를 구축하고, 이들 학습데이터를, 특정한 영역 검출에 최적화하여 개발한 인공지능 검출용 모델에 대해 훈련을 수행하여 학습이 완료된 검출 모델을 생성한다.
그리고 분석 학습은, 분석 대상 영상 및 영상 내 영역들에 대해, 분류 기준을 적용한 학습 데이터를 구축하고, 이들 학습데이터로, 특정 목적의 분류를 자동화하기 위해 개발한 인공지능 분석용 모델을 훈련시켜, 학습이 완료된 분석 모델을 생성한다.
검출 모델, 하나 이상의 개별 분석 모델, 그리고 통합 분석 모델을 인공지능 모델로, 각각의 독립적인 인공지능 모델일 수 있고, 또는 서로 연계되는 하나의 인공지능 모델로 구현될 수 있다. 이에 따라, 상술한 구성들에 대응하는 하나 또는 복수의 인공지능 모델은 하나 또는 복수의 컴퓨팅 장치에 의해 구현될 수 있다.
도 3에 도시한 바와 같이, 인공지능 모델은 수집한 의료 영상에 대응하여 관심 영역을 검출하는 영역 자동 검출 모델(A)과 영역 자동 검출 모델(A)로부터 검출된 하나 이상의 관심 영역을 개별적으로 분석하는 개별 분석 모델(B) 그리고 개별 분석 모델(B)로부터 분석된 결과를 통합하여 분석된 관절염 심각도를 검출하는 통합 분석 모델(C)을 포함한다.
이처럼, 영역 자동 검출 모델(A)로부터 획득한 결과 값을 개별 분석 모델(B)의 입력 값으로 이용되고, 개별 분석 모델(B)로부터 획득한 결과 값을 통합 분석 모델(C)의 입력값으로 이용될 수 있다.
상세하게는, 영역 자동 검출 모델(A)은 수집된 의료 영상에서 관절염 심각도에 대한 판단 근거가 되는 관심 영역들을 검출하는 모델로, 영역 자동 검출 모델을 나타낸다. 예를 들어, 영역 자동 검출 모델(A)은 하나의 의료 영상으로부터 관절강 간격의 감소의 판단 근거가 되는 관절 영역, 골증식(골극, 뼈돌기)의 유무 또는 골증식의 진행 정도의 판단 근거가 되는 골증식 발생 가능 영역, 그리고 연골하골의 경화 정보의 판단 근거가 되는 연골하골 경화 다빈도 영역 등에 대해 개별 영역들을 검출할 수 있다.
영역 자동 검출 모델(A)은 각 관심 영역마다 검출하는 독립적인 인공지능 모델로 구현되거나 하나의 인공지능 모델로 구현되어 하나의 의료 영상에 대해 관심영역을 검출하는 복수개의 인공 지능 모델로 구현될 수 있다.
이때, 영역 자동 검출 모델(A)은 개별 분석 모델(B)에서 분석하고자 하는 영역에 대응하여 관심 영역이 검출되도록 연동될 수 있다. 이에 개별 분석 모델이 추가 및 변경되는 경우에 자동으로 검출 모델의 입력 영상이 되는 관심 영역의 영상을 검출하는 기능을 포함하거나 해당 관심 영역을 검출하는 인공지능 모델이 추가될 수 있다.
개별 분석 모델(B)은 관절염 심각도 분석 모델(B-1), 골증식 심각도 분석 모델(B-2) 그리고 연골하골 경화 심각도 분석 모델(B-n)등을 포함한다.
관절염 심각도 분석 모델(B-1)은 관절 영역을 분석하여 관절염과 관련된 특징들을 자동으로 검출할 수 있다. 예를 들어, 관절강 감소에 대한 절대적 수치 또는 상대적 수치를 이용하여 관절강의 감소와 관련된 특징들을 검출한다.
골증식 심각도 분석 모델(B-2)은 미리 설정된 골증식의 등급 분류에 기초하여 해당 골증식 발생 가능 영역에서 추출된 특징들이 어느 등급에 해당하는 지에 대한 분석을 수행한다. 이에 해당되는 골증식의 등급을 검출할 수 있다.
연골하골 경화 심각도 분석 모델(B-n)은 연골하골 경화 다빈도 영역에서 연골하골 부위가 경화되는 정도를 검출하여 미리 설정된 연골하골의 경화 심각도 등급 분류에 기초하여 해당되는 등급을 검출할 수 있다.
그리고 통합 분석 모델(C)은 퇴행성 관절염 심각도 분석 모델(C-1)과 퇴행성 관절염 진행 예측 모델(C-2)등을 포함한다.
퇴행성 관절염 심각도 분석 모델(C-1)은 관절염 심각도 분석 모델(B-1), 골증식 심각도 분석 모델(B-2) 그리고 연골하골 경화 심각도 분석 모델(B-n)등에서 분석된 결과 데이터들을 종합하여 수집된 의료 영상으로부터 퇴행성 관절염의 심각도를 세밀하게 분류한 데이터를 산출할 수 있다.
퇴행성 관절염 진행 예측 모델(C-2)은 학습데이터를 통해 개별 분석 모델(B)에서 검출된 특징 값들을 그룹화하고 계층화하여 단계별로 학습하여, 관절염 심각도뿐 아니라 향후 관절염 진행 예측을 도출할 수 있다.
이처럼, 학습부(120)는 각각의 인공 지능 모델에 학습 데이터를 기초하여 반복적으로 학습하며, 일정 기간 또는 특정 기준에 기초하여 각 인공 지능 모델들에 대해 주기적으로 재학습시킬 수 있다.
검출부(130)는 학습된 영역 자동 검출 모델(A)을 통해 하나 이상의 관심 영역을 검출한다. 여기서, 관심 영역은 수집된 의료 영상에서 특정된 관심 영역만 검출된 영상을 의미한다.
검출부(130)는 각각 대응되는 개별 분석 모델(B)의 입력 형식에 기초하여 추출된 관심 영역을 전처리 작업을 수행할 수 있다. 다시 말해, 개별 분석 모델(B)의 입력 형식에 따라 관심 영역에 해당하는 영상의 크기, 해상도 등을 변경할 수 있다.
그리고 개별 분석부(140)는 각 관심 영역을 분석하여 관절염 심각도, 골증식 심각도 그리고 연골하골의 경화 심각도와 관련이 있는 특징들을 추출한다. 이때, 개별 분석부(140)는 학습된 개별 분석 모델(B)을 이용하여 정량적인 분석 데이터들을 획득할 수 있다.
상세하게는 개별 분석부(140)는 학습된 관절염 심각도 분석 모델을 통해 관심 영역에서 특징을 자동으로 추출한다.
이때, 추출되는 특징으로는 관절강 감소, 관절강 감소의 내측과 외측의 불균형 정도를 포함하며, 이외에도 관절염을 진단함에 있어 특징들을 포함한다.
일반적으로 관절염의 진행 정도가 심화됨에 따라 연골의 손상이 오고 관절강의 감소가 발생한다. 그리고 퇴행서 관절염의 경우에는 내측 또는 외측을 중심으로 관절강의 감소가 불균형하게 일어나는 특징이 있다.
이에 따라 개별 분석부(140)는 학습된 관절염 심각도 분석 모델을 통해 관절 영역에서 관절강에 대한 정량적인 특징들을 추출한다.
예를 들어, 개별 분석부(140)는 관절 영역에서 관절강의 길이를 절대적인 수치(mm 등)로 도출하거나 상대적인 수치로 도출할 수 있다.
개별 분석부(140)는 관절강의 수치(JS)를 도출함에 있어, 관절의 내측(medial)에 대한 관절강 내측 최소값 (JSmin M), 관절강 내측 평균값 (JSavg M) 등을 추출하고, 관절의 외측(Laeral)에 대한 관절강 내측 최소값 (JSmin L), 관절강 내측 평균값 (JSavg L) 등을 추출할 수 있다.
또는 개별 분석부(140)는 관절 영역에서 정면 기준 수평축의 폭을 기준으로 관절강 간격을 상대적인 수치로 도출할 수 있다.
예를 들어 개별 분석부(140)는 RJS(관절강의 간격) = JS(관절강 수치)/ W(무릎 관절의 폭)을 통해 관절강의 간격을 산출함으로써, 관심 영역의 크기, 영상의 크기 등과 상관없이 관절강의 감소를 객관적으로 정량화된 수치로 산출할 수 있다.
그리고 개별 분석부(140)는 외측과 내측의 관절강의 수치 중에서 최소값(Min{ RJSavg L , RJSavg M})을 이용하여 관절염의 심각도를 산출할 수 있다.
이처럼 관절의 영역에서 관절강의 간격이 최소가 되는 지점을 기준으로 관절염의 심각도를 산출할 수 있으나, 반드시 이에 한정하는 것은 아니고, 사용자에 의해 외측과 내측의 관절강의 수치의 평균값으로 기준을 설정할 수 있으며 이러한 기준은 추후에 변경 및 설계 가능하다.
그리고 개별 분석부(140)는 퇴행성 관절의 특징에 기초하여 관절강의 내측 또는 외측의 감소의 차이에 기초하여 불균형 정도를 추출할 수 있다.
다음 수학식과 같이, 관절강의 내측과 외측의 불균형 정도를 산출한다.
[수학식 1]
RatioRJS = 
이와 같이, 개별 분석부(140)는 무릎관절영역의 관절염 심각도에 따른 영상적 특징, 관절강 감소에 대한 정량적 특징, 관절강 감소의 내측(medial)과 외측(lateral) 간의 불균형 정도 특징 등을 도출한다.
한편, 개별 분석부(140)는 학습된 골증식 심각도 분석 모델을 통해 골증식 발생 가능 영역에서 골증식의 특징을 자동으로 추출한다.
개별 분석부(140)는 골증식의 유무를 판별하고, 골증식의 정도를 추정한다. 그리고 개별 분석부(140)는 추정된 골증식의 정도가 미리 구축된 골증식의 등급분류에 기초하여 어느 등급에 해당되는 지 도출할 수 있다.
여기서 골증식의 등급 분류는 추후에 등급의 종류, 등급별 골증식의 심각도 등의 변경에 의해 수정될 수 있으며, 수정된 골증식의 등급 분류를 이용하여 골증식 심각도 분석 모델은 재학습될 수 있다.
또한, 개별 분석부(140)는 학습된 연골하골 경화 심각도 분석 모델을 통해 연골하골 경화 다빈도 영역에서 연골하골 경화 특징을 자동으로 추출한다.
개별 분석부(140)는 연골하골 경화의 유무를 판별하고, 연골하골 경화 진행 정도를 추정한다. 그리고 개별 분석부(140)는 추정된 연골하골 경화 진행 정도가 미리 구축된 연골하골의 경화 심각도 등급에 기초하여 어느 등급에 해당되는 지 도출할 수 있다.
여기서 연골하골의 경화 심각도 등급은 추후에 등급의 종류, 등급별 연골하골 경화 심각도 등의 변경에 의해 수정될 수 있으며, 수정된 연골하골의 경화 심각도 등급을 이용하여 연골하골 경화 심각도 분석 모델은 재학습될 수 있다.
이처럼 개별 분석부(140)는 각 관심 영역마다 관절염의 심각도를 추정할 수 있는 다양한 조건들이 되는 특징들을 정량적으로 추출한다.
개별 분석부(140)에서 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도에 대해서 추출하는 것으로 설명하고 있지만, 이에 한정하는 것은 아니며, 관절염을 진단하는 특징들에 대해서 학습된 인공지능 모델을 통해 추출할 수 있다.
통합 분석부(150)는 개별 분석부(140)에서 분석한 결과들을 통합하여 의료 영상에서의 관절염 심각도를 분석한다.
통합 분석부(150)는 개별 영역에 대해 추출된 특징들을 취합하여 학습된 퇴행성 관절염 심각도 분석 모델을 통해 각 특징들로부터 도출되는 퇴행성 관절염의 심각도를 세밀하게 분류할 수 있다.
상세하게는 통합 분석부(150)에서는 개별 분석부(140)에서 추출된 특징들을 각각의 벡터로 변환하고, 변환된 벡터들을 학습된 퇴행성 관절염 심각도 분석 모델에 입력하여 퇴행성 관절염의 심각도를 도출할 수 있다.
또한, 통합 분석부(150)는 학습된 퇴행성 관절염 진행 예측 모델을 이용하여 향후 관절염 진행 과정을 예측할 수 있다. 이때, 통합 분석부(150)는 이전 시점에서의 의료 영상으로부터 도출된 퇴행성 관절염의 심각도, 환자의 나이, 성별, 특이 사항 등과 같은 정보를 더 입력받으면, 환자마다의 관절염 진행 예측을 정확하게 할 수 있다.
그리고 제어부(160)는 의료 영상에 대해 개별 분석부(140) 또는 통합 분석부(150)에서 추출된 특징 값들, 추정된 심각도 등급, 정량화된 수치 값등을 출력할 수 있다.
이때, 제어부(160)는 추출된 특징 값들, 추정된 심각도 등급, 정량화된 수치 값등을 표 또는 그래프로 변환하여 출력할 수 있다.
이처럼 관절염 심각도 정밀 분석 장치(100)는 의료 영상을 정밀 분석하여 도출된 관절염의 심각도에 대해서 각 영역별 정량화된 판단 근거 자료를 함께 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 방법을 나타낸 순서도이고, 도 5는 본 발명의 실시예에 따른 의료 영상에 기초하여 분석 영상을 나타낸 예시도이다.
도 4와 도 5에 도시한 바와 같이, 관절염 심각도 정밀 분석 장치(100)는 복수개의 의료 영상과 해당 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터 수집한다(S110).
관절염 심각도 정밀 분석 장치(100)는 이전 시점에 촬영된 의료 영상들과 전문가에 의해 판독된 데이터들이 저장된 데이터베이스를 통해 학습 데이터를 수집하거나, 임의의 시뮬레이션 프로그램을 통해서 일정한 기준에 따라 생성된 의료 영상을 학습 데이터로 구축할 수 있다.
예를 들어, 시뮬레이션 프로그램을 이용하는 경우 관절염 심각도 등급에 따른 KL 등급 분류 기준, 골증식의 등급 분류 기준, 연골하골의 경화 심각도 등급 분류 기준 등 다양한 기준 값들에 기초하여 특징 값들을 설정하고, 해당 특징 값들에 의한 의료 영상을 생성하여 학습 데이터를 구축할 수 있다.
다음으로 관절염 심각도 정밀 분석 장치(100)는 수집된 학습 데이터에 기초하여 복수 개의 인공지능 모델을 학습시킨다(S120).
관절염 심각도 정밀 분석 장치(100)는 의료 영상에서 관심 영역들을 검출하는 영역 자동 검출 모델, 하나 이상의 관심 영역에 기초하여 관절강 감소, 관절강 불균형 정도, 관절염 심각도, 골증식 심각도, 그리고 연골하골 경화 심각도를 검출하는 개별 분석 모델, 그리고 퇴행성 관절염의 심각도, 퇴행성 관절염의 진행을 예측하는 통합 분석 모델들을 학습시킬 수 있다.
여기서, 개별 분석 모델과 통합 분석 모델은 검출되는 특징 값에 기초하여 각 대응되는 다수개의 인공지능 모델로 구현될 수 있다.
그리고 영역 자동 검출 모델로부터 획득한 복수 개의 관심 영역들은 개별 분석 모델의 입력값으로 이용되며, 개별 분석 모델로부터 획득한 각 영역별 특징값들은 통합 분석 모델의 입력값으로 이용된다.
이때, 개별 분석 모델에서 각 영역별 특징값을 도출함에 있어서, 하나의 관심 영역을 입력값으로 하거나 복수 개의 관심영역을 입력값으로 설정할 수 있다.
관절염 심각도 정밀 분석 장치(100)는 입력된 학습 데이터에서 최종 획득된 영역별 특징값들, 퇴행성 관절염 심각도, 퇴행성 관절염 진행 예측 등이 입력된 학습데이터의 판독된 데이터와 일치할 때까지 각각의 인공지능 모델을 반복적으로 학습시킨다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습이 완료된 인공지능 모델의 가중치 값들을 설정하여 인공지능 모델을 구축한다.
한편, S110 단계와 S120 단계는 초기 인공지능 모델을 구축하는 과정에서만 수행하며, 별도의 장치에서 수행할 수 있다.
다음으로 관절염 심각도 정밀 분석 장치(100)는 의료 영상을 수집한다(S130).
관절염 심각도 정밀 분석 장치(100)는 실시간으로 의료 영상 촬영 기기에 연동되어 촬영된 의료 영상을 수집하거나 연동되는 데이터베이스에서 의료 영상을 수집할 수 있다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습된 영역 자동 검출 모델을 이용하여 의료 영상에서 복수개의 관심영역을 검출한다(S140).
관절염 심각도 정밀 분석 장치(100)는 학습된 개별 분석 모델에 기초하여 복수개의 관심 영역을 검출할 수 있으며, 각 관심 영역들이 검출되면, 검출된 관심 영역의 순서에 따라 대응되는 개별 분석 모델에 입력하거나 동시에 개별 분석 모델에 입력할 수 있다.
다시 말해 S150 단계 내지 S170단계는 일정한 순서에 따라 순차적으로 수행하거나 동시에 수행 가능하다.
관절염 심각도 정밀 분석 장치(100)는 학습된 인공지능 모델을 통해 관절 영역에서 관절염 분석 데이터 획득한다(S150).
관절염 심각도 정밀 분석 장치(100)는 관절 영역에서 관절염 심각도, 관절강 감소에 대한 정량적 특징 값, 관절강 감소의 불균형 정도 등을 나타내는 관절염 분석 데이터를 획득한다. 이때, 획득되는 관절염 분석 데이터들은 각각 정량화된 수치를 포함한다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습된 인공지능 모델을 통해 골증식 발생 가능 영역에서 골증식 분석 데이터 획득한다(S160).
관절염 심각도 정밀 분석 장치(100)는 골증식 유무와 골증식 정도를 나타내는 특징값, 골증식의 등급 등을 나타내는 골증식 분석 데이터를 획득한다.
관절염 심각도 정밀 분석 장치(100)는 학습된 인공지능 모델을 통해 연골하골 경화 다빈도 영역에서 연골하골 경화 분석 데이터 획득한다(S170).
관절염 심각도 정밀 분석 장치(100)는 연골하골 경화 정도를 나타내는 특징값, 연골하골 경화 심각도 등급 등을 나타내는 연골하골 경화 분석 데이터를 획득한다.
관절염 심각도 정밀 분석 장치(100)는 S150 단계 내지 S170단계에서 획득한 분석 데이터들을 별도의 데이터베이스에 저장할 수 있으며, 이러한 분석 데이터들을 디스플레이부 또는 연동되는 단말로 출력할 수 있다.
다음으로 관절염 심각도 정밀 분석 장치(100)는 관절염 분석 데이터, 골증식 분석 데이터 그리고 연골하골 경화 분석 데이터를 기초로 퇴행성 관절염 심각도를 도출한다(S180).
관절염 심각도 정밀 분석 장치(100)는 각 분석 데이터들을 각각의 벡터로 변환하여 인공지능 모델(퇴행성 관절염 심각도 검출 모델, 퇴행성 관절염 진행 예측 모델)의 입력값으로 적용할 수 있다. 이때, 관절염 심각도 정밀 분석 장치(100)는 각 분석 데이터들의 수치와 해당 수치가 의미하는 항목에 대한 코드를 결합하여 벡터화할 수 있다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습된 퇴행성 관절염 심각도 분석 모델을 통해 분석 데이터들의 각각의 특징과 분석 데이터들의 관계성을 분석하여 퇴행성 관절염의 심각도를 세밀하게 분류할 수 있다.
또한, 관절염 심각도 정밀 분석 장치(100)는 학습된 퇴행성 관절염 진행 예측 모델을 통해 분석 데이터들의 각각의 특징과 분석 데이터들의 관계성 그리고 세밀하게 분류된 퇴행성 관절염의 심각도에 기초하여 향후 관절염 진행 예측할 수 있다.
관절염 심각도 정밀 분석 장치(100)는 이와 같이 획득한 분석하여 퇴행성 관절염의 심각도와 향후 관절염 진행 예측 데이터를 별도의 데이터베이스에 저장할 수 있으며, 표 또는 그래프로 변환하여 디스플레이부 또는 연동되는 단말로 출력할 수 있다.
도 6은 본 발명의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.
도 6에 도시한 바와 같이, 컴퓨팅 장치(200)의 하드웨어는 적어도 하나의 프로세서(210), 메모리(220), 스토리지(230), 통신 인터페이스(240)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(200)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(210)는 컴퓨팅 장치(200)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(210)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(520)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(210)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(220)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(230)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(240)는 유/무선 통신 모듈일 수 있다.
이와 같이, 의료 영상에서 주요 관심영역을 통해 각 관심 영역마다 분석되는 개별 분석 데이터를 기초로 관절염 심각도를 산출함으로써, 보다 정밀하게 관절염 심각도를 분류할 수 있다.
그리고 관절염 심각도의 분류함에 있어 의학적 근거가 되는 개별 분석 데이터를 제공함으로써, 분류된 관절염 심각도의 결과 데이터의 신뢰성을 확보할 수 있다.
그리고 인공지능 모델을 통해 추출된 특징 값들에 기초하여 관절염의 심각도뿐 아니라 향후 관절염 진행 예측 데이터를 제공할 수 있다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
Claims (12)
- 사용자의 관절을 촬영한 의료 영상을 수집하는 영상 수집부,
학습된 영역 자동 검출 모델을 통해 상기 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 영역 검출부,
검출된 상기 관심 영역으로부터 정량화된 특징 값들을 추출하고, 상기 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 개별 분석부, 그리고
상기 개별 분석 데이터를 기초로 학습된 통합 분석 모델을 통해 퇴행성 관절염의 심각도를 분류하는 통합 분석부를 포함하며,
상기 관심 영역은,
관절강 영역, 골증식 가능 영역, 연골하골 영역 중에서 하나 이상을 포함하고,
상기 특징 값들은
상기 관절강 영역에서 추출된 관절강 감소 추정을 위한 제1 종류의 정량값들, 상기 골증식 가능 영역에서 추출된 골증식의 유무 또는 증식된 골증식의 진행 정도 추정을 위한 제2 종류의 정량값들, 그리고 상기 연골하골 영역에서 추출된 연골하골의 경화 진행 정도 추정을 위한 제3 종류의 정량값들 중에서 한 종류 이상의 정량값들을 포함하는, 관절염 심각도 정밀 분석 장치.
- 제1항에서,
관절이 촬영된 학습 의료 영상들과 상기 학습 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터를 기초로 상기 학습 의료 영상으로부터 관심 영역들을 검출하고 검출된 관심 영역들에서 추출된 특징 값들과 상기 결과 데이터와의 상관관계를 분석하는 개별 분석 모델을 학습시키는 학습부를
더 포함하는 관절염 심각도 정밀 분석 장치.
- 사용자의 관절을 촬영한 의료 영상을 수집하는 영상 수집부,
학습된 영역 자동 검출 모델을 통해 상기 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 영역 검출부,
개별 분석 모델을 통해, 상기 관심 영역으로부터 정량화된 특징 값들을 추출하고, 상기 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 개별 분석부, 그리고
상기 개별 분석 데이터를 기초로 학습된 통합 분석 모델을 통해 퇴행성 관절염의 심각도를 분류하는 통합 분석부를 포함하며,
상기 관심 영역은,
관절강 영역, 골증식 가능 영역, 연골하골 영역 중에서 하나 이상을 포함하고,
상기 개별 분석 모델은,
상기 관심 영역에 포함된 상기 관절강 영역에 기초하여 관절강 감소를 추정하기 위한 정량적인 특징 값들을 추출하는 관절염 심각도 분석 모델,
상기 관심 영역에 포함된 상기 골증식 가능 영역에 기초하여 골증식의 유무 또는 증식된 골증식의 진행 정도에 대한 정량적인 특징 값들을 추출하는 골증식 심각도 분석 모델, 그리고
상기 관심 영역에 포함된 상기 연골하골 영역에 기초하여 연골하골의 경화 진행 정도에 대한 정량적인 특징 값들을 추출하는 연골하골의 경화 심각도 분석 모델을 포함하는 관절염 심각도 정밀 분석 장치.
- 제3항에서,
상기 개별 분석부는,
상기 관절염 심각도 분석 모델을 통해 관심영역에서 관절강의 내측 수치 및 관절강의 외측 수치를 추정하여 내측 수치와 외측 수치의 평균에 의한 관절의 심각도의 정량적인 수치를 추출하며,
상기 관절강의 내측 수치와 외측 수치간의 불균형 비율을 산출하는 관절염 심각도 정밀 분석 장치.
- 제3항에서,
상기 개별 분석부는,
상기 골증식 심각도 분석 모델을 통해 관심영역에서 골증식을 나타내는 골극 또는 뼈돌기를 검출하고, 미리 설정된 골증식의 등급 중에서 해당되는 골증식 등급을 추출하고,
상기 연골하골의 경화 심각도 분석 모델을 통해 관심 영역에서 연골하골의 경화 정도를 검출하고 미리 설정된 연고하골의 경화 심각도 등급 중에서 해당되는 경화 심각도 등급을 추출하는 관절염 심각도 정밀 분석 장치.
- 제3항에서,
학습 데이터를 기초로 상기 개별 분석 모델로부터 획득한 개별 분석 데이터들을 각각 하나의 벡터로 변환하고, 변환된 벡터들을 이용하여 상기 벡터들간의 상관관계를 분석하는 상기 통합 분석 모델을 학습시키는 학습부를 더 포함하고,
상기 통합 분석 모델은
상기 개별 분석 데이터에 기초하여 퇴행성 관절염의 진행 정도에 대한 심각도를 분류하는 퇴행성 관절염 심각도 분석 모델과
상기 개별 분석 데이터와 상기 퇴행성 관절염의 심각도에 기초하여 퇴행성 관절염의 진행 과정을 예측하는 퇴행성 관절염 진행 예측 모델을 포함하는 관절염 심각도 정밀 분석 장치.
- 제6항에서,
상기 통합 분석부는,
상기 퇴행성 관절염 심각도 분석 모델을 통해 상기 개별 분석 데이터들을 통합하여 상기 의료 영상에서 퇴행성 관절염의 심각도를 분석하고,
상기 퇴행성 관절염 진행 예측 모델을 통해 이후의 퇴행성 관절염의 진행 과정을 예측하는 관절염 심각도 정밀 분석 장치.
- 제7항에서,
상기 개별 분석부에서 도출된 하나 이상의 개별 분석 데이터에 해당하는 특징값들과 상기 통합 분석부에서 도출된 퇴행성 관절염의 심각도에 대한 특징값들 중에서 적어도 하나 이상의 특징 값들을 출력하는 제어부를 더 포함하는 관절염 심각도 정밀 분석 장치.
- 컴퓨터로 판독가능한 저장매체에 저장되고, 프로세서에 의해 실행되는 프로그램으로서,
수집된 의료 영상에 기초하여 학습된 영역 자동 검출 모델을 통해 상기 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 단계,
검출된 상기 관심 영역으로부터 정량화된 특징 값들을 추출하고, 상기 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 단계,
상기 개별 분석 데이터를 기초로 분석된 퇴행성 관절염의 심각도를 분류하는 단계 그리고
분류된 상기 퇴행성 관절염의 심각도와 함께, 상기 개별 분석 데이터들을 연동되는 단말에 출력하는 단계를 실행하는 명령어들을 포함하며,
상기 관심 영역은,
관절강 영역, 골증식 가능 영역, 연골하골 영역 중에서 하나 이상을 포함하고,
상기 특징 값들은
상기 관절강 영역에서 추출된 관절강 감소 추정을 위한 제1 종류의 정량값들, 상기 골증식 가능 영역에서 추출된 골증식의 유무 또는 증식된 골증식의 진행 정도 추정을 위한 제2 종류의 정량값들, 그리고 상기 연골하골 영역에서 추출된 연골하골의 경화 진행 정도 추정을 위한 제3 종류의 정량값들 중에서 한 종류 이상의 정량값들을 포함하는, 프로그램.
- 제9항에서,
복수의 학습 의료 영상과 상기 학습 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터를 기초로 학습 의료 영상에서 결과 데이터를 추정할 수 있는 관심 영역을 검출하는 영역 자동 검출 모델을 학습시키는 단계,
검출된 관심 영역에 대해 특징 값들을 추출하고, 추출된 특징 값의 개별 분석 데이터와 상기 결과 데이터와의 상관관계를 분석하는 개별 분석 모델을 학습시키는 단계 그리고
개별 분석 모델로부터 획득한 특징 값들을 통합적으로 분석한 데이터와 상기 결과 데이터와의 상관관계를 분석하는 통합 분석 모델을 학습시키는 단계,
를 실행하는 명령어들을 더 포함하는 프로그램.
- 제10항에서,
상기 개별 분석 데이터를 도출하는 단계는,
관절염 심각도 분석 모델을 통해 관절강 영역을 검출한 관심 영역에서 관절강의 내측 수치 및 관절강의 외측 수치를 추정하여 내측 수치와 외측 수치의 평균에 의한 관절의 심각도의 정량적인 수치 및 상기 관절강의 내측 수치와 외측 수치간의 불균형 비율을 산출하는 명령어들을 포함하는 프로그램.
- 제11항에서,
상기 퇴행성 관절염의 심각도를 분류하는 단계는,
상기 통합 분석 모델을 통해 상기 개별 분석 데이터들을 통합하여 상기 의료 영상에서 퇴행성 관절염의 심각도를 분석하고,
개별 분석 데이터와 상기 퇴행성 관절염의 심각도에 기초하여 퇴행성 관절염의 진행 과정을 예측하는 명령어들을 포함하는 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190086641 | 2019-07-17 | ||
| KR20190086641 | 2019-07-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210010387A KR20210010387A (ko) | 2021-01-27 |
| KR102444274B1 true KR102444274B1 (ko) | 2022-09-16 |
Family
ID=74211100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200088316A KR102444274B1 (ko) | 2019-07-17 | 2020-07-16 | 관절염 심각도 정밀 분석 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220330887A1 (ko) |
| KR (1) | KR102444274B1 (ko) |
| WO (1) | WO2021010777A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102495365B1 (ko) * | 2020-11-11 | 2023-02-06 | 순천향대학교 산학협력단 | 인공지능을 이용한 관절 분석 시스템 및 그 방법 |
| CN113780378B (zh) * | 2021-08-26 | 2023-11-28 | 北京科技大学 | 一种疾病高危人群预测装置 |
| KR102595106B1 (ko) * | 2021-09-08 | 2023-10-31 | 조윤상 | 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004057804A (ja) * | 2002-06-05 | 2004-02-26 | Fuji Photo Film Co Ltd | 骨関節評価方法、装置およびそのためのプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160213278A1 (en) * | 2011-11-30 | 2016-07-28 | Kenneth L. Urish | Method for Detecting Arthritis and Cartilage Damage Using Magnetic Resonance Sequences |
| KR101961215B1 (ko) * | 2017-08-25 | 2019-03-27 | 남정림 | 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법 |
| KR101977174B1 (ko) * | 2017-09-13 | 2019-05-10 | 이재준 | 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
-
2020
- 2020-07-16 US US17/616,747 patent/US20220330887A1/en active Pending
- 2020-07-16 KR KR1020200088316A patent/KR102444274B1/ko active IP Right Grant
- 2020-07-16 WO PCT/KR2020/009402 patent/WO2021010777A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004057804A (ja) * | 2002-06-05 | 2004-02-26 | Fuji Photo Film Co Ltd | 骨関節評価方法、装置およびそのためのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021010777A1 (ko) | 2021-01-21 |
| US20220330887A1 (en) | 2022-10-20 |
| KR20210010387A (ko) | 2021-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102444274B1 (ko) | 관절염 심각도 정밀 분석 장치 및 방법 | |
| JP7241075B2 (ja) | 脊椎骨折を識別するための３次元医用画像解析の方法及びシステム | |
| US11151721B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| CN110114834B (zh) | 用于医疗程序的深度学习医疗系统和方法 | |
| KR102243830B1 (ko) | 통합 의료 진단 서비스 제공 시스템 및 그 방법 | |
| KR101740464B1 (ko) | 뇌졸중 진단 및 예후 예측 방법 및 시스템 | |
| US9510756B2 (en) | Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images | |
| JP5014156B2 (ja) | 椎体骨折の定量化 | |
| US8849003B2 (en) | Methods, apparatus and articles of manufacture to process cardiac images to detect heart motion abnormalities | |
| US11257214B2 (en) | Two-stage variational image segmentation of medical images using fracture mechanics | |
| US20210383536A1 (en) | Spinal fracture detection in x-ray images | |
| US20200035363A1 (en) | System to predict health outcomes | |
| US20230386033A1 (en) | Image Processing Apparatus, Image Processing Method, and Program | |
| KR102639558B1 (ko) | 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법 | |
| US11842492B2 (en) | Cerebral hematoma volume analysis | |
| EP4163836A1 (en) | Uncertainty-based in-product learning for x-ray | |
| CN114926396A (zh) | 一种精神障碍类磁共振图像初步筛查模型构建方法 | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| KR20230164281A (ko) | 경추 가관절증 판별 장치 및 그 방법 | |
| US11928817B2 (en) | Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods | |
| Ramos | Analysis of medical images to support decision-making in the musculoskeletal field | |
| CN111417980B (zh) | 用于椎骨骨折的识别的三维医学图像分析方法和系统 | |
| CN115439396A (zh) | 使用人工神经网络确定肌肉结构的特性 | |
| Caesarendra et al. | Automated Cobb Angle Measurement for Adolescent Idiopathic Scoliosis Using Convolutional Neural Network. Diagnostics 2022, 12, 396 | |
| KR20240057779A (ko) | 치과 방사선 영상으로부터 치아 발육단계를 검출하는 방법 및 이를 이용한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |