KR102321428B1 - 병변 파악 방법 및 그 장치 - Google Patents

병변 파악 방법 및 그 장치 Download PDF

Info

Publication number
KR102321428B1
KR102321428B1 KR1020210020696A KR20210020696A KR102321428B1 KR 102321428 B1 KR102321428 B1 KR 102321428B1 KR 1020210020696 A KR1020210020696 A KR 1020210020696A KR 20210020696 A KR20210020696 A KR 20210020696A KR 102321428 B1 KR102321428 B1 KR 102321428B1
Authority
KR
South Korea
Prior art keywords
lesion
image
absence
area
predicted value
Prior art date
Application number
KR1020210020696A
Other languages
English (en)
Inventor
윤순호
이혁희
이서우
Original Assignee
메디컬아이피 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메디컬아이피 주식회사 filed Critical 메디컬아이피 주식회사
Priority to KR1020210020696A priority Critical patent/KR102321428B1/ko
Application granted granted Critical
Publication of KR102321428B1 publication Critical patent/KR102321428B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

병변 파악 방법 및 그 장치가 개시된다. 병변파악장치는, 인체 장기에 대한 병변 유무를 파악하는 인공지능모델을 이용하여 장기영상으로부터 병변 유무에 대한 제1 예측값을 구하고, 인공지능모델이 병변 유무를 파악하는 과정에서 획득한 픽셀별 병변 유무에 대한 제2 예측값을 기초로 병변 면적을 파악한 후, 제1 예측값과 병변 면적을 기초로 병변 중증도를 파악한다.

Description

병변 파악 방법 및 그 장치{Lesion recognizing method and apparatus}
본 발명의 실시 예는 인체영상으로부터 병변 유무를 파악하는 방법 및 그 장치에 관한 것으로, 보다 상세하게는 인공지능모델을 이용하여 병변의 중증도를 파악하는 방법 및 그 장치에 관한 것이다.
딥러닝은 인공신경망을 이용하여 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업을 시도하는 기계학습 알고리즘의 일종이다. 딥러닝 기반의 알고리즘을 이용하여 방사선촬영 또는 컴퓨터단층촬영(CT)과 같은 의료영상으로부터 환자 진료에 필요한 고차원적인 정보를 추출하고자 하는 연구가 지속되고 있으며 일부 제품들이 상용화되어 진료 현장에서 활용되고 있다.
폐결핵은 결핵균 감염으로 야기되는 감염력이 매우 높은 호흡기 감염병으로 매년 전 세계적으로 806만 명의 환자가 발생하고 130만 명이 사망하는 심각한 질환 중 하나이다. 폐결핵의 진단을 위해서 흉부 방사선 촬영, 객담 도말 검사, 객담 배양 검사 등이 활용되고 있다. 폐결핵은 전염력의 여부에 따라 활성 폐결핵과 비활성 폐결핵으로 구분 가능하며, 객담 배양 검사에서 결핵균을 확인하여 활성 폐결핵 환자를 확진할 수 있다. 하지만 객담 배양 검사는 검사 결과 보고까지 최대 2달이 소요되어 선별 검사로 적합하지 않는 검사법이다.
활성 폐결핵으로 의심되는 환자를 선별하기 위해서는 흉부 방사선 영상에서 폐결핵의 소견을 확인하는 방식을 주로 활용하고 있으나, 결핵 유병률이 높은 나라에서는 비활성 폐결핵을 가진 사람들이 많아 폐결핵 소견을 나타내는 흉부 방사선 영상 중에서도 활성도 여부를 정확히 평가하여야 하는데 단순 방사선 촬영에서 이러한 작업을 하는 것은 영상의학 전문의에게도 쉽지 않은 일이다.
폐결핵의 치료를 위해서는 최소 6 개월 이상 항결핵 약제를 복용하여야 한다. 긴 치료기간에도 불구하고 항상 성공적인 치료가 이루어지는 것은 아니며, 약제 내성이 있는 폐결핵인 것으로 확인되는 경우 증상이 악화할 수 있으며, 수년간의 장기간 치료 및 치료 약제 변경이 필요하다. 약제내성 결핵에는 치료가 제대로 이루어지는 않은 경우 높은 확률로 사망까지 이를 수 있으므로 치료 과정에서 세심한 관찰과 지속적인 치료 반응 평가가 이루어져야 한다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는, 인공지능모델을 이용하여 인체영상으로부터 병변의 유무 및 병변의 중증도 등을 파악하는 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 병변파악방법의 일 예는, 병변파악장치가 수행하는 병변 중증도 파악 방법에 있어서, 인체 장기에 대한 병변 유무를 파악하는 인공지능모델을 이용하여 장기영상으로부터 병변 유무에 대한 제1 예측값을 구하는 단계; 상기 인공지능모델이 병변 유무를 파악하는 과정에서 획득한 픽셀별 병변 유무에 대한 제2 예측값을 기초로 병변 면적을 파악하는 단계; 및 상기 제1 예측값과 상기 병변 면적을 기초로 병변 중증도를 파악하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 병변파악장치의 일 예는, 인체 장기에 대한 병변 유무를 파악하는 인공지능모델을 이용하여 장기영상으로부터 병변 유무에 대한 제1 예측값을 구하는 병변파악부; 상기 인공지능모델이 병변 유무를 파악하는 과정에서 획득한 픽셀별 병변 유무에 대한 제2 예측값을 기초로 병변 면적을 파악하는 면적파악부; 및 상기 제1 예측값과 상기 병변 면적을 기초로 병변 중증도를 파악하는 중증도파악부;를 포함한다.
본 발명의 실시 예에 따르면, 인공지능모델을 이용하여 인체영상에서 병변 유무를 파악할 수 있을 뿐만 아니라 병변의 중증도 등을 함께 파악할 수 있다. 예를 들어, 폐 영역 영상으로부터 폐결핵의 유무 뿐만 아니라 폐결핵의 활성도(중증 폐결핵, 비활동성 폐결핵 등)를 파악할 수 있다.
도 1은 본 발명의 실시 예에 따른 병변파악장치의 일 예의 구성을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 장기영상을 획득하는 방법의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 2차원 장기영상의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 병변 파악 방법의 일 예를 도시한 흐름도,
도 5는 본 발명의 실시 예에 따른 병변 중증도 파악을 위한 인공지능모델의 일 예를 도시한 도면,
도 6 및 도 7은 본 발명의 실시 예에 따른 폐결핵의 중증도를 파악하는 일 예를 도시한 도면, 그리고,
도 8은 본 발명의 실시 예에 따른 병변파악장치의 일 예의 구성을 도시한 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 병변 파악 방법 및 그 장치에 대해 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 병변파악장치의 일 예의 구성을 도시한 도면이다.
도 1을 참조하면, 병변파악장치(100)는 인체의 각종 조직(예를 들어, 폐 등의 각종 장기)에 관한 영상(이하, '장기영상'이라 함)(110)을 입력받으면, 인공지능모델을 이용하여 장기영상(110)으로부터 병변의 중증도(120) 등을 파악한다. 예를 들어, 병변파악장치(100)는 폐 영상을 입력받으면 결핵의 중증도(즉, 폐결핵활성도 등)를 파악하여 출력할 수 있다.
일 실시 예로, 병변파악장치(100)는 의료영상저장시스템(PACS, Picture Archiving and Communication System)에 주기적으로 접속하여 새로 촬영된 영상이 있으면 이를 읽어온 후 병변 중증도를 파악할 수 있다. 병변파악장치(100)가 폐 결핵을 파악하는 장치로 구현된 경우에, 병변파악장치(100)는 흉부를 촬영한 방사선영상 등을 의료영상저장시스템으로부터 수신할 수 있다. 이 외에도 병변파악장치(100)는 다양한 저장매체(예를 들어, USB(Universal Serial Bus) 메모리, SSD(Solid State Disk) 등)로부터 장기영상(110)을 입력받을 수 있다. 장기영상(110)은 종래 다양한 종류의 영상 파일 형태일 수 있으며, 일 예로, DICOM(Digital Imaging and Communications in Medicine) 파일 형태일 수 있다. 다른 실시 예로, 병변파악장치(100)는 장기영상(110)의 각 픽셀의 밝기값의 분포를 일정 범위 내로 정규화할 수 있다.
병변파악장치(100)에 입력하는 장기영상(110)은 병변을 파악하고자 하는 특정 인체조직으로 구성된 3차원 영상(예를 들어, CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging) 등) 또는 2차원 영상(예를 들어, 방사선(X-선) 영상 등)일 수 있다. 예를 들어, 장기영상(100)은 폐 영역으로만 구성된 2차원 또는 3차원 영상일 수 있다.
일반적인 방사선 영상 또는 CT 영상 등에는 다양한 조직이 함께 존재한다. 이 경우 방사선 영상 또는 CT 영상으로부터 특정 조직에 대한 장기영상을 분할하여 획득하는 과정이 필요하다. 이러한 과정은 병변파악장치(100) 내에 구현되거나 별도의 장치로 구현될 수 있다. 다만 이하에서는 설명의 편의를 위하여 병변파악장치(100)가 일반적인 2차원 또는 3차원의 인체영상을 입력받으면 도 2의 과정을 통해 본 실시 예에 필요한 장기영상을 획득하는 과정을 포함하는 경우를 가정하여 설명한다. 병변파악장치(100)가 특정 조직에 대한 장기영상(110)을 입력받는다면 도 2의 과정은 생략될 수 있다.
도 2는 본 발명의 실시 예에 따른 장기영상을 획득하는 방법의 일 예를 도시한 도면이다.
도 2를 참조하면, 인체영역분할알고리즘(200)은 인체영상(210)으로부터 원하는 조직을 분할하여 장기영상(220)을 생성한다. 예를 들어, 인체영역분할알고리즘(200)은 2차원 또는 3차원의 흉부 영상으로부터 폐 영역을 분할하여 폐 영역에 대한 장기영상(220)을 생성할 수 있다.
먼저 인체영상(210)이 3차원 영상이면, 인체영역분할알고리즘(200)은 3차원 인체영상에서 각종 조직을 분할하는 종래의 다양한 알고리즘 중 어느 하나로 구현될 수 있다. 예를 들어, 폐 영역에 대한 장기영상(220)이 필요한 경우에, 인체영역분할알고리즘(210)은 3차원 인체영상에서 폐 영역을 분할하는 알고리즘일 수 있다. 다른 실시 예로, 인체영역분할알고리즘(200)은 인공지능모델로 구현될 수 있다. 즉, 3차원 인체영상에서 특정 인체조직(예를 들어, 폐 영역)을 라벨링한 학습데이터를 이용하여 학습시킨 인공지능모델로 인체영역분할알고리즘(200)을 구현할 수 있다.
인체영상이 2차원 영상인 경우에 하나의 평면에 복수의 조직이 중첩 표시된다. 예를 들어, 흉부 방사선 영상은 폐 조직, 뼈 조직 등이 동일평면에 중첩표시된다. 따라서 단순히 2차원의 흉부 방사선 영상에서 폐 영역을 구분하여 장기영상(220)을 생성하면, 장기영상(220)에는 폐 조직뿐만 아니라 뼈 조직 등이 함께 존재한다. 여러 조직이 중첩표시된 장기영상(220)을 그대로 병변파악장치(100)에 입력하여 병변 중증도를 파악할 경우 그 정확성이 낮아지는 문제점이 존재한다. 따라서 본 실시 예는 2차원 인체영상에서 원하는 조직(예를 들어, 폐 영역 등)만으로 구성된 장기영상(220)을 재구성하는 방법을 사용한다.
보다 구체적으로, 인체영역분할알고리즘(200)은 복수의 조직을 포함하는 3차원 의료영상을 차원 축소한 기본영상을 생성한다. 예를 들어, 3차원 인체영상은 밝기값을 포함하는 복셀로 구성되므로, 3차원 인체영상을 2차원 인체영상으로 차원 축소하기 위하여 3차원 인체영상을 일정 방향으로 가상평면에 투영하고, 투영 방향으로 중첩되는 복셀의 밝기값을 평균하여 2차원 인체영상의 각 픽셀의 밝기값을 구한다. 즉, 방사선 영상은 방사선 투과방향에 위치한 적어도 하나 이상의 조직에 의해 그 밝기값이 좌우되므로, 본 실시 예는 방사선 영상과 같은 각 조직에 대한 영향이 반영된 2차원 인체영상을 3차원 영상으로부터 생성하기 위하여 투영 방향에 대해 중첩되는 복셀들의 밝기값을 평균하여 2차원 영상의 각 픽셀의 밝기값을 구한다.
다음으로, 인체영역분할알고리즘(200)은 앞서 기본영상의 생성에 사용한 3차원 의료영상에서 특정 조직(예를 들어, 폐 영역)을 분할한 후 그 조직의 3차원 영상을 차원 축소한 분할영상을 생성한다. 즉, 분할영상은 특정 조직만으로 구성되는 2차원 인체영상이다. 3차원 의료영상에서 특정 조직을 분할하는 종래의 다양한 알고리즘이 본 실시 예에 적용될 수 있다.
인체영역분할알고리즘(200)은 기본영상(3차원 인체영상으로부터 생성한 2차원 인체영상)과 분할영상(즉, 특정 조직과 관련된 2차원 인체영상)을 포함하는 학습 데이터를 이용하여 복수의 조직이 동일평면에 중첩 표시된 2차원 인체영상(예를 들어, 방사선 영상)에서 적어도 하나의 조직(예를 들어, 폐 조직)으로 구성되는 2차원의 장기영상을 재구성하도록 인공지능모델을 학습시킨다.
학습 완료된 인공지능모델은 2차원 영상(예, 방사선 영상)을 입력받으면 특정 조직(예, 폐 조직)만으로 구성된 2차원의 장기영상(220)을 생성하여 출력한다. 즉, 인체영역분할알고리즘(200)은 흉부 방사선 영상을 입력받으면, 학습 완료된 인공지능모델을 이용하여 뼈 조직 등이 제거되어 폐 조직만으로 구성된 장기영상(220)을 생성하여 출력한다.
도 3은 본 발명의 실시 예에 따른 2차원 장기영상의 일 예를 도시한 도면이다.
도 3을 참조하면, 인체영역분할알고리즘(200)은 도 2에서 설명한 인공지능모델(즉, 영상재구성 인공지능모델)을 이용하여 흉부 방사선 영상(300)에서 폐 조직만으로 구성된 장기영상(3100을 재구성하여 출력할 수 있다.
도 4는 본 발명의 실시 예에 따른 병변 파악 방법의 일 예를 도시한 흐름도이다.
도 4를 참조하면, 병변파악장치(100)는 병변 유무를 파악하는 인공지능모델(즉, 병변파악 인공지능모델)을 이용하여 장기영상으로부터 병변 유무에 관한 제1 예측값(예를 들어, 0~1 사이의 값 또는 확률값 등)을 파악한다(S400). 예를 들어, 장기영상은 폐 영역에 대한 2차원 영상(즉, 방사선 영상)이고, 인공지능모델은 폐 결핵의 유무를 파악하는 딥러닝 알고리즘일 수 있다. 병변 유무를 파악하는 인공지능모델의 일 예가 도 5에 도시되어 있다.
병변파악장치(100)는 인공지능모델이 병변 유무를 파악하는 과정에서 획득한 픽셀별 병변 유무에 대한 제2 예측값(예를 들어, 0~1 사이의 값 또는 확률값 등)을 기초로 병변 면적을 파악한다(S410). 예를 들어, 병변파악장치(100)는 장기영상의 픽셀들 중 제2 예측값이 기 정의된 기준값(예를 들어, 0.5) 이상인 픽셀로 구성되는 면적을 병변 면적으로 파악할 수 있다. 이때 기준값은 제2 예측값의 출력 범위를 기준으로 실시 예에 따라 다양하게 설정될 수 있다.
인공지능모델이 병변 유무를 파악하는 근거가 되는 각 픽셀의 제2 예측값은 그래디언트-클래스활성화매핑(Grad-CAM, gradient class activation mapping)을 이용하여 파악할 수 있다. Grad-CAM을 이용하여 클래스활성화맵을 구한 후 이를 이용하여 각 픽셀의 제2 예측값을 구할 수 있다. 본 실시 예는 각 픽셀이 인공지능모델의 병변 유무 파악에 영향을 미치는 정도를 파악하기 위하여 각 픽셀의 제2 예측값을 Grad-CAM을 통해 파악하는 방법을 제시하고 있으나, Grad-CAM은 하나의 예일 뿐 인공지능모델의 결과에 각 픽셀이 미치는 영향을 파악하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다.
병변파악장치(100)는 병변 유무에 대한 제1 예측값과 병변 면적을 기초로 병변의 중증도를 파악한다(S420). 예를 들어, 병변파악장치(100)는 장기영상의 장기 면적과 병변 면적의 비에 제1 예측값을 곱하여 구한 중증도 값이 기 정의된 기준 이상이면 병변이 중증이라고 파악할 수 있다. 폐 결핵에 대한 중증도(즉, 결핵활성도 등)을 파악하는 일 예가 도 6에 도시되어 있다.
병변파악장치(100)는 병변의 위치와 병변 중증도 값을 장기영상과 함께 저장할 수 있다. 예를 들어, 병변파악장치(100)가 의료영상저장시스템으로부터 장기영상 또는 인체영상을 입력받아 병변 중증도 등을 파악한 후, 장기영상 또는 인체영상에 병변 위치를 표시한 후 중증도 값과 함께 의료영상저장시스템에 저장할 수 있다.
도 5는 본 발명의 실시 예에 따른 병변 중증도 파악을 위한 인공지능모델의 일 예를 도시한 도면이다.
도 5를 참조하면, 병변파악 인공지능모델(500)은 장기영상(510)을 입력받으면 병변 유무에 대한 제1 예측값(520)을 출력하는 딥러닝 모델이다. 일 실시 예로, 인공지능모델(500)은 폐경화(consolidation), 중심소엽성결정(centribular nodules) 등 활성 폐결핵을 파악하도록 학습된 모델일 수 있다.
인공지능모델(500)은 병변을 라벨링한 복수의 장기영상을 포함하는 학습데이터를 이용하여 학습된다. 예를 들어, 인공지능모델(500)은 학습데이터를 입력받으면 병변 유무에 대한 예측값을 출력하고, 그 예측값과 학습데이터에 포함된 병변 유무에 대한 정답지(즉, ground truth)를 비교하여 내부 파라메터 등을 조정하는 학습과정을 수행한다. 인공지능모델(500)은 CNN, DenseNet, U-net, Goolenet 등 다양한 아키텍처로 구현될 수 있다.
학습 완료된 인공지능모델(500)이 장기영상(510)으로부터 병변 유무를 예측할 때 예측결과에 영향을 미치는 각 픽셀을 Grad-CAM 등을 이용하여 파악할 수 있다. 다시 말해, Grad-CAM을 이용하여 장기영상의 픽셀별 병변 유무에 대한 제2 예측값(530)을 구할 수 있다.
도 6 및 도 7은 본 발명의 실시 예에 따른 폐결핵의 중증도를 파악하는 일 예를 도시한 도면이다.
도 6을 참조하면, 병변파악장치(100)는 폐 영역의 장기영상(600)을 입력받으면, 폐 결핵 유무를 파악하도록 학습된 인공지능모델을 이용하여 장기영상으로부터 폐 결핵 유무에 대한 제1 예측값(예를 들어, 0~1 사이의 값 또는 확률값 등)을 파악한다. 또한 병변파악장치(100)는 장기영상의 픽셀별 병변 유무에 대한 제2 예측값(예를 들어, 0~1 사이의 값 또는 확률값 등)을 파악하고, 제2 예측값이 기 정의된 기준값(예를 들어, 0.5 등) 이상인 픽셀로 구성되는 면적(620)을 병변 면적으로 파악한다.
병변파악장치(100)는 전체 폐 면적과 병변 면적의 비(즉, 병변면적 / 전체 폐 면적)에 제1 예측값을 곱하여 폐결핵 중증도를 구한다. 병변파악장치(100)는 폐결핵 중증도 값이 기 정의된 제1 기준값 이상이면 중증 폐결핵으로 파악하고, 폐결핵 중증도 값이 기 정의된 제2 기준값(<제1 기준값) 이하이면 비활동성 폐결핵으로 파악할 수 있다. 여기서, 제1 기준값과 제2 기준값은 실시 예에 따라 다양하게 설정될 수 있다. 또한 기준값의 개수와 구간 등은 다양하게 변형가능하다.
도 7을 참조하면, 치료전의 경우 폐 결핵 유무에 대하여 제1 예측값이 99.6%이고, 병변 면적 비가 0.53이면, 폐결핵 중증도 값이 52.8(=99.6*0.53)이 된다. 병변파악장치(100)는 폐결핵 중증도 값 52.8이 제1 기준값을 초과하면 중증 폐결핵으로 판단한다. 치료후의 경우 제1 예측값이 6.5%이고, 병변 면적 비가 0.1이면, 폐결핵 중증도 값은 0.65(6.5*0/1)이다. 병변파악장치(100)는 폐결핵 중증도 값 0.65가 제2 기준값 미만이면 비활동성 폐결핵으로 판단한다.
도 8은 본 발명의 실시 예에 따른 병변파악장치의 일 예의 구성을 도시한 도면이다.
도 8을 참조하면, 병변파악장치(100)는 병변파악부(800), 면적파악부(810) 및 중증도파악부(820)를 포함한다. 병변파악장치(100)는 메모리 및 프로세서 등을 포함하는 컴퓨팅 장치로 구현될 수 있다. 이 경우 각 구성은 소프트웨어로 구현되어 메모리에 로딩된 후 프로세서에 의해 수행될 수 있다.
병변파악부(800)는 병변파악 인공지능모델을 이용하여 장기영상으로부터 병변 유무를 파악한다. 인공지능모델의 일 예가 도 5에 도시되어 있다. 인공지능모델은 병변 유무에 대하여 일정 범위(예를 들어, 0~1 사이) 내의 예측값을 출력할 수 있다.
면적파악부(810)는 인공지능모델이 병변 유무를 예측하는 과정에서 각 픽셀의 병변 유무에 대한 제2 예측값을 파악하고, 제2 예측값이 기 정의된 기준값 이상인 픽셀로 이루어진 면적을 병변 면적으로 파악한다.
중증도파악부(820)는 병변 유무에 대한 제1 예측값과 병변 면적을 기초로 병변 중증도를 파악한다. 예를 들어, 중증도파악부(820)는 장기영상으로부터 파악한 전체 장기 면적과 병변 면적의 비에 제1 예측값을 곱하여 병변 중증도 값을 구할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 병변파악장치가 수행하는 병변 중증도 파악 방법에 있어서,
    인체 장기에 대한 병변 유무를 파악하는 인공지능모델을 이용하여 장기영상으로부터 병변 유무에 대한 제1 예측값을 구하는 단계;
    상기 인공지능모델이 병변 유무를 파악하는 과정에서 획득한 픽셀별 병변 유무에 대한 제2 예측값을 기초로 병변 면적을 파악하는 단계; 및
    상기 제1 예측값과 상기 병변 면적을 기초로 병변 중증도를 파악하는 단계;를 포함하고,
    상기 병변 면적을 파악하는 단계는,
    상기 장기영상의 각 픽셀이 상기 인공지능모델의 병변 유무 파악에 영향을 미치는 정도를 나타내는 픽셀별 제2 예측값을 파악하는 단계; 및
    제2 예측값이 기 정의된 기준값 이상인 픽셀로 구성되는 면적을 병변 면적으로 파악하는 단계;를 포함하는 것을 특징으로 하는 병변파악방법.
  2. 제 1항에 있어서,
    인체영상을 입력받는 단계; 및
    인체영역 분할 알고리즘을 이용하여 상기 인체영상에서 장기를 분할하여 장기영상을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 병변파악방법.
  3. 제 2항에 있어서,
    상기 인체영상은 2차원 방사선 영상 또는 3차원 영상인 것을 특징으로 하는 병변파악방법.
  4. 제 1항에 있어서, 상기 병변 면적을 파악하는 단계는,
    그래디언트-클래스활성화매핑을 이용하여 상기 장기영상의 각 픽셀의 병변 유무에 대한 제2 예측값을 파악하는 단계;를 포함하는 것을 특징으로 하는 병변파악방법.
  5. 제 1항에 있어서, 상기 병변 중증도를 파악하는 단계는,
    상기 장기영상의 장기 면적과 상기 병변 면적의 비를 구하는 단계; 및
    상기 제1 예측값과 상기 비를 곱하여 중증도 값을 파악하는 단계;를 포함하는 것을 특징으로 하는 병변파악방법.
  6. 제 1항에 있어서,
    상기 장기영상은 폐영역 영상이고,
    상기 인공지능모델은 결핵 유무를 파악하는 인공지능 알고리즘이고,
    상기 병변 중증도를 파악하는 단계는, 상기 제1 예측값과 상기 병변 면적을 이용하여 구한 중증도 값이 기 정의된 기준값 이하이면 비활동성 폐결핵으로 판단하는 단계;를 포함하는 것을 특징으로 하는 병변파악방법.
  7. 인체 장기에 대한 병변 유무를 파악하는 인공지능모델을 이용하여 장기영상으로부터 병변 유무에 대한 제1 예측값을 구하는 병변파악부;
    상기 인공지능모델이 병변 유무를 파악하는 과정에서 획득한 픽셀별 병변 유무에 대한 제2 예측값을 기초로 병변 면적을 파악하는 면적파악부; 및
    상기 제1 예측값과 상기 병변 면적을 기초로 병변 중증도를 파악하는 중증도파악부;를 포함하고,
    상기 면적파악부는, 상기 장기영상의 각 픽셀이 상기 인공지능모델의 병변 유무 파악에 영향을 미치는 정도를 나타내는 픽셀별 제2 예측값을 파악하고, 제2 예측값이 기 정의된 기준값 이상인 픽셀로 구성되는 면적을 병변 면적으로 파악하는 것을 특징으로 하는 병변파악장치.
  8. 제 7항에 있어서, 상기 면적파악부는,
    그래디언트-클래스활성화매핑을 이용하여 상기 장기영상의 각 픽셀의 병변 유무에 대한 제2 예측값을 파악하는 것을 특징으로 하는 병변파악장치.
  9. 제 7항에 있어서, 상기 중증도파악부는,
    상기 장기영상의 장기 면적과 상기 병변 면적의 비에 상기 제1 예측값을 곱하여 중증도 값을 파악하는 것을 특징으로 하는 병변파악장치.
  10. 제 7항에 있어서,
    상기 장기영상은 폐영역 영상이고,
    상기 인공지능모델은 결핵 유무를 파악하는 인공지능 알고리즘이고,
    상기 중증도파악부는, 상기 제1 예측값과 상기 병변 면적을 이용하여 구한 중증도 값이 기 정의된 기준값 이하이면 비활동성 폐결핵으로 판단하는 것을 특징으로 하는 병변파악장치.
  11. 제 1항 내지 제 6항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020210020696A 2021-02-16 2021-02-16 병변 파악 방법 및 그 장치 KR102321428B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210020696A KR102321428B1 (ko) 2021-02-16 2021-02-16 병변 파악 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210020696A KR102321428B1 (ko) 2021-02-16 2021-02-16 병변 파악 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR102321428B1 true KR102321428B1 (ko) 2021-11-05

Family

ID=78507720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210020696A KR102321428B1 (ko) 2021-02-16 2021-02-16 병변 파악 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102321428B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170047423A (ko) * 2015-10-22 2017-05-08 한국디지털병원수출사업협동조합 Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
KR101992057B1 (ko) * 2018-08-17 2019-06-24 (주)제이엘케이인스펙션 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템
JP2021002320A (ja) * 2019-06-19 2021-01-07 国立大学法人信州大学 特徴量抽出装置、特徴量抽出方法、識別装置、識別方法及びプログラム
KR20210012097A (ko) * 2019-07-23 2021-02-03 단국대학교 산학협력단 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법
KR20210012455A (ko) * 2019-07-25 2021-02-03 광운대학교 산학협력단 병변 면적비율 산출 방법 및 그를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170047423A (ko) * 2015-10-22 2017-05-08 한국디지털병원수출사업협동조합 Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
KR101992057B1 (ko) * 2018-08-17 2019-06-24 (주)제이엘케이인스펙션 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템
JP2021002320A (ja) * 2019-06-19 2021-01-07 国立大学法人信州大学 特徴量抽出装置、特徴量抽出方法、識別装置、識別方法及びプログラム
KR20210012097A (ko) * 2019-07-23 2021-02-03 단국대학교 산학협력단 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법
KR20210012455A (ko) * 2019-07-25 2021-02-03 광운대학교 산학협력단 병변 면적비율 산출 방법 및 그를 위한 장치

Similar Documents

Publication Publication Date Title
Oh et al. Deep learning COVID-19 features on CXR using limited training data sets
US20200184639A1 (en) Method and apparatus for reconstructing medical images
KR101898575B1 (ko) 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
US11875897B2 (en) Medical image processing apparatus, method, and program, and diagnosis support apparatus, method, and program
US8903147B2 (en) Medical report generation apparatus, method and program
JP6727176B2 (ja) 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US11961161B2 (en) Information processing apparatus, information processing method, and storage medium
US11574154B2 (en) Patient-adaptive nuclear imaging
Takahashi et al. Prospective Pilot Evaluation of Radiologists and Computer-aided Pulmonary Nodule Detection on Ultra–low-Dose CT With Tin Filtration
US20210082567A1 (en) Method for supporting viewing of images and apparatus using same
WO2019176407A1 (ja) 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
KR101885562B1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
Wang et al. Automatic creation of annotations for chest radiographs based on the positional information extracted from radiographic image reports
KR102321428B1 (ko) 병변 파악 방법 및 그 장치
Zakirov et al. Dental pathology detection in 3D cone-beam CT
KR20220005326A (ko) 의료영상을 기초로 인체 조직을 분석하는 방법 및 그 장치
JP2021509977A (ja) 医用画像評価のためのディープラーニングの応用
Du et al. Automatic Diagnose of Drug-Resistance Tuberculosis from CT Images Based on Deep Neural Networks
US20220398752A1 (en) Medical image registration method and apparatus
US20220405425A1 (en) Three-dimensional medical image anonymization method and apparatus
EP4145463A1 (en) Method for providing medical imaging decision support data and method for providing ground truth in 2d image space
JP7483018B2 (ja) 画像処理装置、画像処理方法及びプログラム、画像処理システム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
US20230360213A1 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
GRNT Written decision to grant