KR102384083B1 - 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 딥러닝(deep learning) 기반의 영상 분석을 통하여 천장관절의 자기공명영상 결과를 정량화하여 객관적으로 천장관절염을 진단하고 염증의 정도를 평가할 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법에 관한 것으로, 자기공명 영상장치를 이용해 피검사자로부터 취득한 영상을 입력하는 자기공명영상 획득장치;자기공명영상의 밝기 왜곡을 보정하는 영상 전처리를 하는 영상 전처리부;전처리 단계에서 보정된 자기공명영상과 척추 관절 영역 정보를 입력하여 관절 내 병변 유무를 판별하는 병변 판별부;자기공명영상으로부터 이미지 특징을 추출하고 지능형 영상 필터를 이용하여 병변 영역 검출을 하는 병변 영역 검출부;자기공명영상 지능형 영상 필터의 특징 추출 결과와 질병 활성도 지표들을 입력으로 하여 다층 신경망(multi-layer perceptron) 분류를 학습하는 다층 신경망 분류 학습부;자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류하는 중증도 분류부;다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력하는 중증도 판별결과 출력부;를 포함하는 것이다.

Description

자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법{Apparatus and Method for Diagnosing Sacroiliac Arthritis and Evaluating the Degree of Inflammation using Magnetic Resonance Imaging}

본 발명은 자기공명영상 분석에 관한 것으로, 구체적으로 딥러닝(deep learning) 기반의 영상 분석을 통하여 천장관절의 자기공명영상 결과를 정량화하여 객관적으로 천장관절염을 진단하고 염증의 정도를 평가할 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법에 관한 것이다.

자기공명영상(Magnetic Resonance Image, MRI)은 전산단층 촬영 영상(Computed Tomography, CT)과 더불어 인체의 단층영상을 획득할 수 있는 대표적인 의료영상기기이다.

최근, 분류 및 저레벨 컴퓨터 비젼 문제에서 딥 러닝의 성공에 영감을 얻은 연구원들은 다양한 생의학 영상 복원 문제에 대한 딥 러닝 기법을 조사하고, 상당한 성능 향상을 입증하였다.

한편, 척추관절염(spondyloarthritis; SpA)은 만성 염증성 류마티스 질환 중의 하나이다. 척추관절염은 축형 척추관절염(axial SpA; aSpA)와 말초형 척추관절염(periperal SpA;pSpA)로 나뉜다.

축형 척추관절염은 수년에 걸쳐 진행하면서 뼈가 굳어지는 질환이다. 뼈의 강직은 비가역적인 변화이기 때문에, 질병을 조기에 발견하여 정확히 진단하고 조기에 치료하는 것이 매우 중요하다.

최근 들어 조기 진단을 위하여 자기공명 영상(MRI)이 많이 활용되고 있다.

그러나 MRI 결과의 판독은 판독자에 따른 일치율이 68~73% 정도로 편차가 매우 커서, 이를 통해 객관적, 정량적으로 질병의 진단 및 활성도를 평가하는데 많은 제한점을 갖고 있다.

더욱이 MRI를 이용하에 천장관절염의 중증도를 평가하기 위한 객관적인 척도가 거의 없다. 10여년 전에 캐나다의 연구 단체에서 하나의 지표를 제시하였으나, 이 지표 역시 주관적인 판독에 의지하고 있으며, 널리 사용되고 있지는 않은 상태이다.

따라서, 자기공명영상을 이용하여 객관적으로 천장관절염을 진단하고 염증의 정도를 평가할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.

대한민국 공개특허 제10-2015-0080527호 대한민국 공개특허 제10-2019-0138107호 대한민국 공개특허 제10-2014-0089103호

본 발명은 종래 기술의 자기공명영상 분석 기술의 문제점을 해결하기 위한 것으로, 딥러닝(deep learning) 기반의 영상 분석을 통하여 천장관절의 자기공명영상 결과를 정량화하여 객관적으로 천장관절염을 진단하고 염증의 정도를 평가할 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 환자의 임상적 질병활성도 지표들 및 기존에 제시되었던 평가 지표와 비교 및 검증하여 천장관절염의 중등도 구분을 하는 것에 의해 자기공명영상 분석의 효율성 및 진단 정확도를 높일 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제(T1-weighted fat-suppressed) 영상을 입력으로 하여 척추관절영역 내 병변 유무 판별 정확도를 높일 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 딥러닝 기법에 기반한 컴퓨터 영상처리 기법을 이용하여 자기공명영상에서 천장관절염의 유무를 진단하고, 적은 수의 학습 데이터로도 유효한 결과를 도출할 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 자기공명영상 지능형 필터의 특징 추출부 결과와 질병 활성도 지표들을 입력으로 하는 다층 신경망(multi-layer perceptron) 분류를 학습하여 중증도 분류기를 구축하는 것에 의해 분류 정확도를 높일 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 질병 활성도 지표를 제외하고, 지능형 필터의 특징 추출부 결과를 입력으로 하는 다층 신경망을 개발하여, 자기공명영상 입력만으로 중증도 분류할 때의 정확도를 조사할 수 있도록 한 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치는 자기공명 영상장치를 이용해 피검사자로부터 취득한 영상을 입력하는 자기공명영상 획득장치;자기공명영상의 밝기 왜곡을 보정하는 영상 전처리를 하는 영상 전처리부;전처리 단계에서 보정된 자기공명영상과 척추 관절 영역 정보를 입력하여 관절 내 병변 유무를 판별하는 병변 판별부;자기공명영상으로부터 이미지 특징을 추출하고 지능형 영상 필터를 이용하여 병변 영역 검출을 하는 병변 영역 검출부;자기공명영상 지능형 영상 필터의 특징 추출 결과와 질병 활성도 지표들을 입력으로 하여 다층 신경망(multi-layer perceptron) 분류를 학습하는 다층 신경망 분류 학습부;자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류하는 중증도 분류부;다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력하는 중증도 판별결과 출력부;를 포함하는 것을 특징으로 한다.

여기서, 자기공명영상 획득장치는, 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제 (T1-weighted fat-suppressed) 영상을 입력하는 것을 특징으로 한다.

그리고 영상 전처리부는, 자기공명영상 내 공명이 발생하지 않는 체외 영역의 밝기 값을 기준으로 왜곡된 밝기 값을 추정하고, 체외 영역 픽셀 값의 분포를 구하여 밝기 왜곡을 보정하는 것을 특징으로 한다.

그리고 입력 영상 I의 체외 영역 픽셀 N 개의 픽셀 좌표

가 주어질 경우, 밝기 왜곡 추정 값

는,

이고, 여기서,

는 집합 A에 가장 빈번히 존재하는 값을 의미하는 것을 특징으로 한다.

그리고 자기공명영상의 밝기 왜곡을 적용하여 보정한 영상의 각 픽셀 값은,

으로 정의되는 것을 특징으로 한다.

그리고 병변 영역 검출부는, 픽셀의 밝기 값 분포에 더하여 경계선 정보, 질감 정보, 영역 과분할 정보를 포함하는 이미지 특징(feature)들을 이용하여 병변 영역을 구분하는 것을 특징으로 한다.

그리고 병변 영역 검출부의 지능형 영상 필터는, 입력 이미지에 대해 이미지 특징을 추출한 후 다층에 걸쳐 합성곱(convolution) 연산을 수행한 후, 역 합성곱을 통해 입력 이미지와 동일한 크기의 병변 영역 반응 지도를 생성하는 것을 특징으로 한다.

그리고 중증도 분류부는, 자기공명영상을 통한 천장관절의 질병활성도에 대한 분류 등급을 천장관절 염이 없는 경우는 grade O 으로 분류하고 천장관절염의 정도에 따라 여러 단계로 구분하여, 병변 영역 검출 결과를 바탕으로 병변 영역의 면적 및 강도를 정량 수치화하고 이를 기반으로 천장관절염의 중증도 등급(grade)을 분류하는 것을 특징으로 한다.

그리고 다층 신경망 분류 학습부는, 질병 활성도 지표들인 BASDAI, 적혈구침강속도, C-반응 단백, ASAS-CRP를 기반으로 학습데이터를 생성하여 중증도 분류기(classifier)를 학습하는 것을 특징으로 한다.

그리고 중증도 분류기는, 질병 활성도 지표와 자기공명영상을 입력으로 하여 질병의 중증도를 분류하거나, 질병 활성도 지표를 배제하고 자기공명영상을 입력으로 하여 질병의 중증도를 분류하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법은 자기공명 영상장치를 이용해 피검사자로부터 취득한 영상을 입력받고, 자기공명영상의 밝기 왜곡을 보정하는 영상 전처리를 하는 영상 전처리 단계;전처리 단계에서 보정된 자기공명영상과 척추 관절 영역 정보를 입력하여 관절 내 병변 유무를 판별하는 병변 판별 단계;자기공명영상으로부터 이미지 특징을 추출하고 지능형 영상 필터를 이용하여 병변 영역 검출을 하는 병변 영역 검출 단계;자기공명영상 지능형 영상 필터의 특징 추출 결과와 질병 활성도 지표들을 입력으로 하여 다층 신경망(multi-layer perceptron) 분류를 학습하는 다층 신경망 분류 학습 단계;자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류하는 중증도 분류 단계; 및, 다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력하는 중증도 판별결과 출력 단계;를 포함하는 것을 특징으로 한다.

그리고 영상 전처리 단계에서, 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제 (T1-weighted fat-suppressed) 영상을 입력받는 것을 특징으로 한다.

그리고 영상 전처리 단계에서, 자기공명영상 내 공명이 발생하지 않는 체외 영역의 밝기 값을 기준으로 왜곡된 밝기 값을 추정하고, 체외 영역 픽셀 값의 분포를 구하여 밝기 왜곡을 보정하는 것을 특징으로 한다.

그리고 병변 영역 검출 단계에서, 픽셀의 밝기 값 분포에 더하여 경계선 정보, 질감 정보, 영역 과분할 정보를 포함하는 이미지 특징(feature)들을 이용하여 병변 영역을 구분하는 것을 특징으로 한다.

그리고 병변 영역 검출 단계에서 지능형 영상 필터는, 입력 이미지에 대해 이미지 특징을 추출한 후 다층에 걸쳐 합성곱(convolution) 연산을 수행한 후, 역 합성곱을 통해 입력 이미지와 동일한 크기의 병변 영역 반응 지도를 생성하는 것을 특징으로 한다.

그리고 중증도 분류 단계에서, 자기공명영상을 통한 천장관절의 질병활성도에 대한 분류 등급을 천장관절 염이 없는 경우는 grade O 으로 분류하고 천장관절염의 정도에 따라 여러 단계로 구분하여, 병변 영역 검출 결과를 바탕으로 병변 영역의 면적 및 강도를 정량 수치화하고 이를 기반으로 천장관절염의 중증도 등급(grade)을 분류하는 것을 특징으로 한다.

그리고 다층 신경망 분류 학습 단계에서, 질병 활성도 지표들인 BASDAI, 적혈구침강속도, C-반응 단백, ASAS-CRP를 기반으로 학습데이터를 생성하여 중증도 분류기(classifier)를 학습하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법은 다음과 같은 효과가 있다.

첫째, 딥러닝(deep learning) 기반의 영상 분석을 통하여 천장관절의 자기공명영상 결과를 정량화하여 객관적으로 천장관절염을 진단하고 염증의 정도를 평가할 수 있도록 한다.

둘째, 환자의 임상적 질병활성도 지표들 및 기존에 제시되었던 평가 지표와 비교 및 검증하여 천장관절염의 중등도 구분을 하는 것에 의해 자기공명영상 분석의 효율성 및 진단 정확도를 높일 수 있도록 한다.

셋째, 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제(T1-weighted fat-suppressed) 영상을 입력으로 하여 척추관절영역 내 병변 유무 판별 정확도를 높일 수 있도록 한다.

넷째, 딥러닝 기법에 기반한 컴퓨터 영상처리 기법을 이용하여 자기공명영상에서 천장관절염의 유무를 진단하고, 적은 수의 학습 데이터로도 유효한 결과를 도출할 수 있도록 한다.

다섯째, 자기공명영상 지능형 필터의 특징 추출부 결과와 질병 활성도 지표들을 입력으로 하는 다층 신경망(multi-layer perceptron) 분류를 학습하여 중증도 분류기를 구축하는 것에 의해 분류 정확도를 높일 수 있도록 한다.

여섯째, 질병 활성도 지표를 제외하고, 지능형 필터의 특징 추출부 결과를 입력으로 하는 다층 신경망을 개발하여, 자기공명영상 입력만으로 중증도 분류할 때의 정확도를 조사할 수 있도록 한다.

도 1은 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치의 구성도
도 2는 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법을 나타낸 플로우 차트
도 3은 영상 전처리 과정을 나타낸 구성도
도 4는 꼬리뼈 및 골반 영역과 병변 영역에 대한 픽셀 밝기 값 분포도
도 5는 입력 영상에 대한 경계선, 영역 과분할 및 질감 검출 결과를 나타낸 구성도
도 6은 지능형 영상 필터를 위한 딥러닝 구조도
도 7은 병변 영역 및 강도 입력 인터페이스 예시도
도 8은 중증도 분류를 위한 CNN 구성도

이하, 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치의 구성도이다.

본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법은 딥러닝(deep learning) 기반의 영상 분석을 통하여 천장관절의 자기공명영상 결과를 정량화하여 객관적으로 천장관절염을 진단하고 염증의 정도를 평가할 수 있도록 한 것이다.

이를 위하여, 본 발명은 환자의 임상적 질병활성도 지표들 및 기존에 제시되었던 평가 지표와 비교 및 검증하여 천장관절염의 중등도 구분을 하는 구성을 포함할 수 있다.

본 발명은 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제(T1-weighted fat-suppressed) 영상을 입력으로 하여 척추관절영역 내 병변 유무 판별을 하는 구성을 포함할 수 있다.

본 발명은 딥러닝 기법에 기반한 컴퓨터 영상처리 기법을 이용하여 자기공명영상에서 천장관절염의 유무를 진단하고, 적은 수의 학습 데이터로도 유효한 결과를 도출할 수 있도록 하는 구성을 포함할 수 있다.

본 발명은 자기공명영상 지능형 필터의 특징 추출부 결과와 질병 활성도 지표들을 입력으로 하는 다층 신경망(multi-layer perceptron) 분류를 학습하여 중증도 분류기를 구축하는 구성을 포함할 수 있다.

본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치는 도 1에서와 같이, 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제 (T1-weighted fat-suppressed) 영상을 입력하는 자기공명영상 획득장치(10)와, 자기공명영상 내 공명이 발생하지 않는 체외 영역의 밝기 값을 기준으로 왜곡된 밝기 값을 추정하고, 체외 영역 픽셀 값의 분포를 구하고 이 중 가장 빈번한 값을 취득하여 이를 근거로 밝기 왜곡을 보정하는 영상 전처리를 하는 영상 전처리부(20)와, 전처리 단계에서 보정된 자기공명영상과 영상의학 전문의가 지정한 척추 관절 영역 정보를 입력하여 관절 내 병변 유무를 판별하는 병변 판별부(30)와, 자기공명영상으로부터 이미지 특징을 추출하여 이를 입력하고 지능형 영상 필터를 이용하여 병변 영역 검출을 하는 병변 영역 검출부(40)와, 자기공명영상 지능형 영상 필터의 특징 추출 결과와 질병 활성도 지표들을 입력으로 하여 다층 신경망(multi-layer perceptron) 분류를 학습하는 다층 신경망 분류 학습부(50)와, 컴퓨터 영상처리 기법을 이용하여 자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류하는 중증도 분류부(60)와, 다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력하는 중증도 판별결과 출력부(70)를 포함한다.

본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법을 구체적으로 설명하면 다음과 같다.

도 2는 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법을 나타낸 플로우 차트이다.

먼저, 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제 (T1-weighted fat-suppressed) 영상을 입력받는다.(S201)

이어, 자기공명영상 내 공명이 발생하지 않는 체외 영역의 밝기 값을 기준으로 왜곡된 밝기 값을 추정한다.(S202)

그리고 체외 영역 픽셀 값의 분포를 구하고 이 중 가장 빈번한 값을 취득하여 이를 근거로 밝기 왜곡을 보정하는 영상 전처리를 한다.(S203)

이어, 전처리 단계에서 보정된 자기공명영상과 영상의학 전문의가 지정한 척추 관절 영역 정보를 입력하여 관절 내 병변 유무를 판별한다.(S204)

그리고 자기공명영상으로부터 이미지 특징을 추출하여 이를 입력하고 지능형 영상 필터를 이용하여 병변 영역 검출을 한다.(S205)

이어, 컴퓨터 영상처리 기법을 이용하여 자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류한다.(S206)

그리고 다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력한다.(S207)

이와 같은 기술적 특징을 포함하는 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법의 각 구성의 특징을들을 구체적으로 설명하면 다음과같다.

도 3은 영상 전처리 과정을 나타낸 것으로, (a)원본 입력 영상 및 체외 영역 (노란 점선 내부) (b)체외 영역 픽셀 밝기 분포도 및 밝기 왜곡 추정치, 가로축은 밝기 값, 세로축은 빈도수. (c)보정된 공명영상이다.

본 발명은 축형 척추관절염에서 천장관절염의 염증 판별을 위한 자기공명영상의 전처리 과정을 포함한다.

컴퓨터 영상처리를 위하여, 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제(T1-weighted fat-suppressed) 영상을 입력으로 하여 척추관절영역 내병변 유무 판별을 한다.

이를 위해 영상 전처리 과정, 병변 판별 과정, 판별 결과 후처리 과정을 포함한다.

영상 전처리 과정은 촬영 조건 및 기기의 변화, 측정 센서의 확률적 잡음 등에 의해 자기공명 입력영상의 밝기가 왜곡되는 것을 보정하는 것이다.

이 과정에서는 도 3에서와 같이, 자기공명영상 내 공명이 발생하지 않는 체외영역의 밝기 값을 기준으로 왜곡된 밝기 값을 추정한다.

자기공명영상은 2차원의 흑백 영상 형태로 취득되며 영상의 각 픽셀 값은 공명의 정도에 따라 0에서 255사이의 값을 갖는다. 왜곡이 발생하지 않은 이상적인 공명영상의 경우 체외 영역 픽셀들의 값은 0이다.

밝기 왜곡 외에도 측정 센서의 잡음에 의해 체외 영역 내 0이 아닌 픽셀 값이 존재할 수 있으므로, 체외 영역 픽셀 값의 분포를 구하고 이 중가장 빈번한 값을 취득하여 이를 근거로 밝기 왜곡을 보정한다. 입력 영상 I의 체외 영역 픽셀 N 개의 픽셀 좌표

가 주어질 경우, 밝기 왜곡 추정 값

는 다음과 같다.

여기서,

는 집합 A에 가장 빈번히 존재하는 값을 의미한다.

수학식 1을 통해 구한 자기공명영상의 밝기 왜곡을 적용하여 보정한 영상의 각 픽셀 값은 다음과 같이 정의된다.

도 4는 꼬리뼈 및 골반 영역과 병변 영역에 대한 픽셀 밝기 값 분포도로, (a) 빨간색: 꼬리뼈 및 골반 영역. 노란색: 병변 영역. (b)빨간색: 꼬리뼈 및 골반 영역 픽셀 밝기 분포. 노란색: 병변 영역 픽셀 밝기 분포. 초록점선: 병변 영역 판별 기준 값을 나타낸 것이다.

그리고 병변 판별 과정은 전처리 단계에서 보정된 자기공명영상과 영상의학 전문의가 지정한 척추 관절 영역 정보를 입력으로 받아 관절 내 병변 유무를 판별하는 과정이다.

조영증강 T1 강조 지방 억제 영상의 경우 염증이 발생한 부위의 신호강도가 증가하나 염증이 발생하지 않은 부위 역시 여러 가지 원인에 의해 밝게 나타날 수 있다.

도 4에서와 같이 단순 밝기 값으로만 병변 영역 여부를 판단할 경우 절반에 가까운 오탐지를 얻을 수 있다.

따라서, 본 발명에서는 픽셀의 밝기 값 분포뿐 아니라, 경계선 정보, 질감 정보, 영역 과분할 정보와 같은 기초 이미지 특징(feature)들 중 영상의학 전문의가 제시한 소견을 바탕으로 병변 영역에 대해 구분력을 가지는 것이 무엇인지 탐색하는 구성을 포함한다.

그리고 본 발명은 딥러닝에 기반한 컴퓨터 영상처리 기술을 이용하여 자기공명영상에서 천장관절염의 유무를 진단하기 위한 구성을 포함한다.

도 5는 입력 영상에 대한 경계선, 영역 과분할 및 질감 검출 결과를 나타낸 구성도이다.

도 5의 (a)Prewitt 경계선 검출기 결과. (b)Canny 경계선 검출기 결과. (c)가우시안 흐림 효과 처리 후 Canny 경계선 검출 결과. (d)단순 선형 재귀 군집 알고리즘을 이용한 영역 과분할 결과. (e)여섯 가지 질감에 대한 검출 결과를 나타낸 것이다.

본 발명은 이미지 특징들을 종합하여 자기공명영상 내 병변 영역 위치를 출력하는 병변 영역 검출기에 관한 구성을 포함한다.

병변 영역 검출기는 자기공명영상으로부터 주효한 이미지 특징을 추출하여 이를 입력으로 사용하고 영상의학 전문의의 진단 결과를 목표 출력으로 하는 지능형 영상 필터로 구성된다.

지능형 영상 필터에는 딥러닝 구조 중 이미지 처리에 특화된 합성곱 신경망(Convolutional Neural Network, CNN)을 이용할 수 있고, 이로 제한되지 않는다.

CNN은 입력과 목표 출력의 쌍으로 이루어진 학습 데이터의 양이 충분할 경우 이미지 인식 및 분류에서 현재까지 가장 좋은 성능을 보여주고 있다.

하지만, 학습 데이터의 수가 제한된 경우에는 입력으로 사용되는 이미지 특징을 어떠한 조합으로 CNN에 인가하는가에 따라 그 성능이 상이할 수 있다.

본 발명에서는 적은 수의 학습 데이터로도 유효한 결과를 도출할 수 있는 CNN 및 이에 대한 입력 구조의 생성에 관한 구성을 포함한다.

지능형 영상 필터의 학습을 위해서는 입력에 따른 목표 출력이 반드시 필요하다. 이러한 목표 출력을 확보하기 위해 영상의학 전문의의 병변 영역 및 질병활성도에 대한 진단 결과를 디지털화 하는 구성을 포함한다.

도 6은 지능형 영상 필터를 위한 딥러닝 구조도이다.

본 발명에 따른 지능형 영상 필터는 입력 이미지에 대해 이미지 특징을 추출한 후 다층에 걸쳐 합성곱(convolution) 연산을 수행한 후, 역 합성곱을 통해 입력 이미지와 동일한 크기의 병변 영역 반응 지도를 생성할 수 있도록 한다.

본 발명은 컴퓨터 영상처리 기법을 이용하여 자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류하는 구성을 포함한다.

자기공명영상을 통한 천장관절의 질병활성도에 대한 분류 등급은 강직척추염에서 x-선 영상의 등급 분류 체계와 비슷하게 천장관절 염이 없는 경우는 grade O 으로 분류하고 천장관절염의 정도에 따라 grade I ~ IV 까지 구분한다.

그리고 병변 영역 검출기의 출력을 바탕으로 병변 영역의 면적 및 강도를 정량 수치화하고 이를 기반으로 천장관절염의 중증도 등급(grade)을 분류한다.

이를 위하여, 널리 사용되어온 질병 활성도 지표들(BASDAI, 적혈구침강속도, C-반응 단백, ASAS-CRP)을 기반으로 학습데이터를 생성하여 중증도 분류기(classifier)를 학습한다.

도 7은 병변 영역 및 강도 입력 인터페이스 예시도이다.

도 7의 (a)관절영역 수동 기입 예시. (b)수동 기입 정보를 바탕으로 한 영역분할 예시. (c)병변 영역 및 강도 지정 예시이다.

그리드(Grid) 선택을 통해 천장관절염 범위설정하고, 그리드 별 점수 부여를 통해 위치별 천장관절염 진행 정도 표기한다.

본 발명에 따른 중증도 분류기는 두 가지 형태로 구성할 수 있다.

첫 번째는 질병 활성도 지표와 자기공명영상을 입력으로 하여 질병의 중증도를 분류하는 형태이고, 두 번째는 기존의 질병 활성도 지표를 배제하고 자기공명영상을 입력으로 하여 질병의 중증도를 분류하는 형태이다.

도 8은 중증도 분류를 위한 CNN 구성도이다.

도 6의 지능형 영상 필터 중 이미지 특징 추출부만 분리하고 해당 분리부를 통해 이미지특징 및 기존의 질병 활성도 지표들의 추정값을 생성(혹은 취득된 지표값들을 사용)하고, 그 후, 다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력한다.

질병 활성도 지표에 따른 중증도 분류를 학습하기 위해 자기공명영상을 활용하고, 자기공명영상 지능형 필터의 특징 추출부 결과와 질병 활성도 지표들을 입력으로 하는 다층 신경망(multi-layer perceptron) 분류를 학습하여 중증도 분류기를 구축한다.

또한, 질병 활성도 지표를 제외하고, 지능형 필터의 특징 추출부 결과를 입력으로 하는 다층 신경망을 이용하여 자기공명영상 입력만으로 중증도 분류를 할 수 있다.

이상에서 설명한 본 발명에 따른 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법은 딥러닝(deep learning) 기반의 영상 분석을 통하여 천장관절의 자기공명영상 결과를 정량화하여 객관적으로 천장관절염을 진단하고 염증의 정도를 평가할 수 있도록 한 것이다.

특히, 본 발명은 자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제(T1-weighted fat-suppressed) 영상을 입력으로 하여 척추관절영역 내 병변 유무 판별 정확도를 높일 수 있도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10. 자기공명영상 획득장치 20. 영상 전처리부
30. 병변 판별부 40. 병변 영역 검출부
50. 다층 신경망 분류 학습부 60. 중증도 분류부
70. 중증도 판별결과 출력부

Claims (17)

1. 자기공명 영상장치를 이용해 피검사자로부터 취득한 영상을 입력하는 자기공명영상 획득장치;
   자기공명영상의 밝기 왜곡을 보정하는 영상 전처리를 하는 영상 전처리부;
   전처리 단계에서 보정된 자기공명영상과 척추 관절 영역 정보를 입력하여 염증이 발생한 부위의 신호강도가 증가하는 것을 이용하여, 병변 영역 픽셀 밝기 분포에 병변 영역 판별 기준 값을 적용하여 관절 내 병변 유무를 판별하는 병변 판별부;
   자기공명영상으로부터 이미지 특징을 추출하고 지능형 영상 필터를 이용하여 병변 영역 검출을 하는 병변 영역 검출부;
   자기공명영상 지능형 영상 필터의 특징 추출 결과와 질병 활성도 지표들을 입력으로 하여 다층 신경망(multi-layer perceptron) 분류를 학습하는 다층 신경망 분류 학습부;
   자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류하는 중증도 분류부;
   다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력하는 중증도 판별결과 출력부;를 포함하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
2. 제 1 항에 있어서, 자기공명영상 획득장치는,
   자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제 (T1-weighted fat-suppressed) 영상을 입력하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
3. 제 1 항에 있어서, 영상 전처리부는,
   자기공명영상 내 공명이 발생하지 않는 체외 영역의 밝기 값을 기준으로 왜곡된 밝기 값을 추정하고, 체외 영역 픽셀 값의 분포를 구하여 밝기 왜곡을 보정하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
4. 제 3 항에 있어서, 입력 영상 I의 체외 영역 픽셀 N 개의 픽셀 좌표

   

   가 주어질 경우, 밝기 왜곡 추정 값

   

   는,
   

   

   이고,
   여기서,

   

   는 집합 A에 가장 빈번히 존재하는 값을 의미하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
5. 제 4 항에 있어서, 자기공명영상의 밝기 왜곡을 적용하여 보정한 영상의 각 픽셀 값은,
   

   

   으로 정의되는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
6. 제 1 항에 있어서, 병변 영역 검출부는,
   픽셀의 밝기 값 분포에 더하여 경계선 정보, 질감 정보, 영역 과분할 정보를 포함하는 이미지 특징(feature)들을 이용하여 병변 영역을 구분하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
7. 제 1 항에 있어서, 병변 영역 검출부의 지능형 영상 필터는,
   입력 이미지에 대해 이미지 특징을 추출한 후 다층에 걸쳐 합성곱(convolution) 연산을 수행한 후,
   역 합성곱을 통해 입력 이미지와 동일한 크기의 병변 영역 반응 지도를 생성하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
8. 제 1 항에 있어서, 중증도 분류부는,
   병변 영역 검출 결과를 바탕으로 병변 영역의 면적 및 강도를 정량 수치화하고 이를 기반으로 천장관절염의 중증도 등급(grade)을 분류하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
9. 제 1 항에 있어서, 다층 신경망 분류 학습부는,
   질병 활성도 지표들인 BASDAI, 적혈구침강속도, C-반응 단백, ASAS-CRP를 기반으로 학습데이터를 생성하여 중증도 분류기(classifier)를 학습하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
10. 제 9 항에 있어서, 중증도 분류기는,
    질병 활성도 지표와 자기공명영상을 입력으로 하여 질병의 중증도를 분류하거나,
    질병 활성도 지표를 배제하고 자기공명영상을 입력으로 하여 질병의 중증도를 분류하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치.
11. 자기공명 영상장치를 이용해 피검사자로부터 취득한 영상을 입력받고, 자기공명영상의 밝기 왜곡을 보정하는 영상 전처리를 하는 영상 전처리 단계;
    전처리 단계에서 보정된 자기공명영상과 척추 관절 영역 정보를 입력하여 염증이 발생한 부위의 신호강도가 증가하는 것을 이용하여, 병변 영역 픽셀 밝기 분포에 병변 영역 판별 기준 값을 적용하여 관절 내 병변 유무를 판별하는 병변 판별 단계;
    자기공명영상으로부터 이미지 특징을 추출하고 지능형 영상 필터를 이용하여 병변 영역 검출을 하는 병변 영역 검출 단계;
    자기공명영상 지능형 영상 필터의 특징 추출 결과와 질병 활성도 지표들을 입력으로 하여 다층 신경망(multi-layer perceptron) 분류를 학습하는 다층 신경망 분류 학습 단계;
    자기공명영상에서 천장관절염의 질병활성도를 평가하고, 중증도를 분류하는 중증도 분류 단계; 및,
    다층 신경망을 이용하여 최종적으로 질병 중증도에 대한 판별 결과를 출력하는 중증도 판별결과 출력 단계;를 포함하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법.
12. 제 11 항에 있어서, 영상 전처리 단계에서,
    자기공명 영상장치를 이용해 피검사자로부터 취득한 조영증강 T1 강조 지방 억제 (T1-weighted fat-suppressed) 영상을 입력받는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법.
13. 제 11 항에 있어서, 영상 전처리 단계에서,
    자기공명영상 내 공명이 발생하지 않는 체외 영역의 밝기 값을 기준으로 왜곡된 밝기 값을 추정하고, 체외 영역 픽셀 값의 분포를 구하여 밝기 왜곡을 보정하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법.
14. 제 11 항에 있어서, 병변 영역 검출 단계에서,
    픽셀의 밝기 값 분포에 더하여 경계선 정보, 질감 정보, 영역 과분할 정보를 포함하는 이미지 특징(feature)들을 이용하여 병변 영역을 구분하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법.
15. 제 11 항에 있어서, 병변 영역 검출 단계에서 지능형 영상 필터는,
    입력 이미지에 대해 이미지 특징을 추출한 후 다층에 걸쳐 합성곱(convolution) 연산을 수행한 후,
    역 합성곱을 통해 입력 이미지와 동일한 크기의 병변 영역 반응 지도를 생성하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법.
16. 제 11 항에 있어서, 중증도 분류 단계에서,
    병변 영역 검출 결과를 바탕으로 병변 영역의 면적 및 강도를 정량 수치화하고 이를 기반으로 천장관절염의 중증도 등급(grade)을 분류하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법.
17. 제 11 항에 있어서, 다층 신경망 분류 학습 단계에서,
    질병 활성도 지표들인 BASDAI, 적혈구침강속도, C-반응 단백, ASAS-CRP를 기반으로 학습데이터를 생성하여 중증도 분류기(classifier)를 학습하는 것을 특징으로 하는 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 방법.
    

Images