KR102553068B1

KR102553068B1 - 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법

Info

Publication number: KR102553068B1
Application number: KR1020210051285A
Authority: KR
Inventors: 이동훈; 이민재; 이보배; 권정민; 진효정
Original assignee: 연세대학교 원주산학협력단
Priority date: 2021-04-20
Filing date: 2021-04-20
Publication date: 2023-07-06
Also published as: KR20220144668A

Abstract

다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법이 개시된다. 본 발명의 전산화 단층촬영(computed tomography) 영상의 인공물을 보정하기 위한 컴퓨터 단층영상 재구성 방법은, 저밀도 촬영 CT 영상(sparse-view CT 영상)을 획득하는 단계와, 상기 sparse-view CT 영상을 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크에 입력하여 방향성인 줄 인공물 영상(Streaking artifacts)을 보정하여 획득하는 단계, 및 상기 저밀도 촬영 CT 영상(sparse-view CT 영상)에서 상기 줄 인공물 영상을 마이너스하여 줄 인공물을 제거하는 단계를 포함하게 구성함으로써 Sparse-view 방법으로 CT 영상을 획득할 때 발생하는 직선성 패턴을 제거할 수 있어 진단효율을 높일 수 있다.

Description

다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법{SPARSE-VIEW CT RECONSTRUCTION BASED ON MULTI-LEVEL WAVELET CONVOLUTIONAL NEURAL NETWORK}

본 발명은 컴퓨터 단층영상 재구성 방법에 관한 것으로, 보다 상세하게는 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크를 이용하여 학습을 시킨 뒤 줄 인공물과 같은 직선성 패턴(Streaking artifacts)이 제거된 sparse-view CT 영상을 재구성하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 관한 것이다.

현대 의학에서, 질병의 정확한 진단뿐만 아니라 치료 중의 효율을 높이거나 예후를 판단하는 데까지 CT의 활용이 급증하였다. 특히 평판형 X선 검출기 기술 발달에 힘입어 소위 콘빔 CT라 불리는 시스템의 응용이 눈에 띄게 증가하였다.

이러한 컴퓨터 단층촬영(Computed Tomography: CT)은 비침습적으로 고해상도 인체 단면 영상을 획득하여 뼈와 장기, 혈관 등 인체 내부 조직을 관찰하는데 유용한 의료영상 기법이다.

과다한 CT 스캔이나 부주의한 CT 스캔 프로토콜 관리로 인하여, X선의 침습적 특성상 잠재적인 건강의 위험이 있을 수 있음이 보고되면서 의료계뿐만 아니라 일반 대중에도 CT 스캔에 따른 피폭 선량 문제가 큰 이슈가 되고 있다.

방사선 조사량을 줄이는 방안으로는 물리적으로 엑스선 조사선량을 줄이는 저선량(low-dose) 조사 방식과 엑스선 방사 횟수를 줄이는 희소 샘플링(sparsely sampled) 방식이 제안되었다. 그리고 희소 샘플링된 CT 데이터로부터 재구성된 영상에 첨가된 앨리어싱 아티팩트(aliasing artifact)를 줄이고자 하는 다양한 연구가 진행되었다.

Sparse-view CT는 방사선 노출 빈도를 줄여 환자에게 발생되는 피폭선량을 낮출 수 있는 가장 간단한 방법이다.

하지만, 노출 빈도를 줄이게 되면 환자에 투과되는 방사선량의 정보가 부족하여 영상을 받아들이는 신호부의 정보 손실이 발생된다. 이러한 정보손실은 영상의 진단이나 판독에 큰 문제를 줄 수 있을 뿐만 아니라, 또한 부족한 신호 및 정보로 영상을 재구성하였을 때 방향성을 가지는 영상 인공물을 초래할 수 있다.

즉, 희소 뷰 CT에서의 불충분한 프로젝션 뷰는 필터링-역투영(filtered-backprojection, FBP) 재구성에서 진단에 영향을 미칠 정도의 심한 인공물(streaking artifacts)을 생성하게 된다.

이에 발생된 인공물을 제거하고 손실된 정보를 보정하기 위한 구체적 방법이 필요하다.

이러한 영상의 인공물을 제거하기 위해서 보간법(Interpolation), 진보적인 영상 재구성 방법(예:adaptive-steepest-descent-projection-onto-convex-sets(ASD-POCS), Compressed sensing (CS))을 사용되고 있으나 복잡한 구조를 가지는 인공물을 정확하게 찾아서 보정하는 과정이 쉽지 않으며 정확한 영상을 복원하는데 한계가 있다.

또한, 반복적 재구성 방법이므로 영상의 재구성의 시간이 상대적으로 크게 된다는 문제점이 있다.

KR 공개특허공보 제10-2019-0102770호(2019.09.04)

이러한 문제점을 해결하기 위한 본 발명은 인공 신경망을 활용하여 보다 정확하고 편리하게 영상의 직선성 패턴(Streaking artifacts)을 제거할 수 있는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 고 선량으로 획득된 영상을 사이노그램(Full projections)에서 다운 샘플링하여 sparse-view CT 영상을 재구성하는 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크를 이용하여 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법을 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은 슬라이스당 0.4~0.5초로 시간적으로 높은 효율을 갖는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법을 제공하는 것을 또 다른 목적으로 한다.

그리고 본 발명은 DWT, IWT를 활용하고, 인공 신경망을 통해서 영상을 훈련시켜 인공물을 보정하여 원래 영상이 가지고 있는 정보를 이용하며 해상력을 유지시킬 수 있는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법을 제공하는 것을 또 다른 목적으로 한다.

이러한 과제를 해결하기 위한 본 발명의 일실시예에 의한 전산화 단층촬영(computed tomography) 영상의 인공물을 보정하기 위한 컴퓨터 단층영상 재구성 방법은, (a)저밀도 촬영 CT 영상(sparse-view CT 영상)을 획득하는 단계, (b)상기 sparse-view CT 영상을 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크에 입력하여 방향성인 직선성 패턴(Streaking artifacts)을 보정하여 획득하는 단계, 및 (c)상기 저밀도 촬영 CT 영상(sparse-view CT 영상)에서 상기 줄 인공물 영상을 마이너스하여 줄 인공물을 제거하는 단계를 포함하게 구성함으로써 달성될 수 있다.

또한, (b)단계는 (b-1)고선량으로 획득된 CT 영상을 사이노그램(Full projection)에서 다운 샘플링하여 저밀도 촬영 CT 영상(sparse-view CT 영상)으로 재구성하는 단계와, (b-2)상기 (b-1)단계에서 획득된 sparse-view CT 영상을 상기 원본 영상에서 마이너스하여 방향성을 갖는 영상인 직선성 패턴(Streaking artifacts)을 획득하는 단계, 및 (b-3)상기 (b-2)단계에서 획득된 영상을 출력값으로 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크를 통해서 학습된 조건에 따라서 줄 인공물 영상을 추출하는 단계를 포함하게 구성할 수도 있다.

또한, 상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는 상기 (b)단계에서 발생한 직선성 패턴(Streaking artifacts)을 노이즈 제거 CNN(Convolutional Neural Network)과 이산웨이브렛변환(DWT;discrete wavelet transform), 그리고 역웨이브렛 변환(IWT;Inverse wavelet transform)을 이용하여 학습되게 구성한다.

또한, 상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는 CNN과 DWT 그리고 IWT를 이용하여 sparse-view CT 영상에서 나타나는 직선성 패턴(Streaking artifacts)의 특징들을 학습할 수 있다.

또한, 상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 상기 프레임 조건을 만족하는 상기 학습 모델을 생성하고, 상기 학습 모델에 의해 학습된 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

따라서 본 발명의 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 의하면, 인공신경망을 활용한 환자에게 저 선량을 달성하기 위해 Sparse-view 방법으로 획득할 때 발생하는 직선성 패턴을 제거하여 진단효율을 높일 수 있다.

또한, 본 발명의 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 의하면, 광자계수기반의 디텍터에서 발생하는 부족한 보정이나 오작동에 의해 발생되는 현상을 인공 신경망을 활용하기 때문에 영상의 화질을 개선할 수 있는 효과가 있다.

또한, 본 발명의 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 의하면, 인공신경망을 활용한 직선성을 가지는 인공물 제거뿐만 아니라 다양한 진단 장치에 발생하는 인공물 제거에 도움을 줄 수 있다.

또한, 본 발명의 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 의하면, 인공 신경망을 활용하기 때문에 기존보다 빠른 스캔 시간의 컴퓨터 단층영상을 이용하여 면적이 넓은 흉부뿐만 아니라 무릎관절, 손등 뼈, 부비동, 유방 촬영 등 다른 신체에도 이용할 수 있는 효과가 있다.

또한, 본 발명의 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 의하면, 인공 신경망을 활용한 컴퓨터 단층영상시스템이기 때문에 의료 시장 진출을 위한 데이터베이스로 이용될 수 있으며, 국내 의료기기의 산업화 및 기술개발에 기여할 수 있는 효과가 있다..

또한, 본 발명의 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 의하면, 기존의 인공물을 제거하는 반복적 재구성방법에서는 계산 시간은 GPU를 사용하는 경우 약 60 내지 100초/슬라이스 인반면, 본 발명은 약 0.4 내지 0.5 초/슬라이스를 달성하여, 시간적으로 높은 효율을 가질 수 있다.

그리고 본 발명의 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법에 의하면, 기존 직선성 패턴 제거 방법은 원본 값을 주변 픽셀 값들의 보간값으로 대체하기 때문에, 원본 영상에 대한 정보 손실이 일어날 수 있으나, 본원 발명은 기존의 방법과는 DWT, IWT를 활용하였으며, 최신 의료영상기술로써 인공 신경망을 통해서 영상을 훈련시켜 인공물을 보정하여 원래 영상이 가지고 있는 정보를 이용하며 해상도를 유지시키는 효과가 있다.

도 1은 본 발명의 Sparse-view CT 재구성 방법의 프레임워크를 예시한 도면,
도 2는 Full projections을 이용한 Sparse-view CT 영상을 재구성하는 단계를 설명하기 위한 참고 도면,
도 3은 Sparse-view CT영상에서 나타나는 직선성 인공물의 feature들을 학습하는 과정과 관련된 도면,
도 4는 4레벨 웨이브렛을 이용한 인공물 feature 추출과정을 도시한 도면,
도 5는 원본영상에서 출력값을 얻는 방법을 설명하기 위한 도면,
도 6은 다중 레벨 웨이브렛 기반 U-Net구조의 인공지능 아키텍쳐를 예시한 도면,
도 7은 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법을 설명하기 위한 흐름도,
도 8은 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 장치의 구성도,
그리고
도 9는 여러 가지 방법으로 보정된 sparse-view CT영상을 예시한 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서 "및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.

명세서 전체에서 각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하, 도면을 참고하여 본 발명의 일실시예에 대하여 설명한다.

먼저, 본 발명은 Sparse-view CT 영상이 방사선 노출 빈도를 줄여 환자에 도달하는 방사선량을 줄일 수 있고, 영상획득 시간을 줄여주는 이점을 갖고 있으나, 노출 빈도 감소로 인하여 발생하는 영상의 줄 인공물(streaking artifacts)로 인해 진단에 문제가 발생할 수 있기 때문에 이를 인공지능으로 학습시킨 다음 Sparse-view CT 영상에서 줄 인공물이 제거된 재구성된 영상을 획득하게 하는 것이 하나의 특징이다.

도 7은 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법을 설명하기 위한 흐름도로서, 도면을 참고하면, 본 발명의 일실시예에 의한 전산화 단층촬영(computed tomography) 영상의 직선성 패턴을 보정하기 위한 컴퓨터 단층영상 재구성 방법은, 저밀도 촬영 CT 영상(sparse-view CT 영상)을 획득하는 단계(S110)와, sparse-view CT 영상을 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크에 입력하여 방향성인 직선성 패턴(Streaking artifacts)을 보정하여 획득하는 단계(S120, S130)와 저밀도 촬영 CT 영상(sparse-view CT 영상)에서 상기 직선성 패턴을 마이너스하여 직선성 패턴이 제거된 영상을 획득하는 단계(S140)를 포함한다.

단계 S110은 전산화 단층촬영(computed tomography) 영상에서 줄 인공물과 같은 직선성 패턴을 보정하기 위한 저밀도 촬영 CT 영상(이하, sparse-view CT 영상)을 획득한다.

하지만 노출 빈도를 줄이게 되면 환자에 투과되는 방사선량의 정보가 부족하여 영상을 받아들이는 신호부의 정보 손실이 발생된다. 이러한 정보손실은 영상의 진단이나 판독에 큰 문제를 줄 수 있을 뿐만 아니라, 또한 부족한 신호 및 정보로 영상을 재구성하였을 때 방향성을 가지는 직선성 패턴이 발생할 수 있다.

따라서, 단계110에서 획득된 Sparse-view CT는 직선성 패턴을 보정하기 위하여 인공지능 학습 네트워크로 입력된다(S120).

S120에서는 단계 S130에서의 직선성 패턴(Streaking artifacts)을 추출하기 위하여 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크로 입력된다.

본 발명의 인공지능 학습 네트워크는 Sparse-view CT에서 직선성 패턴(Streaking artifacts)을 추출하기 위하여 인공 신경망으로 학습된다.

도면을 참조하여 인공지능 학습 방법에 대하여 설명한다.

도 1은 본 발명 기반 Sparse-view CT 재구성 방법의 프레임워크로서, 먼저 고선량으로 획득된 영상을 사이노그램(Full projections)에서 다운 샘플링하여 Sparse-view CT 영상을 재구성한다.

이렇게 재구성된 영상은 Convolutional Neural Network(CNN), Discrete wavelet transform (DWT), Inverse wavelet transform (IWT)을 이용하여 sparse-view CT 영상에서 나타나는 직선성 패턴의 feature들을 학습하고, 잔여(residual) 학습에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 Sparse-view CT 데이터에 대한 직선성 패턴을 쉽게 추출할 수 있는 것이다.

도 2의 Full projections을 이용한 Sparse-view CT 영상을 재구성하는 단계를 설명하기 위한 참고 도면을 보면, Full projections을 이용하여 사이노그램(Full projections)에서 휘소 샘플링되고, 샘플링된 CT 영상은 여과후 역투영 FBP(Filtered BackProjection)를 이용하여 재구성하는 것이 도시되어 있다.

상기와 같이 재구성된 CT 영상은 인공물 feature 추출과정으로 진행된다.

도 4는 4레벨 웨이브렛을 이용한 인공물 feature 추출과정을 도시한 도면이고, 도 3은 Sparse-view CT영상에서 나타나는 직선성 인공물의 feature들을 학습하는 과정과 관련된 도면이다.

도면을 참고하면, 4레벨 웨이브렛 변형을 이용하여 줄 인공물인 직선성 패턴의 feature를 추출하는 과정에 관한 것으로, 컨볼루션 신경망(CNN;Convolutional Neural Network), 이산웨이브렛변환(DWT;Discrete wavelet transform), 역웨이브렛(IWT;Inverse wavelet transform)을 이용하여 sparse-view CT 영상에서 나타나는 직선성 인공물의 feature들을 학습하는 것으로, DWT와 IWT는 각 레벨마다 방향성을 가지고 있는 특징이 있어 방향성이 분명한 인공물에 대한 특징을 추출하기에 적합하다.

컨볼루션 신경망(convolutional neural network: 이하 CNN) 기법은 신경망(neural network)을 모델링하는 인공신경망 모델링 기법 하나로 특히 영상과 같은 2차원 입력 데이터의 패턴을 인식하고 추정하는데 유용한 기법으로 알려져 있다.

원본 영상을 이산웨이브렛변환(DWT;discrete wavelet transform)하여 4배수의 영상으로 분리하고, 분리된 영상을 역웨이브렛 변환(IWT;Inverse wavelet transform)하여 원본 영상으로 복원시키는 것이다.

도 3을 참고하면, 재구성된 Sparse-view CT영상을 컨볼루션 신경망(CNN; Convolutional Neural Network)을 통하여 노이즈를 제거하고, 노이즈가 제거된 512ch의 원본 영상을 1단계 DWT를 수행하면 사방 256ch의 4 화면으로, 2단계 DWT에서는 사방 128ch 16 화면으로 3단계에서는 사방 64ch의 64 화면 그리고 4단계에서는 사방 32ch의 256 화면으로 되면서 직선성 패턴의 특징을 추출하는 것이다.

즉, 원본 영상에서 Sparse-view CT영상을 제외하면 잔여물로 직선성 패턴(streaking artifacts)을 얻게 되고, 이를 출력값으로 학습시켜 방향성을 가지는 특징을 이용하여 인공지능 학습 수렴에 용이하게 사용하는 것이다(도 5 참고).

이렇게 만들어진 방향성을 가지는 직선성 패턴(streaking artifacts)은 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 신경망을 통해서 영상을 훈련시켜 개선하는 것이다.

도 6의 다중 레벨 웨이브렛 기반 U-Net구조의 인공지능 아키텍쳐를 예시한 도면을 참고하면, 저 선량을 가지는 Sparse-view CT 영상을 Input layer로 하여 내장된 최적화 알고리즘(ADAM optimization algorithm)을 이용하여 up and down sampling으로 DWT와 IWT를 사용하여 Output layer로 직선성 패턴(Streaking artifacts)을 갖는 영상을 출력하고, 이렇게 해서 얻어진 출력 영상을 Input layer에 들어간 영상에서 빼주면 아티팩트가 제거된 영상을 만들 수 있는 것이다.

즉, 본 발명의 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는 CNN과 DWT 그리고 IWT를 이용하여 sparse-view CT 영상에서 나타나는 직선성 패턴(Streaking artifacts)의 특징들을 학습시키는 것이다.

다시 말하면, 본 발명의 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 상기 프레임 조건을 만족하는 상기 학습 모델을 생성하고, 상기 학습 모델에 의해 학습된 뉴럴 네트워크가 포함된다.

도 6에 도시된 바와 같이, 각 네트워크는 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 연쇄를 가진 경로 연결을 포함한다.

특히, 각 스테이지는 4 × 4 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함한다. 마지막 스테이지는 두 개의 순차적인 레이어들과 마지막 레이어를 포함하며, 마지막 레이어는 1 × 1 커널을 갖는 컨볼루션만을 포함한다. 각 컨볼루션 레이어에 대한 채널 수는 도 6에 도시되어 있으며, 각 풀링 레이어 후에 채널 수는 두 배가 된다.

본 발명의 장치에서 줄 인공물과 같은 직선성 패턴을 추출하기 위해 사용되는 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는 컨볼루션 프레임렛(convolution framelet)기반의 수학적 해석을 통해 프레임 조건을 만족하는 학습 모델을 생성하고, 학습 모델에 의해 학습된 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

또한, 뉴럴 네트워크는 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

도 9의 여러 가지 방법으로 보정된 sparse-view CT영상을 예시한 도면을 참고하면, 원본 영상을 60장으로 하여 재구성된 parse-view CT영상에서 여러 가지 방법으로 보정된 영상이 예시되어 있다.

좌측영상부터 기준영상(Reference), 60view, 보간법(Interpolation), 진보적인 영상 재구성 방법(예:adaptive-steepest-descent-projection-onto-convex-sets(ASD-POCS), U-net, 본 발명의 MWCNN에 의한 보정된 영상이 예시되어 있다.

도 8은 본 발명의 일 실시예에 따른 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 장치의 구성을 도시한 것이다.

도면을 참고하면, 본 발명의 일 실시예에 따른 컴퓨터 단층영상 재구성 장치(100)는 수신부(110), 영상처리부(120), 직선성 패턴이 제거된 영상을 출력하는 출력부(130)를 포함한다.

수신부(110)는 희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신한다.

영상처리부(120)는 미리 설정된 프레임 조건을 만족하며 컨볼루션 프레임렛(convolution framelet) 기반의 학습 모델에 대한 뉴럴 네트워크를 이용하여 희소 뷰 전산단층(sparse-view CT) 촬영 데이터에 대한 직선성 패턴을 찾아내어 원본영상에서 이를 마이너스하여 직선성 패턴이 제거된 영상을 재구성하는 것이다.

이는 직선성 패턴이 방향성을 갖고 있기 때문에 인공지능 학습 수렴에 용이하기 때문이다.

이를 위하여 영상처리부(120)는 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크를 통하여 직선성 패턴에 대한 특징을 추출하도록 학습시키는 것이다.

즉, 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는 고선량으로 획득된 영상을 사이노그램(Full projections)에서 다운 샘플링하여 저밀도 촬영 CT 영상(sparse-view CT 영상)으로 재구성하고, 재구성된 sparse-view CT 영상을 상기 원본 영상에서 마이너스하여 방향성을 갖는 영상인 직선성 패턴(Streaking artifacts)을 획득하고, 획득된 영상을 출력값으로 학습시켜 방향성을 가지는 직선성 패턴의 특징을 이용하여 학습하는 것이다.

그 구체적인 방법은 상술한 내용들을 참고하면 된다.

결국 영상처리부(120)는 프레임 조건을 만족하며 잔여(residual) 학습에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 데이터에 대한 직선성 패턴을 쉽게 추출할 수 있는 것이다.

비록, 도 8의 장치에서 그 설명이 생략되었더라도, 도 8을 구성하는 각 구성 수단은 도 1 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 본 발명은 기재된 구체예에 대하여 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.

100 : 컴퓨터 단층영상 재구성 장치
110 : 수신부
120 : 영상처리부
130 : 출력부

Claims

전산화 단층촬영(computed tomography) 영상의 인공물을 보정하기 위한 컴퓨터 단층영상 재구성 방법에 있어서,
(a)저밀도 촬영 CT 영상(sparse-view CT 영상)을 획득하는 단계;
(b)상기 sparse-view CT 영상을 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크에 입력하여 방향성인 줄 인공물 영상(Streaking artifacts)을 보정하여 획득하는 단계;및
(c)상기 저밀도 촬영 CT 영상(sparse-view CT 영상)에서 상기 줄 인공물 영상을 마이너스하여 줄 인공물을 제거하는 단계;
를 포함하고,
상기 (b)단계는
(b-1)고선량으로 획득된 CT 영상을 사이노그램(Full projection)에서 다운 샘플링하여 저밀도 촬영 CT 영상(sparse-view CT 영상)으로 재구성하는 단계;
(b-2)상기 (b-1)단계에서 획득된 sparse-view CT 영상을 원본 영상에서 마이너스하여 방향성을 갖는 영상인 줄 인공물 영상(Streaking artifacts)을 획득하는 단계;및
(b-3)상기 (b-2)단계에서 획득된 영상을 출력값으로 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크를 통해서 학습된 조건에 따라서 줄 인공물 영상을 추출하는 단계;
를 포함하고,
상기 (c)단계는
sparse-view CT 영상을 여과 후 역투영 FBP(filtered backprojection)를 이용하여 이미지를 재구성하고, 이로 인해 발생하는 줄 인공물 영상(Streaking artifacts)을 원본 영상에서 마이너스하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.
삭제
삭제
청구항 1에 있어서,
상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는
상기 (b)단계에서 발생한 직선성 패턴(Streaking artifacts)을 노이즈 제거 CNN(Convolutional Neural Network)과 이산웨이브렛변환(DWT;discrete wavelet transform), 그리고 역웨이브렛 변환(IWT;Inverse wavelet transform)을 이용하여 학습되는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.
청구항 1에 있어서,
상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는
CNN과 DWT 그리고 IWT를 이용하여 sparse-view CT 영상에서 나타나는 직선성 패턴(Streaking artifacts)의 특징들을 학습하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.
청구항 1에 있어서,
상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는
컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 프레임 조건을 만족하는 학습 모델을 생성하고, 상기 학습 모델에 의해 학습된 뉴럴 네트워크를 포함하는 것을 특징으로 하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.
청구항 1에 있어서,
상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는
풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.
청구항 1에 있어서,
상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는
4레벨 웨이브렛 변형을 이용하여 줄 인공물 영상(Streaking artifacts)을 출력하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.
청구항 1에 있어서,
상기 다중 레벨 웨이브렛 기반 U-Net 구조의 인공 지능 학습 네트워크는
저 선량을 가지는 Sparse-view CT 영상을 Input layer로 하여 내장된 최적화 알고리즘(ADAM optimization algorithm)을 이용하여 up and down sampling으로 DWT와 IWT를 사용하여 Output layer로 직선성 패턴(Streaking artifacts)을 갖는 영상을 출력하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.
청구항 9에 있어서,
상기 직선성 패턴(Streaking artifacts)을 갖는 영상을 input layer에 들어간 영상에서 다시 빼주면 아티펙트가 제거된 영상을 생성하여 출력하는 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법.