KR20190086338A

KR20190086338A - 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치

Info

Publication number: KR20190086338A
Application number: KR1020180041965A
Authority: KR
Inventors: 예종철; 강은희
Original assignee: 한국과학기술원
Priority date: 2018-01-12
Filing date: 2018-04-11
Publication date: 2019-07-22
Also published as: KR102061967B1

Abstract

뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 복원 방법은 저 선량 엑스선 전산단층 촬영 데이터를 수신하는 단계; 미리 설정된 해석적 알고리즘을 이용하여 상기 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득하는 단계; 및 상기 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크를 이용하여 노이즈가 제거된 최종 영상을 복원하는 단계를 포함한다.

Description

뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치{METHOD FOR PROCESSING X-RAY COMPUTED TOMOGRAPHY IMAGE USING ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREFOR}

본 발명은 뉴럴 네트워크를 이용한 영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 노이즈가 포함된 엑스선 전산단층 촬영 영상을 고화질의 영상으로 복원할 수 있는 방법 및 그 장치에 관한 것이다.

엑스선 전산단층(X-ray Computed Tomography) 촬영법은 엑스선을 인체에 투과시켜 나온 엑스선을 수집하여 인체 내부 영상을 고화질로 얻을 수 있는 기술이다. 하지만 엑스선을 이용하면 피폭될 확률이 높아져 암을 발병시킬 원인이 될 수 있다. 이에 따라 피폭량을 감소시키는 저 선량 전산단층 촬영법이 개발되었다. 저 선량 전산단층 촬영법은 엑스선 조사량을 축소하여 피폭량을 감소시키는 방법과 엑스선 조사횟수를 줄여 피폭량을 감소시키는 방법이 있다. 저 선량 전산단층 촬영된 영상 신호에는 포아송(Poisson) 분포를 따르는 노이즈(noise)가 포함되어 있거나 일부 정보가 손실되어 있다. 이를 기존의 방법으로 복원하면 복원 영상에 노이즈가 포함되어 있어 인체 내부의 상태를 파악하기 어려운 문제점이 있다.

저 선량 전산단층 촬영 복원 영상에 포함된 노이즈는 크게 두 가지로 나눌 수 있다. 엑스선 조사량을 축소하여 촬영하면 발생하는 가우시안(Gaussian), 포아송 분포를 따르는 국소(local) 노이즈와 엑스선 조사횟수를 줄여 촬영하면 발생하는 선형 아티펙트(streaking artifact)와 같은 비국소(non-local) 노이즈가 존재한다. 노이즈가 제거된 고화질 복원 영상을 얻기 위해서 반복적 복원기법(iterative reconstruction algorithm)이 사용되고 있다. 특히, 모델 기반 반복적 복원기법(model based iterative reconstruction, MBIR)이 대표적이며, 이는 전산단층 촬영 시스템을 수학적으로 모델링하여 반복적으로 복원하는 기법을 말한다. 또한, 대량의 데이터를 바탕으로 지도학습(supervised learning)된 뉴럴 네트워크를 통해 노이즈 성분을 제거하는 방식도 존재한다.

본 발명의 실시예들은, 저 선량 전산단층 촬영 영상에 노이즈가 존재하거나 일부 정보가 소실되었을 경우, 뉴럴 네트워크를 이용하여 고화질의 영상을 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.

본 발명의 실시예들은, 컨볼루션 프레임렛(convolution framelet)에 기반한 뉴럴 네트워크를 이용하는 영상 처리 방법 및 그 장치를 제공한다.

구체적으로, 본 발명의 실시예들은 프레임렛 기반 노이즈 제거 알고리즘에, 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 적용하여 기존의 뉴럴 네트워크 기반 노이즈 제거 알고리즘의 한계를 극복할 수 있는 영상 처리 방법 및 그 장치를 제공한다.

본 발명의 실시예들은, 컨볼루션 프레임렛에 따른 국소 기저(local basis)와 비국소 기저(non-local basis)를 이용하여 뉴럴 네트워크를 구성함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있는 영상 처리 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 영상 복원 방법은 저 선량 엑스선 전산단층 촬영 데이터를 수신하는 단계; 미리 설정된 해석적 알고리즘을 이용하여 상기 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득하는 단계; 및 상기 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크를 이용하여 노이즈가 제거된 최종 영상을 복원하는 단계를 포함한다.

상기 최종 영상을 복원하는 단계는 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 최종 영상을 복원할 수 있다.

상기 최종 영상을 복원하는 단계는 상기 뉴럴 네트워크에 컨볼루션 프레임렛(convolution framelet)을 적용하여 상기 노이즈가 제거된 최종 영상을 복원할 수 있다.

상기 최종 영상을 복원하는 단계는 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 복원하고, 상기 복원한 영상에 대하여 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 업데이트하는 과정을 반복 수행함으로써, 상기 최종 영상을 복원할 수 있다.

상기 초기 복원 영상을 획득하는 단계는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘를 포함하는 해석적 알고리즘을 이용하여 상기 초기 복원 영상을 획득할 수 있다.

상기 최종 영상을 복원하는 단계는 상기 초기 복원 영상을 미리 설정된 서로 다른 영역의 신호들로 변환하는 단계; 국소 기저와 비선형 함수를 이용하여 상기 변환된 신호의 계수들을 조정하는 단계; 듀얼 기저 벡터들을 이용하여 상기 조정된 계수들을 복원하는 단계; 및 상기 다른 영역에 대응하는 복원된 계수들을 이용하여 상기 최종 영상으로 역변환하는 단계를 포함할 수 있다.

상기 최종 영상을 복원하는 단계는 컨볼루션 뉴럴 네트워크(CNN; convolution neural network)를 이용하여 상기 노이즈가 제거된 최종 영상을 복원할 수 있다.

상기 서로 다른 영역의 신호들로 변환하는 단계는 상기 초기 복원 영상에 비국소 기저 변환을 적용하여 다중 특징 신호들로 변환할 수 있다.

상기 서로 다른 영역의 신호들로 변환하는 단계는 상기 초기 복원 영상에 웨이블렛 변환(wavelet transform), 이산 코사인 변환(discrete cosine transform)과 푸리에 변환 중 적어도 하나를 적용함으로써, 상기 초기 복원 영상을 노이즈의 방향성 성분이 서로 다른 주파수대역으로 변환할 수 있다.

본 발명의 다른 일 실시예에 따른 영상 복원 방법은 저 선량 엑스선 전산단층 촬영 데이터를 수신하는 단계; 미리 설정된 해석적 알고리즘을 이용하여 상기 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득하는 단계; 및 상기 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 노이즈가 제거된 최종 영상을 복원하는 단계를 포함한다.

상기 뉴럴 네트워크는 인코딩 파트와 디코딩 파트가 대칭 구조로 이루어질 수 있다.

본 발명의 일 실시예에 따른 영상 복원 장치는 저 선량 엑스선 전산단층 촬영 데이터를 수신하는 수신부; 미리 설정된 해석적 알고리즘을 이용하여 상기 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득하는 획득부; 및 상기 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크를 이용하여 노이즈가 제거된 최종 영상을 복원하는 복원부를 포함한다.

상기 복원부는 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 최종 영상을 복원할 수 있다.

상기 복원부는 상기 뉴럴 네트워크에 컨볼루션 프레임렛(convolution framelet)을 적용하여 상기 노이즈가 제거된 최종 영상을 복원할 수 있다.

상기 복원부는 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 복원하고, 상기 복원한 영상에 대하여 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 업데이트하는 과정을 반복 수행함으로써, 상기 최종 영상을 복원할 수 있다.

상기 획득부는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘를 포함하는 해석적 알고리즘을 이용하여 상기 초기 복원 영상을 획득할 수 있다.

상기 복원부는 상기 초기 복원 영상을 미리 설정된 서로 다른 영역의 신호들로 변환하고, 국소 기저와 비선형 함수를 이용하여 상기 변환된 신호의 계수들을 조정하며, 듀얼 기저 벡터들을 이용하여 상기 조정된 계수들을 복원하고, 상기 다른 영역에 대응하는 복원된 계수들을 이용하여 상기 최종 영상으로 역변환할 수 있다.

상기 복원부는 컨볼루션 뉴럴 네트워크(CNN; convolution neural network)를 이용하여 상기 노이즈가 제거된 최종 영상을 복원할 수 있다.

상기 복원부는 상기 초기 복원 영상에 비국소 기저 변환을 적용하여 다중 특징 신호들로 변환할 수 있다.

상기 복원부는 상기 초기 복원 영상에 웨이블렛 변환(wavelet transform)을 적용함으로써, 상기 초기 복원 영상을 노이즈의 방향성 성분이 서로 다른 주파수대역으로 변환할 수 있다.

본 발명의 실시예들에 따르면, 프레임렛 기반 노이즈 제거 알고리즘에, 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 적용하여 기존의 뉴럴 네트워크 기반 노이즈 제거 알고리즘의 한계를 극복하고, 고화질의 영상을 빠르게 복원할 수 있다.

본 발명의 실시예들에 따르면, 뉴럴 네트워크와 프레임렛 기반 노이즈 제거 알고리즘을 이용함으로써, 각각 따로 수행하는 것에 비해 향상된 복원 성능을 얻을 수 있다.

본 발명의 실시예들에 따르면, 컨볼루션 프레임렛(convolutional framelet)에 따라 구성한 뉴럴 네트워크를 이용하여 영상을 복원함으로써, 복원 성능을 향상시키고 복원 시간을 줄일 수 있다.

본 발명의 실시예들에 따르면, 임의의 차수의 신호에 적용 가능한 변환 및 역변환과 뉴럴 네트워크를 이용함으로써, 범용적인 신호복원도 가능하다.

도 1은 본 발명의 일 실시예에 따른 영상 복원 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 학습된 뉴럴 네트워크를 이용하여 영상을 복원하는 과정에 대한 일 실시예 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 다른 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 컨볼루션 프레임렛에 기반한 뉴럴 네트워크 및 확장된 뉴럴 네트워크를 나타낸 것이다.
도 5는 본 발명의 뉴럴 네트워크를 이용하여 영상을 처리하는 과정에 대한 일 예시도를 나타낸 것이다.
도 6은 본 발명에 따른 정상 영상, 노이즈가 포함된 입력 영상 및 노이즈가 제거된 출력 영상에 대한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 복원 방법의 효율성을 나타낸 일 예시도이다.
도 8은 본 발명의 일 실시예에 따른 영상 복원 장치에 대한 구성을 나타낸 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명의 실시예들은, 프레임렛 기반 노이즈 제거 알고리즘에, 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 적용하여 기존의 뉴럴 네트워크 기반 노이즈 제거 알고리즘의 한계를 극복하고, 노이즈가 포함된 엑스선 전산단층 촬영 영상을 고화질의 영상으로 복원하는 것을 그 요지로 한다.

여기서, 본 발명은 뉴럴 네트워크를 컨볼루션 프레임렛 일종으로 볼 수 있기 때문에 프레임렛 기반 노이즈 제거 알고리즘을 뉴럴 네트워크에 적용함으로써, 노이즈가 포함된 엑스선 전산단층 촬영 영상을 고화질의 영상으로 복원할 수 있다.

이와 같이, 뉴럴 네트워크와 프레임렛 기반 노이즈 제거 알고리즘을 결합한 본 발명에 대하여 도 1 내지 도 8을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 복원 방법에 대한 동작 흐름도를 나타낸 것이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 복원 방법은 전산단층 촬영 데이터(프로젝션)을 수신하고, 수신된 전산단층 촬영 데이터에 해석적 알고리즘을 적용하여 초기 복원 영상을 계산한다(110, 120).

여기서, 해석적 알고리즘은 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함할 수 있으며, 이외에도 단층영상을 복원할 수 있는 모든 알고리즘을 포함한다.

단계 110에서 수신하는 전산 단층 촬영 데이터는 저 선량 엑스선 전산단층 촬영 데이터를 포함할 수 있다.

이후 반복되는 영상 처리 과정이 시작되는데, 반복되는 영상 처리 과정은 노이즈를 제거하는 처리 과정으로 고화질의 영상을 복원하는 과정일 수 있다.

단계 120에 의해 초기 복원 영상이 계산되면 미리 학습된 뉴럴 네트워크를 이용하여 초기 복원 영상에 대하여 노이즈가 제거된 복원영상을 계산하고, 초기 복원 영상과의 평균값을 계산한다(130, 140).

단계 140에 의하여 초기 복원 영상과 노이즈가 제거된 복원 영상의 평균 값이 계산되면 계산된 평균 값에 기초하여 노이즈가 제거된 복원 영상이 수렴했는지 판단하고, 노이즈가 제거된 복원 영상이 수렴된 것으로 판단되면 프로세스를 종료하며, 노이즈가 제거된 복원 영상이 수렴되지 않은 것으로 판단되면 복원영상을 업데이트한다(150, 160).

이 때, 전산단층 촬영 시스템은 복원 영상이 업데이트 됨에 따라 단계 130 내지 단계 160의 과정을 노이즈가 제거된 복원 영상이 수렴될 때까지 반복적으로 수행한다.

본 발명에서는 학습된 뉴럴 네트워크를 이용하여 독립적으로 전산단층 촬영 시스템의 영상을 복원할 수 있다. 또한, 이는 일 실시예에서 사용하는 학습된 뉴럴 네트워크로 적용될 수 있다.

도 2는 학습된 뉴럴 네트워크를 이용하여 영상을 복원하는 과정에 대한 일 실시예 동작 흐름도를 나타낸 것으로, 단계 230 내지 260의 과정은 도 1에 도시된 단계 130에 대한 일 실시예 동작 흐름도로 볼 수 있다.

도 2를 참조하면, 학습된 뉴럴 네트워크를 이용하여 영상을 복원하는 과정은 전산단층 촬영 데이터(프로젝션)을 수신하고, 수신된 전산단층 촬영 데이터에 해석적 알고리즘을 적용하여 초기 복원 영상을 계산(또는 획득)한다(210, 220).

단계 220에 의해 초기 복원 영상이 계산되면 입력 영상 즉, 계산된 초기 복원 영상을 서로 다른 영역의 신호들로 변환한다(230).

일례로, 영상 처리 장치는 비국소 기저 변환 예를 들어, 웨이블렛 변환(wavelet transform)을 이용하여 입력 영상을 서로 다른 영역에 대응하는 신호들로 분해할 수 있다. 즉, 영상 처리 장치는 웨이블렛 변환(wavelet transform)을 이용하여 입력 영상을 노이즈의 방향성 숭분이 서로 다른 주파수 대역으로 변환할 수 있다. 웨이블렛 변환은 입력 영상에 포함된 노이즈의 특성이 잘 드러나게 해주며, 역변환이 가능한 것이다. 예를 들면, 웨이블렛 변환은 코사인 변환(cosine transform), 사인 변환(sine transform), 푸리에 변환(Fourier transform) 등의 기법들을 포함할 수 있다. 이는 1차원 신호 외에도 2차원 이상의 변환에 적용 가능하다.

여기서, 서로 다른 영역에 대응하는 신호들은 다중 특징 신호들을 의미할 수 있으며, 비국소 기저 변환은 특정 신호의 계수 성분을 신호의 손실없이 다중 특징 신호로 변환할 수 있다.

단계 230에 입력 영상이 서로 다른 영역의 신호들로 변환되면 영상 처리 장치는 미리 학습된 기저 벡터들을 가지는 뉴럴 네트워크를 적용하여 변환된 신호의 계수들을 조정하고 미리 학습된 듀얼 기저 벡터들을 가지는 뉴럴 네트워크를 이용하여 조정된 계수들을 복원한다(240, 250). 예를 들어, 영상 처리 장치는 뉴럴 네트워크를 이용하여 국소적 또는 비국소적으로 변환된 신호의 계수를 조정 및 복원할 수 있다.

이 때, 단계 240은 국소 기저와 비선형 함수를 이용하여 변환된 신호의 계수들을 조정하는 단계로, 특정 신호의 계수 성분에 포함된 국소 노이즈 또는 비국소 노이즈를 제거하는 단계일 수 있으며, 단계 250은 나머지 신호 계수들의 손실된 성분을 복원하는 단계일 수 있다.

여기서, 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN; convolution neural network)를 포함할 수 있다.

뉴럴 네트워크는 다양한 레이어(layer)로 구성되어 있으며, 여기서 레이어는 컨볼루션 레이어, 비선형 레이어를 포함한다. 또한, 뉴럴 네트워크는 배치 정규화(batch normalization) 레이어를 포함하여 평준화 연산을 수행할 수 있다. 이 외에도 복수의 레이어들의 출력 결과를 결합하는 채널 결합 레이어(channel concatenation layer)와 이전의 출력 결과를 합하는 통과 및 합 레이어(residual sum layer)가 포함될 수 있다.

단계 250에 의해 서로 다른 영역의 신호들 각각에 대하여 계수들이 복원되면 뉴럴 네트워크를 적용하여 복원된 서로 다른 영역에 대응되는 신호의 계수들을 출력 영상으로 역변환한다(260).

여기서, 단계 260은 복원된 서로 다른 영역에 대응되는 신호의 계수들을 비국소 기저 역변환을 이용하여 결과 영상으로 복원할 수 있다. 예컨대, 단계 260은 특정 신호의 계수 성분을 비국소 기저 역변환을 적용하는 최종 결과 영상으로 변환할 수 있다.

본 발명에 의하면, 컨볼루션 프레임렛은 뉴럴 네트워크를 해석적으로 분석할 수 있다. 일 실시예에 따르면 뉴럴 네트워크는 컨볼루션 프레임렛에 기반하여 구성할 수 있다. 구체적으로, 컨볼루션 프레임렛은 입력 신호를 국소 기저, 비국소 기저로 표현함으로써 다양한 경우에 대하여 적합한 뉴럴 네트워크의 형태를 구성 및 분석할 수 있다. 프레임렛 기반 노이즈 제거 알고리즘은 성능과 수렴도가 증명되어 있다.

도 3은 본 발명의 다른 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것으로, 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 영상을 복원하는 과정에 대한 동작 흐름도를 나타낸 것이다.

도 3을 참조하면, 본 발명에 따른 영상 처리 방법은 학습된 뉴럴 네트워크를 이용하여 영상을 복원하는 과정은 전산단층 촬영 데이터(프로젝션)을 수신하고, 수신된 전산단층 촬영 데이터에 해석적 알고리즘을 적용하여 초기 복원 영상을 계산한다(310, 320).

단계 320에 의해 초기 복원 영상이 계산되면 입력 영상 즉, 계산된 초기 복원 영상에 프레임(Frame)을 적용하여 다중 특징 신호로 변환한다(330).

단계 330에 의해 초기 복원 영상이 프레임에 의해 다중 특징 신호로 변환되면 변환된 다중 특징 신호에 비선형 함수인 soft-thresholding 함수를 적용한 후 듀얼 프레임을 적용하여 초기 복원 영상과의 평균값을 계산한다(340 내지 360).

단계 360에 의하여 초기 복원 영상과 노이즈가 제거된 복원 영상의 평균 값이 계산되면 계산된 평균 값에 기초하여 프레임렛 기반 노이즈 제거 알고리즘에 의해 노이즈가 제거된 복원 영상이 수렴했는지 판단하고, 노이즈가 제거된 복원 영상이 수렴된 것으로 판단되면 프로세스를 종료하며, 노이즈가 제거된 복원 영상이 수렴되지 않은 것으로 판단되면 복원영상을 업데이트한다(370, 380).

이 때, 전산단층 촬영 시스템은 복원 영상이 업데이트 됨에 따라 단계 330 내지 단계 380의 과정을 프레임렛 기반 노이즈 제거 알고리즘에 의해 노이즈가 제거된 복원 영상이 수렴될 때까지 반복적으로 수행한다. 즉, 전산단층 촬영 시스템은 프레임렛과 비선형 함수를 반복적으로 수행하여 노이즈가 제거된 복원 영상을 출력할 수 있으며, 컨볼루션 프레임렛을 이용하여 노이즈가 제거된 복원 영상을 출력할 수 있다.

이런 프레임렛 기반 노이즈 제거 알고리즘에 대해 조금 더 설명하면 다음과 같다.

프레임은 아래 <수학식 1>과 같은 조건을 만족하는 기저 벡터(

)를 말한다.

[수학식 1]

여기서, f는 노이즈가 제거된 영상을 의미하고,

는 프레임 바운드(frame bounds)를 의미할 수 있다.

원 신호의 복원은 듀얼 프레임

를 이용한 프레임 계수

로부터 이루어질 수 있으며, 듀얼 프레임

는

이기 때문에

인 프레임 조건을 만족할 수 있다. 여기서,

는 합성 연산자(synthesis operator)를 의미하고, T는 에르미트 전치(Hermitian Transpose)를 의미할 수 있다.

프레임렛 기반 노이즈 제거 알고리즘은 아래의 문제를 해결하는 기법을 말하는 것으로, 먼저 전산단층 촬영 초기 복원 영상을 아래 <수학식 2>와 같이 모델링 할 수 있다.

[수학식 2]

여기서,

는 노이즈가 포함된 전산단층 촬영 초기 복원 영상을 의미하고,

는 노이즈를 의미할 수 있다.

는 아래 <수학식 3>과 같은 최소화 문제(minimization problem)를 정의하여 구할 수 있다.

[수학식 3]

여기서,

는 정규화 파라미터(regularization parameters)를 의미할 수 있다.

상기 수학식 3은 아래 <수학식 4>와 같이

를 반복적으로 업데이트함으로써, 최종 결과를 얻을 수 있다.

[수학식 4]

여기서,

는 상수를 의미하고,

와

는 프레임과 듀얼 프레임을 의미하며,

는 비선형 함수인 soft-thresholding 함수(또는 연산자)를 의미하는 것으로, 임계값

를 가질 수 있고, fn은 n번째 업데이트를 의미할 수 있다.

상기 수학식 4를 통해 알 수 있듯이, 프레임과 듀얼 프레임 그리고 비선형 함수인 soft-thresholding을 적용하고, 이를 반복적으로 업데이트함으로써, 프레임렛 기반 노이즈 제거 알고리즘에 의하여 고화질의 영상을 복원할 수 있다.

도 4는 본 발명의 일 실시예에 따른 컨볼루션 프레임렛에 기반한 뉴럴 네트워크 및 확장된 뉴럴 네트워크를 나타낸 것이다.

컨볼루션 프레임렛은 상술한 프레임렛과 유사하게 입력신호

에 대하여 국소 기저(

)와 비국소 기저 (

)를 이용하여 표현한 것으로, 아래 <수학식 5>와 같이 나타낼 수 있다.

[수학식 5]

여기서,

는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하고,

는 국소 기저 벡터를 가지는 선형 변환 연산을 의미할 수 있다.

이 때, 국소 기저 벡터와 비국소 기저 벡터는 각각 서로 직교하는 듀얼 기저 벡터

와

를 가질 수 있으며, 기저 벡터들의 직교 관계는 아래 <수학식 6>과 같이 정의될 수 있다.

[수학식 6]

상기 수학식 6을 이용하면 컨볼루션 프레임렛은 아래 <수학식 7>과 같이 표현할 수 있다.

[수학식 7]

여기서,

는 한켈 행렬 연산(Hankel matrix operator)을 의미하는 것으로, 컨볼루션 연산을 행렬곱(matrix multiplication)으로 표현할 수 있게 해주며,

는 국소 기저와 비국소 기저에 의하여 변환된 신호인 컨볼루션 프레임렛 계수(convolution framelet coefficient)를 의미할 수 있다.

컨볼루션 프레임렛 계수

는 듀얼 기저 벡터

를 적용하여 본래의 신호로 복원될 수 있다. 복원 과정은 아래 <수학식 8>과 같이 나타낼 수 있다.

[수학식 8]

도 4에서 410은 국소 기저 벡터와 듀얼 국소 기저 벡터로 구성된 하나의 레이어로 이루어진 뉴럴 네트워크를 나타낸 것이며, 420은 컨볼루션 프레임렛에 기반한 확장된 뉴럴 네트워크를 나타낸 것으로 인코딩 파트와 디코딩 파트가 대칭 구조(symmetric architecture)로 이루어질 수 있다. 따라서 뉴럴 네트워크가 국소 기저와 듀얼 국소 기저 벡터의 의미를 가지고 있으므로, 이를 프레임렛 기반 노이즈 제거 알고리즘에 적용할 수 있다.

뉴럴 네트워크 예를 들어, 재귀 뉴럴 네트워크(RNN; recursive neural network)를 프레임렛 기반 노이즈 제거 알고리즘에 적용하면 상기 수학식 4를 아래 <수학식 9>와 같이 변경할 수 있다.

[수학식 9]

.

여기서,

는 학습된 뉴럴 네트워크를 의미할 수 있다.

본 발명은 프레임 기반 노이즈 제거를 최적으로 수행하기 위하여, 프레임 기반은 좋은 에너지 압축 특성(energy compaction properties)를 가져야 한다.

도 4의 430에는 채널 결합 레이어가 표현되어 있으며, 이를 컨볼루션 프레임렛으로 표현할 수 있다. 여기서, 도 4의 430은 인코딩 파트의 출력을 채널 결합한 후 싱글 멀티 채널 컨볼루션을 사용하여 디코딩을 수행할 수 있다. 네트워크를 구성하는 컨볼루션 레이어의 결과(

)는 아래 <수학식 10>과 같이 나타낼 수 있고, 채널 결합 레이어는 아래 <수학식 11>과 같이 나타낼 수 있다.

[수학식 10]

[수학식 11]

상기 수학식 11을 통해 알 수 있듯이, 채널 결합 레이어의 경우, 신호 확대 효과(signal boosting effect)를 가져온다는 것을 알 수 있다.

도 5는 본 발명의 뉴럴 네트워크를 이용하여 영상을 처리하는 과정에 대한 일 예시도를 나타낸 것으로, 도 5에 도시된 바와 같이 영상 처리 과정은 입력 영상에 비국소 기저인 웨이블렛 변환을 적용하여 서로 다른 주파수 영역의 신호로 분리한 후, 학습된 뉴럴 네트워크를 구성하는 국소 기저와 듀얼 국소 기저를 적용하여 분리된 신호들을 조정 및 복원한다. 또한, 채널 결합 레이어와 통과 및 합 레이어가 적용될 수 있다.

도 5를 참조하면, 본 발명에서의 컨볼루션 프레임렛 기반의 뉴럴 네트워크는 세 개의 유니크 요소(unique components) 즉, 컨투어렛 변환(contourlet transform), 연쇄(또는 결합)(concatenation) 그리고 스킵된 연결(또는 바이패스 연결)(skipped connection)을 포함한다. 즉, 본 발명에서의 컨볼루션 프레임렛 기반의 뉴럴 네트워크는 기존 네트워크 구조에서 확장된 형태를 가지며, 기존 뉴럴 네트워크 구조에서 각 서브밴드에 잔여 레이어(residual layer)를 포함한 구조를 가진다. 이와 같이, 본 발명에서의 뉴럴 네트워크 구조(또는 아키텍쳐)는 딥 컨볼루션 프레임렛의 이론에 기반한 뉴럴 네트워크이다.

컨투어렛 변환은 서브샘플되지 않은(non-subsampled) 컨투어렛 변환으로, 15개의 채널 입력을 생성하는데, 해당 구성의 필터 뱅크에서 다운 샘플링이나 업 샘플링을 하지 않는다. 컨투어렛 변환은 4 레벨 분해와 전체 15 밴드(또는 채널)를 생성할 수 있도록 각 레벨에서 8, 4, 2, 1 분리(seperation)을 사용할 수 있다. 첫 번째 컨볼루션 레이어는 3 x 3 x 15 컨볼루션 커널을 이용하여 128 개의 채널 특성 맵을 생성한다. 쉬프트 불변 컨투어렛 변환은 패치 프로세싱을 수행하는데, 55 x 55 x 15 패치를 사용할 수 있다. 마지막 컨투어렛 계수는 패치 평균을 통해 획득될 수 있다. 또한, 본 발명의 뉴럴 네트워크 구조는 ReLU(Rectified Linear Unit)를 사용하여 135 x 2 = 270개까지 증가시킬 수 있으며, 이러한 구조 즉, 128개 보다 더 큰 270개의 출력 채널을 바탕으로 영상을 완벽하게 복원하기 위한 충분한 조건을 만족시킬 수 있다. 첫 번째 레이어는 첫 번째 레이어 행켈 행렬의 저 순위 근사를 수행하고, 그 다음 컨볼루션 레이어들은 3 x 3 x 128 컨볼루션 커널들을 사용함으로써, 확장된 행켈 행렬 근사의 저 순위 그사를 다시 수행한다. 본 발명의 네트워크 구조는 도 5에 도시된 바와 같이, 컨볼루션, 배치 노말라이제이션과 ReLU 레이어들로 구성되는 6개의 모듈들 그리고 컨볼루션과 ReLU 레이어를 가지는 바이패스 연결을 포함하며, 노이즈가 제거된 컨투어렛 계수를 추정하기 위한 단대단(end-to-end) 바이패스를 가질 수 있다. 여기서, 단대단 바이패스는 각 모듈의 입력단과 마지막 모듈의 출력단으로, 단대단 바이패스를 통한 채널 변환을 이용하여 노이즈가 제거된 커투어렛 계수를 추정할 수 있다. 또한, 본 발명의 네트워크 구조는 도 4의 430에 도시된 바와 같이 연쇄 레이어(conc atenation layer)를 포함하는데, 연쇄 레이어는 각 모듈의 출력들을 연쇄시킬 수 있으며, 연쇄 레이어는 3 x 3 x 896 컨볼루션 커널들의 128 세트를 가지는 컨볼루션 레이어에 의해 구성될 수 있다. 마지막 컨볼루션 레이어는 3 x 3 x 128 컨볼루션 커널의 15 세트로 구성될 수 있다.

본 발명은 두 개의 네트워크 예를 들어, 피드-포워드 네트워크와 재귀 뉴럴 네트워크(RNN)을 트레이닝할 수 있다. 여기서, 본 발명은 두 네트워크를 확률적 그래디언트 하강(stochastic gradient descent) 최적화 방법을 이용하여 트레이닝할 수 있다. 각각의 네트워크는 quartor-dose CT 이미지와 routine-dose CT 이미지로 구성된 데이터베이스를 이용하여 먼저 트레이닝될 수 있으며, 네트워크가 초기에 수렴되면 점진적으로 다음 단계의 트레이닝을 수행할 수 있다. 다음 단계의 트레이닝은 반복적 추론 결과와 routine-dose CT 이미지로 구성된 데이터베이스를 추가하여 이루어질 수 있다. 마지막 단계의 트레이닝은 입력 이미지와 타겟 이미지가 routine-dose CT 이미지인 데이터베이스를 이용하여 이루어질 수 있다.

도 6은 본 발명에 따른 정상 영상, 노이즈가 포함된 입력 영상 및 노이즈가 제거된 출력 영상에 대한 일 예시도를 나타낸 것으로, 정상 전산단층 촬영 복원 영상(routine dose), 노이즈가 포함된 저선량 전산단층 촬영 복원 영상(quarter dose), 뉴럴 네트워크를 이용하여 출력된 영상(proposed feed-forward) 및 뉴럴 네트워크를 프레임렛 기반 노이즈 제거 알고리즘에 적용하여 출력된 영상(proposed RNN)의 예시를 나타낸 것이다.

도 6에 도시된 바와 같이, 간의 상태를 보여주는 전산단층 촬영 영상(610)의 경우 본 발명에 의해 복원된 영상이 간의 질감(texture)이 유지되면서 노이즈가 제거된 것을 알 수 있다. 또한, 620에 도시된 바와 같이 본 발명에 의해 복원된 영상이 장의 세부 구조가 명확하게 유지되며 노이즈가 제거된 모습을 보여주며, 630에 도시된 바와 같이 본 발명에 의해 복원된 영상이 뼈의 경우에도 가장자리 정보가 잘 유지되는 것을 알 수 있다.

도 7은 본 발명의 일 실시예에 따른 복원 방법의 효율성을 나타낸 일 예시도로, 학습된 뉴럴 네트워크를 프레임렛 기반 노이즈 제거 알고리즘을 반복적인 과정이 진행됨에 따라 출력 영상의 복원되는 정도를 PSNR(peak signal-to-noise ratio)로 측정하여 나타낸 것이다.

도 7에 도시된 파란색 그래프를 통해 알 수 있듯이, 학습된 뉴럴 네트워크를 프레임렛 기반 노이즈 제거 알고리즘에 적용하여 반복함에 따라 결과가 수렴한다는 것을 알 수 있다.

이와 같이, 본 발명의 실시예들에 따른 영상 복원 방법은 프레임렛 기반 노이즈 제거 알고리즘에, 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 적용하여 기존의 뉴럴 네트워크 기반 노이즈 제거 알고리즘의 한계를 극복하고, 고화질의 영상을 빠르게 복원할 수 있다.

또한 본 발명의 실시예들에 따른 영상 복원 방법은 뉴럴 네트워크와 프레임렛 기반 노이즈 제거 알고리즘을 이용함으로써, 각각 따로 수행하는 것에 비해 향상된 복원 성능을 얻을 수 있다.

또한 본 발명의 실시예들에 따른 영상 복원 방법은 컨볼루션 프레임렛(convolutional framelet)에 따라 구성한 뉴럴 네트워크를 이용하여 영상을 복원함으로써, 복원 성능을 향상시키고 복원 시간을 줄일 수 있다.

여기서, 본 발명은 뉴럴 네트워크와 모멘텀을 적용하여 프레임렛 기반 노이즈 제거 알고리즘을 반복적으로 수행함으로써, 고화질의 영상을 복원할 수 있다.

또한, 본 발명에 따른 방법에서 웨이블렛 변환에 대해 설명하였지만, 이에 한정하지 않으며 이산 코사인 변환(DCT; discrete cosine transform)과 푸리에 변환 등의 변환 기법을 모두 적용할 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 복원 장치에 대한 구성을 나타낸 것으로, 상술한 도 1과 도 7을 수행하는 장치에 대한 구성을 나타낸 것이다.

도 8을 참조하면, 본 발명의 실시예에 따른 영상 복원 장치(800)는 수신부(810), 획득부(820) 및 복원부(830)를 포함한다.

수신부(810)는 저 선량 엑스선 전산단층 촬영 데이터를 수신한다.

획득부(820)는 미리 설정된 해석적 알고리즘을 이용하여 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득한다.

여기서, 획득부(820)는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘를 포함하는 해석적 알고리즘을 이용하여 초기 복원 영상을 획득할 수 있다.

복원부(830)는 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크를 이용하여 노이즈가 제거된 고화질의 최종 영상을 복원한다.

여기서, 복원부(830)는 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 노이즈가 제거된 최종 영상을 복원할 수 있으며, 예를 들어 뉴럴 네트워크에 컨볼루션 프레임렛(convolution framelet)을 적용하여 노이즈가 제거된 최종 영상을 복원할 수 있다.

또한, 복원부(830)는 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 노이즈가 제거된 영상을 복원하고, 복원한 영상에 대하여 다시 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 노이즈가 제거된 영상을 업데이트하는 과정을 반복 수행함으로써, 최종 영상을 복원할 수 있다.

여기서, 복원부(830)는 반복되는 업데이트 과정과 영상 복원 과정에 의해 생성되는 영상이 미리 설정된 수렴 조건을 만족하는 경우 해당 영상을 최종 영상으로 복원할 수 있다.

나아가, 복원부(830)는 초기 복원 영상을 미리 설정된 서로 다른 영역의 신호들로 변환하고, 국소 기저와 비선형 함수를 이용하여 변환된 신호의 계수들을 조정하며, 듀얼 기저 벡터들을 이용하여 조정된 계수들을 복원하고, 다른 영역에 대응하는 복원된 계수들을 이용하여 최종 영상으로 역변환할 수 있다.

이 때, 복원부(830)는 초기 복원 영상에 비국소 기저 변환을 적용하여 다중 특징 신호들로 변환할 수 있으며, 예를 들어 초기 복원 영상에 웨이블렛 변환(wavelet transform)을 적용함으로써, 상기 초기 복원 영상을 노이즈의 방향성 성분이 서로 다른 주파수대역으로 변환할 수 있다.

비록, 도 8의 장치에서 그 설명이 생략되었더라도, 도 8을 구성하는 각 구성 수단을 도 1 내지 도 7에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

저 선량 엑스선 전산단층 촬영 데이터를 수신하는 단계;
미리 설정된 해석적 알고리즘을 이용하여 상기 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득하는 단계; 및
상기 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크를 이용하여 노이즈가 제거된 최종 영상을 복원하는 단계
를 포함하는 영상 복원 방법.
제1항에 있어서,
상기 최종 영상을 복원하는 단계는
상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 방법.
제2항에 있어서,
상기 최종 영상을 복원하는 단계는
상기 뉴럴 네트워크에 컨볼루션 프레임렛(convolution framelet)을 적용하여 상기 노이즈가 제거된 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 방법.
제2항에 있어서,
상기 최종 영상을 복원하는 단계는
상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 복원하고, 상기 복원한 영상에 대하여 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 업데이트하는 과정을 반복 수행함으로써, 상기 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 방법.
제1항에 있어서,
상기 초기 복원 영상을 획득하는 단계는
FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘를 포함하는 해석적 알고리즘을 이용하여 상기 초기 복원 영상을 획득하는 것을 특징으로 하는 영상 복원 방법.
제1항에 있어서,
상기 최종 영상을 복원하는 단계는
상기 초기 복원 영상을 미리 설정된 서로 다른 영역의 신호들로 변환하는 단계;
국소 기저와 비선형 함수를 이용하여 상기 변환된 신호의 계수들을 조정하는 단계;
듀얼 기저 벡터들을 이용하여 상기 조정된 계수들을 복원하는 단계; 및
상기 다른 영역에 대응하는 복원된 계수들을 이용하여 상기 최종 영상으로 역변환하는 단계
를 포함하는 것을 특징으로 하는 영상 복원 방법.
제1항에 있어서,
상기 최종 영상을 복원하는 단계는
컨볼루션 뉴럴 네트워크(CNN; convolution neural network)를 이용하여 상기 노이즈가 제거된 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 방법.
제6항에 있어서,
상기 서로 다른 영역의 신호들로 변환하는 단계는
상기 초기 복원 영상에 비국소 기저 변환을 적용하여 다중 특징 신호들로 변환하는 것을 특징으로 하는 영상 복원 방법.
제6항에 있어서,
상기 서로 다른 영역의 신호들로 변환하는 단계는
상기 초기 복원 영상에 웨이블렛 변환(wavelet transform), 이산 코사인 변환(discrete cosine transform)과 푸리에 변환 중 적어도 하나를 적용함으로써, 상기 초기 복원 영상을 노이즈의 방향성 성분이 서로 다른 주파수대역으로 변환하는 것을 특징으로 하는 영상 복원 방법.
제1항에 있어서,
상기 뉴럴 네트워크는
인코딩 파트와 디코딩 파트가 대칭 구조로 이루어진 것을 특징으로 하는 영상 복원 방법.
저 선량 엑스선 전산단층 촬영 데이터를 수신하는 단계;
미리 설정된 해석적 알고리즘을 이용하여 상기 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득하는 단계; 및
상기 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 노이즈가 제거된 최종 영상을 복원하는 단계
를 포함하는 영상 복원 방법.
저 선량 엑스선 전산단층 촬영 데이터를 수신하는 수신부;
미리 설정된 해석적 알고리즘을 이용하여 상기 수신된 저 선량 엑스선 전산단층 촬영 데이터에 대한 초기 복원 영상을 획득하는 획득부; 및
상기 획득된 초기 복원 영상을 미리 학습된 뉴럴 네트워크를 이용하여 노이즈가 제거된 최종 영상을 복원하는 복원부
를 포함하는 영상 복원 장치.
제12항에 있어서,
상기 복원부는
상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 장치.
제13항에 있어서,
상기 복원부는
상기 뉴럴 네트워크에 컨볼루션 프레임렛(convolution framelet)을 적용하여 상기 노이즈가 제거된 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 장치.
제13항에 있어서,
상기 복원부는
상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 복원하고, 상기 복원한 영상에 대하여 상기 뉴럴 네트워크에 프레임렛 기반 노이즈 제거 알고리즘을 적용하여 상기 노이즈가 제거된 영상을 업데이트하는 과정을 반복 수행함으로써, 상기 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 장치.
제12항에 있어서,
상기 획득부는
FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘를 포함하는 해석적 알고리즘을 이용하여 상기 초기 복원 영상을 획득하는 것을 특징으로 하는 영상 복원 장치.
제12항에 있어서,
상기 복원부는
상기 초기 복원 영상을 미리 설정된 서로 다른 영역의 신호들로 변환하고,
국소 기저와 비선형 함수를 이용하여 상기 변환된 신호의 계수들을 조정하며,
듀얼 기저 벡터들을 이용하여 상기 조정된 계수들을 복원하고,
상기 다른 영역에 대응하는 복원된 계수들을 이용하여 상기 최종 영상으로 역변환하는 것을 특징으로 하는 영상 복원 장치.
제12항에 있어서,
상기 복원부는
컨볼루션 뉴럴 네트워크(CNN; convolution neural network)를 이용하여 상기 노이즈가 제거된 최종 영상을 복원하는 것을 특징으로 하는 영상 복원 장치.
제17항에 있어서,
상기 복원부는
상기 초기 복원 영상에 비국소 기저 변환을 적용하여 다중 특징 신호들로 변환하는 것을 특징으로 하는 영상 복원 장치.
제17항에 있어서,
상기 복원부는
상기 초기 복원 영상에 웨이블렛 변환(wavelet transform)을 적용함으로써, 상기 초기 복원 영상을 노이즈의 방향성 성분이 서로 다른 주파수대역으로 변환하는 것을 특징으로 하는 영상 복원 장치.
제12항에 있어서,
상기 뉴럴 네트워크는
인코딩 파트와 디코딩 파트가 대칭 구조로 이루어진 것을 특징으로 하는 영상 복원 장치.