KR20190135616A

KR20190135616A - 뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치

Info

Publication number: KR20190135616A
Application number: KR1020180060849A
Authority: KR
Inventors: 예종철; 한요섭
Original assignee: 한국과학기술원
Priority date: 2018-05-29
Filing date: 2018-05-29
Publication date: 2019-12-09
Also published as: KR102094598B1; US20190371018A1; US10991132B2

Abstract

뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 처리 방법은 희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 단계; 및 미리 설정된 프레임 조건을 만족하는 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

Description

뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치{METHOD FOR PROCESSING SPARSE-VIEW COMPUTED TOMOGRAPHY IMAGE USING ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREFOR}

본 발명은 뉴럴 네트워크를 이용한 영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 미리 설정된 프레임 조건을 만족하는 학습 모델에 대한 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 영상을 고화질의 영상으로 복원할 수 있는 방법 및 그 장치에 관한 것이다.

전산 단층촬영 기법(Computed Tomography, CT) 은 객체의 단층영상을 획득하기 위한 촬영 기법으로써, 엑스선(X-ray)를 객체에 투과시킨 후 감쇄된 엑스선을 획득하고, 이렇게 획득된 엑스선을 이용하여 단층영상을 복원하게 된다. 전산 단층촬영은 엑스선을 이용하기 때문에 방사선 노출이 큰 문제로 대두된다. 상기 문제를 해결하기 위해 다양한 연구가 진행되었다. 엑스선의 세기를 줄이는 저선량 전산화 단층촬영(Low-dose CT), 또는 국소 영역만 엑스선을 조사하여 단층영상을 생성하는 내부 단층촬영(Interior Tomography) 등이 있다. 또한 엑스선량을 감소시키기 위한 방법으로 촬영하는 엑스선 수를 감소시키는 희소 뷰 단층촬영 (Sparse-view CT)이 있다.

희소 뷰 CT(Sparse-view CT)는 프로젝션 뷰의 수를 줄임으로써 방사선 량을 낮추는 방법이다. 희소 뷰 CT는 프로젝션 뷰의 신속하고 지속적인 획득으로 인해 기존의 다중 검출기(multi-detector) CT(MDCT)에 유용하지 않을 수 있지만, 교번 kVp 스위칭, 동적 빔 차단기 등을 사용하는 스펙트럼 CT와 같은 희소 뷰 CT의 새로운 많은 어플리케이션이 있다. 또한, C-Arm CT 또는 치과용 CT 어플리케이션에서 스캔 시간은 기계적 갠트리(gantry) 속도보다는 주로 플랫-패널 검출기의 상대적인 느린 속도에 의해 제한되기에, 희소 뷰 CT는 스캔 시간을 단축시킬 수 있는 기회가 있다.

그러나 희소 뷰 CT에서의 불충분한 프로젝션 뷰는 필터링-역투영(filtered-backprojection, FBP) 재구성에서 심한 스트리킹 아티팩트를 생성한다. 이를 해결하기 위해, 종래 기술들은 데이터 충실도(fidelity) 조건 하에서 전체 변이(TV; total variation) 또는 기타 희소-유발 페널티를 최소화하는 압축 감지 방법을 제안한바 있다. 그러나 이러한 종래 기술들은 반복적인 업데이트 단계에서 프로젝션 및 역 프로젝션을 반복적으로 적용하기 때문에 계산상 많은 비용이 소요된다.

최근 딥 러닝 방법은 분류, 세분화, 노이즈 제거, 초 해상도 등 다양한 분야에서 엄청난 성공을 거두고 있다. CT 어플리케이션에서, 종래 일 실시예 연구는 저 방사선량 CT를 위한 딥 컨볼루션 뉴럴 네트워크(deep CNN)에 대한 체계적인 연구를 제공하였으며, 지향성 웨이블릿을 사용하는 딥 CNN이 저 방사선량 관련 CT 노이즈를 제거하는데 더 효율적이다. 이러한 기존 연구에 따라 저 방사선 량 CT에 대한 많은 새로운 연구들이 구현되었다. 감소된 튜브 전류의 저 방사선량 아티팩트와 달리, 희소 프로젝션 뷰에서 유래된 선형 아티팩트(streaking artifact)는 기존의 노이즈 제거 CNN을 사용하여 제거하기 어려운 전역화된 아티팩트를 나타낸다. 이 문제를 해결하기 위하여 종래 기술은 U-Net을 사용하는 잔여 학습 네트워크가 제안된바 있으며, 해당 기술은 스트리킹 아티팩트가 전역적으로 분포되어 있기 때문에 수용성이 큰 CNN 구조가 이러한 연구에서 필수적으로 제시되었으며, 이 연구들의 성능은 현존하는 방법들보다 훨씬 우수하다.

본 발명의 실시예들은, 미리 설정된 프레임 조건을 만족하는 학습 모델에 대한 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 영상을 고화질의 영상으로 복원할 수 있는 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 영상 처리 방법은 희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 단계; 및 미리 설정된 프레임 조건을 만족하는 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

상기 영상을 복원하는 단계는 상기 프레임 조건을 만족하며 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.

상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 상기 프레임 조건을 만족하는 상기 학습 모델을 생성하고, 상기 학습 모델에 의해 학습된 뉴럴 네트워크를 포함할 수 있다.

상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

상기 뉴럴 네트워크는 상기 다중 해상도 뉴럴 네트워크의 수식적 표현을 듀얼 프레임으로 표현함으로써, 구조화된 듀얼 프레임 뉴럴 네트워크와 상기 다중 해상도 뉴럴 네트워크를 웨이블릿(wavelet)을 이용하여 저주파 영역과 고주파 영역을 분해함으로써, 구조화된 타이트 프레임 뉴럴 네트워크를 포함할 수 있다.

상기 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

본 발명의 다른 일 실시예에 따른 영상 처리 방법은 희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 단계; 및 미리 설정된 프레임 조건을 만족하며 컨볼루션 프레임렛(convolution framelet) 기반의 학습 모델에 대한 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

본 발명의 일 실시예에 따른 영상 처리 장치는 희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 수신부; 및 미리 설정된 프레임 조건을 만족하는 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 복원부를 포함한다.

상기 복원부는 상기 프레임 조건을 만족하며 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.

본 발명의 실시예들에 따르면, 미리 설정된 프레임 조건을 만족하는 학습 모델에 대한 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 영상을 고화질의 영상으로 복원할 수 있다.

본 발명의 실시예들에 따르면, 기존의 다중 해상도 뉴럴 네트워크 예를 들어, U-Net 구조의 한계점을 수학적으로 증명하고 이를 기반으로 그 한계를 극복할 수 있는 이론을 정립함과 동시에 프레임 조건을 만족하는 뉴럴 네트워크를 제공하고, 이를 통해 희소 뷰 전산단층 촬영 영상을 복원함으로써, 기존 뉴럴 네트워크 구조와 유사한 연산량을 가지면서 고화질의 영상을 복원할 수 있다.

도 1은 48개의 프로젝션 뷰로부터 재구성된 이미지들에서의 CT 선형 아티팩트 패턴에 대한 일 예시도를 나타낸 것이다.
도 2는 네트워크 또는 뉴럴 네트워크의 구조에 따른 수용 필드의 크기를 비교한 일 예시도를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 4는 단순화된 U-Net, 듀얼 프레임 U-Net과 타이트 프레임 U-Net 구조를 나타낸 것이다.
도 5는 표준 U-Net(a), 듀얼 프레임 U-Net(b)과 타이트 프레임 U-Net(c) 구조를 나타낸 것이다.
도 6은 다양한 희소 뷰 재구성에서 일반적인 U-Net, 듀얼 프레임 U-Net과 타이트 프레임 U-Net에 의해 재구성 결과에 대한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

컨볼루션 프레임렛은 입력신호

에 대하여 국소 기저(

)와 비국소 기저 (

)를 이용하여 표현한 것으로, 아래 <수학식 1>과 같이 나타낼 수 있다.

[수학식 1]

여기서,

는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하고,

는 국소 기저 벡터를 가지는 선형 변환 연산을 의미할 수 있다.

이 때, 국소 기저 벡터와 비국소 기저 벡터는 각각 서로 직교하는 듀얼 기저 벡터

와

를 가질 수 있으며, 기저 벡터들의 직교 관계는 아래 <수학식 2>와 같이 정의될 수 있다.

[수학식 2]

상기 수학식 2를 이용하면 컨볼루션 프레임렛은 아래 <수학식 3>과 같이 표현할 수 있다.

[수학식 3]

여기서,

는 행켈 행렬 연산(Hankel matrix operator)을 의미하는 것으로, 컨볼루션 연산을 행렬곱(matrix multiplication)으로 표현할 수 있게 해주며,

는 국소 기저와 비국소 기저에 의하여 변환된 신호인 컨볼루션 프레임렛 계수(convolution framelet coefficient)를 의미할 수 있다.

컨볼루션 프레임렛 계수

는 듀얼 기저 벡터

를 적용하여 본래의 신호로 복원될 수 있다. 신호 복원 과정은 아래 <수학식 4>와 같이 나타낼 수 있다.

[수학식 4]

이와 같이, 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 컨볼루션 프레임렛이라 한다.

딥 컨볼루션 프레임렛의 핵심 요소 중 하나는 비국소 기반의 프레임 조건이다. 그러나 기존의 뉴럴 네트워크 구조 예를 들어, U-Net 구조는 프레임 조건을 만족시키지 못하고 신호의 저주파 성분을 과도하게 강조하였으며, 희소-뷰 CT에서 이러한 아티팩트는 재구성된 이미지에서 블러링 아티팩트(blurring artifacts)로 나타난다.

본 발명은 프레임 조건을 만족하는 두 가지 유형의 새로운 네트워크 아키텍처를 제공하는 것으로, 듀얼 프레임 네트워크와 타이트 프레임 네트워크를 제공한다.

여기서, 듀얼 프레임 네트워크는 저해상도 경로에서 바이패스 연결로 잔여 신호를 생성할 수 있고, 직교 웨이블릿 예를 들어, Haar 웨이블릿 기반 타이트 프레임 네트워크는 기존 U-Net 구조에 고주파 경로를 추가하여 구현할 수 있다.

수학적 전제(MATHEMATICAL PRELIMINARIES)

표기법(notations)

행렬 A의 경우 R(A)는 A의 범위 공간을 나타내고,

는 A의 범위 공간에 대한 투영을 나타내며, 단위 행렬은 I로 나타낸다. 주어진 행렬 A에 대하여, 표기법

는 일반화된 역행렬을 나타내고,

의 위 첨자 T는 에르미트 전치(Hermitian Transpose)를 나타낸다. 행렬

가 서브 행렬

를 가지는

로 파티셔닝 된다면,

는

의 j번째 행(column)을 의미한다. 벡터

는 벡터

의 플립된(flipped) 버전을 의미하는 것으로, 인덱스가 반전된다. 유사하게, 주어진 행렬

에 대해, 표기법

은 플립된 벡터들, 즉

을 나타낸다. 블록 구조화된 행렬

에 대해 약간의 표기법 악용(abuse)를 적용하여

를 아래<수학식 5>와 같이 나타낼 수 있다.

[수학식 5]

프레임

힐베르트(Hilbert) 공간 H에서 함수 집합

가 아래 <수학식 6>의 부등식(inequality)을 만족하는 경우 프레임이라고 부를 수 있다.

[수학식 6]

여기서,

는 프레임 범위를 의미하고,

이면 프레임이 타이트하다고 할 수 있다.

프레임은

로 구성된 프레임 연산자

와 연관되며, 상기 수학식 6은 아래 <수학식 7>과 같이 등가적으로 나타낼 수 있다.

[수학식 7]

그리고, 프레임 범위는 아래 <수학식 8>과 같이 나타낼 수 있다.

[수학식 8]

여기서,

및

는 각각 A의 최소 및 최대 특이값(singular value)를 의미할 수 있다.

프레임 범위의 하한

가 0이 아닌 경우

이므로, 오리지널 신호의 복원은 아래 <수학식 9>에서 나타낸 프레임 조건(frame condition)을 만족시키는 듀얼 프레임

를 사용하여 프레임 계수

로부터 행해질 수 있다.

[수학식 9]

듀얼 프레임의 명시적인 형식은 아래 <수학식 10>과 같이 의사-역수(pseudo-inverse)에 의해 주어질 수 있다.

[수학식 10]

프레임 계수가 잡음

에 의해 오염되면 즉

이 되면, 듀얼 프레임을 사용하는 복원된 신호는

에 의해 주어진다. 따라서, 노이즈 증폭 계수는 아래 <수학식 11>과 같이 계산될 수 있다.

[수학식 11]

여기서,

는 조건 번호를 의미할 수 있다.

타이트 프레임(tight frame)은 최소 노이즈 증폭 계수(

)를 가지며, 아래<수학식 12>와 같은 조건과 동등하다.

[수학식 12]

행켈 행렬( Hankel Matrix)

행켈 행렬은 딥 컨볼루션 프레임렛 이론(K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, "Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising," arXiv preprint arXiv:1608.03981, 2016.)의 핵심적인 요소이므로, 본 발명은 이에 대해 간략히 살펴본다.

경계 조건(boundary condition)의 특별한 처리를 피하기 위해, 본 발명은 주로 순환 컨볼루션(circular convolution)을 사용하여 유도될 수 있다. 단순화하기 위하여, 본 발명은 1 차원 신호 처리를 고려하지만, 2차원 신호 처리로의 확장은 간단하다.

를 입력 신호 벡터라 하면, 랩-어라운드 행켈 행렬(wrap-around Hankel matrix)

은 아래 <수학식 13>과 같이 정의될 수 있다.

[수학식 13]

여기서, d는 행렬 펜슬 파라미터(matrix pencil parameter)를 의미할 수 있다.

다중 채널 신호가 아래 <수학식 14>와 같이 주어지면, 확장된 행켈 행렬은 행켈 행렬을 스택(stack)함으로써, 구성될 수 있으며, 확장된 행켈 행렬은 아래 <수학식 15>와 같이 나타낼 수 있다.

[수학식 14]

[수학식 15]

여기서, 행켈 행렬은 CNN의 컨볼루션 연산과 밀접하게 관련되어 있으며 특히, 주어진 컨볼루션 필터

에 대하여 CNN에서의 단일-입력 단일-출력(SISO) 컨볼루션은 행켈 행렬을 사용하여 아래 <수학식 16>과 같이 표현될 수 있다.

[수학식 16]

유사하게, CNN 필터 커널

을 사용하는 단일-입력 다중-출력(SIMO) 컨볼루션은 아래 <수학식 17>과 같이 나타낼 수 있다.

[수학식 17]

여기서, q는 출력 채널 수를 의미할 수 있다.

CNN의 다중-입력 다중-출력(MIMO) 컨볼루션은 아래 <수학식 18>과 같이 나타낼 수 있다.

[수학식 18]

여기서, p와 q는 각각 입력 채널 수와 출력 채널 수를 의미할 수 있다.

j번째 입력 채널 필터는 아래 <수학식 19>와 같이 나타낼 수 있다.

[수학식 19]

이미지 도메인 CNN에 대한 다중 채널 2D 컨볼루션 연산의 확장은 유사한 행렬 벡터 연산이 사용될 수 있기 때문에 간단할 수 있다. 즉, 이미지 도메인 CNN에 대한 다중 채널 2D 컨볼루션 연산의 확장은 블록 행켈 행렬로 정의되는 행켈 행렬 또는 확장된 행켈 행렬의 정의만 변경하면 된다.

행켈 행렬의 가장 흥미로운 특성 중 하나는 종종 저-랭크(low-rank) 구조를 가지며, 이러한 저-랭크(low-rankness)는 푸리에 도메인의 희소성(sparsity)와 관련이 있다는 것이다. 이 속성은 많은 역 문제와 저-레벨의 컴퓨터 비전 문제에 대한 어플리케이션에서 입증된 것처럼 매우 유용하다.

딥 컨볼루션 프레임렛 (Deep Convolutional Framelets )

딥 컨볼루션 프레임렛 이론에 대해 간략하게 설명하면 다음과 같다. 기존의 행켈 행렬 방법을 이용하여 아래 <수학식 20>과 같은 회귀 문제를 고려한다.

[수학식 20]

여기서,

는 실제 측정(ground-truth) 신호를 의미할 수 있다.

상기 수학식 20의 문제를 해결하기 위한 고전적 방법은 특이 값 수축 또는 행렬 인수 분해를 사용하는 것이나, 딥 컨볼루션 프레임렛에서는 학습 기반 신호 표현을 사용하여 이 문제를 해결한다.

구체적으로, 상기 수학식 20에 대한 실행 가능한 해 f에 대해, 행켈 구조화된 행렬

는 특이 값 분해

를 갖는다. 상기 식에서

와

는 각각 왼쪽과 오른쪽의 특이 벡터 베이스 행렬을 의미할 수 있다.

는 특이 값을 가지는 대각선 행렬이다. 아래 <수학식 21>에 나타낸 프레임 조건을 만족하는 행렬 쌍

를 고려한다.

[수학식 21]

이러한 기저들은

의 모든 n-요소와

의 왼쪽에 곱해짐으로써 상호 작용하기 때문에 비국소 기저를 의미할 수 있다. 본 발명은 아래 <수학식 22>에 나타낸 저 차원 서브 공간 제약을 만족시키는 다른 행렬 쌍

를 필요로 한다.

[수학식 22]

이들은 신호

의 d-이웃(d-neighborhood)과만 상호 작용하기 때문에 국소 기저를 의미할 수 있다. 상기 수학식 21과 수학식 22를 이용하면, 아래 <수학식 23>과 같은 입력 신호 f에 대한 행켈 행렬 변환 연산을 획득할 수 있다.

[수학식 23]

여기서,

는 행켈 행렬 변환 연산(Hankel matrix reconstruction operator)을 의미할 수 있다.

상기 수학식 23으로부터

를 인수 분해하면, 아래 <수학식 24>와 같이 단일 레이어 인코더-디코더 아키텍처를 사용하는 f의 분해가 발생한다.

[수학식 24]

여기서, 인코더와 디코더 컨볼루션 필터는 아래 <수학식 25>와 같이 주어질 수 있다.

[수학식 25]

상기 수학식 24는 랭크-r 행켈 구조 행렬과 관련된 신호의 일반 형식이고, 본 발명은 최적의 성능을 위한 기저들을 특정하는데 관심이 있다. 딥 컨볼루션 프레임렛에서,

및

는 상기 수학식 21의 프레임 조건을 만족하기 위한 사용자 정의 일반화된 풀링(pooling) 및 언풀링(unpooling)에 해당할 수 있다. 반면에, 필터

는 데이터들로부터 추정될 필요가 있으며, 필터의 검색 공간을 제한하기 위하여, 본 발명은 포지티브(positive) 프레임렛 계수를 가지는 신호로 구성된

를 고려한다. 포지티브(positive) 프레임렛 계수를 가지는 신호로 구성된

는 아래 <수학식 26>과 같이 나타낼 수 있다.

[수학식 26]

뉴럴 네트워크 트레이닝의 주요 목표는

이 랭크-r 행켈 행렬과 관련되어 있다고 가정하고 트레이닝 데이터

로부터

를 학습하는 것이다. 구체적으로, 상기 수학식 20의 랭크-r 행켈 행렬 제약 조건하에서 트레이닝 데이터에 대한 본 발명의 회귀 문제는 아래 <수학식 27>과 같이 주어질 수 있다.

[수학식 27]

상기 수학식 27은 아래 <수학식 28>과 같이 표현될 수 있다.

[수학식 28]

여기서,

는 아래 <수학식 29>와 같이 나타낼 수 있다.

[수학식 29]

여기서, C는 아래 <수학식 30>과 같이 나타낼 수 있다.

[수학식 30]

여기서,

는 프레임렛 계수에 포지티비티(positivity)를 부여하는 ReLU(rectified linear unit)을 의미할 수 있다.

네트워크가 완전히 트레이닝 된 후, 주어진 노이즈 입력 f에 대한 추론은

에 의해 간단히 수행될 수 있으며, 이 방법은 랭크-r 행켈 구조 행렬을 가지며 노이즈가 제거된 해를 찾는 것과 동일하다.

희소-뷰 CT 문제에서, 바이패스 연결을 이용한 잔여 학습이 직접 이미지 학습보다 더 나은 것으로 일관되게 나타나는데, 이러한 현상을 체계적으로 조사하기 위하여, 희소-뷰 CT의 입력 이미지

가 선형 아티팩트로 오염되어 있다고 가정하면, 희소-뷰 CT의 입력 이미지

는 아래 <수학식 31>과 같이 나타낼 수 있다.

[수학식 31]

여기서,

는 선형 아티팩트를 의미하고,

는 아티팩트가 없는 실제 측정(ground-truth) 이미지를 의미할 수 있다.

그런 다음, 잔여 네트워크 트레이닝은 비용 함수를 사용하는 대신 아래 <수학식 32>와 같이 공식화될 수 있다.

[수학식 32]

여기서, 잔여 학습 방법은 아래 <수학식 33>과 같이 실제 신호

를 거의 소멸시키는 필터

를 찾는 것이다.

[수학식 33]

딥 컨볼루션 프레임렛을 이용한 신호 분해가 아래 <수학식 34>와 같이 선형 아티팩트 신호에 적용될 수 있다.

[수학식 34]

여기서, 첫 번째 근사는 상기 수학식 29의 소멸 속성 때문에 아래 <수학식 35>로부터 도출될 수 있다.

[수학식 35]

따라서, 뉴럴 네트워크는 아티팩트 신호를 소멸시키기 위하여 실제 이미지의 구조를 학습하도록 트레이닝 되지만, 여전히 아티팩트 신호를 유지하도록 트레이닝 된다.

상술한 내용은 멀티-레이어 딥 컨볼루션 프레임렛으로 확장될 수 있다. 보다 구체적으로, L-레이어 분해에 있어서, 상기 수학식 26의 공간

는 아래 <수학식 36>과 같이 재귀적으로 정의될 수 있다.

[수학식 36]

여기서,

는 아래 <수학식 37>과 같이 정의될 수 있다.

[수학식 37]

상기 수학식 37에서, l-번째 레이어 인코더와 디코더 필터는 아래 <수학식 38>과 <수학식 39>에 의해 정의될 수 있다.

[수학식 38]

[수학식 39]

여기서,

각각은 필터 길이, 입력 채널 수 및 출력 채널 수를 의미할 수 있다.

상술한 바와 같이, 각 레이어 내 컨볼루션 프레임의 검색 공간을 재귀적으로 좁힘으로써 딥 컨볼루션 프레임렛 확장 및 관련 트레이닝 방식을 얻을 수 있다.

즉, 비국소 기저들

와

가 일반 풀링과 언풀링 작업에 해당하는 반면, 국소 기저들

와

는 학습 가능한 컨볼루션 필터로 작동한다는 것이다. 또한, 일반화된 풀링 작업의 경우, 프레임 조건은 U-Net 변형을 구성하기 위한 주요 기준인 복구 조건 및 제어 가능한 수축 동작을 가능하게 하는 가장 중요한 전제 조건이 될 수 있다.

도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 방법은 희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 단계(S310)와 미리 설정된 프레임 조건을 만족하는 학습 모델의 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 단계(S320)를 포함한다.

여기서, 단계 S320은 상기 프레임 조건을 만족하며 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.

본 발명에서 사용되는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 프레임 조건을 만족하는 학습 모델을 생성하고, 학습 모델에 의해 학습된 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

여기서, 뉴럴 네트워크는 다중 해상도 뉴럴 네트워크의 수식적 표현을 듀얼 프레임으로 표현함으로써, 구조화된 듀얼 프레임 뉴럴 네트워크와 다중 해상도 뉴럴 네트워크를 웨이블릿(wavelet)을 이용하여 저주파 영역과 고주파 영역을 분해함으로써, 구조화된 타이트 프레임 뉴럴 네트워크를 포함할 수 있다.

나아가, 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

이러한 본 발명에 따른 방법에 대해 도 3 내지 도 6을 참조하여 설명한다.

희소-뷰 CT 및 희소-뷰 CT의 제한을 위한 U-Net

도 1은 48개의 프로젝션 뷰로부터 재구성된 이미지들에서의 CT 선형 아티팩트 패턴에 대한 일 예시도를 나타낸 것으로, 단지 48개의 프로젝션 뷰를 사용할 수 있는 경우 두 개의 재구성 영상과 그 선형 아티팩트만의 영상을 보여준 것이다.

도 1에 도시된 바와 같이, 전체 이미지 영역에 걸쳐 이미지에서 유래하는 중요한 선형 아티팩트가 존재하는데, 이는 컨볼루션 필터의 수용 필드가 선형 아티팩트를 효과적으로 억제하기 위해 이미지의 전체 영역을 커버해야 함을 의미한다.

U-Net(O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation," in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2015, pp. 234-241.)과 같은 다중 해상도 아키텍처의 가장 중요한 특징 중 하나는 풀링 및 언풀링 레이어로 인해 기하 급수적으로 큰 수용 필드이다.

도 2는 네트워크 또는 뉴럴 네트워크의 구조에 따른 수용 필드의 크기를 비교한 일 예시도를 나타낸 것으로, 풀링 레이어가 없는 단일 해상도 CNN(a)과 다중 해상도 네트워크(U-Net)(b)의 수용 필드(receptive field)의 크기를 비교한 것이다. 도 2a에 도시된 바와 같이, 일반적인 뉴럴 네트워크의 경우는 컨볼루션 레이어(Conv)를 지남에 따라 점진적으로 수용 필드가 커지게 된다. 하지만 그 증가율이 크지 않기 때문에 전체 영역을 포함하기 위해선 굉장히 깊은 뉴럴 네트워크 구조를 가져야 한다. 하지만 뉴럴 네트워크의 깊이가 깊어지게 되면 뉴럴 네트워크의 학습이 잘 되지 않는 그래디언트 배니싱(gradient vanishing) 문제에 직면하거나, 많은 파라미터(parameter) 수로 인하여 오버피팅(overfitting)이 발생할 수 있다. 반면에, 도 2b에 도시된 바와 같이, U-Net의 경우는 풀링(pooling)과 언풀링(unpooling) 레이어를 지남에 따라 입력 영상의 크기가 줄어들기 때문에 상대적으로 입력영상에 대한 수용 필드가 커지는 효과를 얻을 수 있다. 그로 인해 동일한 깊이의 일반적인 뉴럴 네트워크와 비교할 때에 더 넓은 수용 필드를 가질 수 있는 장점이 있다. 따라서 뉴럴 네트워크에 큰 수용 필드를 갖는 뉴럴 네트워크 구조는 다중 해상도 구조 예를 들어, U-Net 구조로써 영상 내에 세그멘테이션을 수행할 때 주로 사용된다. 하지만, 이론적 관점에서 볼 때, U-Net 구조를 이용한 영상복원은 그 한계점이 분명이 존재한다. 또한, 도 2를 통해 알 수 있듯이, 동일한 크기의 컨볼루션 필터를 사용하면 수용 필드가 풀링 레이어를 가지는 네트워크에서 확대되고, 따라서 U-Net과 같은 다중 해상도 구조는 전역적으로 분산된 선형 아티팩트를 처리하기 위한 희소-뷰 CT 재구성에 적합하다.

도 4a는 단순화된 U-Net 구조를 나타낸 것으로, 도 4a에 도시된 바와 같이 U-Net은 평균 풀링 레이어와 평균 언풀링 레이어를 비국소 기저로 이용 또한 점선으로 표현된 바이패스 연결 레이어(bypass connection layer)를 통해 입력부의 신호를 출력부로 전달해주는 역할을 한다.

U-Net은 저해상도 신호에 재귀적으로 적용되는데, 여기서, 입력

는 국소 컨볼루션 필터

로 필터링되고, 풀링 연산

를 사용하여 절반 크기의 근사 신호로 감소된다. 이를 수학적으로 나타내면 아래 <수학식 40>과 같이 나타낼 수 있다.

[수학식 40]

여기서,

는 CNN의 다중 채널 컨볼루션을 의미할 수 있다.

평균 풀링의 경우,

는 풀링 연산자를 의미할 수 있으며, 풀링 연산자는 아래 <수학식 41>과 같이 나타낼 수 있다.

[수학식 41]

U-Net에는 도 4a에 도시된 바와 같이 풀링 중에 손실된 고주파를 보상하기 위한 바이패스 연결이 존재한다. 두 가지를 결합하면, 컨볼루션 프레임렛 계수는 아래 <수학식 42>와 같이 나타낼 수 있다.

[수학식 42]

여기서,

는 확장된 풀링을 의미하고, B는 바이패스 요소를 의미하며, S는로우패스 서브밴드 필터를 의미할 수 있다.

는 아래 <수학식 43>과 같이 나타낼 수 있고, B와 S는 아래 <수학식 44>와 같이 나타낼 수 있다.

[수학식 43]

[수학식 44]

따라서, 상술한 수학식들을 이용하여 아래 <수학식 45>가 도출된다.

[수학식 45]

여기서,

는 평균 풀링인 경우를 의미할 수 있다

따라서,

는 프레임 조건을 만족하지 못하여 아티팩트가 발생한다.

즉, 일반적인 U-Net 구조의 뉴럴 네트워크를 통해 복원된 신호는 본래 신호를 완벽히 표현하지 못하며, 저주파 성분이 강조되기 때문에 블러한 복원 신호가 생성된다.

듀얼 프레임 U-Net

상술한 바와 같이 제한 사항에 대한 간단한 해결 방법 중 하나는 듀얼 프레임을 사용하는 것이다. 특히, 상기 수학식 10을 이용하면, 상기 수학식 43의

에 대한 듀얼 프레임은 아래 <수학식 46>과 같이 구할 수 있다.

[수학식 46]

여기서, 평균 풀링의 경우 역행렬 정리(matrix inversion lemma)와 직교성

에 따라 아래 <수학식 47>과 같은 수학식을 얻을 수 있다.

[수학식 47]

따라서 듀얼 프레임은 아래 <수학식 48>과 같이 주어질 수 있다.

[수학식 48]

상기 수학식 42에서 주어진 프레임렛 계수

에 대해, 듀얼 프레임을 사용하는 재구성은 아래 <수학식 49>와 같이 주어질 수 있다.

[수학식 49]

상기 수학식 49에 기반하여 뉴럴 네트워크를 구축하면 듀얼 프레임 U-Net의 네트워크 구조를 도출할 수 있다. 보다 구체적으로, U-Net과 달리 저해상도에서 잔여 신호는 풀링 레이어를 통해 업 샘플링된다. 이는 도 4b에 도시된 저해상도 신호를 위한 추가적인 바이패스 연결을 사용하여 쉽게 구현될 수 있다. 이 간단한 수정으로 네트워크가 프레임 조건을 만족할 수 있다. 그러나

와 같은 노이즈 증폭이 존재한다.

U-Net과 마찬가지로, 듀얼 프레임 U-Net의 마지막 단계는 연쇄(concatenation) 및 다중 채널 컨볼루션이다. 이 단계는 역 행켈 연산 즉,

를 국소 기저와 곱 연산된 프레임렛 계수에 적용하는 것과 같다. 특히, 연쇄 신호는 아래 <수학식 50>에 의해 주어질 수 있으며, 최종 컨볼루션은 아래 <수학식 51>에 의하여 등가적으로 계산될 수 있다.

[수학식 50]

[수학식 51]

상기 수학식 51에서 세번째 식은

에서 비롯된다. 따라서

와 같은 국소 필터 기저를 선택함으로써 상기 수학식 51의 우변이 f와 동일해지며 복구 조건을 만족하게 된다.

타이트 프레임 U-Net

최소 잡음 증폭을 이용하여 U-Net의 성능을 향상시키는 또 다른 방법은 타이트한 필터 뱅크 프레임 또는 웨이블릿을 사용하는 것이다. 구체적으로, 비국소 기저

은 아래 <수학식 52>에 나타낸 바와 같이 필터 뱅크로 구성될 수 있다.

[수학식 52]

여기서,

는 k번째 서브밴드 연산자를 의미할 수 있다.

본 발명은 아래 <수학식 53>과 같이 필터 뱅크가 타이트하다고 가정한다. 즉, 어떤 스칼라 c > 0인 것으로 가정한다.

[수학식 53]

바이패스 연결을 포함하는 컨볼루션 프레임렛 계수는 아래 <수학식 54>와 같이 표현할 수 있다.

[수학식 54]

여기서,

를 의미할 수 있다.

본 발명은 아래 <수학식 55>에 의하여

또한 타이트 프레임으로 볼 수 있다.

[수학식 55]

몇몇의 중요한 타이트 필터 뱅크 프레임이 존재한다. 가장 간단한 타이트 필터 뱅크 프레임 중 하나는 로우패스 서브밴드 분해와 하이패스 서브밴드 분해를 가지는 Haar 웨이블릿 변환이며, 여기서 T₁은 상기 수학식 37의 평균 풀링과 동등한 로우패스 서브밴드 필터이며, T₂는 하이패스 서브밴드 필터이다. 하이패스 필터링 T₂는 아래 <수학식 56>과 같이 나타낼 수 있다.

[수학식 56]

본 발명은

이기 때문에 Haar 웨이블릿 프레임은 타이트하다. 해당 타이트 프레임 U-Net 구조는 도 4c에 도시된 바와 같이 도 4a의 U-Net 구조와 달리 하이패스 브랜치가 추가로 존재한다. 도 4c에 도시된 바와 같이 타이트 프레임 U-Net은 도 4a의 U-Net과 마찬가지로 각 서브밴드 신호는 개별 연쇄 레이어(concatenation layers)로 바이패스된다. 연쇄 레이어 뒤의 컨볼루션 레이어는 데이터로부터 가중치가 학습된 가중치 합을 제공할 수 있다. 이 간단한 수정으로 프레임이 타이트하게 된다.

즉, 도 4c에 도시된 타이트 프레임 U-Net 구조의 뉴럴 네트워크는 컨볼루션 프레임을 만족하도록 타이트 필터 뱅크(tight filter-bank) 또는 웨이블릿을 비국소 기저로 갖는 뉴럴 네트워크로 표현될 수 있다. 여기서, 타이트 프레임 U-Net의 비국소 기저는 타이트 프레임을 만족할 수 있다.

비선형 연산은 다양한 입력신호 f에 대한 신호의 희소성(sparsity)을 제약하거나, 신호의 포지티비티(positivity)를 제약할 수 있다. 이는 뉴럴 네트워크가 다양한 입력 신호, 또는 변환 신호에 대한 학습이 가능할 수 있게 하며, 이는 선형 변환 연산의 국소, 비국소 기저 벡터가 다양한 해를 찾을 수 있게 한다. 또한, 비선형 연산은 복원 조건을 만족하는 형태의 비선형 연산을 구성할 수 있다.

학습 효과를 높이기 위해 뉴럴 네트워크는 잔여 학습(residual learning)이 적용될 수 있다. 잔여 학습은 선형 변환의 국소 기저를 더욱 낮은 랭크로 만들 수 있어, 뉴럴 네트워크의 불필요한 부담이 크게 감소될 수 있다. 이와 같은 내부 바이패스 연결 또는 외부 바이패스 연결은 깊은 네트워크 학습(deep network

training)의 어려움을 극복함으로써, 국소 노이즈 및 비국소 노이즈를 제거하는 성능을 향상시킬 수 있다

도 5는 표준 U-Net(a), 듀얼 프레임 U-Net(b)과 타이트 프레임 U-Net(c) 구조를 나타낸 것이다.

도 5에 도시된 바와 같이, 각 네트워크는 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 연쇄를 가진 경로 연결을 포함한다. 특히, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함한다. 마지막 스테이지는 두 개의 순차적인 레이어들과 마지막 레이어를 포함하며, 마지막 레이어는 1 × 1 커널을 갖는 컨볼루션만을 포함한다. 각 컨볼루션 레이어에 대한 채널 수는 도 5에 도시되어 있으며, 각 풀링 레이어 후에 채널 수는 두 배가 된다. U-Net과 듀얼 프레임 U-Net 또는 타이트 프레임 U-Net과의 차이는 풀링 레이어와 언풀링 레이어에 있다.

표준 U-Net은 도 5a에 도시된 바와 같이, U-Net 구조에 포함되어 있는 풀링과 언풀링 레이어가 프레임 조건(frame condition)을 만족하지 못하기 때문에 신호적 관점에서의 복원 수준의 한계를 보여준다고 할 수 있다. 본 발명은 기존의 U-Net 구조의 한계점을 수학적으로 증명하고 이를 기반으로 그 한계를 극복할 수 있는 이론을 정립함과 동시에 프레임 조건을 만족하는 뉴럴 네트워크 구조인 듀얼 프레임 U-Net과 타이트 프레임 U-Net을 제공하는 것이다.

듀얼 프레임 U-Net은 도 5b에 도시된 바와 같이, U-Net 의 수식적 표현을 듀얼 프레임으로 표현함으로써, 구조화된 뉴럴 네트워크 구조이며, 일반적인 U-Net 구조를 유지함과 동시에 레지듀얼 통로를 추가함으로써, U-Net 구조와 유사한 연산량을 가지지만 프레임 조건을 만족할 수 있도록 고안된 뉴럴 네트워크 구조이다.

타이트 프레임 U-Net은 도 5c에 도시된 바와 같이, 웨이블릿(wavelet)을 이용하여 저주파 영역과 고주파 영역을 분해하는데, 저주파 영역은 일반적인 U-Net 구조에서 수행되는 연산과 동일하게 단계별로 분해되지만, 고주파 영역은 맞은편 레이어로 통과할 수 있도록 통로를 설계함으로써, 고주파 신호가 손실되지 않고 복원될 수 있다.

도 6은 다양한 희소 뷰 재구성에서 일반적인 U-Net, 듀얼 프레임 U-Net과 타이트 프레임 U-Net에 의해 재구성 결과에 대한 일 예시도를 나타낸 것으로, 각 이미지 영역 내에서의 왼쪽 박스는 확대 이미지를 나타내고 오른쪽 박스는 차이 이미지를 나타내며, 이미지에 쓰여진 숫자는 NMSE(normalized mean square error) 값을 나타낸 것이다.

도 6에 도시된 확대 이미지와 차이 이미지를 통해 알 수 있듯이, U-Net은 많은 영역에서 블러된 에지 이미지를 생성하는 반면 듀얼 프레임 U-Net과 타이트 프레임 U-Net은 이미지의 고주파수 특성을 향상시키는 것을 알 수 있다. 즉, 본 발명의 듀얼 프레임 U-Net과 타이트 프레임 U-Net은 일반적인 U-Net의 한계로 지적되던 영상의 뭉개짐 현상을 줄일 뿐만 아니라, 다양한 희소 뷰 영상을 동시에 학습시킴으로써 추가적인 파라미터의 수정없이 단일 뉴럴 네트워크를 이용하여 모든 희소 뷰 영상을 복원할 수 있다.

도 7은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것으로, 도 3 내지 도 7의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(700)는 수신부(710) 및 복원부(720)를 포함한다.

수신부(710)는 희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신한다.

복원부(720)는 미리 설정된 프레임 조건을 만족하며 컨볼루션 프레임렛(convolution framelet) 기반의 학습 모델에 대한 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원한다.

여기서, 복원부(720)는 프레임 조건을 만족하며 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.

본 발명의 장치에서 영상을 복원하기 위해 사용되는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 프레임 조건을 만족하는 학습 모델을 생성하고, 학습 모델에 의해 학습된 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

여기서, 다중 해상도 뉴럴 네트워크는 다중 해상도 뉴럴 네트워크의 수식적 표현을 듀얼 프레임으로 표현함으로써, 구조화된 듀얼 프레임 뉴럴 네트워크와 다중 해상도 뉴럴 네트워크를 웨이블릿(wavelet)을 이용하여 저주파 영역과 고주파 영역을 분해함으로써, 구조화된 타이트 프레임 뉴럴 네트워크를 포함할 수 있다.

또한, 뉴럴 네트워크는 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

비록, 도 7의 장치에서 그 설명이 생략되었더라도, 도 7을 구성하는 각 구성 수단은 도 1 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 단계; 및
미리 설정된 프레임 조건을 만족하는 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
상기 영상을 복원하는 단계는
상기 프레임 조건을 만족하며 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
제1항에 있어서,
상기 뉴럴 네트워크는
컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 상기 프레임 조건을 만족하는 상기 학습 모델을 생성하고, 상기 학습 모델에 의해 학습된 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1항에 있어서,
상기 뉴럴 네트워크는
풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
제4항에 있어서,
상기 뉴럴 네트워크는
상기 다중 해상도 뉴럴 네트워크의 수식적 표현을 듀얼 프레임으로 표현함으로써, 구조화된 듀얼 프레임 뉴럴 네트워크와 상기 다중 해상도 뉴럴 네트워크를 웨이블릿(wavelet)을 이용하여 저주파 영역과 고주파 영역을 분해함으로써, 구조화된 타이트 프레임 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
제4항에 있어서,
상기 뉴럴 네트워크는
상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 방법.
희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 단계; 및
미리 설정된 프레임 조건을 만족하며 컨볼루션 프레임렛(convolution framelet) 기반의 학습 모델에 대한 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
를 포함하는 영상 처리 방법.
제7항에 있어서,
상기 뉴럴 네트워크는
풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
제8항에 있어서,
상기 뉴럴 네트워크는
상기 다중 해상도 뉴럴 네트워크의 수식적 표현을 듀얼 프레임으로 표현함으로써, 구조화된 듀얼 프레임 뉴럴 네트워크와 상기 다중 해상도 뉴럴 네트워크를 웨이블릿(wavelet)을 이용하여 저주파 영역과 고주파 영역을 분해함으로써, 구조화된 타이트 프레임 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
희소 뷰(sparse-view) 전산단층 촬영 데이터를 수신하는 수신부; 및
미리 설정된 프레임 조건을 만족하는 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 복원부
를 포함하는 영상 처리 장치.
제10항에 있어서,
상기 복원부는
상기 프레임 조건을 만족하며 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 희소 뷰 전산단층 촬영 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
제10항에 있어서,
상기 뉴럴 네트워크는
컨볼루션 프레임렛(convolution framelet) 기반의 수학적 해석을 통해 상기 프레임 조건을 만족하는 상기 학습 모델을 생성하고, 상기 학습 모델에 의해 학습된 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
제10항에 있어서,
상기 뉴럴 네트워크는
풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
제13항에 있어서,
상기 뉴럴 네트워크는
상기 다중 해상도 뉴럴 네트워크의 수식적 표현을 듀얼 프레임으로 표현함으로써, 구조화된 듀얼 프레임 뉴럴 네트워크와 상기 다중 해상도 뉴럴 네트워크를 웨이블릿(wavelet)을 이용하여 저주파 영역과 고주파 영역을 분해함으로써, 구조화된 타이트 프레임 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
제13항에 있어서,
상기 뉴럴 네트워크는
상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 장치.