KR101883806B1 - 영상 복원 장치 및 방법 - Google Patents

영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR101883806B1
KR101883806B1 KR1020170045446A KR20170045446A KR101883806B1 KR 101883806 B1 KR101883806 B1 KR 101883806B1 KR 1020170045446 A KR1020170045446 A KR 1020170045446A KR 20170045446 A KR20170045446 A KR 20170045446A KR 101883806 B1 KR101883806 B1 KR 101883806B1
Authority
KR
South Korea
Prior art keywords
image
original image
less
original
frequency
Prior art date
Application number
KR1020170045446A
Other languages
English (en)
Inventor
정원기
콴트란민
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020170045446A priority Critical patent/KR101883806B1/ko
Application granted granted Critical
Publication of KR101883806B1 publication Critical patent/KR101883806B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 복원 방법은, n개(n는 2 이상의 자연수)의 원본 영상의 복원을 위해, n개의 주파수 스펙트럼 데이터 집합을, 상기 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상에 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합이 대응되도록 획득하는 단계, 상기 원본 영상 각각의 공통적 특징을 나타내는 하나 이상의 필터의 집합인 특징 사전(dictionary)을 획득하는 단계, 하나 이상의 희소 코드(sparse code)를 포함하는 희소 코드 집합을, 상기 원본 영상 각각에 대하여 획득하되, 상기 원본 영상 중 i번째 영상에 상기 희소 코드 집합 중 i번째 집합이 대응되도록 획득하는 단계 및 상기 특징 사전 및 각각의 상기 희소 코드 집합을 이용하여, 상기 주파수 스펙트럼 데이터 집합으로부터 상기 원본 영상 각각을 복원하는 단계를 포함하며, 상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상의 주파수 변환 결과와, 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이, 소정의 제 1 상수 미만이 되도록 정해질 수 있다.

Description

영상 복원 장치 및 방법 {APPARATUS AND METHOD FOR RECONSTRUCTING IMAGE}
본 발명은 언더샘플링된(undersampled) 주파수 영역의 영상 데이터로부터 원본 영상을 복원하는 과정을, 사전 학습(dictionary learning) 기법과 합성곱 희소 코드(convolutional sparse code)를 이용하여 빠르고 정확하게 수행하기 위한 장치 및 방법에 관한 것이다.
자기 공명 영상(magnetic resonance imaging, 이하 MRI)은 환자 신체 내부에 존재하는 관심 영역의 해부학상 구조 및 상태에 관한 정보를 제공하기 위한 비침습적 영상 기술이다. 이와 같은 MRI 기술이 적용된 영상 촬영 장치는, 자기장 속의 원자핵이 특정 주파수의 전자기파와 공명하는 현상인 핵 자기 공명(nuclear magnetic resonance, NMR) 현상을 이용하여 영상을 획득한다.
일반적으로 MRI 영상 촬영 장치는 영상에 관한 로우 데이터(raw data)를 k-스페이스(k-space)라 불리는 주파수 영역(frequency domain)에서 획득한다. 즉, 상기 로우 데이터는 일종의 주파수 스펙트럼 데이터이며, 이에 대해 역 푸리에 변환(inverse Fourier transform)을 수행하면 얻고자 하는 영상이 생성된다.
픽셀로 구성된 시각적인 영상은 다양한 주파수 성분을 가지며, 특정 해상도를 가진 영상을 완벽히 복원하기 위해서는, 기본적으로 해당 해상도의 영상에서 나타날 수 있는 모든 주파수 성분에 관한 데이터가 필요하다. 하지만 일반적인 MRI 영상 촬영 장치에 있어서, 영상이 가질 수 있는 모든 주파수 성분에 관한 데이터를 얻는 데에는 수십 분에 달하는 상당히 긴 시간이 소요된다.
이와 같은 문제를 해결하기 위해, 최근 CS-MRI(compressed sensing MRI)라 불리는 기술이 연구되고 있다. CS-MRI 기술에 의하면, 필요한 주파수 스펙트럼 데이터 중 일부 주파수의 데이터만을 취득하며, 이에 따라 이전에 비해 보다 빠른 영상 촬영이 가능해진다. 다만, 이와 같이 일부 누락이 있는 주파수 스펙트럼 데이터, 즉 언더샘플링된 주파수 스펙트럼 데이터로부터 얻어진 영상은 실제의 정확한 영상(이하, “원본 영상”이라 칭함)이 아닌, 왜곡된 이미지일 수밖에 없다. 따라서, 언더샘플링된 데이터만으로도 원본 영상에 최대한 가까운 영상을 획득하는 것이 CS-MRI 기술의 가장 핵심적 과제라 할 수 있다.
상기 과제의 해결을 위한 방법으로 웨이블릿 변환(wavelet transforms) 등 수학적 기법을 채용한 방법들이 존재하였으나, 복원의 정확도에 한계가 있었다. 최근에는 기계 학습(machine learning) 기법을 이용한 방법이 시도되고 있는데, 이 역시 방대한 연산량으로 인해 컴퓨팅 자원이 크게 소모된다는 단점을 갖는다.
특허문헌: 대한민국 공개특허 제 10-2015-0085462호 (2015.07.23. 공개)
본 발명이 해결하고자 하는 과제는, 언더샘플링된 주파수 영역의 영상 데이터로부터 원본 영상을 빠르고 정확하게 복원하기 위한 장치 및 방법을 제공하는 것이다.
다만, 본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 복원 방법은, n개(n는 2 이상의 자연수)의 원본 영상의 복원을 위해, n개의 주파수 스펙트럼 데이터 집합을, 상기 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상에 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합이 대응되도록 획득하는 단계, 상기 원본 영상 각각의 공통적 특징을 나타내는 하나 이상의 필터의 집합인 특징 사전(dictionary)을 획득하는 단계, 하나 이상의 희소 코드(sparse code)를 포함하는 희소 코드 집합을, 상기 원본 영상 각각에 대하여 획득하되, 상기 원본 영상 중 i번째 영상에 상기 희소 코드 집합 중 i번째 집합이 대응되도록 획득하는 단계 및 상기 특징 사전 및 각각의 상기 희소 코드 집합을 이용하여, 상기 주파수 스펙트럼 데이터 집합으로부터 상기 원본 영상 각각을 복원하는 단계를 포함하며, 상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상의 주파수 변환 결과와, 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이, 소정의 제 1 상수 미만이 되도록 정해질 수 있다.
또한, 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합은, 상기 원본 영상 중 i번째 영상의 주파수 변환 결과에서 일부 주파수 성분의 데이터가 제거된 것일 수 있다.
또한, 상기 특징 사전에 포함된 필터의 개수와, 상기 희소 코드 집합 중 하나에 포함된 희소 코드의 개수를 K라 할 때, 상기 특징 사전, 상기 복원된 원본 영상 및 상기 희소 코드 집합은, 상기 특징 사전의 k(k는 0 이상 K 미만의 정수)번째 필터와 상기 희소 코드 집합 중 i번째 집합의 k번째 희소 코드 간의 컨볼루션(convolution) 연산을 각 k에 대해 수행한 결과를 모두 더하여 얻어진 영상과, 상기 복원된 원본 영상 중 i번째 영상 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이 소정의 제 2 상수 미만이 되도록 정해질 수 있다.
또한, 상기 주파수 스펙트럼 데이터 집합 각각은, 소정의 시간 간격을 두고 동일한 객체를 주기적으로 촬영함으로써 획득되며, 상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 시간적으로 인접한 두 영상 간의 차이의 총합이 소정의 제 3 상수 미만이 되도록 정해질 수 있다.
또한, 상기 방법은, 상기 컨볼루션 연산의 결과를 얻기 위해, 푸리에 변환(Fourier Transform)을 이용하여 상기 컨볼루션 연산을 행렬 곱(matrix multiplication) 연산으로 치환하는 단계를 더 포함할 수 있다.
또한, 상기 방법은, 임의의 자연수를 입력받는 단계 및 상기 K의 값을, 상기 임의의 자연수와 같은 수로 결정하는 단계를 더 포함할 수 있다.
또한, 상기 원본 영상 각각은, 소정의 시간 간격을 두고 주기적으로 획득되는 MRI(magnetic resonance imaging) 영상일 수 있다.
본 발명의 일 실시예에 따른 영상 복원 장치는, n개(n는 2 이상의 자연수)의 원본 영상의 복원을 위해, n개의 주파수 스펙트럼 데이터 집합을, 상기 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상에 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합이 대응되도록 획득하는 입력부 및 상기 원본 영상 각각의 공통적 특징을 나타내는 하나 이상의 필터의 집합인 특징 사전(dictionary)을 획득하고, 하나 이상의 희소 코드(sparse code)를 포함하는 희소 코드 집합을, 상기 원본 영상 각각에 대하여 획득하되, 상기 원본 영상 중 i번째 영상에 상기 희소 코드 집합 중 i번째 집합이 대응되도록 획득하며, 상기 특징 사전 및 각각의 상기 희소 코드 집합을 이용하여, 상기 주파수 스펙트럼 데이터 집합으로부터 상기 원본 영상 각각을 복원하는 연산부를 포함하며, 상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상의 주파수 변환 결과와, 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이, 소정의 제 1 상수 미만이 되도록 정해질 수 있다.
본 발명의 일 실시예에 의하면, 언더샘플링된 주파수 영역의 영상 데이터로부터 원본 영상을 복원하는 데 있어서 사전 학습(dictionary learning) 기법과 합성곱 희소 코드(convolutional sparse code)를 도입함으로써, 학습에 의한 결과의 정확성을 확보하면서도 비교적 간단한 연산에 의한 소요 시간 단축의 효과까지 아울러 달성할 수 있다. 또한, 본 발명의 일 실시예에 의하면, 개별 영상 각각의 시간적 변화까지 고려하여 영상 복원을 수행할 수도 있으며, 이로써 복원의 정확도가 더욱 향상될 수 있다.
도 1은 원본 영상 및 언더샘플링(undersampling)에 의해 왜곡된 영상의 비교를 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 합성곱 희소 코딩(convolution sparse coding, CSC)에 대해 개념적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 복원 장치의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 복원 방법의 순서를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 복원 방법의 수행 결과를 설명하기 위한 도면이다.
도 6a 및 6b는 본 발명의 일 실시예에 따른 영상 복원 방법의 성능을 종래의 방법과 비교하여 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 원본 영상 및 언더샘플링(undersampling)에 의해 왜곡된 영상의 비교를 위한 도면이다. 도 1의 왼쪽 그림은 MRI 영상 촬영 장치로 사람의 뇌를 촬영함으로써 얻어진 원본 영상(11)으로, 손실로 인한 왜곡이 없는 영상이다. 앞서 설명한 바와 같이, 원본 영상(11)에서 나타날 수 있는 모든 주파수 성분의 값을 기록한 주파수 스펙트럼 데이터에 대해 역 푸리에 변환을 수행하면, 원본 영상(11)을 손실 없이 얻을 수 있다.
이에 반해, CS-MRI 기술이 적용된 MRI 영상 촬영 장치에 의하면, 일부 주파수 성분이 누락된, 즉 언더샘플링된 주파수 스펙트럼 데이터가 얻어진다. 상기 언더샘플링된 주파수 스펙트럼 데이터에 대해 역 푸리에 변환을 수행하면, 도 1의 오른쪽 그림과 같은 왜곡된 영상(12)이 얻어진다. 도 1에서 볼 수 있는 바와 같이, 왜곡된 영상(12)은 정보의 손실로 인하여 원본 영상(11)에 비해 낮은 품질의 영상이 되며, 이러한 왜곡된 영상(12)으로는 환자의 상태에 대한 정확한 진단을 할 수 없다. 따라서, 본 발명의 일 실시예에 의한 영상 복원 장치 및 방법은, 언더샘플링된 주파수 스펙트럼 데이터로부터 원본 영상(11)에 최대한 가까운 영상을 얻어냄으로써 원본 영상(11)을 복원하는 것을 그 목적으로 한다.
도 2는 본 발명의 일 실시예에 따른 합성곱 희소 코딩(convolution sparse coding, CSC)에 대해 개념적으로 설명하기 위한 도면이다. 도 3 및 그 이후의 도면을 참조하여 본 발명의 일 실시예에 따른 영상 복원 장치 및 방법에 대해 설명하기 전에, 도 2를 참조하여 영상의 특징을 나타내는 필터와 희소 코드를 이용하여 영상을 근사적으로 표현하는 합성곱 희소 코딩에 대해 살펴보도록 한다.
도 2를 참조하면, 원본 영상(21)은 픽셀 수로 표현되는 소정의 해상도(여기에서는 가로 256픽셀, 세로 256픽셀)를 가질 수 있다. 또한, 원본 영상(21)을 흑백 영상이라 가정할 때, 원본 영상(21)의 각 픽셀의 값(명도)는 정수의 값으로 표현될 수 있다. 예컨대, 각 픽셀의 값은 0(검정)부터 255(흰색)까지의 256가지 값 중 하나로 표현될 수 있다. 이와 같은 원본 영상(21)은 K(K는 자연수)개의 필터(d)와 K개의 희소 코드(sparse code, x)를 이용하여 근사적으로 표현될 수 있다.
각 필터(d)는 원본 영상(21)의 특징을 표현하는 일종의 이미지로, 일반적으로는 원본 영상(21)에 비해 적은 수의 픽셀(여기에서는 가로 11픽셀, 세로 11픽셀)을 포함할 수 있다. 이와 같은 필터의 집합을 사전(dictionary, 31)이라 정의할 수 있다. 즉, 사전(31)은 원본 영상(21)에 대한 정보의 집합이라 볼 수 있다.
희소 코드(x) 역시 일종의 이미지라 볼 수 있는데, 일반적으로는 원본 영상(21)과 같거나 유사한 수의 픽셀(여기에서는 가로 256픽셀, 세로 256픽셀)을 포함할 수 있다. 희소 코드(x)에서는 대부분의 픽셀의 값이 0이고, 매우 적은 수의 픽셀만이 0이 아닌 값을 갖는다. 즉, 희소 코드(x)에 의하면 영상의 특정 부분을 제외한 모든 부분이 0이 되므로, 이러한 희소 코드(x)를 이용하여 영상의 특정 부분의 특징을 효과적으로 추출하는 것이 가능하며, 연산량이 감소될 수 있다는 이점 역시 아울러 갖는다.
전술한 바와 같이 필터(d)와 희소 코드(x)의 개수가 각각 K개라 할 때, k(k는 0 이상 K 미만의 정수)번째 필터(d)와 k번째 희소 코드(x) 간의 합성곱 연산, 즉 컨볼루션(convolution) 연산을 각 k에 대해 수행한 결과를 모두 더하여 얻어진 근사 영상이 원본 영상(21)과 최대한 유사하도록, 즉 근사 영상과 원본 영상(21) 간의 차이가 최소화되도록, K개의 각 필터(d) 및 희소 코드(x)를 정의할 수 있다. 여기서 영상 간의 차이라 함은, 예컨대 차이를 구하고자 하는 두 영상에서 서로 위치가 같은 픽셀 간의 값의 차이를, 모든 픽셀에 대해 더한 값이 될 수 있다.
이와 같이 원본 영상(21)을 가장 잘 나타낼 수 있는 K개의 각 필터(d) 및 희소 코드(x)는, 다음의 수학식 1을 만족하는 필터(d) 및 희소 코드(x)가 된다. 참고로, K의 값은 사용자로부터의 입력 혹은 영상 복원 장치(100)가 구현된 시스템의 성능에 기초하여 정해질 수 있다. 일반적으로는 K의 값이 클수록, 즉 필터의 가짓수가 풍부할수록 보다 정확한 결과를 얻을 수 있겠으나, 시스템 성능에 비해 지나치게 큰 K의 값은 비효율을 야기할 수 있다.
Figure 112017034397817-pat00001
상기 수학식 1에서 S는 원본 영상(21)을 나타내고, dk 및 xk는 각각 k번째 필터(d) 및 k번째 희소 코드(x)를 나타내며, α 및 λ는 임의의 상수로서 실험을 통해 최적화된 값이다. 즉, 수학식 1을 만족하는 해로서의 필터(d) 및 희소 코드(x)를 구하는 것은, 원본 영상(21)에 가장 가까운 근사 영상을 구하는 것과 사실상 같은 의미를 갖는다.
참고로, “min”이라는 기호 및 그 아래의 “d, x”라는 인자는, min 기호 오른쪽의 식이 최소가 되도록 필터(d)와 희소 코드(x)의 값(보다 구체적으로는, 각 dk 및 xk의 값)을 결정한다는 뜻이다. 또한 “s.t”은 “such that”의 약자로, 이는 구해진 해가 “s.t.”의 오른쪽에 서술된 조건(수학식 1에서는
Figure 112017034397817-pat00002
) 역시 만족하여야 한다는 뜻이다. 이러한 기호 및 인자에 관한 설명은 아래의 다른 수학식들에도 유사하게 적용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 복원 장치의 구성을 도시한 도면이다. 도 3의 영상 복원 장치(100)는 입력부(110), 데이터베이스(120), 데이터베이스 제어부(130), 희소 코드 계산부(140) 및 결과 영상 생성부(150)를 포함할 수 있다. 단, 도 3의 영상 복원 장치(100)는 본 발명의 일 실시예에 불과하므로, 도 3에 의해 본 발명의 사상이 제한 해석되는 것은 아니다.
입력부(110)는 원본 영상의 복원을 위해, 각 원본 영상에 대응되는 주파수 스펙트럼 데이터 집합을 획득할 수 있다. 즉, 하나의 주파수 스펙트럼 데이터 집합은 하나의 원본 영상에 대응된다. 각 원본 영상은, 동일한 객체(예컨대, 환자의 특정 신체 부위)를 소정의 시간 간격을 두고 주기적으로 촬영함으로써 획득된 영상일 수 있다.
입력부(110)는 다양한 장치를 통해 구현될 수 있는데, 영상 복원 장치(100) 외부(예컨대, MRI 영상 촬영 장치)로부터 주파수 스펙트럼 데이터 집합을 수신하기 위한 데이터 버스 혹은 통신 모듈 등의 구성을 포함할 수도 있고, 경우에 따라서는 MRI 영상 촬영 장치를 포함함으로써 환자의 신체를 직접 촬영하여 주파수 스펙트럼 데이터 집합을 얻을 수도 있다.
또한, 입력부(110)는 원본 영상 각각의 공통적 특징을 나타내는 특징 사전(dictionary)이 포함하는 필터의 개수, 혹은 특징 사전과 함께 원본 영상의 복원에 이용될 희소 코드 집합 중 하나의 집합이 포함하는 희소 코드의 개수를 영상 복원 장치(100)의 사용자로부터 입력받을 수 있다. 이에 따라, 입력부(110)는 키보드(keyboard), 마우스(mouse), 터치 스크린(touch screen), 터치 패드(touch pad) 등의 입력 장치를 포함할 수 있다.
연산부(120)는 입력부(110)를 통해 입력된 주파수 스펙트럼 데이터 집합에 기초하여, 특징 사전과 희소 코드 집합을 산출하고 각 원본 영상을 복원할 수 있다. 연산부(120)의 상기 동작 수행을 위한 구체적인 과정 및 원리에 대해서는 뒤에서 자세히 설명하도록 한다. 이러한 연산부(120)는 그 동작의 특성상 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있다.
저장부(130)는 영상 복원 장치(100)가 필요로 하는 정보를 저장할 수 있다. 이러한 필요 정보의 예로서는 입력부(110)를 통해 입력된 주파수 스펙트럼 데이터 집합, 연산부(120)에 의해 산출되거나 복원된 특징 사전, 희소 코드 집합 및 원본 영상 등이 될 수 있다. 또한, 저장부(130)는 연산부(120)가 원본 영상을 복원하는 과정에서 이용하는 각종 인자들의 값을 저장할 수 있다. 물론 저장부(130)가 저장하는 정보는 위와 같은 예시로 한정되는 것은 아니고, 영상 복원 장치(100)의 동작에 필요한 정보라면 어떤 것이든 될 수 있다.
저장부(130)는 구체적으로 컴퓨터 판독 기록 매체로서 구현될 수 있으며, 이러한 컴퓨터 판독 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 들 수 있다.
출력부(140)는 연산부(120)에 의해 복원된 원본 영상을 영상 복원 장치(100)의 외부에 출력할 수 있다. 여기서 "출력"은 인쇄물을 통한 하드 카피(hard copy) 출력, 디스플레이를 통한 출력, 통신망을 통한 외부 전송 등이 될 수 있으나, 반드시 이에 한정되는 것은 아니다. 따라서, 출력부(140)는 프린터(printer), 플로터(plotter), 디스플레이(display), 혹은 외부로의 데이터 전송을 위한 데이터 버스 등의 인터페이스 등을 포함하도록 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 복원 방법의 순서를 도시한 도면이다. 도 4의 영상 복원 방법은 도 3을 참조하여 설명한 영상 복원 장치(100)에 의해 수행될 수 있다. 단, 도 4에 도시된 방법은 본 발명의 일 실시예에 불과하므로 도 4에 의해 본 발명의 사상이 한정 해석되는 것은 아니며, 도 4에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
우선, 입력부(110)가 원본 영상 각각에 대응되는 각각의 주파수 스펙트럼 데이터 집합을 획득할 수 있다(S110). 여기서, 원본 영상이 n개(n는 2 이상의 자연수)라면, 주파수 스펙트럼 데이터 집합 역시 n개가 존재하게 되며, 주파수 스펙트럼 데이터 중 i(i는 0 이상 n 미만의 정수)번째 집합은, 원본 영상 중 i번째 영상에 대응될 수 있다. 보다 구체적으로, i번째 주파수 스펙트럼 데이터 집합은, i번째 원본 영상의 주파수 변환 결과에서 일부 주파수 성분의 데이터가 제거된 것, 즉 언더샘플링된 주파수 스펙트럼 데이터의 집합일 수 있다.
한편, 상기 주파수 스펙트럼 데이터 집합 각각은, 동일한 객체(예컨대, 환자의 특정 신체 부위)를 소정의 시간 간격을 두고 주기적으로 촬영함으로써 획득될 수 있다. 예컨대, n개의 주파수 스펙트럼 데이터 집합 모두가 한 환자의 뇌를 촬영함으로써 얻어지는 MRI 영상 데이터일 수 있다. 이에 따라, 복원될 각 원본 영상 역시 상기 환자의 뇌의 시간에 따른 변화를 나타낼 수 있다. 각 원본 영상의 일련번호는 시간 순으로 붙여질 수 있으며, 이 경우 0번째 영상이 시간 순으로 가장 앞선 영상, n-1번째 영상이 가장 나중의 영상이 될 수 있다.
또한 입력부(110)는 본 발명의 일 실시예에 따른 영상 복원 방법의 수행을 위해 필요한 인자의 값을 입력받을 수 있다(S120). 대표적으로, 입력부(110)는 영상 복원 장치(100)의 사용자로부터 특징 사전이 포함하는 필터의 개수, 혹은 특징 사전과 함께 원본 영상의 복원에 이용될 희소 코드 집합 중 하나의 집합이 포함하는 희소 코드의 개수를 입력받을 수 있다. 이하에서는 상기 개수가 모두 K라는 임의의 자연수로 입력되었다고 가정하며, 이에 따라 특징 사전은 K개의 필터를, 희소 코드 집합 중 하나의 집합은 K개의 희소 코드를 각각 포함하게 된다.
전술한 바와 같이 입력부(110)를 통해 필요한 데이터가 입력되면, 연산부(120)는 모든 원본 영상에 대해 공통으로 적용되는 특징 사전을 획득하고(S130), n개의 원본 영상 각각에 일대일로 대응되는 n개의 희소 코드 집합을 획득하며(S140), 특징 사전 및 희소 코드 집합에 기초하여 각 원본 영상을 복원할 수 있다(S150).
이하에서는 연산부(120)에 의해 수행되는, 원본 영상의 복원을 위한 상기 단계 S130 내지 S150에 대해 구체적으로 설명하도록 한다. 원본 영상의 복원 과정은, 다음과 같은 수학식 2를 푸는 과정이라 생각할 수 있다.
Figure 112017034397817-pat00003
상기 수학식 2에서 Si는 n개의 복원될 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상을, Dk는 특징 사전 내의 K개의 필터 중 k번째 필터를, Xk,i는 i번째 원본 영상에 대응되는 i번째 희소 코드 집합 내의 K개의 희소 코드 중 k(k는 0 이상 K 미만의 정수)번째 희소 코드를 각각 나타낸다. 즉, 수학식 2를 푼다는 것은 상기 수학식 2를 만족하는 원본 영상, 특징 사전 및 희소 코드 집합을 구한다는 것을 의미한다.
한편, α, λ, θ 및 ε는 임의의 상수로서 실험을 통해 최적화된 값이 될 수 있다. 또한, 아래첨자로서의 1 및 2는 각각 l1 norm 및 l2 norm을 나타낸다. Mi는 i번째 원본 영상에 대응되는 i번째 주파수 스펙트럼 데이터 집합을 나타내며, FSi는 i번째 원본 영상에 푸리에 변환 등을 수행하여 주파수 변환한 결과를 나타낸다. Ri는 i번째 원본 영상에 적용될 샘플링 마스크(sampling mask)로, 미리 설정되어 있을 수도 있고 입력부(110)를 통해 사용자로부터 입력받을 수도 있다. 따라서, RiFSi는 FSi에 i번째 샘플링 마스크를 적용시킨 결과를 나타낸다.
수학식 2에 대해 자세히 살펴보면, i번째 원본 영상(Si)을 구하기 위해, 이를 특징 사전의 k번째 필터(Dk)와 i번째 희소 코드 집합의 k번째 희소 코드(Xk) 간의 컨볼루션 연산을 각 k(k는 0 이상 K 미만의 정수)에 대해 수행한 결과를 모두 더하여 얻어진 영상(i번째 근사 영상)으로 근사시키고 있음을 알 수 있다. 즉, 수학식 1의 첫 번째 항은, i번째 원본 영상(Si), 0 내지 K-1번째 필터(Dk), i번째 희소 코드 집합의 0 내지 K-1번째 희소 코드(Xk)를 구하되, i번째 원본 영상(Si)과 i번째 근사 영상 간의 차이가 최소화되어야 한다는 의미로 해석될 수 있다.
한편, 여기서 "차이의 최소화"라는 것은 현실적으로는 "차이가 소정의 상수 미만이 됨"을 의미할 수 있으며, 이러한 현실적인 의미는 본 명세서의 다른 부분의 설명에 대해서도 적용될 수 있다. 물론 소정의 상수는 그 크기가 0에 가까울 정도로 충분히 작은 상수로 정해질 수 있을 것이다.
수학식 2의 두 번째 항은 i번째 희소 코드 집합의 희소 코드들의 희소성(sparsity)을 보장하기 위한 항이다. 세 번째 항은, i번째 원본 영상(Si)의 그래디언트(gradient)에 관한 항으로서, i번째 원본 영상(Si)과 인접한 영상 간(예컨대, i-1번째 원본 영상 혹은 i+1번째 원본 영상)의 차이가 어느 정도인지를 나타낼 수 있다.
상기 수학식 2의 물리적 의미에 대해 고찰해 보면, 특징 사전과 희소 코드 집합을 이용하여 각각의 원본 영상을 복원하되, 시간적 간격을 두고 측정된 원본 영상들의 시간에 따른 변화까지 고려하여 원본 영상을 복원한다는 것으로 이해될 수 있다. 아래에서는 이러한 수학식 2의 물리적 의미에 대해, 항목별로 보다 구체적으로 살펴보도록 한다.
첫째로, 복원될 모든 원본 영상이 하나의 특징 사전을 공유하도록 함으로써, 각 원본 영상에 대응되는 주파수 스펙트럼 데이터 집합이 누락한 정보를 효과적으로 복원할 수 있다. 주파수 스펙트럼 데이터 집합의 특정 개별 데이터(예컨대, 일종의 주파수 영역인 k 스페이스에서의 한 점의 정보)는 실제의 시각적 영상에서의 특정부분(예컨대, 특정 픽셀)과 일대일로 대응되는 것은 아니다. 즉, 주파수 스펙트럼 데이터 집합에서의 누락 부분은 영상의 모든 부분에 전반적인 영향을 미칠 수 있으며, 그 영향의 양상은 개별 영상에 대해 모두 다르게 나타날 수 있다.
본 발명의 일 실시예에 따른 주파수 스펙트럼 데이터 집합은, 하나의 객체를 복수 회 촬영함으로써 얻어질 수 있기 때문에, 하나의 원본 영상의 특징은 다른 원본 영상들과도 관련이 있다. 따라서, 복원될 각 영상들끼리 특징 사전을 통해 특징 정보를 공유함으로써, 주파수 스펙트럼 데이터의 누락의 영향을 각 영상들끼리 서로 보완해 주는 것이 가능하다.
둘째로, 복원될 원본 영상들의 시간적 변화를 고려하여, 더욱 효과적인 원본 영상의 복원이 가능하다. 전술한 바와 같이 원본 영상이 사람의 특정 신체 부위와 같은 하나의 객체를 소정의 시간 간격으로 복수 회 촬영한 영상일 경우, 해당 신체 부위의 변화는 시간에 따라 연속적인 경향성을 띨 것이라 생각하는 것이 자연스럽다. 따라서, 복원된 원본 영상들에서 시간적으로 인접한 영상 간의 차이가 커 영상의 변화 양상이 일정한 경향성을 보이지 않고 들쭉날쭉한 경우, 올바르게 복원되었다고 생각하기는 어려울 것이다. 상기 수학식 2의 세 번째 항에 의하면, 이러한 변화 양상의 불규칙성을 제거함으로써, 더욱 정확한 원본 영상 복원이 가능하다.
아울러, 상기 수학식 2의 s.t. 이하의 조건에 의하면, RiFSi와 Mi간의 차이가 소정 범위 이내이어야 한다. 다시 말해, 복원된 i번째 원본 영상에 주파수 변환을 수행한 결과(RiFSi)가 촬영을 통해 획득된 i번째 주파수 스펙트럼 데이터 집합(Mi)과 일정 수준 이상의 유사도를 보여야 한다는 것이다. 즉, 이는 일종의 경계 조건(boundary condition)으로서, 데이터의 누락이 있는 주파수 스펙트럼 데이터 집합이라 하더라도 해당 주파수 스펙트럼 데이터 집합이 갖고 있는 데이터는 원본 영상의 복원에 최대한 활용되어야 한다는 것을 의미한다.
한편, 상기 수학식 2에 대해 설명할 때에는 설명의 편의를 위해 복수의 원본 영상 중 i번째의 특정 영상 하나를 상정하고 설명하였지만, 하나의 특정 영상만이 수학식 2를 만족하는 것은 의미가 없다. 따라서, 실질적으로는 상기 수학식 2의 값을 각 i에 대해 구하여 이를 모두 더한 값이 최소가 되도록 하며, s.t. 이하의 조건은 모든 i에 대해 성립하도록 함으로써, 모든 원본 영상을 높은 정확도로 복원할 수 있다.
이하에서는 상기 수학식 2를 푸는 구체적인 과정에 대해 상세히 설명하도록 한다. 수학식 2를 전체로서 한 번에 풀기는 어려우므로, 수학식 2를 세부 문제들로 나누어 각각 따로 풀되, 각각의 세부 문제가 소정의 수렴 조건을 만족할 때까지 풀이를 진행할 수 있다.
먼저 첫 번째 세부 문제로서, 수학식 2의 첫 번째 항과 두 번째 항의 최소 조건을 만족하는 인자들의 값을 구하는 것을 생각할 수 있다. 이에 따라 첫 번째 세부 문제는 아래와 같은 수학식 3을 푸는 것으로 정의될 수 있다. 참고로, 편의상 시그마(Σ) 기호 및 D, X, S, R, M에 대해 인덱스 k와 i는 생략하여 표기하였다.
또한 FSi는 Sf로 나타내었으며, 앞으로도 아래 첨자의 f는 주파수 변환한 결과를 나타낸다고 생각하면 된다. 수학식 3을 만족하는 각 인자들은 반복 연산을 통해 구해질 수 있는데, 맨 처음에는 각 인자들의 값을 무작위로 설정한 후 연산을 적용할 수 있다. 그리고, 전술한 바와 같이 실질적으로는 하기 수학식 3의 값을 각 i에 대해 구하여 이를 모두 더한 값이 최소가 되도록 수학식 3을 풀 수 있다.
Figure 112017034397817-pat00004
상기 수학식 3의 계산을 위해 예비 변수 Y 및 G를 X 및 D를 위해 각각 도입할 수 있으며, 이에 따라 수학식 3은 아래와 같은 수학식 4로 변형될 수 있다. G와 D는 프로젝션(projection) 연산자를 통해 서로의 차원이 같아지도록 한다.
Figure 112017034397817-pat00005
상기 수학식 4는 이중 변수 U, H를 도입하여 아래의 수학식 5처럼 다시 쓸 수 있으며, γ, ρ 및 σ는 임의의 상수이다.
Figure 112017034397817-pat00006
상기 수학식 5를 X에 대해 풀기 위해, 아래의 수학식 6을 이용할 수 있다.
Figure 112017034397817-pat00007
상기 수학식 6의 계산을 보다 용이하게 하기 위해, 푸리에 변환을 이용하여 모든 변수를 주파수 영역의 변수로 변환할 수 있으며, 그 결과 컨볼루션 연산은 보다 단순한 행렬 곱 연산으로 변환될 수 있다. 아래의 수학식 7은 수학식 6을 주파수 영역에서의 식으로 변환한 결과이다.
Figure 112017034397817-pat00008
Xf에 대한 미분 연산을 상기 수학식 7에 적용하면, 아래와 같이 수학식 8이 도출될 수 있으며, 이를 통해 상기 수학식 7을 만족하는 Xf의 값을 구할 수 있다.
Figure 112017034397817-pat00009
한편, 상기 수학식 5를 만족하는 Y의 값을 구하기 위해, 아래의 수학식 9를 이용할 수 있다.
Figure 112017034397817-pat00010
상기 수학식 9에서, Y의 값은 수축(shrinkage) 연산을 이용하여 아래의 수학식 10과 같이 구할 수 있다.
Figure 112017034397817-pat00011
또한, 이중 변수 U는 위에서 구한 X 및 Y에 기초하여 아래의 수학식 11과 같이 업데이트될 수 있으며, 이와 같은 업데이트는 X-Y의 값의 크기가 일정 수준 밑으로 수렴할 때까지 계속될 수 있다.
Figure 112017034397817-pat00012
참고로, 상기 수학식 11은 기존의 U의 값에 X-Y의 값을 더한 값으로 U의 값을 업데이트한다는 의미가 된다. 즉, 상기 수학식 11에서 등호(=)는 등호 양변이 같다는 의미의 연산자가 아닌, 대입 연산자로서 기능하며, 이는 값의 업데이트와 관련된 다른 수학식에 있어서도 같다.
D는 X의 경우와 유사하게, 다음의 수학식 12를 이용하여 주파수 영역에서 계산될 수 있다.
Figure 112017034397817-pat00013
G는 Df에 역 푸리에 변환을 수행함으로써 구할 수 있으며, 다음의 수학식 13이 이용될 수 있다.
Figure 112017034397817-pat00014
H는 U와 마찬가지로 다음과 같은 수학식 14에 의해 업데이트될 수 있으며, 이와 같은 업데이트는 D-G의 값의 크기가 일정 수준 밑으로 수렴할 때까지 계속될 수 있다.
Figure 112017034397817-pat00015
S를 구하기 위해서는, 다음과 같은 수학식 15를 이용할 수 있다.
Figure 112017034397817-pat00016
수학식 7의 경우와 유사하게, 상기 수학식 15는 푸리에 변환에 의해 다음의 수학식 16과 같이 주파수 영역으로 옮겨서 계산할 수 있다.
Figure 112017034397817-pat00017
상기 수학식 16을 만족하는 Sf의 값은, 다음의 수학식 17을 이용하여 구할 수 있다. 참고로, 수학식 17은 Sherman-Morrison 공식을 통해 계산될 수 있으며, 이는 수학식 8 및 12 역시 같다.
Figure 112017034397817-pat00018
한편, 두 번째 세부 문제로서, 수학식 2의 세 번째 항의 최소 조건을 만족하는 인자들의 값을 구할 수 있다. 두 번째 세부 문제의 풀이를 위해, 집합 S, M, R을 도입할 수 있으며, S={S0, S1, ..., Sn -1}, M={M0, M1, ..., Mn -1}, R={R0, R1, ..., Rn -1}로 각각 정의될 수 있다.
두 번째 세부 문제는 다음과 같은 수학식 18을 만족하는 S의 값을 구하는 것으로 정리될 수 있다.
Figure 112017034397817-pat00019
수학식 18에 보조 변수 P를 도입함으로써, 아래와 같은 수학식 19를 얻을 수 있다.
Figure 112017034397817-pat00020
수학식 19에 이중 변수 Q를 도입하여, 아래의 수학식 20을 얻을 수 있다.
Figure 112017034397817-pat00021
상기 수학식 20을 만족하는 P는 다음과 같은 수학식 21 및 22를 통해, Q는 수학식 23 및 24를 통해 각각 구할 수 있다.
Figure 112017034397817-pat00022
Figure 112017034397817-pat00023
Figure 112017034397817-pat00024
Figure 112017034397817-pat00025
Q에 대해서는 다음의 수학식 25에 의한 업데이트가 적용될 수 있으며, 이와 같은 업데이트는 ∇t S-P의 값의 크기가 일정 수준 밑으로 수렴할 때까지 계속될 수 있다.
Figure 112017034397817-pat00026
상기 첫 번째 및 두 번째 세부 문제는 업데이트되는 인자가 특정 값으로 수렴할 때까지 수 차례의 단계에 걸쳐 반복적으로 수행될 수 있음을 앞서 언급한 바 있다. 이 때, 첫 번째 세부 문제의 첫 번째 단계 수행 후, 상기 수행 후의 원본 영상을 가지고 두 번째 세부 문제의 첫 번째 단계를 수행하여 첫 번째 세부 문제의 첫 번째 단계에서 구한 원본 영상을 수정할 수 있다. 다음으로는 첫 번째 세부 문제의 두 번째 단계를 상기 두 번째 세부 문제의 첫 번째 단계 수행 후의 원본 영상을 가지고 수행할 수 있으며, 또 그 다음으로는 상기 첫 번째 세부 문제의 두 번째 단계 수행 후의 원본 영상을 가지고 두 번째 세부 문제의 두 번째 단계를 수행하여 첫 번째 세부 문제의 두 번째 단계에서 구한 원본 영상을 수정할 수 있다. 이와 같은 과정을 세 번째 및 그 이후의 단계에 대해서도 수행하되, 첫 번째 세부 문제와 두 번째 세부 문제에서의 수렴 조건이 모두 만족할 때까지 수행하면, 첫 번째 세부 문제의 각 단계와 두 번째 세부 문제의 각 단계가 교대로 수행되면서 최적의 원본 영상 복원 결과를 얻을 수 있다. 한편, 복원이 완료된 원본 영상은 출력부(140)를 통하여 영상 복원 장치(100) 외부로 출력될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 복원 방법의 수행 결과를 설명하기 위한 도면이다. 도 5의 (A)은 복원 전의 영상을 나타내며, (B)는 영상 복원 방법 시행 전 무작위로 초기화된 특징 사전 내의 각 필터들을 나타낸다. 이 상태에서 본 발명의 일 실시예에 따른 영상 복원 방법이 수행되면, (C)와 같은 복원된 원본 영상을 얻을 수 있다. 복원된 원본 영상은 복원 전의 영상에 비해 영상의 품질이 좋음을 육안으로도 알 수 있으며, 촬영 대상에 대한 세부 정보를 더욱 잘 표현하고 있다. (D)는 영상 복원 방법의 수행이 완료된 후의 특징 사전 내의 각 필터들을 나타내는데, 복원된 원본 영상의 특징을 나타내는 데 적합하도록 구성되어 있다.
도 6a 및 6b는 본 발명의 일 실시예에 따른 영상 복원 방법의 성능을 종래의 방법과 비교하여 설명하기 위한 도면이다. 도 6a는 계산 결과의 수렴 속도와 PSNR(peak signal-to-noise ratio)에 대한 데이터로서, 4개의 점선은 종래의 기계 학습을 이용한 기술에 의한 데이터, 4개의 도형을 동반한 실선은 본 발명의 일 실시예에 따른 영상 복원 방법에 의한 데이터이다. 참고로, 본 테스트 결과는 네 개의 각기 다른 케이스(Case 1 내지 4)에 대해 종래 기술과 본 발명의 영상 복원 방법을 모두 적용한 것이다.
도 6a를 통해, 종래 기술에 의하면 계산의 반복을 60~70회 이상 수행해야 결과가 일정한 값으로 수렴하는 반면, 본 발명의 일 실시예에 따른 영상 복원 방법에 의하면 20~30회의 반복만으로도 값이 비교적 일정하게 수렴하는 결과를 얻을 수 있음을 확인할 수 있다. 또한, PSNR 역시 동일한 케이스를 기준으로 비교할 경우 본 발명의 일 실시예에 따른 영상 복원 방법이 보다 우수함을 볼 수 있다.
도 6b는 방법 수행에 필요한 소요 시간의 관점에서 종래 기술과의 성능 비교를 수행한 데이터이다. 종래 기술과 본 발명의 일 실시예에 따른 영상 복원 방법 모두 같은 시스템에서 수행되었으며, 4개의 케이스(Case 1 내지 4) 모두에서 본 발명의 영상 복원 방법 쪽이 소요 시간이 현저히 짧음을 알 수 있다. 수행 속도로 환산하여 생각해 보면, 본 발명의 영상 복원 방법은 종래 기술에 비해 7배에서 9배 정도 빠른 속도를 보인다.
지금까지 살펴본 바와 같이, 본 발명의 일 실시예에 따른 영상 복원 방법은 도 5에서 살펴보았듯 복원의 정확성을 확보할 수 있으면서도, 도 6a 및 6b에서 볼 수 있는 바와 같이 작업 능률 측면에서도 종래 기술에 비해 우월함을 알 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 복원 장치
110: 입력부
120: 연산부
130: 저장부
140: 출력부

Claims (16)

  1. n개(n는 2 이상의 자연수)의 원본 영상의 복원을 위해, n개의 주파수 스펙트럼 데이터 집합을, 상기 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상에 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합이 대응되도록 획득하는 단계;
    상기 원본 영상 각각의 공통적 특징을 나타내는 하나 이상의 필터의 집합인 특징 사전(dictionary)을 획득하는 단계;
    하나 이상의 희소 코드(sparse code)를 포함하는 희소 코드 집합을, 상기 원본 영상 각각에 대하여 획득하되, 상기 원본 영상 중 i번째 영상에 상기 희소 코드 집합 중 i번째 집합이 대응되도록 획득하는 단계; 및
    상기 특징 사전 및 각각의 상기 희소 코드 집합을 이용하여, 상기 주파수 스펙트럼 데이터 집합으로부터 상기 원본 영상 각각을 복원하는 단계를 포함하며,
    상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상의 주파수 변환 결과와, 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이, 소정의 제 1 상수 미만이 되도록 정해지는
    영상 복원 방법.
  2. 제 1 항에 있어서,
    상기 주파수 스펙트럼 데이터 집합 중 i번째 집합은, 상기 원본 영상 중 i번째 영상의 주파수 변환 결과에서 일부 주파수 성분의 데이터가 제거된 것인
    영상 복원 방법.
  3. 제 1 항에 있어서,
    상기 특징 사전에 포함된 필터의 개수와, 상기 희소 코드 집합 중 하나에 포함된 희소 코드의 개수를 K라 할 때,
    상기 특징 사전, 상기 복원된 원본 영상 및 상기 희소 코드 집합은, 상기 특징 사전의 k(k는 0 이상 K 미만의 정수)번째 필터와 상기 희소 코드 집합 중 i번째 집합의 k번째 희소 코드 간의 컨볼루션(convolution) 연산을 각 k에 대해 수행한 결과를 모두 더하여 얻어진 영상과, 상기 복원된 원본 영상 중 i번째 영상 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이 소정의 제 2 상수 미만이 되도록 정해지는
    영상 복원 방법.
  4. 제 3 항에 있어서,
    상기 주파수 스펙트럼 데이터 집합 각각은, 소정의 시간 간격을 두고 동일한 객체를 주기적으로 촬영함으로써 획득되며,
    상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 시간적으로 인접한 두 영상 간의 차이의 총합이 소정의 제 3 상수 미만이 되도록 정해지는
    영상 복원 방법.
  5. 제 3 항에 있어서,
    상기 컨볼루션 연산의 결과를 얻기 위해, 푸리에 변환(Fourier Transform)을 이용하여 상기 컨볼루션 연산을 행렬 곱(matrix multiplication) 연산으로 치환하는 단계를 더 포함하는
    영상 복원 방법.
  6. 제 3 항에 있어서,
    임의의 자연수를 입력받는 단계; 및
    상기 K의 값을, 상기 임의의 자연수와 같은 수로 결정하는 단계를 더 포함하는
    영상 복원 방법.
  7. 제 1 항에 있어서,
    상기 원본 영상 각각은, 소정의 시간 간격을 두고 주기적으로 획득되는 MRI(magnetic resonance imaging) 영상인
    영상 복원 방법.
  8. n개(n는 2 이상의 자연수)의 원본 영상의 복원을 위해, n개의 주파수 스펙트럼 데이터 집합을, 상기 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상에 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합이 대응되도록 획득하는 입력부; 및
    상기 원본 영상 각각의 공통적 특징을 나타내는 하나 이상의 필터의 집합인 특징 사전을 획득하고, 하나 이상의 희소 코드를 포함하는 희소 코드 집합을, 상기 원본 영상 각각에 대하여 획득하되, 상기 원본 영상 중 i번째 영상에 상기 희소 코드 집합 중 i번째 집합이 대응되도록 획득하며, 상기 특징 사전 및 각각의 상기 희소 코드 집합을 이용하여, 상기 주파수 스펙트럼 데이터 집합으로부터 상기 원본 영상 각각을 복원하는 연산부를 포함하며,
    상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 i(i는 0 이상 n 미만의 정수)번째 영상의 주파수 변환 결과와, 상기 주파수 스펙트럼 데이터 집합 중 i번째 집합 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이, 소정의 제 1 상수 미만이 되도록 정해지는
    영상 복원 장치.
  9. 제 8 항에 있어서,
    상기 주파수 스펙트럼 데이터 집합 중 i번째 집합은, 상기 원본 영상 중 i번째 영상의 주파수 변환 결과에서 일부 주파수 성분의 데이터가 제거된 것인
    영상 복원 장치.
  10. 제 8 항에 있어서,
    상기 특징 사전에 포함된 필터의 개수와, 상기 희소 코드 집합 중 하나에 포함된 희소 코드의 개수를 K라 할 때,
    상기 특징 사전, 상기 복원된 원본 영상 및 상기 희소 코드 집합은, 상기 특징 사전의 k(k는 0 이상 K 미만의 정수)번째 필터와 상기 희소 코드 집합 중 i번째 집합의 k번째 희소 코드 간의 컨볼루션 연산을 각 k에 대해 수행한 결과를 모두 더하여 얻어진 영상과, 상기 복원된 원본 영상 중 i번째 영상 간의 차이를, 각 i에 대하여 모두 구한 결과의 총합이 소정의 제 2 상수 미만이 되도록 정해지는
    영상 복원 장치.
  11. 제 10 항에 있어서,
    상기 주파수 스펙트럼 데이터 집합 각각은, 소정의 시간 간격을 두고 동일한 객체를 주기적으로 촬영함으로써 획득되며,
    상기 복원된 원본 영상은, 상기 복원된 원본 영상 중 시간적으로 인접한 두 영상 간의 차이의 총합이 소정의 제 3 상수 미만이 되도록 정해지는
    영상 복원 장치.
  12. 제 10 항에 있어서,
    상기 연산부는, 상기 컨볼루션 연산의 결과를 얻기 위해, 푸리에 변환을 이용하여 상기 컨볼루션 연산을 행렬 곱 연산으로 치환하는
    영상 복원 장치.
  13. 제 10 항에 있어서,
    상기 입력부는, 임의의 자연수를 입력받으며,
    상기 K의 값은, 상기 임의의 자연수와 같은 수로 결정되는
    영상 복원 장치.
  14. 제 8 항에 있어서,
    상기 원본 영상 각각은, 소정의 시간 간격을 두고 주기적으로 획득되는 MRI 영상인
    영상 복원 장치.
  15. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는, 컴퓨터 판독 가능 기록매체에 저장된 애플리케이션 프로그램.
  16. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
KR1020170045446A 2017-04-07 2017-04-07 영상 복원 장치 및 방법 KR101883806B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170045446A KR101883806B1 (ko) 2017-04-07 2017-04-07 영상 복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170045446A KR101883806B1 (ko) 2017-04-07 2017-04-07 영상 복원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101883806B1 true KR101883806B1 (ko) 2018-07-31

Family

ID=63078085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170045446A KR101883806B1 (ko) 2017-04-07 2017-04-07 영상 복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101883806B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200025598A (ko) 2018-08-31 2020-03-10 인천대학교 산학협력단 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법
KR102275498B1 (ko) * 2020-09-28 2021-07-08 연세대학교 산학협력단 일반 사전을 이용한 레티넥스 기반 영상 복원 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150085462A (ko) 2014-01-15 2015-07-23 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
KR20150100019A (ko) * 2014-02-24 2015-09-02 고려대학교 산학협력단 자기 공명 영상 처리 장치 및 방법
KR20150125543A (ko) * 2014-04-30 2015-11-09 삼성전자주식회사 자기 공명 영상 장치 및 자기 공명 영상의 생성 방법
JP2016123853A (ja) * 2014-12-29 2016-07-11 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置
KR20170028829A (ko) * 2015-09-04 2017-03-14 삼성전자주식회사 자기 공명 영상 복원을 위한 방법 및 자기 공명 영상 처리 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150085462A (ko) 2014-01-15 2015-07-23 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
KR20150100019A (ko) * 2014-02-24 2015-09-02 고려대학교 산학협력단 자기 공명 영상 처리 장치 및 방법
KR20150125543A (ko) * 2014-04-30 2015-11-09 삼성전자주식회사 자기 공명 영상 장치 및 자기 공명 영상의 생성 방법
JP2016123853A (ja) * 2014-12-29 2016-07-11 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置
KR20170028829A (ko) * 2015-09-04 2017-03-14 삼성전자주식회사 자기 공명 영상 복원을 위한 방법 및 자기 공명 영상 처리 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200025598A (ko) 2018-08-31 2020-03-10 인천대학교 산학협력단 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법
KR102275498B1 (ko) * 2020-09-28 2021-07-08 연세대학교 산학협력단 일반 사전을 이용한 레티넥스 기반 영상 복원 장치 및 방법

Similar Documents

Publication Publication Date Title
Schlemper et al. A deep cascade of convolutional neural networks for dynamic MR image reconstruction
Eo et al. KIKI‐net: cross‐domain convolutional neural networks for reconstructing undersampled magnetic resonance images
Quan et al. Compressed sensing MRI reconstruction using a generative adversarial network with a cyclic loss
Ongie et al. Off-the-grid recovery of piecewise constant images from few Fourier samples
Song et al. Coupled dictionary learning for multi-contrast MRI reconstruction
Chen et al. Fast algorithms for image reconstruction with application to partially parallel MR imaging
Yu et al. Deep de-aliasing for fast compressive sensing MRI
RU2568929C1 (ru) Способ и система для быстрой реконструкции изображения мрт из недосемплированных данных
Kim et al. LORAKI: Autocalibrated recurrent neural networks for autoregressive MRI reconstruction in k-space
CN104156994B (zh) 一种压缩感知磁共振成像的重建方法
US20200105031A1 (en) Method for Performing Magnetic Resonance Imaging Reconstruction with Unsupervised Deep Learning
Kelkar et al. Compressible latent-space invertible networks for generative model-constrained image reconstruction
CN107205686B (zh) 去除在磁共振成像的重影伪影的方法及为此的磁共振装置
Nguyen-Duc et al. Frequency-splitting dynamic MRI reconstruction using multi-scale 3D convolutional sparse coding and automatic parameter selection
KR101886575B1 (ko) 언더샘플링된 자기 공명 영상의 재구성 장치 및 방법
CN104569880A (zh) 一种磁共振快速成像方法及系统
KR20200025179A (ko) 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치
Zhou et al. Dual-domain self-supervised learning for accelerated non-Cartesian MRI reconstruction
Zhang et al. Atlas-based reconstruction of high performance brain MR data
Zhuang et al. MRI reconstruction with an edge-preserving filtering prior
KR101883806B1 (ko) 영상 복원 장치 및 방법
Xiao et al. SR-Net: a sequence offset fusion net and refine net for undersampled multislice MR image reconstruction
CN109934884B (zh) 一种基于变换学习和联合稀疏性的迭代自一致性并行成像重构方法
Gan et al. Image reconstruction for mri using deep cnn priors trained without groundtruth
Dhengre et al. K sparse autoencoder-based accelerated reconstruction of magnetic resonance imaging

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant