KR102224597B1 - 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법 - Google Patents

데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR102224597B1
KR102224597B1 KR1020190067332A KR20190067332A KR102224597B1 KR 102224597 B1 KR102224597 B1 KR 102224597B1 KR 1020190067332 A KR1020190067332 A KR 1020190067332A KR 20190067332 A KR20190067332 A KR 20190067332A KR 102224597 B1 KR102224597 B1 KR 102224597B1
Authority
KR
South Korea
Prior art keywords
image
batch
feature
cnn
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190067332A
Other languages
English (en)
Other versions
KR20190139781A (ko
Inventor
장혁재
김세근
정성희
전병환
홍영택
장영걸
하성민
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20190139781A publication Critical patent/KR20190139781A/ko
Application granted granted Critical
Publication of KR102224597B1 publication Critical patent/KR102224597B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 자기공명장치에서의 데이터 획득을 최소화하여 고해상도의 의료영상 획득할 수 있는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치 및 그 방법에 대한 것으로 영상 입력 모듈, 은닉 모듈, 영상 출력 모듈, 재학습 판단부를 포함할 수 있으며, 데이터 획득을 최소화하기 위한 CNN 기반의 고해상도 영상 생성 기술을 활용하여 의료용 자기공명장치에서의 인공지능 기반 이미지 재구성 하는 경우에 있어 데이터를 샘플링하여 획득하여 모든 데이터를 획득할 시보다 자기공명장치의 영상 획득 소요시간을 감소시킬 수 있으며, 데이터 획득양이 감소됨에도 불구하고, 해당 기술은 축적된 의료영상 데이터 베이스를 통하여 기계학습을 진행하여 원본 이미지의 해상도에 상응하는 의료영상을 제공할 수 있다.

Description

데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치 및 그 방법{CNN-based high resolution image generating apparatus for minimizing data acquisition time and method therefor}
본 발명은 딥러닝 기반의 고해상도 영상 생성 기술에 대한 것으로 더 자세하게는 자기공명장치에서의 데이터 획득을 최소화하여 고해상도의 의료영상 획득할 수 있는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치 및 그 방법에 관한 것이다.
본 발명은 자기공명장치의 이미지 획득 소요시간 최소화를 위하여 딥러닝 기술을 이용한다. 본 기술은 자기공명장치에서의 데이터 획득을 최소화하여 고해상도의 의료영상 획득을 목표로 한다.
특히, 자기공명영상 장치는 해부학적으로 높은 정확성을 필요로 하여 고해상도의 의료영상을 획득하는 것이 필수적이다. 하지만 환자로부터 고해상도의 이미지를 얻는 것은 환자 본인에게도 많은 부담이 있다.
현재 자기공명 영상장치로부터 영상 획득 시간을 최소화하기 위하여 최소화된 데이터를 획득하면서 최대한의 해상도를 얻는 다양한 방법들이 제시되어 왔다.
본질적으로 해당 방법들은 데이터 획득 시에 최소화된 샘플링 방법으로 데이터를 얻는 방법에 기반하고 있다.
최근, 고해상도 영상 재구성 문제에 딥러닝 기술을 적용한 사례와 함께 합성곱 신경망(Convolutional neural network, CNN)을 사용하여 다양한 의료영상뿐만 아니라 일반적인 영상에서 고해상도로 재구성하는 기법이 제안되고 있다.
이러한 기법은 해당 영상의 사전지식 없이 영상을 입력으로 받아 고해상도의 영상으로 재구성한다는 점에서 장점을 보이며, 기계학습을 위한 많은 수의 데이터를 보유하고 있어야 한다는 점에서 한계를 보인다
하지만, 의료 현장에서는 Picture Archive System(PACs)를 보유하고 있으며 대형상급의료기관의 경우 의료영상의 경우 충분히 많은 수의 데이터를 가지고 있어 의료영상의 경우 학습을 위한 기반이 마련되어 있다.
본 발명은 자기공명장치에서의 데이터 획득을 최소화하여 고해상도의 의료영상을 획득하고, 공간상 주파수 영역에서 자기공명 장치에서의 데이터 획득을 최소화하기 위한 CNN 기반의 고해상도 영상 생성 장치 및 그 방법의 개발을 목적으로 한다.
본 발명을 이용하여 데이터를 샘플링하여 획득하여 모든 데이터를 획득할 시보다 자기공명장치의 영상 획득 소요시간을 감소시킬 수 있으며, 데이터 획득양이 감소됨에도 불구하고, 해당 기술은 축적된 의료영상 데이터 베이스를 통하여 기계학습을 진행하여 원본 이미지의 해상도에 상응하는 의료영상을 제공할 수 있다.
상기 본 발명의 과제를 달성하기 위해, 본 발명에서는 합성곱 신경망을 이용하여 입력 영상의 특징을 압축하여 추출하는 영상 입력 모듈; 상기 추출된 특징에 대한 입력영상의 수용영역을 확대하여 특징점을 추출하는 은닉 모듈; 상기 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성하는 영상 출력 모듈; 상기 입력 영상과 출력 영상의 유사성을 판단하고 손실함수를 통해 평균 제곱근 오차 값이 최소화하는 방향으로 재학습 방향을 결정하는 재학습 판단부를 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치를 제공한다.
본 발명의 일 실시예에 의하면, 상기 영상 입력 모듈은, 입력 영상으로부터 특징을 추출하여 특징값 데이터 매트릭스를 산출하는 입력 영상 처리 합성곱 레이어; 상기 수행된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄이는 입력 배치 정규화 모듈; 기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행하는 입력 ReLU 수행부; 및 상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 입력 맥스풀링 레이어를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에서 상기 은닉 모듈은, 상기 입력영상에 다양한 크기의 가중치를 이용하여 수평적으로 진행하고 계산된 특징맵을 융합함으로써 입력영상의 수용영역을 확대하여 특징점을 추출하는 것을 특징으로 할 수 있다.
또한, 상기 은닉 모듈은, 각기 다른 크기의 가중치를 적용하기 위해 상기 가중치 별 다른 크기의 매트릭스를 각각 합성곱하고, 상기 합성곱된 데이터에 미리 설정된 규모의 맥스풀링을 수행하여 데이터를 압축하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 영상 출력 모듈은, 추출된 특징점을 원본 이미지의 크기로 확대하기 위한 연산이 수행되는 업 샘플링 레이어; 상기 확대된 특징점에 대한 특징값 데이터 매트릭스를 합성곱하여 출력 영상을 생성하는 출력 영상 처리 합성곱 레이어; 상기 합성곱된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄이는 출력 배치 정규화 모듈; 기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행하는 출력 ReLU 수행부; 및 상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 출력 맥스풀링 레이어를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 의하면, 상기 재학습 판단부는, 재학습 방향을 결정하기 위하여 L2 손실함수를 이용하는 것을 특징으로 한다.
또한, 상기 재학습 판단부는, 상기 입력 영상 및 출력 영상을 사이 구조적 유사성을 측정하는 구조적 유사성 측정부; 및 상기 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과와 상기 측정된 입력 영상과 출력영상 사이의 구조적 유사성을 이용하여 목적함수를 설정하고, 상기 목적 함수가 최소화되는 방향으로 학습 방법을 설정하는 학습 방법 설정부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 학습 방법 설정부는, 가중된 구조적 유사성 값을 음수로 취하고, 배치 경사 하강법을 적용하여 역전파를 통해 손실값을 최소화 하는 방향으로 학습방향을 설정하는 것을 특징으로 한다.
본 발명은 또한 합성곱 신경망을 이용하여, 입력 영상의 특징을 압축하여 추출하는 단계; 상기 추출된 특징에 대한 입력영상의 수용영역을 확대하여 특징점을 추출하는 단계; 상기 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성하는 단계; 상기 입력 영상과 출력 영상의 유사성을 판단하고 손실함수를 통해 평균 제곱근 오차 값이 최소화하는 방향으로 재학습 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법을 제공한다.
본 발명의 일 실시예에 있어서 상기 입력 영상의 특징을 압축하여 추출하는 단계는 입력 영상으로부터 특징을 추출하여 특징값 데이터 매트릭스를 산출하는 단계; 상기 수행된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄이는 단계; 기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행하는 단계; 및 상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 의하면 상기 수용영역을 확대하여 특징점을 추출하는 단계는, 상기 입력영상에 다양한 크기의 가중치를 이용하여 수평적으로 진행하고 계산된 특징맵을 융합함으로써 입력영상의 수용영역을 확대하여 특징점을 추출하는 것을 특징으로 한다.
또한, 상기 수용영역을 확대하여 특징점을 추출하는 단계는, 각기 다른 크기의 가중치를 적용하기 위해 상기 가중치 별 다른 크기의 매트릭스를 각각 합성곱하고, 상기 합성곱된 데이터에 미리 설정된 규모의 맥스풀링을 수행하여 데이터를 압축하는 것을 특징으로 한다.
본 발명의 다른 실시예에 의하면, 상기 출력영상을 생성하는 단계는, 추출된 특징점을 원본 이미지의 크기로 확대하기 위한 연산이 수행되는 단계; 상기 확대된 특징점에 대한 특징값 데이터 매트릭스를 합성곱하여 출력 영상을 생성하는 단계; 상기 합성곱된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄이는 단계; 기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행하는 단계; 및 상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 재학습 방향을 결정하는 단계는, 재학습 방향을 결정하기 위하여 L2 손실함수를 이용하는 것을 특징으로 할 수 있다.
또한, 상기 재학습 방향을 결정하는 단계는, 상기 입력 영상 및 출력 영상을 사이 구조적 유사성을 측정하는 구조적 유사성 측정부; 및 상기 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과와 상기 측정된 입력 영상과 출력영상 사이의 구조적 유사성을 이용하여 목적함수를 설정하고, 상기 목적 함수가 최소화되는 방향으로 학습 방법을 설정하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 학습 방법을 설정하는 단계는, 가중된 구조적 유사성 값을 음수로 취하고, 배치 경사 하강법을 적용하여 역전파를 통해 손실값을 최소화 하는 방향으로 학습방향을 설정하는 것을 특징으로 한다.
본 발명의 실시 예에 따르면 데이터 획득을 최소화하기 위한 CNN 기반의 고해상도 영상 생성 기술을 활용하여 의료용 자기공명장치에서의 인공지능 기반 이미지 재구성 하는 경우에 있어 데이터를 샘플링하여 획득하여 모든 데이터를 획득할 시보다 자기공명장치의 영상 획득 소요시간을 감소시킬 수 있다.
또한 데이터 획득양이 감소됨에도 불구하고, 해당 기술은 축적된 의료영상 데이터 베이스를 통하여 기계학습을 진행하여 원본 이미지의 해상도에 상응하는 의료영상을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치의 구성도이다.
도 2는 도 1의 실시 예에 따른 고해상도 영상 생성 장치의 딥러닝 네트워크상 구조를 나타낸 도면이다.
도 3은 도 2에 개시된 은닉 모듈이 네트워크상 구현된 일 실시 예를 나타낸 도면이다.
도 4는 도 1에 개시된 영상 입력 모듈의 세부 구성도를 나타낸 도면이다.
도 5는 도 1에 개시된 영상 출력 모듈의 세부 구성도를 나타낸 도면이다.
도 6은 도 1에 개시된 재학습 판단부의 세부 구성도를 나타낸 도면이다.
도 7은 입력 영상과 본 발명의 일 실시 예에 따라 생성된 예측 영상, 정답 영상과의 대비를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 본 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 데이터 획득 시간 최소화를 위한 CNN(convolutional neural network) 기반의 고해상도 영상 생성 장치 및 그 방법에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치의 구성도이다.
도 1을 참조하면 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치는 영상 입력 모듈(100), 은닉 모듈(200), 영상 출력 모듈(300), 재학습 판단부(400)를 포함할 수 있다.
본 발명의 실시 예에 따른 고해상도 영상 생성 장치는 기본적으로 연산에 CNN 구조를 이용하여 합성곱 연산을 수행할 수 있다.
영상 입력 모듈(100)은 입력 영상의 특징을 압축하여 추출할 수 있다.
본 발명의 일 실시 예에 따르면 영상 입력 모듈(100)은 입력 영상의 특징을 추출함에 있어 적어도 한번 이상의 합성곱 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 입력 받는 입력 영상은 데이터 획득을 최소화 하고자 하는 목적에 맞춰 저해상도로 리사이징 되거나 원본이 저해상도인 영상일 수 있다.
영상 입력 모듈(100)에 대해서는 도 4를 참조하며 더 자세하게 설명하도록 한다.
은닉 모듈(200)은 추출된 특징에 대한 입력영상의 수용영역을 확대하여 특징점을 추출할 수 있다.
본 발명의 일 실시 예에 따르면 은닉 모듈(200)은 입력영상에 다양한 크기의 가중치를 이용하여 수평적으로 진행하고 계산된 특징맵을 융합함으로써 입력영상의 수용영역을 확대하여 특징점을 추출할 수 있다.
또한 본 발명의 일 실시 예에 따르면 각기 다른 크기의 가중치를 적용하기 위해 상기 가중치 별 다른 크기의 매트릭스를 각각 합성곱 하여 연산을 수행할 수 있다.
상기 실시 예에 따르면 합성곱된 데이터에 미리 설정된 규모의 맥스풀링을 수행하여 데이터를 압축하는 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 은닉 모듈(200)은 입력영상에 다양한 크기의 가중치를 이용하여 합성곱 연산을 수평적으로 진행할 수 있으며, 이를 통해 계산된 특징 값들로 이루어진 특징 맵(MAP)을 융합할 수 있다.
영상 출력 모듈(300)은 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성할 수 있으며, 이때 출력 영상은 입력 영상보다 더 고해상도인 영상일 수 있으며, 데이터 크기 또한 상대적으로 더 클 수 있다.
영상 출력 모듈(300)에 대해서는 도 5를 참조하면 더 자세하게 설명하도록 한다.
재학습 판단부(400)는 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 재학습 판단부(400)는 재학습 방향을 결정하기 위하여 L2 손실함수를 이용할 수 있다.
본 발명의 일 실시 예에 따르면 재학습 판단부(400)는 목적함수로 출력영상과 입력영상의 픽셀별 MSE(Mean squar error)와 구조적 유사성(Structual Similiarity, SSIM)의 가중치 합인 새로운 함수를 정의하여 재학습 방향을 결정할 수 있다.
또한 본 발명의 일 실시 예에 따르면 픽셀 별 MSE 손실 함수는 입력영상의 픽셀별 이미지 강도를 재구성하며, 이후 구조적 유사성 함수인 SSIM을 거쳐 입력영상의 형태를 재구성할 수 있다.
재학습 판단부(400)는 도 6을 참조하며 더 자세하게 설명하도록 한다.
도 2는 도 1의 실시 예에 따른 고해상도 영상 생성 장치의 딥러닝 네트워크상 구조를 나타낸 도면이다.
도 2를 참조하면 본 발명의 일 실시 예에 따른 고해상도 영상 생성 장치는 CNN 구조를 기반으로 하여 영상의 이미지의 특징을 압축하여 추출하는 인코딩 레이어(Encoding layer)로 이루어진 영상 입력 모듈과, 영상의 특징을 복원하는 디코더 레이어(Decoder layer)로 이루어진 영상 출력 모듈로 구성될 수 있으며, 그 사이에 은닉 모듈(Inception module)을 통하여 영상에서의 수용 영역을 확대하여 영상 전체에서 영상의 주요 특징들을 추출할 수 있다.
도 3은 도 2에 개시된 은닉 모듈(200)이 네트워크상 구현된 일 실시 예를 나타낸 도면이다.
도 3을 참조하면 본 발명의 일 실시 예에 따른 은닉 모듈(200)은 합성곱 연산을 수평적으로 진행함에 있어 1, 3, 5 크기의 가중치를 이용하여 계산이 진행될 수 있으며, 이때 1 x 1, 3 x 3, 5 x 5 매트릭스를 각각 합성곱 하여 계산을 진행할 수 있다.
또한 상기 실시 예에 따르면 3 x 3 맥스 풀링(maxpooling)을 통해 추출된 특징맵을 필터 연결(filter concatenation)을 통해 융합하는 구조를 가질 수 있다.
도 4는 도 1에 개시된 영상 입력 모듈(100)의 세부 구성도를 나타낸 도면이다.
도 4를 참조하면 본 발명의 일 실시 예에 따르면 영상 입력 모듈(100)은 입력 영상 처리 합성곱 레이어(110), 입력 배치 정규화 모듈(120), 입력 ReLU 수행부(130), 입력 맥스풀링 레이어(140)를 포함할 수 있다.
입력 영상 처리 합성곱 레이어(110)는 입력 영상으로부터 특징을 추출하여 특징값 데이터 매트릭스를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 저해상도의 입력 영상을 대상으로 합성곱 연산을 수행하여 다수의 특징점에 대한 특징값 데이터 매트릭스를 산출할 수 있다.
입력 배치 정규화 모듈(120)은 수행된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄일 수 있다.
본 발명의 일 실시 예에 따른 입력 배치 정규화 모듈(120)은 배치 정규화 방법으로 연산을 수행할 수 있으며, 여기서 배치 정규화는 데이터를 미니 배치 단위로 나누고, 이를 정규화하여 정규 분포를 만들어 감마와 베타를 이용하여 새로운 값을 산출함으로써, 정규화된 값을 추가적인 파라미터를 사용하여 변형시키는 방법을 의미한다.
입력 ReLU 수행부(130)는 기울기 소실을 방지하기 위해 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행할 수 있다.
본 발명의 입력 ReLU 수행부(130)는 기울기 소실을 방지하기 위해 Relu(Rectified Linear Unit) 활성화 함수(activation function) 연산을 수행할 수 있다.
여기서 Relu 활성화 함수는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수를 의미할 수 있으며, 하기의 수학식 1과 같이 연산될 수 있다.
[수학식 1]
Figure 112019058349980-pat00001
입력 맥스풀링 레이어(140)는 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스 풀링(maxpooling)으로 데이터를 압축할 수 있다.
본 발명의 일 실시 예에 따르면 입력 맥스풀링 레이어(140)는 맥스 풀링 연산을 수행할 수 있으며 여기서 맥스 풀링이란 하나의 레이어를 분리하여 샘플링하여 다음단계로 넘기는 것을 의미할 수 있으며, 이것을 통해 전체 특징의 수를 의도적으로 줄임으로 인하여 데이터 크기를 줄여 컴퓨터파워를 절약할 수 있고, 데이터가 줄어드는 과정에서 유실되기 때문에 오버 피팅(over fitting)을 방지할 수 있다.
본 발명의 일 실시 예에 따르면 영상 입력 모듈(100)은 입력 영상 처리 합성곱 레이어(110), 입력 배치 정규화 모듈(120), 입력 ReLU 수행부(130), 입력 맥스풀링 레이어(140) 순으로 배치될 수 있다.
도 5는 도 1에 개시된 영상 출력 모듈의 세부 구성도를 나타낸 도면이다.
도 5를 참조하면 본 발명의 일 실시 예에 따른 영상 출력 모듈(300)은 업 샘플링 레이어(310), 출력 영상 처리 합성곱 레이어(320), 출력 배치 정규화 모듈(330), 출력 ReLU 수행부(340), 출력 맥스풀링 레이어(350)을 더 포함할 수 있다.
업 샘플링 레이어(310)는 추출된 특징점을 원본 이미지의 크기로 확대하기 위한 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 업 샘플링 레이어(310)는 수신한 파일 보다 더 높은 샘플링 레이트로 변경하는 연산을 수행하여 원 본 이미지의 크기로 확대할 수 있다.
출력 영상 처리 합성곱 레이어(320)는 확대된 특징점에 대한 특징값 데이터 매트릭스를 합성곱하여 출력 영상을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 영상 처리 합성곱 레이어(320)는 특징값 데이터 매트릭스를 합성곱하여 고해상도의 출력 영상을 생성할 수 있다.
출력 배치 정규화 모듈(330)은 합성곱된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 합성곱 신경망의 내부 노드 분포 값를 줄일 수 있다.
본 발명의 일 실시 예에 따른 출력 배치 정규화 모듈(330)은 배치 정규화 방법으로 연산을 수행할 수 있으며, 여기서 배치 정규화는 데이터를 미니 배치 단위로 나누고, 이를 정규화하여 정규 분포를 만들어 감마와 베타를 이용하여 새로운 값을 산출함으로써, 정규화된 값을 추가적인 파라미터를 사용하여 변형시키는 방법을 의미할 수 있다.
출력 ReLU 수행부(340)는 기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행할 수 있다.
본 발명의 출력 ReLU 수행부(340)는 기울기 소실을 방지하기 위해 Relu(Rectified Linear Unit) 활성화 함수(activation function) 연산을 수행할 수 있다.
여기서 Relu 활성화 함수는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수를 의미할 수 있으며, 상기의 수학식 1과 같이 연산될 수 있다.
출력 맥스풀링 레이어(350)는 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축할 수 있다.
본 발명의 일 실시 예에 따르면 출력 맥스풀링 레이어(350)는 맥스 풀링 연산을 수행할 수 있으며 여기서 맥스 풀링이란 하나의 레이어를 분리하여 샘플링하여 다음단계로 넘기는 것을 의미할 수 있으며, 이것을 통해 전체 특징의 수를 의도적으로 줄임으로 인하여 데이터 크기를 줄여 컴퓨터파워를 절약할 수 있고, 데이터가 줄어드는 과정에서 유실되기 때문에 오버 피팅(over fitting)을 방지할 수 있다.
본 발명의 일 실시 예에 따르면 영상 출력 모듈(300)은 업 샘플링 레이어(310), 출력 영상 처리 합성곱 레이어(320), 출력 배치 정규화 모듈(330), 출력 ReLU 수행부(340), 출력 맥스풀링 레이어(350) 순으로 배치될 수 있다.
도 6은 도 1에 개시된 재학습 판단부의 세부 구성도를 나타낸 도면이다.
도 6을 참조하면 재학습 판단부(400)은 재학습 방향을 결정하기 위하여 L2 손실함수를 이용할 수 있으며, 구조적 유사성 측정부(410), 학습 방법 설정부(420)을 더 포함할 수 있다.
여기서 L2 손실함수는 Mean squar error(MSE)를 이용하여 손실 함수를 계산하여 계산 값이 최소화하는 방향으로 역전파 방법을 통해 학습을 진행할 수 있으며, 이때 MSE를 구하는 수학식은 하기 수학식 2와 같다.
[수학식 2]
Figure 112019058349980-pat00002
구조적 유사성 측정부(410)는 입력 영상 및 출력 영상을 사이 구조적 유사성을 측정할 수 있다.
본 발명의 일 실시 예에 따르면 구조적 유사성 측정부(410)는 입력 영상과 출력 영상(예상 영상) 사이의 구조적 유사성을 측정할 수 있으며, 이러한 구조적 유사성은 출력된 영상의 품질을 측정할 때 사용하는 척도로 사용될 수 있다.
본 발명의 일 실시 예에 따르면 입력 영상과 출력 영상의 구조적 유사성(SSIM)을 측정할 수 있으며, 측정방법은 하기의 수학식 3의 수식을 이용하여 산출할 수 있으며, 1에 가까워 질 수 있도록 두영상은 유사하여, -1에 가까울수록 상이한 영상으로 판단될 수 있다.
[수학식 3]
Figure 112019058349980-pat00003
학습 방법 설정부(420)는 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과와 측정된 입력 영상과 출력영상 사이의 구조적 유사성을 이용하여 목적함수를 설정하고, 목적 함수가 최소화되는 방향으로 학습 방법을 설정할 수 있다.
본 발명의 일 실시 예에 따르면 학습 방법 설정부(420)는 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과 입력 영상과 출력영상의 구조적 유사성을 측정하는 SSIM을 이용하여 재학습 방법을 결정할 수 있다.
상기 실시 예에 따르면 목적함수를 최소화하는 방향으로 학습이 이루어질 수 있으며, 가중된 구조적 유사성 값을 음수로 취하고, 배치 경사 하강법을 적용하여 역전파를 통해 하기의 수학식 4와 같이 손실값(L)을 최소화 하는 방향으로 학습방향을 설정할 수 있다.
[수학식 4]
L = X*L2 - (1-X)*LSSIM
도 7은 입력 영상과 본 발명의 일 실시 예에 따라 생성된 예측 영상, 정답 영상과의 대비를 나타낸 도면이다.
도 7을 참조하면 저해상도의 입력 영상을 이용하여 생성한 고해상도의 출력 영상(예상 영상)이 나타나 있으며, 본 발명의 일 실시 예에 따른 고해상도 영상 생성 장치의 재학습이 최적화 될수록 출력 영상과 정답 영상이 상대적으로 더욱 동일하게 될 수 있다.
도 8은 본 발명의 실시 예에 따른 본 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법의 흐름도이다.
입력 영상의 특징을 압축하여 추출한다(S10).
본 발명의 일 실시 예에 따르면 입력 영상의 특징을 압축하여 추출할 수 있다.
본 발명의 일 실시 예에 따르면 입력 영상의 특징을 추출함에 있어 적어도 한번 이상의 합성곱 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 입력 받는 입력 영상은 데이터 획득을 최소화 하고자 하는 목적에 맞춰 저해상도로 리사이징 되거나 원본이 저해상도인 영상일 수 있다.
본 발명의 일 실시 예에 따르면 입력 영상으로부터 특징을 추출하여 특징값 데이터 매트릭스를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 저해상도의 입력 영상을 대상으로 합성곱 연산을 수행하여 다수의 특징점에 대한 특징값 데이터 매트릭스를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 수행된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄일 수 있다.
본 발명의 일 실시 예에 따르면 배치 정규화 방법으로 연산을 수행할 수 있으며, 여기서 배치 정규화는 데이터를 미니 배치 단위로 나누고, 이를 정규화하여 정규 분포를 만들어 감마와 베타를 이용하여 새로운 값을 산출함으로써, 정규화된 값을 추가적인 파라미터를 사용하여 변형시키는 방법을 의미한다.
본 발명의 일 실시 예에 따르면 기울기 소실을 방지하기 위해 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 기울기 소실을 방지하기 위해 Relu(Rectified Linear Unit) 활성화 함수(activation function) 연산을 수행할 수 있다.
여기서 Relu 활성화 함수는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수를 의미할 수 있으며, 상기의 수학식 1과 같이 연산될 수 있다.
Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스 풀링(maxpooling)으로 데이터를 압축할 수 있다.
본 발명의 일 실시 예에 따르면 맥스 풀링 연산을 수행할 수 있으며 여기서 맥스 풀링이란 하나의 레이어를 분리하여 샘플링하여 다음단계로 넘기는 것을 의미할 수 있으며, 이것을 통해 전체 특징의 수를 의도적으로 줄임으로 인하여 데이터 크기를 줄여 컴퓨터파워를 절약할 수 있고, 데이터가 줄어드는 과정에서 유실되기 때문에 오버 피팅(over fitting)을 방지할 수 있다.
추출된 특징에 대한 입력영상의 수용영역을 확대하여 특징점을 추출한다(S20).
본 발명의 일 실시 예에 따르면 추출된 특징에 대한 입력영상의 수용영역을 확대하여 특징점을 추출할 수 있다.
본 발명의 일 실시 예에 따르면 입력영상에 다양한 크기의 가중치를 이용하여 수평적으로 진행하고 계산된 특징맵을 융합함으로써 입력영상의 수용영역을 확대하여 특징점을 추출할 수 있다.
또한 본 발명의 일 실시 예에 따르면 각기 다른 크기의 가중치를 적용하기 위해 상기 가중치 별 다른 크기의 매트릭스를 각각 합성곱 하여 연산을 수행할 수 있다.
상기 실시 예에 따르면 합성곱된 데이터에 미리 설정된 규모의 맥스풀링을 수행하여 데이터를 압축하는 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 입력영상에 다양한 크기의 가중치를 이용하여 합성곱 연산을 수평적으로 진행할 수 있으며, 이를 통해 계산된 특징 값들로 이루어진 특징 맵(MAP)을 융합할 수 있다.
추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성한다(S30).
본 발명의 일 실시 예에 따르면 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성할 수 있으며, 이때 출력 영상은 입력 영상보다 더 고해상도인 영상일 수 있으며, 데이터 크기 또한 상대적으로 더 클 수 있다.
본 발명의 일 실시 예에 따르면 추출된 특징점을 원본 이미지의 크기로 확대하기 위한 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 수신한 파일 보다 더 높은 샘플링 레이트로 변경하는 연산을 수행하여 원 본 이미지의 크기로 확대할 수 있다.
본 발명의 일 실시 예에 따르면 확대된 특징점에 대한 특징값 데이터 매트릭스를 합성곱하여 출력 영상을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 특징값 데이터 매트릭스를 합성곱하여 고해상도의 출력 영상을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 합성곱된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 합성곱 신경망의 내부 노드 분포 값를 줄일 수 있다.
본 발명의 일 실시 예에 따르면 배치 정규화 방법으로 연산을 수행할 수 있으며, 여기서 배치 정규화는 데이터를 미니 배치 단위로 나누고, 이를 정규화하여 정규 분포를 만들어 감마와 베타를 이용하여 새로운 값을 산출함으로써, 정규화된 값을 추가적인 파라미터를 사용하여 변형시키는 방법을 의미할 수 있다.
본 발명의 일 실시 예에 따르면 기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 기울기 소실을 방지하기 위해 Relu(Rectified Linear Unit) 활성화 함수(activation function) 연산을 수행할 수 있다.
여기서 Relu 활성화 함수는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수를 의미할 수 있으며, 상기의 수학식 1과 같이 연산될 수 있다.
본 발명의 일 실시 예에 따르면 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축할 수 있다.
본 발명의 일 실시 예에 따르면 맥스 풀링 연산을 수행할 수 있으며 여기서 맥스 풀링이란 하나의 레이어를 분리하여 샘플링하여 다음단계로 넘기는 것을 의미할 수 있으며, 이것을 통해 전체 특징의 수를 의도적으로 줄임으로 인하여 데이터 크기를 줄여 컴퓨터파워를 절약할 수 있고, 데이터가 줄어드는 과정에서 유실되기 때문에 오버 피팅(over fitting)을 방지할 수 있다.
입력 영상과 출력 영상의 유사성을 판단하고 손실함수를 통해 재학습 방향을 결정한다(S40).
본 발명의 일 실시 예에 따르면 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 재학습 방향을 결정하기 위하여 L2 손실함수를 이용할 수 있다.
본 발명의 일 실시 예에 따르면 목적함수로 출력영상과 입력영상의 픽셀별 MSE(Mean squar error)와 구조적 유사성(Structual Similiarity, SSIM)의 가중치 합인 새로운 함수를 정의하여 재학습 방향을 결정할 수 있다.
또한 본 발명의 일 실시 예에 따르면 픽셀 별 MSE 손실 함수는 입력영상의 픽셀별 이미지 강도를 재구성하며, 이후 구조적 유사성 함수인 SSIM을 거쳐 입력영상의 형태를 재구성할 수 있다.
본 발명의 일 실시 예에 따르면 재학습 방향을 결정하기 위하여 L2 손실함수를 이용할 수 있다.
여기서 L2 손실함수는 Mean squar error(MSE)를 이용하여 손실 함수를 계산하여 계산 값이 최소화하는 방향으로 역전파 방법을 통해 학습을 진행할 수 있으며, 이때 MSE를 구하는 수학식은 상기 수학식 2와 같다.
본 발명의 일 실시 예에 따르면 입력 영상 및 출력 영상을 사이 구조적 유사성을 측정할 수 있다.
본 발명의 일 실시 예에 따르면 입력 영상과 출력 영상(예상 영상) 사이의 구조적 유사성을 측정할 수 있으며, 이러한 구조적 유사성은 출력된 영상의 품질을 측정할 때 사용하는 척도로 사용될 수 있다.
본 발명의 일 실시 예에 따르면 입력 영상과 출력 영상의 구조적 유사성(SSIM)을 측정할 수 있으며, 측정방법은 상기의 수학식 3의 수식을 이용하여 산출할 수 있으며, 1에 가까워 질 수 있도록 두영상은 유사하여, -1에 가까울수록 상이한 영상으로 판단될 수 있다.
본 발명의 일 실시 예에 따르면 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과와 측정된 입력 영상과 출력영상 사이의 구조적 유사성을 이용하여 목적함수를 설정하고, 목적 함수가 최소화되는 방향으로 학습 방법을 설정할 수 있다.
본 발명의 일 실시 예에 따르면 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과 입력 영상과 출력영상의 구조적 유사성을 측정하는 SSIM을 이용하여 재학습 방법을 결정할 수 있다.
상기 실시 예에 따르면 목적함수를 최소화하는 방향으로 학습이 이루어질 수 있으며, 가중된 구조적 유사성 값을 음수로 취하고, 배치 경사 하강법을 적용하여 역전파를 통해 상기의 수학식 4와 같이 손실값(L)을 최소화 하는 방향으로 학습방향을 설정할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 합성곱 신경망을 이용하여,
    입력 영상의 특징을 압축하여 추출하는 영상 입력 모듈;
    상기 추출된 특징에 대한 입력영상의 수용영역을 확대하여 특징점을 추출하는 은닉 모듈;
    상기 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성하는 영상 출력 모듈;
    상기 입력 영상과 출력 영상의 유사성을 판단하고 손실함수를 통해 평균 제곱근 오차 값이 최소화하는 방향으로 재학습 방향을 결정하는 재학습 판단부를 포함하며,
    상기 영상 입력 모듈은,
    입력 영상으로부터 특징을 추출하여 특징값 데이터 매트릭스를 산출하는 입력 영상 처리 합성곱 레이어;
    상기 산출된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값을 줄이는 입력 배치 정규화 모듈;
    기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행하는 입력 ReLU 수행부; 및
    상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 입력 맥스풀링 레이어를 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 은닉 모듈은,
    상기 입력영상에 다양한 크기의 가중치를 이용하여 수평적으로 진행하고 계산된 특징맵을 융합함으로써 입력영상의 수용영역을 확대하여 특징점을 추출하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치.
  4. 제 3 항에 있어서,
    상기 은닉 모듈은,
    각기 다른 크기의 가중치를 적용하기 위해 상기 가중치 별 다른 크기의 매트릭스를 각각 합성곱하고, 상기 합성곱된 데이터에 미리 설정된 규모의 맥스풀링을 수행하여 데이터를 압축하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치.
  5. 제 1 항에 있어서,
    상기 영상 출력 모듈은,
    추출된 특징점을 원본 이미지의 크기로 확대하기 위한 연산이 수행되는 업 샘플링 레이어;
    상기 확대된 특징점에 대한 특징값 데이터 매트릭스를 합성곱하여 출력 영상을 생성하는 출력 영상 처리 합성곱 레이어;
    상기 합성곱된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄이는 출력 배치 정규화 모듈;
    기울기 소실을 방지하기 위해 상기 배치 정규화된 특징값 데이터 매트릭스에 Relu 활성화 함수 연산을 수행하는 출력 ReLU 수행부; 및
    상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 출력 맥스풀링 레이어를 더 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치.
  6. 제 1 항에 있어서,
    상기 재학습 판단부는,
    재학습 방향을 결정하기 위하여 L2 손실함수를 이용하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치.
  7. 제 6 항에 있어서,
    상기 재학습 판단부는,
    상기 입력 영상 및 출력 영상을 사이 구조적 유사성을 측정하는 구조적 유사성 측정부; 및
    상기 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과와 상기 측정된 입력 영상과 출력영상 사이의 구조적 유사성을 이용하여 목적함수를 설정하고, 상기 목적 함수가 최소화되는 방향으로 학습 방법을 설정하는 학습 방법 설정부를 더 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치.
  8. 제 7 항에 있어서,
    상기 학습 방법 설정부는,
    가중된 구조적 유사성 값을 음수로 취하고, 배치 경사 하강법을 적용하여 역전파를 통해 손실값을 최소화 하는 방향으로 학습방향을 설정하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 장치.
  9. 합성곱 신경망을 이용하여,
    입력 영상의 특징을 압축하여 추출하는 단계;
    상기 추출된 특징에 대한 입력영상의 수용영역을 확대하여 특징점을 추출하는 단계;
    상기 추출된 특징점을 원본 이미지의 크기로 확대하여 출력영상을 생성하는 단계;
    상기 입력 영상과 출력 영상의 유사성을 판단하고 손실함수를 통해 평균 제곱근 오차 값이 최소화하는 방향으로 재학습 방향을 결정하는 단계를 포함하며,
    상기 입력 영상의 특징을 압축하여 추출하는 단계는,
    입력 영상으로부터 특징을 추출하여 특징값 데이터 매트릭스를 산출하는 단계;
    상기 산출된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값을 줄이는 단계;
    배치 정규화된 상기 산출된 특징값 데이터 매트릭스에 기울기 소실을 방지하기 위해 Relu 활성화 함수 연산을 수행하는 단계; 및
    상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 수용영역을 확대하여 특징점을 추출하는 단계는,
    상기 입력영상에 다양한 크기의 가중치를 이용하여 수평적으로 진행하고 계산된 특징맵을 융합함으로써 입력영상의 수용영역을 확대하여 특징점을 추출하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법.
  12. 제 11 항에 있어서,
    상기 수용영역을 확대하여 특징점을 추출하는 단계는,
    각기 다른 크기의 가중치를 적용하기 위해 상기 가중치 별 다른 크기의 매트릭스를 각각 합성곱하고, 상기 합성곱된 데이터에 미리 설정된 규모의 맥스풀링을 수행하여 데이터를 압축하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법.
  13. 제 9 항에 있어서,
    상기 출력영상을 생성하는 단계는,
    추출된 특징점을 원본 이미지의 크기로 확대하기 위한 연산이 수행되는 단계;
    상기 확대된 특징점에 대한 특징값 데이터 매트릭스를 합성곱하여 출력 영상을 생성하는 단계;
    상기 합성곱된 특징값 데이터 매트릭스를 복수의 미니 배치로 분할하고, 상기 분할된 각 미니 배치의 평균값과 각 데이터와의 거리를 제곱한 값의 합의 평균을 이용하여 상기 합성곱 신경망의 내부 노드 분포 값를 줄이는 단계;
    배치 정규화된 상기 합성곱된 특징값 데이터 매트릭스에 기울기 소실을 방지하기 위해 Relu 활성화 함수 연산을 수행하는 단계; 및
    상기 Relu 활성화 함수 연산이 수행된 특징값 데이터 매트릭스에 미리 설정된 규모의 맥스풀링으로 데이터를 압축하는 단계를 더 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법.
  14. 제 9 항에 있어서,
    상기 재학습 방향을 결정하는 단계는,
    재학습 방향을 결정하기 위하여 L2 손실함수를 이용하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법.
  15. 제 14 항에 있어서,
    상기 재학습 방향을 결정하는 단계는,
    상기 입력 영상 및 출력 영상을 사이 구조적 유사성을 측정하는 구조적 유사성 측정부; 및
    상기 출력 영상의 각 픽셀간 에러를 계산하는 L-2 손실 함수 값과와 상기 측정된 입력 영상과 출력영상 사이의 구조적 유사성을 이용하여 목적함수를 설정하고, 상기 목적 함수가 최소화되는 방향으로 학습 방법을 설정하는 단계를 더 포함하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법.
  16. 제 15 항에 있어서,
    상기 학습 방법을 설정하는 단계는,
    가중된 구조적 유사성 값을 음수로 취하고, 배치 경사 하강법을 적용하여 역전파를 통해 손실값을 최소화 하는 방향으로 학습방향을 설정하는 것을 특징으로 하는 데이터 획득 시간 최소화를 위한 CNN 기반의 고해상도 영상 생성 방법.
KR1020190067332A 2018-06-08 2019-06-07 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법 Active KR102224597B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180066222 2018-06-08
KR20180066222 2018-06-08

Publications (2)

Publication Number Publication Date
KR20190139781A KR20190139781A (ko) 2019-12-18
KR102224597B1 true KR102224597B1 (ko) 2021-03-08

Family

ID=69052369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190067332A Active KR102224597B1 (ko) 2018-06-08 2019-06-07 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102224597B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182568A1 (ko) * 2022-03-24 2023-09-28 주식회사 쓰리디오엔에스 인공지능 기반의 두경부 랜드마크 검출 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456467B1 (ko) * 2020-10-05 2022-10-18 고려대학교 산학협력단 인공지능 기반의 의료 영상 합성 장치 및 방법
CN112465924B (zh) * 2020-12-11 2023-09-29 上海科技大学 一种基于多特征融合的快速医学图像重构方法
CN112652002B (zh) * 2020-12-25 2024-05-03 江苏集萃复合材料装备研究所有限公司 一种基于idc算法的医疗影像配准方法
KR102303626B1 (ko) 2021-01-15 2021-09-17 정지수 단일 이미지에 기반하여 비디오 데이터를 생성하기 위한 방법 및 컴퓨팅 장치
KR102521524B1 (ko) 2022-12-30 2023-04-14 주식회사 에이아이프로 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017385A1 (ja) 2014-07-29 2016-02-04 株式会社 日立メディコ 磁気共鳴イメージング装置および画像再構成方法
KR101780057B1 (ko) * 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR101980955B1 (ko) * 2016-08-22 2019-05-21 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017385A1 (ja) 2014-07-29 2016-02-04 株式会社 日立メディコ 磁気共鳴イメージング装置および画像再構成方法
KR101780057B1 (ko) * 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dong, Chao, et al. "Learning a deep convolutional network for image super-resolution." European conference on computer vision. Springer, Cham(2014)*
최준명 and 강동중. "차량 번호판 화질 개선을 위한 GAN 기반의 초해상도 기법." 제어로봇시스템학회 논문지 23.8 (2017)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182568A1 (ko) * 2022-03-24 2023-09-28 주식회사 쓰리디오엔에스 인공지능 기반의 두경부 랜드마크 검출 방법 및 장치

Also Published As

Publication number Publication date
KR20190139781A (ko) 2019-12-18

Similar Documents

Publication Publication Date Title
KR102224597B1 (ko) 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
CN112446890B (zh) 基于空洞卷积和多尺度融合的黑色素瘤分割方法
US10852379B2 (en) Artifact reduction by image-to-image network in magnetic resonance imaging
CN111856368B (zh) 利用神经网络检测患者运动的mri系统和方法
He et al. Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution
CN107610193B (zh) 使用深度生成式机器学习模型的图像校正
US20210158512A1 (en) Online adaptation of neural networks
CN107730451A (zh) 一种基于深度残差网络的压缩感知重建方法和系统
CN108090871A (zh) 一种基于卷积神经网络的多对比度磁共振图像重建方法
KR20180004208A (ko) 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가
CN114529519B (zh) 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统
CN109816742A (zh) 基于全连接卷积神经网络的锥束ct几何伪影去除方法
CN109375125B (zh) 一种修正正则化参数的压缩感知磁共振成像重建方法
CN106056141B (zh) 一种使用空间稀疏编码的目标识别与角度粗估计算法
CN107292815A (zh) 乳腺图像的处理方法、装置及乳腺成像设备
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN118967449A (zh) 一种基于扩散模型的病理切片图像超分辨率方法
CN107862665B (zh) Ct图像序列的增强方法及装置
CN116596952B (zh) 一种多层级病灶检出优化的病理切片图像分割检测方法
Dou et al. Medical image super-resolution via minimum error regression model selection using random forest
Čular et al. Dental age estimation from panoramic X-ray images using statistical models
US11263494B2 (en) Classification device, classification method, program, and information recording medium
Li et al. Single-image HDR reconstruction assisted ghost suppression and detail preservation network for multi-exposure HDR imaging
CN115410032B (zh) 基于自监督学习的octa图像分类结构训练方法
CN110270015B (zh) 一种基于多序列MRI的sCT生成方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190607

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200825

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201221

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210302

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210302

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240201

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250225

Start annual number: 5

End annual number: 5