KR20230013778A - 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템 - Google Patents

대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템 Download PDF

Info

Publication number
KR20230013778A
KR20230013778A KR1020210094650A KR20210094650A KR20230013778A KR 20230013778 A KR20230013778 A KR 20230013778A KR 1020210094650 A KR1020210094650 A KR 1020210094650A KR 20210094650 A KR20210094650 A KR 20210094650A KR 20230013778 A KR20230013778 A KR 20230013778A
Authority
KR
South Korea
Prior art keywords
resolution
image
low
feature extraction
extraction network
Prior art date
Application number
KR1020210094650A
Other languages
English (en)
Other versions
KR102514727B1 (ko
Inventor
김병욱
도르제 타망 락파
Original Assignee
창원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 창원대학교 산학협력단 filed Critical 창원대학교 산학협력단
Priority to KR1020210094650A priority Critical patent/KR102514727B1/ko
Publication of KR20230013778A publication Critical patent/KR20230013778A/ko
Application granted granted Critical
Publication of KR102514727B1 publication Critical patent/KR102514727B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템이 개시된다. 일 실시예에 따른 영상 처리 시스템에 의해 수행되는 영상 처리 방법은, 저해상도 이미지를 영상의 재구성을 위한 초해상도(super-resolution) 모델에 입력하는 단계; 및 상기 초해상도 모델을 이용하여 상기 저해상도 이미지로부터 고해상도 이미지를 획득하는 단계를 포함하고, 상기 초해상도 모델은, 대칭 시리즈 구조 기반의 컨볼루션 신경망(CNN)으로 구성된 특징 추출 네트워크(Feature Extraction Network)와 업샘플링 레이어(Upsampling Layer)가 구축되어 상기 저해상도 이미지가 상기 고해상도 이미지로 재구성되도록 학습된 것일 수 있다.

Description

대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템{IMAGE PROCESSING METHOD AND SYSTEM USING SUPER-RESOLUTION MODEL BASED ON SYMMETRIC SERIES CONVOLUTIONAL NEURAL NETWORK}
아래의 설명은 영상 처리 기술에 관한 것으로, 딥러닝 모델을 이용하여 저해상도 이미지를 고해상도 이미지로 재구성하는 방법 및 시스템에 관한 것이다.
초해상도(super resolution; SR) 영상 복원 방식은 저해상도(LR) 이미지를 고해상도(HR) 이미지로 재구성하는 것을 말한다. 저비용 이미지 센서는 이미지 해상도의 한계를 가지고 있기 때문에 이미 취득된 저해상도 샘플에서 고해상도 이미지를 생성해야 하는 수요가 상당히 많다. 특히, 의료 영상 분석에서 초해상도 영상 복원 방식을 통해 얻은 고품질 이미지는 종양의 위치를 정확하게 파악하게 하여 궁극적으로 진단 정확도를 향상시킬 수 있다. 의료 영상 영역 내에서 초음파 영상은 파장 의존적 메커니즘 때문에 일반적으로 깊은 조직에서 낮은 이미지 공간 해상도를 생성한다. 따라서, 초해상도 영상 복원 작업은 해상도가 낮은 초음파 이미지의 시각적 품질을 효과적으로 높이는데 관련이 있다.
딥러닝 기술의 출현으로 이미지 데이터에서 비선형 특징 대표를 학습하는 기능은 초음파 이미징에서 초해상도 영상 복원 작업의 발전에 매우 실용적인 것으로 간주되고 있다. 이를 위해 초음파 영상의 시각적 품질을 향상시키기 위해 여러 딥러닝 기반 초해상도 연구가 이미 수행된 바 있다.
초해상도 이미지에 대한 이전의 관련 연구는 이미지 품질 측면에서 설득력 있는 결과를 제공하지만 다음과 같은 단점이 존재한다. 네트워크 전체에서 입력 이미지의 낮은 수준 특징(low-level feature)을 충분히 활용하지 못한다. 깊은 네트워크 구조로 인한 기울기 소실(gradient vanishing) 문제가 방치되어 있으며, 모델이 동일한 특징을 여러 번 학습하게 되면서 주어진 데이터에만 과적합되는 중복 특징 사용의 위험이 있다.
초음파 영상의 초해상도 재구성을 위한 컨볼루션 레이어의 대칭 시리즈 구조를 가진 새로운 초해상도 모델을 제공할 수 있다.
대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템을 제공할 수 있다.
영상 처리 시스템에 의해 수행되는 영상 처리 방법은, 저해상도 이미지를 영상의 재구성을 위한 초해상도(super-resolution) 모델에 입력하는 단계; 및 상기 초해상도 모델을 이용하여 상기 저해상도 이미지로부터 고해상도 이미지를 획득하는 단계를 포함하고, 상기 초해상도 모델은, 대칭 시리즈 구조 기반의 컨볼루션 신경망(CNN)으로 구성된 특징 추출 네트워크(Feature Extraction Network)와 업샘플링 레이어(Upsampling Layer)가 구축되어 상기 저해상도 이미지가 상기 고해상도 이미지로 재구성되도록 학습된 것일 수 있다.
상기 초해상도 모델은, 상기 특징 추출 네트워크에서 저해상도 이미지로부터 특징을 추출하고, 상기 특징 추출 네트워크에서 추출된 특징이 상기 업샘플링 레이어로 전달되고, 상기 업샘플링 레이어에서 상기 추출된 특징을 이용하여 업스케일링을 통해 고해상도 이미지가 재구성되도록 학습된 것일 수 있다.
상기 특징 추출 네트워크는, 상기 특징 추출 네트워크에 설정된 깊이에 기초하여 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어로 구성되고, 상기 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어에 이어서 비선형 활성화 함수로 정류된 선형 단위(ReLU)가 구성될 수 있다.
상기 특징 추출 네트워크는, 저해상도 이미지가 입력 데이터로 입력됨에 따라 상기 저해상도 이미지가 상기 대칭 시리즈 구조 기반의 각 컨볼루션 레이어에 각각 전달되고, 상기 저해상도 이미지가 상기 각 컨볼루션 레이어에 각각 통과됨에 따라 생성된 각 특징맵이 연결될 수 있다.
상기 특징 추출 네트워크는, 상기 저해상도 이미지와 상기 특징 추출 네트워크에 설정된 깊이에 기초하여 상기 특징 추출 네트워크의 마지막 컨볼루션 레이어 사이, 상기 저해상도 이미지와 상기 마지막 컨볼루션 레이어를 기준으로 이전의 컨볼루션 레이어 사이에 스킵 연결(skip connection)을 통해 연결될 수 있다.
상기 업샘플링 레이어는, 상기 특징 추출 네트워크를 통해 추출된 각 특징맵에 대한 단일 업스케일링을 통해 복수 개(k2, k는 업스케일링 계수)의 채널 생성이 가능하고, 상기 채널 생성이 가능한 채널 범위에 기초하여 선택된 값에 따라 상기 저해상도 이미지를 고해상도 공간에 매핑할 수 있다.
상기 업샘플링 레이어는, 주기적 셔플링 작업을 수행하여 출력 채널을 고해상도 이미지로 재구성할 수 있다.
영상 처리 방법을 상기 영상 처리 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램을 포함할 수 있다.
영상 처리 시스템은, 저해상도 이미지를 영상의 재구성을 위한 초해상도(super-resolution) 모델에 입력하는 입력부; 및 상기 초해상도 모델을 이용하여 상기 저해상도 이미지로부터 고해상도 이미지를 획득하는 획득부를 포함하고, 상기 초해상도 모델은, 대칭 시리즈 구조 기반의 컨볼루션 신경망(CNN)으로 구성된 특징 추출 네트워크(Feature Extraction Network)와 업샘플링 레이어(Upsampling Layer)가 구축되어 상기 저해상도 이미지가 상기 고해상도 이미지로 재구성되도록 학습된 것일 수 있다.
상기 초해상도 모델은, 상기 특징 추출 네트워크에서 저해상도 이미지로부터 특징을 추출하고, 상기 특징 추출 네트워크에서 추출된 특징이 상기 업샘플링 레이어로 전달되고, 상기 업샘플링 레이어에서 상기 추출된 특징을 이용하여 업스케일링을 통해 고해상도 이미지가 재구성되도록 학습된 것일 수 있다.
상기 특징 추출 네트워크는, 상기 특징 추출 네트워크에 설정된 깊이에 기초하여 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어로 구성되고, 상기 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어에 이어서 비선형 활성화 함수로 정류된 선형 단위(ReLU)가 구성될 수 있다.
상기 특징 추출 네트워크는, 저해상도 이미지가 입력 데이터로 입력됨에 따라 상기 저해상도 이미지가 상기 대칭 시리즈 구조 기반의 각 컨볼루션 레이어에 각각 전달되고, 상기 저해상도 이미지가 상기 각 컨볼루션 레이어에 각각 통과됨에 따라 생성된 각 특징맵이 연결될 수 있다.
상기 특징 추출 네트워크는, 상기 저해상도 이미지와 상기 특징 추출 네트워크에 설정된 깊이에 기초하여 상기 특징 추출 네트워크의 마지막 컨볼루션 레이어 사이, 상기 저해상도 이미지와 상기 마지막 컨볼루션 레이어를 기준으로 이전의 컨볼루션 레이어 사이에 스킵 연결(skip connection)을 통해 연결될 수 있다.
상기 업샘플링 레이어는, 상기 특징 추출 네트워크를 통해 추출된 각 특징맵에 대한 단일 업스케일링을 통해 복수 개(k2, k는 업스케일링 계수)의 채널 생성이 가능하고, 상기 채널 생성이 가능한 채널 범위에 기초하여 선택된 값에 따라 상기 저해상도 이미지를 고해상도 공간에 매핑할 수 있다.
상기 업샘플링 레이어는, 주기적 셔플링 작업을 수행하여 출력 채널을 고해상도 이미지로 재구성할 수 있다.
낮은 수준 특징 정보가 대칭 시리즈의 컨볼루션 레이어를 통과하면서 연속(concatenation) 되어 피드 포워드 방법으로 연결됨에 따라 강력한 특징 추출 결과를 지원하고 고해상도 출력에서 높은 재구성 품질을 보장할 수 있다.
특징 추출 네트워크로부터 추출된 특징맵이 업샘플링 레이어로 전달되어 다차원 커널로 업샘플링한 다음 주기적 병합 작업을 수행하여 고해상도 이미지를 출력할 수 있다.
도 1은 일 실시예에 있어서, 영상 처리 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 있어서, 초해상도 모델을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 영상 처리 시스템의 구성을 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 있어서, 초해상도 모델을 훈련하기 위한 데이터 셋을 나타낸 예이다.
도 6은 일 실시예에 있어서, 데이터 셋을 이용하여 초해상도 모델의 시작 단계와 종료 단계에서 재구성된 이미지 샘플의 예이다.
도 7은 일 실시예에 있어서, 데이터 셋 각각에 대한 PSNR 및 SSIM 측면에서 초해상도 모델의 성능을 나타낸 예이다.
도 8은 일 실시예에 있어서, 특징 추출 네트워크의 깊이에 따라 초해상도 모델의 성능을 나타낸 예이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
실시예에서는 초음파 영상의 초해상도 재구성을 위한 컨볼루션 레이어의 대칭 시리즈 구조를 가진 새로운 초해상도 모델을 통해 낮은 수준의 특징을 스킵 연결(skip connection)을 통해 최종 레이어로 전파될 수 있는 구조를 구축하여 초해상도 작업 성능을 개선하고 기울기 소실 문제를 완화시키는 동작에 대하여 설명하기로 한다. 또한, 각 후속 레이어의 로컬 특징을 담은 두 개의 저해상도 이미지를 입력 데이터로 받아 연결되는 대칭 시리즈 구조를 가진 합성곱 신경망을 설계하여 중복 특징 사용의 위험을 완화함으로써 과적합 문제를 방지하는 동작에 대하여 설명하기로 한다.
도 1은 일 실시예에 있어서, 영상 처리 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
영상 처리 시스템(100)은 저해상도 이미지(101)를 영상의 재구성을 위한 초해상도 모델(110)에 입력하고, 초해상도 모델(110)을 이용하여 저해상도 이미지(101)로부터 고해상도 이미지(102)를 획득할 수 있다. 이때, 도 2를 참고하면, 초해상도 모델을 설명하기 위한 도면이다.
해상도 모델(110)은 대칭 시리즈 구조 기반의 컨볼루션 신경망(CNN)으로 구성된 특징 추출 네트워크(Feature Extraction Network)(210)와 업샘플링 레이어(Upsampling Layer)(220)가 구축되어 저해상도 이미지가 고해상도 이미지로 재구성되도록 학습된 것일 수 있다. 예를 들면, 초해상도 모델(110)은 새로운 딥 컨볼루션 신경망 기반으로 초음파 의료 이미징을 처리할 수 있다.
초해상도 모델(110)은 특징 추출 네트워크(210)에서 저해상도 이미지로부터 특징을 추출하고, 특징 추출 네트워크(210)에서 추출된 특징이 업샘플링 레이어(220)로 전달되고, 업샘플링 레이어(220)에서 추출된 특징을 이용하여 업스케일링을 통해 고해상도 이미지가 재구성되도록 학습된 것일 수 있다. 업샘플링 레이어(220)는 특징 추출 네트워크(210)에서 출력된 특징맵의 업스케일링하여 고해상도 이미지의 출력을 생성함으로써 이미지 해상도를 높일 수 있다.
특징 추출 네트워크(210)는 동일한 입력 데이터가 각 레이어의 특징맵이 연결된 복수 개(예를 들면, 2개)의 대칭의 컨볼루션 레이어로 전달되도록 구축될 수 있다. 대칭 시리즈를 사용하면 저해상도 이미지에 대한 풍부한 의미론적 정보를 탐색할 수 있고, 이를 통해 초해상도 출력의 더 나은 품질을 달성할 수 있다.
도 2(a)는 특징 추출 네트워크(FEN)이고, 도 2(b)는 업샘플링 레이어(Up-sampling layer)를 나타낸 것이다.
초해상도 모델(110)에서 특징 추출 네트워크(210)는 제1 컨볼루션 레이어(Conv A)와 제2 컨볼루션 레이어(Conv B)라는 두 개의 컨볼루션 레이어가 대칭 시리즈로 구성될 수 있다. 이때, 제1 대칭 시리즈(Conv A)에서 Conv 1A 내지 Conv MA로 연결되고, 제2 대칭 시리즈(Conv B)에서 Conv 1B 내지 Conv MB로 연결될 수 있다. 각 시리즈는 특징 추출 네트워크에 설정된 깊이에 기초하여 구성될 수 있다. 다시 말해서, 각 시리즈는 M 컨볼루션 레이어(M은 각 레이어의 깊이)가 존재할 수 있다. 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어에 이어서 비선형 활성화 함수로 정류된 선형 단위(ReLU)가 구성될 수 있다. 특징 추출 네트워크(210)는 입력의 멀티 레벨 특징을 추출할 수 있다.
특징 추출 네트워크(210)는 저해상도 이미지가 입력 데이터로 입력될 수 있다. 이때, 특징 추출 네트워크(210)에 고해상도 샘플을 다운샘플링하여 생성된 저해상도 샘플이 입력 데이터로 입력될 수 있다. 특징 추출 네트워크(210)에서 저해상도 이미지가 대칭 시리즈 구조 기반의 각 컨볼루션 레이어(ConvA, ConvB) 에 각각 전달되고, 저해상도 이미지가 각 컨볼루션 레이어에 통과됨에 따라 생성된 각 특징맵이 연결될 수 있다. 전진 전파(forward propagation)동안 후속 ConvA 및 ConvB 레이어를 통과함에 따라 생성된 특징맵이 연결될 수 있다.
특징 추출 네트워크(210)는 각 후속 레이어에서 두 입력의 로컬(local) 특징을 함께 숨겨 초음파 이미지의 전역(global) 특징을 학습할 수 있다. 이러한 방식으로, 특징 추출 네트워크는 중복 특징의 학습을 회피하고, 각 레이어에 의해 생성된 입력의 고유한 표현을 학습할 수 있다. 특징 추출 네트워크(210)는 또한 가중치가 각 대칭 시리즈의 컨볼루션 레이어 간 공유되기 때문에 충분한 정규화를 촉진하므로 외부 정규화 기법이 필요하지 않다.
특징 추출 네트워크(210)는 입력 데이터인 저해상도 이미지와 특징 추출 네트워크(210)의 후속 컨볼루션 레이어 사이에 스킵 연결(skip connection)이 도입될 수 있다. 다시 말해서, 특징 추출 네트워크(210)는 저해상도 이미지와 특징 추출 네트워크(210)에 저해상도 이미지와 설정된 깊이에 기초하여 특징 추출 네트워크의 마지막 컨볼루션 레이어 사이, 저해상도 이미지와 마지막 컨볼루션 레이어를 기준으로 이전의 컨볼루션 레이어 사이에 스킵 연결(skip connection)을 통해 연결될 수 있다. 스킵 연결을 통해 저해상도 이미지의 예비 특징을 최종 레이어로 직접 우회하고 이미지의 원래 텍스쳐 정보를 보존할 수 있다. 또한, 스킵 연결은 초해상도 모델의 기울기 소실 문제를 완화시킬 수 있다.
예를 들면, 도 2를 참고하면, M=6인 네트워크 추출 네트워크를 나타낸 것으로, 대칭 시리즈의 각 컨볼루션 레이어는 64개의 필터와 3×3의 커널 사이즈를 이용하여 단일 컨볼루션 동안 이미지를 컨볼브(convolve)할 수 있다. 이때, 가중치 공유를 용이하게 하고 네트워크의 복잡성을 줄이기 때문에 작은 사이즈의 필터가 선호될 수 있다. 대칭 시리즈의 각 컨볼루션 레이어에서 동시 특징맵을 연결하여 추출한 누적 특징은 특징 추출의 후속 단계에서 두 개의 컨볼루션 레이어로 전달될 수 있다. 후속 레이어는 32개, 수용 사이즈가 1×1인 3개의 필터가 각각 사용될 수 있다. 후속 레이어(마지막 컨볼루션 레이어와 마지막 이전의 컨볼루션 레이어)는 모두 스킵 연결을 통해 저해상도 이미지에 연결될 수 있다. 특징 추출 네트워크의 최종 레이어에 저해상도 이미지의 텍스쳐 정보가 포함될 수 있다. 이러한 특징 추출 네트워크를 통해 입력 이미지로부터 전역 특징이 추출될 수 있다. 대칭 시리즈의 컨볼루션 레이어는 수용 필드를 위해 동일한 크기를 가지므로, Conv A와 Conv B의 후속 레이어로부터 연결된 특징맵은 이미지 정보를 수용할 수 있다.
실시예에 따르면, 특징 추출 네트워크의 입력에 동일한 이미지(예를 들면, 초음파 이미지의 저해상도 샘플 2개)로 모델링될 수 있다. 각 레이어는 다른 레이어와 독립적으로 입력 데이터를 이용하여 특징을 추출하므로 대칭 시리즈의 각 컨볼루션 레이어에서 동일한 입력의 다양한 특징을 관찰할 수 있다. 이에, 순방향 패스에서 네트워크는 각 레이어에서 추출한 모든 고유한 특징을 보존할 수 있다. 특징 추출 네트워크는 특성 추출만을 위한 것이므로 입력의 다단계 특성을 수용하기 위해 동시적인 각 레이어의 고유한 특성을 연결할 수 있다. 특징 추출 네트워크에서 원본 이미지의 텍스처 및 공간 정보는 모든 이미지 재구성 작업에서 매우 중요하므로 입력에서 최종 컨볼루션 레이어까지 두 개의 스킵 연결을 도입할 수 있다. 스킵 연결을 사용하면, 원본 이미지의 텍스처 정보를 최종 레이어로 우회하여 최종 특징맵에 저해상도 이미지를 고해상도 이미지로 업샘플링하는 데 필요한 최대 정보량을 포함할 수 있다.
업샘플링 레이어(220)는 특징 추출 네트워크(210)에서 추출된 특징맵에서 고품질의 고해상도 이미지를 재구성할 수 있다. 저해상도 이미지의 특징을 고품질의 고해상도 공간에 업샘플링하기 위해 업샘플링 레이어(220)가 사용될 수 있다. 업샘플링 레이어(220)는 입력 데이터를 다차원 커널과 컨볼루션하여 업샘플링을 위한 채널 풀(pool)을 생성하는 학습 가능한 레이어이다. 업샘플링 레이어(220)는 생성된 채널 풀을 재정렬하여 훨씬 더 높은 해상도의 출력 데이터를 생성할 수 있다. 업샘플링 레이어(220)를 통해 특징 추출 네트워크(210)로부터 획득된 저해상도 이미지의 특징을 복수 개의 채널을 사용하여 단일 고해상도 이미지를 나타내는 방법을 학습할 수 있다. 업샘플링 레이어(220)는 특징맵의 개수를 확장하고 특정 영역 매핑 기준을 적용하여 고해상도 이미지의 출력 데이터를 획득할 수 있다. 이를 통해 특징 추출 네트워크(210)를 통해 획득된 특징맵의 해상도가 균일하고 모델의 계산 비용이 적게 들 수 있다.
업샘플링 레이어(220)에서 컨볼루션 커널에 대한 가중치 집합은 컨볼루션 동안 서로 독립적이다. 각 특징맵에 대해, 업샘플링 레이어(220)는 단일 업스케일링을 통해 k2 개의 채널을 생성할 수 있다. 여기서, k는 업스케일 계수이다. k의 원하는 값이 선택됨에 따라 업샘플링 레이어(220)는 단일 스케일링으로 저해상도 이미지를 고해상도 공간에 이미지를 매핑할 수 있다. 도 2(b)에서 차원H×W×C(각각 높이, 너비 및 채널)의 입력을 다차원 커널과 컨볼루션함으로써 입력 데이터와 동일한 차원이지만 추가적인 k2개의 채널이 있는 출력을 획득할 수 있다. 이후, 주기적 셔플링(PS) 작업을 사용하여 출력 채널을 원하는 고해상도 이미지의 출력으로 재구성할 수 있다. 이러한 연산은 차원이 (H×W×C. k2)인 텐서를 (kH×kW×C) 행렬로 재정렬할 수 있다. 이를 통해 k2개의 채널이 이미지의 공간 차원에 분산되며, 높이와 너비에 모두 각각 k를 곱하여 고해상도의 출력 이미지를 생성할 수 있다. 실시예에 따르면, 업샘플링 레이어를 통해 복잡하고 계산적으로 비용이 많이 드는 디컨볼루션 연산을 사용하지 않고도, 특징 추출 네트워크로부터 획득된 특징맵의 단일 스케일링을 통해 고해상도 이미지를 출력할 수 있다.
도 3은 일 실시예에 따른 영상 처리 시스템의 구성을 설명하기 위한 블록도이고, 도 4는 일 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 설명하기 위한 흐름도이다.
영상 처리 시스템(100)의 프로세서는 입력부(310) 및 획득부(320)를 포함할 수 있다. 이러한 프로세서의 영상 처리 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 4의 영상 처리 방법이 포함하는 단계들(410 내지 420)을 수행하도록 모델 추론 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
프로세서는 영상 처리 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 영상 처리 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 영상 처리 시스템을 제어할 수 있다. 이때, 입력부(310) 및 획득부(320) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(410 내지 420)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.
단계(410)에서 입력부(310)는 저해상도 이미지를 영상의 재구성을 위한 초해상도 모델에 입력할 수 있다. 저해상도 이미지는 영상의 재구성을 위해 초해상도 모델에 입력되는 새로운 저해상도 데이터일 수 있으며, 초해상도 모델에 입력하기 위하여 전처리 과정(예를 들면, 노이즈 제거)이 수행될 수 있다. 이때, 초해상도 모델은 대칭 시리즈 구조 기반의 컨볼루션 신경망(CNN)으로 구성된 특징 추출 네트워크(Feature Extraction Network)와 업샘플링 레이어(Upsampling Layer)가 구축되어 저해상도 이미지가 고해상도 이미지로 재구성되도록 학습된 것일 수 있다.
단계(420)에서 획득부(320)는 초해상도 모델을 이용하여 저해상도 이미지로부터 고해상도 이미지를 획득할 수 있다. 획득부(320)는 특징 추출 네트워크에서 저해상도 이미지로부터 특징을 추출하고, 특징 추출 네트워크에서 추출된 특징을 업샘플링 레이어로 전달하고, 업샘플링 레이어에서 추출된 특징을 이용하여 업스케일링을 통해 고해상도 이미지를 재구성할 수 있다.
도 5는 일 실시예에 있어서, 초해상도 모델을 훈련하기 위한 데이터 셋을 나타낸 예이다.
초해상도 모델은 두 개의 초음파 이미지 셋(Dataset A, Dataset B)을 사용하여 평가될 수 있다. 예를 들면, 유방 초음파 이미지 셋(Dataset A)은 여성 암 조기 발견 및 치료를 위해 수집된 것일 수 있다. 평균 해상도가 500 Х 500 픽셀인 총 780개의 이미지가 25세에서 75세 사이의 여성 후보자들로부터 획득될 수 있다. 데이터 셋은 (암이 없는) 정상 이미지 133개, 암이 있는 이미지 437개, 양성 종양이 있는 이미지 210개로 구성될 수 있다. 전체 데이터는 521개의 훈련용 이미지, 109개의 검증용 이미지, 150개의 테스트 이미지의 세 부분으로 나누어질 수 있다.
나머지 데이터 셋(Dataset B)은 8.5MHz Siemens ACUSON Sequoia C512 HD 선형 어레이 변환기를 사용하여 2012년에 수집된 것일 수 있다. 데이터 셋에는 평균 해상도가 760 Х 570 픽셀인 총 163개의 이미지가 포함되어 있을 수 있다. 여기서, 53개는 암 이미지이고 나머지 110개는 양성 병변의 이미지이다. 이 데이터 셋을 생성하는 주된 목적은 병변을 감지하는 것이지만, 실시예에서는 초해상도 작업을 위해 데이터 셋이 사용될 수 있다.
초해상도 모델의 다양한 가중치를 훈련하고 과적합을 방지하도록 데이터 셋에서 사용할 수 있는 이미지가 충분히 많지 않을 수 있다. 이에, 데이터 증대 기술을 적용하여 데이터 셋의 제한된 가용성을 증대시킬 수 있다. 예를 들면, 데이터 증대 기술은, 스케일 조정, 회전, 수평 및 수직 이동, 수평 플립, 확대/축소 등 다양한 증대 기법이 활용됨에 따라 데이터 셋의 개수를 증가시킬 수 있다. 데이터 증대 중에 기존 훈련 셋에 통합 인스턴스를 추가하여 데이터 셋의 크기를 증가시킬 수 있다. 이러한 인스턴스는 원래 샘플에 기하학적 변환과 같은 도메인별 기술을 적용되어 생성될 수 있다. 예를 들면, 데이터 셋(Dataset A와 Dataset B)은 훈련을 위해 각각 880개와 862개의 이미지를 획득하도록 증대될 수 있다.
도 6은 일 실시예에 있어서, 데이터 셋을 이용하여 초해상도 모델의 시작 단계와 종료 단계에서 재구성된 이미지 샘플의 예이다.
초해상도 모델의 경우, 훈련 데이터의 수동 라벨링이 필요하지 않은 자체 지도 학습 전략을 따른다. 저해상도 이미지는 먼저 훈련 데이터 셋에서 고해상도 이미지를 다운샘플링하여 생성될 수 있다. 전진 전파 중에 생성된 출력을 원래의 고해상도 이미지와 비교하여 손실 함수가 계산될 수 있다. 초해상도 모델의 전체 네트워크는 모델의 예측과 개별 고해상도 실측(ground truth) 이미지 사이의 평균 제곱 오차(MSE) 손실을 최소화함으로써 최적화될 수 있다. 저해상도 이미지의 공간 해상도 노이즈가 많아 희소 경사를 처리하기 위해 학습률이 0.001인 Adam 최적화 도구가 사용될 수 있다. 훈련 중에 모델은 개별 이미지 픽셀 수준에서 학습될 수 있다. 설계된 네트워크의 입력 이미지 차원에 대처하기 위해, 이미지 크기는 기 설정된 픽셀(예를 들면, 300 Х 300 픽셀)로 조정될 수 있다. 훈련 및 검증을 위해 데이터 셋 이미지의 80%와 20%가 훈련 데이터 셋 및 검증 데이터 셋으로 각각 할당될 수 있다. 전체 초해상도 모델은 제안된 모델의 일반화를 개선하기 위해 8보다 작은 배치 크기로 100epoch 이내에 훈련될 수 있다.
초해상도 모델은 훈련이 계속됨에 따라 저해상도 이미지의 시각적 품질을 향상하는 방법을 학습할 수 있다. 도 6은 훈련 단계의 시작과 종료 시 재구성된 이미지를 나타낸 것이다. 모델이 잘 훈련되고 있음을 명확하게 알 수 있으며 훈련 마지막 단계(도 6(b))의 지각 품질이 첫 번째 단계(도 6(a))에 비해 상당히 높은 것을 확인할 수 있다. 도 6(b) 및 도6(d)에 표시된 것처럼 재구성된 이미지는 향상된 이미지 품질과 귀중한 세부 정보를 제공한다.
도 7을 참고하면, 데이터 셋 각각에 대한 PSNR 및 SSIM 측면에서 초해상도 모델의 성능을 나타낸 예이다.
초해상 이미지의 시각적 품질은 재구성 동안 이미지 왜곡 및 노이즈 수준으로 기반으로 평가될 수 있다. 고해상도 영상 복원 결과를 비교하기 위하여 PSNR(Peak Signal To Noise Ratio) 및 SSIM(Structural Similarity Index)이 사용될 수 있다. PSNR은 신호의 가능한 최대값과 그 표현의 품질에 영향을 미치는 노이즈의 전력 사이의 비율을 측정한 것을 의미한다. SSIM은 인간의 시각 시스템에 적합한 휘도, 대비 및 구조와 같은 기반으로 한다.
초해상도 모델을 포함한 다양한 참조 방법에서 생성된 실측 심박수 영상 및 재구성 심박수 영상을 나타낸 것이다. PSNR 및 SSIM 값은 각 도면 아래에 표시되어 있다. 왼쪽 도면은 Dataset A이고 오른쪽 도면은 Dataset B이고, PSNR과 SSIM의 가장 높은 값을 나타낸 것이다.
특징 추출 네트워크의 대칭 시리즈 구조와 픽셀 공간에서 중요한 공간을 추출하기 위한 후속 특징이 연결될 수 있다. 대칭 시리즈 구조의 각 레이어에서 후속 특징이 연결되면 입력 이미지에서 중요한 공간 및 질감 정보를 획득할 수 있으므로 상대적으로 시각적 아티팩트가 거의 없는 덜 흐릿한 고해상도 이미지가 생성될 수 있다. 특징 추출 네트워크의 마지막 단계에서 입력 이미지의 특징을 스킵 연결을 통해 높은 수준 특징과 결합하여 궁극적으로 고해상도 출력의 품질을 개선시킬 수 있다.
도 8을 참고하면, 특징 추출 네트워크의 깊이에 따라 초해상도 모델의 성능을 나타낸 예이다.
도 8은 영상 품질 메트릭(PSNR, SSIM)과 함께 시각적 품질 평가를 나타낸 도면이다. 특징 추출 네트워크에서 대칭 시리즈의 각 컨볼루션 레이어의 네트워크 깊이는 다양하게 설정될 수 있다. 네트워크의 깊이에 따른 효과를 관찰하기 위하여 업샘플링 레이어는 구조적 변화없이 유지될 수 있다. 예를 들면, 네트워크의 깊이가 4일 때, 초해상도 모델은 입력 영상의 추상적 표현을 충분히 학습하고 고해상도 출력을 획득할 수 있다. 반면, 특징 추출 네트워크의 깊이가 증가하면 초해상도 재구성의 성능이 감소하는 것이 발견될 수 있다. 네트워크의 깊이가 4를 넘어서면, 네트워크가 딥러닝 모델의 매개변수의 수가 증가할 때 중복 특징을 학습하는 경향이 발생할 수 있으며, 이는 결국 재구성된 이미지의 품질에 부정적인 영향을 미치게 된다.
실시예에 따르면, 초음파 영상의 초해상도 재구성 성능에 미치는 영향을 확인할 수 있으며, 깊이가 4인 특징 네트워크가 주어진 데이터 셋에 대해 우수한 PSNR 및 SSIM 값을 달성하는 것을 확인할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 영상 처리 시스템에 의해 수행되는 영상 처리 방법에 있어서,
    저해상도 이미지를 영상의 재구성을 위한 초해상도(super-resolution) 모델에 입력하는 단계; 및
    상기 초해상도 모델을 이용하여 상기 저해상도 이미지로부터 고해상도 이미지를 획득하는 단계
    를 포함하고,
    상기 초해상도 모델은, 대칭 시리즈 구조 기반의 컨볼루션 신경망(CNN)으로 구성된 특징 추출 네트워크(Feature Extraction Network)와 업샘플링 레이어(Upsampling Layer)가 구축되어 상기 저해상도 이미지가 상기 고해상도 이미지로 재구성되도록 학습된 것인, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 초해상도 모델은,
    상기 특징 추출 네트워크에서 저해상도 이미지로부터 특징을 추출하고, 상기 특징 추출 네트워크에서 추출된 특징이 상기 업샘플링 레이어로 전달되고, 상기 업샘플링 레이어에서 상기 추출된 특징을 이용하여 업스케일링을 통해 고해상도 이미지가 재구성되도록 학습된 것인,
    영상 처리 방법.
  3. 제2항에 있어서,
    상기 특징 추출 네트워크는,
    상기 특징 추출 네트워크에 설정된 깊이에 기초하여 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어로 구성되고, 상기 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어에 이어서 비선형 활성화 함수로 정류된 선형 단위(ReLU)가 구성된
    것을 특징으로 하는 영상 처리 방법.
  4. 제2항에 있어서,
    상기 특징 추출 네트워크는,
    저해상도 이미지가 입력 데이터로 입력됨에 따라 상기 저해상도 이미지가 상기 대칭 시리즈 구조 기반의 각 컨볼루션 레이어에 각각 전달되고, 상기 저해상도 이미지가 상기 각 컨볼루션 레이어에 각각 통과됨에 따라 생성된 각 특징맵이 연결되는
    것을 특징으로 하는 영상 처리 방법.
  5. 제4항에 있어서,
    상기 특징 추출 네트워크는,
    상기 저해상도 이미지와 상기 특징 추출 네트워크에 설정된 깊이에 기초하여 상기 특징 추출 네트워크의 마지막 컨볼루션 레이어 사이, 상기 저해상도 이미지와 상기 마지막 컨볼루션 레이어를 기준으로 이전의 컨볼루션 레이어 사이에 스킵 연결(skip connection)을 통해 연결되는
    것을 특징으로 하는 영상 처리 방법.
  6. 제2항에 있어서,
    상기 업샘플링 레이어는,
    상기 특징 추출 네트워크를 통해 추출된 각 특징맵에 대한 단일 업스케일링을 통해 복수 개(k2, k는 업스케일링 계수)의 채널 생성이 가능하고, 상기 채널 생성이 가능한 채널 범위에 기초하여 선택된 값에 따라 상기 저해상도 이미지를 고해상도 공간에 매핑하는
    것을 특징으로 하는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 업샘플링 레이어는,
    주기적 셔플링 작업을 수행하여 출력 채널을 고해상도 이미지로 재구성하는
    것을 특징으로 하는 영상 처리 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 영상 처리 방법을 상기 영상 처리 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램.
  9. 영상 처리 시스템에 있어서,
    저해상도 이미지를 영상의 재구성을 위한 초해상도(super-resolution) 모델에 입력하는 입력부; 및
    상기 초해상도 모델을 이용하여 상기 저해상도 이미지로부터 고해상도 이미지를 획득하는 획득부
    를 포함하고,
    상기 초해상도 모델은, 대칭 시리즈 구조 기반의 컨볼루션 신경망(CNN)으로 구성된 특징 추출 네트워크(Feature Extraction Network)와 업샘플링 레이어(Upsampling Layer)가 구축되어 상기 저해상도 이미지가 상기 고해상도 이미지로 재구성되도록 학습된 것인, 영상 처리 시스템.
  10. 제9항에 있어서,
    상기 초해상도 모델은,
    상기 특징 추출 네트워크에서 저해상도 이미지로부터 특징을 추출하고, 상기 특징 추출 네트워크에서 추출된 특징이 상기 업샘플링 레이어로 전달되고, 상기 업샘플링 레이어에서 상기 추출된 특징을 이용하여 업스케일링을 통해 고해상도 이미지가 재구성되도록 학습된 것인,
    영상 처리 시스템.
  11. 제10항에 있어서,
    상기 특징 추출 네트워크는,
    상기 특징 추출 네트워크에 설정된 깊이에 기초하여 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어로 구성되고, 상기 대칭 시리즈 구조 기반의 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어에 이어서 비선형 활성화 함수로 정류된 선형 단위(ReLU)가 구성된
    것을 특징으로 하는 영상 처리 시스템.
  12. 제10항에 있어서,
    상기 특징 추출 네트워크는,
    저해상도 이미지가 입력 데이터로 입력됨에 따라 상기 저해상도 이미지가 상기 대칭 시리즈 구조 기반의 각 컨볼루션 레이어에 각각 전달되고, 상기 저해상도 이미지가 상기 각 컨볼루션 레이어에 각각 통과됨에 따라 생성된 각 특징맵이 연결되는
    것을 특징으로 하는 영상 처리 시스템.
  13. 제12항에 있어서,
    상기 특징 추출 네트워크는,
    상기 저해상도 이미지와 상기 특징 추출 네트워크에 설정된 깊이에 기초하여 상기 특징 추출 네트워크의 마지막 컨볼루션 레이어 사이, 상기 저해상도 이미지와 상기 마지막 컨볼루션 레이어를 기준으로 이전의 컨볼루션 레이어 사이에 스킵 연결(skip connection)을 통해 연결되는
    것을 특징으로 하는 영상 처리 시스템.
  14. 제10항에 있어서,
    상기 업샘플링 레이어는,
    상기 특징 추출 네트워크를 통해 추출된 각 특징맵에 대한 단일 업스케일링을 통해 복수 개(k2, k는 업스케일링 계수)의 채널 생성이 가능하고, 상기 채널 생성이 가능한 채널 범위에 기초하여 선택된 값에 따라 상기 저해상도 이미지를 고해상도 공간에 매핑하는
    것을 특징으로 하는 영상 처리 시스템.
  15. 제14항에 있어서,
    상기 업샘플링 레이어는,
    주기적 셔플링 작업을 수행하여 출력 채널을 고해상도 이미지로 재구성하는
    것을 특징으로 하는 영상 처리 시스템.
KR1020210094650A 2021-07-20 2021-07-20 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템 KR102514727B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210094650A KR102514727B1 (ko) 2021-07-20 2021-07-20 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210094650A KR102514727B1 (ko) 2021-07-20 2021-07-20 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20230013778A true KR20230013778A (ko) 2023-01-27
KR102514727B1 KR102514727B1 (ko) 2023-03-27

Family

ID=85101710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210094650A KR102514727B1 (ko) 2021-07-20 2021-07-20 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102514727B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309067A (zh) * 2023-03-21 2023-06-23 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN116702876A (zh) * 2023-04-27 2023-09-05 贵州大学 一种基于预处理的图像对抗防御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bin Meng et al., "Gradient information distillation network for real time single image super resolution", Journal of Real-Time Image Processing, volume 18, (2021.03.05.)* *
Qing-Long Zhang et al, "SA-Net: Shuffle Attention for Deep Convolutional Neural Networks", Computer Vision and Pattern Recognition, (2021.01.30.)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309067A (zh) * 2023-03-21 2023-06-23 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN116702876A (zh) * 2023-04-27 2023-09-05 贵州大学 一种基于预处理的图像对抗防御方法
CN116702876B (zh) * 2023-04-27 2024-04-12 贵州大学 一种基于预处理的图像对抗防御方法

Also Published As

Publication number Publication date
KR102514727B1 (ko) 2023-03-27

Similar Documents

Publication Publication Date Title
JP7187476B2 (ja) 深層学習に基づくトモグラフィ再構成
CN109325985B (zh) 磁共振图像重建方法、装置和计算机可读存储介质
KR102514727B1 (ko) 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템
Sood et al. An application of generative adversarial networks for super resolution medical imaging
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN113298710B (zh) 基于外部注意力机制的光学相干层析超分辨率成像方法
KR101977067B1 (ko) 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
KR20190135618A (ko) 뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치
Lin et al. Deep learning for low-field to high-field MR: image quality transfer with probabilistic decimation simulator
CN112070752A (zh) 一种医学图像的心耳分割方法、装置及存储介质
WO2021168920A1 (zh) 基于多剂量等级的低剂量图像增强方法、系统、计算机设备及存储介质
CN116612174A (zh) 软组织的三维重建方法、系统及计算机存储介质
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN117237196A (zh) 基于隐式神经表征的脑部mri超分辨率重建方法及系统
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
CN114332283A (zh) 基于双域神经网络的训练方法和光声图像重建方法
US11455755B2 (en) Methods and apparatus for neural network based image reconstruction
WO2024021796A1 (zh) 一种图像处理方法、装置、电子设备、存储介质及程序产品
Li et al. Generalizing MRI subcortical segmentation to neurodegeneration
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
Muhammad et al. IRMIRS: Inception-ResNet-Based Network for MRI Image Super-Resolution.
Wang et al. Degradation Adaption Local-to-Global Transformer for Low-Dose CT Image Denoising
CN114331849A (zh) 一种跨模态核磁共振超分网络及图像超分辨率方法
Liu et al. Progressive residual learning with memory upgrade for ultrasound image blind super-resolution

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant