KR102550688B1 - 초해상도 의료 이미지 생성 장치 및 방법 - Google Patents

초해상도 의료 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR102550688B1
KR102550688B1 KR1020210060278A KR20210060278A KR102550688B1 KR 102550688 B1 KR102550688 B1 KR 102550688B1 KR 1020210060278 A KR1020210060278 A KR 1020210060278A KR 20210060278 A KR20210060278 A KR 20210060278A KR 102550688 B1 KR102550688 B1 KR 102550688B1
Authority
KR
South Korea
Prior art keywords
resolution
image
super
converted
generator
Prior art date
Application number
KR1020210060278A
Other languages
English (en)
Other versions
KR20220152842A (ko
Inventor
이원섭
안재현
박강인
송명서
Original Assignee
주식회사 씨앤에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨앤에이아이 filed Critical 주식회사 씨앤에이아이
Priority to KR1020210060278A priority Critical patent/KR102550688B1/ko
Priority to PCT/KR2021/006386 priority patent/WO2022239897A1/ko
Publication of KR20220152842A publication Critical patent/KR20220152842A/ko
Application granted granted Critical
Publication of KR102550688B1 publication Critical patent/KR102550688B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명에 의한 초해상도 의료 이미지 생성 장치(100)는 고해상도 원본 이미지(211), 저해상도 변환 이미지(212), 1차 초해상도 변환 이미지(213), 2차 초해상도 변환 이미지(214), 저해상도 원본 이미지(215), 초해상도 복원 이미지(216)가 다수 포함된 데이터셋(210)을 관리하는 데이터셋 관리부(200), 생성자(310) 및 분류자(320)를 포함하여 구성되는 학습 모델(300) 및 선행 학습을 통해 상기 생성자(310)를 학습시키고, 상기 선행 학습 이후에 진행되는 본 학습을 통해 상기 생성자(310) 및 분류자(320)를 학습시키는 학습부(400)를 포함하고, 상기 데이터셋 관리부(200)는 고해상도 원본 이미지(211)를 저해상도 변환 이미지(212)로 변환시키는 전처리부(220)를 포함하는 것을 특징으로 한다.

Description

초해상도 의료 이미지 생성 장치 및 방법{Device and Method for Generating Super Resolution Medical Image}
본 발명은 초해상도 의료 이미지 생성 장치 및 방법에 관한 것으로, 더욱 자세하게는 선행 학습을 통해 생성자를 학습시키고, 상기 선행 학습 이후에 진행되는 본 학습을 통해 분류자 및 생성자를 학습시킴으로써, 저해상도 원본 이미지를 초해상도 복원 이미지로 변환시킬 수 있는 초해상도 의료 이미지 생성 장치 및 방법에 관한 것이다.
인공 지능 기계 학습 분야에서 객체를 감지하여, 분류하기 위해서는 양질의 고해상도 이미지가 많을수록 유리하다. 그러나, 의료 분야에서는 암, 희귀병 등과 관련된 양질의 고해상도 의료 이미지가 충분하지 않을 뿐만 아니라, 고해상도 의료 이미지가 대량으로 축적되기까지 장기간이 소요되는 문제점이 있었다.
따라서, 기존의 저해상도 의료 이미지를 고해상도 의료 이미지로 변환시킬수 있다면, 고해상도 의료 이미지가 부족한 문제점을 해결할 수 있다.
초해상도 이미지 변환용 GAN(General Adversarial Network)은 기존의 이미지 업스케일링에서 부족한 디테일, 질감, 색감 등을 보완함으로써, 기존의 저해상도 이미지를 로부터 양질의 고해상도 이미지로 변환시킬 수 있다.
초해상도 이미지 변환용 GAN에서 생성자(Generator)는 분류자(Discriminator)가 생성자에 의해 변환된 고해상도 이미지를 실제 고해상도 이미지로 인식할 수 있도록, 기존의 저해상도 이미지를 실제 고해상도 이미지와 유사한 고해상도 이미지로 변환시킬 수 있다. 생성자 및 분류자는 생성자에 의해 생성된 고해상도 이미지와 실제 고해상도 이미지 간의 차이를 파악해가며 학습하고, 발전하게 된다.
기존의 이미지 업스케일링은 이미지 화소의 부족한 부분을 채우고, 노이즈를 제거하는 정도였다면, 초해상도 이미지 변환용 GAN은 다수의 고해상도 이미지를 학습함으로써, 기존의 저해상도 이미지로부터 고해상도 이미지를 예측하고, 부족한 영역을 새로 그려낼 수 있다.
KR 10-2179090 B1
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 선행 학습을 통해 생성자를 학습시키고, 상기 선행 학습 이후에 진행되는 본 학습을 통해 분류자 및 생성자를 학습시킴으로써, 저해상도 원본 이미지를 초해상도 복원 이미지로 변환시킬 수 있는 초해상도 의료 이미지 생성 장치 및 방법을 제공하는데 있다.
상기와 같은 기술적인 문제점을 해결하기 위하여, 본 발명에 의한 초해상도 의료 이미지 생성 장치(100)는 고해상도 원본 이미지(211), 저해상도 변환 이미지(212), 1차 초해상도 변환 이미지(213), 2차 초해상도 변환 이미지(214), 저해상도 원본 이미지(215), 초해상도 복원 이미지(216)가 다수 포함된 데이터셋(210)을 관리하는 데이터셋 관리부(200), 생성자(310) 및 분류자(320)를 포함하여 구성되는 학습 모델(300) 및 선행 학습을 통해 상기 생성자(310)를 학습시키고, 상기 선행 학습 이후에 진행되는 본 학습을 통해 상기 생성자(310) 및 분류자(320)를 학습시키는 학습부(400)를 포함하고, 상기 데이터셋 관리부(200)는 고해상도 원본 이미지(211)를 저해상도 변환 이미지(212)로 변환시키는 전처리부(220)를 포함하는 것을 특징으로 한다.
또한, 상기 고해상도 원본 이미지(211)는 고해상도로 촬영된 의료 이미지이고, 상기 저해상도 변환 이미지(212)는 고해상도 원본 이미지(211)가 상기 전처리부(220)에 의해 저해상도로 축소된 이미지이고, 상기 1차 초해상도 변환 이미지(213)는 상기 선행 학습 중인 상기 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이고, 상기 2차 초해상도 변환 이미지(214)는 상기 본 학습 중인 상기 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이고, 상기 저해상도 원본 이미지(215)는 저해상도로 촬영된 의료 이미지이고, 상기 초해상도 복원 이미지(216)는 학습이 완료된 상기 생성자(310)에 의해 저해상도 원본 이미지(215)가 고해상도로 복원된 이미지인 것을 특징으로 한다.
또한, 상기 생성자(310)는 상기 선행 학습 시, 저해상도 변환 이미지(212)를 1차 초해상도 변환 이미지(213)로 변환시키고, 상기 본 학습 시, 저해상도 변환 이미지(212)를 2차 초해상도 변환 이미지(214)로 변환시키고, 상기 분류자(320)는 본 학습 시, 고해상도 원본 이미지(211)를 진짜로 분류하고, 상기 생성자(310)에 의해 변환된 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 학습 받고, 상기 학습부(400)는 MSE(Mean Squared Error) 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 1차 초해상도 변환 이미지(213)로 변환시키도록 상기 생성자(310)를 선행 학습시키는 선행 학습부(410), 상기 분류자(320)가 상기 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 진짜로 분류할 수 있도록 상기 MSE(Mean Squared Error) 손실 함수를 이용하여 상기 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 2차 초해상도 변환 이미지(214)로 변환시키도록 상기 생성자(310)를 본 학습시키는 생성자 학습부(420) 및 상기 고해상도 원본 이미지(211) 및 상기 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 입력 받아, 상기 고해상도 원본 이미지(211)를 진짜로 분류하고, 상기 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 상기 분류자(320)를 본 학습시키는 분류자 학습부(430)를 포함하는 것을 특징으로 한다.
또한, 상기 생성자(310)는 상기 생성자(310)에 대한 선행 학습, 상기 분류자(320) 및 생성자(310)에 대한 본 학습이 완료된 이후, 저해상도 원본 이미지(215)를 입력 받아, 초해상도 복원 이미지(216)로 변환시키는 것을 특징으로 한다.
또한, 상기 데이터셋 관리부(200)는 본 학습 시, PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Map)을 이용하여 상기 생성자(310)에 의해 변환된 2차 초해상도 변환 이미지(214)의 신뢰도를 검증하는 검증부(230)를 더 포함하는 것을 특징으로 한다.
또한, 상기 검증부(230)는 다수의 고해상도 원본 이미지(211) 및 상기 다수의 상기 고해상도 원본 이미지(211)와 각각 대응되는 다수의 2차 초해상도 변환 이미지(214)를 바탕으로 PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)의 평균값 및 SSIM(Structural Similarity Index Map, 구조적 유사성 지표 맵)의 평균값을 계산하고, 상기 PSNR의 평균값 및 SSIM의 평균값이 각각 35 및 0.85를 초과하는 경우, 상기 다수의 2차 초해상도 변환 이미지(214)를 신뢰할 수 있는 이미지로 간주하는 것을 특징으로 한다.
본 발명에 의한 초해상도 의료 이미지 생성 방법은 전처리부(220)가 다수의 고해상도 원본 이미지(211)를 각각 다수의 저해상도 변환 이미지(212)로 변환시키는 제 1단계, 선행 학습부(410)가 상기 다수의 저해상도 변환 이미지(212)를 각각 다수의 1차 초해상도 변환 이미지(213)로 변환시키도록 상기 생성자(310)를 선행 학습시키는 제 2단계, 생성자 학습부(420) 및 분류자 학습부(430)가 상기 다수의 저해상도 변환 이미지(212)를 각각 다수의 2차 초해상도 변환 이미지(214)로 변환시키도록 각각 상기 생성자(310) 및 분류자(320)를 본 학습시키는 제 3단계, 검증부(230)가 PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Map)을 이용하여 상기 생성자(310)에 의해 변환된 상기 다수의 2차 초해상도 변환 이미지(214)의 신뢰도를 검증하는 제 4단계 및 상기 생성자(310)가 다수의 저해상도원본이미지(215)를 각각 다수의 초해상도복원이미지(216)로 변환시키는 제 5단계를 포함하는 것을 특징으로 한다.
또한, 상기 제 2단계는 상기 선행 학습부(410)가 MSE(Mean Squared Error) 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 1차 초해상도 변환 이미지(213)로 변환시키도록 상기 생성자(310)를 선행 학습시키는 제 2-1단계, 상기 생성자(310)가 상기 저해상도 변환 이미지(212)를 상기 1차 초해상도 변환 이미지(213)로 변환시키는 제 2-2단계 및 상기 다수의 저해상도 변환 이미지(212)에 대해 상기 2-1단계부터 상기 제 2-2단계가 설정된 횟수만큼 반복 진행되는 제 2-3단계를 포함하는 것을 특징으로 한다.
또한, 상기 제 3단계는 상기 생성자 학습부(420)가 상기 분류자(320)가 상기 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 진짜로 분류할 수 있도록, MSE 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 상기 2차 초해상도 변환 이미지(214)로 변환하도록 상기 생성자(310)를 본 학습시키는 제 3-1단계, 상기 생성자(310)가 상기 저해상도 변환 이미지(212)를 상기 2차 초해상도 변환 이미지(214)로 변환시키는 제 3-2단계, 상기 분류자 학습부(430)가 상기 고해상도 원본 이미지(211) 및 상기 생성자(310)에 의해 생성된 상기 2차 초해상도 변환 이미지(214)를 입력 받아, 상기 고해상도 원본 이미지(211)를 진짜로 분류하고, 상기 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 상기 분류자(320)를 본 학습시키는 제 3-3단계, 상기 분류자(320)가 상기 고해상도 원본 이미지(211) 및 상기 생성자(310)에 의해 변환된 상기 2차 초해상도 변환 이미지(214)의 진위 여부를 판별하는 제 3-4단계 및 상기 다수의 저해상도 변환 이미지(212)에 대해 상기 3-1단계부터 상기 제 3-4단계가 반복 진행되는 제 3-5단계를 포함하는 것을 특징으로 한다.
또한, 상기 제 4단계는 상기 검증부(230)가 상기 다수의 고해상도 원본 이미지(211) 및 상기 다수의 상기 고해상도 원본 이미지(211)와 각각 대응되는 상기 다수의 2차 초해상도 변환 이미지(214)를 바탕으로 PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)의 평균값 및 SSIM(Structural Similarity Index Map, 구조적 유사성 지표 맵)의 평균값을 계산하는 제 4-1단계 및 상기 검증부(230)가 상기 PSNR의 평균값 및 SSIM의 평균값이 각각 35 및 0.85를 초과하는 경우, 상기 다수의 2차 초해상도 변환 이미지(214)를 신뢰할 수 있는 이미지로 간주하는 제 4-2단계를 포함하는 것을 특징으로 한다.
본 발명에 의한 초해상도 의료 이미지 생성 장치 및 방법은 선행 학습을 통해 생성자를 학습시키고, 상기 선행 학습 이후에 진행되는 본 학습을 통해 분류자 및 생성자를 학습시킴으로써, 저해상도 원본 이미지를 초해상도 복원 이미지로 변환시킴으로써, 의료 분야에서 고해상도 이미지가 부족한 문제점을 해결할 수 있다.
도 1은 본 발명에 의한 초해상도 의료 이미지 생성 장치의 구성도이다.
도 2는 도 1에 도시된 데이터셋의 구성도이다.
도 3은 도 1에 도시된 전처리부가 고해상도 원본 이미지로부터 저해상도 변환 이미지를 생성하는 과정을 설명하기 위한 순서도이다.
도 4는 도 1에 도시된 초해상도 의료 이미지 생성 장치에서 선행 학습 과정을 설명하기 위한 순서도이다.
도 5는 도 1에 도시된 초해상도 의료 이미지 생성 장치에서 본 학습 과정을 설명하기 위한 순서도이다.
도 6은 학습이 완료된 생성자가 저해상도 원본 이미지로부터 초해상도 복원 이미지를 생성하는 과정을 설명하기 위한 순서도이다.
도 7은 본 발명에 의한 초해상도 의료 이미지 생성 방법을 설명하기 위한 순서도이다.
도 8은 도 7에 도시된 S120 단계를 설명하기 위한 순서도이다.
도 9는 도 7에 도시된 S130 단계를 설명하기 위한 순서도이다.
도 10은 도 7에 도시된 S140 단계를 설명하기 위한 순서도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
그러나, 하기 실시예는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로 이에 의해 본 발명의 권리범위가 축소되거나 한정되는 것은 아니다. 또한, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
먼저, 본 발명에 의한 초해상도 의료 이미지 생성 장치(100)에 대해 설명하기로 한다.
도 1은 본 발명에 의한 초해상도 의료 이미지 생성 장치(100)의 구성도이다. 도 1을 참조하면, 본 발명에 의한 초해상도 의료 이미지 생성 장치(100)는 데이터셋 관리부(200), 학습 모델(300) 및 학습부(400)를 포함하여 구성된다.
도 2는 도 1에 도시된 데이터셋(210)의 구성도이다. 도 2를 참조하면, 데이터셋 관리부(200)는 고해상도 원본 이미지(211), 저해상도 변환 이미지(212), 1차 초해상도 변환 이미지(213), 2차 초해상도 변환 이미지(214), 저해상도 원본 이미지(215) 및 초해상도 복원 이미지(216)가 다수 포함된 데이터셋(210)을 관리한다.
여기서, 고해상도 원본 이미지(211)는 고해상도로 촬영된 의료 이미지이고, 저해상도 변환 이미지(212)는 고해상도 원본 이미지(211)가 전처리부(220)에 의해 저해상도로 축소된 이미지이다.
그리고, 1차 초해상도 변환 이미지(213)는 선행 학습 중인 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이고, 2차 초해상도 변환 이미지(214)는 본 학습 중인 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이다.
그리고, 저해상도 원본 이미지(215)는 저해상도로 촬영된 의료 이미지이고, 초해상도 복원 이미지(216)는 학습이 완료된 생성자(310)에 의해 저해상도 원본 이미지(215)가 고해상도로 복원된 이미지이다.
도 3은 도 1에 도시된 전처리부(220)가 고해상도 원본 이미지(211)로부터 저해상도 변환 이미지(212)를 생성하는 과정을 설명하기 위한 순서도이다. 도 1 내지 도 3을 참조하면, 데이터셋 관리부(200)는 전처리부(220)를 포함하여 구성된다. 전처리부(220)는 고해상도 원본 이미지(211)를 저해상도 변환 이미지(212)로 변환시킨다.
도 4는 도 1에 도시된 초해상도 의료 이미지 생성 장치(100)에서 선행 학습 과정을 설명하기 위한 순서도이고, 도 5는 도 1에 도시된 초해상도 의료 이미지 생성 장치(100)에서 본 학습 과정을 설명하기 위한 순서도이다.
도 1, 도 4 및 도 5를 참조하면, 학습 모델(300)은 생성자(310)(Generator) 및 분류자(320)(Discriminator)를 포함하여 구성된다.
도 4 내지 도 5를 참조하면, 생성자(310)는 선행 학습 시, 저해상도 변환 이미지(212)를 1차 초해상도 변환 이미지(213)로 변환시킨다. 그리고, 생성자(310)는 본 학습 시, 저해상도 변환 이미지(212)를 2차 초해상도 변환 이미지(214)로 변환시킨다.
그리고, 분류자(320)는 본 학습 시, 고해상도 원본 이미지(211)를 진짜로 분류하고, 생성자(310)에 의해 변환된 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 학습 받는다.
도 1, 도 4 및 도 5를 참조하면, 학습부(400)는 선행 학습을 통해 생성자(310)를 학습시키고, 선행 학습 이후에 진행되는 본 학습을 통해 분류자(320) 및 생성자(310)를 학습시킨다. 학습부(400)는 선행 학습부(410), 생성자 학습부(420) 및 분류자 학습부(430)를 포함하여 구성된다.
도 4를 참조하면, 선행 학습부(410)는 MSE(Mean Squared Error, 평균 제곱 오차) 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 1차 초해상도 변환 이미지(213)로 변환시키도록 생성자(310)를 선행 학습시킨다.
이때, 선행 학습부(410)가 MSE 손실 함수를 이용하여 생성자(310)를 학습시키는 이유는 본 학습 시, 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)가 MSE 손실 함수에 의해 고해상도 원본 이미지(211)로 보다 빠르게 수렴할 수 있도록 하기 위한 것이다.
한편, 선행 학습부(410) 의해 학습 받은 생성자(310)는 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 1차 초해상도 변환 이미지(213)로 변환시킨다.
도 4를 참조하면, 선행 학습부(410)에 의한 생성자(310)의 학습 및 생성자(310)에 의한 이미지의 변환이 일정한 횟수만큼 순차적으로 반복 진행된다.
도 5를 참조하면, 생성자 학습부(420)는 분류자(320)가 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 진짜로 분류할 수 있도록 MSE(Mean Squared Error) 손실 함수를 이용하여 고해상도 원본 이미지(211)와 유사한 2차 초해상도 변환 이미지(214)를 생성하도록 생성자(310)를 본 학습시킨다.
한편, 생성자 학습부(420)에 의해 학습을 받은 생성자(310)는 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 2차 초해상도 변환 이미지(214)로 변환시킨다.
도 5를 참조하면, 분류자 학습부(430)는 고해상도 원본 이미지(211) 및 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 입력 받아, 고해상도 원본 이미지(211)를 진짜로 분류하고, 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 분류자(320)를 본 학습시킨다.
한편, 분류자 학습부(430)에 의해 학습을 받은 분류자(320)는 고해상도 원본 이미지(211)를 입력받는 경우, 1을 출력한다. 그리고, 분류자(320)는 2차 초해상도 변환 이미지(214)를 입력받는 경우, 해당 이미지를 고해상도 원본 이미지(211)와 비교하여, 해당 이미지가 고해상도 원본 이미지(211)에 가까우면, 1을 출력하고, 그렇지 않으면, 0을 출력한다.
도 1 내지 도 5를 참조하면, 데이터셋 관리부(200)는 PSNR 및 SSIM을 이용하여 본 학습 시, 생성자(310)에 의해 변환된 2차 초해상도 변환 이미지(214)의 신뢰도를 검증하는 검증부(230)를 더 포함하여 구성된다.
이때, PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)은 고해상도 원본 이미지(211)와 2차 초해상도 변환 이미지(214) 간의 픽셀 값들의 차이를 계산한 값이다.
그리고, SSIM(Structural Similarity Index Map, 구조적 유사성 지표 맵)은 고해상도 원본 이미지(211)와 2차 초해상도 변환 이미지(214) 간의 시각적 화질의 유사도를 측정하기 위한 지표이다. 구체적으로, SSIM은 고해상도 원본 이미지(211)와 2차 초해상도 변환 이미지(214)의 밝기(휘도), 대비 및 구조를 각각 비교하여 계산한 값이다.
도 5를 참조하면, 검증부(230)는 다수의 고해상도 원본 이미지(211) 및 상기 다수의 고해상도 원본 이미지(211)와 각각 대응되는 다수의 2차 초해상도 변환 이미지(214)를 바탕으로 PSNR의 평균값 및 SSIM의 평균값을 계산한다. 그리고, 검증부(230)는 PSNR의 평균값 및 SSIM의 평균값이 각각 35 및 0.85를 초과하는 경우, 상기 다수의 2차 초해상도 변환 이미지(214)를 신뢰할 수 있는 이미지로 간주하게 된다.
그 이후, 생성자 학습부(420)에 의한 생성자(310)의 학습, 생성자(310)에 의한 이미지의 변환, 분류자 학습부(430)에 의한 분류자(320)의 학습, 분류자(320)에 의한 이미지의 분류가 (PSNR의 평균값)>35, (SSIM의 평균값)>0.85를 충족할 때까지 순차적으로 반복 진행된다.
생성자(310) 및 분류자(320)에 대한 본 학습이 순차적으로 반복 진행될수록, 생성자(310)의 고해상도 원본 이미지(211)에 대한 2차 초해상도 변환 이미지(214)의 유사도 및 분류자(320)의 분류 정확도가 더욱 향상되게 된다.
도 6은 학습이 완료된 생성자(310)가 저해상도 원본 이미지(215)로부터 초해상도 복원 이미지(216)를 생성하는 과정을 설명하기 위한 순서도이다. 도 6을 참조하면, 생성자(310)에 대한 선행 학습, 분류자(320) 및 생성자(310)에 대한 본 학습이 완료된 이후, 생성자(310)는 저해상도 원본 이미지(215)를 입력 받아, 초해상도 복원 이미지(216)로 변환시킨다.
그 이후, 사용자는 다수의 초해상도 복원 이미지(216) 및 고해상도 원본 이미지(211)에 대해 랜덤으로 순서를 매긴 후, 의료 영상 전문가에게 제시함으로써, 다수의 초해상도 복원 이미지(216)의 신뢰도를 추가로 검증할 수 있다.
한편, 생성자(310)에 포함되는 기본 블록(Basic Block)에는 레지듀얼 블록(Residual block)으로부터 BN(Batch Normalization, 배치 정규화)을 제거한 레지듀얼-인-레지듀얼 덴스 블록(Residual in Residual dense block)이 적용될 수 있다.
BN은 학습 데이터셋과 시험 데이터셋의 분포가 현저하게 다른 경우, 학습 모델에서 Artifact를 생성하여, 생성자(310)의 성능을 저하시키게 된다. 따라서, 생성자(310)에 포함되는 기본 블록에 레지듀얼-인-레지듀얼 덴스 블록이 적용되는 경우, 생산자의 성능이 현저히 향상된다.
그리고, 생성자(310)는 저해상도 원본 이미지(215)에서 대부분의 정보를 획득할 수 있는 특정 영역에 주의를 집중하여 높은 가중치를 부여하고, 상기 특정 영역을 제외한 나머지 영역에 보다 낮은 가중치를 부여하는 알고리즘인 비주얼 어텐션(Visual Attention)을 초해상화 변환에 활용할 수 있다.
이를 통해, 생성자(310)는 저해상도 원본 이미지(215)에 대해 특정 영역에 주의를 보다 집중하고, 나머지 영역에는 주의를 덜 집중하여 초해상화 복원을 진행함으로써, 보다 실제적인 초해상도 복원 이미지(216)를 생성할 수 있다.
한편, 본 발명에 의한 초해상도 의료 이미지 생성 장치(100)에서는 기존의 분류자(320) 대신에 입력된 원본 이미지가 가짜 이미지보다 평균적으로 더 실제적일 확률을 추정할 수 있는 상대론적 평균 분류자(Relativistic Average Discriminator)가 적용될 수 있다.
기존의 분류자(320)의 경우, 학습 시 그래디언트(gradient)의 손실로 인해 최적화가 되지 않는 상황이 종종 발생할 수 있다. 그러나, 상대론적 평균 분류자에서는 기존의 분류자(320)와 달리 그래디언트의 손실로 최적화되지 않는 상황이 발생하지 않으므로, 원본 이미지를 고해상도 이미지로 복원 시, 디테일 및 질감이 보다 향상되는 효과가 있다.
다음으로, 본 발명에 의한 초해상도 의료 이미지 생성 방법에 대해 설명하기로 한다.
도 7은 본 발명에 의한 초해상도 의료 이미지 생성 방법을 설명하기 위한 순서도이다. 도 7을 참조하면, 전처리부(220)는 다수의 고해상도 원본 이미지(211)를 각각 다수의 저해상도 변환 이미지(212)로 변환시킨다.(S110)
그 이후, 선행 학습부(410)는 다수의 저해상도 변환 이미지(212)를 각각 다수의 1차 초해상도 변환 이미지(213)로 변환시키도록 생성자(310)를 선행 학습시킨다.(S120)
도 8은 도 7에 도시된 S120 단계를 설명하기 위한 순서도이다. 도 8을 참조하면, 선행 학습부(410)는 MSE(Mean Squared Error) 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 1차 초해상도 변환 이미지(213)로 변환시키도록 생성자(310)를 선행 학습시킨다.(S121)
그 이후, 생성자(310)는 저해상도 변환 이미지(212)를 1차 초해상도 변환 이미지(213)로 변환시킨다.(S122)
그 이후, 다수의 저해상도 변환 이미지(212)에 대해 S121단계부터 S122단계가 설정된 횟수만큼 반복 진행된다.(S123)
그 이후, 생성자 학습부(420) 및 분류자 학습부(430)는 다수의 저해상도 변환 이미지(212)를 각각 다수의 2차 초해상도 변환 이미지(214)로 변환시키도록 각각 생성자(310) 및 분류자(320)를 본 학습시킨다.(S130)
도 9는 도 7에 도시된 S130 단계를 설명하기 위한 순서도이다. 도 9를 참조하면, 생성자 학습부(420)는 분류자(320)가 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 진짜로 분류할 수 있도록, MSE 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 2차 초해상도 변환 이미지(214)로 변환하도록 생성자(310)를 본 학습시킨다.(S131)
그 이후, 생성자(310)는 저해상도 변환 이미지(212)를 2차 초해상도 변환 이미지(214)로 변환시킨다.(S132)
그 이후, 분류자 학습부(430)는 고해상도 원본 이미지(211) 및 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 입력 받아, 고해상도 원본 이미지(211)를 진짜로 분류하고, 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 분류자(320)를 본 학습시킨다.(S133)
그 이후, 분류자(320)는 고해상도 원본 이미지(211) 및 생성자(310)에 의해 변환된 2차 초해상도 변환 이미지(214)의 진위 여부를 판별한다.(S134)
그 이후, 다수의 저해상도 변환 이미지(212)에 대해 S131단계부터 S134단계가 반복 진행된다.(S135)
그 이후, 검증부(230)는 PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Map)을 이용하여 생성자(310)에 의해 변환된 다수의 2차 초해상도 변환 이미지(214)의 신뢰도를 검증한다. (S140)
도 10은 도 7에 도시된 S140 단계를 설명하기 위한 순서도이다. 도 10을 참조하면, 검증부(230)는 다수의 고해상도 원본 이미지(211) 및 다수의 고해상도 원본 이미지(211)와 각각 대응되는 다수의 2차 초해상도 변환 이미지(214)를 바탕으로 PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)의 평균값 및 SSIM(Structural Similarity Index Map, 구조적 유사성 지표 맵)의 평균값을 계산한다.(S141)
그 이후, 검증부(230)는 PSNR의 평균값 및 SSIM의 평균값이 각각 35 및 0.85를 초과하는 경우, 다수의 2차 초해상도 변환 이미지(214)를 신뢰할 수 있는 이미지로 간주한다.(S142)
그 이후, 상기 생성자(310)는 다수의 저해상도원본이미지(215)를 각각 다수의 초해상도복원이미지(216)로 변환시킨다.(S150)
본 발명에 의한 초해상도 의료 이미지 생성 장치(100) 및 방법은 선행 학습을 통해 생성자(310)를 학습시키고, 상기 선행 학습 이후에 진행되는 본 학습을 통해 분류자(320) 및 생성자(310)를 학습시킴으로써, 저해상도 원본 이미지(215)를 초해상도 복원 이미지(216)로 변환시킴으로써, 의료 분야에서 고해상도 이미지가 부족한 문제점을 해결할 수 있다.
이상과 같이 본 발명은 초해상도 의료 이미지 생성 장치(100) 및 방법을 제공하고자 하는 것을 주요한 기술적 사상으로 하고 있으며, 도면을 참고하여 상술한 실시예는 단지 하나의 실시예에 불과하고, 본 발명의 진정한 권리 범위는 특허 청구범위를 기준으로 하되, 다양하게 존재할 수 있는 균등한 실시예에도 미친다 할 것이다.
100: 초해상도 의료 이미지 생성 장치
200: 데이터셋 관리부
210: 데이터셋
211: 고해상도 원본 이미지
212: 저해상도 변환 이미지
213: 1차 초해상도 변환 이미지
214: 2차 초해상도 변환 이미지
215: 저해상도 원본 이미지
216: 초해상도 복원 이미지
220: 전처리부
230: 검증부
300: 학습 모델
310: 생성자
320: 분류자
400: 학습부
410: 선행 학습부
420: 생성자 학습부
430: 분류자 학습부

Claims (10)

  1. 고해상도 원본 이미지(211), 저해상도 변환 이미지(212), 1차 초해상도 변환 이미지(213), 2차 초해상도 변환 이미지(214), 저해상도 원본 이미지(215), 초해상도 복원 이미지(216)가 다수 포함된 데이터셋(210)을 관리하는 데이터셋 관리부(200);
    생성자(310) 및 분류자(320)를 포함하여 구성되는 학습 모델(300); 및
    선행 학습을 통해 상기 생성자(310)를 학습시키고, 상기 선행 학습 이후에 진행되는 본 학습을 통해 상기 생성자(310) 및 분류자(320)를 학습시키는 학습부(400);를 포함하고,
    상기 데이터셋 관리부(200)는
    고해상도 원본 이미지(211)를 저해상도 변환 이미지(212)로 변환시키는 전처리부(220);를 포함하고,
    상기 고해상도 원본 이미지(211)는
    고해상도로 촬영된 의료 이미지이고,
    상기 저해상도 변환 이미지(212)는
    고해상도 원본 이미지(211)가 상기 전처리부(220)에 의해 저해상도로 축소된 이미지이고,
    상기 1차 초해상도 변환 이미지(213)는
    상기 선행 학습 중인 상기 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이고,
    상기 2차 초해상도 변환 이미지(214)는
    상기 본 학습 중인 상기 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이고,
    상기 저해상도 원본 이미지(215)는
    저해상도로 촬영된 의료 이미지이고,
    상기 초해상도 복원 이미지(216)는
    학습이 완료된 상기 생성자(310)에 의해 저해상도 원본 이미지(215)가 고해상도로 복원된 이미지이고,
    상기 학습부(400)가 선행 학습부(410), 생성자 학습부(420) 및 분류자 학습부(430)를 포함하는 상태에서,
    상기 선행 학습부(410)가, 상기 저해상도 변환 이미지(212)를 상기 고해상도 원본 이미지(211)와 유사한 상기 1차 초해상도 변환 이미지(213)로 변환시키도록 상기 생성자(310)를 상기 선행 학습을 수행하고,
    상기 생성자 학습부(420)는, 상기 분류자(320)가 상기 생성자(310)에 의해 생성된 상기 2차 초해상도 변환 이미지(214)를 진짜로 분류하도록 상기 생성자(310)에 대해 상기 본 학습을 수행하고,
    상기 분류자 학습부(430)는, 상기 고해상도 원본 이미지(211)를 진짜로 분류하고, 상기 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 상기 분류자(320)에 대해 상기 본 학습을 수행하는 것을 특징으로 하는 초해상도 의료 이미지 생성 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 생성자(310)는
    상기 선행 학습 시, 저해상도 변환 이미지(212)를 1차 초해상도 변환 이미지(213)로 변환시키고,
    상기 본 학습 시, 저해상도 변환 이미지(212)를 2차 초해상도 변환 이미지(214)로 변환시키고,
    상기 분류자(320)는
    본 학습 시, 고해상도 원본 이미지(211)를 진짜로 분류하고, 상기 생성자(310)에 의해 변환된 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 학습 받고,
    상기 학습부(400)는
    MSE(Mean Squared Error) 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 1차 초해상도 변환 이미지(213)로 변환시키도록 상기 생성자(310)를 선행 학습시키는 선행 학습부(410);
    상기 분류자(320)가 상기 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 진짜로 분류할 수 있도록 상기 MSE(Mean Squared Error) 손실 함수를 이용하여 상기 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 2차 초해상도 변환 이미지(214)로 변환시키도록 상기 생성자(310)를 본 학습시키는 생성자 학습부(420); 및
    상기 고해상도 원본 이미지(211) 및 상기 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 입력 받아, 상기 고해상도 원본 이미지(211)를 진짜로 분류하고, 상기 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 상기 분류자(320)를 본 학습시키는 분류자 학습부(430);를 포함하는 것을 특징으로 하는 초해상도 의료 이미지 생성 장치.
  4. 제 3항에 있어서,
    상기 생성자(310)는
    상기 생성자(310)에 대한 선행 학습, 상기 분류자(320) 및 생성자(310)에 대한 본 학습이 완료된 이후, 저해상도 원본 이미지(215)를 입력 받아, 초해상도 복원 이미지(216)로 변환시키는 것을 특징으로 하는 초해상도 의료 이미지 생성 장치.
  5. 제 1항에 있어서,
    상기 데이터셋 관리부(200)는
    본 학습 시, PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Map)을 이용하여 상기 생성자(310)에 의해 변환된 2차 초해상도 변환 이미지(214)의 신뢰도를 검증하는 검증부(230);를 더 포함하는 것을 특징으로 하는 초해상도 의료 이미지 생성 장치.
  6. 제 5항에 있어서,
    상기 검증부(230)는
    다수의 고해상도 원본 이미지(211) 및 상기 다수의 상기 고해상도 원본 이미지(211)와 각각 대응되는 다수의 2차 초해상도 변환 이미지(214)를 바탕으로 PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)의 평균값 및 SSIM(Structural Similarity Index Map, 구조적 유사성 지표 맵)의 평균값을 계산하고,
    상기 PSNR의 평균값 및 SSIM의 평균값이 각각 35 및 0.85를 초과하는 경우, 상기 다수의 2차 초해상도 변환 이미지(214)를 신뢰할 수 있는 이미지로 간주하는 것을 특징으로 하는 초해상도 의료 이미지 생성 장치.
  7. 전처리부(220)가 다수의 고해상도 원본 이미지(211)를 각각 다수의 저해상도 변환 이미지(212)로 변환시키는 제 1단계;
    선행 학습부(410)가 상기 다수의 저해상도 변환 이미지(212)를 각각 다수의 1차 초해상도 변환 이미지(213)로 변환시키도록 생성자(310)를 선행 학습시키는 제 2단계;
    생성자 학습부(420) 및 분류자 학습부(430)가 상기 다수의 저해상도 변환 이미지(212)를 각각 다수의 2차 초해상도 변환 이미지(214)로 변환시키도록 각각 상기 생성자(310) 및 분류자(320)를 본 학습시키는 제 3단계;
    검증부(230)가 PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Map)을 이용하여 상기 생성자(310)에 의해 변환된 상기 다수의 2차 초해상도 변환 이미지(214)의 신뢰도를 검증하는 제 4단계; 및
    상기 생성자(310)가 다수의 저해상도원본이미지(215)를 각각 다수의 초해상도복원이미지(216)로 변환시키는 제 5단계;를 포함하고,
    상기 고해상도 원본 이미지(211)는
    고해상도로 촬영된 의료 이미지이고,
    상기 저해상도 변환 이미지(212)는
    고해상도 원본 이미지(211)가 상기 전처리부(220)에 의해 저해상도로 축소된 이미지이고,
    상기 1차 초해상도 변환 이미지(213)는
    상기 선행 학습 중인 상기 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이고,
    상기 2차 초해상도 변환 이미지(214)는
    상기 본 학습 중인 상기 생성자(310)에 의해 저해상도 변환 이미지(212)가 고해상도로 변환된 이미지이고,
    상기 저해상도 원본 이미지(215)는
    저해상도로 촬영된 의료 이미지이고,
    상기 초해상도 복원 이미지(216)는
    학습이 완료된 상기 생성자(310)에 의해 저해상도 원본 이미지(215)가 고해상도로 복원된 이미지인 것을 특징으로 하는 초해상도 의료 이미지 생성 방법.
  8. 제 7항에 있어서,
    상기 제 2단계는
    상기 선행 학습부(410)가 MSE(Mean Squared Error) 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 1차 초해상도 변환 이미지(213)로 변환시키도록 상기 생성자(310)를 선행 학습시키는 제 2-1단계;
    상기 생성자(310)가 상기 저해상도 변환 이미지(212)를 상기 1차 초해상도 변환 이미지(213)로 변환시키는 제 2-2단계; 및
    상기 다수의 저해상도 변환 이미지(212)에 대해 상기 2-1단계부터 상기 제 2-2단계가 설정된 횟수만큼 반복 진행되는 제 2-3단계;를 포함하는 것을 특징으로 하는 초해상도 의료 이미지 생성 방법.
  9. 제 7항에 있어서,
    상기 제 3단계는
    상기 생성자 학습부(420)가 상기 분류자(320)가 상기 생성자(310)에 의해 생성된 2차 초해상도 변환 이미지(214)를 진짜로 분류할 수 있도록, MSE 손실 함수를 이용하여 저해상도 변환 이미지(212)를 고해상도 원본 이미지(211)와 유사한 상기 2차 초해상도 변환 이미지(214)로 변환하도록 상기 생성자(310)를 본 학습시키는 제 3-1단계;
    상기 생성자(310)가 상기 저해상도 변환 이미지(212)를 상기 2차 초해상도 변환 이미지(214)로 변환시키는 제 3-2단계;
    상기 분류자 학습부(430)가 상기 고해상도 원본 이미지(211) 및 상기 생성자(310)에 의해 생성된 상기 2차 초해상도 변환 이미지(214)를 입력 받아, 상기 고해상도 원본 이미지(211)를 진짜로 분류하고, 상기 2차 초해상도 변환 이미지(214)를 가짜로 분류하도록 상기 분류자(320)를 본 학습시키는 제 3-3단계;
    상기 분류자(320)가 상기 고해상도 원본 이미지(211) 및 상기 생성자(310)에 의해 변환된 상기 2차 초해상도 변환 이미지(214)의 진위 여부를 판별하는 제 3-4단계; 및
    상기 다수의 저해상도 변환 이미지(212)에 대해 상기 3-1단계부터 상기 제 3-4단계가 반복 진행되는 제 3-5단계;를 포함하는 것을 특징으로 하는 초해상도 의료 이미지 생성 방법.
  10. 제 7항에 있어서,
    상기 제 4단계는
    상기 검증부(230)가 상기 다수의 고해상도 원본 이미지(211) 및 상기 다수의 상기 고해상도 원본 이미지(211)와 각각 대응되는 상기 다수의 2차 초해상도 변환 이미지(214)를 바탕으로 PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)의 평균값 및 SSIM(Structural Similarity Index Map, 구조적 유사성 지표 맵)의 평균값을 계산하는 제 4-1단계; 및
    상기 검증부(230)가 상기 PSNR의 평균값 및 SSIM의 평균값이 각각 35 및 0.85를 초과하는 경우, 상기 다수의 2차 초해상도 변환 이미지(214)를 신뢰할 수 있는 이미지로 간주하는 제 4-2단계;를 포함하는 것을 특징으로 하는 초해상도 의료 이미지 생성 방법.
KR1020210060278A 2021-05-10 2021-05-10 초해상도 의료 이미지 생성 장치 및 방법 KR102550688B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210060278A KR102550688B1 (ko) 2021-05-10 2021-05-10 초해상도 의료 이미지 생성 장치 및 방법
PCT/KR2021/006386 WO2022239897A1 (ko) 2021-05-10 2021-05-21 초해상도 의료 이미지 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210060278A KR102550688B1 (ko) 2021-05-10 2021-05-10 초해상도 의료 이미지 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220152842A KR20220152842A (ko) 2022-11-17
KR102550688B1 true KR102550688B1 (ko) 2023-07-03

Family

ID=84028374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210060278A KR102550688B1 (ko) 2021-05-10 2021-05-10 초해상도 의료 이미지 생성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102550688B1 (ko)
WO (1) WO2022239897A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996730B1 (ko) * 2017-10-11 2019-07-04 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
US11501438B2 (en) * 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
KR102169242B1 (ko) * 2018-12-26 2020-10-23 포항공과대학교 산학협력단 초해상도 영상 복원을 위한 기계 학습 방법
KR102170547B1 (ko) * 2019-01-29 2020-10-27 건국대학교 산학협력단 초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법
KR102179090B1 (ko) 2020-01-30 2020-11-16 주식회사 투비코 신경망을 이용한 의료 진단 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jeongin Seo, et al., "Object Recognition in Very Low Resolution Images Using Deep Collaborative Learning", IEEE Access, (2019.09.13.)
Xingchao Peng et al., "Fine-to-coarse Knowledge Transfer For Low-Res Image Classification", https://arxiv.org/abs/1605.06695, (2016.05.21.)

Also Published As

Publication number Publication date
WO2022239897A1 (ko) 2022-11-17
KR20220152842A (ko) 2022-11-17

Similar Documents

Publication Publication Date Title
Athar et al. A comprehensive performance evaluation of image quality assessment algorithms
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
KR102169242B1 (ko) 초해상도 영상 복원을 위한 기계 학습 방법
CN111429355A (zh) 一种基于生成对抗网络的图像超分辨率重建方法
Barni et al. Forensics aided steganalysis of heterogeneous images
CN113506268B (zh) 一种面向铁轨图像的半监督异物检测方法
CN114022506B (zh) 一种边缘先验融合多头注意力机制的图像修复方法
CN110738153A (zh) 异质人脸图像转换方法、装置、电子设备及存储介质
Guo et al. Iqma network: Image quality multi-scale assessment network
KR20210141060A (ko) 머신러닝 기반의 이미지 이상 탐지 시스템
CN113936318A (zh) 一种基于gan人脸先验信息预测和融合的人脸图像修复方法
CN116703747A (zh) 一种基于扩散条件生成算法的虚拟试衣图像修复方法
KR20220066633A (ko) 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법
CN115937022A (zh) 一种基于迭代残差学习的少样本图像修复方法
KR102550688B1 (ko) 초해상도 의료 이미지 생성 장치 및 방법
Liu et al. Facial image inpainting using multi-level generative network
CN112785540B (zh) 一种扩散加权图像的生成系统及方法
CN112733756B (zh) 一种基于w散度对抗网络的遥感图像语义分割方法
CN117151990B (zh) 一种基于自注意力编码解码的图像去雾方法
CN116778165A (zh) 基于多尺度自适应语义分割的遥感影像灾害检测方法
CN116862765A (zh) 一种医学影像超分辨率重建方法及系统
KR20210081077A (ko) 제품의 양불을 판정하는 방법 및 장치
CN114764754A (zh) 一种基于几何感知先验引导的遮挡人脸修复方法
CN114549302A (zh) 一种图像超分辨率重建方法及系统
CN111612798A (zh) 面向人脸数据对完整的人脸网纹修复方法、系统及介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant