KR102454335B1 - 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법 - Google Patents

자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법 Download PDF

Info

Publication number
KR102454335B1
KR102454335B1 KR1020210034757A KR20210034757A KR102454335B1 KR 102454335 B1 KR102454335 B1 KR 102454335B1 KR 1020210034757 A KR1020210034757 A KR 1020210034757A KR 20210034757 A KR20210034757 A KR 20210034757A KR 102454335 B1 KR102454335 B1 KR 102454335B1
Authority
KR
South Korea
Prior art keywords
image data
low
virtual
magnification
quality
Prior art date
Application number
KR1020210034757A
Other languages
English (en)
Other versions
KR20220081246A (ko
Inventor
김태현
유진수
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20220081246A publication Critical patent/KR20220081246A/ko
Application granted granted Critical
Publication of KR102454335B1 publication Critical patent/KR102454335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법은 저화질 영상 데이터를 미리 학습된 네트워크를 통해 고화질로 복원하여 예측된 고화질 영상 데이터(SR)을 생성하는 단계; 상기 예측된 고화질 영상 데이터(SR)을 랜덤한 제1 배율로 다운스케일링하여 가상의 고화질 영상 데이터(P_HR)를 생성하는 단계; 상기 고화질 영상 데이터(P_HR)를 제2 배율로 다운스케일링하여 가상의 저화질 영상 데이터(P_LR)을 생성하는 단계; 및 상기 가상의 저화질 영상 데이터(P_LR)와 가상의 고화질 영상 데이터(P_HR) 쌍을 이용하여 상기 미리 학습된 네트워크를 적응시키는 단계를 포함하여, 저화질 영상 데이터를 고품질의 고해상도로 복원한다.
본 발명은 삼성전자(주) 2020년도 삼성미래기술육성사업(202000000002701) "시공간 제한 없는 비디오에서 다중 휴먼 3차원 형상, 자세, 동작 복원 및 예측"을 통해 개발된 기술이다.

Description

자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법 {METHOD AND APPARATUS FOR RESTORING LOW RESOLUTION OF VIDEO TO HIGH RESOLUTION DATA BASED ON SELF-SUPERVISED LEARNING}
본 발명은 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법에 관한 것으로, 테스트 시간에 외부 데이터 기반 SR 네트워크 및 내부 데이터 기반 자기지도 학습을 활용하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법 및 장치에 관한 것이다.
테스트 시간 동안 특정 입력 이미지에 특정 파라미터를 적용하는 최근 단일 이미지 초고해상도(SISR; single image super-resolution)네트워크는 입력 테스트 이미지 및 대규모 외부 데이터 세트에서 사용할 수 있는 정보를 활용하여 상당한 성능 향상을 보여주고 있다.
그러나 자기지도 SISR 접근 방식은 아직 비디오에 적용되는 연구가 이루어지고 있지 않다. 이와 같이 자기지도 SISR 접근 방식이 비디오에 적용되는 경우, 의료영상, 위성 영상 및 전자기기(스마트폰, TV 등)를 포함하는 다양한 분야에 널리 사용될 수 있을 것이다.
그러나, 저품질 이미지에서 고품질 이미지를 복구하는 것은 하나의 저품질 이미지가 많은 고품질 이미지에 매핑될 수 있기 때문에 매우 타당하지 않다.
도 1은 종래의 자기지도학습에 기반한 이미지 복원 방법을 설명하기 위한 도면이다.
도 1을 참조하면 알 수 있는 바와 같이, 주어진 저화질 데이터(LR)를 그대로 예측된 가상의 타겟 데이터(P_HR)를 생성한다. 이때 가상의 타겟 데이터는 주어진 저화질 데이터를 그대로 사용한다. 다음, 주어진 저화질 데이터(LR)를 원하는 배율만큼 다운스케일링하여 미리 학습된 학습 모델(M1)에 적응시켜 가상의 고화질 데이터(P_SR)를 생성한다. 이때 생성된 가상의 고화질 데이터(P_SR)는 주어진 저화질 데이터(LR)와 동일한 사이즈이다.
생성된 가상의 고화질 데이터(P_SR)이 가상의 타겟 데이터(P_HR)이 되도록 미리 학습된 학습 모델(M1)을 적응시켜 최적화된 모델(M1)을 생성한다.
이와 같이 최적화된 모델(M1)을 이용하여 주어진 저화질 데이터(LR)의 고화질 데이터를 획득한다.
전술한, 종래의 자기지도학습에 기반하여 저화질 영상 데이터의 복원 방법은, 주어진 저화질 영상(예를 들어 40 × 40)을 한 번 더 저화질 영상으로 만드는 과정이 요구되는데 이 때, 정보손실이 너무 크기 때문에 한 번 더 변환된 저화질 영상을 이용하여서는 가용의 정보가 거의 남아있지 않게 되어, 원하는 크기의 고화질 영상으로 변환하기 어렵다.
따라서, 자기지도학습에 기반하여 저화질 영상 데이터를 원하는 크기의 고화질 영상 데이터로 복원할 수 있는 새로운 기술이 요구된다.
본 발명은 삼성전자(주) 2020년도 삼성미래기술육성사업(202000000002701) "시공간 제한 없는 비디오에서 다중 휴먼 3차원 형상, 자세, 동작 복원 및 예측"을 통해 개발된 기술이다.
본 발명은 전술한 바와 같이 테스트 시간에 외부 데이터 기반 SR 네트워크 및 내부 데이터 기반 자기지도 학습을 활용하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법 및 장치를 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위하여, 본 발명에서 제공하는 컴퓨팅 장치의 지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법은, 저화질 영상 데이터를 미리 학습된 네트워크를 통해 고화질로 복원하여 예측된 고화질 영상 데이터(SR)을 생성하는 단계; 상기 예측된 고화질 영상 데이터(SR)을 랜덤한 제1 배율로 다운스케일링하여 가상의 고화질 영상 데이터(P_HR)를 생성하는 단계; 상기 고화질 영상 데이터(P_HR)를 제2 배율로 다운스케일링하여 가상의 저화질 영상 데이터(P_LR)을 생성하는 단계; 및 상기 가상의 저화질 영상 데이터(P_LR)와 가상의 고화질 영상 데이터(P_HR) 쌍을 이용하여 상기 미리 학습된 네트워크를 적응시키는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 미리 학습된 네트워크를 적응시키는 단계는 상기 가상의 저화질 영상 데이터(P_LR)를 상기 미리 학습된 네트워크에 입력하여 가상의 고화질 영상 데이터(P_SR)을 생성하는 단계; 및 상기 가상의 고화질 영상 데이터(P_SR)과 상기 가상의 고화질 영상 데이터(P_HR)에 기초하여, 상기 미리 학습된 네트워크를 최적화하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 예측된 고화질 영상 데이터(SR)을 랜덤한 제1 배율로 다운스케일링하여 가상의 고화질 영상 데이터(P_HR)를 생성하는 단계; 및 상기 고화질 영상 데이터(P_HR)를 제2 배율로 다운스케일링하여 가상의 저화질 영상 데이터(P_LR)을 생성하는 단계는 복수회 반복되어 수행되는 것을 특징으로 한다.
일 실시예에서, 복수회 반복되는 동안, 상기 제1 배율은 매회 미리 설정된 범위 내에서 랜덤하게 변경되는 것을 특징으로 한다.
일 실시예에서, 상기 미리 설정된 범위는 0.5 내지 0.8 인 것을 특징으로 한다.
일 실시예에서, 상기 제2 배율은 상기 제1 배율보다 더 작은 것을 특징으로 한다.
일 실시예에서, 상기 제2 배율은 미리 학습된 네트워크를 통해 고화질로 복원하여 예측된 고화질 영상 데이터(SR)을 생성한 배율에 기초한 것을 특징으로 한다.
일 실시예에서, 상기 예측된 고화질 영상 데이터(SR)을 생성한 배율은 2~4배에 포함된 어느 하나 인 것을 특징으로 한다.
일 실시예에서, 상기 가상의 초고화질(P_SR)은 반복되는 패턴을 포함하는 제1 패치와 제2 패치를 포함하는 경우, 랜덤하게 다운스케일링된 가상의 고화질 데이터(P_HR)로부터 상기 제2 패치와 동일한 사이즈를 갖고, 상기 제1 패치와 대응되는 영역의 제3 패치를 상기 제2 패치에 복사하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법을 수행한다.
본 발명의 다른 실시예에 따른 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램은 하드웨어인 컴퓨터와 결합되어, 지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법을 수행한다.
본 발명에 따른 자기지도학습기반 저화질 영상 데이터를 고품질의 고해상도 영상 데이터로 복원할 수 있다.
도 1은 종래의 자기지도학습에 기반한 이미지 복원 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법을 수행하는 컴퓨팅 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 자기지도학습 기반 저화질 영상 데이터를 고해상도로 복원하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 이미지에서의 패치-반복을 설명하기 위한 이미지의 예시이다.
도 5는 본 발명의 일 실시예에 따른 이미지에서의 패치-반복을 설명하기 위한 이미지의 또 다른 예시이다.
도 6은 본 발명의 일 실시 예에 따른 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법을 개략적으로 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법을 수행하는 컴퓨팅 장치의 구성을 나타내는 블록도이다.
도 2에 도시된 바와 같이, 컴퓨팅 장치(100)는 메모리(120) 및 프로세서(130)를 포함할 수 있다.
메모리(120)는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(130)에 의하여 판독되어 구동될 수 있다. 또한, 메모리(120)는 프로세서(130)가 생성하거나 결정한 임의의 형태의 정보를 저장할 수 있다. 예를 들어, 메모리(120)는 입/출력되는 데이터들(예를 들어, 저화질 영상 데이터(LR), 미리 학습된 복원 네트워크(M1), 상기 미리 학습된 복원 네트워크(M1)에 의해 예측된 초고화질 데이터(SR), 상기 초고화질 데이터(SR)에 기초하여 생성된 가상의 고화질 데이터(P_HR), 상기 생성된 가상의 고화질 데이터(P_HR)에 기초하여 생성된 가상의 저화질 데이터(P_LR)) 등을 임시 또는 영구 저장할 수도 있다.
본 발명의 일 실시예에 따르면, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 컴퓨팅 장치(100)는 인터넷(internet) 상에서 상기 메모리(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 기계 학습을 위한 데이터 생성 및 처리를 수행할 수 있다. 본 개시의 일실시예에 따라 프로세서(130)는 초고해상도 업스케이링, 랜덤 다운스케일링, 다운스케일링을 수행하고, 또한 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(130)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 생성, 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
또한, 프로세서(130)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에 따른 서버에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
본 명세서에서 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호 교환 가능하게 사용될 수 있다. 본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.
본 명세서에서 모델은 네트워크 함수를 포함할 수 있다. 모델은 하나 이상의 네트워크 함수를 포함할 수도 있으며, 이 경우 모델의 출력은 하나 이상의 네트워크 함수의 출력의 앙상블일 수 있다.
프로세서(130)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 복원 네트워크 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(130)는 단일의 저화질 영상 데이터(LR)를 미리 저장된 복원 네트워크에 입력하여 예측된 초고화질 영상 데이터(SR)를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따라 프로세서(130)는 상기 예측된 초고화질 영상 데이터(SR)를 복수회 배율을 랜덤하게 하여 다운스케일링함으로써 가상의 고화질 영상 데이터(P_HR)를 생성한다. 이 때 랜덤하게 다운스케일링한 배율은 0.9 ~ 0.7 사이일 수 있다.
프로세서(130)는 가상의 고화질 데이터(P_HR)를 다운스케일링하여 가상의 저화질 데이터(P_LR)를 생성하여, 미리 학습된 네트워크에 적응시킬 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 통상적으로 컴퓨팅 장치(100)의 전반적인 동작을 처리할 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 컴퓨팅 장치(100)의 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 자기지도학습 기반 저화질 영상 데이터를 고해상도로 복원하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 먼저, 주어진 저화질 영상 데이터(LR)를 미리 학습된 학습 모델(M1)에 기초하여 예측된 고화질 데이터(SR)를 생성한다. 이 예측된 고화질 데이터(SR)는 목표하는 해상도를 갖는다. 상기 미리 학습된 학습 모델은 큰 데이터 세트를 가지고 학습된 네트워크 이용한다.
이후, 예측된 고화질 데이터(SR)에 기초하여, 가상의 고화질 영상 데이터(P_HR)와 가상의 저화질 영상 데이터(P_LR) 쌍을 생성한다. 이를 위해, 예측된 고화질 데이터(SR)를 랜덤한 제1 배율로 다운스케일링하여 가상의 고화질 데이터(P_HR)을 생성한다. 랜덤하게 다운스케일링하는 방법에 대하여는 도 4 및 도 5를 참조하여 상세히 후술한다. 생성된 가상의 고화질 데이터(P_HR)을 원하는 업스케일링에 대응하는 제2 배율만큼 다운스케일링하여 가상의 저화질 데이터(P_LR)를 생성한다. 여기에서, 제2배율은 제1배율보다 작다. 예를 들어, 제1 배율은 약 0.5~0.8이다.
다음, 생성된 가상의 저화질 영상 데이터(P_LR)를 테스트 영상으로서 상기 미리 학습된 학습 모델(M1)에 적응시켜 가상의 초고화질 데이터(P_SR)를 생성한다.
이와 같이 생성된 가상의 초고화질 (P_SR)와 가상의 고화질 데이터(P_HR)를 최적화도록 상기 미리 학습된 학습 모델(M1)에 적응시킨다.
적응된 모델(A_M1)에 주어진 저화질 영상 데이터(LR)를 입력하면 원하는 고품질 고화질 영상 데이터로 복원할 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지에서의 패치-반복을 설명하기 위한 이미지의 예시이다.
도 4의 (a)를 참조하여, 영상 또는 이미지에서, 박스로 표시한 바와 같이 작은 패치(예를 들어 5×5)는 반복되는 패턴을 가질 수 있다. 이러한 반복되는 패턴을 갖는 패치는 다양한 이유(예를 들어 원근 관점, 깊이 변경 등)로 인해 이미지 내의 다양한 배율로 분산되어 있는 경우가 많다. 반복되는 패치를 사용하면 초고해상도 처리가 용이해진다. 더 큰 선명한 패치를 대응하는 더 작은 패치에 간단히 "복사하여 붙여 넣기"만 하면 되기 때문이다.
도 4의 (b)에 도시한 바와 같이, 각 영상 프레임에는 수많은 중복 정보가 포함되어 있기 때문에 이미지 내의 자연스러운 패치-반복 속성은 영상에서도 적용된다. 또한, 단일 프레임 내에 반복되는 패치 외에도 영상에는 카메라 및 개체 움직임으로 인해 여러 스케일에 걸쳐 반복 패치가 포함되어 있다. 도 3의 (b)는 주행하는 자동차의 다른 시점의 2개의 영상을 나타내고 있다. 도 3의 (b)의 파란색 자동차를 관찰할 때, 시점의 변화에 따라 물체가 카메라에 접근하고 있음을 알 수 있다. 오브젝트의 기능이 변경되지 않거나 약간 변경되므로 하단 프레임의 크고 선명한 파란 자동차 패치를 활용하여 상단의 작고 흐릿한 파란 자동차를 초고해상도로 변환할 수 있다. 한편, 카메라 자체는 때때로 확대 및 축소하여 인접 프레임간에 반복적인 패치를 생성한다. 이 경우 파란색 자동차와 달리 하단 프레임의 빨간 박스로 표시한 녹색 표시등이 비교적 선명한 상단 프레임을 축소하여 사용할 수 있다.
이러한 현상은 거의 모든 영상에서 발생하므로 유용한 패치를 서로 다른 시점의 영상에서 획득하고, 인접한 프레임의 패치의 반복을 활용하여 특정 프레임을 선명하게 복원할 수 있게 된다.
도 5는 본 발명의 일 실시예에 따른 이미지에서의 패치-반복을 설명하기 위한 이미지의 또 다른 예시이다.
도 5의 (a)를 임의의 배율(약 0.8)로 다운스케일링한 이미지를 도 5의 (b)에 도시한다. 즉, 도 5의 (a)와 도 5의 (b)는 서로 다른 배율의 동일한 이미지이다.
도 5의 (a)의 제1 패치(101)과 제2 패치(102)는 반복되는 패턴이지만 서로 다른 사이즈를 갖는다.
도 5의 (b)의 제3 패치(201)는 제1 패치(101)를 임의의 배율로 다운스케일링하여 획득된 패치이다.
도 5의 (c)를 참조하여, 제2 패치(102)와 제3 패치(201)를 비교하면, 서로 동일한 정보와 동일한 사이즈를 가지고 있으나, 제3 패치(201)가 제2 패치(102)보다 더 선명한 이미지를 갖는 것을 확인할 수 있다.
따라서, 제3 패치(201)를 제2 패치(102)에 복사함으로써, 도 5의 (a)는 더 선명한 영상을 얻게 될 수 있다.
도 3과 도 5를 참조하여, 예측된 고화질 데이터(SR)는 서로 반복되지만 해상도가 다른 제1 패치(101)과 제2 패치(102)를 포함할 수 있다. 생성된 이미지로부터 제1 패치(101)와 대응되는 제3 패치(201) 쌍을 찾기 위해 예측된 고화질 데이터(SR)를 랜덤한 배율로 다운스케일링하여 이미지를 생성한다. 랜덤 배율을 변동하여 랜덤하게 다운스케일링을 반복하는 이유는 다양한 제2 패치(102)와 제3 패치(201) 쌍을 찾기 위함이다. 이러한 반복 패치를 통해 가상의 초고화질 영상 데이터(P_SR)의 해상도를 크게 유지시킬 수 있게 된다.
일반적으로 테스트 LR 영상의 연속 프레임에는 수학식 1과 같이 정의되는 약간의 노이즈나 분산으로 손상된 유사한 패치
Figure 112021031459582-pat00001
가 포함되어 있다.
[수학식 1]
Figure 112021031459582-pat00002
여기서 t는 프레임 넘버이고 y는 단일의 선명한 패치이다. 일 실시예에서 nt는 제로 평균으로 가정하여,
Figure 112021031459582-pat00003
를 y로 암시적으로 정의하여 수학식 2와 같이 문제를 최소화할 수 있다.
[수학식 2]
Figure 112021031459582-pat00004
여기에서,
Figure 112021031459582-pat00005
는 조정되어야 할 네트워크이다. 예측의 분산은 샘플수에 반비례한다. 즉, 테스트 영상에서 반복되는 패치의 수가 증가함에 따라 네트워크의 매개 변수가 최적화되어 복원된 품질에 해를 끼치지 않고 유사한 패치의 출력에 대한 분산을 줄일 수 있다. 네트워크는 적응 단계에서 인접 프레임에서 반복되는 패치를 활용하여 시간적으로 매끄럽고 시각적으로 만족스러운 영상을 생성함으로써 테스트 LR 영상 자체의 시간적 일관성을 자동으로 향상시킬 수 있다.
다음은 자기학습 과정의 알고리즘의 일 예를 나타내었다.
Figure 112021031459582-pat00006
여기서, 나타내는 약자들은 다음과 같다.
P_LR: 자기지도학습을 위한 인풋 데이터
P_HR: 자기지도학습을 위한 레이블 데이터
upscale_factor: 희망하는 화질 개선 배율
P_SR: 자기지도학습을 위한 인풋 데이터의 고화질 추정 값
CRITERION: 딥러닝 학습을 위한 손실 함수
OPTIMIZE: 딥러닝 학습을 위한 경사하강법 (SGD, Adam 등)
상기 알고리즘을 참고하여, 6에서 딥러닝으로 학습된 모델(M1)에 원하는 저화질 데이터(LR)를 입력하여, 예측된 고화질 데이터(SR)를 생성하고, 1~5를 반복하여 복수개의, 가상의 데이터(P_HR), 가상의 저화질 데이터(P_LR) 쌍을 생성한다.
이후, 8~12를 반복하여, 가상의 데이터 세트를 생성하여 모델(M1)을 적응시켜 모델(M1)의 최적화 손실함수를 찾는다.
이렇게 최적화된 모델(M1)에 주어진 저화질 데이터를 입력하면 원하는 고화질 데이터가 출력된다.
일 실시예에 따른 컴퓨팅 장치에 의한 자기지도학습 기반 저화질 영상 데이터를 고해상도로 복원하는 방법은, 외부 데이터 기반 방법과 내부 데이터 기반 방법의 조합을 이용하므로 큰 배율로 복원을 처리할 수 있다. 테스트 LR 데이터 자체가 아니라 사전 훈련된 SR 네트워크의 출력을 이용한다. 해상도를 높게 유지하면서 가상의 타겟으로 사용할 수 있다. 따라서 대규모 외부 데이터 세트가 포함된 사전 훈련된 SR 네트워크의 초기 출력이자 자기지도학습 방법의 새로운 훈련 대상이 될 수 있다.
특히 사전 훈련된 SR 네트워크에서 무작위로 축소된 버전의 HR 이미지를 훈련 대상으로 사용한다. 이후, 고정 배율 인수(예를 들어 ×4)를 사용하여 이러한 타겟 영상을 축소하여 학습 입력을 위한 데이터를 생성한다.
훈련 목표를 얻기 위해 HR 이미지를 축소할 때 작은 축소 계수를 사용할 수 있다. 따라서, 예측된 HR 이미지에 작은 단위의 변환에 대해 패치 반복이 있는 경우에도 적응을 위한 훈련 세트를 생성하고 훈련 세트 쌍을 사용하여 사전 훈련된 네트워크를 추가로 미세 조정한다.
도 6은 본 발명의 일 실시 예에 따른 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법을 개략적으로 도시한 순서도이다.
도 6에 도시된 바와 같이, 본 발명에서 제공하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법은, 도 1 내지 도 5를 참조하여 설명한 컴퓨팅 장치에 의해 행해진다.
도 6에 도시한 바와 같이, 단계 S110에서, 저화질 영상 데이터를 미리 학습된 네트워크를 통해 고화질로 복원하여 예측된 고화질 영상 데이터(SR)를 생성한다. 사전 훈련된 SR 네트워크(딥러닝 모델)로 초고해상도 출력(SR)을 획득한다. 이 때 종래의 모든 딥 러닝 기반 네트워크를 활용할 수 있다.
다음 단계 S120에서, 상기 예측된 고화질 영상 데이터(SR)을 랜덤한 제1 배율로 다운스케일링하여 가상의 고화질 영상 데이터(P_HR)를 생성한다. 약간 다운 샘플링하여 P_HR(가상의 고해상도 데이터)를 생성한다. 모든 단일 생성 작업에 대한 동적 스케일링에서 패치 반복을 활용하고, 특정 단일 스케일 팩터에 대한 과적합을 방지하기 위해 랜덤 스케일 팩터가 선택된다.
다음 단계 S130에서, 상기 고화질 영상 데이터(P_HR)를 제2 배율로 다운스케일링하여 가상의 저화질 영상 데이터(P_LR)을 생성한다.
P_HR(가상의 고해상도 데이터)를 생성한 후 원하는 업스케일링 인자에 기초하여 P_HR(가상의 고해상도 데이터)를 간단히 축소하여 가상의 저해상 데이터(P_LR)를 생성한다.
단계 S120과 단계 S130은 복수회 반복되어 수행된다. 단계 S120과 단계 S130가 반복 수행되는 동안, 상기 제1 배율은 매회 리 설정된 범위 내에서 랜덤하게 변경된다.
다음 단계 S140에서, 상기 가상의 저화질 영상 데이터(P_LR)와 가상의 고화질 영상 데이터(P_HR) 쌍을 이용하여 상기 미리 학습된 네트워크를 적응시킨다.
P_HR(가상의 고해상도 데이터), P_LR(가상의 저해상 데이터) 쌍을 이용하여 가상의 초고해상도 데이터(P_SR)를 예측하고 기존 손실 함수를 기반으로 기준을 계산한다. 네트워크는 계산된 손실 함수로 최적화되고 원하는 적응 반복 횟수를 달성하기 위한 절차가 반복된다.
전술한 컴퓨팅 장치(100)에 포함된 컴포넌트들은 예시적인 것으로 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 개시의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 개시의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선 채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
120 : 메모리
130 : 프로세서

Claims (11)

  1. 컴퓨팅 장치의 지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법으로서,
    저화질 영상 데이터를 미리 학습된 네트워크를 통해 고화질로 복원하여 예측된 고화질 영상 데이터(SR)을 생성하는 단계;
    상기 예측된 고화질 영상 데이터(SR)을 랜덤한 제1 배율로 다운스케일링하여 가상의 고화질 영상 데이터(P_HR)를 생성하는 단계;
    상기 고화질 영상 데이터(P_HR)를 제2 배율로 다운스케일링하여 가상의 저화질 영상 데이터(P_LR)을 생성하는 단계; 및
    상기 가상의 저화질 영상 데이터(P_LR)와 가상의 고화질 영상 데이터(P_HR) 쌍을 이용하여 상기 미리 학습된 네트워크를 적응시키는 단계
    를 포함하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  2. 제1항에 있어서,
    상기 미리 학습된 네트워크를 적응시키는 단계는
    상기 가상의 저화질 영상 데이터(P_LR)를 상기 미리 학습된 네트워크에 입력하여 가상의 고화질 영상 데이터(P_SR)을 생성하는 단계; 및
    상기 가상의 고화질 영상 데이터(P_SR)과 상기 가상의 고화질 영상 데이터(P_HR)에 기초하여, 상기 미리 학습된 네트워크를 최적화하는 단계
    를 포함하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  3. 제1항에 있어서,
    상기 예측된 고화질 영상 데이터(SR)을 랜덤한 제1 배율로 다운스케일링하여 가상의 고화질 영상 데이터(P_HR)를 생성하는 단계; 및
    상기 고화질 영상 데이터(P_HR)를 제2 배율로 다운스케일링하여 가상의 저화질 영상 데이터(P_LR)을 생성하는 단계
    는 복수회 반복되어 수행되는 것을 특징으로 하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  4. 제3항에 있어서,
    복수회 반복되는 동안, 상기 제1 배율은 매회 미리 설정된 범위 내에서 랜덤하게 변경되는 것을 특징으로 하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  5. 제4항에 있어서,
    상기 미리 설정된 범위는 0.5 내지 0.8 인 것을 특징으로 하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  6. 제3항에 있어서,
    상기 제2 배율은 상기 제1 배율보다 더 작은 것을 특징으로 하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  7. 제6항에 있어서,
    상기 제2 배율은 미리 학습된 네트워크를 통해 고화질로 복원하여 예측된 고화질 영상 데이터(SR)을 생성한 배율에 기초한 것을 특징으로 하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  8. 제1항에 있어서, 상기 예측된 고화질 영상 데이터(SR)을 생성한 배율은 2~4배에 포함된 어느 하나 인 것을 특징으로 하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  9. 제2항에 있어서,
    상기 가상의 초고화질(P_SR)은 반복되는 패턴을 포함하는 제1 패치와 제2 패치를 포함하는 경우, 랜덤하게 다운스케일링된 가상의 고화질 데이터(P_HR)로부터 상기 제2 패치와 동일한 사이즈를 갖고,
    상기 제1 패치와 대응되는 영역의 제3 패치를 상기 제2 패치에 복사하는 것을 특징으로 하는 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법.
  10. 하나 이상의 인스트랙션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서
    를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1항의 방법을 수행하는 장치.
  11. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020210034757A 2020-12-08 2021-03-17 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법 KR102454335B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200170771 2020-12-08
KR1020200170771 2020-12-08

Publications (2)

Publication Number Publication Date
KR20220081246A KR20220081246A (ko) 2022-06-15
KR102454335B1 true KR102454335B1 (ko) 2022-10-14

Family

ID=81987412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034757A KR102454335B1 (ko) 2020-12-08 2021-03-17 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법

Country Status (1)

Country Link
KR (1) KR102454335B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101632917B1 (ko) * 2010-02-08 2016-07-04 삼성전자주식회사 고화질 영상 획득을 위한 학습 기반 고해상도 향상 장치 및 방법
KR102117936B1 (ko) * 2018-10-17 2020-06-02 한국항공우주연구원 딥러닝 기반 영상 처리 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chieh-Chi Kao et al., "Patch-Based Image Hallucination for Super Resolution with Detail Reconstruction from Similar Sample Images", IEEE, (2018,06.03.)

Also Published As

Publication number Publication date
KR20220081246A (ko) 2022-06-15

Similar Documents

Publication Publication Date Title
Aigner et al. Futuregan: Anticipating the future frames of video sequences using spatio-temporal 3d convolutions in progressively growing gans
CN111587447B (zh) 帧循环视频超分辨率
AU2019451948B2 (en) Real-time video ultra resolution
US11741581B2 (en) Training method for image processing model, image processing method, network device, and storage medium
Shamsolmoali et al. Deep convolution network for surveillance records super-resolution
US20230081346A1 (en) Generating realistic synthetic data with adversarial nets
CN114092386A (zh) 缺陷检测方法和设备
Endo et al. Animating landscape: self-supervised learning of decoupled motion and appearance for single-image video synthesis
WO2023279936A1 (en) Methods and systems for high definition image manipulation with neural networks
US11741579B2 (en) Methods and systems for deblurring blurry images
Gabbay et al. Style generator inversion for image enhancement and animation
KR102543690B1 (ko) 사전 정보 학습 기반 영상 업스케일링 장치 및 방법
US20220012846A1 (en) Method of modifying digital images
Li et al. From here to there: Video inbetweening using direct 3d convolutions
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
JP2009152820A (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
López-Tapia et al. A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models
KR102319643B1 (ko) 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
KR102454335B1 (ko) 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법
Besbinar et al. Self-supervision by prediction for object discovery in videos
CN112801912B (zh) 一种人脸图像复原方法、系统、装置及存储介质
JP2024521645A (ja) 時空間上のアテンションを使用したビデオシーケンスからの物体表現の教師なし学習
US20220172421A1 (en) Enhancement of Three-Dimensional Facial Scans
KR20210149426A (ko) 고해상도 얼굴 영상 복원 방법 및 장치
Lopez-Tapia et al. Multiple-degradation video super-resolution with direct inversion of the low-resolution formation model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right