KR102057395B1 - 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법 - Google Patents

기계학습 기반 비디오 보외법을 이용한 영상 생성 방법 Download PDF

Info

Publication number
KR102057395B1
KR102057395B1 KR1020180081360A KR20180081360A KR102057395B1 KR 102057395 B1 KR102057395 B1 KR 102057395B1 KR 1020180081360 A KR1020180081360 A KR 1020180081360A KR 20180081360 A KR20180081360 A KR 20180081360A KR 102057395 B1 KR102057395 B1 KR 102057395B1
Authority
KR
South Korea
Prior art keywords
frame
frames
image
network
convolutional
Prior art date
Application number
KR1020180081360A
Other languages
English (en)
Inventor
강제원
김나영
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020180081360A priority Critical patent/KR102057395B1/ko
Application granted granted Critical
Publication of KR102057395B1 publication Critical patent/KR102057395B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

기계학습 기반 비디오 보외법을 이용한 영상 생성 방법은 컴퓨터 장치가 제1 구간의 프레임들을 입력받은 영상 생성 네트워크를 이용하여 제2 구간에 포함되는 순방향 프레임들을 생성하는 단계, 상기 컴퓨터 장치가 제3 구간의 프레임들을 입력받은 영상 생성 네트워크를 이용하여 상기 제2 구간에 포함되는 역방향 프레임들을 생성하는 단계 및 상기 컴퓨터 장치가 영상 합성 네트워크를 이용하여 상기 순방향 프레임들 및 상기 역방향 프레임들에서 각각 동일 시간의 프레임들을 합성하여 최종적으로 상기 제2 구간에 위치하는 프레임들을 생성하는 단계를 포함한다.

Description

기계학습 기반 비디오 보외법을 이용한 영상 생성 방법{VIDEO GENERATION METHOD USING VIDEO EXTRAPOLATION BASED ON MACHINE LEARNING}
이하 설명하는 기술은 기계학습모델을 이용한 영상 생성 기법에 관한 것이다.
최근 인공지능 관련된 다양한 애플리케이션이 등장하고 있다. 전통적으로 인공신경망과 같은 기계학습 모델을 이용하여 영상을 처리하는 다양한 접근이 연구되고 있다. 예컨대, 영상에 포함된 객체를 식별하는 인공신경망, 입력 정보를 기준으로 특정한 영상을 생성하는 인공신경망 등과 같은 다양한 모델이 개발되고 있다.
미국공개특허 US 2018-0137389호
이하 설명하는 기술은 기계학습모델에 기반한 비디오 보외법을 이용하여 영상을 생성하는 기법을 제공하고자 한다.
기계학습 기반 비디오 보외법을 이용한 영상 생성 방법은 컴퓨터 장치가 제1 구간의 프레임들을 입력받은 영상 생성 네트워크를 이용하여 제2 구간에 포함되는 순방향 프레임들을 생성하는 단계, 상기 컴퓨터 장치가 제3 구간의 프레임들을 입력받은 영상 생성 네트워크를 이용하여 상기 제2 구간에 포함되는 역방향 프레임들을 생성하는 단계 및 상기 컴퓨터 장치가 영상 합성 네트워크를 이용하여 상기 순방향 프레임들 및 상기 역방향 프레임들에서 각각 동일 시간의 프레임들을 합성하여 최종적으로 상기 제2 구간에 위치하는 프레임들을 생성하는 단계를 포함한다.
기계학습 기반 영상 합성 방법은 컴퓨터 장치가 특정 시간 구간에서 추정된 제1 프레임들을 입력받는 단계, 상기 컴퓨터 장치가 상기 특정 시간 구간에서 추정된 제2 프레임들 입력받는 단계, 상기 컴퓨터 장치가 상기 제1 프레임들을 입력받는 가중치 예측 네트워크를 이용하여 상기 제1 프레임들 각각에 대한 가중치를 생성하는 단계, 상기 컴퓨터 장치가 상기 제1 프레임들 중 시간 t의 제1 타깃 프레임을 선택하고, 상기 제2 프레임들 중 상기 시간 t의 제2 타깃 프레밍을 선택하는 단계 및 상기 컴퓨터 장치가 상기 제1 타깃 프레임에 상기 가중치를 적용한 제1 값과 상기 제2 타깃 프레임에 상기 가중치로 결정되는 다른 값을 적용한 제2값을 합산한 값에 특징 맵을 컨볼루션 연산하는 단계를 포함한다.
이하 설명하는 기술은 비디오 보외법을 이용하여 순방향 영상과 역방향 영상을 생성하고, 생성된 영상을 합성하는 방식으로 영상을 생성한다. 영상 생성 단계에서 사용되는 각 영상을 별도의 인공신경망을 통해 생성하여 높은 품질의 영상을 생성할 수 있다.
도 1은 컨볼루셔널 계층에 대한 예이다.
도 2는 컨볼루셔널 계층에 대한 다른 예이다.
도 3은 풀링 계층에 대한 예이다.
도 4는 컨볼루셔널 인코더-디코더에 대한 예이다.
도 5는 인공신경망에 기반한 영상 생성 과정에 대한 예이다.
도 6은 단방향 비디오를 생성하는 비디오 생성 네트워크에 대한 예이다.
도 7은 컨볼루션 LSTM에 대한 예이다.
도 8은 두 개의 프레임을 합성하여 비디오를 생성하는 비디오 합성 네트워크에 대한 예이다.
도 9는 비디오 생성을 위한 가중치 예측 네트워크에 대한 예이다.
도 10은 가중치 예측 네트워크의 세부 구성에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 기계학습(machine learning)모델을 사용하여 영상을 생성하는 기법이다. 생성되는 영상은 복수의 프레임으로 구성되는 비디오(video)이다. 이하 설명에서 동영상 및 비디오는 동일한 의미로 사용한다.
이하 설명하는 기술은 기계학습모델을 사용하여 영상을 생성한다. 기계학습모델은 널리 알려진 바와 같이 다양한 모델이 있다. 설명의 편의를 위하여 이하 설명하는 기술은 인공신경망(artificial neural network)을 사용하여 영상을 생성한다고 가정한다. 인공신경망은 CNN(Convolutional Neural Network), 오코인토더(auto encoder), 컨볼루셔널 인코더-디코더(convolutional encoder/decoder), RNN(Recurrent Neural Network) 등이 있다.
인공신경망 모델에 대한 몇 가지 예를 설명한다.
CNN( Convolutional Neural Network)
CNN은 컨볼루셔널(합성곱) 계층 (convolution layer)와 풀링 계층 (pooling layer)이 여러 층으로 이루어진 네트워크이다. 딥러닝 네트워크를 구현하는 모델 중 하나이다. 컨볼루셔널 계층을 통해 입력 이미지에 필터링을 수행하고 그 결과로 특징맵 (feature map)을 추출한다. 특징맵은 다음 층의 입력으로 사용하여 계층 별로 연속하여 처리한다. 학습이 된 네트워크는 처음에는 에지(edge)같은 영상 내 단순한 구성 요소에 반응하고 계측이 깊어질수록 텍스처(texture), 사물 일부(object parts)에 반응하는 특징을 학습하게 된다. 최근 CNN은 AlexNet, VGG16, ResiNet 등과 같이 계층의 깊이를 점점 더해가며 개발이 되고 있다.
CNN을 구성하는 계층에 대하여 간략하게 설명한다.
도 1은 컨볼루셔널 계층에 대한 예이다. 도 1은 컨볼루셔널 계층의 연산을 보여주고 있다. 컨볼루셔널 계층은 입력 이미지에 대한 컨볼루셔널 연산을 통해 특징맵(feature map)을 출력한다. 이때 컨볼루셔널 연산을 수행하는 필터(filter)를 커널(kernel) 이라고도 부른다. 필터의 크기를 필터 크기 또는 커널 크기라고 한다. 커널을 구성하는 연산 파라메터(parameter)를 커널 파라메터(kernel parameter), 필터 파라메터(filter parameter), 또는 가중치(weight)라고 한다. 컨볼루셔널 계층에서는 하나의 입력에 서로 다른 종류의 필터를 사용할 수 있다. 도 1에서 필터의 개수를 n이라고 표시하였다. n은 자연수이다. 이때 하나의 필터가 입력을 처리하는 과정을 컨볼루셔널 채널 (convolution channel)이라고 지칭한다.
도 1은 하나의 채널에서 3x3의 커널 크기를 갖는 필터로 컨볼루셔널 연산을 수행하는 과정에 해당한다. 컨볼루셔널 계층은 입력이미지의 특정 영역을 대상으로 컨볼루션 연산을 수행한다. 도 1에서 점선 사각형으로 표시한 영역이 컨볼루션 연산 대상이다. 연산 영역을 윈도우 (window)라고 부른다. 윈도우는 영상의 좌측 상단에서 우측 하단까지 한 칸씩 이동할 수 있고, 한 번에 이동하는 이동 크기를 조절할 수 있다. 이동 크기를 스트라이드(stride)라고 한다. 컨볼루셔널 계층은 입력이미지에서 윈도우를 이동하면서 입력이미지의 모든 영역에 대하여 컨볼루션 연산을 수행한다. 한편 컨볼루셔널 계층은 영상의 가장 자리에 패딩(padding)을 하여 컨볼루션 연산 후 입력 영상의 차원을 유지시킨다.
도 2는 컨볼루셔널 계층에 대한 다른 예이다. 일반 적인 컨볼루셔널 연산은 2차원(2D)을 의미한다. 도 2(A)는 2D 컨볼루션 계층에 대한 예이다. 2D 컨볼루션 계층은 복수의 이미지에 적용되더라도, 하나의 필터는 하나의 특징맵을 출력하게 된다. 도 2(A)에서 M, N은 각각 이미지의 가로, 세로 방향을 의미한다.
3차원 컨볼루셔널 연산은 시간상의 정보 (temporal information)를 모델링할 수 있다. 도 2(B)는 3D 컨볼루션 계층에 대한 예이다. 3D 컨볼루션 계층은 시간축상의 정보(t)를 보존하고, 필터가 모든 특징맵을 출력한다. 3D 커널이 서로 시간축에서 연속된 복수의 프레임(이미지)에 대하여 윈도우에 위치하는 영역에 대한 특징을 추출한다. 도 2(B)에서 M, N, S는 각각 이미지의 가로, 세로, 입력 프레임의 수를 의미한다. 또 P, Q, R은 각각 필터의 가로, 세로, 차원 수를 의미한다.
컨볼루셔널 계층에서의 연산 결과로 얻은 특징맵을 서브 샘플링(sub sampling)하는 과정을 풀링(pooling layer)이라고 한다. 도 3은 풀링 계층에 대한 예이다. 도 3에서 풀링 계층은 2×2의 윈도우에서 하나의 샘플을 선택하여 그 출력의 가로 및 세로가 입력의 절반이 되도록 한다. 풀링은 스트라이드와 윈도우의 크기가 갖도록 하는 것일 일반적이다. 도 3은 스트라이드와 윈도우 크기가 모두 2로 설정된 예이다. 풀링 연산은 최대 풀링(max pooling)과 평균 풀링(average pooling) 등이 있다. 최대 풀링은 윈도우 내에서 가장 큰 샘플 값을 선택한다. 평균 풀링은 윈도우에 포함된 값의 평균 값으로 샘플링한다.
비선형 연산 계층(nonlinear operation layer)은 뉴런(노드)에서 출력값을 결정하는 계층이다. 비선형 연산 계층은 전달 함수(transfer function)를 사용한다. 전달 함수는 Relu, sigmoid 함수 등이 있다.
오토인코더 (auto encoder)
오토인코더는 인코더(encoder)와 디코더(decoder)를 포함한다. 오토인코더는 비지도 학습(Unsupervised Learning)에 널리 사용된다. 인코더(Encoder)는 입력 데이터(x)가 들어오면 출력으로 잠재 변수 (latent variable)를 제공한다. 잠재 변수는 입력 x의 특징 벡터 (feature vector) 로 사용할 수 있다. 디코더(Decoder)에서는 잠재 변수로부터 형성한 예측 값을 출력으로 한다.
컨볼루셔널 인코더-디코더( convolutional encoder/decoder)
도 4는 컨볼루셔널 인코더-디코더에 대한 예이다. 컨볼루셔널 인코더-디코더는 컨볼루셔널 인코더 및 컨볼루셔널 디코더로 구성된다. 컨볼루셔널 인코더-디코더는 컨볼루션널 계층과 역컨볼루션널 계층(deconvolutional layer)의 쌍으로 이루어진 네트워크 구조이다. 도 4는 각각 5개의 컨볼루셔널 계층과 5개의 역컨볼루셔널 계층을 갖는 구조이다. 컨볼루셔널 인코더는 컨볼루셔널 계층과 풀링 계층을 포함한다. 역컨볼루셔널 계층은 역 컨볼루셔널 계층과 언풀링 계층(unpooling layer)을 포함한다.
역컨볼루셔널 계층은 컨볼루셔널 계층의 역동작을 수행한다. 역컨볼루셔널 계층은 컨볼루셔널 계층과 반대 방향으로 콘볼루션 연산을 수행한다. 역컨볼루셔널 계층은 입력으로 특징맵을 받아 커널을 이용한 콘볼루션 연산으로 출력 영상을 생성한다. 스트라이드를 1로 하면 역컨볼루셔널 계층은 특징맵의 가로, 세로 크기가 출력의 가로, 세로와 동일한 영상을 출력한다. 스트라이드를 2로 하면 역컨볼루셔널 계층은 특징맵의 가로, 세로 크기 대비 절반 크기의 영상을 출력한다.
언풀링 계층은 풀링 계층의 반대 방향으로 업샘플링(upsampling)을 진행한다. 언풀링 계층은 풀링 계층과 다르게 반대로 차원을 확대하는 역할을 한다. 예컨대, 도 3과는 반대로 언풀링 계층은 하나의 샘플을 2×2의 윈도우로 업 샘플링할 수 있다.
컨볼루셔널 인코더-디코더는 오토인코더와 유사하게 입력 - 특징벡터 - 출력을 제공한다. 다만 오토인코더와 다르게 컨볼루셔널 인코더-디코더에서 컨볼루셔널 인코더는 입력 영상에 대한 특징맵을 출력하고, 컨볼루셔널 디코더는 입력받는 특징맵에 대한 영상을 출력한다.
시간축 위치하는 특정한 영상들을 기준으로 다른 시간에 위치하는 영상을 생성할 수 있다. (1) 비디오 보간법 (Video Interpolation)은 과거 및 미래의 비디오로부터 현재의 비디오를 추정하는 방법이다. 비디오 보간 방법은 일반적으로 시간 t-1과 t+1의 프레임이 주어질 때 시간 t에서의 프레임을 예측하여 생성한다. (2) 비디오 보외법 (Video Extrapolation)은 과거 및 현재의 비디오로부터 미래의 비디오를 예측하는 방법이다. 미래 프레임 예측은 일반적으로 t=0부터 t=n까지의 프레임을 주어질 때 t=n+1부터 t=m까지의 프레임을 생성한다. 아래 수학식 2는 프레임 예측을 위한 선형 예측(linear prediction)에 대한 예이다. 선형 예측은
Figure 112018069006677-pat00001
를 수식적으로 구하여
Figure 112018069006677-pat00002
를 예측한다.
Figure 112018069006677-pat00003
은 예측 데이터이고, Yn-1은 관찰 데이터에 해당한다.
Figure 112018069006677-pat00004
Figure 112018069006677-pat00005
이하 설명하는 영상 생성 과정은 컴퓨터 장치에서 사전에 마련된 기계학습모델(인공신경망)을 이용하여 수행한다. 즉 이하 설명하는 과정은 모두 컴퓨터 장치가 수행한다. 컴퓨터 장치는 데이터 연산이 가능한 연산 장치가 구비된 장치를 의미한다. 예컨대, 컴퓨터 장치는 PC, 스마트기기, 서버 등과 같은 장치로 구현될 수 있다.
도 5는 인공신경망에 기반한 영상 생성 과정(100)에 대한 예이다. 영상 생성은 크게 두 개의 과정으로 수행된다. 하나는 비디오 보외법에 기반한 영상(프레임) 생성하는 과정이고, 다른 하나는 생성된 영상을 합성하여 최종 영상을 생성하는 과정이다.
영상 생성을 위해서는 입력 영상이 필요하다. 프레임 DB는 입력 영상을 저장한다.
입력 영상은 보간법을 이용하여 전체 영상을 생성하고 전체 영상은 프레임 DB에 저장된다. 입력 영상은 X = [x1, x2,..., xn]이라는 전방의 n 프레임과 [xn+m+1, xn+m+2,..., x2n+m] 이라는 후방의 n 프레임을 갖는 시퀀스라고 가정한다. 컴퓨터 장치는 인공신경망을 이용하여 입력 영상 X로부터 출력 영상 Xo = [xn+1, xn+2,..., xn+m]을 생성한다. Xo는 입력 영상들 사이에 위치하는 m장의 영상 시퀀스일 수 있다. 여기서 1, 2, .. n+1,..,n+m 등은 시간에 따른 프레임 순서를 나타낸다.
컴퓨터 장치는 사전에 마련된 입력 영상을 이용하여 순방향 비디오와 역방향 비디오를 생성한다. 컴퓨터 장치는 비디오 생성 네트워크를 이용하여 순방향 비디오와 역방향 비디오를 생성한다. 비디오 생성 네트워크(N1)는 두 개의 영상 생성 네트워크를 포함한다. 하나는 순방향 생성 네트워크(FN)이고, 다른 하나는 역방향 생성 네트워크(BN)이다. 후술하겠지만 순방향 생성 네트워크(FN)와 역방향 생성 네트워크(BN)는 동일한 구조이고, 입력 영상만이 차이가 있다.
컴퓨터 장치는 입력 영상 중 Xf = [x1, x2,..., xn]을 순방향 생성 네트워크(FN)에 입력하여 제1 생성 영상 Xo f = [xn+1, xn+2,..., xn+m]을 생성한다(110). 컴퓨터 장치는 입력 영상 중 Xb = [xn+m+1,..., x2n+m]을 역방향 생성 네트워크(BN)에 입력하여 제2 생성 영상 Xo b = [xn+1, xn+2,..., xn+m]을 생성한다(120). Xo f와 Xo b는 동일 시간에 대한 프레임에 해당한다. 다만 Xo f와 Xo b는 서로 다른 입력 영상으로 생성된 것이다.
컴퓨터 장치는 비디오 생성 네트워크(N1)에서 생성한 Xo f와 Xo b를 비디오 합성 네트워크(N2)에 입력하여 최종적인 영상 Xo을 생성한다(130). Xo는 Xo f와 Xo b에서 각각 동일 시간의 프레임 2개를 합성하여 생성된다.
비디오 생성 네트워크(N1)는 순방향 생성 네트워크(FN)와 역방향 생성 네트워크(BN)를 포함한다. 순방향 생성 네트워크와 역방향 생성 네트워크(BN)는 구조는 동일할 수 있다. 컴퓨터 장치는 하나의 생성 네트워크를 이용하여 순차적으로 순방향 비디오와 역방향 비디오를 생성할 수도 있다. 또는 컴퓨터 장치는 개별적인 순방향 생성 네트워크와 역방향 생성 네트워크를 이용하여 각각 영상을 생성할 수도 있다.
비디오 생성 네트워크(N1)의 구조에 대하여 설명한다. 도 6은 단방향 비디오를 생성하는 비디오 생성 네트워크(200)에 대한 예이다. 순방향 생성 네트워크(FN) 내지 역방향 생성 네트워크(BN)는 비디오 생성 네트워크(200)과 같은 구조를 갖는다. 비디오 생성 네트워크(200)는 컨볼루셔널 인코더-디코더와 유사한 구조를 갖는다. 비디오 생성 네트워크(200)는 인코더(210), 컨볼루션 LSTM(230) 및 디코더(250)를 포함한다.
시간 t의 프레임은 xt ∈ Rh×w×x 이다. 여기서 h는 프레임 너비, w는 프레임 높이, c는 프레임에서 색상 채널(color channel)을 의미한다.
인코더(210)는 두 개의 서브 인코더(211 및 212)를 포함한다. 두 개의 서브 인코더는 각각 복수의 컨볼루셔널 계층과 풀링 계층을 갖는 CNN 구조이다. 두 개의 서브 인코더를 각각 제1 서브 인코더(211)과 제2 서브 인코더(212)로 명명한다. 두 개의 서브 인코더는 각각 복수의 컨볼루셔널 계층, 풀링 계층 및 비선형 연산 계층으로 구성될 수 있다.
제1 서브 인코더(211)는 원본 입력 영상을 입력받아 처리한다. 제1 서브 인코더(211)는 CNN을 통해 입력 영상의 형태(공간적 레이아웃)를 유지하려고 노력한다. 제1 서브 인코더(211)는 입력 영상에서 움직임의 변화가 없는 객체(또는 영역)를 최대한 유지하기 위한 것이다. 제1 서브 인코더(211)는 t 시간 입력 영상에서 배경에 해당하는 영역에 대한 특징 맵 s(t)를 출력한다. 이를 위해 제1 서브 인코더(211)는 입력 영상에서 움직임 없는 객체들을 유지할 수 있도록 사전에 학습되어야 한다.
제2 서브 인코더(212)는 원본 영상에 대한 잔차 영상(residual video)를 입력받는다. 제2 서브 인코더(212)는 원본 영상에서 움직임이 있는 객체(또는 영역)에 대한 특징 맵 r(t)를 생성한다. 이를 위해 제2 서브 인코더(212)는 입력 영상의 프레임 사이의 차이(잔차 영상)를 이용하여 사전에 학습되어야 한다.
LSTM(Long Short term memory)에 대하여 먼저 간략하게 설명한다. RNN은 현재 들어온 입력 데이터와 과거에 입력 받았던 데이터를 학습에 동시에 고려한다. RNN은 LSTM으로 구현될 수 있다. LSTM은 여러 게이트(gate)가 붙어있는 셀(cell)로 이루어져 있다. 해당 셀에 연결된 게이트의 값 또는 가중치(weight) 을 확인하여 어떤 값을 얼만큼 저장할지, 언제 정보를 내보내거나 삭제할 지를 결정한다. 각 셀 마다 이 가중치 값을 학습하며 학습 성능을 높인다.
컨볼루션 LSTM를 이용하면 시계열 정보를 학습하는 RNN의 구조에 LSTM을 활용하여 비디오 생성할 수 있다. 컨볼루션 LSTM은 입력과 은닉벡터 간 연결을 콘볼루션 필터로 대체하여 기존 LSTM 대비 더 적은 양의 파라미터를 학습시킬 수 있고 지역적 특성 잘 반영할 수 있다.
컨볼루션 LSTM(230)은 제2 서브 인코더(212)가 출력하는 특징 벡터를 시간 흐름을 고려하여 일정하게 변경한다. 컨볼루션 LSTM(230)은 RNN의 구조에 LSTM을 활용하여 제2 서브 인코더(212)가 출력하는 특징 벡터를 시간의 흐름에 따라 변경하게 된다. 이를 위해 컨볼루션 LSTM(230)은 사전에 연속적인 훈련 프레임에서 이동 객체에 대한 움직임 내지 특징 벡터로 학습되어야 한다. 보다 구체적인 동작은 이하 설명한다.
비디오 생성 네트워크(200)는 x0:t-1 비디오 프레임(시퀀스)를 사용한다고 가정한다. "0:t-1"은 "시간 0 ~ t-1"을 의미한다. 이때 잔차 영상 y0 :t-1은 아래 수학식 3과 같이 정의된다.
Figure 112018069006677-pat00006
제1 서브 인코더(211)는 각 시간에 xt로부터 특징 벡터 st를 출력한다. 제2 서브 인코더(212)는 각 시간에 yt로부터 특징 벡터 rt를 출력한다. st,rt∈
Figure 112018069006677-pat00007
이다. fh는 필터 맵의 높이, fw는 필터 맵의 너비, fc는 필터맵이 개수를 의미한다. 각 컨볼루셔널 계층에서 fw = w/2λ이고, fh = h/2λ이다. λ는 풀링 계층의 개수이다. 각 컨볼루셔널 계층의 필터 크기는 3×3일 수 있다. 컨볼루셔널 계층에서 필터 맵의 개수는 64 × 2λ일 수 있다. 풀링 계층 다음에 Relu와 같은 전달 함수가 위치할 수 있다. 또한 출력되는 특징 벡터는 일정하게 후처리(normalization)될 수도 있다.
제2 서브 인코더(212)도 제1 서브 인코더(211)와 동일한 구조를 가질 수 있다. 다만 제2 서브 인코더(212)는 잔차 영상을 처리하는 네트워크에 해당한다.
컨볼루션 LSTM(230)은 제2 서브 인코더(212)가 출력하는 특징 벡터 rt를 rt+1의 추정값
Figure 112018069006677-pat00008
으로 변경한다. rt +1은 rt을 다음 프레임에 있는 특징 벡터이다. LSTM 모듈은 메모리 셀 ct의 정보를 보유한 상태에서 rt를 수신한다. 그리고 LSTM 모듈은 수신한 정보를 이용하여 예측을 위한 정보를 업데이트한다. LSTM은
Figure 112018069006677-pat00009
을 출력하고, 다음 셀 ct+1은 아래의 수학식 4와 같이 정의될 수 있다.
Figure 112018069006677-pat00010
Figure 112018069006677-pat00011
은 시간 t+1의 잔차 영상 프레임에 대응되는 특징 벡터에 해당한다. ConvLSTM은 컨볼루션 LSTM의 동작에 해당하는 함수를 의미한다.
디코더(250)는 제1 서브 인코더(211)의 출력 벡터 st 및 컨볼루션 LSTM(230)이 출력하는 출력 벡터
Figure 112018069006677-pat00012
를 합산(sum)한 값을 입력받는다. 디코더(250)는 st+
Figure 112018069006677-pat00013
를 일정한 영상으로 재구성한다. 디코더(250)의 디코딩 함수 DEC는 아래 수학식 5와 같다. 디코더(250)는
Figure 112018069006677-pat00014
을 출력한다.
Figure 112018069006677-pat00015
는 시간 t+1에서의 추정된 프레임이다. 디코더(250)는 컨볼루셔널 인코더-디코더의 디코더와 같은 구조를 가질 수 있다.
Figure 112018069006677-pat00016
결국 비디오 생성 네트워크(200)는 시간 t의 추정된 배경 영상
Figure 112018069006677-pat00017
와 시간 t+1의 추정된 잔차 영상
Figure 112018069006677-pat00018
을 이용하여
Figure 112018069006677-pat00019
을 재구성한다고 할 수 있다.
도 7은 컨볼루션 LSTM에 대한 예이다. 도 6의 컨볼루션 LSTM(230)은 도 7과 같은 구조 일 수 있다. 도 7에서 컨볼루션 LSTM은 좌측에 인코딩 네트워크(endcoding network)를 갖고, 우측에 예측 네트워크(forecasting network)를 갖는다. 각 네트워크는 복수의 컨볼루셔널 LSTM(ConvLSTM) 계층을 갖는다. ConvLSTM은 이전 계층의 출력값을 입력으로 사용하면서 동시에 자신이 새롭게 학습한 정보를 피드백받는 구조를 갖는다. 인코딩 네트워크는 입력 영상에서 특징 맵(특징 벡터)를 출력한다. 예측 네트워크는 인코딩 네트워크의 계층이 출력한 정보를 기반으로 이후 정보를 예측한다. 도 7에서는 ConvLSTM3와 ConvLSTM4의 출력값 내지 정보를 이용하여 예측을 수행하는 예를 도시한다. 컨볼루션 LSTM은 입력과 은닉벡터 간 연결에 콘볼루션 필터를 사용한다. 도 6의 컨볼루션 LSTM(230)은 도 7의 우측에 있는 예측 네트워크만으로 구성될 수 있다. 이 경우 컨볼루션 LSTM(230)은 제2 서브 인코더(212)가 출력하는 정보로 특징 벡터를 학습하여
Figure 112018069006677-pat00020
을 생성한다.
비디오 합성 네트워크(N2)에 대하여 설명한다. 도 8은 두 개의 프레임을 합성하여 비디오를 생성하는 비디오 합성 네트워크(300)에 대한 예이다. 비디오 합성 네트워크(N2)는 비디오 합성 네트워크(300)와 같은 구조를 가질 수 있다.
Figure 112018069006677-pat00021
는 비디오 생성 네트워크(N1)의 순방향 네트워크(FN)가 생성한 k번째 프레임이다.
Figure 112018069006677-pat00022
는 비디오 생성 네트워크(N1)의 순방향 네트워크(BN)가 생성한 k번째 프레임이다. 비디오 합성 네트워크(300)는
Figure 112018069006677-pat00023
및
Figure 112018069006677-pat00024
를 이용하여 k 번째 프레임
Figure 112018069006677-pat00025
를 합성한다.
Figure 112018069006677-pat00026
는 k 번째 특징 맵의 커널이다. 특징 맵은 생성하고자 하는 프레임의 개수에 따라 복수(m개)가 있을 수 있다. 비디오 합성 네트워크(300)가 영상을 생성하는 동작은 아래 수학식 6과 같이 정의될 수 있다. 도 7은 아래 수학식 6의 과정을 설명한다.
Figure 112018069006677-pat00027
k = n+1, n+2,..., n+m이다. *는 컨볼루션 연산을 의미한다. w는 영상 생성을 위한 가중치를 의미한다. 가중치는 영상 합성에서 발생하는 품질 저하를 보상하여 보다 높은 품질의 영상을 생성하게 한다.
이하 가중치에 대하여 설명한다. 일반적으로 비디오 보외법에 대한 수학식 2을 계산함에 있어서 wk는 1/n으로 설정한다. 여기서 n은 입력으로 주어진 데이터 수로 wk를 곱하게 되면 입력 데이터의 평균을 구하게 된다. 이와 같이 평균값으로 설정된 가중치를 사용할 수도 있다.
나아가 별도의 인공신경망을 이용하여 각 프레임에 대한 가중치를 생성할 수도 있다. 컴퓨터 장치는 딥러닝을 사용하여 최초 입력프레임 t=0 부터 t=n-1 까지의 n 장의 비디오 프레임 X0:n-1이 주어질 때 각각 프레임의 가중치(weight)를 픽셀별로(pixel wise)하게 구하여 비디오 프레임을 생성할 수 있다. 입력 프레임 X와 예측 프레임
Figure 112018069006677-pat00028
을 아래와 같이 정의할 수 있다.
Figure 112018069006677-pat00029
Figure 112018069006677-pat00030
Figure 112018069006677-pat00031
수학식 7은 입력 프레임을 나타낸다. 수학삭 8은 가중치 벡터를 나타낸다. 수학식 9는 예측 프레임을 나타낸다. n은 입력 프레임의 수이고, t는 예측할 프레임의 순서를 의미한다.
예측 프레임
Figure 112018069006677-pat00032
는 t=0일 때부터 임의의 m장을 예측한다. 가중치 벡터 Wt:n+t-1 또한 t=0 부터 임의의 m장에 대해서 예측을 수행하며 입력 프레임과 같은 n개의 가중치 프레임 wt의 집합으로 구성된다. w는 입력 프레임의 가로 크기이고, h는 입력 프레임의 세로 크기를 의미한다.
Figure 112018069006677-pat00033
는 k 번째 프레임에서의 (i,j)번째 픽셀을 의미한다.
Figure 112018069006677-pat00034
는 k 번째 가중치의 (i,j)번째 픽셀을 의미한다. Wt:n+t- 1를 인공신경망을 통해서 생성하여 예측 프레임
Figure 112018069006677-pat00035
을 생성한다.
Figure 112018069006677-pat00036
의 예측을 위하여 입력 프레임과 가중치 벡터는 슬라이딩 윈도우 방식을 사용한다고 가정한다.
도 9는 비디오 생성을 위한 가중치 예측 네트워크(400)에 대한 예이다. 가중치 예측 네트워크(400)는 컨볼루셔널 인코더-디코더와 유사한 구조를 갖는다. 가중치 예측 네트워크(400)는 인코더(410) 및 디코더(420)를 포함한다. 인코더(410)는 연속된 입력 프레임 Xt :n+t-1에 대한 특징 벡터(특징 맵)를 출력한다. 디코더(420)는 인코더(410)의 특징 벡터를 기준으로 각 프레임에 대한 가중치 Wt:n+t- 1를 예측한다. 가중치 예측 네트워크(400)는 사전에 훈련 영상을 이용하여 일련의 프레임에 대한 가중치를 학습하여 마련된다. 가중치 예측 네트워크(400)는 도 9과 같이 n 장의 비디오 집합을 입력으로 하기 때문에 시간적 특징을 얻어내기 위해서 3D 컨볼루셔널 연산 계층으로 구성될 수 있다.
도 10은 가중치 예측 네트워크의 세부 구성에 대한 예이다. 도 10 인코더와 디코더가 각각 3개의 계층을 갖는 가중치 예측 네트워크를 가정하였다. 이 경우 인코더와 디코더는 도 10과 같이 구성될 수 있다. 3d conv_1은 인코더의 첫 번째 컨볼루션널 계층을 의미한다. 3d conv_2는 인코더의 두 번째 컨볼루션널 계층을 의미한다. 3d conv_3은 인코더의 세 번째 컨볼루션널 계층을 의미한다. Max_pooling은 바로 위에 기재된 컨볼루셔널 계층에 연결된 계층을 의미한다. Un_pooling은 디코더의 언풀링 계층을 의미한다. 3d dconv은 디코더의 역컨볼루션 계층을 의미한다. 도 9에서 g는 필터의 수이다. c는 입력의 크기이다. 컬러 영상의 경우 c=3, 흑백 영상일 경우 c=1이다. n은 입력으로 주어진 프레임 수이다. b는 배치의 크기를 의미한다. 네트워크 출력의 결과는 각 픽셀 별로의 가중치이다.
또한, 상술한 바와 같은 지상 영상 생성 내지 합성 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
200 : 비디오 생성 네트워크
210 : 인코더
211 : 제1 서브 인코더
212 : 제2 서브 인코더
230 : 컨볼루션 LSTM
240 : 디코더
300 : 비디오 합성 네트워크
400 : 가중치 예측 네트워크

Claims (11)

  1. 컴퓨터 장치가 제1 구간의 프레임들을 입력받은 영상 생성 네트워크를 이용하여 제2 구간에 포함되는 순방향 프레임들을 생성하는 단계;
    상기 컴퓨터 장치가 제3 구간의 프레임들을 입력받은 영상 생성 네트워크를 이용하여 상기 제2 구간에 포함되는 역방향 프레임들을 생성하는 단계; 및
    상기 컴퓨터 장치가 영상 합성 네트워크를 이용하여 상기 순방향 프레임들 및 상기 역방향 프레임들에서 각각 동일 시간의 프레임들을 합성하여 최종적으로 상기 제2 구간에 위치하는 프레임들을 생성하는 단계를 포함하되,
    상기 제1 구간, 상기 제2 구간 및 상기 제3 구간은 차례대로 시간 순서에 따른 구간이고,
    상기 영상 합성 네트워크는 상기 순방향 프레임들 중 시간 t의 제1 프레임과 상기 역방향 프레임들 중 상기 시간 t의 제2 프레임에 특징 맵을 컨볼루션하여 영상을 생성하는 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법.
  2. 제1항에 있어서,
    상기 영상 생성 네트워크는
    연속된 프레임을 입력받아 제1 특징 벡터을 생성하는 제1 서브 인코더;
    상기 연속된 프레임의 잔차 영상을 입력받아 제2 특징 벡터을 생성하는 제2 서브 인코더;
    상기 연속된 프레임에 대한 제2 특징 벡터를 입력받아 각 프레임의 이후 시간에 대한 새로운 특징 벡터를 생성하는 컨볼루션 LSTM(Long Short term memory); 및
    상기 제1 특징 벡터와 상기 새로운 특징 벡터를 합산한 값을 입력받아 새로운 영상 프레임을 생성하는 디코더를 포함하는 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법.
  3. 제2항에 있어서,
    상기 제1 서브 인코더 및 상기 제2 서브 인코더는 컨볼루셔널 계층과 풀링 계층으로 구성되는 딥러닝 네트워크이고,
    상기 디코더는 언풀링 계층과 역컨볼루셔널 계층으로 구성되는 딥러닝 네트워크인 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 영상 합성 네트워크는 상기 제1 프레임에 가중치 w를 곱한 값과 상기 제2 프레임에 (1-w)를 곱한 값을 합산한 값에 상기 특징 맵을 컨볼루션하여 영상을 생성하는 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법.
  6. 제1항에 있어서,
    상기 영상 합성 네트워크는
    상기 순방향 프레임들 중 시간 t의 제1 프레임과 상기 역방향 프레임들 중 상기 시간 t의 제2 프레임에 각각 가중치를 부여한 값에 특징 맵을 컨볼루션하여 영상을 생성하되,
    상기 가중치는 상기 순방향 프레임들 또는 상기 역방향 프레임들을 입력받아 각 프레임에 대한 가중치를 생성하는 가중치 예측 네트워크를 이용하여 결정되는 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법.
  7. 제6항에 있어서,
    상기 가중치 예측 네트워크는 컨볼루셔널 인코더 및 컨볼루셔널 디코더를 포함하고, 상기 컨볼루셔널 인코더는 연속된 입력 프레임에 대한 특징 벡터를 출력하고, 상기 컨볼루셔널 디코더는 상기 특징 벡터를 입력받아 상기 연속된 입력 프레임 각각에 대한 가중치를 생성하는 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법.
  8. 컴퓨터에서 상기 제1항 내지 제3항 및 제5항 내지 제7항 중 어느 하나의 항에 기재된 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  9. 컴퓨터 장치가 특정 시간 구간에서 추정된 제1 프레임들을 입력받는 단계;
    상기 컴퓨터 장치가 상기 특정 시간 구간에서 추정된 제2 프레임들 입력받는 단계;
    상기 컴퓨터 장치가 상기 제1 프레임들을 입력받는 가중치 예측 네트워크를 이용하여 상기 제1 프레임들 각각에 대한 가중치를 생성하는 단계;
    상기 컴퓨터 장치가 상기 제1 프레임들 중 시간 t의 제1 타깃 프레임을 선택하고, 상기 제2 프레임들 중 상기 시간 t의 제2 타깃 프레밍을 선택하는 단계; 및
    상기 컴퓨터 장치가 상기 제1 타깃 프레임에 상기 가중치를 적용한 제1 값과 상기 제2 타깃 프레임에 상기 가중치로 결정되는 다른 값을 적용한 제2값을 합산한 값에 특징 맵을 컨볼루션 연산하는 단계를 포함하되,
    상기 제1 프레임은 상기 제1 프레임 전의 프레임으로부터 추정되고, 상기 제2 프레임은 상기 제2 프레임 후의 프레임으로부터 역으로 추정되는 기계학습 기반 영상 합성 방법.
  10. 제9항에 있어서,
    상기 영상 합성 네트워크는 상기 제1 타깃 프레임에 가중치 w를 곱한 값과 상기 제2 타깃 프레임에 (1-w)를 곱한 값을 합산한 값에 상기 특징 맵을 컨볼루션하여 영상을 생성하는 기계학습 기반 영상 합성 방법.
  11. 제9항에 있어서,
    상기 가중치 예측 네트워크는 컨볼루셔널 인코더 및 컨볼루셔널 디코더를 포함하고, 상기 컨볼루셔널 인코더는 연속된 입력 프레임에 대한 특징 벡터를 출력하고, 상기 컨볼루셔널 디코더는 상기 특징 벡터를 입력받아 상기 연속된 입력 프레임 각각에 대한 가중치를 생성하는 기계학습 기반 영상 합성 방법.
KR1020180081360A 2018-07-13 2018-07-13 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법 KR102057395B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180081360A KR102057395B1 (ko) 2018-07-13 2018-07-13 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180081360A KR102057395B1 (ko) 2018-07-13 2018-07-13 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법

Publications (1)

Publication Number Publication Date
KR102057395B1 true KR102057395B1 (ko) 2019-12-18

Family

ID=69052515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180081360A KR102057395B1 (ko) 2018-07-13 2018-07-13 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법

Country Status (1)

Country Link
KR (1) KR102057395B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001482A (zh) * 2020-08-14 2020-11-27 佳都新太科技股份有限公司 振动预测及模型训练方法、装置、计算机设备和存储介质
CN114419487A (zh) * 2021-12-24 2022-04-29 北京理工大学 一种内容时间关系网络及生成时间动作提案的方法
CN112001482B (zh) * 2020-08-14 2024-05-24 佳都科技集团股份有限公司 振动预测及模型训练方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001482A (zh) * 2020-08-14 2020-11-27 佳都新太科技股份有限公司 振动预测及模型训练方法、装置、计算机设备和存储介质
CN112001482B (zh) * 2020-08-14 2024-05-24 佳都科技集团股份有限公司 振动预测及模型训练方法、装置、计算机设备和存储介质
CN114419487A (zh) * 2021-12-24 2022-04-29 北京理工大学 一种内容时间关系网络及生成时间动作提案的方法

Similar Documents

Publication Publication Date Title
Kumar et al. Videoflow: A flow-based generative model for video
CN109379550B (zh) 基于卷积神经网络的视频帧率上变换方法及系统
CN111325794B (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
US10593021B1 (en) Motion deblurring using neural network architectures
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN109068174B (zh) 基于循环卷积神经网络的视频帧率上变换方法及系统
Dosovitskiy et al. Generating images with perceptual similarity metrics based on deep networks
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
KR102093577B1 (ko) 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치
CA3144236A1 (en) Real-time video ultra resolution
Liu et al. Switchable temporal propagation network
Wen et al. VIDOSAT: High-dimensional sparsifying transform learning for online video denoising
KR102162451B1 (ko) 학습네트워크 기반의 비디오 보간 방법 및 비디오 보외 방법
CN109903315B (zh) 用于光流预测的方法、装置、设备以及可读存储介质
CN111259779A (zh) 一种基于中心点轨迹预测的视频动作检测方法
CN113724155B (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
Singla et al. A review on Single Image Super Resolution techniques using generative adversarial network
Li et al. From here to there: Video inbetweening using direct 3d convolutions
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
CN113393435B (zh) 一种基于动态上下文感知滤波网络的视频显著性检测方法
KR102057395B1 (ko) 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법
Yahia et al. Frame interpolation using convolutional neural networks on 2d animation
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant