KR102093577B1 - 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치 - Google Patents

학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치 Download PDF

Info

Publication number
KR102093577B1
KR102093577B1 KR1020190073438A KR20190073438A KR102093577B1 KR 102093577 B1 KR102093577 B1 KR 102093577B1 KR 1020190073438 A KR1020190073438 A KR 1020190073438A KR 20190073438 A KR20190073438 A KR 20190073438A KR 102093577 B1 KR102093577 B1 KR 102093577B1
Authority
KR
South Korea
Prior art keywords
image
learning network
input
feature vector
input image
Prior art date
Application number
KR1020190073438A
Other languages
English (en)
Inventor
강제원
김나영
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Application granted granted Critical
Publication of KR102093577B1 publication Critical patent/KR102093577B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

학습네트워크를 이용한 예측 영상 생성 방법은 학습네트워크가 입력 영상 및 레퍼런스 영상을 입력받는 단계, 상기 학습네트워크의 인코더가 상기 입력 영상을 입력받고, 상기 입력 영상에 대한 제1 특징 벡터를 출력하는 단계, 상기 학습네트워크의 LSTM(Long Short Term Memory)가 상기 제1 특징 벡터를 입력받고, 상기 입력 영상에서 일정 시점이 경과한 시점의 특징 벡터로 추정되는 제2 특징 벡터를 출력하는 단계, 상기 학습네트워크의 디코더가 상기 제2 특징 벡터를 기준으로 생성되는 샘플 영상 및 상기 입력영상을 기준으로 변화를 추정하는 단계 및 상기 디코더가 상기 레퍼런스 영상 및 상기 추정 결과를 결합하여 예측 영상을 생성하는 단계를 포함한다.

Description

학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치{FUTURE VIDEO GENERATING METHOD BASED ON NEURAL NETWORK AND FUTURE VIDEO PRODUCING APPRATUS}
이하 설명하는 기술은 신경망 모델을 이용하여 미래 시점의 영상을 생성하는 기법에 관한 것이다.
컴퓨터 비전과 기계 학습 분야에서 미래 시점의 영상을 예측하는 기술은 매력적인 연구 분야이다. 특히 최근 인공신경망을 이용한 다양한 영상 분야의 애플리케이션이 연구되고 있다. 인공신경망을 이용하여 미래 시점의 영상을 예측하는 기술도 연구되고 있다.
N. Srivastava, E. Mansimov, and R. Salakhudinov, Unsupervised learning of video representations using lstms, International conference on machine learning, pages 843-852, 2015.
인공신경망을 이용하여 미래 시점의 영상을 생성하기 위한 다양한 연구가 진행되고 있다. 미래 시점의 영상 생성에서 가장 중요한 요소 중 하나는 객체의 움직임 변화이다. 이하 설명하는 기술은 정확한 움직임 추정이 반영된 미래 시점의 영상을 생성하고자 한다.
학습네트워크를 이용한 예측 영상 생성 방법은 학습네트워크가 입력 영상 및 레퍼런스 영상을 입력받는 단계, 상기 학습네트워크의 인코더가 상기 입력 영상을 입력받고, 상기 입력 영상에 대한 제1 특징 벡터를 출력하는 단계, 상기 학습네트워크의 LSTM(Long Short Term Memory)가 상기 제1 특징 벡터를 입력받고, 상기 입력 영상에서 일정 시점이 경과한 시점의 특징 벡터로 추정되는 제2 특징 벡터를 출력하는 단계, 상기 학습네트워크의 디코더가 상기 제2 특징 벡터를 기준으로 생성되는 샘플 영상 및 상기 입력영상을 기준으로 변화를 추정하는 단계 및 상기 디코더가 상기 레퍼런스 영상 및 상기 추정 결과를 결합하여 예측 영상을 생성하는 단계를 포함한다.
학습네트워크를 이용한 예측 영상 생성 장치는 입력 영상을 입력받는 입력 장치, 특정 영상을 기준으로 일정 시간이 경과한 시점의 예측 영상을 생성하는 학습네트워크를 저장하는 저장 장치 및 상기 입력 영상을 상기 학습네트워크에 입력하여 상기 입력 영상에 대한 예측 영상을 생성하는 연산 장치를 포함한다.
상기 학습네트워크는 상기 입력 영상을 입력받고, 상기 입력 영상에 대한 제1 특징 벡터를 출력하는 인코더; 상기 제1 특징 벡터를 입력받고, 상기 입력 영상에서 일정 시간이 경과한 시점의 특징 벡터인 제2 특징 벡터를 출력하는 LSTM(Long Short Term Memory); 상기 제2 특징 벡터를 기준으로 생성되는 샘플 영상 및 상기 입력영상을 기준으로 변화를 추정하고, 레퍼런스 영상 및 상기 추정 결과를 결합하여 예측 영상을 생성하는 디코더를 포함한다.
이하 설명하는 기술은 새로운 인공신경망 모델을 이용하여 움직임 추정의 정확도를 높였고, 동시에 영상의 품질도 향상시킨다.
도 1은 예측 영상을 생성하는 학습네트워크의 구조에 대한 예이다.
도 2는 인코더를 구성하는 계층에 대한 예이다.
도 3은 ConvLSTM에 대한 예이다.
도 4는 디코더를 구성하는 계층에 대한 예이다.
도 5는 학습네트워크에서 예측 영상을 생성하는 과정에 대한 예이다.
도 6은 움직임 추정에 대한 예이다.
도 7은 움직임 합성에 대한 예이다.
도 8은 학습네트워크를 이용하여 예측 영상을 생성하는 장치에 대한 블록도의 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 기계학습(machine learning)모델을 사용하여 영상을 생성하는 기법이다. 이하 설명하는 기술은 기계학습모델을 사용하여 영상을 생성한다. 기계학습모델은 널리 알려진 바와 같이 다양한 모델이 있다. 설명의 편의를 위하여 이하 설명하는 기술은 인공신경망(artificial neural network)을 사용하여 영상을 생성한다고 가정한다. 인공신경망은 다양한 모델이 있다. 예컨대, 인공신경망은 CNN(Convolutional Neural Network), 오코인토더(auto encoder), 컨볼루셔널 인코더-디코더(convolutional encoder/decoder), RNN(Recurrent Neural Network) 등이 있다. 이하 관련 설명에서 사용가능한 인공신경망 모델을 소개한다. 다만 이하 설명에서 언급되지 않은 다양한 다른 대체 모델을 사용하여 영상을 생성할 수 있다. 이하 인공신경망, 신경망 또는 네트워크는 특정한 인공신경망 모델을 지칭한다. 인공신경망, 신경망 또는 네트워크는 단일 모델일 수도 있고, 복수의 모델이 조합된 형태일 수도 있다.
이하 인공신경망을 이용하여 영상을 생성하는 주체는 영상 처리 장치라고 설명하다. 영상 처리 장치는 일정한 데이터 처리 및 연산이 가능한 컴퓨터 장치에 해당한다. 예컨대, 영상 처리 장치는 PC, 스마트기기, 서버 등과 같은 장치로 구현될 수 있다. 영상 처리 장치는 사전에 학습된 인공신경망 모델을 이용하여 입력 영상을 처리한다.
이하 설명하는 기술은 인공신경망을 이용하여 영상을 예측하는 기법에 관한 것이다. 인공신경망은 입력 영상을 기준으로 입력 영상의 시점 후의 프레임을 생성한다. 입력 영상의 시점은 입력 영상이 생성 또는 캡쳐된 시점을 의미한다. 입력 영상의 시점 후의 영상을 미래 영상(future video) 또는 예측 영상이라고 명명한다. 미래 영상은 입력 영상의 시점을 기준으로 특정한 시간이 경과한 시점의 영상이다. 미래 영상은 입력 영상의 바로 다음 프레임의 영상일 수 있다.
도 1은 예측 영상을 생성하는 학습네트워크(100)의 구조에 대한 예이다. 학습네트워크(100)는 인코더(110), ConvLSTM(Convolutional Long Short Term Memory, 120) 및 디코더(130)를 포함한다. 입력 영상은 시간 t 시점의 영상이라고 가정한다.
인코더(110)는 입력 영상에서 특징을 추출한다. 인코더(110)는 입력 영상의 특징맵(feature map)을 출력한다. ConvLSTM(120)은 인코더(110)가 출력하는 특징 벡터
Figure 112019063299609-pat00001
를 t+1 시점의 영상에서 나타날 특징 벡터
Figure 112019063299609-pat00002
로 변경한다. ConvLSTM이
Figure 112019063299609-pat00003
를
Figure 112019063299609-pat00004
로 변경하는 과정을 진화(evolving)라고 명명한다. 디코더(130)는 ConvLSTM(120)이 출력하는 t+1 시점의 특징맵을 입력받아, 일정한 출력 영상을 구성한다. 디코더(130)의 마지막 계층에 두 개의 커널(kernel)이 있다.
디코더(130)는 동적으로 변경되는 특징을 반영하여 예측 영상을 생성한다. 예측 영상은 예측과 업데이트(prediction-update) 과정을 통해 생성된다. 신경망의 커널이 영상 예측 및 업데이트를 수행한다. 영상을 예측하는 커널을 ME(motion estimation) 커널이라고 명명하고, 업데이트하는 커널을 MU(motion update) 커널이라고 명명한다.
예측 과정에서 ME 커널은 현재 프레임(입력 영상)에서 시간에 따른 변화를 추정한다. ME 커널이 출력하는 결과를 추정 결과라고 명명한다.
업데이트 과정에서 MU 커널은 추정 결과를 통합한다. MU 커널은 가중 평균(weighted average)을 사용하여 레퍼런스(reference) 프레임과 함께 추정 결과를 통합한다. 커널들은 현재 프레임뿐만 아니라, 연속적인 프레임 생성에도 관여한다. 신경망은 이전에 코딩된 특징(feature)만을 이용하여 예측 영상을 생성한다. 즉, 신경망은 예측 영상 생성을 위하여 추가적인 입력 영상을 필요로 하지 않는다.
이하 학습네트워크(100)를 구성하는 개별 구성에 대하여 설명한다. 이후 예측 영상을 생성하는 과정에 대하여 상세하게 설명한다.
인코더는 CNN과 유사한 구조를 가질 수 있다. CNN은 컨볼루셔널(합성곱) 계층 (convolution layer)와 풀링 계층 (pooling layer)이 여러 층으로 이루어진 네트워크이다. 컨볼루셔널 계층을 통해 입력 이미지에 필터링을 수행하고 그 결과로 특징맵 (feature map)을 추출한다. 특징맵은 다음 층의 입력으로 사용하여 계층 별로 연속하여 처리한다. 학습이 된 네트워크는 처음에는 에지(edge)같은 영상 내 단순한 구성 요소에 반응하고 계측이 깊어질수록 텍스처(texture), 사물 일부(object parts)에 반응하는 특징을 학습하게 된다.
도 2는 인코더(110)를 구성하는 계층에 대한 예이다.
도 2(A)는 컨볼루셔널 계층에 대한 예이다. 도 2(A)는 컨볼루셔널 계층의 연산을 보여주고 있다. 컨볼루셔널 계층은 입력 이미지에 대한 컨볼루셔널 연산을 통해 특징맵(feature map)을 출력한다. 이때 컨볼루셔널 연산을 수행하는 필터(filter)를 커널(kernel) 이라고도 부른다. 필터의 크기를 필터 크기 또는 커널 크기라고 한다. 커널을 구성하는 연산 파라미터(parameter)를 커널 파라미터(kernel parameter), 필터 파라미터(filter parameter), 또는 가중치(weight)라고 한다. 컨볼루셔널 계층에서는 하나의 입력에 서로 다른 종류의 필터를 사용할 수 있다. 도 2에서 필터의 개수를 n이라고 표시하였다. n은 자연수이다. 이때 하나의 필터가 입력을 처리하는 과정을 컨볼루셔널 채널 (convolution channel)이라고 지칭한다.
도 2(A)는 하나의 채널에서 3x3의 커널 크기를 갖는 필터로 컨볼루셔널 연산을 수행하는 과정에 해당한다. 컨볼루셔널 계층은 입력이미지의 특정 영역을 대상으로 컨볼루션 연산을 수행한다. 도 2에서 점선 사각형으로 표시한 영역이 컨볼루션 연산 대상이다. 연산 영역을 윈도우 (window)라고 부른다. 윈도우는 영상의 좌측 상단에서 우측 하단까지 한 칸씩 이동할 수 있고, 한 번에 이동하는 이동 크기를 조절할 수 있다. 이동 크기를 스트라이드(stride)라고 한다. 컨볼루셔널 계층은 입력이미지에서 윈도우를 이동하면서 입력이미지의 모든 영역에 대하여 컨볼루션 연산을 수행한다. 한편 컨볼루셔널 계층은 영상의 가장 자리에 패딩(padding)을 하여 컨볼루션 연산 후 입력 영상의 차원을 유지시킨다.
컨볼루셔널 계층에서의 연산 결과로 얻은 특징맵을 서브 샘플링(sub sampling)하는 과정을 풀링(pooling layer)이라고 한다. 도 2(B)는 풀링 계층에 대한 예이다. 도 2(B)에서 풀링 계층은 2×2의 윈도우에서 하나의 샘플을 선택하여 그 출력의 가로 및 세로가 입력의 절반이 되도록 한다. 풀링은 스트라이드와 윈도우의 크기가 갖도록 하는 것일 일반적이다. 도 2(B)는 스트라이드와 윈도우 크기가 모두 2로 설정된 예이다. 풀링 연산은 최대 풀링(max pooling)과 평균 풀링(average pooling) 등이 있다. 최대 풀링은 윈도우 내에서 가장 큰 샘플 값을 선택한다. 평균 풀링은 윈도우에 포함된 값의 평균 값으로 샘플링한다.
비선형 연산 계층(nonlinear operation layer)은 뉴런(노드)에서 출력값을 결정하는 계층이다. 비선형 연산 계층은 전달 함수(transfer function)를 사용한다. 전달 함수는 Relu, sigmoid 함수 등이 있다.
도 3은 ConvLSTM(120)에 대한 예이다. 도 3은 ConvLSTM(120)이 영상을 입력받아 예측을 수행하는 과정이다.
LSTM(Long Short term memory)에 대하여 먼저 간략하게 설명한다. RNN은 현재 들어온 입력 데이터와 과거에 입력 받았던 데이터를 학습에 동시에 고려한다. RNN은 LSTM으로 구현될 수 있다. LSTM은 여러 게이트(gate)가 붙어있는 셀(cell)로 이루어져 있다. 해당 셀에 연결된 게이트의 값 또는 가중치를 확인하여 어떤 값을 저장할지, 언제 정보를 내보내거나 삭제할지를 결정한다. 각 셀 마다 이 가중치 값을 학습하며 학습 성능을 높인다.
컨볼루션 LSTM은 시계열 정보를 학습하는 RNN의 구조에 LSTM을 활용하여 비디오 생성할 수 있다. 컨볼루션 LSTM은 입력과 은닉벡터 간 연결을 컨볼루션 필터로 대체하여 기존 LSTM 대비 더 적은 양의 파라미터를 학습시킬 수 있고 지역적 특성 잘 반영할 수 있다.
ConvLSTM(120)은 인코더(110)가 출력하는 특징 벡터를 입력받아, 진화된 특징 벡터를 출력한다. ConvLSTM(120)은 시간 흐름에 따른 특징 변화를 예측하는 것이다.
학습네트워크(100)는 ConvLSTM(120) 외에 다른 구조를 갖는 LSTM을 사용할 수도 있다. 학습네트워크(100)는 시간적 변화를 반영할 수 있는 LSTM을 사용하면 충분하다.
도 4는 디코더(130)를 구성하는 계층에 대한 예이다.
도 4(A)는 역컨볼루셔널 계층(deconvolution layer)에 대한 예이다. 역컨볼루셔널 계층은 컨볼루셔널 계층의 역동작을 수행한다. 역컨볼루셔널 계층은 컨볼루셔널 계층과 반대 방향으로 컨볼루션 연산을 수행한다. 역컨볼루셔널 계층은 입력으로 특징맵을 받아 커널을 이용한 컨볼루션 연산으로 출력 영상을 생성한다. 스트라이드를 1로 하면 역컨볼루셔널 계층은 특징맵의 가로, 세로 크기가 출력의 가로, 세로와 동일한 영상을 출력한다. 스트라이드를 2로 하면 역컨볼루셔널 계층은 특징맵의 가로, 세로 크기 대비 절반 크기의 영상을 출력한다.
도 4(B)는 언풀링 계층(unpooling layer)에 대한 예이다. 언풀링 계층은 풀링 계층의 반대 방향으로 업샘플링(upsampling)을 진행한다. 언풀링 계층은 풀링 계층과 다르게 반대로 차원을 확대하는 역할을 한다. 예컨대, 도 3과는 반대로 언풀링 계층은 하나의 샘플을 2×2의 윈도우로 업 샘플링할 수 있다.
도 5는 학습네트워크(100)에서 예측 영상을 생성하는 과정에 대한 예이다. ME 커널과 MU 커널의 동작을 중심으로 예측 영상 생성 과정을 설명한다.
입력 영상 또는 특징 맵은
Figure 112019063299609-pat00005
라고 정의한다. 여기서, t는 시간 인덱스, h는 프레임 높이, w는 프레임 너비, c는 채널이다.
다음 프레임을 예측하는 ME 커널은
Figure 112019063299609-pat00006
라고 정의한다. ME 커널은 시간에 따른 변화(움직임)를 추정한다. 신경망에서
Figure 112019063299609-pat00007
및
Figure 112019063299609-pat00008
은 (x,y) 좌표에서 샘플 추정(estimation of sample)
Figure 112019063299609-pat00009
를 생성한다. 즉,
Figure 112019063299609-pat00010
이
Figure 112019063299609-pat00011
를 기준으로
Figure 112019063299609-pat00012
생성에 관여한다. 이를 수학식으로 표현하여 아래 수학식 1과 같다.
Figure 112019063299609-pat00013
수학식 1에서
Figure 112019063299609-pat00014
는 f×f 크기 블록의 필터 계수이다. 수학식 1을 살펴보면, 움직임 추정은 컨볼루션 연산을 통해 수행된다. f×f 크기 블록은 필터 계수를 요소로 갖는다. 필터 계수를 갖는 블록을 필터 블록
Figure 112019063299609-pat00015
이라고 명명한다.
도 6은 움직임 추정에 대한 예이다. 움직임 추정은 ME 커널에서 출력하는 필터블록
Figure 112019063299609-pat00016
과 입력 역상
Figure 112019063299609-pat00017
을 컨볼루션하여 수행된다. 움직임 추정은 입력 영상
Figure 112019063299609-pat00018
의 각 좌표(픽셀)에 대하여 필터블록과 컨볼루션하여 수행된다.
MU 커널은
Figure 112019063299609-pat00019
라고 정의한다. MU 커널은 이전 프레임으로부터 변화를 업데이트하여, 미래 프레임
Figure 112019063299609-pat00020
을 생성한다. (x,y) 좌표 기준으로 예측 영상
Figure 112019063299609-pat00021
은 아래 수학식 2와 같이 연산된다.
Figure 112019063299609-pat00022
수학식 2에서
Figure 112019063299609-pat00023
는 대응되는 샘플에 대한 가중치(weight)를 의미한다. MU 커널은 프레임 픽셀별로 가중치를 생성할 수 있다. 가중치는 0에서 1 사이의 값([0,1])을 갖도록 조정될 수 있다.
Figure 112019063299609-pat00024
은 레퍼런스 프레임을 의미한다.
Figure 112019063299609-pat00025
은 과거의 영상으로
Figure 112019063299609-pat00026
또는 영상을 생성하는 시점 기준으로 다른 이전 시점의 영상일 수 있다. 예컨대, 영상 예측으로 생성된 첫 번째 프레임
Figure 112019063299609-pat00027
을 레퍼런스 프레임으로 사용할 수도 있다.
도 7은 움직임 합성에 대한 예이다. 움직임 합성은 레퍼런스 영상
Figure 112019063299609-pat00028
및 움직임 추정 결과
Figure 112019063299609-pat00029
를 이용하여 수행된다. 또 움직임 합성은 MU 커널이 생성한 가중치를 이용하여 수행된다. 수학식 2와 같이, 움직임 합성은 프레임의 각 좌표(픽셀)별로 레퍼런스 영상
Figure 112019063299609-pat00030
과 움직임 추정 결과
Figure 112019063299609-pat00031
에 대한 가중평균을 통해 수행된다.
커널은 입력 영상 시퀀스에 대하여 적응적이다. 커널이 학습네트워크 끝에 있는 디코더로부터 입력 영상을 획득하기 때문이다. 커널은 또한 동적 움직임 추정과 진화 네트워크를 이용하여 시간적으로 특정한 필터링을 할 수도 있다.
이하 인코더와 디코더 동작을 포함하여 예측 영상을 생성하는 과정을 개략적으로 설명한다. 인코더는 입력 프레임의 공간적 특징(spatial feature)을 추출하고, 인코딩한다. 인코더는 CNN을 사용할 수 있다. 코딩된 특징 벡터
Figure 112019063299609-pat00032
는 아래 수학식 3과 같다.
Figure 112019063299609-pat00033
예컨대, 인코딩 네트워크 ENC()를 위하여 VGG16 네트워크가 사용될 수 있다. 또 인코더는 ReLU 계층, 배치 균일화 및 맥스-풀링 계층을 포함할 수 있다.
인코딩된 특징
Figure 112019063299609-pat00034
는 ConvLSTM을 통해 진화(특징 변경)된다. ConvLSTM은
Figure 112019063299609-pat00035
를 수신하여 메모리 셀
Figure 112019063299609-pat00036
에 상태를 보유하고, 재귀적으로 특징 벡터
Figure 112019063299609-pat00037
를 생성한다. ConvLSTM가 생성하는 진화된 특징 벡터는 아래의 수학식 4와 같이 표현할 수 있다.
Figure 112019063299609-pat00038
Figure 112019063299609-pat00039
는 진화된 특징 벡터이고,
Figure 112019063299609-pat00040
는 다음 셀 상태이다. 두 개 계층을 갖는 ConvLSTM을 사용할 수 있다. 두 개 계층은 각각 3 × 3과 7 × 7로 필터 크기가 서로 다를 수 있다. 이는 다양한 움직임 패턴에 대응하기 위한 것이다.
디코더는 특징 벡터를 입력받아 미래 프레임을 구성한다. 이를 위해 디코더는 다음과 같은 ME 커널 및 MU 커널을 가질 수 있다.
Figure 112019063299609-pat00041
DEC는 디코딩 네트워크를 의미한다.
Figure 112019063299609-pat00042
의 차원은
Figure 112019063299609-pat00043
범위 내이다.
Figure 112019063299609-pat00044
의 차원은
Figure 112019063299609-pat00045
범위 내이다. 모든 채널에 대하여 각각 동일한 커널을 사용할 수 있다. 이 경우 c는 1로 설정된다.
디코더에서 역컨볼루셔널 계층은 차원(dimension)을 회복한다. 이때 역컨볼셔널 계층은 가장자리 결함(artifacts)을 일으킬 수 있다. 이와 같은 품질 저하를 막기위하여 양선형 보간법(bilinear interpolation)과 같은 기법을 적용할 수 있다. 디코더의 마지막 계층은 1 × 1 크기의 컨볼루셔널 계층 및 쌍곡선 탄젠트(hyperbolic tangent) 활성화 함수를 사용할 수 있다.
ME 커널은 영상에서 시간 흐름에 따른 변화를 예측한다. 수학식 1에서 살펴본 바와 같이 ME 커널은
Figure 112019063299609-pat00046
와 같이 변화를 추정한다.
지역적 커널은 주변 픽셀들을 필터링하여 새로운 샘플을 생성하도록 학습된다. 필터의 크기가 결과에 많은 영향을 준다. 필터 크기가 작다면, 움직임이 충분히 표현되지 못한다. 이에 반하여 필터 크기가 너무 크다면, 훈련 시간이 매우 오래 걸린다. 필터 크기는 입력 영상의 1/8 ~ 1/4 크기로 설정될 수 있다.
ME 커널은 추정 결과를 업데이트한다. 커널에서 각 계수는 현재 픽셀 위치에서 픽셀값을 업데이트하기 위한 가능성에 기여한다.
신경망은 과거의 원본 영상 없이 새로운 영상을 예측한다. 다른 말로 하면, 과거 영상 프레임이 제한된 개수만 있어서 특징 벡터
Figure 112019063299609-pat00047
를 더 이상 이용할 수 없는 경우,
Figure 112019063299609-pat00048
는 수학식 4의
Figure 112019063299609-pat00049
로 대체될 수 있다. ConvLSTM은 진화된 특징 벡터만을 이용하여 벡터를 계속적으로 업데이트하고, 이를 통해 미리 영상을 생성한다. 예컨대, 신경망 파라미터를 최적화하는 동안 몇 개의 입력 영상 프레임으로
Figure 112019063299609-pat00050
를 사용할 수 있다. 또 이후 예측 영상 생성을 위하여 입력 영상을
Figure 112019063299609-pat00051
로 변경할 수 있다.
도 5는 하나의 입력 영상을 기준으로 예측 영상을 생성하는 과정에 대한 예이다. 영상 처리 장치는 생성한 예측 영상을 학습네트워크(100)에 피드백하여 이후 시점의 영상을 다시 예측하고, 생성할 수도 있다.
이하 학습네트워크(100)를 훈련하는 과정에 대하여 설명한다.
손실 함수(loss function)
훈련 과정에서 비용 함수 L은 생성된 영상의 품질을 고려하여 채택할 수 있다. 예컨대, L은 아래의 수학식 6과 같이 결정할 수 있다.
Figure 112019063299609-pat00052
수학식 6에서
Figure 112019063299609-pat00053
,
Figure 112019063299609-pat00054
및
Figure 112019063299609-pat00055
는 학습 파라미터이고, 각각 1, 10-2, 10-3으로 설정될 수 있다. Limg는 실제 프레임과 예측된 프레임의 구조적 유사성을 유지하기 위한 것이다. Limg = LTLP + LGRD로 정의된다. LTLP는 원본 영상
Figure 112019063299609-pat00056
와 생성된 영상
Figure 112019063299609-pat00057
사이의 LP 패널티 손실에 대한 절단(truncated) 값이다. LTLP는 아래의 수학식 7과 같다.
Figure 112019063299609-pat00058
원본 영상과 생성된 영상 사이의 차이가 임계값 θ보다 작다면, LTLP는 일정한 값을 유지한다. 따라서 LTLP는 작은 조도 변화나 잡음에 대하여 신뢰도를 부여하는 기능을 한다. LGRD는 객체의 경계를 또렷하게(sharpening) 하고, 그레디언트 성분을 강화하는데 사용된다. LGRD는 구조적 유사성에 대한 품질을 나타내는 SSIM(structural similarity index)에 영향을 준다고 알려졌다. LGRD는 아래의 수학식 8과 같다.
Figure 112019063299609-pat00059
Llstm은 시간적 유사도를 향상시킨다. ConvLSTM은 진화된 특징 벡터
Figure 112019063299609-pat00060
을 가능한
Figure 112019063299609-pat00061
에 가깝게 만든다.
Figure 112019063299609-pat00062
은 프레임
Figure 112019063299609-pat00063
을 인코딩하여 직접 획득된다. Llstm은
Figure 112019063299609-pat00064
와
Figure 112019063299609-pat00065
사이의 크로스 엔트로피(cross entropy)라고 정의한다. Llstm은 아래 수학식 9와 같이 표현된다.
Figure 112019063299609-pat00066
수학식 9에서 J는 하나의 프레임에 있는 전체 특징 벡터의 개수이다.
Figure 112019063299609-pat00067
는 정규화 벡터이다.
Ladv는 생성된 프레임을 진짜 프레임과 같이 자연스럽게 만든다. GAN(Generative Adversarial Network)의 손실과 같은 역할을 한다. Ladv는 아래의 수학식 10과 같이 표현된다.
Figure 112019063299609-pat00068
수학식 10에서 함수 D는 입력이 진짜인지 아닌지를 구별하는 구별기(discriminator)에 해당한다.
모델 훈련
전체 신경망은 움직임 추정(ME)와 움직임 업데이트(MU) 과정을 통해 훈련된다.
첫 번째 과정(움직임 추정)에서 ME 커널은 입력된 실제 영상과 생성된 영상(추정 샘플)
Figure 112019063299609-pat00069
사이의 손실을 최소화하도록 학습된다.
연구자가 실험 과정에서 설정한 값을 설명한다. 물론 이는 하나의 예이다. 30번의 에포크(ephoch) 동안 학습율은 10-4로 설정하였고, 배치 크기는 32로 설정하였다. 비용 함수에서 가중치 파라미터
Figure 112019063299609-pat00070
= 1,
Figure 112019063299609-pat00071
= 10,
Figure 112019063299609-pat00072
= 10-4로 설정하였다. ME 커널 이전의 컨볼루셔널 계층의 모든 파라미터는 널리 알려진 역-전사 (back-propagation) 알고리즘을 사용하여 훈련하였다. 따라서, 경사 하강(gradient descent) 알고리즘을 통해 ME 커널이 훈련된다면, 전체 신경망도 훈련 가능하다.
입력 프레임
Figure 112019063299609-pat00073
을 재구성하는
Figure 112019063299609-pat00074
를 아래의 수학식 11과 같이 표현할 수 있다.
Figure 112019063299609-pat00075
Figure 112019063299609-pat00076
는 h × w 크기의 프레임에서의 샘플 값이다. ME 커널 전의 계층들에서의 파라미터 설정을
Figure 112019063299609-pat00077
라고 하면,
Figure 112019063299609-pat00078
는 아래 수학식 12와 같이 표현될 수 있다.
Figure 112019063299609-pat00079
Figure 112019063299609-pat00080
은 전체 가중치 메트릭스이다.
Figure 112019063299609-pat00081
로 표기되는 ME 커널은
Figure 112019063299609-pat00082
와
Figure 112019063299609-pat00083
의 행렬 곱셈으로 마지막 계층에서 연산된다.
Figure 112019063299609-pat00084
Figure 112019063299609-pat00085
는 수학적 편의를 위해 도입한 것이다.
Figure 112019063299609-pat00086
는 아래의 수학식 14와 같이 표현된다.
Figure 112019063299609-pat00087
Figure 112019063299609-pat00088
은 f×f 개수의 요소(element)를 갖는다. 요소는 행(row)에 수학식 1에서 설명한
Figure 112019063299609-pat00089
을 포함한다. 따라서 아래의 수학식 15와 같이 다음 프레임을 예측할 수 있다.
Figure 112019063299609-pat00090
ME 커널의 역 전사를 위한 손실함수의 그레디언트
Figure 112019063299609-pat00091
를 연산할 수 있다. 손실 함수는 서로 다른 항목(term)의 조합이다. 손실 함수에서 LTLP가 주요하게 영향을 미칠 수 있다. 따라서
Figure 112019063299609-pat00092
라고 가정하면, 그레디언트 항목은 아래의 수학식 16과 같이 주어진다.
Figure 112019063299609-pat00093
Figure 112019063299609-pat00094
는
Figure 112019063299609-pat00095
훈련 과정에서 손실을 의미한다. 수학식 7에서 p = 2이다. 에러가 임계값 θ보다 작은 경우,
Figure 112019063299609-pat00096
의 미분은
Figure 112019063299609-pat00097
와 같이 연산할 수 있다. 에러가 θ 이상인 경우, 훈련 샘플을 무시하고 그레디언트 업데이트에 사용하지 않는다.
두 번째 과정(움직임 업데이트)에서 MU 커널은 입력 영상과 생성한 예측 영상
Figure 112019063299609-pat00098
사이의 손실을 최소화하도록 훈련된다.
연구자가 실험 과정에서 설정한 값을 설명한다. 물론 이는 하나의 예이다. 10번의 에포크(ephoch) 동안 학습율은 10-4로 설정하였고, 배치 크기는 32로 설정하였다. 비용 함수에서 가중치 파라미터
Figure 112019063299609-pat00099
= 1,
Figure 112019063299609-pat00100
= 10-3,
Figure 112019063299609-pat00101
= 10-4로 설정하였다.
ME 커널의 훈련과 유사하게, 그레디언트 항목
Figure 112019063299609-pat00102
을 연산할 수 있다. Z는 MU를 위한 전체 가중치 행렬이다. MU 커널
Figure 112019063299609-pat00103
은 아래의 수학식 17과 같이 연산된다.
Figure 112019063299609-pat00104
예측된 샘플은 아래의 수학식 18과 같이 업데이트 될 수 있다.
Figure 112019063299609-pat00105
Figure 112019063299609-pat00106
는 요소별(element-wise) 연산 결과를 나타낸다. I는 하나의 벡터이다. 최종적으로 그레디언트 항목을 아래의 수학식 19와 같이 연산할 수 있다.
Figure 112019063299609-pat00107
도 8은 학습네트워크를 이용하여 예측 영상을 생성하는 장치(200)에 대한 블록도의 예이다. 예측 영상 생성 장치(200)는 전술한 학습네트워크를 이용하여 예측 영상을 생성하는 장치이다. 예측 영상 생성 장치(200)는 전술한 영상 처리 장치에 해당한다. 예측 영상 생성 장치(200)는 미리 학습된 학습네트워크를 수신할 수 있다. 또는 예측 영상 생성 장치(200)가 학습네트워크를 훈련 데이터를 이용하여 학습시킬 수도 있다.
예측 영상 생성 장치(200)는 저장 장치(210), 메모리(220), 연산장치(230), 인터페이스 장치(240) 및 통신 장치(250)를 포함한다.
저장 장치(210)는 예측 영상 생성 장치(200)의 동작을 위한 프로그램 내지 코드를 저장할 수 있다. 저장 장치(210)는 전술한 학습네트워크(100)를 저장한다. 나아가 저장 장치(210)는 학습네트워크 학습을 위한 프로그램 내지 코드를 저장할 수도 있다.
메모리(220)는 예측 영상 생성 장치(200)의 동작 과정에서 생성되는 데이터 및 정보 등을 임시 저장할 수 있다.
인터페이스 장치(240)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(240)는 물리적으로 연결된 입력 장치 또는 물리적인 인터페이스(키패드, 터치 패널 등)로부터 일정한 정보를 입력받을 수 있다. 인터페이스 장치(240)는 학습네트워크, 학습네트워크 학습을 위한 정보, 학습 데이터 등을 입력받을 수 있다. 인터페이스 장치(240)는 학습네트워크 업데이트를 위한 파라미터값을 입력받을 수도 있다. 인터페이스 장치(240)는 입력 영상을 입력받을 수 있다.
통신 장치(250)는 무선 네트워크를 통해 일정한 정보를 송수신한다. 통신 장치(250)는 학습네트워크, 학습네트워크 학습을 위한 정보, 학습 데이터 등을 수신할 수 있다. 통신 장치(250)는 학습네트워크 업데이트를 위한 파라미터값을 수신할 수 있다. 통신 장치(250)는 학습네트워크에 입력하기 위한 입력 영상을 수신할 수 있다. 통신 장치(250)는 학습네트워크가 생성한 예측 영상을 외부 객체에 전송할 수 있다.
인터페이스 장치(240) 및 통신 장치(250)는 사용자 또는 외부 객체로부터 일정한 정보 및 데이터를 입력받을 수 있다. 따라서 인터페이스 장치(240) 및 통신 장치(250)를 포괄하여 입력 장치라고 명명할 수 있다.
연산 장치(230)는 저장장치(210)에 저장된 프로그램 내지 코드를 이용하여 예측 영상 생성 장치(200)의 동작을 제어한다. 연산 장치(230)는 학습네트워크를 이용하여 예측 영상을 생성한다. 연산 장치(230)는 입력 영상을 학습네트워크에 입력하여, 일정한 예측 영상을 생성할 수 있다.
연산 장치(230)는 디코더의 마지막 계층에 위치한 ME 커널이 디코더가 구성한 샘플 영상을 기준으로 생성한 일정 크기 블록의 필터 계수와 입력 영상을 컨볼루션하여 움직임 변화를 추정한 추정 결과를 생성할 수 있다.
연산 장치(230)는 디코더의 마지막 계층에 위치한 MU 커널이 샘플 영상을 기준으로 생성한 픽셀별 가중치를 연산하고, 레퍼런스 영상 및 추정 결과에 상기 가중치를 적용한 연산(가중 평균)을 하여 예측 영상을 생성할 수 있다.
또한 연산 장치(230)는 입력 영상을 기준으로 예측한 예측 영상을 다시 학습 네트워크에 입력하여 이후 시점의 미래 영상을 연속으로 생성할 수도 있다.
연산 장치(230)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
또한, 상술한 바와 같은 학습네트워크 학습 방법 및 예측 영상 생성 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (14)

  1. 영상을 입력받아 처리하는 학습네트워크가 예측 영상을 생성하는 방법에 있어서,
    영상처리장치의 입력장치가 입력 영상 및 레퍼런스 영상을 입력받는 단계;
    상기 영상처리장치의 연산장치가 학습네트워크의 인코더에 상기 입력 영상을 입력하여, 상기 입력 영상에 대한 제1 특징 벡터를 출력하는 단계;
    상기 연산장치가 상기 학습네트워크의 LSTM(Long Short Term Memory)에 상기 제1 특징 벡터를 입력하여, 상기 입력 영상에서 일정 시점이 경과한 시점의 특징 벡터로 추정되는 제2 특징 벡터를 출력하는 단계;
    상기 연산장치가 상기 학습네트워크의 디코더에 상기 제2 특징 벡터를 입력하여 샘플 영상을 생성하고, 상기 샘플 영상 및 상기 입력영상을 기준으로 변화를 추정하는 단계; 및
    상기 연산장치가 상기 레퍼런스 영상 및 상기 추정 결과를 결합하여 예측 영상을 생성하는 단계를 포함하되,
    상기 디코더는 아래 수학식으로 상기 변화를 추정하는 학습네트워크를 이용한 예측 영상 생성 방법.
    Figure 112020500811540-pat00128

    (여기서,
    Figure 112020500811540-pat00129
    는 시간 t 시점의 입력 영상,
    Figure 112020500811540-pat00130
    는 f×f 크기 블록의 필터 계수,
    Figure 112020500811540-pat00131
    는 (x, y) 위치에서 시간 t+1 시점의 추정 결과)
  2. 제1항에 있어서,
    상기 변화를 추정하는 단계는
    상기 디코더의 마지막 계층에 위치한 추정 커널이 상기 샘플 영상을 기준으로 일정 크기 블록에 대한 필터 계수를 생성하는 단계; 및
    상기 연산 장치가 상기 입력 영상 및 상기 블록을 컨볼루션 연산하여 상기 변화를 추정하는 단계를 포함하는 학습네트워크를 이용한 예측 영상 생성 방법.
  3. 제1항에 있어서,
    상기 예측 영상을 생성하는 단계는
    상기 디코더의 마지막 계층에 위치한 업데이트 커널이 상기 샘플 영상을 기준으로 픽셀별 가중치를 생성하는 단계; 및
    상기 연산 장치가 상기 레퍼런스 영상 및 상기 추정 결과에 상기 가중치를 적용한 연산을 하여 상기 예측 영상을 생성하는 단계를 포함하는 학습네트워크를 이용한 예측 영상 생성 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 디코더는 아래 수학식으로 상기 예측 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 방법.
    Figure 112019063299609-pat00112

    (여기서,
    Figure 112019063299609-pat00113
    은 레퍼런스 영상,
    Figure 112019063299609-pat00114
    는 (x, y) 위치에서의 가중치,
    Figure 112019063299609-pat00115
    은 t+1 시점에서의 예측 영상, t는 입력 영상의 시점)
  6. 제1항에 있어서,
    상기 학습네트워크는 상기 예측 영상 및 레퍼런스 영상을 입력받아 상기 예측 영상에서 일정 시점이 경과한 시점의 예측 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 방법.
  7. 제1항에 있어서,
    상기 LSTM은 서로 다른 필터 크기를 갖는 복수의 계층을 포함하는 예측 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 방법.
  8. 제1항에 있어서,
    상기 학습네트워크는 비용 함수
    Figure 112019063299609-pat00116
    을 이용하여 학습되는 예측 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 방법.
    (여기서,
    Figure 112019063299609-pat00117
    ,
    Figure 112019063299609-pat00118
    및
    Figure 112019063299609-pat00119
    는 학습 파라미터이고, Limg는 실제 프레임과 예측된 프레임의 구조적 유사성에 대한 비용, Llstm은 상기 제1 특징 벡터와 상기 예측 영상의 특징 벡터 사이의 크로스 엔트로피, Ladv는 대립 관계 비용)
  9. 컴퓨터에서 제1항 내지 제3항 및 제5항 내지 제8항 중 어느 하나의 항에 예측 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 입력 영상을 입력받는 입력 장치;
    특정 영상을 기준으로 일정 시간이 경과한 시점의 예측 영상을 생성하는 학습네트워크를 저장하는 저장 장치; 및
    상기 입력 영상을 상기 학습네트워크에 입력하여 상기 입력 영상에 대한 예측 영상을 생성하는 연산 장치를 포함하되,
    상기 학습네트워크는 상기 입력 영상을 입력받고, 상기 입력 영상에 대한 제1 특징 벡터를 출력하는 인코더; 상기 제1 특징 벡터를 입력받고, 상기 입력 영상에서 일정 시간이 경과한 시점의 특징 벡터인 제2 특징 벡터를 출력하는 LSTM(Long Short Term Memory); 상기 제2 특징 벡터를 기준으로 생성되는 샘플 영상 및 상기 입력영상을 기준으로 변화를 추정하고, 레퍼런스 영상 및 상기 추정 결과를 결합하여 예측 영상을 생성하는 디코더를 포함하되,
    상기 디코더는 아래 수학식으로 상기 예측 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 장치.
    Figure 112019118146544-pat00132

    (여기서,
    Figure 112019118146544-pat00133
    은 레퍼런스 영상,
    Figure 112019118146544-pat00134
    는 (x, y) 위치에서의 가중치,
    Figure 112019118146544-pat00135
    은 t+1 시점에서의 예측 영상, t는 입력 영상의 시점)
  11. 제10항에 있어서,
    상기 연산 장치는
    상기 디코더의 마지막 계층에 위치한 추정 커널이 상기 샘플 영상을 기준으로 생성한 일정 크기 블록의 필터 계수와 상기 입력 영상을 컨볼루션하여 상기 변화를 추정하는 학습네트워크를 이용한 예측 영상 생성 장치.
  12. 제10항에 있어서,
    상기 연산 장치는
    상기 디코더의 마지막 계층에 위치한 업데이트 커널이 상기 샘플 영상을 기준으로 생성한 픽셀별 가중치를 연산하고,
    상기 레퍼런스 영상 및 상기 추정 결과에 상기 가중치를 적용한 연산을 하여 상기 예측 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 장치.
  13. 제10항에 있어서,
    상기 레퍼런스 영상은 상기 입력 영상의 시점보다 과거 시점의 영상인 학습네트워크를 이용한 예측 영상 생성 장치.
  14. 제10항에 있어서,
    상기 연산 장치는
    상기 예측 영상을 상기 학습 네트워크에 입력하여 상기 예측 영상의 시점 후의 영상을 생성하는 학습네트워크를 이용한 예측 영상 생성 장치.
KR1020190073438A 2018-12-03 2019-06-20 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치 KR102093577B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180153650 2018-12-03
KR20180153650 2018-12-03

Publications (1)

Publication Number Publication Date
KR102093577B1 true KR102093577B1 (ko) 2020-05-15

Family

ID=70678983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190073438A KR102093577B1 (ko) 2018-12-03 2019-06-20 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치

Country Status (1)

Country Link
KR (1) KR102093577B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053375A (zh) * 2020-08-26 2020-12-08 上海眼控科技股份有限公司 基于改进的网络卷积模型预测临近预报的方法及设备
KR102340963B1 (ko) * 2021-02-05 2021-12-20 주식회사 파인드커넥트 Ai 기반의 영상 제작 방법 및 장치
KR20220081676A (ko) 2020-12-09 2022-06-16 서울과학기술대학교 산학협력단 Lstm 기반의 개인화 시점 추정 방법 및 장치
KR102472299B1 (ko) * 2021-11-03 2022-11-30 주식회사 웨이센 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법
CN115883424A (zh) * 2023-02-20 2023-03-31 齐鲁工业大学(山东省科学院) 一种高速骨干网间流量数据预测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060666A1 (en) * 2016-08-29 2018-03-01 Nec Laboratories America, Inc. Video system using dual stage attention based recurrent neural network for future event prediction
KR20180065498A (ko) * 2016-12-08 2018-06-18 한국항공대학교산학협력단 딥 신경망 학습 방법 및 그를 이용한 다음 예측 영상 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060666A1 (en) * 2016-08-29 2018-03-01 Nec Laboratories America, Inc. Video system using dual stage attention based recurrent neural network for future event prediction
KR20180065498A (ko) * 2016-12-08 2018-06-18 한국항공대학교산학협력단 딥 신경망 학습 방법 및 그를 이용한 다음 예측 영상 생성 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
N. Srivastava, E. Mansimov, and R. Salakhudinov, Unsupervised learning of video representations using lstms, International conference on machine learning, pages 843-852, 2015.
Villegas, Ruben, et al. Learning to Generate Long-term Future via Hierarchical Prediction. arXiv preprint arXiv:1704.05831. 2018.1.8.* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053375A (zh) * 2020-08-26 2020-12-08 上海眼控科技股份有限公司 基于改进的网络卷积模型预测临近预报的方法及设备
KR20220081676A (ko) 2020-12-09 2022-06-16 서울과학기술대학교 산학협력단 Lstm 기반의 개인화 시점 추정 방법 및 장치
US11386523B2 (en) 2020-12-09 2022-07-12 Fdn. for Res. & Bus., Seoul Nat. Univ. of Sci. & Tech. LSTM based personalization view point estimation apparatus and method
KR102340963B1 (ko) * 2021-02-05 2021-12-20 주식회사 파인드커넥트 Ai 기반의 영상 제작 방법 및 장치
KR102472299B1 (ko) * 2021-11-03 2022-11-30 주식회사 웨이센 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법
CN115883424A (zh) * 2023-02-20 2023-03-31 齐鲁工业大学(山东省科学院) 一种高速骨干网间流量数据预测方法及系统
CN115883424B (zh) * 2023-02-20 2023-05-23 齐鲁工业大学(山东省科学院) 一种高速骨干网间流量数据预测方法及系统

Similar Documents

Publication Publication Date Title
KR102093577B1 (ko) 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치
CN109068174B (zh) 基于循环卷积神经网络的视频帧率上变换方法及系统
Kumar et al. Videoflow: A flow-based generative model for video
CN109379550B (zh) 基于卷积神经网络的视频帧率上变换方法及系统
CN109064507B (zh) 一种用于视频预测的多运动流深度卷积网络模型方法
US10593021B1 (en) Motion deblurring using neural network architectures
Dosovitskiy et al. Generating images with perceptual similarity metrics based on deep networks
CN108549839B (zh) 自适应特征融合的多尺度相关滤波视觉跟踪方法
CA3144236A1 (en) Real-time video ultra resolution
US20230046066A1 (en) Method and apparatus for video recognition
WO2022104202A1 (en) A temporal bottleneck attention architecture for video action recognition
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN112990078B (zh) 一种基于生成式对抗网络的人脸表情生成方法
KR102162451B1 (ko) 학습네트워크 기반의 비디오 보간 방법 및 비디오 보외 방법
CN109168003B (zh) 一种生成用于视频预测的神经网络模型的方法
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
KR20210093875A (ko) 비디오 분석 방법 및 연관된 모델 훈련 방법, 기기, 장치
CN111508000B (zh) 基于参数空间噪声网络的深度强化学习目标跟踪方法
CN116402679A (zh) 一种轻量级红外超分辨率自适应重建方法
CN110659641B (zh) 一种文字识别的方法、装置及电子设备
WO2022205416A1 (zh) 一种基于生成式对抗网络的人脸表情生成方法
KR102057395B1 (ko) 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법
CN114170558A (zh) 用于视频处理的方法、系统、设备、介质和产品
US20230254230A1 (en) Processing a time-varying signal

Legal Events

Date Code Title Description
GRNT Written decision to grant