KR102201297B1 - 다중 플로우 기반 프레임 보간 장치 및 방법 - Google Patents

다중 플로우 기반 프레임 보간 장치 및 방법 Download PDF

Info

Publication number
KR102201297B1
KR102201297B1 KR1020200064766A KR20200064766A KR102201297B1 KR 102201297 B1 KR102201297 B1 KR 102201297B1 KR 1020200064766 A KR1020200064766 A KR 1020200064766A KR 20200064766 A KR20200064766 A KR 20200064766A KR 102201297 B1 KR102201297 B1 KR 102201297B1
Authority
KR
South Korea
Prior art keywords
frame
map
interpolation
target
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200064766A
Other languages
English (en)
Inventor
이상윤
이형민
김태오
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200064766A priority Critical patent/KR102201297B1/ko
Priority to PCT/KR2020/011173 priority patent/WO2021241804A1/ko
Application granted granted Critical
Publication of KR102201297B1 publication Critical patent/KR102201297B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 미리 학습된 패턴 추정 방식에 따라 두 개의 대상 프레임 사이에서 픽셀들 간의 관계에 따른 패턴을 추정하여 모션 특징맵을 획득하는 모션 특징 추출부, 미리 학습된 패턴 추정 방식에 따라 모션 특징맵의 패턴을 추정하여, 생성되어야 하는 보간 프레임의 각 픽셀이 두 개의 대상 프레임 각각에서 참조해야하는 적어도 하나의 픽셀 위치를 나타내는 2개의 플로우맵과, 보간 프레임의 각 픽셀에 대한 두 개의 대상 프레임의 각 픽셀의 중요도를 나타내는 2개의 가중치맵을 획득하고, 두 개의 대상 프레임 각각을 2개의 플로우맵과 2개의 가중치맵 중 대응하는 플로우맵과 가중치맵을 이용하여 와핑하여 2개의 와핑 프레임을 획득하는 와핑 프레임 획득부, 미리 학습된 패턴 추정 방식에 따라 모션 특징맵의 패턴을 추정하여, 2개의 대상 프레임의 폐색 영역을 나타내는 폐색맵을 획득하는 폐색맵 획득부 및 2개의 와핑 프레임과 폐색맵을 기지정된 방식으로 결합하여 보간 프레임을 획득하는 보간 프레임 획득부를 포함하여, 대상 프레임의 다양한 개수의 픽셀과 위치를 참조하여 보간 프레임의 각 픽셀을 생성하므로 다양하고 복잡한 동작 및 큰 동작이 포함되거나 폐색 영역 존재하는 경우에도 정확한 보간 프레임을 획득할 수 있는 프레임 보간 장치 및 방법을 제공할 수 있다.

Description

다중 플로우 기반 프레임 보간 장치 및 방법{Apparatus and method for interpolating frames based on multiple flows}
본 발명은 프레임 보간 장치 및 방법에 관한 것으로, 다중 플로우 기반 프레임 보간 장치 및 방법에 관한 것이다.
비디오 프레임 보간은 비디오 영상에서 시간적으로 인접한 두 프레임이 주어졌을 때, 두 프레임 사이의 프레임을 생성하여 초당 프레임 수를 늘리는 기술로, 비디오 처리 분야에서 가장 어려운 과제들 중 하나이다.
프레임 보간 기술을 이용하면, 전문적인 고가의 고속 카메라를 사용하지 않고도 일반 비디오에서 슬로우 모션 비디오를 획득할 수 있을 뿐만 아니라, 비디오의 프레임 속도를 자유롭게 변환하여 비디오 코딩 시스템에 적용할 수 있다는 장점이 있다. 다만 비디오 프레임 보간은 이미지의 픽셀 보간과 달리 픽셀의 움직임에 대한 이해가 필요하다. 실제 비디오에는 단순한 동작뿐만 아니라 크고 복잡한 동작도 포함되어 있어 비디오 프레임 보간 작업을 매우 어렵게 한다.
이에 최근에는 딥러닝(deep learning)을 이용한 다양한 방법들이 제안되고 있는데, 이들의 대부분은 자체적인 와핑(warping) 연산을 정의하여 복원하고자 하는 픽셀을 얻기 위해 필요한 인접 프레임 상의 참조할 위치를 찾는 데 집중한다.
이와 같이 픽셀의 동작을 분석하여 프레임 보간을 수행하는 기존의 비디오 프레임 보간 기법의 대표적인 예로 커널 기반 프레임 보간 기법과 플로우 기반 프레임 보간 기법이 있다.
커널 기반 프레임 보간 기법은 두 개의 인접한 대상 프레임 사이에 위치할 보간 프레임의 각 픽셀을 생성하는데 필요한 정보를 획득하기 위해, 두 개의 대상 프레임에서 생성하고자 하는 픽셀의 위치를 중심으로 주변을 탐색하는 기법이다. 커널 기반 프레임 보간 기법에서는 픽셀 탐색에 충분한 크기의 커널(kernel)을 추정하고, 두 개의 대상 프레임에서 추정된 커널의 크기 범위에서 관심있는 픽셀에 큰 가중치를 할당하여 적절한 참조 위치를 탐색하는 기법이다. 다만, 커널 기반 프레임 보간 기법에서는 커널의 크기보다 큰 움직임을 다룰 수 없다는 한계가 있다. 또한 움직임이 작거나 없는 상황에서도 큰 크기의 커널을 항상 유지해야 하므로 비효율적이라는 문제가 있다.
한편, 플로우 기반 프레임 보간 기법은 보간 프레임의 각 픽셀을 생성하는데 필요한 정보를 두 개의 대상 프레임 상의 대응하는 픽셀의 위치를 가리키는 벡터를 생성하는 기법이다. 플로우 기반 프레임 보간 기법에서는 각 벡터가 가리키는 위치의 픽셀 값을 조합하여 얻고자 하는 픽셀의 값을 계산한다. 다만 플로우 기반 프레임 보간 기법에서는 프레임 하나당 단 하나의 픽셀만을 참조하기 때문에 복잡한 움직임을 다룰 수 없다는 한계가 있을 뿐만 아니라, 입력된 대상 프레임의 화질이 좋지 않을 경우, 안정적인 보간 프레임 생성을 위해 둘 이상의 다수의 픽셀을 참조해야 할 필요가 있을 수 있다는 문제가 있다.
상기한 커널 기반 프레임 보간 기법과 플로우 기반 프레임 보간 기법의 단점을 보완하기 위해 커널 및 플로우 조합 기반 프레임 보간 기법도 제안된 바가 있다. 커널 및 플로우 조합 기반 프레임 보간 기법은 커널 기반 프레임 보간 기법에 비해 상대적으로 작은 크기로 커널을 추정한 후, 추가적으로 추정된 벡터만큼 그 커널을 평행이동 시켜 대응하는 픽셀의 위치를 판별하는 기법이다. 그러나 커널 및 플로우 조합 기반 프레임 보간 기법 또한 커널의 크기가 크지 않다는 점에서 플로우 기반의 프레임 보간 기술과 유사한 단점이 존재할 뿐만 아니라, 커널의 크기 또는 모양이 자유롭지 않다는 한계가 있다.
한국 등록 특허 제10-2066012호 (2020.01.08 등록)
본 발명의 목적은 대상 프레임의 다양한 개수의 픽셀과 위치를 참조하여 보간 프레임의 각 픽셀을 생성할 수 있어, 다양하고 복잡한 동작이 포함된 비디오에서도 정확한 보간 프레임을 획득할 수 있는 프레임 보간 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 대상 프레임에 폐색 영역에 대해서도 정확하게 보간 프레임을 생성할 수 있는 프레임 보간 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 프레임 보간 장치는 다수의 프레임으로 구성된 비디오 영상에서 시간적으로 인접한 두 개의 대상 프레임을 인가받고, 미리 학습된 패턴 추정 방식에 따라 인가된 두 개의 대상 프레임 사이에서 픽셀들 간의 관계에 따른 패턴을 추정하여 모션 특징맵을 획득하는 모션 특징 추출부; 미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 생성되어야 하는 보간 프레임의 각 픽셀이 상기 두 개의 대상 프레임 각각에서 참조해야하는 적어도 하나의 픽셀 위치를 나타내는 2개의 플로우맵과, 상기 보간 프레임의 각 픽셀에 대한 상기 두 개의 대상 프레임의 각 픽셀의 중요도를 나타내는 2개의 가중치맵을 획득하고, 두 개의 대상 프레임 각각을 상기 2개의 플로우맵과 상기 2개의 가중치맵 중 대응하는 플로우맵과 가중치맵을 이용하여 와핑하여 2개의 와핑 프레임을 획득하는 와핑 프레임 획득부; 미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 상기 2개의 대상 프레임의 폐색 영역을 나타내는 폐색맵을 획득하는 폐색맵 획득부; 및 상기 2개의 와핑 프레임과 상기 폐색맵을 기지정된 방식으로 결합하여 상기 보간 프레임을 획득하는 보간 프레임 획득부를 포함한다.
상기 와핑 프레임 획득부는 상기 두 개의 대상 프레임 중 제1 대상 프레임의 다수의 픽셀 중 상기 보간 프레임의 각 픽셀이 참조해야하는 픽셀들의 위치를 추정하여 제1 플로우맵을 획득하고, 제2 대상 프레임의 다수의 픽셀 중 상기 보간 프레임의 각 픽셀이 참조해야하는 적어도 하나의 픽셀들의 추정하여 제2 플로우맵을 획득하는 플로우맵 획득부; 상기 두 개의 대상 프레임 중 제1 대상 프레임의 다수의 픽셀 각각이 상기 보간 프레임의 각 픽셀에 미치는 영향도를 추정하여 제1 가중치맵을 획득하고, 제2 대상 프레임의 다수의 픽셀 각각이 상기 보간 프레임의 각 픽셀에 미치는 영향도를 추정하여 제2 가중치맵을 획득하는 가중치맵 획득부; 및 상기 제1 대상 프레임을 상기 제1 플로우맵과 상기 제1 가중치맵에 따라 와핑하여 제1 와핑 프레임을 획득하고, 상기 제2 대상 프레임을 상기 제2 플로우맵과 상기 제2 가중치맵에 따라 와핑하여 제2 와핑 프레임을 획득하는 프레임 와핑부를 포함할 수 있다.
상기 프레임 와핑부는 상기 제1 플로우맵의 벡터 형태로 표현된 픽셀 위치에 상기 제1 가중치맵의 대응하는 가중치를 가중하고 합하여 제1 와핑 프레임의 위치별 픽셀값을 획득하고, 상기 제2 플로우맵의 벡터 형태로 표현된 픽셀 위치에 상기 제2 가중치맵의 대응하는 가중치를 가중하고 합하여 상기 제1 와핑 프레임의 위치별 픽셀값을 획득할 수 있다.
상기 폐색맵 획득부는 상기 폐색맵이 상기 제1 대상 프레임의 폐색 영역과 상기 제2 대상 프레임의 폐색 영역이 서로 다른 지정된 값을 갖도록 생성할 수 있다.
상기 프레임 보간 장치는 인공 신경망으로 상기 모션 특징 추출부와 상기 플로우맵 획득부, 상기 가중치맵 획득부 및 상기 폐색맵 획득부를 지도 학습 방식 또는 적대적 학습 방식 중 적어도 하나를 이용하여 학습시키기 위한 학습부를 더 포함할 수 있다.
상기 학습부는 비디오 영상에서 특정 프레임에 대해 시간적으로 인접한 이전 프레임과 이후 프레임을 2개의 대상 프레임으로 설정하여 상기 모션 특징 추출부로 인가하고, 상기 보간 프레임 획득부에서 획득되는 보간 프레임과 특정 프레임 사이의 차를 지도 학습 손실로 계산하여 역전파할 수 있다.
상기 학습부는 시간적 순서에 따라 상기 제1 대상 프레임과 상기 보간 프레임을 순차 배치 결합하여 제1 결합 프레임을 획득하고, 상기 보간 프레임과 상기 제2 대상 프레임을 순차 배치 및 결합하여 제2 결합 프레임을 획득하는 프레임 결합부; 상기 제1 결합 프레임 또는 상기 제2 결합 프레임 중 하나를 랜덤하게 선택하는 랜덤 선택부; 및 선택된 결합 프레임이 상기 제1 결합 프레임인지 또는 상기 제2 결합 프레임인지 여부를 판별하여 적대적 손실을 계산하여 역전파하는 프레임 판별부를 포함할 수 있다.
상기 학습부는 비디오 영상에서 특정 프레임에 대해 시간적으로 인접한 이전 프레임과 이후 프레임을 2개의 대상 프레임으로 설정하여 상기 모션 특징 추출부로 인가하고, 상기 보간 프레임 획득부에서 획득되는 보간 프레임과 특정 프레임 사이의 차를 지도 학습 손실로 계산하여 역전파하여 지도 학습을 수행하고, 이후 상기 제1 및 제2 대상 프레임 각각과 상기 보간 프레임을 시간적 순서에 따라 순차 배치 결합하여 2개의 결합 프레임을 획득하고, 2개의 결합 프레임 중 하나를 랜덤하게 선택하여, 상기 제1 및 제2 대상 프레임 중 선택된 결합 프레임에 결합된 프레임을 판별하여 적대적 손실을 계산하고 역전파할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 프레임 보간 방법은 다수의 프레임으로 구성된 비디오 영상에서 시간적으로 인접한 두 개의 대상 프레임을 인가받고, 미리 학습된 패턴 추정 방식에 따라 인가된 두 개의 대상 프레임 사이에서 픽셀들 간의 관계에 따른 패턴을 추정하여 모션 특징맵을 획득하는 단계; 미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 생성되어야 하는 보간 프레임의 각 픽셀이 상기 두 개의 대상 프레임 각각에서 참조해야하는 적어도 하나의 픽셀 위치를 나타내는 2개의 플로우맵과, 상기 보간 프레임의 각 픽셀에 대한 상기 두 개의 대상 프레임의 각 픽셀의 중요도를 나타내는 2개의 가중치맵을 획득하고, 두 개의 대상 프레임 각각을 상기 2개의 플로우맵과 상기 2개의 가중치맵 중 대응하는 플로우맵과 가중치맵을 이용하여 와핑하여 2개의 와핑 프레임을 획득하는 단계; 미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 상기 2개의 대상 프레임의 폐색 영역을 나타내는 폐색맵을 획득하는 단계; 및 상기 2개의 와핑 프레임과 상기 폐색맵을 기지정된 방식으로 결합하여 상기 보간 프레임을 획득하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 프레임 보간 장치 및 방법은 대상 프레임의 다양한 개수의 픽셀과 위치를 참조하여 보간 프레임의 각 픽셀을 생성할 수 있어, 다양하고 복잡한 동작 및 큰 동작이 포함된 비디오에서도 정확한 보간 프레임을 획득할 수 있다. 뿐만 아니라, 대상 프레임에 폐색 영역 존재하는 경우에도 안정적으로 보간 프레임을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 프레임 보간 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 와핑 프레임 획득부의 상세 구성의 일 예를 나타낸다.
도 3은 도 1의 와핑 프레임 획득부가 오프셋 벡터의 시작 위치를 조절하기 위한 팽창 파라미터의 기능을 설명하기 위한 도면이다.
도 4는 도 1의 폐색맵 획득부가 획득하는 폐색맵의 일 예를 나타낸다.
도 5는 인공 신경망을 이용한 도 1의 프레임 보간 장치를 구현 예를 나타낸다.
도 6은 도 1의 프레임 보간 장치의 프레임 보간 방식과 기존의 프레임 보간 기법 사이의 차이를 설명하기 위한 도면이다.
도 7은 도 1의 학습부의 상세 구성의 일 예를 나타낸다.
도 8은 모션이 큰 비디오와 폐색이 발생된 비디오에 대한 성능을 비교하여 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 프레임 보간 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 프레임 보간 장치의 개략적 구조를 나타내고, 도 2는 도 1의 와핑 프레임 획득부의 상세 구성의 일 예를 나타내며, 도 3은 도 1의 와핑 프레임 획득부가 오프셋 벡터의 시작 위치를 조절하기 위한 팽창 파라미터의 기능을 설명하기 위한 도면이다. 그리고 도 4는 도 1의 폐색맵 획득부가 획득하는 폐색맵의 일 예를 나타낸다.
도 1 내지 도 4를 참조하면, 본 실시예에 따른 프레임 보간 장치는 영상 획득부(100), 모션 특징 추출부(200), 와핑 프레임 획득부(300), 폐색맵 획득부(400) 및 보간 프레임 획득부(500)를 포함한다.
우선 영상 획득부(100)는 다수의 프레임으로 구성되고, 다수의 프레임 중 시간적으로 인접한 두 개의 프레임(In, In+1) 사이에 보간 프레임(Iout)이 생성되어 포함되어야 하는 비디오 영상을 획득한다. 여기서 영상 획득부(100)는 일 예로 카메라와 같은 비디오 영상 촬영 장치로 구현되거나, 미리 획득된 비디오 영상이 저장된 저장 장치 또는 네트워크를 통해 다른 기기로부터 비디오 영상을 인가받는 통신부로 구현될 수 있다.
모션 특징 추출부(200)는 영상 획득부(100)로부터 인접한 두 개의 프레임(In, In+1)을 인가받고, 미리 학습된 패턴 추정 방식에 따라 인가된 두 개의 프레임(In, In+1) 사이에서 픽셀들 간의 관계에 따른 패턴을 추정하여 모션 특징맵(m)을 추출한다. 여기서 두 개의 프레임(In, In+1)은 사이에 보간 프레임(Iout)이 생성되어 삽입되어야 하는 대상 프레임으로 볼 수 있다. 그리고 모션 특징 추출부(200)는 두 개의 대상 프레임(In, In+1)에서 픽셀들 사이의 대응 관계에 따른 특징을 추출하여 모션 특징맵(m)을 획득한다.
여기서 모션 특징 추출부(200)는 두 개의 대상 프레임(In, In+1) 중 제1 대상 프레임(In)의 다수의 픽셀에서 제2 대상 프레임(In+1)의 다수의 픽셀로의 변화되는 특징을 추출하여 모션 특징맵(m)을 획득하는 것으로 볼 수 있다.
모션 특징 추출부(200)에서 획득된 모션 특징맵(m)은 와핑 프레임 획득부(300)의 플로우맵 획득부(310)와 가중치맵 획득부(320)와 함께 폐색맵 획득부(400)에 각각 인가된다.
플로우맵 획득부(310)는 모션 특징 추출부(200)로부터 모션 특징맵(m)이 인가되면, 미리 학습된 패턴 추정 방식에 따라 인가된 모션 특징맵(m)으로부터 2개의 플로우맵(f1, f2)을 획득한다.
여기서 플로우맵 획득부(310)는 두 개의 대상 프레임(In, In+1) 각각의 다수에 픽셀 중 보간 프레임(Iout)을 구성할 다수의 픽셀 각각에 대응하는 픽셀을 추정하여 플로우맵(f1, f2)을 획득할 수 있다. 즉 2개의 플로우맵(f1, f2) 각각은 보간 프레임(Iout)의 각 픽셀이 2개의 대상 프레임(In, In+1)에서 참조할 대응하는 픽셀의 위치를 벡터 형식으로 표현한 특징맵으로 볼 수 있다.
도 2를 참조하면, 플로우맵 획득부(310)는 제1 플로우맵 획득부(311)와 제2 플로우맵 획득부(312)를 포함한다. 제1 플로우맵 획득부(311)는 모션 특징맵(m)을 기반으로 2개의 대상 프레임 중 시간적으로 앞서는 제1 대상 프레임(In)과 보간 프레임(Iout) 사이에 대응하는 픽셀들의 위치 관계를 추정하여 제1 플로우맵(f1)을 획득하고, 제2 플로우맵 획득부(312)는 모션 특징맵(m)을 기반으로 제2 대상 프레임(In+1)과 보간 프레임(Iout) 사이에 대응하는 픽셀들의 위치 관계를 추정하여 제2 플로우맵(f2)을 획득한다.
이때 본 실시예에서 플로우맵 획득부(310)의 제1 플로우맵 획득부(311)와 제2 플로우맵 획득부(312)는 각각 제1 및 제2 대상 프레임(In, In+1)에서 보간 프레임(Iout)의 각 픽셀에 대응하는 다수의 픽셀을 동시에 추정할 수 있다. 즉 보간 프레임(Iout)의 각 픽셀은 제1 및 제2 대상 프레임(In, In+1)의 다수의 픽셀을 참조하여 생성될 수 있다. 이는 기존의 플로우 기반 프레임 보간 기법에서 프레임 하나당 단 하나의 픽셀만을 참조하기 때문에 복잡한 움직임을 다룰 수 없다는 한계를 극복하기 위함이다.
이에 플로우맵 획득부(310)는 보간 프레임(Iout)의 다수의 픽셀이 참조할 수 있는 적어도 하나의 픽셀을 2개의 대상 프레임(In, In+1) 각각에서 탐색하고, 보간 프레임(Iout)의 각 위치별 픽셀과 이에 대응하여 대상 프레임에서 탐색된 적어도 하나의 픽셀 사이의 위치 관계를 플로우맵(f1, f2)으로 획득할 수 있다.
모션 특징 추출부(200)에서 획득되는 모션 특징맵(m)이 2개의 대상 프레임(In, In+1)의 픽셀들 사이의 변화를 추정하여 획득되는데 반해, 플로우맵 획득부(310)에서 획득되는 2개의 플로우맵(f1, f2)은 2개의 대상 프레임(In, In+1) 각각을 기준으로 생성되어야 하는 가상의 보간 프레임(Iout)의 각 픽셀의 변화를 모션 특징맵(m)에서 추정된 픽셀간 변화를 기반으로 추정하여 획득되는 것으로 볼 수 있다.
여기서 플로우맵 획득부(310)의 제1 플로우맵 획득부(311)와 제2 플로우맵 획득부(312) 각각은 대상 프레임(In, In+1)에서 픽셀과 가상의 보간 프레임(Iout)의 픽셀 사이의 위치 관계를 행방향(또는 x축 방향) 및 열방향(또는 y축 방향)으로 구분하여 획득할 수도 있다. 즉 제1 및 제2 플로우맵(f1, f2) 각각을 제1 및 제2 행 플로우맵(α1, α2)과 제1 및 제2 열 플로우맵(β1, β2)으로 구분하여 획득할 수 있다.
본 실시예에서 플로우맵 획득부(310)가 제1 플로우맵(f1)과 제2 플로우맵(f2)으로 2개의 플로우맵을 획득하는 것은 제1 대상 프레임(In)과 보간 프레임(Iout) 사이의 대응하는 픽셀간 위치 관계와 제2 대상 프레임(In+1)과 보간 프레임(Iout) 사이의 대응하는 픽셀간 위치 관계를 모두 분석하여, 보간 프레임(Iout)의 각 픽셀이 2개의 대상 프레임(In, In+1) 사이에서 정확한 픽셀값을 나타낼 수 있도록 하기 위함이다.
한편 가중치맵 획득부(320)는 미리 학습된 패턴 추정 방식에 따라 모션 특징 추출부(200)에서 인가된 모션 특징맵(m)으로부터 2개의 가중치맵(W1, W2)을 획득한다. 가중치맵 획득부(320)는 모션 특징맵(m)으로부터 두 개의 대상 프레임(In, In+1)의 다수의 픽셀이 생성될 가상의 보간 프레임(Iout)의 다수의 픽셀 각각에 미치는 영향을 추정하여 2개의 가중치맵(W1, W2)을 획득한다. 즉 두 개의 대상 프레임(In, In+1)의 다수의 픽셀 각각과 보간 프레임(Iout)의 각 픽셀 사이의 상호 관계에 따른 중요도를 추정하여 가중치맵(W1, W2)을 획득한다.
도 2에 도시된 바와 같이, 가중치맵 획득부(320)는 플로우맵 획득부(310)와 마찬가지로 제1 가중치맵 획득부(321)와 제2 가중치맵 획득부(312)를 포함할 수 있다.
제1 가중치맵 획득부(321)는 제1 플로우맵 획득부(311)에 대응하여, 제1 대상 프레임(In)의 각 픽셀이 가상의 보간 프레임(Iout)의 각 픽셀에 미치는 영향을 추정하여 제1 가중치맵(W1)을 획득한다. 그리고 제2 가중치맵 획득부(322)는 제2 플로우맵 획득부(312)에 대응하여, 제2 대상 프레임(In+1)의 각 픽셀이 가상의 보간 프레임(Iout)의 각 픽셀에 미치는 영향을 추정하여 제2 가중치맵(W2)을 획득한다.
본 실시예에서는 와핑 프레임 획득부(300)가 플로우맵 획득부(310)와 가중치맵 획득부(320)를 별도로 구비하여 2개의 플로우맵(f1, f2)과 2개의 가중치맵(W1, W2)을 각각 획득한다. 이는 보간 프레임(Iout)의 각 픽셀이 참조할 대상 프레임(In, In+1)의 픽셀들의 위치와, 참조할 픽셀별 중요도를 구분하여 획득함으로써, 더 정확한 보간 프레임(Iout)을 생성할 수 있도록 하기 위함이다. 즉 생성될 보간 프레임(Iout)의 각 픽셀의 픽셀값을 정밀하게 추정할 수 있도록 하기 위함이다.
프레임 와핑부(330)는 플로우맵 획득부(310)에서 획득된 2개의 플로우맵(f1, f2)과 가중치맵 획득부(320)에서 획득된 2개의 가중치맵(W1, W2)를 이용하여, 영상 획득부(100)에서 전송된 2개의 대상 프레임(In, In+1)을 각각 와핑한다.
도 2를 참조하면, 프레임 와핑부(330) 또한 제1 프레임 와핑부(331)와 제2 프레임 와핑부(332)를 포함할 수 있다. 제1 프레임 와핑부(331)는 제1 플로우맵(f1)과 제1 가중치맵(W1)을 이용하여 제1 대상 프레임(In)을 와핑하여 제1 와핑 프레임(I'n)을 획득하고, 제2 프레임 와핑부(332)는 제2 플로우맵(f2)과 제2 가중치맵(W2)을 이용하여 제2 대상 프레임(In+1)을 와핑하여 제2 와핑 프레임(I'n+1)을 획득한다.
제1 프레임 와핑부(331)는 제1 와핑 프레임(I'n)의 각 픽셀이 참조해야하는 제1 대상 프레임(In)의 픽셀들을 제1 플로우맵(f1)을 기반으로 판별하고, 판별된 제1 대상 프레임(In)의 픽셀들의 픽셀값에 제1 가중치맵(W1)의 가중치를 가중하여 합함으로써 제1 와핑 프레임(I'n)의 각 픽셀값을 획득할 수 있다.
이와 마찬가지로 제1 프레임 와핑부(331)는 제1 와핑 프레임(I'n)의 각 픽셀이 참조해야하는 제1 대상 프레임(In)의 픽셀을 제1 플로우맵(f1)을 기반으로 판별하고, 판별된 제1 대상 프레임(In)의 픽셀들의 픽셀값에 제1 가중치맵(W1)의 가중치를 가중하여 합함으로써 제1 와핑 프레임(I'n)의 각 픽셀값을 획득할 수 있다.
와핑 프레임 획득부(300)에서 획득되는 와핑 프레임(I')을 수학식으로 표현하면 수학식 1과 같이 표현될 수 있다.
Figure 112020054607547-pat00001
여기서 i, j는 와핑 프레임(I')의 각 픽셀의 행방향 및 열방향 위치를 나타내고, F는 제1 및 제2 가중치맵(W1, W2)으로 표현되는 커널 크기를 나타내며, (α, β)는 각 축방향으로 구분된 플로우맵(f)을 나타낸다. 그리고 W는 가중치맵을 나타내고, d는 팽창(dilation) 파라미터로서 플로우맵(f)의 각 벡터가 시작하는 오프셋 위치를 조절하기 위한 파라미터이다.
도 3을 참조하면, 팽창 파라미터(d)의 크기에 따라 제1 및 제2 플로우맵 획득부(311, 312)가 플로우맵 획득 시에 특정 픽셀의 플로우를 나타내는 벡터의 시작 위치를 해당 픽셀 위치로 한정하여 벡터를 획득하는지, 주변 픽셀 위치까지 확장하여 벡터를 획득할 수 있는지에 대해 조절할 수 있다. 이는 더 넓은 영역에서 대응하는 픽셀을 탐색할 수 있도록 하기 위함이다.
여기서 제1 프레임 와핑부(331)에서 획득된 제1 와핑 프레임(I'n)은 제1 대상 프레임(In)을 기준으로 추정한 가상의 보간 프레임으로 볼 수 있고, 제2 프레임 와핑부(332)에서 획득된 제2 와핑 프레임(I'n+1)은 제2 대상 프레임(In+1)을 기준으로 추정한 가상의 보간 프레임으로 볼 수 있다. 만일 제1 와핑 프레임(I'n)과 제2 와핑 프레임(I'n+1)이 모두 정확하게 추정된 경우를 가정하면, 제1 와핑 프레임(I'n)과 제2 와핑 프레임(I'n+1)에서 2개의 대상 프레임(In, In+1)의 폐색 영역을 제외한 나머지 영역은 동일하게 획득될 수 있을 것이다.
즉 본 실시예에서 와핑 프레임 획득부(300)는 제1 대상 프레임(In)과 제2 대상 프레임(In+1) 사이에 위치하는 보간 프레임을 생성하기 위한 사전 작업으로, 제1 대상 프레임(In)을 기준으로 하는 제1 와핑 프레임(I'n)과 제2 대상 프레임(In+1)을 기준으로 하는 제2 와핑 프레임(I'n+1)의 2개의 와핑 프레임을 획득한다.
다시 도 1을 참조하면, 폐색맵 획득부(400)는 학습된 패턴 추정 방식에 따라 모션 특징맵(m)의 패턴으로부터 2개의 대상 프레임(In, In+1) 중 하나의 대상 프레임에만 나타나는 폐색 영역(occlusion region)을 추정하여 폐색맵(V)을 획득한다.
도 4의 (a) 및 (b)에 도시된 바와 같이, 인접하는 두 개의 프레임 사이에서도 각 프레임 내에서의 객체의 위치 변화에 의해 가려져서, 하나의 프레임에만 나타나는 폐색 영역이 존재하게 된다. 그리고 (c)에 도시된 바와 같이, 폐색 영역을 (a)의 제1 프레임에만 나타나는 영역과 (b)의 제2 프레임에만 나타나는 영역으로 구분될 수 있다. 이러한 폐색 영역은 2개의 대상 프레임(In, In+1) 중 하나의 대상 프레임에만 나타나므로, 폐색 영역에 포함되는 픽셀들은 보간 프레임(Iout) 생성시에 별도로 고려되어야만 한다.
이에 폐색맵 획득부(400)는 모션 특징맵(m)으로부터 제1 대상 프레임(In)의 폐색 영역과 제2 대상 프레임(In+1)의 폐색 영역을 구분하여 나타낼 수 있는 폐색맵(V)을 획득한다. 여기서 폐색맵 획득부(400)는 각 원소의 원소값이 0 또는 1의 값을 갖도록 폐색맵(V ∈ [0, 1])을 획득할 수 있다. 일 예로 폐색맵(V)에서 원소값이 0인 원소는 제1 대상 프레임(In)에서 대응하는 위치의 픽셀이 폐색 영역에 포함된 픽셀임을 나타내고, 원소값이 1인 원소는 제2 대상 프레임(In+1)에서 대응하는 위치의 픽셀이 폐색 영역에 포함된 픽셀임을 나타내도록 획득될 수 있다.
도 4의 (c)에서는 원소값이 0인 영역, 즉 제1 대상 프레임(In)의 폐색 영역으로 제2 대상 프레임(In+1)에서만 나타나는 영역을 파란색으로 표시하였으며, 원소값이 1인 영역, 즉 제2 대상 프레임(In+1)의 폐색 영역으로 제1 대상 프레임(In)에서만 나타나는 영역을 빨간색으로 표시하였다.
보간 프레임 획득부(500)는 와핑 프레임 획득부(300)에서 획득된 제1 와핑 프레임(I'n)과 제2 와핑 프레임(I'n+1) 및 폐색맵 획득부(400)에서 획득된 폐색맵(V)을 인가받고, 인가된 제1 와핑 프레임(I'n)과 제2 와핑 프레임(I'n+1) 및 폐색맵(V)을 이용하여 보간 프레임(Iout)을 획득한다.
보간 프레임 획득부(500)는 수학식 2에 따라 보간 프레임(Iout)을 획득할 수 있다.
Figure 112020054607547-pat00002
여기서 T는 와핑 프레임 획득부(300)가 수행하는 프레임 와핑 연산을 의미한다.
즉 보간 프레임 획득부(500)는 제1 와핑 프레임(I'n)과 제2 와핑 프레임(I'n+1) 각각에서 폐색맵(V)에 의해 지정된 폐색 영역을 반영하여 결합함으로써, 보간 프레임(Iout)을 획득할 수 있다.
학습부(600)는 프레임 보간 장치의 학습 시에 구비되는 구성으로, 프레임 보간 장치가 실제 프레임 보간 동작을 수행되는 경우에는 제거될 수 있다. 학습부(600)는 인공 신경망으로 구현되는 모션 특징 추출부(200)와 와핑 프레임 획득부(300)의 플로우맵 획득부(310) 및 가중치맵 획득부(320), 그리고 폐색맵 획득부(400)를 학습시킨다.
본 실시예에서 학습부(600)는 진리값이 미리 획득된 학습 데이터를 이용하는 지도 학습 방식과 생성적 적대 네트워크(Generative Adversarial Network: GAN)에 기반한 적대적 학습 방식 중 적어도 하나를 이용하여 프레임 보간 장치를 학습시킬 수 있다.
학습부(600)가 프레임 보간 장치를 학습시키는 방법에 대한 상세한 설명은 후술하도록 한다.
도 5는 인공 신경망을 이용한 도 1의 프레임 보간 장치를 구현 예를 나타낸다.
도 5에 도시된 바와 같이, 본 실시예의 프레임 보간 장치에서 모션 특징 추출부(200)와 와핑 프레임 획득부(300)의 플로우맵 획득부(310) 및 가중치맵 획득부(320), 그리고 폐색맵 획득부(400)는 모두 인공 신경망으로 구현될 수 있다. 그리고 모션 특징 추출부(200)와 플로우맵 획득부(310), 가중치맵 획득부(320) 및 폐색맵 획득부(400)는 각각 적어도 하나의 콘볼루션 레이어를 포함하는 콘볼루션 신경망(Convolution Neuron Network: CNN)으로 구현될 수 있다. 각각의 콘볼루션 레이어는 콘볼루션 커널을 이용하여 콘볼루션 연산을 수행하고, 이후 활성화 함수(activation function)인 평균값 풀링(avgpool) 함수, 소프트 맥스(Softmax) 함수 및 시그모이드(Sigmoid) 함수 등을 이용할 수 있다.
도 5에서는 상기한 바와 같이, 제1 및 제2 플로우맵(f1, f2) 각각을 제1 및 제2 행 플로우맵(α1, α2)과 제1 및 제2 열 플로우맵(β1, β 2)으로 구분하여 표현하였으며, 제1 및 제2 프레임 와핑부(331, 332)를 AdaCoF로 표현하였다. 이는 제1 및 제2 프레임 와핑부(331, 332)가 각 픽셀의 플로우를 나타내는 다수의 벡터에 대해 가중치를 가중하여 합하는 플로우의 적응적 공동 작업(Adaptive Collaboration of Flows)에 기반하여 와핑을 수행하기 때문이다.
도 6은 도 1의 프레임 보간 장치의 프레임 보간 방식과 기존의 프레임 보간 기법 사이의 차이를 설명하기 위한 도면이다.
도 6에서 (a)는 기존의 커널 기반 프레임 보간 기법을 나타내고, (b)는 플로우 기반 프레임 보간 기법을 나타내며, (c)는 커널 및 플로우 조합 기반 프레임 보간 기법을 나타낸다. 그리고 (d)는 본 실시예에 따른 프레임 보간 기법을 나타낸다.
(a)에 도시된 바와 같이 커널 기반 프레임 보간 기법에서는 지정된 크기의 커널 내에서 대응하는 픽셀을 탐색함에 따라 커널 크기보다 큰 픽셀의 움직임에 대응할 수 없다. (b)에 도시된 플로우 기반 프레임 보간 기법은 픽셀의 움직임 크기에는 제한되지 않으나, 여러 픽셀을 동시에 참조할 수 없으며, 대상 프레임(It-1, It+1)의 화질이 선명하지 않은 경우에 정확한 보간 프레임(It)을 획득하지 못한다. (c)와 같이 커널 및 플로우 조합 기반 프레임 보간 기법 또한 커널의 크기가 제한됨에 따라 실질적으로 크기가 큰 픽셀에 대한 플로우 기반 프레임 보간 기법을 적용하는 것으로 볼 수 있으며, 이에 플로우 기반 프레임 보간 기법과 동일한 한계를 갖는다. 그에 비해 본 실시예에 따른 프레임 보간 기법은 (d)에 도시된 바와 같이 픽셀의 위치 및 개수에 제약받지 않고 다양한 위치의 다수의 픽셀을 참조하여 보간 프레임(It)의 픽셀을 생성할 수 있으므로 매우 정확한 보간 프레임(It)을 획득할 수 있다.
도 7은 도 1의 학습부의 상세 구성의 일 예를 나타낸다.
지도 학습 방식에 따라 프레임 보간 장치를 학습시키는 경우, 학습부(600)는 다수의 프레임으로 구성된 비디오 영상에서 각 프레임(It)에 대해 시간적으로 이전 프레임(It-1)과 이후 프레임(It+1)이 모션 특징 추출부(200)로 인가되도록 한다. 그리고 현재 프레임(It)을 진리값(Igt)으로 하여, 보간 프레임 획득부(500)에서 획득된 보간 프레임(Iout)과 진리값(Igt) 사이의 차이를 지도 학습 손실(L1)로서 수학식 3에 따라 계산할 수 있다.
Figure 112020054607547-pat00003
학습부(600)는 계산된 손실(L1)을 역전파하여 프레임 보간 장치의 모션 특징 추출부(200)와 플로우맵 획득부(310) 및 가중치맵 획득부(320), 그리고 폐색맵 획득부(400)를 학습시킬 수 있다.
한편, 적대적 학습 방식에 따라 프레임 보간 장치를 학습시키는 경우, 학습부(600)는 도 7에 도시된 바와 같은 구성을 가질 수 있다. 도 7을 참조하면, 학습부(600)는 프레임 결합부(610), 랜덤 선택부(620) 및 프레임 판별부(630)를 포함할 수 있다.
적대적 학습 방식에서는 별도의 학습 데이터가 요구되지 않으므로, 프레임 결합부(610)는 보간 프레임 획득부(500)에서 획득된 보간 프레임(Iout)을 2개의 대상 프레임(In, In+1)에 각각 결합(concatenate)하여 결합 프레임([In, Iout], [Iout, In+1])을 출력한다. 이때 프레임 결합부(610)는 대상 프레임(In, In+1)과 보간 프레임(Iout) 사이의 시간적 순서에 따라 프레임들을 결합한다.
도 7에 도시된 바와 같이, 프레임 결합부(610)는 제1 프레임 결합부(611)와 제2 프레임 결합부(612)를 포함할 수 있다.
제1 프레임 결합부(611)는 2개의 대상 프레임(In, In+1) 중 제1 대상 프레임(In)과 보간 프레임(Iout)을 인가받아 결합하여 제1 결합 프레임([In, Iout])을 출력한다. 제1 프레임 결합부(611)는 제1 대상 프레임(In)과 보간 프레임(Iout)을 시간적 배치 순서에 따라 제1 대상 프레임(In)을 우선 배치하고 이후 보간 프레임(Iout)을 배치 및 결합하여 제1 결합 프레임([In, Iout])을 획득한다.
제2 프레임 결합부(612)는 2개의 대상 프레임(In, In+1) 중 제2 대상 프레임(In+1)과 보간 프레임(Iout)을 인가받아 결합하여 제2 결합 프레임([Iout, In+1])을 출력한다. 제2 프레임 결합부(612)는 제2 대상 프레임(In+1)과 보간 프레임(Iout)을 시간적 배치 순서에 따라 보간 프레임(Iout)을 우선 배치하고 이후 제2 대상 프레임(In+1)을 배치 및 결합하여 제2 결합 프레임([Iout, In+1])을 획득한다.
랜덤 선택부(620)는 프레임 결합부(610)에서 획득된 제1 결합 프레임([In, Iout]) 또는 제2 결합 프레임([Iout, In+1]) 중 하나를 랜덤하게 선택하여 프레임 판별부(630)로 전달한다.
그리고 프레임 판별부(630)는 랜덤 선택부(620)에서 선택되어 전달된 결합 프레임이 제1 결합 프레임([In, Iout])인지 또는 제2 결합 프레임([Iout, In+1])인지 여부를 판별한다. 만일 보간 프레임(Iout)이 2개의 대상 프레임(In, In+1)의 사이에 매우 자연스러운 프레임으로 생성되었다면, 프레임 판별부(630)는 인가된 결합 프레임이 제1 결합 프레임([In, Iout])인지 또는 제2 결합 프레임([Iout, In+1])인지 여부를 정확하게 판별하기 어렵다. 그러나 보간 프레임 생성 장치에서 보간 프레임(Iout)이 정상적으로 생성되지 않았다면, 프레임 판별부(630)는 인가된 결합 프레임이 제1 결합 프레임([In, Iout])인지 또는 제2 결합 프레임([Iout, In+1])인지 여부를 용이하게 판별할 수 있을 것이다.
따라서 프레임 판별부(630)가 결합 프레임을 정확하게 판별할 수 없다면, 모션 특징 추출부(200)와 플로우맵 획득부(310), 가중치맵 획득부(320) 및 폐색맵 획득부(400)가 정상적으로 학습된 것으로 볼 수 있다.
다만 결합 프레임을 판별 프레임 판별부(630) 또한 학습이 수행될 필요가 있다. 프레임 판별부(630)에 대한 손실(LC)은 수학식 4로 계산될 수 있다.
Figure 112020054607547-pat00004
여기서 C는 프레임 판별부(630)의 판별함수를 나타내고, []는 프레임 결합을 나타낸다.
한편, 수학식 4에 따라 프레임 판별부(630)의 손실(LC)이 계산되면, 결합 프레임의 불확실성, 즉 엔트로피가 최대화되도록 하여 적대적 손실(Ladv)을 수학식 5에 따라 계산할 수 있다.
Figure 112020054607547-pat00005
일반적으로 적대적 학습 방식은 매우 우수한 학습 성능을 나타내지만 학습에 매우 긴 시간이 요구된다는 단점이 있다. 반면, 지도 학습 방식의 경우, 학습 속도는 상대적으로 빠르지만 적대적 학습 방식에 비해 학습 성능이 떨어질 수 있다.
이에 본 실시예에서는 지도 학습 방식과 적대적 학습 방식을 함께 이용하는 혼합 학습 방법을 수행할 수도 있다. 즉 지도 학습 방식에 따라 우선 학습을 수행하여 빠르게 1차 학습을 수행하고, 이후, 적대적 학습 방식을 추가로 적용하여 2차 학습을 수행함으로써, 학습 속도를 높이면서도 우수한 학습 결과를 획득할 수 있도록 한다.
도 8은 모션이 큰 비디오와 폐색이 발생된 비디오에 대한 성능을 비교하여 나타내는 도면이다.
도 8에서 상단 도면은 모션이 큰 비디오 영상에 대해 보간 프레임을 획득한 경우를 나타내고, 하단 도면은 폐색이 발생된 비디오 영상에 대해 보간 프레임을 획득한 경우를 나타낸다. 도 8에서 (a)는 실제 3개의 프레임 중 가운데 프레임(It)을 선택하여 진리값(Igt)으로 획득한 이미지이며, (b) 내지 (i)는 각각 서로 다른 기법으로 획득된 보간 프레임의 일부 영역을 나타낸다. 여기서 (h)는 지도 학습만을 수행하여 획득된 보간 프레임을 나타내고, (i)는 지도 학습과 적대적 학습을 함께 수행하여 획득된 보간 프레임을 나타낸다.
도 8을 참조하면, 본 실시예에 따른 프레임 보간 장치는 모션이 큰 경우 뿐만 아니라 폐색이 포함된 영역에 대해서도 다른 기법에 비해 매우 정확하고 자연스러운 보간 프레임을 획득할 수 있음을 알 수 있다. 특히 지도 학습만을 수행하는 경우에 비해, 지도 학습과 적대적 학습을 함께 수행하는 경우, 더욱 우수한 보간 프레임을 획득할 수 있음을 알 수 있다.
도 9는 본 발명의 일 실시예에 따른 프레임 보간 방법을 나타낸다.
도 1내지 도 7을 참조하여, 도 9의 프레임 보간 방법을 설명하면, 우선 다수의 프레임으로 구성된 비디오 영상에서 시간적으로 인접한 두 개의 대상 프레임(In, In+1)을 획득한다(S10). 그리고 미리 학습된 패턴 추정 방식에 따라 인가된 두 개의 대상 프레임(In, In+1) 사이에서 픽셀들 간의 관계에 따른 패턴을 추정하여 모션 특징맵(m)을 획득한다(S20).
모션 특징맵(m)이 획득되면, 미리 학습된 패턴 추정 방식에 따라 획득된 모션 특징맵(m)의 패턴으로부터, 생성되어야 하는 보간 프레임의 각 픽셀이 두 개의 대상 프레임(In, In+1)에서 참조해야 하는 각 픽셀의 위치 관계를 추정하여 2개의 플로우맵(f1, f2)을 획득한다(S30). 이때, 제1 플로우맵(f1)은 두 개의 대상 프레임(In, In+1) 중 제1 대상 프레임(In)의 다수의 픽셀 중 보간 프레임의 각 픽셀이 참조할 픽셀들과의 위치 관계를 추정하여 획득되고, 제2 플로우맵(f2)은 제2 대상 프레임(In+1)의 다수의 픽셀 중 보간 프레임의 각 픽셀이 참조할 픽셀들과의 위치 관계를 추정하여 획득될 수 있다.
이와 함께, 미리 학습된 패턴 추정 방식에 따라 획득된 모션 특징맵(m)의 패턴으로부터, 생성되어야 하는 보간 프레임의 각 픽셀에 대해 두 개의 대상 프레임(In, In+1)의 각 픽셀의 중요도를 추정하여 2개의 가중치맵(W1, W2)을 획득한다(S40). 여기서 제1 가중치맵(W1)은 두 개의 대상 프레임(In, In+1) 중 제1 대상 프레임(In)의 다수의 픽셀이 보간 프레임의 각 픽셀에 미치는 영향을 추정하여 획득되고, 제2 가중치맵(W2)은 제2 대상 프레임(In+1)의 다수의 픽셀이 보간 프레임의 각 픽셀에 미치는 영향을 추정하여 획득될 수 있다.
2개의 플로우맵(f1, f2)과 2개의 가중치맵(W1, W2)이 획득되면, 2개의 대상 프레임(In, In+1) 각각을 대응하는 플로우맵(f1, f2)과 가중치맵(W1, W2)을 이용하여 와핑함으로써, 2개의 와핑 프레임(I'n, I'n+1)을 획득한다(S50). 여기서 와핑 프레임(I'n, I'n+1)은 플로우맵(f1, f2)에 의해 지정된 위치의 대상 프레임(In, In+1)의 픽셀에 대해 가중치맵(W1, W2)에 의해 지정된 가중치를 가중하여 합함으로써, 획득될 수 있다.
또한 플로우맵(f1, f2)을 획득하는 단계(S30)와 가중치맵(W1, W2)을 획득하는 단계와 별도로, 미리 학습된 패턴 추정 방식에 따라 모션 특징맵(m)의 패턴으로부터 2개의 대상 프레임(In, In+1)의 폐색 영역을 나타내는 폐색맵(V)을 획득한다(S60). 이때 폐색맵(V)은 제1 대상 프레임(In)의 폐색 영역과 제2 대상 프레임(In+1)의 폐색 영역이 서로 다른 지정된 값([0, 1])을 갖도록 생성될 수 있다.
2개의 와핑 프레임(I'n, I'n+1)과 폐색맵(V)이 획득되면, 획득된 2개의 와핑 프레임(I'n, I'n+1)과 폐색맵(V)을 이용하여 보간 프레임(Iout)을 획득한다. 이때 보간 프레임은 수학식 2에 따라 획득될 수 있다.
한편, 도 9에 도시된 프레임 보간 방법은 사전에 학습이 수행되어야 한다. 여기서 학습은 모션 특징맵(m)을 획득하는 단계(S20)와 2개의 플로우맵(f1, f2)을 획득하는 단계(S30), 2개의 가중치맵(W1, W2)을 획득하는 단계(S40) 및 폐색맵(V)을 획득하는 단계(S60)가 정상적으로 수행되도록 수행된다.
따라서 본 실시예에 따른 프레임 보간 방법은 대상 프레임 획득 단계 이전, 학습 단계(미도시)를 더 포함할 수 있다.
학습 단계에서는 지도 학습 단계 및 적대적 학습 단계 중 적어도 하나를 포함할 수 있다. 학습 단계가 지도 학습 단계를 포함하는 경우, 지도 학습 단계는 다수의 프레임으로 구성된 비디오 영상에서 각 프레임(It)에 대해 시간적으로 이전 프레임(It-1)과 이후 프레임(It+1)을 2개의 대상 프레임(In, In+1)으로 선택하여 모션 특징(m)을 추출하여 보간 프레임(Iout)을 획득한다. 그리고 획득된 보간 프레임(Iout)과 진리값(Igt)인 현재 프레임(It) 사이의 차이를 지도 학습 손실(L1)로서 계산하여 역전파함으로써 수행될 수 있다.
한편, 학습 단계가 적대적 학습 단계를 포함하는 경우, 시간적 순서에 따라 제1 대상 프레임(In)과 보간 프레임(Iout)을 배치 결합하여 제1 결합 프레임([In, Iout])을 획득하고, 보간 프레임(Iout)과 제2 대상 프레임(In+1)을 배치 및 결합하여 제2 결합 프레임([Iout, In+1])을 획득한다.
그리고 획득된 제1 결합 프레임([In, Iout]) 또는 제2 결합 프레임([Iout, In+1]) 중 하나를 랜덤하게 선택하고, 랜덤하게 선택된 결합 프레임이 제1 결합 프레임([In, Iout])인지 또는 제2 결합 프레임([Iout, In+1])인지 여부를 판별하여, 판별 결과를 기반으로 적대적 손실(Ladv)을 수학식 5에 따라 계산하여 역전파함으로써 수행될 수 있다.
경우에 따라서 학습 단계는 지도 학습 단계를 우선 수행한 이후 적대적 학습 단계를 추가적으로 수행하도록 구성될 수도 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 영상 획득부 200: 모션 특징 추출부
300: 와핑 프레임 획득부 310: 플로우맵 획득부
311: 제1 플로우맵 획득부 312: 제2 플로우맵 획득부
320: 가중치맵 획득부 321: 제1 가중치맵 획득부
322: 제2 가중치맵 획득부 330: 프레임 와핑부
331: 제1 프레임 와핑부 332: 제2 프레임 와핑부
400: 폐색맵 획득부 500: 보간 프레임 획득부
600: 학습부 610: 프레임 결합부
611: 제1 프레임 결합부 612: 제2 프레임 결합부
620: 랜덤 선택부 630: 프레임 판별부

Claims (18)

  1. 다수의 프레임으로 구성된 비디오 영상에서 시간적으로 인접한 두 개의 대상 프레임을 인가받고, 미리 학습된 패턴 추정 방식에 따라 인가된 두 개의 대상 프레임 사이에서 픽셀들 간의 관계에 따른 패턴을 추정하여 모션 특징맵을 획득하는 모션 특징 추출부;
    미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 생성되어야 하는 보간 프레임의 각 픽셀이 상기 두 개의 대상 프레임 각각에서 참조해야하는 적어도 하나의 픽셀 위치를 나타내는 2개의 플로우맵과, 상기 보간 프레임의 각 픽셀에 대한 상기 두 개의 대상 프레임의 각 픽셀의 중요도를 나타내는 2개의 가중치맵을 획득하고, 두 개의 대상 프레임 각각을 상기 2개의 플로우맵과 상기 2개의 가중치맵 중 대응하는 플로우맵과 가중치맵을 이용하여 와핑하여 2개의 와핑 프레임을 획득하는 와핑 프레임 획득부;
    미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 상기 2개의 대상 프레임의 폐색 영역을 나타내는 폐색맵을 획득하는 폐색맵 획득부; 및
    상기 2개의 와핑 프레임과 상기 폐색맵을 기지정된 방식으로 결합하여 상기 보간 프레임을 획득하는 보간 프레임 획득부를 포함하는 프레임 보간 장치.
  2. 제1항에 있어서, 상기 와핑 프레임 획득부는
    상기 두 개의 대상 프레임 중 제1 대상 프레임의 다수의 픽셀 중 상기 보간 프레임의 각 픽셀이 참조해야하는 픽셀들의 위치를 추정하여 제1 플로우맵을 획득하고, 제2 대상 프레임의 다수의 픽셀 중 상기 보간 프레임의 각 픽셀이 참조해야하는 적어도 하나의 픽셀들의 추정하여 제2 플로우맵을 획득하는 플로우맵 획득부;
    상기 두 개의 대상 프레임 중 제1 대상 프레임의 다수의 픽셀 각각이 상기 보간 프레임의 각 픽셀에 미치는 영향도를 추정하여 제1 가중치맵을 획득하고, 제2 대상 프레임의 다수의 픽셀 각각이 상기 보간 프레임의 각 픽셀에 미치는 영향도를 추정하여 제2 가중치맵을 획득하는 가중치맵 획득부; 및
    상기 제1 대상 프레임을 상기 제1 플로우맵과 상기 제1 가중치맵에 따라 와핑하여 제1 와핑 프레임을 획득하고, 상기 제2 대상 프레임을 상기 제2 플로우맵과 상기 제2 가중치맵에 따라 와핑하여 제2 와핑 프레임을 획득하는 프레임 와핑부를 포함하는 프레임 보간 장치.
  3. 제2항에 있어서, 상기 프레임 와핑부는
    상기 제1 플로우맵의 벡터 형태로 표현된 픽셀 위치에 상기 제1 가중치맵의 대응하는 가중치를 가중하고 합하여 제1 와핑 프레임의 위치별 픽셀값을 획득하고,
    상기 제2 플로우맵의 벡터 형태로 표현된 픽셀 위치에 상기 제2 가중치맵의 대응하는 가중치를 가중하고 합하여 상기 제1 와핑 프레임의 위치별 픽셀값을 획득하는 프레임 보간 장치.
  4. 제2항에 있어서, 상기 폐색맵 획득부는
    상기 폐색맵이 상기 제1 대상 프레임의 폐색 영역과 상기 제2 대상 프레임의 폐색 영역이 서로 다른 지정된 값을 갖도록 생성하는 프레임 보간 장치.
  5. 제2항에 있어서, 상기 프레임 보간 장치는
    인공 신경망으로 상기 모션 특징 추출부와 상기 플로우맵 획득부, 상기 가중치맵 획득부 및 상기 폐색맵 획득부를 지도 학습 방식 또는 적대적 학습 방식 중 적어도 하나를 이용하여 학습시키기 위한 학습부를 더 포함하는 프레임 보간 장치.
  6. 제5항에 있어서, 상기 학습부는
    비디오 영상에서 특정 프레임에 대해 시간적으로 인접한 이전 프레임과 이후 프레임을 2개의 대상 프레임으로 설정하여 상기 모션 특징 추출부로 인가하고, 상기 보간 프레임 획득부에서 획득되는 보간 프레임과 특정 프레임 사이의 차를 지도 학습 손실로 계산하여 역전파하는 프레임 보간 장치.
  7. 제5항에 있어서, 상기 학습부는
    시간적 순서에 따라 상기 제1 대상 프레임과 상기 보간 프레임을 순차 배치 결합하여 제1 결합 프레임을 획득하고, 상기 보간 프레임과 상기 제2 대상 프레임을 순차 배치 및 결합하여 제2 결합 프레임을 획득하는 프레임 결합부;
    상기 제1 결합 프레임 또는 상기 제2 결합 프레임 중 하나를 랜덤하게 선택하는 랜덤 선택부; 및
    선택된 결합 프레임이 상기 제1 결합 프레임인지 또는 상기 제2 결합 프레임인지 여부를 판별하여 적대적 손실을 계산하여 역전파하는 프레임 판별부를 포함하는 프레임 보간 장치.
  8. 제7항에 있어서, 상기 프레임 판별부는
    결합 프레임의 불확실성이 최대가 되도록 상기 적대적 손실(Ladv)을 수학식
    Figure 112020054607547-pat00006

    (여기서 C는 프레임 판별 함수를 나타내고, In, In+1은 각각 제1 및 제 대상 프레임을 나타내며, Iout는 보간 프레임을 나타낸다. 그리고 []는 결합 함수를 나타낸다.)
    에 따라 계산하는 프레임 보간 장치.
  9. 제5항에 있어서, 상기 학습부는
    비디오 영상에서 특정 프레임에 대해 시간적으로 인접한 이전 프레임과 이후 프레임을 2개의 대상 프레임으로 설정하여 상기 모션 특징 추출부로 인가하고, 상기 보간 프레임 획득부에서 획득되는 보간 프레임과 특정 프레임 사이의 차를 지도 학습 손실로 계산하여 역전파하여 지도 학습을 수행하고,
    이후 상기 제1 및 제2 대상 프레임 각각과 상기 보간 프레임을 시간적 순서에 따라 순차 배치 결합하여 2개의 결합 프레임을 획득하고, 2개의 결합 프레임 중 하나를 랜덤하게 선택하여, 상기 제1 및 제2 대상 프레임 중 선택된 결합 프레임에 결합된 프레임을 판별하여 적대적 손실을 계산하고 역전파하는 프레임 보간 장치.
  10. 다수의 프레임으로 구성된 비디오 영상에서 시간적으로 인접한 두 개의 대상 프레임을 인가받고, 미리 학습된 패턴 추정 방식에 따라 인가된 두 개의 대상 프레임 사이에서 픽셀들 간의 관계에 따른 패턴을 추정하여 모션 특징맵을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 생성되어야 하는 보간 프레임의 각 픽셀이 상기 두 개의 대상 프레임 각각에서 참조해야하는 적어도 하나의 픽셀 위치를 나타내는 2개의 플로우맵과, 상기 보간 프레임의 각 픽셀에 대한 상기 두 개의 대상 프레임의 각 픽셀의 중요도를 나타내는 2개의 가중치맵을 획득하고, 두 개의 대상 프레임 각각을 상기 2개의 플로우맵과 상기 2개의 가중치맵 중 대응하는 플로우맵과 가중치맵을 이용하여 와핑하여 2개의 와핑 프레임을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 모션 특징맵의 패턴을 추정하여, 상기 2개의 대상 프레임의 폐색 영역을 나타내는 폐색맵을 획득하는 단계; 및
    상기 2개의 와핑 프레임과 상기 폐색맵을 기지정된 방식으로 결합하여 상기 보간 프레임을 획득하는 단계를 포함하는 프레임 보간 방법.
  11. 제10항에 있어서, 상기 와핑 프레임을 획득하는 단계는
    상기 두 개의 대상 프레임 중 제1 대상 프레임의 다수의 픽셀 중 상기 보간 프레임의 각 픽셀이 참조해야하는 픽셀들의 위치를 추정하여 제1 플로우맵을 획득하고, 제2 대상 프레임의 다수의 픽셀 중 상기 보간 프레임의 각 픽셀이 참조해야하는 적어도 하나의 픽셀들의 추정하여 제2 플로우맵을 획득하는 단계;
    상기 두 개의 대상 프레임 중 제1 대상 프레임의 다수의 픽셀 각각이 상기 보간 프레임의 각 픽셀에 미치는 영향도를 추정하여 제1 가중치맵을 획득하고, 제2 대상 프레임의 다수의 픽셀 각각이 상기 보간 프레임의 각 픽셀에 미치는 영향도를 추정하여 제2 가중치맵을 획득하는 단계; 및
    제1 와핑 프레임을 획득하기 위해 상기 제1 대상 프레임을 상기 제1 플로우맵과 상기 제1 가중치맵에 따라 와핑하고, 제2 와핑 프레임을 획득하기 위해 상기 제2 대상 프레임을 상기 제2 플로우맵과 상기 제2 가중치맵에 따라 와핑하는 단계를 포함하는 프레임 보간 방법.
  12. 제11항에 있어서, 상기 와핑하는 단계는
    상기 제1 플로우맵의 벡터 형태로 표현된 픽셀 위치에 상기 제1 가중치맵의 대응하는 가중치를 가중하고 합하여 제1 와핑 프레임의 위치별 픽셀값을 획득하는 단계; 및
    상기 제2 플로우맵의 벡터 형태로 표현된 픽셀 위치에 상기 제2 가중치맵의 대응하는 가중치를 가중하고 합하여 상기 제1 와핑 프레임의 위치별 픽셀값을 획득하는 단계를 포함하는 프레임 보간 방법.
  13. 제11항에 있어서, 상기 폐색맵을 획득하는 단계는
    상기 폐색맵이 상기 제1 대상 프레임의 폐색 영역과 상기 제2 대상 프레임의 폐색 영역이 서로 다른 지정된 값을 갖도록 생성하는 프레임 보간 방법.
  14. 제11항에 있어서, 상기 프레임 보간 방법은
    인공 신경망을 이용하여 수행되는 상기 모션 특징맵을 획득하는 단계와 상기 플로우맵을 획득하는 단계, 상기 가중치맵을 획득하는 단계 및 상기 폐색맵을 획득하는 단계를 지도 학습 방식 또는 적대적 학습 방식 중 적어도 하나를 이용하여 학습시키기 위한 학습 단계를 더 포함하는 프레임 보간 방법.
  15. 제14항에 있어서, 상기 학습 단계는
    비디오 영상에서 특정 프레임에 대해 시간적으로 인접한 이전 프레임과 이후 프레임을 2개의 대상 프레임으로 설정하는 단계; 및
    보간 프레임과 상기 특정 프레임 사이의 차를 지도 학습 손실로 계산하여 역전파하는 단계를 포함하는 프레임 보간 방법.
  16. 제14항에 있어서, 상기 학습 단계는
    시간적 순서에 따라 상기 제1 대상 프레임과 상기 보간 프레임을 순차 배치 결합하여 제1 결합 프레임을 획득하고, 상기 보간 프레임과 상기 제2 대상 프레임을 순차 배치 및 결합하여 제2 결합 프레임을 획득하는 단계;
    상기 제1 결합 프레임 또는 상기 제2 결합 프레임 중 하나를 랜덤하게 선택하는 단계; 및
    선택된 결합 프레임이 상기 제1 결합 프레임인지 또는 상기 제2 결합 프레임인지 여부를 판별하여 적대적 손실을 계산하여 역전파하는 단계를 포함하는 프레임 보간 방법.
  17. 제16항에 있어서, 상기 역전파하는 단계는
    결합 프레임의 불확실성이 최대가 되도록 상기 적대적 손실(Ladv)을 수학식
    Figure 112020054607547-pat00007

    (여기서 C는 프레임 판별 함수를 나타내고, In, In+1은 각각 제1 및 제 대상 프레임을 나타내며, Iout는 보간 프레임을 나타낸다. 그리고 []는 결합 함수를 나타낸다.)
    에 따라 계산하는 프레임 보간 방법.
  18. 제14항에 있어서, 상기 학습 단계는
    비디오 영상에서 특정 프레임에 대해 시간적으로 인접한 이전 프레임과 이후 프레임을 2개의 대상 프레임으로 설정하여 획득되는 보간 프레임과 특정 프레임 사이의 차를 지도 학습 손실로 계산하여 역전파하여 지도 학습을 수행하는 단계; 및
    이후 상기 제1 및 제2 대상 프레임 각각과 상기 보간 프레임을 시간적 순서에 따라 순차 배치 결합하여 2개의 결합 프레임을 획득하고, 2개의 결합 프레임 중 하나를 랜덤하게 선택하여, 상기 제1 및 제2 대상 프레임 중 선택된 결합 프레임에 결합된 프레임을 판별하여 적대적 손실을 계산하고 역전파하는 단계를 포함하는 프레임 보간 방법.
KR1020200064766A 2020-05-29 2020-05-29 다중 플로우 기반 프레임 보간 장치 및 방법 Active KR102201297B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200064766A KR102201297B1 (ko) 2020-05-29 2020-05-29 다중 플로우 기반 프레임 보간 장치 및 방법
PCT/KR2020/011173 WO2021241804A1 (ko) 2020-05-29 2020-08-21 다중 플로우 기반 프레임 보간 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200064766A KR102201297B1 (ko) 2020-05-29 2020-05-29 다중 플로우 기반 프레임 보간 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102201297B1 true KR102201297B1 (ko) 2021-01-08

Family

ID=74127818

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064766A Active KR102201297B1 (ko) 2020-05-29 2020-05-29 다중 플로우 기반 프레임 보간 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102201297B1 (ko)
WO (1) WO2021241804A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837136A (zh) * 2021-09-29 2021-12-24 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质
WO2022197066A1 (en) * 2021-03-16 2022-09-22 Samsung Electronics Co., Ltd. Pixel blending for synthesizing video frames with occlusion and watermark handling

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205648B (zh) * 2021-12-07 2024-06-04 网易（杭州）网络有限公司 插帧方法及装置
US12283060B2 (en) * 2022-04-06 2025-04-22 Adobe Inc. Splatting-based digital image synthesis
CN115883764B (zh) * 2023-02-08 2023-05-23 吉林大学 一种基于数据协同的水下高速视频插帧方法及其系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339422A (ja) * 2004-05-31 2005-12-08 Rikogaku Shinkokai 時系列画像のモーション推定方法
KR100698640B1 (ko) * 2005-12-30 2007-03-21 고려대학교 산학협력단 와핑 변환을 이용한 프레임 보간 방법 및 그 장치
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
KR20100044984A (ko) * 2008-10-23 2010-05-03 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
KR102066012B1 (ko) 2017-06-27 2020-01-14 한양대학교 산학협력단 보간 프레임을 생성하기 위한 움직임 예측 방법 및 장치
KR20200057844A (ko) * 2018-11-15 2020-05-27 이화여자대학교 산학협력단 학습네트워크 기반의 비디오 보간 방법 및 비디오 보외 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339422A (ja) * 2004-05-31 2005-12-08 Rikogaku Shinkokai 時系列画像のモーション推定方法
KR100698640B1 (ko) * 2005-12-30 2007-03-21 고려대학교 산학협력단 와핑 변환을 이용한 프레임 보간 방법 및 그 장치
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
KR20100044984A (ko) * 2008-10-23 2010-05-03 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
KR102066012B1 (ko) 2017-06-27 2020-01-14 한양대학교 산학협력단 보간 프레임을 생성하기 위한 움직임 예측 방법 및 장치
KR20200057844A (ko) * 2018-11-15 2020-05-27 이화여자대학교 산학협력단 학습네트워크 기반의 비디오 보간 방법 및 비디오 보외 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022197066A1 (en) * 2021-03-16 2022-09-22 Samsung Electronics Co., Ltd. Pixel blending for synthesizing video frames with occlusion and watermark handling
US12192673B2 (en) 2021-03-16 2025-01-07 Samsung Electronics Co., Ltd. Accurate optical flow interpolation optimizing bi-directional consistency and temporal smoothness
US12200398B2 (en) 2021-03-16 2025-01-14 Samsung Electronics Co., Ltd. Pixel blending for synthesizing video frames with occlusion and watermark handling
CN113837136A (zh) * 2021-09-29 2021-12-24 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2021241804A1 (ko) 2021-12-02

Similar Documents

Publication Publication Date Title
KR102201297B1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
Liao et al. DR-GAN: Automatic radial distortion rectification using conditional GAN in real-time
AU2019280047B9 (en) Correspondence neural networks: a joint appearance and motion representation for video
Tokmakov et al. Learning motion patterns in videos
Fischer et al. Flownet: Learning optical flow with convolutional networks
Dosovitskiy et al. Flownet: Learning optical flow with convolutional networks
US12260609B2 (en) Behavior recognition method and system, electronic device and computer-readable storage medium
TW202036461A (zh) 用於差異估測的系統及用於系統的差異估測的方法
US7986813B2 (en) Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor
CN110163887B (zh) 基于运动插值估计与前景分割相结合的视频目标跟踪方法
US20140118482A1 (en) Method and apparatus for 2d to 3d conversion using panorama image
EP2966616B1 (en) Method and apparatus for tracking superpixels between related images
CN102025959A (zh) 从低清晰度视频产生高清晰度视频的系统与方法
WO2009119347A1 (ja) 画像処理システム、画像処理方法および画像処理用プログラムが格納された記録媒体
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
KR102310789B1 (ko) 다양한 시점에서 연속적으로 획득된 영상을 활용한 카메라 자세 및 깊이 추정 장치 및 방법
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
CN113724155A (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
KR20210129503A (ko) 자기 집중 방식 객체 추적 장치 및 방법
KR102186764B1 (ko) 사이클 일관성 기반 옵티컬플로우 및 디스패리티 추정 장치 및 방법
CN112131991B (zh) 一种基于事件相机的数据关联方法
Dong et al. MAL: motion-aware loss with temporal and distillation hints for self-supervised depth estimation
JP2018120402A (ja) イベント検出装置、イベント検出方法、プログラム
KR101919879B1 (ko) 사용자 인터랙션 정보 기반 깊이 정보 영상 보정 장치 및 방법
CN110942463A (zh) 一种基于生成对抗网络的视频目标分割方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200529

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210104

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210105

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210105

End annual number: 3

Start annual number: 1

PG1601 Publication of registration