KR20170027509A - 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 - Google Patents

보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 Download PDF

Info

Publication number
KR20170027509A
KR20170027509A KR1020150124234A KR20150124234A KR20170027509A KR 20170027509 A KR20170027509 A KR 20170027509A KR 1020150124234 A KR1020150124234 A KR 1020150124234A KR 20150124234 A KR20150124234 A KR 20150124234A KR 20170027509 A KR20170027509 A KR 20170027509A
Authority
KR
South Korea
Prior art keywords
frame
segment
motion vector
information
supplementary information
Prior art date
Application number
KR1020150124234A
Other languages
English (en)
Other versions
KR102126511B1 (ko
Inventor
임형준
박현욱
허평강
김동윤
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020150124234A priority Critical patent/KR102126511B1/ko
Priority to US15/172,525 priority patent/US20170064325A1/en
Publication of KR20170027509A publication Critical patent/KR20170027509A/ko
Application granted granted Critical
Publication of KR102126511B1 publication Critical patent/KR102126511B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

영상 프레임의 보간 방법 및 장치가 개시된다. 본 발명에 따른 영상 프레임의 보간 방법 및 장치는 원 영상의 프레임을 복수 영역으로 분할한 세그먼트와 관련된 보충 정보를 수신하고, 보충 정보를 이용하여 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 간의 움직임 벡터를 예측하며, 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 중 하나와 예측된 움직임 벡터에 기초하여 제 1 프레임 세그먼트와 제 2 프레임 세그먼트 사이의 제 3 프레임 세그먼트를 보간한다.

Description

보충 정보를 이용한 영상 프레임의 보간 방법 및 장치{METHOD AND APPARATUS FOR IMAGE FRAME INTERPOLATION USING SUPPLEMENTAL INFORMATION}
본 발명은 영상 프레임의 보간 방법 및 장치에 관한 것으로, 보다 상세하게는 원 영상의 프레임을 복수 영역으로 분할한 세그먼트와 관련된 보충 정보를 이용하여 복호화된 프레임들 사이를 보간하여 새로운 프레임을 생성함으로써 프레임율을 변환하는 방법 및 장치에 관한 것이다.
최근 디스플레이 장치의 발전으로 인해 다양한 크기의 영상 포맷과 방대한 양의 고해상도의 비디오에 대한 수요가 증가하고 있다. 그러나 제한된 대역폭에서 고해상도의 데이터를 전송하기 위해서는 비트 대역폭을 고려하여, 허용된 대역폭 내의 범위로 비트율을 줄여서 전송하여야 하기 때문에 고해상도 비디오의 주관적 화질이 떨어질 수 있다. 이와 같이 비트율이 감소함으로 인해 발생할 수 있는 화질의 저하를 막기 위해서 최근 원본 비디오의 프레임율을 변환하는 방법이 실용화되고 있다. 예를 들어, 원본 동영상의 프레임율이 60Hz일 때, 원본 동영상의 프레임들 사이를 보간하여 보간 프레임을 생성함으로써, 프레임율을 120Hz 또는 240Hz로 변환할 수 있다. 프레임율 변환에 따라 잔상이 적은 동영상을 생성하여 재생할 수 있다.
해결하고자 하는 기술적 과제는 프레임율을 변환하는 방법 및 장치를 제공하며, 상기 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다. 특히, 해결하고자 하는 기술적 과제는 영상 수신 단에서 복호화된 영상만을 이용하여 연속된 프레임 사이에 보간 프레임을 생성하는 대신, 영상 압축 단에서 생성된 보충 정보를 이용하여 보간 프레임을 생성하는 방법 및 장치를 제공하는 것이다.
일 실시예에 따른 영상 프레임의 보간 방법은 원 영상(original video)의 프레임을 복수 영역으로 분할한 세그먼트(segment)와 관련된 보충 정보를 수신하는 단계; 상기 보충 정보를 이용하여 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 간의 움직임 벡터를 예측하는 단계; 및 상기 제 1 프레임 세그먼트 및 상기 제 2 프레임 세그먼트 중 하나와 상기 예측된 움직임 벡터에 기초하여 상기 제 1 프레임 세그먼트와 상기 제 2 프레임 세그먼트 사이의 제 3 프레임 세그먼트를 보간하는 단계를 포함한다.
또한, 일 실시예에 따른 상기 보충 정보는 상기 세그먼트의 대표 움직임 벡터, 세그먼트의 중심좌표, 세그먼트의 넓이, 세그먼트의 경계 판단 임계 값 및 심도(depth) 중 적어도 하나에 대한 정보를 포함할 수 있다.
또한, 일 실시예에 따른 상기 보충 정보는 부호화되기 이전의 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 소정의 데이터 단위로 세그먼트화(segmentation)하여 생성한 정보일 수 있다.
또한, 일 실시예에 따른 상기 보충 정보를 수신하는 단계는, 부호화된 영상 정보가 전송되기 위한 비트스트림을 통해 상기 보충 정보를 수신하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 상기 보충 정보를 수신하는 단계는, SEI(Supplementary Enhancement Information) 메시지를 통해 상기 보충 정보를 수신하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 상기 움직임 벡터를 예측하는 단계는, 상기 세그먼트의 중심좌표에 상기 대표 움직임 벡터를 씨드(seed) 움직임 벡터로 할당하는 단계; 상기 씨드 움직임 벡터를 참조하여 상기 씨드 움직임 벡터에 인접한 영역의 움직임 벡터를 추정하는 단계; 및 상기 추정된 움직임 벡터를 참조하여 상기 세그먼트 내의 나머지 영역의 움직임 벡터를 추정하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 상기 보충 정보는 세그먼트 내에 움직임 벡터가 존재하지 않거나 부정확한 영역인 폐색 영역(occlusion)이 존재하는지 여부를 나타내는 플래그를 포함하며, 상기 폐색 영역이 존재하는 경우, 상기 움직임 벡터를 예측하는 단계는, 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 상기 세그먼트의 움직임 벡터로 사용하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 프레임의 보간 장치는, 원 영상(original video)의 프레임을 복수 영역으로 분할한 세그먼트(segment)와 관련된 보충 정보를 수신하는 보충 정보 수신부; 상기 보충 정보를 이용하여 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 간의 움직임 벡터를 예측하는 움직임 예측부; 및 상기 제 1 프레임 세그먼트 및 상기 제 2 프레임 세그먼트 중 하나와 상기 예측된 움직임 벡터에 기초하여 상기 제 1 프레임 세그먼트와 상기 제 2 프레임 세그먼트 사이의 제 3 프레임 세그먼트를 보간하는 프레임 보간부를 포함한다.
또한, 일 실시예에 따른 상기 보충 정보는 상기 세그먼트의 대표 움직임 벡터, 세그먼트의 중심좌표, 세그먼트의 넓이, 세그먼트의 경계 판단 임계 값 및 심도(depth) 중 적어도 하나에 대한 정보를 포함할 수 있다.
또한, 일 실시예에 따른 상기 보충 정보는 부호화되기 이전의 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 소정의 데이터 단위로 세그먼트화(segmentation)하여 생성한 정보일 수 있다.
또한, 일 실시예에 따른 상기 보충 정보 수신부는, 부호화된 영상 정보가 전송되기 위한 비트스트림을 통해 상기 보충 정보를 수신할 수 있다.
또한, 일 실시예에 따른 상기 보충 정보 수신부는, SEI(Supplementary Enhancement Information) 메시지를 통해 상기 보충 정보를 수신할 수 있다.
또한, 일 실시예에 따른 상기 움직임 예측부는, 상기 세그먼트의 중심좌표에 상기 대표 움직임 벡터를 씨드(seed) 움직임 벡터로 할당하고, 상기 씨드 움직임 벡터를 참조하여 상기 씨드 움직임 벡터에 인접한 영역의 움직임 벡터를 추정하며, 상기 추정된 움직임 벡터를 참조하여 상기 세그먼트 내의 나머지 영역의 움직임 벡터를 추정할 수 있다.
또한, 일 실시예에 따른 상기 보충 정보는 세그먼트 내에 움직임 벡터가 존재하지 않거나 부정확한 영역인 폐색 영역(occlusion)이 존재하는지 여부를 나타내는 플래그를 포함하며, 상기 폐색 영역이 존재하는 경우, 상기 움직임 예측부는, 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 상기 세그먼트의 움직임 벡터로 사용할 수 있다.
도 1a는 영상 프레임 보간 방법을 설명하기 위한 개요도이다.
도 1b는 일 실시예에 따른 영상 프레임 보간 방법을 설명하기 위한 개요도이다.
도 2는 일 실시예에 따른 영상 프레임 보간 장치의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 보충 정보를 생성하는 방법을 나타낸 플로우차트이다.
도 4는 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 세그먼트화하는 과정을 설명하기 위한 참조도이다.
도 5는 보충 정보에 포함되는 정보의 종류를 예시하기 위한 참조표이다.
도 6은 일 실시예에 따른 보충 정보를 이용하여 프레임을 보간하는 방법을 나타낸 플로우차트이다.
도 7은 영상의 프레임율을 업-컨버젼(up-conversion)하는 방법을 설명하기 위한 참조도이다.
도 8은 세그먼트 내에 폐색 영역이 존재하는지 여부를 나타내는 플래그를 나타내기 위한 참조도이다.
도 9는 일 실시예에 따른 영상 프레임 보간 방법을 나타낸 플로우차트이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1a는 영상 프레임 보간 방법을 설명하기 위한 개요도(101)이다. 도 1a를 참조하면, 영상의 압축 단계에서는 부호화기(120)가 원(original) 영상 프레임(110)을 변환, 양자화 및 부호화하여 비트스트림으로 변환한다. 영상을 압축함에 있어서는, 영상 간에 존재하는 시간적 중복성 및 영상 내에 존재하는 공간적인 중복성을 제거하기 위한 다양한 기술이 이용될 수 있다. 부호화기(120)에 의해 비트스트림으로 변환된 데이터는 복호화기(130)에서 수신되어 복호화된 영상 프레임(140)으로 출력된다. 이 때, 복호화된 영상 프레임(140)은 원 영상 프레임(110)에 비해 상대적으로 연속된 프레임 사이에서 추정된 움직임 벡터의 신뢰도가 저하 될 수 있다. 제한된 대역폭에서 고해상도의 영상을 데이터 손실 없이 전송하기는 현실적으로 매우 어렵기 때문에, 복호화된 영상 프레임(140)에는 부호화 결함(coding artifact)이 존재한다.
이와 같은 복호화된 영상 프레임(140)이 갖는 부호화 결함의 문제를 해결하기 위해 현재 다양한 프레임 레이트 상향 변환(frame rate up conversion) 기술이 사용되고 있다. 프레임 레이트 상향 변환은 존재하는 프레임을 이용하여 영상이 가지는 프레임 레이트를 증가시키는 기술로, 같은 시간 동안 더 많은 영상을 제공함으로써 프레임 당 픽셀 값을 유지하는 시간을 감소시켜 화면 끌림 현상을 해결할 수 있게 된다.
프레임 레이트 상향 변환의 대표적인 방법에는 연속적인 프레임을 추가하는 방식과 움직임 보상을 이용하여 영상을 보간하는 방식이 있다.
연속적인 프레임을 추가하는 방식은 물체의 움직임을 고려하지 않기 때문에 복잡도가 낮고 쉽게 보간이 가능하다. 그러나 영상의 포맷이 확장되거나 물체의 움직임이 클 경우에는 영상이 고르지 못하고 영상이 중복되는 고스트 현상(ghost artifact) 및 화면 끌림 현상이 발생한다. 또한 블록 단위로 보간을 수행하기 때문에 블록간의 경계부분에서 블록화 현상(block artifact)이 발생하는 단점이 있다.
한편, 움직임 보상을 이용하여 영상을 보간하는 움직임 보상 프레임 보간(Motion-compensated frame interpolation, 이하 “MCFI”라 한다) 방식은 이웃하는 프레임에서 물체의 움직임을 예측하여 새로운 영상을 생성하는 방법이다. 이 방식은 연속적인 프레임을 추가하는 방법에 비해 복잡한 연산량이 요구되지만 화면 끌림 현상 등의 문제점을 해결할 수 있다. 그러나, MCFI 방식은 이전 프레임에서 예측된 움직임 벡터를 이용하여 선택된 블록이 현재 프레임에서는 선형적으로 움직이는 것으로 가정하여 예측을 수행하기 때문에 움직임 벡터의 예측이 정확하지 않을 경우 현재 프레임에서의 움직임 벡터 또한 잘못된 위치를 선택할 수 있고, 이로 인해 보간되는 프레임에 심각한 블록화 현상이 발생할 수 있는 단점이 있다.
도 1a에 도시된 영상 프레임 보간 방법은 MCFI 방식이 적용되는 것으로 가정하고 설명하기로 한다. 복호화된 영상 프레임(140)에 대해 움직임-보상 프레임 보간(150)을 수행하기 위해, 영상 프레임 보간 장치는 복호화된 영상 프레임(140) 중 시간적으로 선후하는 제 1 프레임과 제 2 프레임 사이의 움직임 예측을 수행하여 움직임 벡터를 생성한다. 그리고, 영상 프레임 보간 장치는 생성된 움직임 벡터에 기초하여, 제 1 프레임과 제 2 프레임 사이의 제 3 프레임을 보간하여 프레임 보간된 영상 프레임(160)을 생성한다. 여기서, 제 3 프레임을 생성하는 방법에는 제한이 없으며 제 1 프레임과 제 2 프레임 사이의 움직임 벡터에 기초하여 제 3 프레임을 보간하는 모든 방법이 적용될 수 있다.
도 1b는 일 실시예에 따른 영상 프레임 보간 방법을 설명하기 위한 개요도(102)이다. 도 1b에 있어서, 원 영상 프레임(110), 부호화기(120), 복호화기(130), 복호화된 영상 프레임(140)은 도 1a의 원 영상 프레임(110), 부호화기(120), 복호화기(130), 복호화된 영상 프레임(140)과 각각 동일 대응되므로, 도 1a에서와 중복되는 설명은 생략한다.
도 1b를 참조하면, 일 실시예에 따른 영상 프레임 보간 방법을 설명하기 위한 개요도(102)는 보충 정보 생성기(170)를 더 포함한다. 전술한 복호화된 영상 프레임(140)의 부호화 결함을 제거하기 위해, 영상 프레임 보간 장치(200)는 움직임-보상 프레임 보간(150) 시에 보충 정보 생성기(170)로부터 생성된 보충 정보(예를 들어, 메타데이터)를 이용하여 프레임 보간을 수행할 수 있다. 보충 정보 생성기(170)에서 생성된 보충 정보는 부호화기(120)를 통해 부호화되기 이전의 원 영상 프레임(110)에 대한 움직임 예측을 수행하여 생성된 움직임 벡터 필드를 소정의 데이터 단위로 세그먼트화(segmentation)한 후 생성한 정보일 수 있다. 여기서, 보충 정보는 세그먼트의 대표 움직임 벡터, 세그먼트의 중심좌표, 세그먼트의 넓이, 세그먼트의 경계 판단 임계 값, 세그먼트의 심도(depth) 등 다양한 정보를 포함할 수 있다.
도 1b를 참조하면, 영상 프레임 보간 장치(200)는 보충 정보 생성기(170)에서 생성된 보충 정보를 수신하며, 복호화된 영상 프레임(140)에 대한 움직임-보상 프레임 보간(150) 시에 보충 정보를 이용하여 프레임 보간된 영상 프레임(160)을 생성한다. 영상 프레임 보간 장치(200)에서 수신하는 보충 정보는 복호화 이후 영상의 수신 단계에서 수행하는 MCFI 기법의 성능을 향상시키기 위해 필요한 추가 정보들을 포함한다. 따라서, 보충 정보를 이용하여 MCFI를 수행할 경우 더 정확한 움직임 예측이 가능해지며, 실시간 및 고속의 MCFI 수행이 가능해진다.
도 2는 일 실시예에 따른 영상 프레임 보간 장치(200)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 영상 프레임 보간 장치(200)는 보충 정보 수신부(210), 움직임 예측부(220) 및 프레임 보간부(230)를 포함한다.
보충 정보 수신부(210)는 보충 정보 생성기(170)에 의해 생성된 보충 정보를 부호화된 영상 정보화 함께 비트스트림을 통해 수신할 수 있다. 또한, 보충 정보 수신부(210)는 보충 정보 생성기(170)에 의해 생성된 보충 정보를 SEI(Supplementary Enhancement Information) 메시지를 통해 수신할 수 있다. 보충 정보는 메타데이터 형태로 전송 또는 수신될 수 있으며, 전송 또는 수신 채널은 보충 정보가 포함하는 데이터의 유형과 정보량에 따라 달라질 수 있다. 보충 정보 수신부(210)에서 수신하는 보충 정보가 생성되는 상세 과정에 대해서는 도 3 내지 도 5을 참조하여 후술하기로 한다.
움직임 예측부(220)는 복호화된 영상 프레임 중 시간적으로 연속한 프레임 사이의 보간된 프레임을 생성하기 위하여 시간적으로 선후하는 제 1 프레임과 제 2 프레임 사이의 움직임 예측을 수행하여 움직임 벡터를 생성한다. 여기서, 움직임 예측부(220)는 보충 정보 수신부(210)를 통해 수신된 보충 정보를 이용하여 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 간의 움직임 벡터를 예측할 수 있다. 움직임 예측부(220)에서 수행하는 움직임 예측의 상세 동작에 대해서는 도 6 내지 도 8을 참조하여 후술하기로 한다.
프레임 보간부(230)는 움직임 예측부(220)에서 생성된 움직임 벡터에 기초하여, 제 1 프레임과 제 2 프레임 사이의 제 3 프레임을 보간한다. 여기서, 프레임 보간부(230)가 제 3 프레임을 생성하는 방법에는 제한이 없으며 제 1 프레임과 제 2 프레임 사이의 움직임 벡터에 기초하여 제 3 프레임을 보간하는 모든 방법이 본 발명에 적용될 수 있다. 제 1 프레임과 제 2 프레임을 이용하여 제 3 프레임을 생성하는 방법은 도 7을 참조하여 상세히 후술한다.
기존의 복호화된 영상의 프레임율 증가 방식은 영상 수신 단에서 복호화된 영상만을 이용하여 연속된 프레임 사이에 보간 프레임을 생성하였다. 종래의 영상 프레임의 보간 방식에 따르면, 연속된 프레임 사이의 추정된 움직임 벡터는 영상 압축에 의한 부호화 결함(coding artifact)을 수반하기 때문에 신뢰도 저하의 문제점이 발생하였다.
일 실시예에 따른 영상 프레임의 보간 장치(200)는 연속된 프레임 사이의 보간 프레임을 생성함에 있어서 영상 압축 단에서 생성한 보충 정보를 이용함으로써, 부호화 결함을 제거하고 연속된 프레임 사이의 움직임 벡터를 보다 정확하게 추정할 수 있다.
또한, 일 실시예에 따른 영상 프레임의 보간 장치(200)는 영상 수신 단에서 적은 계산 량으로도 움직임 벡터 추정의 정확도를 높일 수 있으며 보다 정교하게 보간 프레임을 생성할 수 있다.
도 3은 일 실시예에 따른 보충 정보를 생성하는 방법을 나타낸 플로우차트(300)이다.
도 3을 참조하면, 보충 정보를 생성하는 과정은 움직임 예측을 수행하는 단계(S310)와 움직임 벡터를 세그먼트화하는 단계(S320)를 포함한다.
움직임 예측을 수행하는 단계(S310)에서는 원 영상의 참조 프레임(예를 들어, 이전 프레임)으로부터 현재 프레임의 움직임 벡터가 예측될 수 있다. 이 때, 부호화되기 이전의 원 영상은 부호화된 영상보다 높은 프레임 율을 가지며, 원 영상의 프레임으로부터 예측되는 움직임 벡터는 오차가 없는 실제 움직임 벡터(true motion vector)에 가까울 수 있다.
움직임 벡터를 세그먼트화하는 단계(S320)에서는 원 영상의 프레임에 대한 움직임 예측을 통해 생성된 움직임 벡터 필드가 소정의 데이터 단위로 세그먼트화될 수 있다. 움직임 벡터 필드는 K-평균 군집화(K-means clustering) 기법을 통해 유사한 벡터 필드 데이터들이 하나 이상의 균질적인 군집(cluster)으로 분류될 수 있다.
K-평균 군집화 기법은 비 계층적 군집법의 일종으로, n 개의 개체를 k 개의 군집으로 유사성이 높은 개체를 하나의 군집으로 묶어주는 방법이다. K-평균 군집화 기법의 첫 번째 단계는 입력 인자로 군집 중심 K 개를 입력받고 입력받은 K 만큼의 군집 중심을 선정하는 과정이다. 초기 군집 중심은 임의로 선정될 수 있다. 다음 단계는 각각의 개체를 선정된 군집에 할당하는 과정이다. 이 단계에서는 개체들 간의 유사성을 계산하여 유사성이 가장 높은 개체들을 군집으로 할당한다. 유사성을 계산하는 방법은 여러 가지가 있는데, K-평균 군집화 기법에서는 각 군집에 할당된 개체들의 평균을 이용하여 새로운 군집의 중심값을 계산한다. 2 차원 이상의 변수에 대한 군집화에 대해서는 평균값 대신 무게중심(centroid) 값을 이용하여 군집 중심을 재계산 할 수 있다. 상기의 과정은 소정의 조건이 만족되거나 군집 중심의 이동이 없어질 때 까지 반복될 수 있다.
K-평균 군집화 기법은 전체 데이터의 내부적인 구조에 대한 사전 지식이 없어도 의미있는 정보를 찾아낼 수 있다는 장점이 있다. 또한, 관찰 값과 군집 중심 사이의 거리 관계를 데이터의 형태에 맞게 정의한다면 대부분의 형태의 데이터에 적용이 가능하다. 또한, 초기의 잘못된 군집에 개체가 속하더라도 반복을 통하여 타당한 군집으로 재 할당이 이루어질 수 있다.
움직임 벡터를 세그먼트화하는 단계(S320)에서는, K-평균 군집화 기법을 통해 유사한 벡터 필드 데이터들이 하나 이상의 균질적인 군집으로 분류된 이후, 공간적 연결성 검사를 통해 움직임 벡터 필드의 세그먼트를 생성할 수 있다. 이후, 각 세그먼트화된 영역을 정규화(regularization)함으로써 개선된 움직임 벡터의 세그먼트를 생성할 수 있다. 개선된 움직임 벡터의 세그먼트는 원 영상의 세그먼트와 관련된 다양한 보충 정보를 포함할 수 있다. 여기서, 움직임 벡터의 세그먼트화는 프레임 단위로 수행되거나, 최대부호화단위(CTU), 부호화단위(CU), 또는 다른 유닛 단위에서 수행될 수 있다.
도 4는 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 세그먼트화하는 과정을 설명하기 위한 참조도(400)이다.
원 영상(410)에 대한 움직임 예측을 수행하여 현재 프레임에 대한 움직임 벡터 필드(420)를 생성할 수 있다. 여기서, 원 영상은 부호화되기 이전의 영상으로서 부호화된 영상보다 높은 프레임 율을 가진다. 움직임 벡터 필드(420)는 다시 세그먼트화 과정(430)을 통해 소정의 데이터 단위로 분류될 수 있다. 즉, 움직임 벡터 필드(420)는 K-평균 군집화 기법을 통해 유사한 벡터 필드 데이터들이 하나 이상의 균질적인 군집으로 분류될 수 있다. 이 때, 분류된 각각의 소정의 데이터 단위로부터 세그먼트의 대표 움직임 벡터, 세그먼트의 중심좌표, 세그먼트의 넓이, 세그먼트의 경계 판단 임계 값, 세그먼트의 심도(depth) 등과 같은 세그먼트와 관련된 보충 정보가 추출될 수 있다.
도 5는 보충 정보에 포함되는 정보의 종류를 예시하기 위한 참조표(500)이다.
도 3의 움직임 예측을 수행하는 단계(S310) 및 움직임 벡터를 세그먼트화하는 단계(S320)를 통해 생성된 보충 정보는 세그먼트와 관련된 다양한 정보를 포함할 수 있다.
도 5를 참조하면, 보충 정보는 세그먼트에 관한 정보와 함께 세그먼트의 대표 움직임 벡터, 세그먼트의 중심좌표(세그먼트의 질량 중심), 세그먼트의 넓이(픽셀 수), 세그먼트의 경계 판단 임계 값 및 세그먼트의 심도(depth) 중 적어도 하나에 대한 정보를 포함할 수 있다. 나아가, 보충 정보는 세그먼트의 픽셀 값, 폐색 영역(occlusion) 포함 여부, 부호화되기 이전의 움직임 벡터와 부호화된 움직임 벡터 사이의 차분 값 등에 관한 정보를 추가로 포함할 수도 있다. 세그먼트의 경계 판단 임계 값은 세그먼트의 경계를 결정하기 위한 소정의 값이다. 또한, 세그먼트의 심도는 최대 분할 단위(예를 들어, 프레임, CTU, CU 등)로부터 세그먼트가 공간적으로 분할한 횟수를 나타내며, 심도가 깊어질수록 심도별 세그먼트는 최대 분할 단위로부터 최소 분할 단위까지 분할될 수 있다. 최대 분할 단위는 심도가 깊어짐에 따라 심도별 세그먼트의 크기는 감소하므로, 상위 심도의 세그먼트는 복수개의 하위 심도의 세그먼트를 포함할 수 있다.
도 6은 일 실시예에 따른 보충 정보를 이용하여 프레임을 보간하는 방법을 나타낸 플로우차트(600)이다.
도 6을 참조하면, 보충 정보를 이용하여 프레임을 보간하는 과정은 세그먼트의 움직임 벡터를 이용하여 복호화된 프레임들에 대한 움직임 예측을 수행하는 단계(S610), 세그먼트의 움직임 벡터를 이용하여 움직임 벡터를 스무딩(smoothing)하는 단계(S620) 및 움직임 벡터 필드를 이용하여 프레임 보간을 수행하는 단계(S630)를 포함한다. 단계 S610 및 단계 S620은 도 2의 움직임 예측부(220)에서 수행될 수 있으며, 단계 S630은 도 2의 프레임 보간부(230)에서 수행될 수 있다.
움직임 예측을 수행하는 단계(S610)에서는 보충 정보를 이용하여 각 세그먼트의 중심좌표에 대표 움직임 벡터가 씨드(seed) 움직임 벡터로 할당될 수 있다. 여기서, 세그먼트의 중심좌표는 세그먼트의 질량 중심을 나타낼 수 있다. 이후, 씨드 움직임 벡터로 할당된 대표 움직임 벡터를 참조하여, 중심좌표 주변 영역의 움직임 예측이 수행될 수 있다. 각 세그먼트 내에서의 움직임 예측은 중심좌표로부터 바깥 영역으로 확장되면서 순차적으로 수행될 수 있다. 즉, 씨드 움직임 벡터와 먼저 예측된 움직임 벡터는 다음 움직임 벡터를 구하는 과정에서 참조 벡터로 사용될 수 있다.
보충 정보를 이용하여 움직임 예측을 수행하고 난 후, 움직임 벡터를 스무딩하고, 프레임 보간을 수행할 수 있다. 프레임 보간에 관한 상세는 도 7을 참조하여 후술하기로 한다.
도 7은 영상의 프레임율을 업-컨버젼(up-conversion)하는 방법을 설명하기 위한 참조도(700)이다.
도 7을 참조하면, 시간 t-1의 제 1 프레임(710) 및 시간 t+1의 제 2 프레임(720) 사이를 보간하여 제 3 프레임(730)을 생성하기 위해서 움직임 벡터(740)가 예측된다. 여기서, 제 1 프레임(710) 및 제 2 프레임(720)은 복호화된 영상의 프레임일 수 있다. 움직임 예측부(220)는 제 2 프레임(720)의 세그먼트(722)와 유사한 세그먼트(712)를 제 1 프레임(710)에서 검색하고, 검색 결과에 기초해 움직임 벡터(740)를 예측한다. 이 때, 움직임 예측부(220)는 움직임 벡터(740)를 예측함에 있어서 보충 정보 수신부(210)에서 수신한 보충 정보를 참조한다. 도 7에서는 움직임 예측부(220)에서 순방향(forward) 움직임 벡터(740)를 생성하는 것을 도시하였으나, 이에 한정되지 않고 움직임 예측부(220)는 제 1 프레임(710)을 기준으로 제 2 프레임(720)에서 움직임 예측을 수행하여 역방향(backward) 움직임 벡터를 생성할 수도 있다.
프레임 보간부(230)는 움직임 예측부(220)에서 생성된 움직임 벡터(740)에 기초하여 제 1 프레임(710)의 세그먼트(712)와 제 2 프레임(720)의 세그먼트(722) 사이의 제 3 프레임(730)의 세그먼트(732)를 생성한다. 또한, 프레임 보간부(230)는 움직임 벡터(740)에 기초하여 제 1 프레임(710)과 제 2 프레임(720) 사이의 제 3 프레임(730)을 생성할 수 있다. 제 3 프레임(730)은 제 3 프레임(730)의 세그먼트(732)의 집합일 수 있으며, 제 3 프레임(730)은 제 3 프레임(730)의 세그먼트(732)에 기초하여 생성될 수도 있다. 프레임 보간부(230)는 움직임 벡터에 기초하여 영상 프레임들 사이의 프레임을 보간하는 다양한 방식을 적용할 수 있으며, 일 예로 MCFI 방식을 적용하여 제 3 프레임(730)을 생성할 수 있다. 프레임 보간부(230)는 제 2 프레임(720)에 대해서 예측된 움직임 벡터(740)를 이용하여 다음의 수학식 1과 같이 제 3 프레임(740)을 보간할 수 있다.
Figure pat00001
수학식 1에서, 움직임 예측부(220)에서 생성된 제 2 프레임(720)의 (i,j) 위치에서의 움직임 벡터의 x축 방향 성분은
Figure pat00002
, y축 방향 성분은
Figure pat00003
이며,
Figure pat00004
는 제 1 프레임(710)의 (x,y) 위치에서의 픽셀값,
Figure pat00005
는 제 2 프레임(720)의 (x,y) 위치에서의 픽셀값,
Figure pat00006
는 보간된 제 3 프레임(730)의 (x,y) 위치에서의 픽셀값을 나타낸다. 수학식 1을 참조하면, 프레임 보간부(230)는 움직임 예측부(220)에서 생성된 움직임 벡터에 기초하여 제 1 프레임(710)의 세그먼트(712)와 제 2 프레임(720)의 세그먼트(722)의 대응 영역 사이의 평균값을 계산함으로써 제 3 프레임(730)을 보간할 수 있다.
또한, 프레임 보간부(230)는 제 3 프레임(730)의 각 픽셀에 대해서 예측된 움직임 벡터에 기초하여 다음의 수학식 2와 같이 제 3 프레임(730)을 보간할 수 있다.
Figure pat00007
수학식 2에서,
Figure pat00008
및
Figure pat00009
는 각각 제 3 프레임(230)의 (i,j)위치에서 예측된 x축 방향 및 y축 방향의 움직임 벡터를 나타내며 나머지 파라메터들의 정의는 수학식 1과 같다. 보간된 제 3 프레임(730)에서의 움직임 벡터는 제 1 프레임(710)과 제 2 프레임(720) 사이의 순방향 및 역방향 움직임 벡터를 이용하여 특별한 제한없이 다양한 방식을 적용하여 예측될 수 있다.
도 8은 세그먼트 내에 폐색 영역이 존재하는지 여부를 나타내는 플래그를 나타내기 위한 참조도(800)이다.
폐색 영역은 시간적으로 인접한 제 1 프레임 및 제 2 프레임 모두에 존재하지 않고 둘 중 하나에만 존재하는 객체 또는 영역을 의미한다. 폐색 영역은 영상이 급격하게 변화하는 경우에 부호화 과정에서 프레임 내부에 포함 될 수 있다. 원 영상의 프레임들에 폐색 영역이 존재하는 경우, 움직임 추정 또는 움직임 보상 기법을 적용하여 보간 프레임을 생성할 수 없다는 문제점이 있다. 보간 프레임은 시간적으로 인접한 프레임들의 움직임 벡터 정보를 이용하여 프레임 사이의 새로운 프레임을 생성하는 것이기 때문에, 시간적으로 인접한 프레임에 움직임 벡터가 존재하지 않거나 신뢰할 수 없는 모션 벡터가 존재한다면 보간 프레임이 생성될 수 없다.
일 실시예에 따른 영상 프레임의 보간 장치(200)는, 프레임의 세그먼트가 폐색 영역을 포함할 경우, 보간 프레임이 생성될 수 있도록 하기 위해 부호화기(120)로부터 생성된 추가적인 정보를 수신하여 이용할 수 있다. 이 때, 추가적인 정보는 부호화기(120)를 통해 원 영상의 프레임으로부터 예측된 실제 움직임 벡터(true motion vector)이거나, 실제 움직임 벡터와 MCFI 수행을 통해 구한 움직임 벡터 간의 차이(motion vector difference; MVD)일 수 있다.
일 실시예에 따른 영상 프레임의 보간 장치(200)는 세그먼트가 폐색 영역을 포함하지 않는 경우, 추가적인 정보 없이 MCFI 를 통해 보간된 프레임을 생성할 수 있다. 그러나, 세그먼트가 폐색 영역을 포함하는 경우, 영상 프레임의 보간 장치(200)는 추가적인 정보를 이용하여, 즉, 실제 움직임 벡터를 그대로 이용하거나 MVD를 이용하여 보간된 프레임을 생성할 수 있다. 추가적인 정보는 부호화된 영상 정보와 함께 영상 프레임의 보간 장치(200)로 전송될 수 있다. 또한, 추가적인 정보의 사용 여부는 프레임, CTU, CU 등의 단위로 정의하여 영상 프레임의 보간 장치(200)로 전송될 수 있다.
도 8을 참조하면, 일 실시예에 따른 보충 정보는 세그먼트 내에 폐색 영역이 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 만약 플래그가 0이면 해당 세그먼트는 폐색 영역을 포함하지 않음을 의미하고, 플래그가 1이면 해당 세그먼트가 폐색 영역을 포함함을 의미한다. 도 8을 참조하면, 세그먼트는 심도에 따라 쿼드-트리(quad-tree) 구조를 통해 하위 세그먼트로 분할될 수 있으므로, 폐색 영역이 존재하는지 여부를 나타내는 플래그는 특정 심도를 갖는 세그먼트의 단위로 기술될 수 있다. 즉, 심도가 0인 세그먼트의 단위(810)가 폐색 영역을 포함하지 않는 경우 플래그는 0을 나타낸다. 심도가 0인 세그먼트의 단위가 폐색 영역을 포함하는 경우, 해당 세그먼트는 쿼드-트리 형태로 심도가 1인 세그먼트의 단위(820, 830)로 분할되어 세그먼트 단위(820, 830) 각각에 대한 플래그로 기술된다. 만약 심도가 1인 세그먼트 단위가 폐색 영역을 포함하는 경우, 해당 세그먼트는 쿼드-트리 형태로 심도가 2인 세그먼트위 단위(840, 850)로 분할되어 세그먼트 단위(840, 850) 각각에 대한 플래그로 기술된다.
앞선 실시예에서는, 플래그가 세그먼트 내에 폐색 영역이 존재하는지 여부를 나타내기 위한 것으로 설명하였지만, 플래그는 폐색 영역의 존재 여부 뿐만 아니라 추가적인 정보의 사용 여부를 정의하기 위한 수단으로 사용될 수도 있다. 이 때, 추가적인 정보의 사용 여부는 추가적인 정보를 사용할 경우 발생하는 비트 량과 추가적인 정보를 이용하여 개선할 수 있는 화질을 측정 및 비교하여 결정될 수 있다.
도 9는 일 실시예에 따른 영상 프레임 보간 방법을 나타낸 플로우차트이다.
도 9를 참조하면, 단계 S910에서 보충 정보 수신부(210)는 원 영상의 프레임을 복수 영역으로 분할한 세그먼트와 관련된 보충 정보를 수신한다.
단계 S920에서 움직임 예측부(220)는 보충 정보를 이용하여 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 간의 움직임 벡터를 예측한다.
단계 S930에서, 프레임 보간부(230)는 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 중 하나와 예측된 움직임 벡터에 기초하여 제 1 프레임 세그먼트와 제 2 프레임 세그먼트 사이의 제 3 프레임 세그먼트를 보간한다. 전술한 바와 같이, 여기서, 제 3 프레임 세그먼트를 보간하는 방법에는 제한이 없으며 제 1 프레임 세그먼트와 제 2 프레임 세그먼트 사이의 움직임 벡터에 기초하여 제 3 프레임 세그먼트를 보간하는 모든 방법이 적용될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (15)

  1. 원 영상(original video)의 프레임을 복수 영역으로 분할한 세그먼트(segment)와 관련된 보충 정보를 수신하는 단계;
    상기 보충 정보를 이용하여 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 간의 움직임 벡터를 예측하는 단계; 및
    상기 제 1 프레임 세그먼트 및 상기 제 2 프레임 세그먼트 중 하나와 상기 예측된 움직임 벡터에 기초하여 상기 제 1 프레임 세그먼트와 상기 제 2 프레임 세그먼트 사이의 제 3 프레임 세그먼트를 보간하는 단계를 포함하는, 영상 프레임의 보간 방법.
  2. 제 1 항에 있어서,
    상기 보충 정보는 상기 세그먼트의 대표 움직임 벡터, 세그먼트의 중심좌표, 세그먼트의 넓이, 세그먼트의 경계 판단 임계 값 및 심도(depth) 중 적어도 하나에 대한 정보를 포함하는, 영상 프레임의 보간 방법.
  3. 제 1 항에 있어서,
    상기 보충 정보는 부호화되기 이전의 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 소정의 데이터 단위로 세그먼트화(segmentation)하여 생성한 정보인, 영상 프레임의 보간 방법.
  4. 제 1 항에 있어서,
    상기 보충 정보를 수신하는 단계는,
    부호화된 영상 정보가 전송되기 위한 비트스트림을 통해 상기 보충 정보를 수신하는 단계를 포함하는, 영상 프레임의 보간 방법.
  5. 제 1 항에 있어서,
    상기 보충 정보를 수신하는 단계는,
    SEI(Supplementary Enhancement Information) 메시지를 통해 상기 보충 정보를 수신하는 단계를 포함하는, 영상 프레임의 보간 방법.
  6. 제 2 항에 있어서,
    상기 움직임 벡터를 예측하는 단계는,
    상기 세그먼트의 중심좌표에 상기 대표 움직임 벡터를 씨드(seed) 움직임 벡터로 할당하는 단계;
    상기 씨드 움직임 벡터를 참조하여 상기 씨드 움직임 벡터에 인접한 영역의 움직임 벡터를 추정하는 단계; 및
    상기 추정된 움직임 벡터를 참조하여 상기 세그먼트 내의 나머지 영역의 움직임 벡터를 추정하는 단계를 포함하는, 영상 프레임의 보간 방법.
  7. 제 1 항에 있어서,
    상기 보충 정보는 세그먼트 내에 움직임 벡터가 존재하지 않거나 부정확한 영역인 폐색 영역(occlusion)이 존재하는지 여부를 나타내는 플래그를 포함하며,
    상기 폐색 영역이 존재하는 경우, 상기 움직임 벡터를 예측하는 단계는, 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 상기 세그먼트의 움직임 벡터로 사용하는 단계를 포함하는, 영상 프레임의 보간 방법.
  8. 원 영상(original video)의 프레임을 복수 영역으로 분할한 세그먼트(segment)와 관련된 보충 정보를 수신하는 보충 정보 수신부;
    상기 보충 정보를 이용하여 제 1 프레임 세그먼트 및 제 2 프레임 세그먼트 간의 움직임 벡터를 예측하는 움직임 예측부; 및
    상기 제 1 프레임 세그먼트 및 상기 제 2 프레임 세그먼트 중 하나와 상기 예측된 움직임 벡터에 기초하여 상기 제 1 프레임 세그먼트와 상기 제 2 프레임 세그먼트 사이의 제 3 프레임 세그먼트를 보간하는 프레임 보간부를 포함하는, 영상 프레임의 보간 장치.
  9. 제 8 항에 있어서,
    상기 보충 정보는 상기 세그먼트의 대표 움직임 벡터, 세그먼트의 중심좌표, 세그먼트의 넓이, 세그먼트의 경계 판단 임계 값 및 심도(depth) 중 적어도 하나에 대한 정보를 포함하는, 영상 프레임의 보간 장치.
  10. 제 8 항에 있어서,
    상기 보충 정보는 부호화되기 이전의 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 소정의 데이터 단위로 세그먼트화(segmentation)하여 생성한 정보인, 영상 프레임의 보간 장치.
  11. 제 8 항에 있어서,
    상기 보충 정보 수신부는,
    부호화된 영상 정보가 전송되기 위한 비트스트림을 통해 상기 보충 정보를 수신하는, 영상 프레임의 보간 장치.
  12. 제 8 항에 있어서,
    상기 보충 정보 수신부는,
    SEI(Supplementary Enhancement Information) 메시지를 통해 상기 보충 정보를 수신하는, 영상 프레임의 보간 장치.
  13. 제 9 항에 있어서,
    상기 움직임 예측부는,
    상기 세그먼트의 중심좌표에 상기 대표 움직임 벡터를 씨드(seed) 움직임 벡터로 할당하고, 상기 씨드 움직임 벡터를 참조하여 상기 씨드 움직임 벡터에 인접한 영역의 움직임 벡터를 추정하며, 상기 추정된 움직임 벡터를 참조하여 상기 세그먼트 내의 나머지 영역의 움직임 벡터를 추정하는, 영상 프레임의 보간 장치.
  14. 제 8 항에 있어서,
    상기 보충 정보는 세그먼트 내에 움직임 벡터가 존재하지 않거나 부정확한 영역인 폐색 영역(occlusion)이 존재하는지 여부를 나타내는 플래그를 포함하며,
    상기 폐색 영역이 존재하는 경우, 상기 움직임 예측부는, 상기 원 영상의 프레임에 대한 움직임 예측을 수행하여 생성된 움직임 벡터를 상기 세그먼트의 움직임 벡터로 사용하는, 영상 프레임의 보간 장치.
  15. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150124234A 2015-09-02 2015-09-02 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 KR102126511B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150124234A KR102126511B1 (ko) 2015-09-02 2015-09-02 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
US15/172,525 US20170064325A1 (en) 2015-09-02 2016-06-03 Method and apparatus for interpolating video frame by using supplemental information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150124234A KR102126511B1 (ko) 2015-09-02 2015-09-02 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170027509A true KR20170027509A (ko) 2017-03-10
KR102126511B1 KR102126511B1 (ko) 2020-07-08

Family

ID=58096463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150124234A KR102126511B1 (ko) 2015-09-02 2015-09-02 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치

Country Status (2)

Country Link
US (1) US20170064325A1 (ko)
KR (1) KR102126511B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691756A (zh) * 2021-07-15 2021-11-23 维沃移动通信（杭州）有限公司 视频播放方法、装置及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582384B2 (en) * 2019-04-24 2023-02-14 Nevermind Capital Llc Methods and apparatus for encoding, communicating and/or using images
CN116848843A (zh) * 2021-02-08 2023-10-03 华为技术有限公司 可切换的密集运动向量场插值
WO2023159470A1 (zh) * 2022-02-25 2023-08-31 京东方科技集团股份有限公司 视频插帧处理方法、视频插帧处理装置和可读存储介质
US11871146B1 (en) * 2022-08-16 2024-01-09 Novatek Microelectronics Corp. Video processor for handling irregular input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070040401A (ko) * 2004-07-21 2007-04-16 콸콤 인코포레이티드 모션 벡터 할당을 위한 방법 및 방치
KR20070044455A (ko) * 2004-07-20 2007-04-27 콸콤 인코포레이티드 비디오 압축에 대한 인코더 보조-프레임 레이트 업컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치
KR20080056248A (ko) * 2005-09-27 2008-06-20 콸콤 인코포레이티드 더 정확한 모션 정보를 이용한 프레임 보간

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
EP2019554A3 (en) * 2005-03-10 2009-03-11 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
US20070074251A1 (en) * 2005-09-27 2007-03-29 Oguz Seyfullah H Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
US8818045B2 (en) * 2011-12-29 2014-08-26 Stmicroelectronics (Canada), Inc. Adaptive sub-pixel accuracy system for motion and disparities estimation
JP6102680B2 (ja) * 2013-10-29 2017-03-29 ソニー株式会社 符号化装置、復号装置、符号化データ、符号化方法、復号方法およびプログラム
US10531093B2 (en) * 2015-05-25 2020-01-07 Peking University Shenzhen Graduate School Method and system for video frame interpolation based on optical flow method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070044455A (ko) * 2004-07-20 2007-04-27 콸콤 인코포레이티드 비디오 압축에 대한 인코더 보조-프레임 레이트 업컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치
KR20070040401A (ko) * 2004-07-21 2007-04-16 콸콤 인코포레이티드 모션 벡터 할당을 위한 방법 및 방치
KR20080056248A (ko) * 2005-09-27 2008-06-20 콸콤 인코포레이티드 더 정확한 모션 정보를 이용한 프레임 보간

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691756A (zh) * 2021-07-15 2021-11-23 维沃移动通信（杭州）有限公司 视频播放方法、装置及电子设备

Also Published As

Publication number Publication date
KR102126511B1 (ko) 2020-07-08
US20170064325A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
US11070834B2 (en) Low-complexity method for generating synthetic reference frames in video coding
TWI720750B (zh) 動態影像編碼裝置及動態影像編碼方法
US8064522B2 (en) Motion-vector detecting device, motion-vector detecting method, and computer program
KR102126511B1 (ko) 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
WO2020098802A1 (en) Merge with mvd for affine
JP5669523B2 (ja) フレーム補間装置及び方法、並びにプログラム及び記録媒体
JP2000224593A (ja) フレーム補間方法および装置およびこの方法を記録した記録媒体
KR101710883B1 (ko) 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
JP6280679B2 (ja) フレーム間引き装置、フレーム補間装置、映像符号化装置、映像復号装置、及びこれらのプログラム
JP5512696B2 (ja) ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置
KR20110097868A (ko) 위상 평면 상관을 위한 적응형 주파수 도메인 필터링
US9467676B2 (en) Multi-view video coding and decoding methods and apparatuses, coder, and decoder
KR101431046B1 (ko) Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
JP4622264B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR101215128B1 (ko) 프레임 보간 방법
KR20090022377A (ko) 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법
JP5102810B2 (ja) 画像補正装置及びそのプログラム
JP6499334B2 (ja) 双方向動きベクトル予測装置、映像符号化装置、映像復号装置、及びこれらのプログラム
JP2018182435A (ja) 動きベクトル予測装置及びコンピュータプログラム
KR101834952B1 (ko) 프레임율 변환 장치 및 방법
JP2023085028A (ja) 映像符号化装置及び映像符号化方法
KR101567990B1 (ko) 움직임벡터 부호화/복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right