KR101796017B1 - Fruc를 위한 경로기반 보간 방법 및 장치 - Google Patents

Fruc를 위한 경로기반 보간 방법 및 장치 Download PDF

Info

Publication number
KR101796017B1
KR101796017B1 KR1020160009369A KR20160009369A KR101796017B1 KR 101796017 B1 KR101796017 B1 KR 101796017B1 KR 1020160009369 A KR1020160009369 A KR 1020160009369A KR 20160009369 A KR20160009369 A KR 20160009369A KR 101796017 B1 KR101796017 B1 KR 101796017B1
Authority
KR
South Korea
Prior art keywords
frame information
information
pixel
motion vector
reference frame
Prior art date
Application number
KR1020160009369A
Other languages
English (en)
Other versions
KR20170089454A (ko
Inventor
낭종호
김상철
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020160009369A priority Critical patent/KR101796017B1/ko
Publication of KR20170089454A publication Critical patent/KR20170089454A/ko
Application granted granted Critical
Publication of KR101796017B1 publication Critical patent/KR101796017B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명에 따르는 FRUC를 위한 경로기반 보간 장치는, 소스 프레임 정보와 레퍼런스 프레임 정보를 입력받아, 상기 소스 프레임 정보에서 상기 레퍼런스 프레임 정보로 이동하는 경우의 역방향 경로에 따른 단방향 모션을 추정하여 역방향 모션벡터 정보를 생성하고, 상기 레퍼런스 프레임 정보에서 소스 프레임 정보로 이동하는 경우의 순방향 경로에 따른 단방향 모션을 추정하여 순방향 모션벡터 정보를 생성하고, 상기 소스 프레임 정보의 픽셀과 그에 대응되는 레퍼런스 프레임 정보의 픽셀 사이의 밝기차에 따라, 보간 프레임 정보를 구성하는 픽셀들의 위치 및 픽셀값을 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지, 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지에 대한 태그정보를 룩업 테이블 정보에 기록하고, 상기 룩업 테이블 정보에 기록된 태그정보에 따라 상기 보간 프레임 정보를 구성하는 픽셀들의 픽셀값을 채워 보간 프레임 정보를 생성하는 프로세서; 및 상기 프로세서의 저장 영역을 제공하는 메모리부;를 구비하는 것을 특징으로 한다.

Description

FRUC를 위한 경로기반 보간 방법 및 장치{path based interpolation method and apparatus for FRUC}
본 발명은 FRUC 기술에 관한 것으로, 더욱 상세하게는 오브젝트가 프레임 내에서 경로(Path)를 따라 움직이는 것으로 가정하여, 상기 오브젝트의 움직임에 따라 참조 프레임의 픽셀 또는 소스 프레임의 픽셀을 선택적으로 이용하여 보간 프레임을 생성하여 고스팅과 블러링, 홀 발생을 최소화하는 FRUC를 위한 경로기반 보간 방법 및 장치에 관한 것이다.
UHD(Ultra High Definition) 상영기기의 보급으로 UHD 컨텐츠(Contents)의 수요가 늘어나고 있지만, 대부분의 컨텐츠들은 여전히 FHD(Full High Definition)로 제작되고 있다. 이에 종래에는 UHD 상영기기에서 FHD 컨텐츠를 출력할 때에는 24~30 fps에서 60 fps로 업스케일링(temporal upscaling)하여, 시청자가 UHD 상영기기를 이용하여 다량의 FHD 컨텐츠를 만족스럽게 즐길 수 있게 하여 UHD 상영기기의 보급에 기여하고자 하였다.
그리고 FRUC(Frame Rate Up Conversion)는 프레임(Frame)들 사이에 가상의 프레임을 삽입하는 기술로, 움직임을 추정하는 방법에 따라 단방향(Unidirection) FRUC와 양방향(Bidirection) FRUC로 구분된다. 상기 단방향 FRUC는 홀(Hole) 현상과 오클루젼(occlusion) 현상이 발생하였고, 이 문제를 극복하기 위해서 양방향 FRUC가 제안되었다. 그러나 상기 양방향 FRUC는 블록으로부터 양방향 움직임을 추정하기 때문에 오클루젼(occlusion) 현상이 발생할 경우에 고스팅(ghosting) 현상이 일어난다. 또한 블랙 아티팩트(Block artifact)가 발생한다. 또한 두가지 방법 모두 다 모션 보상 보간(Motion Compensated Interpolation) 단계에서 블랜딩 함수(Blending function)를 사용하는데, 이때 고스팅(ghosting)이나 블러링(blurring) 현상이 발생한다.
이러한 문제를 극복하기 위한 기술인 D. Mahajan, F.C. Huang, W. Matusik, and R. Ramamoorthi, "Moving Gradients: a Path-based for Plausible Image Interpolation, " ACM Transactions on Graphics, vol.28, no.03, 2009, Article 42.는 광학적 흐름(Optical flow)을 따라 시간적 중복성(Temporal redundancy)에 의해서 픽셀(pixel) 매핑하는 경로 기반 프레임 워크(Path-based frame work)를 제안하였다. 이는 고스트(Ghost) 현상과 블러링(Blurring) 현상을 회피하지만 동작 예측(Motion Estimation)이 아닌 경로 검출 알고리즘(Path detection algorithm)을 사용하기 때문에 FRUC 시스템에 적용시킬 수 없는 문제점이 있다.
그리고 D. Wang, A. Vincent, P. Blanchfield, and R. Klepko, "Motion Compensated Frame Rate Up-Conversion-Part II: New Algorithms for Frame Interpolation," IEEE Transactions on Broadcasting, vol.56, no.02, 2010, pp.142-149.와 B. Jeon, G. Lee, S. Lee, and R. Park, "Coarse-to-Fine Frame Interpolation for Frame Rate Up Conversion Using Pyramid Structure," IEEE Transactions on Consumer Electronics, vol. 49, no. 3, 2003, pp.499-508.는 홀을 처리하기 위해 공간적 관계(spatial relation)을 고려하여 보간된 프레임(interpolated frame)에서 홀 주변부의 픽셀들을 선형 보간(linear interpolation)하여 홀을 채우는 공간적 보간(spatial interpolation)을 수행하지만 홀이 클 경우에 부자연스럽게 보간되는 현상이 발생하였다.
이에 종래에는 여전히 FRUC시에 고스팅과 블러링을 현저하게 감소시켜 객관적으로 품질을 향상시킬 수 있는 기술의 개발이 요구되었다.
대한민국 특허공개 제1020080104071호 대한민국 특허공개 제1020090006146호 대한민국 특허공개 제1020090007437호 대한민국 특허공개 제1020070040401호
본 발명은 오브젝트가 프레임 내에서 경로(Path)를 따라 움직이는 것으로 가정하여, 상기 오브젝트의 움직임에 따라 참조 프레임의 픽셀 또는 소스 프레임의 픽셀을 선택적으로 이용하여 보간 프레임을 생성하여 고스팅과 블러링, 홀 발생을 최소화하는 FRUC를 위한 경로기반 보간 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한 본 발명의 다른 목적은 생성된 보간 프레임에 대해 다시 공간적 보간을 수행하여 보간 프레임의 품위를 향상시킬 수 있는 FRUC를 위한 경로기반 보간 방법 및 장치를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따르는 FRUC를 위한 경로기반 보간 장치는, 소스 프레임 정보와 레퍼런스 프레임 정보를 입력받아, 상기 소스 프레임 정보에서 상기 레퍼런스 프레임 정보로 이동하는 경우의 역방향 경로에 따른 단방향 모션을 추정하여 역방향 모션벡터 정보를 생성하고, 상기 레퍼런스 프레임 정보에서 소스 프레임 정보로 이동하는 경우의 순방향 경로에 따른 단방향 모션을 추정하여 순방향 모션벡터 정보를 생성하고, 상기 소스 프레임 정보의 픽셀과 그에 대응되는 레퍼런스 프레임 정보의 픽셀 사이의 밝기차에 따라, 보간 프레임 정보를 구성하는 픽셀들의 위치 및 픽셀값을 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지, 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지에 대한 태그정보를 룩업 테이블 정보에 기록하고, 상기 룩업 테이블 정보에 기록된 태그정보에 따라 상기 보간 프레임 정보를 구성하는 픽셀들의 픽셀값을 채워 보간 프레임 정보를 생성하는 프로세서; 및 상기 프로세서의 저장 영역을 제공하는 메모리부;를 구비하는 것을 특징으로 한다.
상기한 본 발명은 오브젝트가 프레임 내에서 경로(Path)를 따라 움직이는 것으로 가정하여, 상기 오브젝트의 움직임에 따라 참조 프레임의 픽셀 또는 소스 프레임의 픽셀을 선택적으로 이용하여 보간 프레임을 생성하여 고스팅과 블러링, 홀 발생을 최소화하는 효과를 야기한다.
또한 본 발명은 생성된 보간 프레임에 대해 다시 공간적 보간을 수행하여 보간 프레임의 품위를 향상시킬 수 있는 효과를 야기한다.
도 1은 본 발명의 바람직한 실시예에 따른 영상처리장치의 블럭구성도.
도 2는 본 발명의 바람직한 실시예에 따른 FRUC를 위한 경로기반 보간방법의 절차도.
도 3은 시간에 따라 순차적으로 입력되는 프레임 정보들을 예시한 도면.
도 4는 본 발명의 바람직한 실시예에 따른 보간 프레임 생성을 위한 알고리즘의 슈더 코드를 도시한 도면.
도 5 및 도 6은 본 발명의 바람직한 실시예에 따라 생성된 보간 프레임을 예시한 도면.
본 발명은 오브젝트가 프레임 내에서 경로(Path)를 따라 움직이는 것으로 가정하여, 상기 오브젝트의 움직임에 따라 참조 프레임의 픽셀 또는 소스 프레임의 픽셀을 선택적으로 이용하여 보간 프레임을 생성하여 고스팅과 블러링, 홀 발생을 최소화한다.
또한 본 발명은 생성된 보간 프레임에 대해 다시 공간적 보간을 수행하여 보간 프레임의 품위를 향상시킨다.
<FRUC 장치의 구성도>
이러한 본 발명의 바람직한 실시예에 따른 FRUC 장치의 개략적인 구성을 도 1을 참조한다.
상기 FRUC 장치(100)는 프로세서(102)와 메모리부(104)로 구성된다.
상기 프로세서(102)는 본 발명의 바람직한 실시예에 따라 FRUC를 위한 보간 프레임 정보를 생성하여 출력한다.
이를 좀더 설명하면, 상기 프로세서(102)는 시간 순서에 따라 순차적으로 프레임 정보들을 입력받아 프레임 정보들 사이의 보간 프레임 정보를 생성하여 출력한다. 특히 상기 프로세서(102)는 레퍼런스 프레임 정보(fb)와 소스 프레임 정보(ff)를 입력받아, 소스 프레임 정보(ff)에서 레퍼런스 프레임 정보(fb)로 이동하는 경우의 모션을 추정하여 역방향 모션벡터 정보를 생성하고, 레퍼런스 프레임 정보(fb)에서 소스 프레임 정보(ff)로 이동하는 경우의 모션을 추정하여 순방향 모션벡터 정보를 생성한다.
이후 상기 프로세서(102)는 보간 프레임 정보(fi)를 구성하는 픽셀의 위치 및 픽셀값을 결정할 때에, 역방향 모션벡터 정보와 레퍼런스 프레임 정보(fb)의 픽셀값을 이용할지, 순방향 모션벡터 정보와 소스 프레임 정보(ff)의 픽셀값을 이용할지, 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보(fb,ff)의 픽셀값을 이용할지 여부를 나타내는 태그정보를 생성하고, 이를 룩업 테이블 정보에 기록하여 룩업 테이블 정보를 생성한다.
상기 룩업 테이블 정보의 생성이 완료되면, 상기 프로세서(102)는 상기 룩업 테이블 정보를 토대로 보간 프레임 정보(fi)를 구성하는 픽셀의 위치 및 픽셀값을 결정하여, 시간적 보간에 따른 보간 프레임 정보를 생성한다.
또한 상기 프로세서(102)는 상기 시간적 보간에 따른 보간 프레임 정보의 생성이 완료되면, 공간적 보간을 더 수행하여 최종적인 보간 프레임 정보의 생성을 완료한다.
상기 메모리부(104)는 상기 프로세서(102)의 프로그램 처리에 필요한 데이터 저장영역을 제공하며, 특히 본 발명의 바람직한 실시예에 따라 시간순서에 따라 순차적으로 제공되는 프레임 정보들을 저장함과 아울러 프로세서(102)가 생성한 보간 프레임 정보를 저장하며, 역방향 모션벡터 정보 및 정방향 모션벡터 정보, 룩업 테이블 등을 저장한다.
<FRUC를 위한 경로기반 보간방법의 절차>
상기한 FRUC 장치(100)에 적용 가능한 본 발명에 따르는 FRUC를 위한 경로기반 보간방법을 도 2를 참조하여 좀 더 상세하게 설명한다.
본 발명의 프로세서(102)는 레퍼런스 프레임 정보(fb)와 소스 프레임 정보(ff)를 입력받아 역방향 및 순방향 경로에 따른 단방향 모션 추정(ME)을 이행한다(200단계). 여기서, 상기 역방향 경로에 따른 단방향 모션 추정은 레퍼런스 프레임 정보(fb)와 소스 프레임 정보(ff)를 입력받아 소스 프레임 정보(ff)에서 레퍼런스 프레임 정보(fb)로 이동하는 경우의 모션을 추정하여 역방향 모션벡터 정보를 생성하는 것이고, 상기 순방향 경로에 따른 단방향 모션 추정은 레퍼런스 프레임 정보(fb)에서 소스 프레임 정보(ff)로 이동하는 경우의 모션을 추정하여 순방향 모션벡터 정보를 생성하는 것이다.
상기한 역방향 및 순방향 경로에 따른 단방향 모션 추정이 완료되면, 상기 프로세서(102)는 레퍼런스 프레임 정보(fb)의 픽셀들과 그에 대응되는 소스 프레임 정보(ff)의 픽셀들 각각에 대해 밝기차를 구하고, 상기 밝기차가 임계치(
Figure 112016008539624-pat00001
) 이하이면 보간 프레임 정보(fi)를 구성하는 픽셀의 위치 및 픽셀값을 역방향 모션벡터 정보와 레퍼런스 프레임 정보(fb)의 픽셀의 값을 이용하여 구하도록 하는 제1태그정보(objsame)를 룩업 테이블에 기록한다.
상기 밝기차와 임계치(
Figure 112016008539624-pat00002
) 이상이면 보간 프레임 정보(fi)를 구성하는 픽셀의 위치 및 픽셀값을 역방향 모션벡터 정보와 레퍼런스 프레임 정보(fb)의 픽셀의 값을 이용하여 구하거나, 순방향 모션벡터 정보와 소스 프레임 정보(fi)의 픽셀의 값을 이용하여 구하거나, 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보(fb,fi)의 픽셀의 값을 이용하여 구하도록 하는 제2태그정보(objother)를 룩업 테이블 정보에 기록하여, 룩업 테이블을 구성한다(202단계).
이와 같이 룩업 테이블의 구성이 완료된후, 프로세서(102)는 상기 룩업 테이블 정보의 태그정보에 따라 보간 프레임 정보를 생성한다(204단계).
이와 같이 보간 프레임 정보를 생성한 후에 상기 프로세서(102)는 보간 프레임 정보에 대해 공간적 보간을 수행하여 최종 보간 프레임 정보를 생성하여 출력한다(206단계).
<룩업 테이블 구성과정>
이하 룩업 테이블 정보에 태그정보를 기록하는 과정을 좀더 상세히 설명한다.
상기 프로세서(102)는 상기 레퍼런스 프레임 정보(fb) 중 어느 한 제1좌표
Figure 112016008539624-pat00003
의 제1픽셀과 상기 소스 프레임 정보 중 상기 제1좌표에 글로벌 모션 벡터를 적용한 제2좌표
Figure 112016008539624-pat00004
의 제2픽셀 사이의 밝기 변화량을 수학식 1에 따라 산출한다. 여기서, 상기
Figure 112016008539624-pat00005
는 프레임 전체의 글로벌 모션 벡터로서, 패닝(panning), 줌잉(zooming) 및 로테이팅(rotating) 등과 같은 카메라 액션에 따른 것이다. 이러한 글로벌 모션 벡터는 A. Balakhnin, "DePan, DePanEstimate," Internet: http://avisynth.org.ru/depan/depan.html [June 10, 2015].에 따라 검출되므로 그 상세한 설명은 생략한다. .
Figure 112016008539624-pat00006
상기 수학식 1에서
Figure 112016008539624-pat00007
는 상기 레퍼런스 프레임 정보(fb) 중 어느 한 제1좌표
Figure 112016008539624-pat00008
의 제1픽셀과 상기 소스 프레임 정보 중 상기 제1좌표(x,y)에 글로벌 모션 벡터를 적용한 제2좌표
Figure 112016008539624-pat00009
의 제2픽셀 사이의 밝기 변화량을 나타낸다. 여기서, 상기
Figure 112016008539624-pat00010
의 값이 크다는 것은 해당 위치에서 움직임이 발생하여 이전 시간에 있었던 오브젝트와는 다른 오브젝트가 현재 위치에 있다는 것을 의미하고, 상기
Figure 112016008539624-pat00011
의 값이 작다는 것은 해당 위치에서 움직임이 발생하지 않아 이전 시간에 있던 오브젝트와 동일한 오브젝트가 현재 위치에 있다는 것을 의미한다.
이에 본 발명은
Figure 112016008539624-pat00012
의 크기에 따라 상기 제1좌표(x,y) 및 제2좌표
Figure 112016008539624-pat00013
에 대응되는 보간 프레임 정보(fi)의 제3좌표를 결정함과 아울러 제3좌표의 위치 및 상기 제3픽셀의 픽셀값을 채우도록 지시하는 태그정보를 룩업테이블 T(X,Y)에 기록하며, 이는 수학식 2와 같다.
Figure 112016008539624-pat00014
상기 수학식 2에서
Figure 112016008539624-pat00015
는 상기 제1 및 제2픽셀 사이의 밝기 변화량의 임계치로서, 상기 제1 및 제2픽셀 사이의 밝기차가 임계치(
Figure 112016008539624-pat00016
) 이하이면 보간 프레임 정보(fi)의 제3픽셀의 위치 및 픽셀값을 역방향 모션벡터 정보로부터 획득함과 아울러 레퍼런스 프레임 정보(fb)의 제1픽셀의 픽셀값으로 채우도록 지시하는 제1태그정보(objsame)를 룩업테이블 T(x,y)에 기록하고, 그렇지 않으면 상기 보간 프레임 정보(fi)의 제3픽셀의 위치를 상기 역방향 모션벡터 정보로부터 획득함과 아울러 제3픽셀의 픽셀값을 상기 레퍼런스 프레임 정보(fb)의 제1픽셀의 픽셀값으로 채우도록 지시하거나, 상기 제3픽셀의 위치를 순방향 모션벡터 정보로부터 획득함과 아울러 제3픽셀의 픽셀값을 상기 소스 프레임 정보(ff)의 제2픽셀의 픽셀값으로 채우도록 지시하거나, 상기 제3픽셀의 위치를 정방향 및 순방향 모션벡터 정보로부터 획득함과 아울러 제3픽셀의 픽셀값을 상기 소스 및 프레임 정보(fb,ff)의 제1 및 제2픽셀값을 이용하도록 지시하는 제2태그정보(objother)를 룩업테이블 T(x,y)에 기록한다.
특히 상기 제2태그정보(objother)는 4가지로, 레퍼런스 프레임 정보(fb)에 속한 객체를 이용하는 경우에는 objb, 소스 프레임 정보(ff)에 속한 객체를 이용하는 경우에는 objf, 오클루전을 나타내는 objo, 블랜딩을 나타내는 obja로 구성된다.
상기 프로세서(102)가 제2태그정보를 결정하는 과정을 좀 더 설명한다.
상기 프레임 정보들은 시간순서에 따라 순차적으로 입력되므로, 프로세서(102)는 도 3에 도시한 바와 같이 레퍼런스 프레임 정보 및 소스 프레임 정보에 대한 밝기차 미분값
Figure 112016008539624-pat00017
및
Figure 112016008539624-pat00018
을 얻을 수 있다.
상기 프로세서(102)는 상기 레퍼런스 프레임 정보(fb) 및 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00019
및
Figure 112016008539624-pat00020
과 제1변화량 임계치
Figure 112016008539624-pat00021
를 이용하여 큰 변화량을 일으킨 오브젝트가 어느 프레임 정보로부터 온 것인지를 판별하며, 그 판별식은 수학식 3과 같다.
Figure 112016008539624-pat00022
상기 수학식 3에서,
Figure 112016008539624-pat00023
는 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값이고,
Figure 112016008539624-pat00024
는 소스 프레임 정보(ff)에 대한 밝기차 미분값이고,
Figure 112016008539624-pat00025
는 제1변화량 임계치이다.
상기 수학식 3에 따라, 프로세서(102)는 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값
Figure 112016008539624-pat00026
과 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00027
이 모두 제1변화량 임계치(
Figure 112016008539624-pat00028
)보다 크면, 오클루전이 발생한 영역으로 판단하여 룩업테이블 T(x,y)에 제2태그정보(objother)로서 재판별을 나타내는 objo을 기록하고, 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값
Figure 112016008539624-pat00029
은 제1변화량 임계치(
Figure 112016008539624-pat00030
)보다 작고, 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00031
은 제1변화량 임계치(
Figure 112016008539624-pat00032
)보다 크면, 오브젝트가 레퍼런스 프레임 정보(fb)에서 발생한 것으로 판단하여 룩업테이블 T(x,y)에 제2태그정보(objother)로서 레퍼런스 프레임 정보(fb)에 속한 객체를 이용하는 objb를 기록하고, 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값
Figure 112016008539624-pat00033
은 제1변화량 임계치(
Figure 112016008539624-pat00034
)보다 크고, 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00035
은 제1변화량 임계치(
Figure 112016008539624-pat00036
)보다 작으면, 오브젝트가 소스 프레임 정보(ff)에서 발생한 것으로 판단하여 룩업테이블 T(x,y)에 제2태그정보(objother)로서 소스 프레임 정보(ff)에 속한 객체를 이용하는 objf를 기록하고, 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값
Figure 112016008539624-pat00037
과 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00038
이 모두 제1변화량 임계치(
Figure 112016008539624-pat00039
)보다 작으면, 블랜딩을 위해 룩업테이블 T(x,y)에 제2태그정보(objother)로서 obja를 기록한다.
여기서, 상기 제2태그정보(objother)로서 objo가 기록된 경우는, 현재 변화량이 큰데 이전과 이후 시간대에 변화가 미비한 경우로서 어디로부터 발생된 것인지 분간하기 힘든 경우이므로 오클루젼이 발생되었다고 볼 수 있다. 그러나 오브젝트의 텍스쳐가 크거나 글로벌 모션 벡터가 부정확할 경우에도 밝기차가 커짐에 따라, 이 경우에는 실제 오클루전인지를 한번 더 확인해볼 필요가 있다.
<오클루전 여부 재판별>
이에 본 발명의 프로세서(102)는 수학식 4에 따라 오클루전 여부를 다시 판별한다.
Figure 112016008539624-pat00040
상기 수학식 4에서
Figure 112016008539624-pat00041
는 오클루전 여부를 재판별을 위한 제2변화량 임계치이다. 상기 프로세서(102)는 룩업테이블 T(x,y)에 제2태그정보(objother)로서 오클루전을 나타내는 objo이 기록된다면, 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값
Figure 112016008539624-pat00042
과 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00043
이 모두 제2변화량 임계치(
Figure 112016008539624-pat00044
)보다 크면, 오클루전이 발생한 것으로 판단하여 룩업테이블 T(x,y)에 제2태그정보(objother)로서 오클루전을 나타내는 objo을 기록하고, 레퍼런스 및 소스 프레임 정보(fb,ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00045
,
Figure 112016008539624-pat00046
이 모두 제2변화량 임계치(
Figure 112016008539624-pat00047
)보다 크지 않은 경우에는, 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값
Figure 112016008539624-pat00048
이 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00049
보다 작으면 변화를 일으킨 오브젝트가 소스 프레임 정보(ff)에서 발생한 것으로 판단하여 룩업테이블 T(x,y)에 제2태그정보(objother)로서 순방향 모션 벡터와 소스 프레임 정보(ff)에 속한 객체를 이용하는 objf를 기록하고, 레퍼런스 프레임 정보(fb)에 대한 밝기차 미분값
Figure 112016008539624-pat00050
이 소스 프레임 정보(ff)에 대한 밝기차 미분값
Figure 112016008539624-pat00051
보다 크면 변화를 일으킨 오브젝트가 레퍼런스 프레임 정보(fb)에서 발생한 것으로 판단하여 룩업테이블 T(x,y)에 제2태그정보(objother)로서 역방향 모션 벡터와 레퍼런스 프레임 정보(fb)에 속한 객체를 이용하는 objb를 기록한다.
<보간 프레임 정보 생성과정>
이와 같이 룩업테이블의 구성이 완료되면, 상기 프로세서(102)는 상기 룩업테이블에 기록된 제1 및 제2태그정보에 따라 보간 프레임 정보를 생성한다. 상기 보간 프레임 정보 생성을 위한 알고리즘의 슈더 코드는 도 4에 도시한 바와 같다.
먼저 상기 프로세서(102)는 보간 프레임 정보(Fi)를 초기화한다.
이후 상기 프로세서(102)는 제1 내지 제3픽셀값 채움과정을 수행하여 보간 프레임 정보(Fi)를 생성한다.
<제1픽셀값 채움과정>
상기 프로세서(102)는 제1픽셀값 채움과정을 수행하여, 수학식 5에 따라 프레임 정보를 구성하는 모든 픽셀(x,y)에 대해 보간 프레임 정보(Fi) 중 픽셀의 위치 및 픽셀값을 결정하며, 이는 역방향 모션벡터 정보와 레퍼런스 프레임 정보(fb)의 픽셀값을 이용하는 것이다.
Figure 112016008539624-pat00052
상기 수학식 5에서
Figure 112016008539624-pat00053
는 소스 프레임 정보(ff)의 시각과 레퍼런스 프레임 정보(fb)의 시각 사이의 시간차이고, 상기 mvb.x 및 mvb.y는 역방향 모션벡터이고,
Figure 112016008539624-pat00054
는 새로이 생성할 보간 프레임 정보(Fi)의 픽셀의 위치를 나타내고,
Figure 112016008539624-pat00055
는 레퍼런스 프레임 중 위치(x,y)에서의 픽셀이다. 즉 상기 수학식 5에 따라 상기 프로세서(102)는 보간 프레임 정보(Fi) 중 픽셀의 위치
Figure 112016008539624-pat00056
의 픽셀값을 레퍼런스 프레임 정보(fb) 중 픽셀
Figure 112016008539624-pat00057
의 값으로 채운다.
<제2픽셀값 채움과정>
상기한 제1픽셀값 채움과정이 완료되면, 상기 프로세서(102)는 제2픽셀값 채움과정을 수행하여, 수학식 6에 따라 프레임 정보를 구성하는 모든 픽셀(x,y)에 대해 보간 프레임 정보(Fi) 중 픽셀의 위치 및 픽셀값을 결정하며, 이는 순방향 모션벡터 정보와 소스 프레임 정보(ff)의 픽셀값을 이용하는 것이다.
Figure 112016008539624-pat00058
상기 수학식 6에서 mvf.x 및 mvf.y는 순방향 모션벡터이고,
Figure 112016008539624-pat00059
는 (x,y)의 위치에 대응되는 순방향 모션벡터이다.
상기 프로세서(102)는 순방향 모션벡터를 적용한 보간 프레임 정보(fi)의 위치
Figure 112016008539624-pat00060
에서의 픽셀값
Figure 112016008539624-pat00061
이 없다면(=0), 그 위치의 픽셀값을 소스 프레임 정보(ff) 중 위치(x,y)의 픽셀값으로 결정한다.
만일 상기 보간 프레임 정보(fi)의 위치
Figure 112016008539624-pat00062
에서의 픽셀값
Figure 112016008539624-pat00063
이 레퍼런스 프레임 정보(fb)의 픽셀값이 채워져 있다면, 룩업 테이블 중
Figure 112016008539624-pat00064
의 값이 objf인지 확인하고, objf이면 그 위치의 픽셀값을 소스 프레임 정보(ff) 중 위치 (x,y)의 픽셀값으로 채운다.
<제3픽셀값 채움과정>
상기한 제2픽셀값 채움과정이 완료되면, 상기 프로세서(102)는 제3픽셀값 채움과정을 수행하여, 수학식 7에 따라 프레임 정보를 구성하는 모든 픽셀(x,y)에 대해 보간 프레임 정보(Fi) 중 픽셀의 위치 및 픽셀값을 결정하며, 이는 순방향 및 역방향 모션벡터 정보와 소스 및 레퍼런스 프레임 정보(ff,fb)의 픽셀값을 이용하는 것이다.
Figure 112016008539624-pat00065
상기 수학식 7에 따라, 상기 프로세서(102)는 보간 프레임 정보(fi)를 구성하는 모든 픽셀 중 룩업 테이블 T(x,y)에 해당 픽셀에 대해 픽셀값 채움 방식이 objo 또는 obja로 기록되어 있다면, 해당 픽셀(fi(x,y))에 소스 및 레퍼런스 프레임 정보(ff,fb)의 픽셀값을 블랜딩한 값을 채운다.
이러한 본 발명에 대한 효과를 검증한 결과를 설명한다.
본 발명의 검증을 위해 사용된 모션 추정으로는 오픈 소스인 mvtools2[[1] Manao, A. Balakhnin, Tsp, TSchniede, and SEt, "MVTools2," Internet: http://avisynth.org.ru/mvtools/mvtools2.html [June 10, 2015].]를 이용하였고 시간적 보간 이후에 홀 영역에 대해 수행하는 공간적 보간은 [D. Wang, A. Vincent, P. Blanchfield, and R. Klepko, "Motion Compensated Frame Rate Up-Conversion-Part II: New Algorithms for Frame Interpolation," IEEE Transactions on Broadcasting, vol.56, no.02, 2010, pp.142-149.]의 BDHI를 채용하였다. 그리고 기본 FRUC는 mvtools의 모션 추정을 수행한 후 블랜딩 펑션없이 단방향 모션 벡터만을 이용하여 보간을 수행하고, mvtools2는 양방향 모션벡터를 이용하여 블랜딩한 방법이다.
도 5는 기본 FRUC와 제안한 방법의 홀 영역에 대한 비교를 나타낸 것으로, 일반적인 공간적 홀 보간에서는 오브젝트의 경계가 생기는 문제가 있다. 그러나 본 발명은 양쪽의 모션 벡터를 모두 활용하였기 때문에 홀이 상당수 줄어들고 동일 객체의 경계면에서의 홀도 거의 없다.
따라서 공간적 보간을 수행하여 홀을 제거하면 더 높은 품질을 얻을 수 있다.
도 6은 Ring of King III의 프레임을 보간한 결과이다. (a)는 홀 영역이 넓기 때문에 객체의 에지는 살아있으나 홀을 보간하는 과정에서 영상이 심하게 번진다. (b)는 엣지도 살아있고 양쪽 모션 벡터를 활용하였기 때문에 배경인 산도 깨끗하게 보간된다. 반면 (c)는 블랜딩을 하기 때문에 홀은 없으나, 고스트 현상이 발생한다.
이러한 본 발명은 기존의 방식들의 단점을 보완하기 위하여 경로 기반 보간을 이행한다. 기존의 FRUC에서 블랜딩 기반의 MCI와 비교하여 고스팅 현상과 블러링 현상이 감소하였으며 에지 영역이 또렷한 장점이 있다.
100 : FRUC 장치
102 : 프로세서
104 : 메모리부

Claims (18)

  1. FRUC를 위한 경로기반 보간 장치에 있어서,
    소스 프레임 정보와 레퍼런스 프레임 정보를 입력받아,
    상기 소스 프레임 정보에서 상기 레퍼런스 프레임 정보로 이동하는 경우의 역방향 경로에 따른 단방향 모션을 추정하여 역방향 모션벡터 정보를 생성하고,
    상기 레퍼런스 프레임 정보에서 소스 프레임 정보로 이동하는 경우의 순방향 경로에 따른 단방향 모션을 추정하여 순방향 모션벡터 정보를 생성하고,
    상기 소스 프레임 정보의 픽셀과 그에 대응되는 레퍼런스 프레임 정보의 픽셀 사이의 밝기차에 따라, 보간 프레임 정보를 구성하는 픽셀들의 위치 및 픽셀값을 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지, 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지에 대한 태그정보를 룩업 테이블 정보에 기록하고,
    상기 룩업 테이블 정보에 기록된 태그정보에 따라 상기 보간 프레임 정보를 구성하는 픽셀들의 픽셀값을 채워 보간 프레임 정보를 생성하는 프로세서; 및
    상기 프로세서의 저장 영역을 제공하는 메모리부;를 구비하는 것을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
  2. 제1항에 있어서,
    상기 프로세서는 상기 보간 프레임 정보에 대해 공간적 보간을 더 수행함을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    역방향 및 순방향 경로에 따른 단방향 모션 추정이 완료되면,
    상기 레퍼런스 프레임 정보의 픽셀들과 그에 대응되는 소스 프레임 정보의 픽셀들 각각에 대해 밝기차를 구하고,
    상기 밝기차가 제1변화량 임계치 이하이면, 상기 보간 프레임 정보의 픽셀의 위치를 상기 역방향 모션벡터 정보에 따라 결정함과 아울러 픽셀값을 상기 레퍼런스 프레임 정보의 픽셀값을 이용하여 채우도록 하는 제1태그정보를 상기 룩업 테이블 정보에 기록하고,
    상기 밝기차가 제1변화량 임계치 이상이면, 상기 보간 프레임 정보의 픽셀의 위치를 결정하고 픽셀값을 채울 때에, 상기 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀값을 이용하거나, 상기 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀값을 이용하거나, 상기 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2태그정보를 상기 룩업 테이블 정보에 기록함을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 제2태그정보를 기록할 때에,
    상기 레퍼런스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 작고 상기 소스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 크면, 상기 보간 프레임 정보의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀값을 이용하도록 하는 제2-1태그정보를 기록하고,
    상기 레퍼런스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 크고 상기 소스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 작으면, 상기 보간 프레임 정보의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2-2태그정보를 기록하고,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 작으면, 보간 프레임의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2-3태그정보를 기록함을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 제2태그정보를 기록할 때에,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 크고, 제2변화량 임계치보다 크면,
    보간 프레임의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2-4태그정보를 기록하고,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 크고, 상기 레퍼런스 프레임 정보에 대한 밝기차 미분값이 상기 소스 프레임 정보에 대한 밝기차 미분값보다 작으면, 상기 제2-2태그정보를 기록하고,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 크고, 상기 레퍼런스 프레임 정보에 대한 밝기차 미분값이 상기 소스 프레임 정보에 대한 밝기차 미분값보다 크면, 상기 제2-1태그정보를 기록함을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 제2-1태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 8에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
    수학식 8
    Figure 112017093810575-pat00066

    상기 수학식 8에서
    Figure 112017093810575-pat00067
    는 소스 프레임 정보와 레퍼런스 프레임 정보사이의 시간차이고, 상기
    Figure 112017093810575-pat00108
    및
    Figure 112017093810575-pat00109
    는 역방향 모션벡터이고,
    Figure 112017093810575-pat00068
    는 새로이 생성할 보간 프레임 정보의 픽셀의 위치를 나타내고,
    Figure 112017093810575-pat00069
    는 상기 보간 프레임 정보의 픽셀의 위치의 픽셀값이고,
    Figure 112017093810575-pat00070
    는 레퍼런스 프레임 정보 중 위치(x,y)에서의 픽셀값임.
  7. 제4항 또는 제5항에 있어서,
    상기 제2-2태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 9에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
    수학식 9
    Figure 112017093810575-pat00071

    상기 수학식 9에서
    Figure 112017093810575-pat00110
    및
    Figure 112017093810575-pat00111
    는 순방향 모션벡터이고, Δt′ 은 레퍼런스 프레임 정보의 시각이며,
    Figure 112017093810575-pat00072
    는 (x,y)의 위치에 대응되는 순방향 모션벡터이고, 상기
    Figure 112017093810575-pat00073
    는 새로이 생성할 보간 프레임 정보의 픽셀의 위치를 나타내고,
    Figure 112017093810575-pat00074
    는 상기 보간 프레임 정보의 픽셀의 위치의 픽셀값이고,
    Figure 112017093810575-pat00075
    는 소스 프레임 정보 중 위치(x,y)에서의 픽셀값임.
  8. 제4항에 있어서,
    상기 제2-3태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 10에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
    수학식 10
    Figure 112017093810575-pat00076

    상기 수학식 10에서 Δt 은 소스 프레임 정보의 시각이며, Δt′ 은 레퍼런스 프레임 정보의 시각이며, Δt-Δt′ 는 소스 프레임 정보의 시각과 레퍼런스 프레임 정보의 시각의 시간차이고, 상기
    Figure 112017093810575-pat00112
    및
    Figure 112017093810575-pat00113
    는 역방향 모션벡터이고,
    Figure 112017093810575-pat00114
    및
    Figure 112017093810575-pat00115
    는 순방향 모션벡터이고,
    Figure 112017093810575-pat00096
    는 보간 프레임 정보 중 위치
    Figure 112017093810575-pat00097
    에서의 픽셀값이며,
    Figure 112017093810575-pat00098
    는 레퍼런스 프레임 정보 중 위치
    Figure 112017093810575-pat00099
    에서의 픽셀값이며,
    Figure 112017093810575-pat00100
    는 소스 프레임 정보 중 위치
    Figure 112017093810575-pat00101
    에서의 픽셀값임.
  9. 제5항에 있어서,
    상기 제2-4태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 14에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 장치.
    수학식 14
    Figure 112017093810575-pat00116

    상기 수학식 14에서 Δt 은 소스 프레임 정보의 시각이며, Δt′ 은 레퍼런스 프레임 정보의 시각이며, Δt-Δt′ 는 소스 프레임 정보의 시각과 레퍼런스 프레임 정보의 시각의 시간차이고, 상기
    Figure 112017093810575-pat00117
    및
    Figure 112017093810575-pat00118
    는 역방향 모션벡터이고,
    Figure 112017093810575-pat00119
    및
    Figure 112017093810575-pat00120
    는 순방향 모션벡터이고,
    Figure 112017093810575-pat00121
    는 보간 프레임 정보 중 위치
    Figure 112017093810575-pat00122
    에서의 픽셀값이며,
    Figure 112017093810575-pat00123
    는 레퍼런스 프레임 정보 중 위치
    Figure 112017093810575-pat00124
    에서의 픽셀값이며,
    Figure 112017093810575-pat00125
    는 소스 프레임 정보 중 위치
    Figure 112017093810575-pat00126
    에서의 픽셀값임.
  10. FRUC를 위한 경로기반 보간 방법에 있어서,
    소스 프레임 정보와 레퍼런스 프레임 정보를 포함하는 프레임 정보를 시간순서대로 순차적으로 입력받는 제1단계;
    상기 소스 프레임 정보에서 상기 레퍼런스 프레임 정보로 이동하는 경우의 역방향 경로에 따른 단방향 모션을 추정하여 역방향 모션벡터 정보를 생성하고,
    상기 레퍼런스 프레임 정보에서 소스 프레임 정보로 이동하는 경우의 순방향 경로에 따른 단방향 모션을 추정하여 순방향 모션벡터 정보를 생성하는 제2단계;
    상기 소스 프레임 정보의 픽셀과 그에 대응되는 레퍼런스 프레임 정보의 픽셀 사이의 밝기차에 따라, 보간 프레임 정보를 구성하는 픽셀들의 위치 및 픽셀값을 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지, 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀의 픽셀값을 이용할 것인지에 대한 태그정보를 룩업 테이블 정보에 기록하는 제3단계; 및
    상기 룩업 테이블 정보에 기록된 태그정보에 따라 상기 보간 프레임 정보를 구성하는 픽셀들의 픽셀값을 채워 보간 프레임 정보를 생성하는 제4단계;를 구비하는 것을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
  11. 제10항에 있어서,
    상기 보간 프레임 정보에 대해 공간적 보간을 수행하는 단계를 더 구비함을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
  12. 제10항에 있어서,
    상기 제3단계는,
    역방향 및 순방향 경로에 따른 단방향 모션 추정이 완료되면,
    상기 레퍼런스 프레임 정보의 픽셀들과 그에 대응되는 소스 프레임 정보의 픽셀들 각각에 대해 밝기차를 구하고,
    상기 밝기차가 제1변화량 임계치 이하이면, 상기 보간 프레임 정보의 픽셀의 위치를 상기 역방향 모션벡터 정보에 따라 결정함과 아울러 픽셀값을 상기 레퍼런스 프레임 정보의 픽셀값을 이용하여 채우도록 하는 제1태그정보를 상기 룩업 테이블 정보에 기록하고,
    상기 밝기차가 제1변화량 임계치 이상이면, 상기 보간 프레임 정보의 픽셀의 위치를 결정하고 픽셀값을 채울 때에, 상기 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀값을 이용하거나, 상기 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀값을 이용하거나, 상기 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2태그정보를 상기 룩업 테이블 정보에 기록하는 것임을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
  13. 제12항에 있어서,
    상기 제2태그정보를 기록할 때에,
    상기 레퍼런스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 작고 상기 소스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 크면, 상기 보간 프레임 정보의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 역방향 모션벡터 정보와 레퍼런스 프레임 정보의 픽셀값을 이용하도록 하는 제2-1태그정보를 기록하고,
    상기 레퍼런스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 크고 상기 소스 프레임 정보에 대한 밝기차 미분값은 상기 제1변화량 임계치보다 작으면, 상기 보간 프레임 정보의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 순방향 모션벡터 정보와 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2-2태그정보를 기록하고,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 작으면, 보간 프레임의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2-3태그정보를 기록함을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
  14. 제13항에 있어서,
    상기 제2태그정보를 기록할 때에,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 크고, 제2변화량 임계치보다 크면,
    보간 프레임의 픽셀의 위치를 결정하고 픽셀값을 채울 때에 상기 역방향 및 순방향 모션벡터 정보와 레퍼런스 및 소스 프레임 정보의 픽셀값을 이용하도록 하는 제2-4태그정보를 기록하고,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 크고, 상기 레퍼런스 프레임 정보에 대한 밝기차 미분값이 상기 소스 프레임 정보에 대한 밝기차 미분값보다 작으면, 상기 제2-2태그정보를 기록하고,
    상기 레퍼런스 프레임 정보 및 상기 소스 프레임 정보에 대한 밝기차 미분값이 모두 제1변화량 임계치보다 크고, 상기 레퍼런스 프레임 정보에 대한 밝기차 미분값이 상기 소스 프레임 정보에 대한 밝기차 미분값보다 크면, 상기 제2-1태그정보를 기록함을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
  15. 제13항 또는 제14항에 있어서,
    상기 제2-1태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 11에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
    수학식 11
    Figure 112017093810575-pat00078

    상기 수학식 11에서
    Figure 112017093810575-pat00079
    는 소스 프레임 정보와 레퍼런스 프레임 정보사이의 시간차이고, 상기
    Figure 112017093810575-pat00127
    및
    Figure 112017093810575-pat00128
    는 역방향 모션벡터이고,
    Figure 112017093810575-pat00080
    는 새로이 생성할 보간 프레임 정보의 픽셀의 위치를 나타내고,
    Figure 112017093810575-pat00081
    는 상기 보간 프레임 정보의 픽셀의 위치의 픽셀값이고,
    Figure 112017093810575-pat00082
    는 레퍼런스 프레임 정보 중 위치(x,y)에서의 픽셀값임.
  16. 제13항 또는 제14항에 있어서,
    상기 제2-2태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 12에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
    수학식 12
    Figure 112017093810575-pat00083

    상기 수학식 12에서,
    Figure 112017093810575-pat00129
    및
    Figure 112017093810575-pat00130
    는 순방향 모션벡터이고, Δt′ 은 레퍼런스 프레임 정보의 시각이며,
    Figure 112017093810575-pat00084
    는 (x,y)의 위치에 대응되는 순방향 모션벡터이고, 상기
    Figure 112017093810575-pat00085
    는 새로이 생성할 보간 프레임 정보의 픽셀의 위치를 나타내고,
    Figure 112017093810575-pat00086
    는 상기 보간 프레임 정보의 픽셀의 위치의 픽셀값이고,
    Figure 112017093810575-pat00087
    는 소스 프레임 정보 중 위치(x,y)에서의 픽셀값임.
  17. 제13항에 있어서,
    상기 제2-3태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 13에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
    수학식 13
    Figure 112017093810575-pat00088

    상기 수학식 13에서 Δt 은 소스 프레임 정보의 시각이며, Δt′ 은 레퍼런스 프레임 정보의 시각이며, Δt-Δt′ 는 소스 프레임 정보의 시각과 레퍼런스 프레임 정보의 시각의 시간차이고, 상기
    Figure 112017093810575-pat00131
    및
    Figure 112017093810575-pat00132
    는 역방향 모션벡터이고,
    Figure 112017093810575-pat00133
    및
    Figure 112017093810575-pat00134
    는 순방향 모션벡터이고,
    Figure 112017093810575-pat00102
    는 보간 프레임 정보 중 위치
    Figure 112017093810575-pat00103
    에서의 픽셀값이며,
    Figure 112017093810575-pat00104
    는 레퍼런스 프레임 정보 중 위치
    Figure 112017093810575-pat00105
    에서의 픽셀값이며,
    Figure 112017093810575-pat00106
    는 소스 프레임 정보 중 위치
    Figure 112017093810575-pat00107
    에서의 픽셀값임.
  18. 제14항에 있어서,
    상기 제2-4태그정보에 따른 보간 프레임 정보에서 픽셀의 위치를 결정함과 아울러 픽셀값을 채우는 것은 수학식 15에 따름을 특징으로 하는 FRUC를 위한 경로기반 보간 방법.
    수학식 15
    Figure 112017093810575-pat00135

    상기 수학식 15에서 Δt 은 소스 프레임 정보의 시각이며, Δt′ 은 레퍼런스 프레임 정보의 시각이며, Δt-Δt′ 는 소스 프레임 정보의 시각과 레퍼런스 프레임 정보의 시각의 시간차이고, 상기
    Figure 112017093810575-pat00136
    및
    Figure 112017093810575-pat00137
    는 역방향 모션벡터이고,
    Figure 112017093810575-pat00138
    및
    Figure 112017093810575-pat00139
    는 순방향 모션벡터이고,
    Figure 112017093810575-pat00140
    는 보간 프레임 정보 중 위치
    Figure 112017093810575-pat00141
    에서의 픽셀값이며,
    Figure 112017093810575-pat00142
    는 레퍼런스 프레임 정보 중 위치
    Figure 112017093810575-pat00143
    에서의 픽셀값이며,
    Figure 112017093810575-pat00144
    는 소스 프레임 정보 중 위치
    Figure 112017093810575-pat00145
    에서의 픽셀값임.
KR1020160009369A 2016-01-26 2016-01-26 Fruc를 위한 경로기반 보간 방법 및 장치 KR101796017B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160009369A KR101796017B1 (ko) 2016-01-26 2016-01-26 Fruc를 위한 경로기반 보간 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160009369A KR101796017B1 (ko) 2016-01-26 2016-01-26 Fruc를 위한 경로기반 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170089454A KR20170089454A (ko) 2017-08-04
KR101796017B1 true KR101796017B1 (ko) 2017-12-04

Family

ID=59654130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160009369A KR101796017B1 (ko) 2016-01-26 2016-01-26 Fruc를 위한 경로기반 보간 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101796017B1 (ko)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. Wang, et al. Motion-Compensated Frame Rate Up-Conversion-Part I: Fast Multi-Frame Motion Estimation. IEEE Trans. on Broadcasting. Jun. 2010, Vol.56, No.2, pp.133-141
D. Wang, et al. Motion-Compensated Frame Rate Up-Conversion-Part II: New Algorithms for Frame Interpolation. IEEE Trans. on Broadcasting. Jun. 2010, Vol.56, No.2, pp.142-149

Also Published As

Publication number Publication date
KR20170089454A (ko) 2017-08-04

Similar Documents

Publication Publication Date Title
US10600157B2 (en) Motion blur simulation
Shen et al. A MAP approach for joint motion estimation, segmentation, and super resolution
US8768069B2 (en) Image enhancement apparatus and method
JP5506800B2 (ja) フレーム補間装置及びフレーム補間方法
Jeong et al. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
US20060222077A1 (en) Method, apparatus and computer program product for generating interpolation frame
CN100499778C (zh) 用于使用迭代质心来估计摄像机模型参数的方法和装置
US8340471B2 (en) Parameter control processing apparatus and image processing apparatus
US11494975B2 (en) Method for analyzing three-dimensional model and device for analyzing three-dimensional model
US20130120600A1 (en) Methods and Apparatus for Subspace Video Stabilization
US8687002B2 (en) Method, medium and system rendering 3-D graphics data having an object to which a motion blur effect is to be applied
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
Bareja et al. An effective iterative back projection based single image super resolution approach
KR20120012874A (ko) 외삽 뷰 생성을 위한 장치 및 방법
US8149913B2 (en) Moving picture converting apparatus and method, and computer program
KR20100084075A (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
KR101805625B1 (ko) 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
WO2014008329A1 (en) System and method to enhance and process a digital image
Sadek et al. A variational model for gradient-based video editing
Choi et al. 2D-plus-depth based resolution and frame-rate up-conversion technique for depth video
KR101796017B1 (ko) Fruc를 위한 경로기반 보간 방법 및 장치
EP1955548B1 (en) Motion estimation using motion blur information
KR101574205B1 (ko) 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
JP2017515372A (ja) 動きフィールド推定

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160126

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170822

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170920

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170822

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20170920

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170901

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20171030

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20170926

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20170920

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170901

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171103

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171106

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201026

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211001

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221020

Start annual number: 6

End annual number: 6

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240814