KR101544158B1 - 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치 - Google Patents

다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치 Download PDF

Info

Publication number
KR101544158B1
KR101544158B1 KR1020140011119A KR20140011119A KR101544158B1 KR 101544158 B1 KR101544158 B1 KR 101544158B1 KR 1020140011119 A KR1020140011119 A KR 1020140011119A KR 20140011119 A KR20140011119 A KR 20140011119A KR 101544158 B1 KR101544158 B1 KR 101544158B1
Authority
KR
South Korea
Prior art keywords
motion vector
motion
frame
calculating
frames
Prior art date
Application number
KR1020140011119A
Other languages
English (en)
Other versions
KR20150090454A (ko
Inventor
김윤
박대현
이상준
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020140011119A priority Critical patent/KR101544158B1/ko
Publication of KR20150090454A publication Critical patent/KR20150090454A/ko
Application granted granted Critical
Publication of KR101544158B1 publication Critical patent/KR101544158B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Abstract

다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치가 개시된다. 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법은 제1 내지 제3 프레임이 입력되는 단계, 입력된 제2 및 제3 프레임으로부터 순방향 및 역방향 움직임 탐색 과정을 거쳐 제1 움직임 벡터를 계산하는 단계, 상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계, 상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계, 및 상기 제3 움직임 벡터에 중복 블록 움직임 보상(OBMC, overlapped block motion compensation) 과정을 적용하여 최종 보간 프레임을 생성하는 단계를 포함한다.

Description

다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치{METHOD FOR SEARCHING BIDIRECTIONAL MOTION USING MULTIPLE FRAME AND IMAGE APPARATUS WITH THE SAME TECHNIQUE}
본 발명의 일 구현예는 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치에 관한 것이다.
최근 낮은 대역폭을 갖는 비디오 부호화 분야에서 스포츠 같은 격동적인 화면에서의 고화질 구현을 위해 많은 연구가 진행되고 있다. 낮은 대역폭을 사용하는 기기에서는 제한된 데이터 전송량 때문에 부호화 과정에 있어 임의의 프레임을 전송하지 않으며, 복호화 과정에서는 손실된 프레임을 다시 복원해야 한다. 따라서, 손실된 프레임을 다시 복원하는 프레임 레이트 증가 변환(FRUC, frame rate up-conversion) 기법은 CIF급 디스플레이 장치인 PDA부터 HDTV까지 멀티미디어 시스템과 같은 다양한 가전 분야에 매우 많은 관심의 대상이 되고 있다.
프레임 레이트 증가 변환 기법은 크게 화소 기반 알고리즘과 블록 기반 알고리즘으로 나눠질 수 있다. 우선, 화소 기반으로 하는 알고리즘은 frame repetition, frame averaging, linear frame interpolation 등이 있다. 위의 기법들은 움직임 벡터(motion vector)를 고려하지 않기 때문에 계산량이 적어 복잡도가 낮고 쉽게 보간이 가능하다. 그러나, 객체의 움직임이 클 경우 두 객체가 겹쳐져 흐릿해지는 움직임 번짐(motion blurriness)과 같은 문제를 일으킨다.
이러한 문제점을 개선하기 위해 블록 기반 알고리즘인 움직임 벡터를 고려한 motion compensation FRUC(MC-FRUC) 기법이 제안되고 있다. MC-FRUC의 기본적인 알고리즘인 움직임 보상 보간(MCFI, motion-compensated frame interpolation)은 현재 프레임과 이전 프레임 사이에서 움직임 탐색을 통해 얻어진 움직임 벡터의 중간값을 보간 될 프레임에 적용시켜 보간하는 방식이다.
그러나, 후처리 없이 이 움직임 벡터를 사용하는 것은 hole과 overlapped 현상을 초래한다. 또한, 블록과 블록의 경계부분은 고려하지 않고 블록단위로 프레임을 보간 수행하기 때문에 보간되는 영상에서는 블록화 현상이 발생하게 된다.
이러한 문제들을 해결하기 위해 양방향 탐색 방법과 중복 블록 움직임 보상(OBMC, overlapped block motion compensation)이 고안된 바 있다.
먼저, 양방향 탐색 방법은 단 방향으로 얻어진 초기 움직임 벡터의 중간값을 양방향 프레임에 적용하여 움직임 탐색을 하는 방식이다. 그리고, OBMC는 MCFI에서 발생하는 블록화 현상을 방지하기 위해 이웃하는 블록의 경계부분에 따른 움직임 벡터값을 달리함으로써 보간을 해주는 방법으로 블록과 블록 사이에서 부드러운 효과를 얻는다. 그러나, 양방향 대칭성을 이용하여 움직임 탐색을 해줄 경우 움직임이 큰 영상에서 잘못된 움직임 벡터를 찾게 되면 화질의 열화 현상을 초래하게 되는 문제점이 있다.
본 발명이 해결하고자 하는 과제는 블록 기반 알고리즘을 이용하여 보다 정확한 움직임 벡터를 찾을 수 있는 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치를 제공하는 것이다.
본 발명의 일 구현예는, 제1 내지 제3 프레임이 입력되는 단계, 입력된 제2 및 제3 프레임으로부터 순방향 및 역방향 움직임 탐색 과정을 거쳐 제1 움직임 벡터를 계산하는 단계, 상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계, 상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계, 및 상기 제3 움직임 벡터에 중복 블록 움직임 보상(OBMC, overlapped block motion compensation) 과정을 적용하여 최종 보간 프레임을 생성하는 단계를 포함하는, 다중 프레임을 이용한 양방향 움직임 탐색 방법을 제공한다.
이 때, 상기 제1 내지 제3 프레임은 제1 내지 제n 프레임을 포함하는 다중 프레임으로부터 선택된 것일 수 있다.
또한, 상기 제1 내지 제3 프레임은 시계열 순으로서, 상기 제1 프레임으로 진행될수록 이전 순이고, 상기 제3 프레임으로 진행될수록 이후 순일 수 있다.
또한, 상기 입력된 제2 및 제3 프레임으로부터 순방향 및 역방향 움직임 탐색 과정을 거쳐 제1 움직임 벡터를 계산하는 단계는, 블록 정합 알고리즘(BMA, block matching algorithm)의 절대 차의 합 계산(SAD, sum of absolute difference)를 이용하여 수행될 수 있다,
또한, 상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계는, 하기 식 (1)을 통해 순방향과 역방향의 양방향 절대 차의 합(SBAD, sum of bidirectional absolute difference)을 구하는 과정을 포함할 수 있다.
Figure 112014009649007-pat00001
Figure 112014009649007-pat00002
---- (1)
(여기에서, Sx, Sy는 양방향 탐색 범위의 위치이며, Bi,Bj는 블록의 위치, dx,dy는 초기 움직임 벡터, P1과 P2는 순방향의 움직임 벡터를 이용하여 SBAD를 통해 얻은 값, P3와 P4는 역방향의 움직임 벡터를 이용하여 SBAD를 통해 구한 값임.)
또한, 상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계는, 상기 순방향과 역방향의 양방향 절대 차의 합(SBAD, sum of bidirectional absolute difference)을 비교하여 값이 작은 블록을 상기 제2 움직임 벡터로 계산하는 과정을 더 포함할 수 있다.
또한, 상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계는, 상기 제2 움직임 벡터로 계산된 블록을 기준으로 양방향 절대 차의 합(SBAD)이 임계값보다 작은 이웃 블록들에 대하여 하기 식 (2)과 같은 DFD(displaced frame difference)를 계산하는 과정을 포함할 수 있다.
Figure 112014009649007-pat00003
---- (2)
(여기에서, vx, vy는 양방향 탐색을 통해 얻은 제2 움직임 벡터
Figure 112014009649007-pat00004
의 x축과 y축 성분을 나타내며, B는 중심 블록을 나타내고, f(n-1)과 f(n)은 제2 프레임과 제3 프레임의 밝기 값인 휘도 성분을 나타냄.)
또한, 상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계에서, 상기 제2 움직임 벡터로 계산된 블록의 SBAD를 기준으로 상기 제2 움직임 벡터로 계산된 블록의 이웃 블록들의 SBAD가 임계값보다 모두 큰 경우, 제2 움직임 벡터를 제3 움직임 벡터로 할 수 있다.
한편, 본 발명의 다른 구현예는, 전술한 다중 프레임을 이용한 양방향 움직임 탐색 기능이 탑재된 영상 장치를 제공한다.
본 발명의 일 구현예에 따르면, 블록 기반 알고리즘을 이용하여 보다 정확한 움직임 벡터를 찾을 수 있는 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법을 나타낸 흐름도이다.
도 2a 및 도 2b는 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법에서 순방향과 역방향에 대한 움직임 탐색을 나타낸 도면이다.
도 3은 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법에서 삼중 프레임을 통한 양방향 탐색을 나타낸 도면이다.
도 4는 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법에서 임계값을 활용한 움직임 벡터 평탄화를 나타낸 도면이다.
도 5는 표 1에서의 Ice 영상에 대한 방향 움직임 예측 결과에 대한 PSNR이다.
도 6은 표 1에서의 Foreman 영상에 대한 방향 움직임 예측 결과에 대한 PSNR이다.
이하, 본 발명의 구현예를 상세히 설명하기로 한다. 다만, 이는 예시로서 제시되는 것으로, 이에 의해 본 발명이 제한되지는 않으며 본 발명은 후술할 청구항의 범주에 의해 정의될 뿐이다.
먼저, 본 발명의 일 구현예는, 제1 내지 제3 프레임이 입력되는 단계(S100), 입력된 제2 및 제3 프레임으로부터 순방향 및 역방향 움직임 탐색 과정을 거쳐 제1 움직임 벡터를 계산하는 단계(S200), 상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계(S300), 상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계(S400), 및 상기 제3 움직임 벡터에 중복 블록 움직임 보상(OBMC, overlapped block motion compensation) 과정을 적용하여 최종 보간 프레임을 생성하는 단계(S500)를 포함하는, 다중 프레임을 이용한 양방향 움직임 탐색 방법을 제공한다.
도 1은 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법을 나타낸 흐름도이다.
도 1을 참조하면,
Figure 112014009649007-pat00005
는 각각 차례대로 현재 프레임, 보간 될 프레임, 현재 프레임의 이전 프레임(n-1번째 프레임), n-1번째 프레임의 이전 프레임(n-2번째 프레임)을 말하며, MMV(modified motion vector)는 제2 움직임 벡터, 즉, 수정된 움직임 벡터를 뜻하고, FMV(final motion vector)는 제3 움직임 벡터, 즉, 최종 움직임 벡터를 뜻한다.
먼저, 우선 RGB 컬러 모델로 이루어진 영상 프레임을 YCbCr 컬러 모델로 변환하고, 여기서 밝기 값인 Y를 이용하여 움직임 탐색을 실시한다. 그리고, 현재 프레임의 이전 프레임(n-1번째 프레임)과 현재 프레임 두 장을 이용하여 순방향 및 역방향 움직임 탐색을 하여 제1 움직임 벡터, 즉, 초기 움직임 벡터를 얻는다(S200).
또한, 구해진 상기 제1 움직임 벡터들은 상기 n-1번째 프레임의 이전 프레임(n-2번째 프레임)과 함께 다시 다중 프레임 기반의 양방향 움직임 탐색 과정을 통해 제2 움직임 벡터, 즉, 수정된 움직임 벡터를 얻는다(S300).
이 때, 제2 움직임 벡터 내에서 추정이 잘못되었다고 판정되는 벡터들은 후술되는 평탄화 과정을 통하여 제3 움직임 벡터, 즉, 최종 움직임 벡터로 도출된다(S400).
마지막으로, 제3 움직임 벡터에 OBMC를 적용하여 최종 보간 프레임을 생성한다(S500).
이하에서는, n=3 일 경우를 예로 하여 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법을 수행하는 과정에 대하여 보다 상세히 설명하도록 한다.
먼저, 제1 내지 제3 프레임이 입력되면(S100), 입력된 제2 및 제3 프레임으로부터 순방향 및 역방향 움직임 탐색 과정을 거쳐 제1 움직임 벡터를 계산한다(S200).
양방향 움직임 탐색을 통해 움직임 보상 보간(motion-compensated frame interpolation, MCFI)을 적용하기 위해서 단방향 움직임 탐색이 사용될 수 있다. 그러나, 단방향 움직임 탐색을 한 방향으로만 수행하게 된다면 움직임이 큰 영상에 대해서 정확한 움직임 벡터를 얻기 어렵다.
이에, 본 발명의 일 구현예에서는 순방향 및 역방향에 대해 움직임 탐색을 수행하고, 다양한 움직임 벡터들을 참조하여 보다 정확한 움직임 벡터를 선정하도록 한다.
도 2a 및 도 2b는 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법에서 순방향과 역방향에 대한 움직임 탐색을 나타낸 도면이다.
도 2a 및 도 2b를 참조하면, 블록 정합 알고리즘(BMA, block matching algorithm)의 절대 차의 합 계산(SAD, sum of absolute difference)를 이용하여 각 방향의 제1 움직임 벡터(초기 움직임 벡터)를 구한다.
현재 프레임을 기준으로 이전 프레임에서 가장 신뢰성 있는 블록을 찾는 순방향과 이전 프레임을 기준으로 현재 프레임에서 가장 신뢰성 있는 블록을 찾는 역방향에 대해 각각 수행된다.
여기에서, 제1 움직임 벡터는 각 방향에 대해 현재 프레임 혹은 이전 프레임을 기준으로 움직임 탐색한 결과이므로 움직임 벡터의 중간값으로 결정된다.
제1 움직임 벡터가 계산되면, 상기 제1 움직임 벡터를 제1 프레임과 함께 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산한다(S300).
보다 상세하게, 각 블록의 제1 움직임 벡터는 전술된 절대 차의 합 계산(SAD)의 최소값을 통해 판단되기 때문에, 영상 내에서 움직이는 객체 및 배경에 따라 모두 정확한 움직임 벡터를 얻기에는 어려움이 있다.
따라서, 잘못된 움직임 벡터에 대한 보정이 필요하며, 보정 방법으로는 일례로서 대칭성을 이용한 양방향 움직임 탐색이 있다.
그러나, 상기 양방향 움직임 탐색도 움직임이 큰 영상이나 한 프레임 내에 존재하는 영상의 유사한 특성으로 인해, 잘못된 움직임 벡터가 발생할 수 있다.
이러한 문제점을 해결하기 위하여 본 발명에서는 다중 프레임을 통한 양방향 움직임 탐색을 이용한다.
본 발명의 일 구현예에서는 다중 프레임 중 세 개의 프레임을 활용하는 삼중 프레임을 통한 양방향 탐색을 제시하였다.
도 3은 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법에서 삼중 프레임을 통한 양방향 탐색을 나타낸 도면이다.
도 3을 참조하면, 삼중 프레임을 통한 양방향 탐색은 n-1번째 프레임의 이전 프레임(n-2번째 프레임)이 추가적으로 포함되었다.
현재 프레임을 기준으로 하는 순방향 움직임 탐색의 초기 움직임 벡터가 +v이면, 보간될 프레임을 중심으로 n-2번째 프레임은 +3v, 이전 프레임은 +v, 현재 프레임은 -v 만큼 이동된 블록이 된다.
반대로, 이전 프레임을 기준으로 하는 역방향 움직임 탐색의 초기 움직임 벡터가 +v이면 보간될 프레임을 중심으로 n-2번째 프레임은 -3v, 이전 프레임은 -v, 현재 프레임은 +v 만큼 이동된 블록이 된다.
초기 벡터만큼 이동된 블록들을 기준으로 탐색 범위를 다시 설정하여 양방향 움직임 탐색을 수행한다. 블록 간의 정합도와 n-2번째 프레임을 활용하기 위한 값으로 양방향 절대 차의 합(SBAD, sum of bidirectional absolute difference)를 아래의 식 (1)과 같이 변형하여 사용한다.
Figure 112014009649007-pat00006
Figure 112014009649007-pat00007
---- (1)
여기서, Sx, Sy는 양방향 탐색 범위의 위치이며, Bi,Bj는 블록의 위치를 나타내고, dx,dy는 초기 움직임 벡터를 나타낸다.
P1과 P2가 순방향의 움직임 벡터를 이용하여 SBAD를 통해 얻은 값이고, P3와 P4는 역방향의 움직임 벡터를 이용하여 SBAD를 통해 구한 값이다. 이와 같이 블록들 간의 SBAD를 구한 뒤, 정규화 과정을 수행하고, 아래의 식 (2)와 같이 순방향과 역방향에서 나온 블록의 최소 SBAD를 비교하여 값이 작은 블록을 수정된 움직임 벡터(MMV, modified motion vector), 즉, 제2 움직임 벡터로 결정한다.
Figure 112014009649007-pat00008
----- (2)
제2 움직임 벡터가 계산되면, 상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산한다(S400).
S300에서 도출된 제2 움직임 벡터들은 영상에서 존재하는 움직이는 객체나 배경에 의해 잘못 추정된 움직임 벡터가 존재할 수 있으며, 이러한 제2 움직임 벡터는 공간적으로 이웃하는 블록들 사이에서 자연스럽지 못한 현상을 유발한다.
이러한 블록들을 제거하기 위하여 본 발명에서는 평탄화 과정을 적용한다.
보다 상세하게, 본 발명의 일 구현예에서는 아래의 식 (3)과 같은 DFD(displaced frame difference)인 프레임 차이 값을 사용한다.
Figure 112014009649007-pat00009
----- (3)
여기에서, vx, vy는 양방향 탐색을 통해 얻은 수정된 움직임 벡터
Figure 112014009649007-pat00010
의
Figure 112014009649007-pat00011
축과 y축 성분을 나타내며, B는 중심 블록을 나타내고, f(n-1)과 f(n)은 이전 프레임과 현재 프레임의 밝기 값인 휘도 성분을 나타낸다.
FMV(final motion vector), 즉, 제3 움직임 벡터는 중심 블록과 이웃 블록으로 DFD를 수행하여 가장 작은 값을 최종 움직임 벡터로 선정한다. 여기에서, DFD는 전술된 BMA와 유사한 연산을 수행하며, 중심 블록을 기준으로 이웃하는 8개 블록 모두 DFD를 구하여 FMV를 도출한다.
그러나, 이 방법 또한 DFD에 의존적이기 때문에, 여전히 잘못된 움직임 벡터를 선정할 수 있는 문제가 발생하며, 이와 같은 경우 블록화 현상이나 열화 현상이 발생하는 문제점이 있다.
이에, 본 발명에서는 임계값을 활용하여 왜곡될 가능성이 있는 움직임 벡터는 참조되지 않도록 하였다.
도 4는 본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법에서 임계값을 활용한 움직임 벡터 평탄화를 나타낸 도면이다.
도 4를 참조하면, 먼저 중심 블록을 기준으로 SBAD가 임계값 보다 작은 이웃 블록들을 찾아 DFD를 수행한다. 9개 블록 모두 SBAD가 임계값보다 클 경우에는 중심 블록의 움직임 벡터를 그대로 사용한다.
여기에서, SBAD는 양방향 탐색에서 수행하였던 각각의 블록들의 SBAD이다. 이와 같이, SBAD가 높은 블록의 움직임 벡터는 평탄화 과정의 참조대상에서 제외시키고 수행함으로써 최종 움직임 벡터를 결정한다.
한편, 본 발명의 다른 구현예는, 상기한 다중 프레임을 이용한 양방향 움직임 탐색 기능이 탑재된 영상 장치를 제공한다.
이하 본 발명의 실험예를 기재한다. 그러나 하기의 실험예는 본 발명의 일 구현예의 실험예 일 뿐 본 발명이 하기한 실험예에 한정되는 것은 아니다.
실험예
방법
본 발명의 일 구현예에서 테스트한 영상은 News, Foreman, Ice, Mobile, City, Football 등 이며, CIF(352288) 급의 해상도를 가지는 영상이다. 움직임 탐색의 블록 크기는 16×16을 사용하였고, 탐색 영역 범위는 ㅁ16의 픽셀을 사용하였다. 양방향 탐색에서 사용된 범위는 ㅁ2의 영역을 사용하였다.
본 발명의 일 구현예에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법을 평가하기 위해 PSNR(peak signal to noise ratio)을 사용하여 원본 프레임과 보간된 프레임을 비교 분석하였다.
결과
각 영상마다 보간된 프레임들의 평균 PSNR을 구해서 비교하였다. 비교된 실험 알고리즘은 다음과 같다.
(a) 양방향 움직임 탐색 + 중복 블록 움직임 보상(OBMC, overlapped block motion compensation)
(b) 삼중 프레임을 통한 움직임 탐색 + OBMC
(c) 본 발명의 양방향 움직임 탐색 + OBMC
실험에 사용된 영상은 2번에서 100번까지의 프레임들을 사용하였다. 실험을 위해 영상 시퀀스에서 홀수 번째 프레임을 제거된 프레임을 생성하였으며, 또한 짝수 번째 프레임에 대해서도 동일하게 실험을 수행하였다. 실험을 통해 얻어진 각 영상은 원본 영상과 비교하여 PSNR을 계산하였다.

 PSNR
(a) (b) (C)
Crew 30.51 30.54 30.81
Foreman 31.53 31.57 31.76
Ice 29.84 29.89 30.40
Mobile 26.54 27.59 27,72
City 30.67 31.07 31.14
Football 22.49 22.49 22.66
[표 1]의 (a)는 보간될 프레임을 기준으로 이전 프레임과 현재 프레임을 통해 움직임 탐색을 실시하는 알고리즘이며, (b)는 보간될 프레임을 기준으로 n-2번째 프레임과 이전 프레임, 현재 프레임을 사용하여 움직임 탐색을 실시하는 알고리즘이고, (c)는 본 발명에서 제안하는 알고리즘이다.
도 5는 표 1에서의 Ice 영상에 대한 방향 움직임 예측 결과에 대한 PSNR이다. 도 6은 표 1에서의 Foreman 영상에 대한 방향 움직임 예측 결과에 대한 PSNR이다.
[표 1], 도 5 및 도 6을 참조하면, 본 발명에 따른 다중 프레임을 이용한 양방향 움직임 탐색 방법에 따르면, 움직임이 적은 News 등의 영상보다 상대적으로 움직임이 큰 Ice 등의 영상에서 높은 PSNR 값을 가져 우수한 성능을 나타나는 것을 확인할 수 있다.
본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (9)

  1. 제1 내지 제3 프레임이 입력되는 단계;
    입력된 제2 및 제3 프레임으로부터 순방향 및 역방향 움직임 탐색 과정을 거쳐 제1 움직임 벡터를 계산하는 단계;
    상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계;
    상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계; 및
    상기 제3 움직임 벡터에 중복 블록 움직임 보상(OBMC, overlapped block motion compensation) 과정을 적용하여 최종 보간 프레임을 생성하는 단계;를 포함하되,
    상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계는,
    하기 식 (1)을 통해 순방향과 역방향의 양방향 절대 차의 합(SBAD, sum of bidirectional absolute difference)을 구하는 과정을 포함하는 것을 특징으로 하는 다중 프레임을 이용한 양방향 움직임 탐색 방법.
    Figure 112015048701493-pat00023

    Figure 112015048701493-pat00024
    ----- (1)
    (여기에서, Sx, Sy는 양방향 탐색 범위의 위치이며, Bi,Bj는 블록의 위치, dx,dy는 초기 움직임 벡터, P1과 P2는 순방향의 움직임 벡터를 이용하여 SBAD를 통해 얻은 값, P3와 P4는 역방향의 움직임 벡터를 이용하여 SBAD를 통해 구한 값임)
  2. 청구항 1에 있어서,
    상기 제1 내지 제3 프레임은 제1 내지 제n 프레임을 포함하는 다중 프레임으로부터 선택된 것을 특징으로 하는 다중 프레임을 이용한 양방향 움직임 탐색 방법.
  3. 청구항 2에 있어서,
    상기 제1 내지 제3 프레임은 시계열 순으로서, 상기 제1 프레임으로 진행될수록 이전 순이고, 상기 제3 프레임으로 진행될수록 이후 순인 것을 특징으로 하는 다중 프레임을 이용한 양방향 움직임 탐색 방법.
  4. 청구항 1에 있어서,
    상기 입력된 제2 및 제3 프레임으로부터 순방향 및 역방향 움직임 탐색 과정을 거쳐 제1 움직임 벡터를 계산하는 단계는,
    블록 정합 알고리즘(BMA, block matching algorithm)의 절대 차의 합 계산(SAD, sum of absolute difference)를 이용하여 수행되는 것을 특징으로 하는 다중 프레임을 이용한 양방향 움직임 탐색 방법.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 제1 움직임 벡터 및 제1 프레임을 다중 프레임 기반의 양방향 움직임 탐색 과정을 거쳐 제2 움직임 벡터로 계산하는 단계는,
    상기 순방향과 역방향의 양방향 절대 차의 합(SBAD, sum of bidirectional absolute difference)을 비교하여 값이 작은 블록을 상기 제2 움직임 벡터로 계산하는 과정을 더 포함하는 것을 특징으로 하는 다중 프레임을 이용한 양방향 움직임 탐색 방법.
  7. 청구항 6 항에 있어서,
    상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계는,
    상기 제2 움직임 벡터로 계산된 블록을 기준으로 양방향 절대 차의 합(SBAD)이 임계값보다 작은 이웃 블록들에 대하여 하기 식 (2)과 같은 DFD(displaced frame difference)를 계산하는 과정을 포함하는 것을 특징으로 하는 다중 프레임을 이용한 양방향 움직임 탐색 방법.
    Figure 112014009649007-pat00014
    ----- (2)
    (여기에서, vx, vy는 양방향 탐색을 통해 얻은 제2 움직임 벡터
    Figure 112014009649007-pat00015
    의 x축과 y축 성분을 나타내며, B는 중심 블록을 나타내고, f(n-1)과 f(n)은 제2 프레임과 제3 프레임의 밝기 값인 휘도 성분을 나타냄.)
  8. 청구항 6에 있어서,
    상기 제2 움직임 벡터를 평탄화 과정을 거쳐 제3 움직임 벡터로 계산하는 단계에서,
    상기 제2 움직임 벡터로 계산된 블록의 SBAD를 기준으로 상기 제2 움직임 벡터로 계산된 블록의 이웃 블록들의 SBAD가 임계값보다 모두 큰 경우, 제2 움직임 벡터를 제3 움직임 벡터로 하는 것을 특징으로 하는 다중 프레임을 이용한 양방향 움직임 탐색 방법.
  9. 청구항 1 내지 청구항 제4항, 청구항 6항 내지 청구항 8 중의 어느 한 항에 따른 다중 프레임을 이용한 양방향 움직임 탐색 기능이 탑재된 영상 장치.
KR1020140011119A 2014-01-29 2014-01-29 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치 KR101544158B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140011119A KR101544158B1 (ko) 2014-01-29 2014-01-29 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140011119A KR101544158B1 (ko) 2014-01-29 2014-01-29 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치

Publications (2)

Publication Number Publication Date
KR20150090454A KR20150090454A (ko) 2015-08-06
KR101544158B1 true KR101544158B1 (ko) 2015-08-12

Family

ID=53885165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140011119A KR101544158B1 (ko) 2014-01-29 2014-01-29 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치

Country Status (1)

Country Link
KR (1) KR101544158B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018056709A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595689B1 (ko) * 2017-09-29 2023-10-30 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019066523A1 (ko) * 2017-09-29 2019-04-04 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10992930B2 (en) 2018-03-30 2021-04-27 Hulu, LLC Template refined bi-prediction for video coding
KR102105766B1 (ko) * 2018-08-28 2020-04-29 한국과학기술원 선형 및 비선형 움직임 모두에 적합한 움직임 보상 프레임 보간 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018056709A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10681373B2 (en) 2016-09-22 2020-06-09 Lg Electronics Inc. Inter-prediction method and device in image coding system

Also Published As

Publication number Publication date
KR20150090454A (ko) 2015-08-06

Similar Documents

Publication Publication Date Title
KR100870115B1 (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
US8018998B2 (en) Low complexity motion compensated frame interpolation method
Kang et al. Motion compensated frame rate up-conversion using extended bilateral motion estimation
US10142650B2 (en) Motion vector prediction and refinement using candidate and correction motion vectors
KR101544158B1 (ko) 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치
Dikbas et al. Novel true-motion estimation algorithm and its application to motion-compensated temporal frame interpolation
Lu et al. Motion-compensated frame interpolation with multiframe-based occlusion handling
Kim et al. Iterative true motion estimation for motion-compensated frame interpolation
CN107483960B (zh) 一种基于空间预测的运动补偿帧率上转换方法
CN108574844B (zh) 一种时空显著感知的多策略视频帧率提升方法
Choi et al. Triple-frame-based bi-directional motion estimation for motion-compensated frame interpolation
Cho et al. Temporal frame interpolation based on multiframe feature trajectory
Kim et al. An efficient motion-compensated frame interpolation method using temporal information for high-resolution videos
WO2016131270A1 (zh) 一种错误隐藏的方法和装置
Zhang et al. A polynomial approximation motion estimation model for motion-compensated frame interpolation
CN104902256B (zh) 一种基于运动补偿的双目立体图像编解码方法
Lim et al. Motion estimation with adaptive block size for motion-compensated frame interpolation
EP2400740B1 (en) Method for estimating motion vectors for frame interpolation
Xu et al. Frame rate up-conversion with true motion estimation and adaptive motion vector refinement
KR101299196B1 (ko) 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법
Zhao et al. Frame rate up-conversion based on edge information
Garcia-V et al. Image processing for error concealment
Tang et al. A new frame interpolation method with pixel-level motion vector field
Huang et al. Motion vector processing using bidirectional frame difference in motion compensated frame interpolation
Lu et al. A novel frame rate up conversion using iterative non-local means interpolation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190718

Year of fee payment: 5