KR101138922B1 - 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법 - Google Patents

복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법 Download PDF

Info

Publication number
KR101138922B1
KR101138922B1 KR1020100065583A KR20100065583A KR101138922B1 KR 101138922 B1 KR101138922 B1 KR 101138922B1 KR 1020100065583 A KR1020100065583 A KR 1020100065583A KR 20100065583 A KR20100065583 A KR 20100065583A KR 101138922 B1 KR101138922 B1 KR 101138922B1
Authority
KR
South Korea
Prior art keywords
frame
occlusion
current block
frames
pixels
Prior art date
Application number
KR1020100065583A
Other languages
English (en)
Other versions
KR20120004874A (ko
Inventor
정제창
민창기
오형철
이주현
Original Assignee
중앙대학교 산학협력단
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 한양대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020100065583A priority Critical patent/KR101138922B1/ko
Publication of KR20120004874A publication Critical patent/KR20120004874A/ko
Application granted granted Critical
Publication of KR101138922B1 publication Critical patent/KR101138922B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 복원된 비디오의 프레임율을 향상시키기 위한 프레임을 보간하는 기술에 관한 것이다. 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치는, 상기 복원된 비디오 프레임 중 적어도 하나의 참조 프레임이 갖는 모션 벡터를 기준으로, 복수의 참조 프레임 상에서 대응되는 영역들을 결정하고, 상기 대응되는 영역들 간의 유사성에 기초하여, 보간 프레임에 속하는 현재 블록이 폐색 구간인지 여부를 판단하는 폐색 구간 설정부와, 상기 현재 블록이 폐색 구간이 아니면 상기 현재 블록을 상기 영역들로부터 생성하고 상기 현재 블록이 폐색 구간이면 비워두는 방식으로 예비 프레임을 생성하는 예비 프레임 생성부와, 상기 폐색 구간에 포함되는 블록의 주변 정보가 상기 적어도 하나의 참조 프레임 상의 어느 부분에 매칭되는가를 판단하는 주변 정보 매칭와, 상기 보간 프레임을 생성하기 위하여, 상기 매칭된 참조 프레임 상의 부분에 의하여 상기 폐색 구간에 포함되는 블록을 복원하는 프레임 보간부로 이루어진다.

Description

복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법{Apparatus and method for upconverting frame rates of decoded video frames}
본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는, 복원된 비디오의 프레임율을 향상(upconverting)시키기 위하여 프레임을 보간하는 기술에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려하여 지각적 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 기법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다. 이와 같이 압축된 비디오 데이터는 다양한 전달 매체를 통하여 다양한 복원 장치(비디오 디코더)에 제공된다. 상기 복원 장치는 상기 압축된 비디오 데이터에 대하여 상기 압축 과정의 역에 해당하는 과정을 수행하여 복원된 비디오 영상을 얻게 된다.
그런데, 다양한 재생 장치 또는 어플리케이션의 요구에 따라서는, 복원된 비디오의 프레임율을 변경할 필요가 발생한다. 비디오 프레임율을 저하(downconverting)시키는 경우라면 프레임 스킵, 기타 다양한 방법으로 간단히 구현이 가능하지만, 비디오 프레임율을 향상(upconverting)시키는 경우라면 존재하지 않는 프레임을 보간하여야 하고 그 보간 결과 재생되는 영상이 사용자에게 얼마나 자연스럽게 보여질 수 있는가가 관건이다. 즉, 프레임율이 향상된 프레임이 원래의 비디오 코딩 단계에서 향상된 프레임율로 얻어진 프레임과의 차이가 최소화되도록 하는 것이 목적이라고 할 수 있다.
전통적인 프레임율 향상(Frane Rate Up-Conversion, 이하 FRUC라고 함) 기술로는 프레임 반복(Frame Repetition, FR), 프레임 평균(Frame Averaging, FA), 선형 프레임 보간(Linear frame Interpolation, LI) 등이 있다. 그러나 이러한 기법들은 모션 벡터(Motion vector)를 고려하지 않기 때문에 복잡도가 낮고 쉽게 보간이 가능하다. 그러나 영상 포맷이 확장되거나 물체의 움직임이 클 경우에는 영상이 고르지 못하고 영상이 중복되는 고스트 현상(Ghost artifact)이 발생한다. 또한 블록 단위로 보간을 하기 때문에 블록간의 경계부분에서 블록화 현상(Block artifact)도 발생할 수 있다.
이러한 문제점을 개선하기 위해, 모션 벡터를 고려한 모션 보상 FRUC(MC-FRUC) 기술이 연구되었다. MC-FRUC는 정확한 모션 벡터를 예측하는 것에 큰 비중을 두고, 보다 정확한 모션 벡터의 예측에 대한 방향으로 연구가 이루어졌다. MC-FRUC의 가장 기본적인 기술인 모션 보상 프레임 보간(Motion-Compensated Frame Interpolation, MCFI)은 현재 프레임을 중심으로 이전 프레임에서 획득한 모션 벡터를 이용하여 보간 프레임을 생성하는 방법이다. 그러나, MCFI는 움직임이 적은 영상에는 효율적으로 프레임 보간이 가능하지만 움직임이 클 경우에는 정확한 모션 벡터의 예측이 어렵다. 또한 블록 단위로 프레임 보간을 수행하기 때문에 블록과 블록의 경계부분은 고려되지 않기 때문에, 생성되는 영상에는 블록화 현상이 나타나게 된다.
이러한 문제점을 해결하기 위해 중복 블록 모션 보상(Overlapped Block Motion Compensation, OBMC)이 제안된 바 있다. OBMC는 MCFI에서 발생하는 블록화 현상을 막기 위해 이웃하는 블록의 경계부분에 따른 모션 벡터값을 달리함으로써 보다 부드러운 효과를 얻는다. 그러나 경계 부분의 과도한 중복으로 인해 화질이 열화되는 문제점이 발생할 수 있다.
본 발명은 상기한 필요성을 감안하여 창안된 것으로, 복원된 비디오의 프레임율을 향상시키기 위한, 보다 정밀한 프레임 보간 기술을 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치에 있어서, 상기 복원된 비디오 프레임 중 적어도 하나의 참조 프레임이 갖는 모션 벡터를 기준으로, 복수의 참조 프레임 상에서 대응되는 영역들을 결정하고, 상기 대응되는 영역들 간의 유사성에 기초하여, 보간 프레임에 속하는 현재 블록이 폐색 구간인지 여부를 판단하는 폐색 구간 설정부; 상기 현재 블록이 폐색 구간이 아니면 상기 현재 블록을 상기 영역들로부터 생성하고 상기 현재 블록이 폐색 구간이면 비워두는 방식으로 예비 프레임을 생성하는 예비 프레임 생성부; 상기 폐색 구간에 포함되는 블록의 주변 정보가 상기 적어도 하나의 참조 프레임 상의 어느 부분에 매칭되는가를 판단하는 주변 정보 매칭부; 및 상기 보간 프레임을 생성하기 위하여, 상기 매칭된 참조 프레임 상의 부분에 의하여 상기 폐색 구간에 포함되는 블록을 복원하는 프레임 보간부를 포함한다.
상기 기술적 과제를 달성하기 위한 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치에 있어서, 상기 복원된 비디오 프레임 중 제1 참조 프레임이 갖는 모션 벡터를 이용하여, 보간될 프레임의 현재 블록과 대응되는 상기 제1 참조 프레임 상의 제1 영역과 제2 참조 프레임 상의 제2 영역을 결정하고, 상기 제1 영역과 상기 제2 영역 간의 유사성에 기초하여 상기 현재 블록이 폐색 구간인지 여부를 판단하는 폐색 구간 설정부; 상기 현재 블록이 폐색 구간이 아닌 경우에는, 상기 현재 블록을 상기 제1 영역으로 대체함에 의하여 예비 프레임을 생성하는 예비 프레임 생성부; 상기 현재 블록이 폐색 구간인 경우에는, 상기 현재 블록의 주변 정보가 상기 제1 참조 프레임 상의 어느 부분에 매칭되는가를 판단하여, 상기 현재 블록에 대응되는 상기 제1 참조 프레임 상의 제3 영역을 결정하는 주변 정보 매칭부; 및 상기 현재 블록을 상기 제3 영역으로 대체함에 의하여 상기 현재 블록을 포함하는 프레임을 보간하는 프레임 보간부를 포함한다.
상기 기술적 과제를 달성하기 위한 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 방법에 있어서, 상기 복원된 비디오 프레임 중 적어도 하나의 참조 프레임이 갖는 모션 벡터를 기준으로, 복수의 참조 프레임 상에서 대응되는 영역들을 결정하는 단계; 상기 대응되는 영역들 간의 유사성에 기초하여, 보간 프레임에 속하는 현재 블록이 폐색 구간인지 여부를 판단하는 단계; 상기 현재 블록이 폐색 구간이 아니면 상기 현재 블록을 상기 영역들로부터 생성하고 상기 현재 블록이 폐색 구간이면 비워두는 방식으로 예비 프레임을 생성하는 단계; 상기 폐색 구간에 포함되는 블록의 주변 정보가 상기 적어도 하나의 참조 프레임 상의 어느 부분에 매칭되는가를 판단하는 단계; 및 상기 보간 프레임을 생성하기 위하여, 상기 매칭된 참조 프레임 상의 부분에 의하여 상기 폐색 구간에 포함되는 블록을 복원하는 단계를 포함한다.
본 발명에 따르면 기존의 공개된 다양한 프레임 보간 기술에 비하여, 원본 프레임 기준으로 보다 높은 주관적/객관적 화질을 갖는 보간 프레임을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 프레임율 향상 장치의 구성을 도시하는 블록도이다.
도 2 내지 도 5는 현재 블록을 기준으로 참조 프레임 상에서 대응되는 영역을 결정하는 방법을 보여주는 도면들이다.
도 6은 Foreman 시퀀스의 경우에 얻어지는 제1 예비 프레임 및 제2 예비 프레임의 예를 보여주는 도면이다.
도 7은, 도 6에 도시된 두 개의 예비 프레임들을 평균에 의하여 병합한 결과를 보여주는 도면이다.
도 8은 다양한 경우에 있어서 현재 블록의 주변 정보를 선택하는 예들을 보여주는 도면이다.
도 9는 현재 블록의 주변 정보(또는 참조 프레임 상에서 비교되는 영역의 주변 정보)를 히스토그램으로 표시한 예를 보여주는 도면이다.
도 10은 현재 블록에 대한 주변 정보와, 참조 프레임들 상에서 상기 현재 블록과 대응되는 영역들에 대한 주변 정보를 보여주는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른, 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치(100)의 구성을 도시하는 블록도이다.
프레임율 향상 장치(100)는 폐색구간 설정부(120), 예비 프레임 생성부(130), 주변 정보 매칭부(140) 및 프레임 보간부(150)를 포함할 수 있으며, 비디오 디코더(110)를 더 포함할 수 있다. 만약, 프레임율 향상 장치(100)가 이미 복원된 비디오 영상을 입력받아 프레임율 향상 기능만 제공하는 방식으로 구현된다면, 비디오 디코더(110)는 포함되지 않을 수도 있다.
비디오 디코더(110)는 입력된 비트스트림에 통상의 비디오 디코딩 기술을 적용하여 소정의 프레임율을 갖는 원래의 비디오 프레임을 복원한다. 상기 통상의 비디오 디코딩은 비디오 인코딩의 역에 해당하는 과정으로서, 역 엔트로피 부호화 단계, 역 양자화 단계, 역 변환 단계, 예측 복호화(인터 예측/인트라 예측 복호화) 단계를 포함하여 구성될 수 있는데, 이 과정은 당업계에서 통상의 지식을 가진 자라면 별도의 설명 없이도 이해할 수 있다. 비디오 디코더(110)에서 복원된 비디오 프레임들은 이후 프레임율 향상을 위하여, 폐색구간 설정부(120), 예비 프레임 생성부(130), 주변 정보 매칭부(140) 및 프레임 보간부(150)의 처리를 거친다. 비디오 디코더(110)에서 복원된 비디오 프레임은 보간하고자 하는 현재 프레임(이하, 보간 프레임이라고 함)에 대한 참조 프레임(통상, 현재 프레임과 인접한 프레임이 사용됨)으로 사용될 수 있다.
폐색 구간 설정부(120)는 상기 복원된 비디오 프레임 중 적어도 하나의 참조 프레임이 갖는 모션 벡터를 기준으로, 복수의 참조 프레임 상에서 대응되는 영역들을 결정하고, 상기 대응되는 영역들 간의 유사성에 기초하여, 보간 프레임에 속하는 현재 블록이 폐색 구간인지 여부를 판단한다.
본 발명의 일 실시예에 따르면, 상기 적어도 하나의 참조 프레임은 상기 보간되는 프레임(보간 프레임)의 직전 프레임 또는 직후 프레임 중 적어도 하나를 의미하고, 상기 복수의 참조 프레임은 상기 직전 프레임 및 상기 직후 프레임을 의미한다. 또한, 본 발명의 바람직한 실시예에 따르면, 상기 참조 프레임(적어도 하나의 참조 프레임 및 복수의 참조 프레임)은 상기 보간 프레임의 직전 및 직후에 존재하는 2개의 프레임이다.
상기 대응되는 영역들 간의 유사성은 그 영역들 간의 절대 차이의 합(Sum of Absolute Difference, SAD)이 소정의 문턱값을 넘는가 여부에 의하여 결정될 수 있다. 다음의 도 2 내지 도 5는 이와 같이 SAD 계산의 대상이 되는 참조 프레임 상의 대응되는 영역을 결정하는 방법을 보여주는 도면이다.
도 2는 참조 프레임들(21, 23) 중에서 직전 프레임(21)이 갖는 모션 벡터(27)를 이용한, 직전 프레임(21)과 직후 프레임(23) 간의 대응 관계를 보여주는 도면이다. 이 경우에는, 보간 프레임(22) 내에서 현재 보간하고자 하는 블록(25, 현재 블록)과, 직전 프레임(21)의 영역(24)과 직후 프레임(23)의 영역(26)은, 상기 직전 프레임(21)의 영역(24)이 갖는 모션 벡터(27)에 의하여 대응된다.
한편, 도 2와 마찬가지로, 도 3은 직후 프레임(23)이 갖는 모션 벡터(37)를 이용한, 직전 프레임(21)과 직후 프레임(23) 간의 대응 관계를 보여주는 도면이다. 이 경우에는, 현재 블록(25)과, 직전 프레임(21)의 영역(34)과 직후 프레임(23)의 영역(36)은, 상기 직후 프레임(23)의 영역(36)이 갖는 모션 벡터(37)에 의하여 대응된다.
그런데, 도 2 및 도 3과 같은 방식으로 대응관계를 구하는 경우에는, 현재 블록(25)의 위치를 정확하게 통과하는 모션 벡터가 존재하지 않을 수도 있다. 이 경우에는 복잡한 근사 과정을 추가로 거쳐야 하므로 바람직하지 않은 오차가 발생될 수 있는 것이다.
따라서, 도 4와 같이 현재 블록(25)과 같은 위치에 있는 직전 프레임(21) 상의 영역(44)이 갖는 모션 벡터(47)에 의하여, 직후 프레임(23) 상의 영역(46)이 대응되도록 할 수 있다. 이와 같은 방식을 사용하면, 현재 블록(25), 직전 프레임(21) 상의 영역(44) 및 직후 프레임 상의 영역(46)은 별도의 근사 과정 없이 간단히 대응 관계를 가질 수 있다. 도 4는 직전 프레임(21) 상의 영역(44)이 갖는 모션 벡터를 이용한 대응 관계를 나타낸 것과 마찬가지로, 도 5와 같이 직후 프레임(23) 상의 영역(56)이 갖는 모션 벡터(57)를 이용한 대응 관계도 가능함은 물론이다.
결과적으로, 직전 프레임(21)의 모션 벡터 또는 직후 프레임(23)의 모션 벡터에 의하여 직전 프레임(21) 및 직후 프레임(23) 간에는 대응되는 영역이 존재하게 되는 것이다. 폐색 구간 설정부(120)는 상기 대응되는 영역들에 대하여, SAD를 계산하고 이것이 상기 문턱값을 넘는가 여부에 의하여 상기 대응되는 영역들의 유사성을 판단한다. 즉, 상기 SAD가 상기 문턱값을 넘으면 대응되는 영역 간의 에러가 크므로 현재 블록에 대한 신뢰성이 낮고, 상기 SAD가 상기 문턱값을 넘지 않으면 대응되는 영역 간의 에러가 작으므로 현재 블록에 대한 신뢰성이 높다고 볼 수 있다.
따라서, 폐색 구간 설정부(120)는 후자와 같이 신뢰성이 높은 경우에는 현재 블록을 대응되는 영역들로 대체하지만, 전자와 같이 신뢰성이 낮은 경우에는 현재 블록을 단순히 폐색 구간으로 설정하는 것이다. 상기 폐색 구간은 아직까지 데이터가 기록되지 않은 영역이라는 의미이지만, 실제로는 0을 부여(프레임 상에서 검은색 사각형으로 표시됨)하여 다른 영역과 구별되도록 할 수 있다.
여기서, 상기 문턱값은 경험적으로 선택될 수도 있지만, 다양한 영상에 적합한 적응적인(adaptive) 값으로 설정되는 것이 보다 바람직할 것이다. 본 발명의 일 실시예에 따르면, 상기 문턱값은 상기 대응되는 영역들이 갖는 화소 값의 공분산(covariance)으로부터 얻어질 수 있다. 즉, 상기 공분산에 비례 상수를 곱한 값을 문턱값으로 이용할 수 있다.
한편, 도 1에서, 예비 프레임 생성부(130)는 상기 현재 블록이 폐색 구간이 아니면 상기 현재 블록을 상기 영역들로부터 생성하고 상기 현재 블록이 폐색 구간이면 비워두는(또는 0으로 채우는) 방식으로 예비 프레임을 생성한다. 전술한 바와 같이, 직전 프레임의 모션 벡터를 이용하여도 하나의 예비 프레임(제1 예비 프레임)이 생성될 수 있고, 직후 프레임의 모션 벡터를 이용하여도 다른 하나의 예비 프레임(제2 예비 프레임)이 생성될 수 있기 때문에, 예비 프레임은 2개가 존재할 수 있다.
도 6은 Foreman 시퀀스의 경우에 얻어지는 제1 예비 프레임(도 6의 (a)) 및 제2 예비 프레임(도 6의 (b))의 예를 보여주는 도면이다. 각각의 예비 프레임에는 각각 고유의 폐색 구간(검은색 사각형으로 표시됨)이 표시되어 있다. 각각의 예비 프레임에 있어서, 폐색 구간들은 다소 유사한 패턴을 보이기는 하지만 완전히 일치하지는 않는다. 이와 같이, 상기 생성된 예비 프레임이 복수인 경우에는, 예비 프레임 생성부(130)는 상기 복수의 예비 프레임을 평균함에 의하여 병합할 수 있다. 폐색 구간이 0의 값을 가지므로, 이와 같은 평균에 의한 병합의 의미는, 두 예비 프레임 간에 대응되는 화소들이 모두 폐색 구간에 속하면 병합된 프레임에서의 화소도 폐색 구간이 되고, 두 화소들 중 하나만 정상적인 화소를 가지면 병합된 프레임에서의 화소는 상기 정상적인 화소로 대체되며, 두 화소들 모두가 정상적인 화소를 가지면 병합된 프레임에서의 화소는 상기 정상적인 화소들의 평균으로 계산된다는 것을 의미한다. 도 6에 도시된 두 개의 예비 프레임들((a) 및 (b))을 평균에 의하여 병합한 결과(병합된 프레임)는 도 7에 도시되어 있다.
다시 도 1을 참조하면, 주변 정보 매칭부(140)는 상기 폐색 구간에 포함되는 블록(폐색 구간에 포함된 현재 블록)의 주변 정보가 상기 적어도 하나의 참조 프레임 상의 어느 부분에 매칭되는가를 판단한다. 특히, 상기 주변 정보 매칭부(140)는 상기 매칭 여부를 판단함에 있어서, 재차 SAD를 이용하는 것 보다는, 절대 히스토그램 차이의 합(Sum of Absolute Histogram Difference)을 이용하는 것이 바람직하다. 그렇지만, SAD를 비롯한 기타의 매칭 방법을 배제하는 것은 아니다.
상기 주변 정보는 상기 폐색 구간에 포함되는 현재 블록(폐색 구간에 속함, 25)의 주변에 인접한, 소정의 참조 범위를 갖는 화소 값들로서, 도 8에 도시된 다양한 경우에 있어서 음영(81 내지 85)으로 표시된다.
도 8의 (a) 내지 (e)는 각각 현재 블록(25)의 주변에 폐색 구간에 속하는 블록의 개수가 0 내지 4인 경우를 각각 나타낸다. 본 발명의 일 실시예에 있어서 상기 참조 범위는, 상기 폐색 구간에 포함되는 블록의 주변에 폐색 구간이 증가함에 따라 더 커진다. 현재 블록에 가장 인접한 화소들의 라인으로부터 멀어지는 화소들의 라인을 추가할수록 참조 범위가 커진다는 것을 의미한다. 예를 들어, 도 8의 (a) 내지 (e)의 경우 참조 범위는 각각 2 내지 6이다. 즉, 폐색 구간에 속하는 주변 블록의 수가 많아질수록 더 많은 참조 범위가 이용된다. 만약, 폐색 구간에 속하는 주변 블록의 수에 상관없이 일정한 참조 범위를 이용한다면 폐색 구간에 속하는 주변 블록의 수가 증가할수록 참조하는 주변 정보가 줄어들게 되므로 전체적으로 신뢰성이 낮아지게 될 것이다. 상기 매칭 과정에 있어서 이러한 주변 정보는 보간 프레임에서와, 참조 프레임에서 동일한 형태 및 개수로서 비교된다.
한편, 전술한 절대 히스토그램 차이의 합을 구하기 위해서는 먼저 다음의 도 9와 같은 히스토그램의 생성이 필요하다. 예를 들어, 현재 블록의 주변 정보(도 8에서 예시된 바와 같은 주변 정보)는 복수의 화소 값의 집합인데, 이를 N개의 Bin으로 나누어 각각의 빈도(frequency)를 표시하고, 마찬가지로 비교하고자 하는 참조 프레임 상의 영역의 주변 정보도 마찬가지로 이와 같이 표시한다. 상기 절대 히스토그램 차이의 합이란, 현재 블록의 주변 정보의 Bin과, 비교되는 참조 프레임 상의 주변 정보의 Bin 간의 차이의 절대값을 구하고(Binj (j=1, 2, ..., N)간의 차이), 이러한 절대값을 합한 결과를 의미한다.
주변 정보 매칭부(140)는 이와 같은 절대 히스토그램 차이의 합이 최소가 되는 경우 현재 블록과 참조 프레임 상의 영역이 매칭되는 것으로 판단한다. 물론 이러한 매칭 여부를 검색하는 범위는 전술한 폐색 구간 판단 과정에서, 대응된다고 판단된 영역을 중심으로 한 소정 크기의 범위가 될 것이다. 이와 같은 매칭 과정을 통하여, 도 10에 예시된 바와 같이, 보간 프레임(22) 상의 현재 블록(25)에 대응되는 참조 프레임들(직전 및 직후 참조 프레임)(21, 23) 상에서 대응되는 영역들(91, 93)이 결정된다. 여기서, 현재 블록(25)에 대한 주변 정보(81)의 형태는, 대응되는 영역들(91, 93)에 대한 주변 정보(92, 94)의 형태와 동일하다.
다시 도 1을 참조하면, 프레임 보간부(150)는 상기 보간 프레임을 생성하기 위하여, 상기 매칭된 참조 프레임 상의 부분에 의하여 상기 폐색 구간에 포함되는 블록을 복원한다. 그런데, 전술한 예비 프레임이 복수인 경우에는, 프레임 보간부(150)는 상기 매칭되는 참조 프레임 상의 부분도 2개가 존재할 수가 있으므로, 프레임 보간부(150)는 매칭되는 제1 참조 프레임 상의 부분과, 매칭되는 제2 참조 프레임 상의 부분을 평균하여 최종적으로 폐색 구간을 복원할 수 있다. 결국 이와 같이, 기존의 병합된 예비 프레임 상에서 모든 폐색 구간을 복원하게 되면 최종적인 보간 프레임을 생성할 수 있게 된다.
지금까지 도 1의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
본 발명에 따른 효과를 검증하기 위해 기존에 알려진 LI, MCFI, OBMC 및 Robust-FRUC 등의 기술과 성능을 비교 분석하였으며, 그 결과는 다음의 표 1에 정리된다. 실험 영상은 모두 CIF(352x288) 크기이며, 예측되는 블록의 크기는 8x8로 고정하였고, 폐색 구간 판단을 위한 단계에서의 탐색 영역은 16x16으로 1/4픽셀까지 탐색하는 것으로 하였다. 이웃하는 블록의 정보를 이용하여 모션 벡터를 예측하는 단계에서의 탐색 영역은 이웃하는 블록의 모션 벡터의 중간값을 고려할 수 있도록 2x2로 설정된다.
비디오 시퀀스들 PSNR
LI MCFI OBMC Robust-FRUC 본 발명
Foreman 29.3092 32.7338 33.1404 33.4895 34.4829
Bus 18.9636 21.6715 21.9122 22.6575 22.8798
Flower 19.8022 31.2147 31.2147 31.8080 32.6242
Mobile 24.6965 29.2996 29.2996 30.8095 31.8043
Children 26.2263 28.9145 28.9650 29.6032 29.8559
City 24.0753 29.5009 29.8009 30.1538 30.7650
Container 41.8994 43.3318 43.3807 43.4022 43.6108
Football 20.5605 22.6757 22.8751 23.4082 23.9764
Monitor 36.3804 36.8180 36.9649 37.3367 37.6899
Soccer 19.5316 20.2045 20.5903 20.9306 21.6223
평균 27.8689 31.2220 31.4616 31.9043 32.2685
상기 표 1은 본 발명에 따른 PSNR(Peak Signal-to-Noise Ratio)이 기존의 기술들보다 성능이 향상되었음을 보여준다. LI의 경우 다른 기술들에 비해 PSNR 성능이 현저히 떨어진다. OBMC는 기존의 MCFI의 블록화 현상을 개선하기 위한 방법으로써 PSNR 측면에서는 향상된 결과를 보이지만 전술한 바와 같이 과도한 블록의 중복으로 영상의 열화 현상이 발생한다. Robust-FRUC 역시 PSNR의 성능은 다소 향상되었지만 양방향의 움직임 정보를 이용하는 연산량의 증가에 비해 크게 향상된 결과를 얻을 수 없다.
이에 반해, 본 발명에 따른 기술은 기존의 기술들에 비하여 상당히 향상된 결과를 보여준다. 본 발명에 따른 기술은, Foreman 과 Mobile 영상의 경우, MCFI 보다는 각각 1.4dB, 2.5dB 향상되었고, Robust-FRUC 보다는 0.99dB 정도 향상된 결과를 보여준다. 또한 Robust-FRUC와 비교하더라도 역시 평균적으로 0.6dB 정도 화질의 개선이 있었음을 알 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
100: 프레임율 향상 장치 110: 비디오 디코더
120: 폐색 구간 설정부 130: 예비 프레임 생성부
140: 주변 정보 매칭부 150: 프레임 보간부

Claims (16)

  1. 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치에 있어서,
    상기 복원된 비디오 프레임 중 적어도 하나의 참조 프레임이 갖는 모션 벡터를 기준으로, 복수의 참조 프레임 상에서 대응되는 영역들을 결정하고, 상기 대응되는 영역들 간의 유사성에 기초하여, 보간 프레임에 속하는 현재 블록이 폐색 구간인지 여부를 판단하는 폐색 구간 설정부;
    상기 현재 블록이 폐색 구간이 아니면 상기 현재 블록을 상기 영역들로부터 생성하고 상기 현재 블록이 폐색 구간이면 비워두는 방식으로 복수의 예비 프레임을 생성하여 상기 복수의 예비 프레임을 평균합에 의해 병합하는 예비 프레임 생성부;
    상기 폐색 구간에 포함되는 블록의 주변 정보가 상기 적어도 하나의 참조 프레임 상의 어느 부분에 매칭되는가를 판단하는 주변 정보 매칭부; 및
    상기 보간 프레임을 생성하기 위하여, 상기 매칭된 참조 프레임 상의 부분에 의하여 상기 폐색 구간에 포함되는 블록을 복원하는 프레임 보간부를 포함하되,
    상기 복수의 예비 프레임 간에 대응되는 화소들이 모두 폐색 구간에 속하면 상기 병합된 프레임에서의 화소도 폐색 구간이 되며,
    상기 복수의 예비 프레임 간에 대응되는 화소들 중 하나만 정상적인 화소를 가지면 상기 병합된 프레임에서의 화소는 상기 정상적인 화소로 대체되고,
    상기 복수의 예비 프레임 간에 대응되는 화소들 모두 정상적인 화소를 가지면 상기 병합된 프레임에서의 화소는 상기 정상적인 화소의 평균이 되는 프레임율 향상 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 참조 프레임은 상기 보간되는 프레임의 직전 프레임 또는 직후 프레임 중 적어나 하나를 의미하고, 상기 복수의 참조 프레임은 상기 직전 프레임 및 상기 직후 프레임을 의미하는 프레임율 향상 장치.
  3. 제1항에 있어서, 상기 유사성은
    상기 대응되는 영역들 간의 절대 차이의 합(Sum of Absolute Difference)이 소정의 문턱값을 넘는가 여부에 의하여 결정되는 프레임율 향상 장치.
  4. 제3항에 있어서, 상기 문턱값은
    상기 대응되는 영역들이 갖는 화소 값의 공분산에 의하여 얻어지는 프레임율 향상 장치.
  5. 삭제
  6. 제1항에 있어서, 상기 주변 정보 매칭부는
    상기 매칭 여부를 판단함에 있어서, 절대 히스토그램 차이의 합(Sum of Absolute Histogram Difference)을 이용하는 프레임율 향상 장치.
  7. 제1항에 있어서, 상기 주변 정보는
    상기 폐색 구간에 포함되는 블록의 주변에 인접한, 소정의 참조 범위를 갖는 화소 값들인 프레임율 향상 장치.
  8. 제7항에 있어서, 상기 참조 범위는
    상기 폐색 구간에 포함되는 블록의 주변에 폐색 구간이 증가함에 따라 더 커지는 프레임율 향상 장치.
  9. 삭제
  10. 삭제
  11. 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 방법에 있어서,
    상기 복원된 비디오 프레임 중 적어도 하나의 참조 프레임이 갖는 모션 벡터를 기준으로, 복수의 참조 프레임 상에서 대응되는 영역들을 결정하는 단계;
    상기 대응되는 영역들 간의 유사성에 기초하여, 보간 프레임에 속하는 현재 블록이 폐색 구간인지 여부를 판단하는 단계;
    상기 현재 블록이 폐색 구간이 아니면 상기 현재 블록을 상기 영역들로부터 생성하고 상기 현재 블록이 폐색 구간이면 비워두는 방식으로 복수의 예비 프레임을 생성하여 상기 복수의 예비 프레임을 평균합에 의해 병합하는 단계;
    상기 폐색 구간에 포함되는 블록의 주변 정보가 상기 적어도 하나의 참조 프레임 상의 어느 부분에 매칭되는가를 판단하는 단계; 및
    상기 보간 프레임을 생성하기 위하여, 상기 매칭된 참조 프레임 상의 부분에 의하여 상기 폐색 구간에 포함되는 블록을 복원하는 단계를 포함하되,
    상기 복수의 예비 프레임 간에 대응되는 화소들이 모두 폐색 구간에 속하면 상기 병합된 프레임에서의 화소도 폐색 구간이 되며,
    상기 복수의 예비 프레임 간에 대응되는 화소들 중 하나만 정상적인 화소를 가지면 상기 병합된 프레임에서의 화소는 상기 정상적인 화소로 대체되고,
    상기 복수의 예비 프레임 간에 대응되는 화소들 모두 정상적인 화소를 가지면 상기 병합된 프레임에서의 화소는 상기 정상적인 화소의 평균이 되는 프레임율 향상 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020100065583A 2010-07-07 2010-07-07 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법 KR101138922B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100065583A KR101138922B1 (ko) 2010-07-07 2010-07-07 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100065583A KR101138922B1 (ko) 2010-07-07 2010-07-07 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120004874A KR20120004874A (ko) 2012-01-13
KR101138922B1 true KR101138922B1 (ko) 2012-05-14

Family

ID=45611266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100065583A KR101138922B1 (ko) 2010-07-07 2010-07-07 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101138922B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039047A1 (ko) * 2022-08-16 2024-02-22 주식회사 맨드언맨드 영상의 시맨틱 로그 생성 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881528B2 (en) 2011-10-13 2018-01-30 Manufacturing Resources International, Inc. Transparent liquid crystal display on display case
KR102573577B1 (ko) * 2016-02-15 2023-08-31 세종대학교산학협력단 영상 처리 방법, 프레임 율 변환 방법 및 그 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855976B1 (ko) 2007-02-02 2008-09-02 삼성전자주식회사 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
KR100870278B1 (ko) 2006-03-30 2008-11-25 가부시끼가이샤 도시바 보간 프레임 작성 장치
KR20090041562A (ko) * 2007-10-24 2009-04-29 엘지디스플레이 주식회사 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
KR20100044984A (ko) * 2008-10-23 2010-05-03 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100870278B1 (ko) 2006-03-30 2008-11-25 가부시끼가이샤 도시바 보간 프레임 작성 장치
KR100855976B1 (ko) 2007-02-02 2008-09-02 삼성전자주식회사 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
KR20090041562A (ko) * 2007-10-24 2009-04-29 엘지디스플레이 주식회사 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
KR20100044984A (ko) * 2008-10-23 2010-05-03 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039047A1 (ko) * 2022-08-16 2024-02-22 주식회사 맨드언맨드 영상의 시맨틱 로그 생성 방법

Also Published As

Publication number Publication date
KR20120004874A (ko) 2012-01-13

Similar Documents

Publication Publication Date Title
US8503528B2 (en) System and method for encoding video using temporal filter
KR100957322B1 (ko) 다양한 모션 모델들을 사용하는 인코더 보조 프레임 레이트상향 변환
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
JP6352173B2 (ja) プリプロセッサ方法および装置
US20150312575A1 (en) Advanced video coding method, system, apparatus, and storage medium
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
US20140247890A1 (en) Encoding device, encoding method, decoding device, and decoding method
US20060062298A1 (en) Method for encoding and decoding video signals
US20060093232A1 (en) Unified metric for digital video processing (umdvp)
JP2009532741A6 (ja) プリプロセッサ方法および装置
KR101138922B1 (ko) 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법
Huang et al. Motion vector processing based on residual energy information for motion compensated frame interpolation
Naccari et al. Perceptually optimized video compression
US7706440B2 (en) Method for reducing bit rate requirements for encoding multimedia data
Cheng et al. Advanced motion compensation techniques for blocking artifacts reduction in 3-D video coding systems
Vetro et al. True motion vectors for robust video transmission
Anantrasirichai et al. Enhanced Spatially Interleaved Techniques for Multi-View Distributed Video Coding
WO2016193949A1 (en) Advanced video coding method, system, apparatus and storage medium
Lin et al. Improved HEVC video compression algorithm using low-complexity frame rate up conversion
CN101917628A (zh) 基于自适应块尺寸的整帧错误掩盖方法
Boroczky et al. Post-processing of compressed video using a unified metric for digital video processing
Cui et al. Multi-stage frame error concealment algorithm for H. 264/AVC based on estimated MB feature

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee