KR101959888B1 - 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법 - Google Patents

모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법 Download PDF

Info

Publication number
KR101959888B1
KR101959888B1 KR1020170180827A KR20170180827A KR101959888B1 KR 101959888 B1 KR101959888 B1 KR 101959888B1 KR 1020170180827 A KR1020170180827 A KR 1020170180827A KR 20170180827 A KR20170180827 A KR 20170180827A KR 101959888 B1 KR101959888 B1 KR 101959888B1
Authority
KR
South Korea
Prior art keywords
motion vector
backward
motion
backward motion
vector
Prior art date
Application number
KR1020170180827A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020170180827A priority Critical patent/KR101959888B1/ko
Application granted granted Critical
Publication of KR101959888B1 publication Critical patent/KR101959888B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법에 관한 것이다.
또한, 본 발명에 따르면, 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 추정기; 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 이동기; 전방 모션 벡터와 후방 모션 벡터를 정제하는 정제기; 및 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 선택기를 포함하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법을 제공한다.

Description

모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법{ Motion Vector Shifting apparatus and method for Motion-Compensated Frame Rate Up-Conversion }
본 발명은 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법에 관한 것이다.
FRUC (프레임 속도 상향 변환, frame rate up-conversion )는 인접한 두 원본 프레임간에 새 프레임을 생성하는 기술이다.
FRUC를 구현함으로써 원래의 낮은 프레임율의 비디오로 고화질 비디오를 얻을 수 있다.
복잡성과 성능이 다른 다양한 FRUC 알고리즘이 있었다. FRUC의 일부 초기 방법은 이전 프레임을 복제한다.
그러나, 현재 잘 사용되는 방법들은 모션 정보를 이용하고, 모션 보정된 프레임 레이트 상향 변환(MC-FRUC, motion-compensated frame rate up-conversion)이 널리 사용된다. MC-FRUC는 먼저 모션 추정(ME, motion estimation)을 수행하여 모션 벡터(MV, motion vectors)를 찾는다. 이 과정에서 일방적인 ME(UME, unilateral ME)와 양방향 ME(BME, bilateral ME)의 두 가지 종류의 ME를 사용할 수 있다. UME는 하나의 원본 프레임의 시점에서 다른 프레임으로 MV를 계산한다.
한편, BME는 보간 프레임의 시점에서 2 개의 원래 프레임으로 MV를 계산한다. 일반적으로 UME는 BME보다 정확한 MV를 찾는데 이는 주기적 또는 균등 한 배경이 있을 경우 BME가 잘못된 MV를 얻을 수 있기 때문이다.
그러나, UME는 홀(hole)과 중첩된 영역을 생성할 수 있다는 단점이 있다. 따라서 UME는 BME를 위해 원하지 않는 홀과 중첩된 영역을 처리하기 위해 추가 프로세스가 필요하다. ME 처리 후, 모션 보상 보정(MCI, motion-compensated interpolation)이 수행된다[1].
UME와 BME의 약점을 극복하기 위해 제안된 많은 MC-FRUC 알고리즘들이 있다 [2-10]. 예를 들어, Choi 등은 UME의 단점을 극복하기 위해 양방향 MC-FRUC (BI_FRUC, bi-directional MC-FRUC )를 제안했다. 그러나 이 방법은 BME의 단점을 여전히 가지고 있다. Yoo등은 UME와 BME의 약점을 극복하기 위해 UME를 사용하여 BME의 후보 MV를 찾는 방향 선택 ME(DSME, direction-select ME )를 제안했다. 그러나 이 방법은 일방향성 MV(UMV)와 양방향성 MV(BMV)가 일치하지 않는 것으로 나타났다.
등록번호 10-0314116 등록번호 10-0624355
[1] C. Cafforio, F. Rocca, and S. Turbaro, "Motion compensated image interpolation," IEEE Trans. Communications, vol. 38, no. 2, pp. 215-222, Feb. 1990. [2] S.H. Lee, Y.C. Shin, S. Yang, H.H. Moon, and R.H. Park, "Adaptive motion-compensated interpolation rate-upconversion," IEEE Trans. Consumer Electronics, vol. 48, no. 3, pp. 444 - 450, Aug. 2002. [3] S.H. Lee, O. Kwon, and R.H. Park, "Weighted- adaptive motion compensated frame rate up-conversion," IEEE Trans. Consumer Electronics, vol. 49, no. 3, pp. 485 - 492, Aug. 2003. [4] S.-J. Kang, K.-R. Cho, and Y.H. Kim, "Motion Compensated Frame Rate Up-Conversion Using Extended Bilateral Motion Estimation," IEEE Trans. Comminications, vol. 53, no. 4, pp. 1759 - 1767, Nov. 2007. [5] B.-T Choi, S.-H Lee, and S.-J Ko, "New Frame Rate UpConversion Using Bi-Directional Motion Estimation," IEEE Trans. Consumer Electronics, vol. 46, no. 3, pp. 603-609, Aug. 2000. [6] D.-G. Yoo, S.-J. Kang, and Y.H. Kim, "Direction-Select Motion Estimation for Motion-Compensated Frame Rate Up-Conversion," Journal of Display Technology, vol. 9, no. 10, pp. 840 - 850, Oct. 2013. [7] H. R. Kaviani and S. Shirani, "Frame rate upconversion using optical flow and patch-based reconstruction," IEEE Trans. Circuits and Systems for Video Technology, vol. 26, no. 9, pp. 1581-1594, 2016. [8] K. Lee and J. Jeong, "Bilateral frame rate upconversion algorithm based on image texture complexity compensation," Electronics Letters, vol. 51, no. 16, pp. 1245-1247, 2015. [9] X. Hoangvan, J. Ascenso, and F. Pereira, "Improved matching criterion for frame rate upconversion with trilateral filtering," Electronics Letters, vol. 49, no. 2, pp. 106-107, 2013. [10] N. Jacobson and T. Q. Nguyen, "Scale-aware saliency for application to frame rate upconversion," IEEE Trans. Image Processing, vol. 21, no. 4, pp. 2198-2206, 2012.
상기와 같은 문제점을 해결하기 위하여 안출된 본 발명은 인접 블록의 MV를 후보 MV로 고려하여 MV-FRUC에 대한 새로운 MV 이동 방법을 제안하고 MV 이동으로 인한 오차 제거를 위해 MV를 미세 조정하여 객관적이고 주관적인 품질 척도 모두에서 기존의 방법보다 우수한 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법에 관한 것이다.
본 발명의 일측면은 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 추정기; 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 이동기; 전방 모션 벡터와 후방 모션 벡터를 정제하는 정제기; 및 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 선택기를 포함한다.
또한 본 발명의 다른 측면은 (A) 모션 추정기가 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 단계; (B) 이동기가 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 단계; (C) 정제기가 전방 모션 벡터와 후방 모션 벡터를 정제하는 단계; 및 (D) 선택기가 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 단계를 포함한다.
또한 본 발명의 기록 매체는 (A) 모션 추정기가 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 단계; (B) 이동기가 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 단계; (C) 정제기가 전방 모션 벡터와 후방 모션 벡터를 정제하는 단계; 및 (D) 선택기가 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 단계를 포함한다.
본 발명에서는 인접 블록의 MV를 후보 MV로 고려하여 MV-FRUC에 대한 새로운 MV 이동 방법을 제안하고 MV 이동으로 인한 오차 제거를 위해 MV를 미세 조정하였다. 결과적으로, 객관적이고 주관적인 품질 척도 모두에서 기존의 방법보다 우수한 방법을 얻을 수 있었다.
도 1은 본 발명의 바람직한 일 실시예에 따른 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치의 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법의 흐름도이다.
도 3은 후보 중에서 모션 벡터(MV)를 선택하는 예를 보여준다.
도 4는 종래 방법과 본 발명의 결과 이미지를 보여준다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 바람직한 일 실시예에 따른 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치의 구성도이고, 도 2는 본 발명의 바람직한 일 실시예에 따른 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법의 흐름도이다.
도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치는 모션 추정기(100), 이동기(110), 정제기(120) 및 선택기(130)를 구비하고 있다.
그리고, 도 2를 참조하면, 본 발명의 바람직한 일 실시예에 따른 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법은 모션 추정기가 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 구하는 단계(S100), 이동기가 모션 벡터를 시프팅하는 단계(S110), 정제기(120)가 모션 벡터를 정제하는 단계(S130), 선택기가 모션 벡터를 선택하는 단계(S140)을 포함한다.
도 1과 2를 참조하면, 본 발명의 바람직한 일 실시예에 따른 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법의 동작과 흐름은 모션 추정기(100)가 전방 및 후방 모션 추정(ME)를 구현하여 전방 모션 벡터와 후방 모션 벡터를 구한다(S100).
이 단계에서 전방 모션 추정(ME)과 후방 모션 추정은 일방향 모션 추정(UME)에 의해 수행된다.
이를 좀더 상세히 살펴보면, 전방 및 후방 모션 추정 단계(S100)에서 전방 및 후방의 일방향 모션 추정(UME)은 두 방향으로 모션 벡터(MV)를 찾는다. 전방 모션 추정(ME)은 이전 프레임의 시점에서 현재 프레임으로 전방 모션 벡터(MV)를 찾고 후방 모션 추정(ME)는 현재 프레임의 시점에서 이전 프레임까지의 후방 모션 벡터(MV)를 찾는다.
전방 및 후방 모션 벡터(MV)를 얻으려면 절대차 합(SAD, sum of absolute difference)을 계산한다. 검색 범위에서 최소 SAD를 찾음으로써 현재 블록의 모션 벡터(MV)를 얻는다. 전방 및 후방을 위한 절대합 SAD 및 전방 및 후방 모션 벡터(MV)는 다음과 같이 정의된다.
여기서 SADf와 SADb는 각각 전방과 후방의 절대차 합(SAD)를 나타낸다. 파라미터(dx, dy)는 후보 모션 벡터(MV) 위치, B는 현재 블록, fn-1과 fn는 각각 이전 프레임과 현재 프레임을 나타낸다. 파라미터 vf 및 vb는 각각 전방 및 후방 모션 벡터(MV)를 나타내며, R은 검색 범위를 나타낸다.
(수학식 1)
Figure 112017129725008-pat00001
(수학식 2)
Figure 112017129725008-pat00002
다음으로, 이동기(110)는 전방 모션 벡터와 후방 보면 벡터의 일방향 모션 벡터(UMV)를 양방향 모션 벡터(BMV)로 시프팅한다(S110).
이 단계에서는 9 개의 후보 일방향 모션 벡터(UMV)중 최적으로 중첩되는 일방향 모션 벡터(UMV)를 선택하여 시프팅한다.
즉, 모션 벡터 시프팅 단계(S110)에서는 이동기(110)는 전방 모션 벡터와 후방 모션 벡터의 일방향 모션 벡터(UMV)를 얻은 후에 양방향 모션 벡터(BMV)로 시프팅하는데 이를 위하여 최적으로 중첩되는 일방향 모션 벡터(UMV)를 계산한다.
문헌[6]에서, 보간된 프레임의 현재 블록의 동일한 위치에 있는 오직 하나의 후보 일방향 모션 벡터(UMV)만을 고려했다. 그러나 확인없이 일방향 모션 벡터(UMV)를 전환하면 심각한 모션 벡터(MV) 오류가 발생할 수 있다.
이 문제를 해결하기 위해 현재 블록의 주변 블록에 위치한 9 개의 후보를 고려한다. 후보들 중에서 보간된 프레임의 현재 블록에 가장 잘 맞는 모션 벡터(MV)를 찾는다. 도 3은 후보 중에서 모션 벡터(MV)를 선택하는 예를 보여준다. 현재 블록과 가장 잘 겹치는 일방향 모션 벡터(UMV)를 양방향 모션 벡터(BMV)로 시프팅시킨다. 대칭 속성을 사용하여 적절한 모션 벡터(MV)를 찾고 모션 벡터(MV) 시프팅 오차를 줄일 수 있었다.
적절한 일방향 모션 벡터(UMV)를 선택하여 모션 벡터(MV) 시프팅 오차를 줄이더라도 일방향 모션 벡터(UMV)와 양방향 모션 벡터(BMV) 블록 간의 불일치로 인해 모션 벡터(MV) 시프팅 오류가 발생한다. 이 문제를 해결하기 위해 모션 벡터(MV)를 정제한다.
이와 같은 모션 벡터 정제 단계(S120)에서는 소탐색 범위에서 양방향 절대차(SBAD, sum of bilateral absolute difference )의 합을 계산한다. 소탐색 범위에서 최소 SBAD를 찾음으로써 시프팅된 모션 벡터(MV)를 정제하고 잔여 오차를 제거한다. SBAD와 정제된 MV는 다음과 같이 정의된다.
(수학식 3)
Figure 112017129725008-pat00003
(수학식 4)
Figure 112017129725008-pat00004
여기서 (u, v)는 정제된 후보 모션 벡터(MV) 위치, vr은 정제된 모션 벡터, S는 소탐색 범위를 나타낸다.
다음으로, 모션 벡터 선택 단계(S130)에서는 선택기(130)는 전방 및 후방 모션 벡터(MV)에 대한 모든 프로세스를 구현한 후 전방 및 후방 모션 벡터(MV)에서 최종 모션 벡터(MV)를 선택한다. 최종 모션 벡터(MV)를 선택할 때 각 모션 벡터(MV)의 신뢰도를 계산한다. 신뢰성을 계산 한 후에 다른 모션 벡터(MV)보다 더 신뢰할 수 있는 모션 벡터(MV) 하나를 선택한다. 신뢰성과 최종 모션 벡터(MV) 선택은 다음과 같이 정의된다.
(수학식 5)
Figure 112017129725008-pat00005
(수학식 6)
Figure 112017129725008-pat00006
여기서 Rf와Rb는 전방 및 후방 모션 벡터(MV)의 신뢰도를 나타낸다. 파라미터 vrfx와 vrfy는 각각 정제된 전방 모션 벡터(MV)의 x- 방향 및 y- 방향 계수를 나타낸다. 파라미터 vrbx와 vrby는 각각 정제된 후방 모션 벡터(MV)의 x- 방향 및 y- 방향 계수를 나타낸다. 파라미터 vfinal는 최종 모션 벡터(MV)를 나타낸다.
한편, 본 발명에서는 두 개의 원래 홀수 프레임을 사용하여 짝수 프레임을 보간 하였다. 테스트 시퀀스의 경우 HEVC 테스트 시퀀스를 사용했다. 실험을 수행 할 때 계산 복잡도를 줄이기 위해 2의 계수로 프레임을 다운 샘플링했다. 블록 크기와 검색 범위를 각각 8 픽셀과 33 픽셀로 설정했다. 보간 프레임의 객관적인 품질을 평가할 때 원래의 짝수 프레임과 보간 된 프레임으로 최대 신호 대 잡음비 (PSNR)를 계산했다.
표 1은 본 발명과 기존 방법 간의 PSNR 결과 비교를 보여준다.
(표 1)
Figure 112017129725008-pat00007
평균적으로, 본 발명이 BI_FRUC보다 우수한 성능을 보였다. 반면 본 발명은 DSME와 비교할 때 PSNR 손실이 적음을 보여 주었다.
그러나 주관적인 성능 비교를 위해 본 발명은 다른 기존의 알고리즘보다 우수한 성능을 보였다.
이것은 최소 PSNR 게인이 항상 실제 MV를 보장하지는 않는다는 것을 의미한다. 도 4는 종래 방법과 본 발명의 결과 이미지를 보여준다. 도 4의 테스트 이미지는 BQMall 시퀀스로, 본 발명이 PSNR이 낮더라도 기존 알고리즘보다 우수한 성능을 제공한다는 것을 보여준다. 도 4의 (a)는 본 발명, (b)는 DSME 및 (c)는 BI_FRUC이다.
본 발명에서는 인접 블록의 MV를 후보 MV로 고려하여 MV-FRUC에 대한 새로운 MV 시프팅 알고리즘을 제안하고 MV 시프팅으로 인한 오자 제거를 위해 MV를 정제하였다. 결과적으로, 객관적이고 주관적인 품질 척도 모두에서 기존의 알고리즘보다 우수한 알고리즘을 얻을 수 있었다.
100 : 모션 추정기 110 : 이동기
120 : 정제기 130 : 선택기

Claims (19)

  1. 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 추정기;
    전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 이동기;
    전방 모션 벡터와 후방 모션 벡터를 정제하는 정제기; 및
    전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 선택기를 포함하고,
    상기 모션 추정기는 일방향 모션 추정(UME)에 의해 전방 모션 벡터와 후방 모션 벡터를 구하며,
    상기 모션 추정기는 이전 프레임의 시점에서 현재 프레임으로 전방 모션 벡터(MV)를 찾아 전방 모션 추정(ME)을 수행하고, 현재 프레임의 시점에서 이전 프레임까지의 후방 모션 벡터(MV)를 찾아 후방 모션 추정(ME)을 수행하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치.
  2. 삭제
  3. 삭제
  4. 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 추정기;
    전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 이동기;
    전방 모션 벡터와 후방 모션 벡터를 정제하는 정제기; 및
    전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 선택기를 포함하고,
    상기 모션 추정기는 다음 수학식 1과 2에 의해 전방 모션 벡터 vf와 후방 모션 벡터 vb를 구하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치.
    여기서 SADf와 SADb는 각각 전방과 후방의 절대차 합(SAD)를 나타낸다. 파라미터(dx, dy)는 후보 모션 벡터(MV) 위치, B는 현재 블록, fn-1과 fn는 각각 이전 프레임과 현재 프레임을 나타낸다. 파라미터 vf 및 vb는 각각 전방 및 후방 모션 벡터(MV)를 나타내며, R은 검색 범위를 나타낸다.

    (수학식 1)
    Figure 112019014776908-pat00008

    (수학식 2)
    Figure 112019014776908-pat00009
  5. 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 추정기;
    전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 이동기;
    전방 모션 벡터와 후방 모션 벡터를 정제하는 정제기; 및
    전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 선택기를 포함하고,
    상기 이동기는 현재 블록에 근접한 9개의 블록을 후보 일방향 모션 벡터(UMV)로 하여 최적으로 중첩되는 일방향 모션 벡터를 선택하여 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터(BMV)로 시프팅하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치.
  6. 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 추정기;
    전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 이동기;
    전방 모션 벡터와 후방 모션 벡터를 정제하는 정제기; 및
    전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 선택기를 포함하고,
    상기 정제기는 소탐색 범위에서 양방향 절대차(SBAD, sum of bilateral absolute difference )의 합을 계산하여 소탐색 범위에서 최소 양방향 절대차를 찾음으로써 시프팅된 전방 모션 벡터와 후방 모션 벡터를 정제하고 잔여 오차를 제거하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치.
  7. 청구항 6항에 있어서,
    상기 정제기는 아래 수학식 3과 4를 통하여 소탐색 범위 S에서 최소 양방향 절대차 SBAD를 찾음으로써 시프팅된 전방 모션 벡터와 후방 모션 벡터를 정제하고 잔여 오차를 제거하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치.
    (수학식 3)
    Figure 112017129725008-pat00010

    (수학식 4)
    Figure 112017129725008-pat00011

    여기서 (u, v)는 정제된 후보 모션 벡터(MV) 위치, vr은 정제된 모션 벡터를 나타낸다.
  8. 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 추정기;
    전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 이동기;
    전방 모션 벡터와 후방 모션 벡터를 정제하는 정제기; 및
    전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 선택기를 포함하고,
    상기 선택기는 전방 모션 벡터와 후방 모션 벡터의 각각에 대하여 신뢰도를 산출한 후에, 신뢰도가 높은 모션 벡터를 최종 모션 벡터로 선택하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치.
  9. 청구항 8항에 있어서,
    상기 선택기는 수학식 5와 6을 통하여 최종 모션 벡터를 선택하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치.
    (수학식 5)
    Figure 112017129725008-pat00012

    (수학식 6)
    Figure 112017129725008-pat00013

    여기서 Rf와Rb는 전방 및 후방 모션 벡터(MV)의 신뢰도를 나타낸다. 파라미터 vrfx와 vrfy는 각각 정제된 전방 모션 벡터(MV)의 x- 방향 및 y- 방향 계수를 나타낸다. 파라미터 vrbx와 vrby는 각각 정제된 후방 모션 벡터(MV)의 x- 방향 및 y- 방향 계수를 나타낸다. 파라미터 vfinal는 최종 모션 벡터(MV)를 나타낸다.
  10. (A) 모션 추정기가 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 단계;
    (B) 이동기가 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 단계;
    (C) 정제기가 전방 모션 벡터와 후방 모션 벡터를 정제하는 단계; 및
    (D) 선택기가 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 단계를 포함하고,
    상기 (A) 단계에서 상기 모션 추정기는 이전 프레임의 시점에서 현재 프레임으로 전방 모션 벡터(MV)를 찾아 전방 모션 추정(ME)을 수행하고, 현재 프레임의 시점에서 이전 프레임까지의 후방 모션 벡터(MV)를 찾아 후방 모션 추정(ME)을 수행하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
  11. 청구항 10항에 있어서,
    상기 (A) 단계에서 상기 모션 추정기는 일방향 모션 추정(UME)에 의해 전방 모션 벡터와 후방 모션 벡터를 구하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
  12. 삭제
  13. 청구항 10항에 있어서,
    상기 (A) 단계에서 상기 모션 추정기는 다음 수학식 1과 2에 의해 전방 모션 벡터 vf와 후방 모션 벡터 vb를 구하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
    여기서 SADf와 SADb는 각각 전방과 후방의 절대차 합(SAD)를 나타낸다. 파라미터(dx, dy)는 후보 모션 벡터(MV) 위치, B는 현재 블록, fn-1과 fn는 각각 이전 프레임과 현재 프레임을 나타낸다. 파라미터 vf 및 vb는 각각 전방 및 후방 모션 벡터(MV)를 나타내며, R은 검색 범위를 나타낸다.

    (수학식 1)
    Figure 112019014776908-pat00014

    (수학식 2)
    Figure 112019014776908-pat00015
  14. (A) 모션 추정기가 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 단계;
    (B) 이동기가 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 단계;
    (C) 정제기가 전방 모션 벡터와 후방 모션 벡터를 정제하는 단계; 및
    (D) 선택기가 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 단계를 포함하고,
    상기 (B) 단계에서 상기 이동기는 현재 블록에 근접한 9개의 블록을 후보 일방향 모션 벡터(UMV)로 하여 최적으로 중첩되는 일방향 모션 벡터를 선택하여 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터(BMV)로 시프팅하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
  15. (A) 모션 추정기가 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 단계;
    (B) 이동기가 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 단계;
    (C) 정제기가 전방 모션 벡터와 후방 모션 벡터를 정제하는 단계; 및
    (D) 선택기가 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 단계를 포함하고,
    상기 (C) 단계에서 상기 정제기는 소탐색 범위에서 양방향 절대차(SBAD, sum of bilateral absolute difference )의 합을 계산하여 소탐색 범위에서 최소 양방향 절대차를 찾음으로써 시프팅된 전방 모션 벡터와 후방 모션 벡터를 정제하고 잔여 오차를 제거하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
  16. 청구항 15항에 있어서,
    상기 (C) 단계에서 상기 정제기는 아래 수학식 3과 4를 통하여 소탐색 범위 S에서 최소 양방향 절대차 SBAD를 찾음으로써 시프팅된 전방 모션 벡터와 후방 모션 벡터를 정제하고 잔여 오차를 제거하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
    (수학식 3)
    Figure 112019014776908-pat00016

    (수학식 4)
    Figure 112019014776908-pat00017

    여기서 (u, v)는 정제된 후보 모션 벡터(MV) 위치, vr은 정제된 모션 벡터를 나타낸다.
  17. (A) 모션 추정기가 이전 프레임과 현재 프레임을 입력받아 전방 모션 추정과 후방 모션 추정을 수행하여 전방 모션 벡터와 후방 모션 벡터를 구하는 단계;
    (B) 이동기가 전방 모션 벡터와 후방 모션 벡터를 양방향 모션 벡터로 시프팅하는 단계;
    (C) 정제기가 전방 모션 벡터와 후방 모션 벡터를 정제하는 단계; 및
    (D) 선택기가 전방 모션 벡터와 후방 모션 벡터에서 최종 모션 벡터를 선택하는 단계를 포함하고,
    상기 (D) 단계에서 상기 선택기는 전방 모션 벡터와 후방 모션 벡터의 각각에 대하여 신뢰도를 산출한 후에, 신뢰도가 높은 모션 벡터를 최종 모션 벡터로 선택하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
  18. 청구항 17항에 있어서,
    상기 (D) 단계에서 상기 선택기는 수학식 5와 6을 통하여 최종 모션 벡터를 선택하는 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법.
    (수학식 5)
    Figure 112017129725008-pat00018

    (수학식 6)
    Figure 112017129725008-pat00019

    여기서 Rf와Rb는 전방 및 후방 모션 벡터(MV)의 신뢰도를 나타낸다. 파라미터 vrfx와 vrfy는 각각 정제된 전방 모션 벡터(MV)의 x- 방향 및 y- 방향 계수를 나타낸다. 파라미터 vrbx와 vrby는 각각 정제된 후방 모션 벡터(MV)의 x- 방향 및 y- 방향 계수를 나타낸다. 파라미터 vfinal는 최종 모션 벡터(MV)를 나타낸다.
  19. 청구항 10항의 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170180827A 2017-12-27 2017-12-27 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법 KR101959888B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170180827A KR101959888B1 (ko) 2017-12-27 2017-12-27 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180827A KR101959888B1 (ko) 2017-12-27 2017-12-27 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101959888B1 true KR101959888B1 (ko) 2019-03-19

Family

ID=65908445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180827A KR101959888B1 (ko) 2017-12-27 2017-12-27 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101959888B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100314116B1 (ko) 1997-07-28 2001-12-12 슈즈이 다케오 움직임벡터정확도가제어되는움직임보상부호기및복호기,움직임보상부호화방법및복호화방법
KR20010111740A (ko) * 2000-06-13 2001-12-20 윤종용 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
KR100624355B1 (ko) 1999-04-26 2006-09-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간
KR20130079211A (ko) * 2011-12-22 2013-07-10 인텔 코포레이션 복잡도 스케일러블 프레임 레이트 업-변환

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100314116B1 (ko) 1997-07-28 2001-12-12 슈즈이 다케오 움직임벡터정확도가제어되는움직임보상부호기및복호기,움직임보상부호화방법및복호화방법
KR100624355B1 (ko) 1999-04-26 2006-09-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간
KR20010111740A (ko) * 2000-06-13 2001-12-20 윤종용 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
KR20130079211A (ko) * 2011-12-22 2013-07-10 인텔 코포레이션 복잡도 스케일러블 프레임 레이트 업-변환

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
[1] C. Cafforio, F. Rocca, and S. Turbaro, "Motion compensated image interpolation," IEEE Trans. Communications, vol. 38, no. 2, pp. 215-222, Feb. 1990.
[10] N. Jacobson and T. Q. Nguyen, "Scale-aware saliency for application to frame rate upconversion," IEEE Trans. Image Processing, vol. 21, no. 4, pp. 2198-2206, 2012.
[2] S.H. Lee, Y.C. Shin, S. Yang, H.H. Moon, and R.H. Park, "Adaptive motion-compensated interpolation rate-upconversion," IEEE Trans. Consumer Electronics, vol. 48, no. 3, pp. 444 - 450, Aug. 2002.
[3] S.H. Lee, O. Kwon, and R.H. Park, "Weighted- adaptive motion compensated frame rate up-conversion," IEEE Trans. Consumer Electronics, vol. 49, no. 3, pp. 485 - 492, Aug. 2003.
[4] S.-J. Kang, K.-R. Cho, and Y.H. Kim, "Motion Compensated Frame Rate Up-Conversion Using Extended Bilateral Motion Estimation," IEEE Trans. Comminications, vol. 53, no. 4, pp. 1759 - 1767, Nov. 2007.
[5] B.-T Choi, S.-H Lee, and S.-J Ko, "New Frame Rate UpConversion Using Bi-Directional Motion Estimation," IEEE Trans. Consumer Electronics, vol. 46, no. 3, pp. 603-609, Aug. 2000.
[6] D.-G. Yoo, S.-J. Kang, and Y.H. Kim, "Direction-Select Motion Estimation for Motion-Compensated Frame Rate Up-Conversion," Journal of Display Technology, vol. 9, no. 10, pp. 840 - 850, Oct. 2013.
[7] H. R. Kaviani and S. Shirani, "Frame rate upconversion using optical flow and patch-based reconstruction," IEEE Trans. Circuits and Systems for Video Technology, vol. 26, no. 9, pp. 1581-1594, 2016.
[8] K. Lee and J. Jeong, "Bilateral frame rate upconversion algorithm based on image texture complexity compensation," Electronics Letters, vol. 51, no. 16, pp. 1245-1247, 2015.
[9] X. Hoangvan, J. Ascenso, and F. Pereira, "Improved matching criterion for frame rate upconversion with trilateral filtering," Electronics Letters, vol. 49, no. 2, pp. 106-107, 2013.

Similar Documents

Publication Publication Date Title
Kang et al. Motion compensated frame rate up-conversion using extended bilateral motion estimation
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
Nam et al. A fast hierarchical motion vector estimation algorithm using mean pyramid
EP1747678B1 (en) Method and apparatus for motion compensated frame rate up conversion
KR100412501B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
US8018998B2 (en) Low complexity motion compensated frame interpolation method
KR100287211B1 (ko) 양방향 움직임 추정방법 및 장치
US20080204592A1 (en) Motion compensated frame rate conversion system and method
CN108574844B (zh) 一种时空显著感知的多策略视频帧率提升方法
Tai et al. A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications
Lu et al. Motion-compensated frame interpolation with multiframe-based occlusion handling
Choi et al. Triple-frame-based bi-directional motion estimation for motion-compensated frame interpolation
Choi et al. Motion adaptive deinterlacing with modular neural networks
KR101544158B1 (ko) 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치
KR20080008952A (ko) 초해상도 기술을 이용한 비비월주사의 방법 및 시스템
KR101959888B1 (ko) 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법
Han et al. Frame rate up-conversion for high-definition video applications
Sung et al. Adaptive motion estimation technique for motion compensated interframe interpolation
Vinh et al. Frame rate up-conversion using forward-backward jointing motion estimation and spatio-temporal motion vector smoothing
Lim et al. Motion estimation with adaptive block size for motion-compensated frame interpolation
Van Thang et al. An efficient non-selective adaptive motion compensated frame rate up conversion
Choi et al. Hierarchical motion estimation algorithm using reliable motion adoption
Li et al. Joint overlapped block motion compensation using eight-neighbor block motion vectors for frame rate up-conversion
Tang et al. A new frame interpolation method with pixel-level motion vector field
Yang et al. Fast frame rate up-conversion based on multiple frames

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant