KR101436700B1 - 복잡도 스케일러블 프레임 레이트 업-변환 - Google Patents

복잡도 스케일러블 프레임 레이트 업-변환 Download PDF

Info

Publication number
KR101436700B1
KR101436700B1 KR1020120151031A KR20120151031A KR101436700B1 KR 101436700 B1 KR101436700 B1 KR 101436700B1 KR 1020120151031 A KR1020120151031 A KR 1020120151031A KR 20120151031 A KR20120151031 A KR 20120151031A KR 101436700 B1 KR101436700 B1 KR 101436700B1
Authority
KR
South Korea
Prior art keywords
frame
motion estimation
motion
iterations
frame rate
Prior art date
Application number
KR1020120151031A
Other languages
English (en)
Other versions
KR20130079211A (ko
Inventor
마라트 길무트디노브
안톤 베셀로브
이반 그로코트코브
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20130079211A publication Critical patent/KR20130079211A/ko
Application granted granted Critical
Publication of KR101436700B1 publication Critical patent/KR101436700B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

일부 실시예들에서, 양방 블록-매칭 검색에 기초하여, 복잡도 스케일러블 프레임-레이트 업-변환(FRUC)의 생성을 허용하는 반복 스킴이 제공될 수 있다. 이러한 접근법은 각 반복에서 계산된 모션 벡터의 정확도를 향상시킬 수 있다. 가변 블록 사이즈들로 반복 검색을 하는 것이 채용될 수 있다. 프레임 내에서 글로벌 모션을 찾기 위하여 보다 큰 블록 사이즈들로 시작하여, 그 후 로컬 모션 영역에 대해 보다 작은 블록 사이즈들을 사용하는 것으로 진행할 수 있다.

Description

복잡도 스케일러블 프레임 레이트 업-변환{COMPLEXITY SCALABLE FRAME RATE UP-CONVERSION}
본 발명은 일반적으로 프레임 레이트 업 변환(frame rate up-conversion: FRUC)에 관한 것이다. 현재의 프레임 레이트 업-변환 스킴은 일반적으로 일시적 모션 보상 프레임 인터폴레이션(motion compensated frame interpolation : MCFI)에 기초한다. 이러한 작업에 있어서 중요한 과제는 진실된 모션을 반영하는 모션 벡터와 연속하는 프레임들 사이의 객체의 이동의 실제 궤적의 계산이다. 통상적인 FRUC 스킴은 블록-매칭 기반 모션 추정(ME)을 사용함으로써, 그 결과는 잔여 프레임 에너지의 최소화를 통해 얻어지지만, 불행하게도 이는 진실된 모션을 반영하지 않는다. 따라서, 프레임 레이트 업 변환에 대한 새로운 접근법이 요구된다.
본 발명의 실시예들은 한정의 방식이 아니라 예시의 방식으로 예시되며, 첨부 도면의 각 도면에서 동일한 참조 부호는 동일한 요소를 나타낸다.
도 1은 일부 실시예들에 따른 프레임 레이트 업-변환기(FRUC)의 블록도이다.
도 2a 및 2b는 프레임 경계의 제거를 도시하는 도면이다.
도 3은 일부 실시예들에 따른 계층적 모션 추정 반복을 도시하는 도면이다.
도 4a는 일부 실시예들에 따른 양방 모션 추정 반복을 수행하기 위한 루틴을 도시하는 도면이다.
도 4b는 일부 실시예들에 따른 양방 경사 검색을 수행하기 위한 루틴을 도시하는 도면이다.
도 5는 일부 실시예들에 따른 경사 검색을 위한 상대적인 화소 위치를 도시하는 도면이다.
도 6은 일부 실시예들에 따른 추가 검색에 사용되는 모션 벡터를 나타낸다.
도 7은 일부 실시예들에 따른 동적인 스케일러블 복잡도로의 모션 추정의 예를 도시한다.
도 8은 일부 실시예들에 따른 프레임 레이트 업-변환기를 갖는 그래픽 처리 유닛을 갖는 컴퓨팅 시스템의 시스템도이다.
일부 실시예들에서, 양방 블록-매칭 검색에 기초한 복잡도 스케일러블 프레임-레이트 업-변환(FRUC)의 생성을 허용하는 반복 스킴이 제공될 수 있다. 이러한 접근법은 각 반복에서 계산된 모션 벡터의 정확도를 제공한다. 가변 블록 사이즈를 갖는 반복 검색이 채용될 수 있다. 프레임 내에서 글로벌 모션을 찾기 위해 보다 큰 블록 사이즈로 시작할 수 있으며 로컬 모션 영역에 대한 보다 작은 블록 사이즈를 이용하여 그 후에 진행한다. 일부 실시예들에서, 인터폴레이팅된 프레임에 대한 폐색에 기인하는 홀과 관련된 문제점을 회피하기 위해서, 양방 모션 추정이 사용될 수 있다. 이러한 접근법으로, 프레임 인터폴레이션의 복잡도는 계산된 모션 벡터를 이용하여 변할 수 있으며, 예를 들어 보다 높은 프레임 품질이 요구되지 않을 때 감소될 수 있다.
도 1은 일부 실시예들에 따른 프레임 레이트 업-변환(FRUC)을 도시하는 블록도이다. 이것은, 이들로부터 디스플레이에 제공될 업-변환된 비디오 프레임 신호(또는 파일)를 생성하는 비디오 프레임 데이터(102)를 수신한다. FRUC 모듈은 임의의 적절한 방식(하드웨어, 소프트웨어, 조합) 및/또는 임의의 적절한 어플리케이션에 채용될 수 있다. 예를 들어, 개인용 컴퓨터, 텔레비젼 장치 등에 대해 그래픽 처리 유닛 또는 비디오 코덱에서 구현될 수 있다. 또한, H.264, VC1 및 VP8을 포함하지만 이로 한정되지는 않는 다양한 비디오 포맷으로 채용될 수 있다.
도시된 실시예에서, 프레임 레이트 업-변환기(100)는 프레임 처리 컴포넌트(120), 계층적 모션 추정기(ME) 컴포넌트(130) 및 양방 모션 보상 컴포넌트(140)를 포함한다. 모션 추정 컴포넌트(130)는 (예를 들어, 동적으로, 소정의 파일 또는 프레임 그룹에 따라) 하나 이상의 (M= 하나 이상) 모션 추정 반복(132)을 채용한다.
일부 실시예에서, FRUC는 프레임의 전체 파일을 통해 동작할 때까지 어느 시간에서 2개의 연속적인 프레임들(프레임 i, i+1)에 대해 작용하여 i와 i+1 프레임 세트 사이에 새로운 프레임을 삽입한다. 그래서, 각 i th와 i th+1 프레임 사이에 인터폴레이팅된 프레임을 삽입하면, 2x 프레임 레이트 업-변환에 대하여 파일 내의 프레임의 수를 2배로 한다. (물론, 이것은 2의 상이한 FRUC 배수에 대해 1회 이상 반복될 수 있다.)
프레임 컴포넌트 전처리(120)는 프레임으로부터 도 2a에 도시된 바와 같이 블랙 경계를 제거하는 것을 포함하며, 추가적으로 프레임을 확장하여 최대 블록 사이즈를 적합화한다(도 2b 및 2c).
프레임 컴포넌트 전처리는 프레임의 블랙 경계를 제거하고 프레임 확장을 수행하는 것을 포함할 수 있다.
도 2a를 참조하여, 경계 제거가 수행될 수 있다. 모든 화소값들이 소정의 미리 규정된 임계값보다 작은 경우에, 경계는 행 또는 열이 프레임의 경계에 속하는 계획으로 규정될 수 있다. 경계를 검출하기 위한 알고리즘이 이전의 프레임(i-1 프레임)에 적용될 수 있다. 검출된 경계 좌표는 이전 그리고 다음의 프레임 양쪽으로부터 경계를 절단하는 데 사용된다. 일부 실시예에서, 프레임 컴포넌트 전처리 워크플로우가 이하의 방식으로 구현될 수 있다.
우선, 경계가 검출된다. 톱(top), 좌측(left), 바닥(bottom) 및 우측(right) 경계가 아래와 같이 검출될 수 있다.
Figure 112012106648585-pat00001
Figure 112012106648585-pat00002
Figure 112012106648585-pat00003
Figure 112012106648585-pat00004
여기에서, max(X)는 세트 X에 최대 요소를 반환하며,
Figure 112012106648585-pat00005
그리고,
Figure 112012106648585-pat00006
는 루마 프레임 Y에서의 직사각형 영역을 나타내고; l,u - 좌측 상부 영역 코너의 좌표; r,d - 우측 하단 영역 코너의 좌표.
다음으로, 검출된 블랙 경계가 제거되며,
여기에서
Figure 112012106648585-pat00007
그리고
Figure 112012106648585-pat00008
.
프레임 확장은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 프레임은 블록 사이즈를 적합화하도록 패딩될 수 있다. 프레임 치수는 블록 사이즈에 의해 분할가능해야 한다. 이러한 추가적인 프레임 컨텐트를 제공하기 위해, 행 및 열이 프레임의 좌측 및 바닥 경계에 추가될 수 있다(도 2b-b). 몇몇 행 및 열이 프레임 경계에 첨부될 수 있다(도 2b-c). 최종 확장이 도 2c에 도시된다.
계층적 모션 추정 블록은 N=M 반복(132)을 갖는다. 처리 복잡도 대 원하는 프레임 품질에 따라 더 많은 것 또는 더 적은 것이 채용될 수 있다. 각각의 반복은 상이한 파라미터를 사용할 수 있으며, 예를 들어, 블록 사이즈가 반복이 진행할 때 양방 모션 추정 작업을 위해 사용될 수 있다.
도 3은 일부 실시예들에 따른 계층적 모션 추정 반복(132)을 도시한 도면이다. 각 계층적 ME 반복(132)은 이하의 스테이지를 포함할 수 있다: 도시된 순서로 수행되는 초기 양방 ME(302), 모션 필드 정제(304), 추가적인 양방 ME(306), 모션 필드 업-샘플링(308) 및 모션 필드 평활화(310). 초기의, 그리고 추가적인 양방 모션 추정 스테이지(302, 306)는 블록 사이즈(B[N], 반경(R[N]))를 포함하는 파라미터와 페널티 파라미터를 연관지을 것이다. 모션 필드 평활화(310)는 선택적인 스테이지이므로, 각 반복에 대해 불(Boolean) 파라미터값(예 또는 아니오)을 유효하게 갖는다. 이러한 파라미터값은 각각의 연속적인 반복에 대해 변할 수 있고, 아마도 변할 것이다. (이것이 도 7에 시각적으로 도시되며, 여기에서 M=5 계층적 모션 추정 반복을 갖는다.)
블록 사이즈(B[n])는 일반적으로 2의 거듭제곱(예를 들어, 64x64, 32x32 등)이어야 한다. (이 설명에서, "n"은 ME 프로세스에서의 스테이지를 칭한다.) R[n], Penalty[n] 및 FrameBorderThr을 포함하는 다른 ME 스테이지 파라미터가 있을 수 있다. R[n]은 n번째 스테이지에 대한 검색 반경, 경사 검색에서의 최대 스텝(예를 들어, 16...32)이다. Penalty[n]은 경사 검색에 사용되는 값이며, Frame Border Thr은 블록 프레임 경계 제거에 필요한 임계값(예를 들어, 16...18)이다. 추가적인 파라미터가 ExpParam 및 ErrorThr를 포함할 수 있다. ExpParam은 확장을 위해 각 화상 경계에 추가되는 화소의 개수(예를 들어, 0...32)이고, ErrorThr은 모션 벡터 신뢰성 분류를 위한 임계값이다.
도 4a 및 4b는 양방 모션 추정(도 4a) 및 양방 경사 검색(도 4b)을 수행하기 위한 루틴을 도시하며, 이는 양방 모션 추정 루틴에 사용될 수 있다. 이러한 양방 모션 추정 루틴은 계층적 모션 추정 스테이지(302, 306)에 사용될 수 있다. 이러한 루틴으로의 입력은 2개의 연속한 프레임(i, i+1)이고, 반환된 값은 2개의 연속적인 프레임으로 배치되는 (인터폴레이팅되는) 프레임에 대한 모션 벡터이다.
처음에 404에서 양방 ME 루틴(402)으로 시작하여, 프레임(예를 들어, i와 i+1 프레임에 대하여)이 블록들, B[N]으로 분할된다. 그 후에, 각 블록에 대하여(406에서), 양방 경사 검색이 408에서 적용되고, 410에서 모션 벡터가 블록에 대해 계산된다.
도 4b는 일부 실시예들에 따라 경사 검색을 수행하기 위한 루틴(422)을 도시한다. 이러한 경사 검색은 페널티를 사용하지만, 알려진 임의의 적절한 양방 경사 검색 프로세스 또는 현재 알려지지 않은 양방 경사 검색 프로세스가 충족할 수 있다. 이러한 경사 검색 루틴에 있어서, ME 결과는 2개의 어레이를 포함하는 모션 필드일 수 있다: 영역 (-R[n] 내지 R[n])에서의 정수값의 (△X 및 △Y), 여기에서 R[n]은 스테이지 번호 n에 대한 검색의 반경이다. 양쪽 어레이는 (W/B[n], H/B[n]) 해상도를 가지며, 여기에서 B[n]은 반복수 n에 대한 블록 사이즈이며, W 및 H는 확장된 프레임 폭 및 높이이다.
도 5를 추가적으로 참조하여, 424에서, A, B, C, D 및 E를 과거의 (t-1) 및 장래의 (t+1) 프레임에서의 이웃 화소라 한다. 블록 B[n]*B[n]이 구축되어, A, B, C, D 및 E 화소는 블록의 상부 좌측 코너에 있다.
다음으로, 426에서, 절대차의 합(SAD: sum of sbsolute differences)이 현재 프레임으로부터의 블록들과 페널티를 갖는 이전 프레임으로부터의 5개 블록들 사이에서 계산된다. {SAD(A), SAD(B)+penalty[n], SAD(C)+penalty[n], SAD(D)+penalty[n], SAD(E)+penalty[n]}, 여기에서 Penalty[n]은 스테이지 n에 대한 미리 규정된 페널티이다.
다음으로, 428에서, 최소 SAD 값을 갖는 블록쌍이 선택된다: X=argmin(SAD(i)).
430에서, X가 A와 같지 않다면, 432에서, A가 X에 할당되고, 루틴은 424로 루프 백한다. 그렇지 않으면, 434로 진행하여 이하를 결정한다: x=A이면 A가 최적의 후보이다; △X=R[n] 또는 △Y=R[n]이면, 검색이 종료되고 현재 중앙 위치에 있는 블록이 최적의 후보이다. 블록 A, B, C, D, E 중 하나가, 확장된 프레임의 경계 외부에 있어 구축되지 못하면, 현재 중앙 위치에 있는 블록이 최적의 후보이다. 여기에서, (410에서) 모션 벡터가 결정될 수 있다. 다시, 이러한 프로세스가 계층적 모션 추정 파이프라인(130) 내의 초기 및 추가적인 양방 ME 상태(302 및 306) 양쪽을 위해 사용될 수 있다.
초기 양방 스테이지(302) 후에, 모션 필드 정제 스테이지(304)가 수행될 수 있다. 이것은 초기 양방 모션 추정에서 발견되는 모션 벡터의 신뢰도를 추정하는 데 사용된다. 이러한 절차는 반드시 고정될 필요는 없지만, 모션 벡터를 2개의 클래스: 신뢰성 있음 및 신뢰성 없음으로 분할해야 한다. 임의의 적절한 모션 벡터 신뢰도 및/또는 분류 스킴이 채용될 수 있다. 이것으로부터, 도출된 신뢰성있는 벡터가 보다 정확한 진실된 모션의 검출을 허용하는 추가적인 양방 ME(306), 다음의 계층적 ME 스테이지에 사용된다. 만일 채용된다면, 채용된 양방 경사 검색은 이하의 방식으로 계산될 수 있는 시작점을 가질 수 있다: startX=x+mvx(y+i, x+j) 및 startY=y+mvy(y+i, x+j), 여기에서 x 및 y는 현재 블록의 좌표이고, mvx 및 mvy는 좌표 y+I, x+j를 갖는 이웃하는 신뢰성있는 블록으로부터의 모션 벡터이다. 추가적인 검색의 출력은 통상적으로 3x3 사이즈의 블록 개구로부터의 최적의 벡터일 것이다. (도 6 참조, 이는 추가적인 검색에 사용되는 모션 벡터를 나타낸다.) 이를 위해서, 또는 모션 추정 스테이지에서의 다른 스테이지를 위해, 루마 컴포넌트에 대해 계산된 모션 벡터들이 크로마(chroma) 컴포넌트에 대해서도 사용될 수 있다는 점에 유의한다.
추가적인 양방 모션 추정 스테이지 후에, 다음 스테이지(308) 또는 모션 필드 업-스케일링이며, 여기에서 ME 모션 벡터 필드는 ("다음" 반복이 있다면) 다음 ME 반복을 위해 업-스케일링된다. 임의의 적절한 알려진 프로세스가 이 스테이지를 위해 사용될 수 있다.
최종 스테이지(310)는 모션 필드 평활화이다. 일례로서, 5x5 이하의 커널과 같은 가우시안(Gaussian) 커널이 사용될 수 있다.
Figure 112012106648585-pat00009
N에 따라, 수행되어야 하는 계층적 모션 추정 반복의 수, 추가적인 반복이 302에서 다시 한번 시작하여 착수될 수 있다. 대안적으로, N 반복이 완료되었으면 140(도 1)에서, 프로세스가 진행하여 양방 모션 보상(MC) 동작을 수행한다.
모션 보상은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 중첩된 블록 모션 보상(BMC) 절차가 인터폴레이팅된 프레임을 구축하는 데 사용될 수 있다. 중첩된 블록 모션 보상(OBMC)은 일반적으로 알려져 있고, 제한된 블록 모션 정보가 일반적으로 디코더에 이용가능하면 화소 강도의 확률적 선형 추정으로부터 통상적으로 공식화된다. 일부 실시예에서, OBMC는 각각 소정의 평활화 윈도우에 의해 가중화되는 이전의 프레임으로부터 화소의 중첩 블록들을 재-포지셔닝함으로써 시퀀스의 현재 프레임을 예측할 수 있다. 바람직한 조건 하에서, 인코더의 검색에서의 변화가 작고(또는 없고) 여분의 정보가 없어도, OBMC는 예측 에러의 감소를 제공할 수 있다. 성능은 보상 프로세스에서 상태 가변 컨디셔닝의 사용으로 더욱 향상될 수 있다.
도 7은 일부 실시예들에 따른 동적 스케일러블 복잡도를 갖는 모션 추정의 일례를 도시한다. 각각의 박스의 높이는 그 처리 반복의 복잡도에 대응한다. 알 수 있는 바와 같이, 각각의 연속적인 반복에 있어서, 복잡도는 감소한다. 이 예에 있어서 5 반복(N=5)이 있다. 각각의 연속적인 반복에 있어서, 블록 사이즈는: 64, 32, 16, 8 및 4이다. 이러한 블록에 있어서 32:16, 16, 16 및 1의 검색 반경이 각각 사용된다. 초기 양방 ME(302)에 사용되는 동일한 파라미터가 추가적인 양방 ME(306)에 대해 사용되었다. 모션 벡터 평활화가 최후의 하나(본 예에서는 블록 사이즈 4)를 제외하고는 반복마다 수행된다.
도 8은 예시적인 컴퓨팅 시스템의 일부를 도시한다. 이는 프로세서(802)(또는 중앙 처리 장치 "CPU"), 그래픽/메모리 컨트롤러(GMC)(804), 입력/출력 컨트롤러(IOC)(806), 메모리(808), 주변 디바이스/포트(810) 및 디스플레이 디바이스(812)를 포함하며, 이들 모두는 도시된 바와 같이 서로 연결된다. 프로세서(802)는 하나 이상의 패키지 내의 하나 이상의 코어들을 포함하며, 하나 이상의 어플리케이션들을 실행하는 것을 포함하는 중앙 처리 작업을 편리하게 하는 기능을 한다.
GMC(804)는 프로세서(802) 및 IOC(806) 양쪽으로부터 메모리(808)로의 액세스를 제어한다. 또한, 이것은 프로세서(802)에서 실행되는 어플리케이션(들)을 위한 비디오 프레임을 생성하여 디스플레이 디바이스(812) 상에 표시되게 하는 그래픽 처리 유닛(105)을 포함한다. GPU(105)는, 본 명세서에서 설명된 바와 같이 구현될 수 있는 프레임-레이트 업-변환기(FRUC)(110)를 포함한다.
IOC(806)는 시스템 내의 주변 디바이스/포트(801)와 다른 블록들 사이에서의 액세스를 제어한다. 주변 디바이스는 예를 들어, 주변 칩 상호접속(PCI) 및/또는 PCI Express 포트, 범용 직렬 버스(USB) 포트, 네트워크(예를 들어, 무선 네트워크) 디바이스, 컴퓨팅 시스템과 인터페이싱할 수 있는 키패드, 마우스 및 임의의 다른 디바이스와 같은 사용자 인터페이스 디바이스를 포함할 수 있다.
FRUC(110)는 보다 높은 프레임 레이트를 생성하는 하드웨어 및/또는 소프트웨어의 임의의 적절한 조합을 포함할 수 있다. 예를 들어, 이것은 GPU 드라이버에서 실행가능한 소프트웨어 루틴으로 구현될 수 있거나, 전용의 또는 공유된 연산 또는 다른 논리 회로로 전체 또는 일부 구현될 수 있다. 이것은 GPU의 내부 및/또는 외부에 구현되어 프레임 레이트를 업-변환하는 하드웨어 및/또는 소프트웨어의 임의의 적절한 조합을 포함할 수 있다.
상술한 설명에서, 다수의 구체적인 상세사항들이 설명되었다. 하지만 본 발명의 실시예들은 그 구체적인 상세사항들 없이도 실시될 수 있다는 것이 이해된다. 다른 예에서, 공지의 회로, 구성 및 기술이 본 설명의 이해가 모호해지지 않도록 상세하게 나타내어지지 않았을 수 있다. 이를 염두에 두고, "일 실시예", "어느 실시예", "예시적인 실시예", "다양한 실시예들" 등에 대한 언급은 이렇게 설명된 본 발명의 실시예(들)가 특정의 특징, 구성 또는 특성을 포함할 수 있지만, 모든 실시예들이 반드시 이러한 특정의 특징, 구성 또는 특성을 포함할 필요는 없다는 것을 나타낸다. 또한, 일부 실시예들은 다른 실시예들에 대해 설명된 특징들의 일부, 전부를 가지거나 아무것도 갖지 않을 수 있다.
상술한 설명 및 후술하는 청구항에서, 이하의 용어는 아래와 같이 해석되어야 한다: 이들의 파생어들과 함께 "연결된(coupled)" 또는 "접속된(connected)"이라는 용어가 사용될 수 있다. 이러한 용어들은 서로에 대해 동의어로서 의도되지 않았다는 것이 이해되어야 한다. 하지만, 이것은 한정적인 방식으로 해석되어서는 안된다. 오히려, 특정 실시예들에서 "접속된"은 2개 이상의 요소들이 서로에 대해 직접적으로 물리적 또는 전기적으로 접촉한다는 것을 나타내는 데 사용된다. "연결된"은 2개 이상의 요소들이 서로 협업 또는 상호작용할 수 있지만, 직접적인 물리적 또는 전기적 접촉에 있을 수 있거나 있지 않을 수 있다는 것을 나타내는 데 사용된다.
본 발명은 설명된 실시예들에 한정되지 않으며, 첨부된 청구항의 사상 및 범위 내에서 수정 및 변경되어 실시될 수 있다. 예를 들어, 본 발명은 모든 유형의 반도체 집적 회로("IC") 칩들로의 사용을 위해 적용될 수 있다는 것이 이해되어야 한다. 이러한 IC 칩들의 예들은 프로세서들, 컨트롤러들, 칩 셋 컴포넌트, 프로그램가능 논리 어레이들(PLA), 메모리 칩들, 네트워크 칩들 등을 포함하지만 이에 한정되지 않는다.
도면의 일부에서, 신호 도전체 라인이 라인으로 표현되었다는 것이 또한 이해되어야 한다. 보다 구성적인 신호 경로를 나타내기 위해 일부는 보다 두꺼울 수 있고, 다수의 구성적인 신호 경로를 나타내기 위해 번호 라벨을 가질 수 있고/있거나 주된 정보 흐름 방향을 나타내기 위해 하나 이상의 단부에서 화살표를 가질 수 있다. 하지만, 이것은 한정적인 방식으로 해석되어서는 안된다. 오히려, 이러한 추가적인 상세사항들은 회로의 보다 용이한 이해를 돕기 위해 하나 이상의 예시적인 실시예들과 연계하여 사용될 수 있다. 추가적인 정보를 갖든지 갖지 않든지간에 임의의 나타낸 신호 라인들은 복수의 방향으로 이동할 수 있는 하나 이상의 신호들을 실제로 포함할 수 있고, 임의의 적절한 유형의 신호 스킴, 예를 들어, 차동 쌍으로 구현된 디지털 또는 아날로그 라인들, 광 섬유 라인들 및/또는 단일-단부 라인들로 구현될 수 있다.
예시적인 사이즈들/모델들/값들/범위들이 부여될 수 있지만 본 발명은 이러한 동일한 것에 한정되지 않는다는 것이 이해되어야 한다. 제조 기술(예를 들어, 포토리소그래피)이 시간이 지남에 따라 발달할수록, 더 작은 사이즈의 디바이스들이 제조될 수 있는 것으로 예측된다. 또한, IC 칩들 및 다른 컴포넌트에 대한 잘 알려진 전력/접지 접속이, 도면 및 설명의 단순화를 위해, 그리고 본 발명이 모호해지지 않도록 도면 내에 도시될 수 있거나 도시되지 않을 수 있다. 또한, 본 발명이 모호해지는 것을 회피하기 위해, 또한 이러한 블록도 구성의 구현에 대해 특정하는 것이 본 발명이 구현되는 플랫폼에 매우 의존한다는 사실, 즉 이러한 구체적인 사항은 본 기술분야의 당업자의 범위 내에 있어야 한다는 관점에서, 구성들이 블록도로 도시될 수 있다. 본 발명의 예시적인 실시예들을 설명하기 위하여 구체적인 상세사항(예를 들어, 회로)이 개시되었지만, 본 발명은 이러한 구체적인 상세사항 없이도, 또는 이를 변형하여 실시될 수 있음이 본 기술 분야의 당업자에게 명백할 것이다. 따라서, 본 설명은 한정적인 것이 아니라 예시적인 것으로 간주되어야 한다.

Claims (16)

  1. 각각이 (a) 초기 양방(bilateral) 모션 추정, (b) 모션 필드 정제(refinement) 및 (c) 추가적인 양방 모션 추정을 포함하는 하나 이상의 복잡도 스케일러블 반복(complexity scalable iterations)을 통한 모션 추정을 수행하는 프레임 레이트 업 변환(a frame rate up conversion : FRUC) 모듈을 포함하는
    칩.
  2. 제 1 항에 있어서,
    상기 하나 이상의 복잡도 스케일러블 반복의 각각에 대해 상기 초기 양방 모션 추정의 스테이지는 상이한 경사 검색(gradient search) 블록 사이즈들을 사용하는
    칩.
  3. 제 1 항에 있어서,
    상기 FRUC는 칩 상의 시스템(SoC) 내의 그래픽 처리 유닛(GPU)의 일부인
    칩.
  4. 제 3 항에 있어서,
    상기 모션 추정이 완료된 후에 상기 GPU가 양방 모션 보상 동작을 수행하는
    칩.
  5. 제 1 항에 있어서,
    상기 하나 이상의 복잡도 스케일러블 반복은 상기 하나 이상의 복잡도 스케일러블 반복의 각각에 대해 연속적으로 더 작은 블록 사이즈에 대한 검색을 포함하는
    칩.
  6. 제 5 항에 있어서,
    상기 복잡도 스케일러블 반복은 동적 검색 반경 파라미터를 포함하는
    칩.
  7. 프레임 레이트 업 변환(frame rate up-conversion: FRUC)을 수행하는 방법에 있어서,
    계층적 모션 추정 동작을 수행하여 제 1 프레임 및 제 2 프레임으로부터 새로운 프레임을 생성하는 단계로서, 상기 새로운 프레임은 상기 제 1 프레임 및 제 2 프레임의 사이에 배치되고, 상기 계층적 모션 추정은 둘 이상의 프로세스 반복을 포함하는, 상기 새로운 프레임을 생성하는 단계를 포함하고,
    상기 둘 이상의 프로세스 반복의 각각은,
    (a) 상기 제 1 프레임 및 제 2 프레임에 대한 초기 양방 모션 추정 동작을 수행하여 모션 필드를 생성하는 단계와,
    (b) 상기 제 1 프레임 및 제 2 프레임과 상기 모션 필드에 대해 모션 필드 정제 동작을 수행하는 단계와,
    (c) 정제된 제 1 프레임 및 제 2 프레임에 대한 추가적인 양방 모션 추정 동작을 수행하는 단계를 포함하는
    프레임 레이트 업 변환 방법.
  8. 제 7 항에 있어서,
    상기 양방 모션 추정 동작은 양방 경사 검색 동작을 포함하는
    프레임 레이트 업 변환 방법.
  9. 제 7 항에 있어서,
    상기 둘 이상의 프로세스 반복이 완료된 후에, 양방 모션 보상 동작이 수행되는
    프레임 레이트 업 변환 방법.
  10. 제 7 항에 있어서,
    상기 계층적 모션 추정 동작은 상기 둘 이상의 프로세스 반복의 각각의 연속적인 반복에 대하여 연속적으로 보다 작은 블록 사이즈들을 사용하는 검색을 포함하는
    프레임 레이트 업 변환 방법.
  11. 제 10 항에 있어서,
    상기 연속적인 반복은 동적 검색 반경 파라미터를 포함하는
    프레임 레이트 업 변환 방법.
  12. 프로세서에 의해 실행되는 경우에, 프레임 레이트 업 변환(frame rate up conversion)을 수행하는 명령어를 갖는 메모리 저장 디바이스로서,
    상기 프레임 레이트 업 변환은,
    둘 이상의 계층적 모션 추정 반복을 수행하는 단계를 포함하고,
    상기 둘 이상의 계층적 모션 추정 반복을 수행하는 단계는,
    (a) 제 1 프레임 및 제 2 프레임에 대한 초기 양방 모션 추정 동작을 수행하여 모션 필드를 생성하는 단계와,
    (b) 상기 제 1 프레임 및 제 2 프레임과 상기 모션 필드에 대해 모션 필드 정제 동작을 수행하는 단계와,
    (c) 정제된 제 1 프레임 및 제 2 프레임에 대한 추가적인 양방 모션 추정 동작을 수행하는 단계를 각각 포함하는
    메모리 저장 디바이스.
  13. 제 12 항에 있어서,
    상기 양방 모션 추정 동작은 양방 경사 검색 동작을 포함하는
    메모리 저장 디바이스.
  14. 제 12 항에 있어서,
    상기 둘 이상의 계층적 모션 추정 반복이 완료된 후에, 양방 모션 보상 동작이 수행되는
    메모리 저장 디바이스.
  15. 제 12 항에 있어서,
    상기 계층적 모션 추정 동작은 상기 둘 이상의 계층적 모션 추정 반복의 각각의 연속적인 반복에 대하여 연속적으로 보다 작은 블록 사이즈들을 사용하는 검색을 포함하는
    메모리 저장 디바이스.
  16. 제 12 항에 있어서,
    상기 반복은 동적 검색 반경 파라미터를 포함하는
    메모리 저장 디바이스.
KR1020120151031A 2011-12-22 2012-12-21 복잡도 스케일러블 프레임 레이트 업-변환 KR101436700B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/RU2011/001020 2011-12-22
PCT/RU2011/001020 WO2013095180A1 (en) 2011-12-22 2011-12-22 Complexity scalable frame rate up-conversion

Publications (2)

Publication Number Publication Date
KR20130079211A KR20130079211A (ko) 2013-07-10
KR101436700B1 true KR101436700B1 (ko) 2014-09-02

Family

ID=48668899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120151031A KR101436700B1 (ko) 2011-12-22 2012-12-21 복잡도 스케일러블 프레임 레이트 업-변환

Country Status (5)

Country Link
US (1) US20130294519A1 (ko)
KR (1) KR101436700B1 (ko)
CN (1) CN103260024B (ko)
TW (1) TWI552607B (ko)
WO (1) WO2013095180A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101783990B1 (ko) * 2012-12-21 2017-10-10 한화테크윈 주식회사 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
CN104202603B (zh) * 2014-09-23 2017-05-24 浙江工商大学 一种应用于视频帧速率上转换的运动向量场生成方法
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN105517671B (zh) * 2015-05-25 2020-08-14 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
CN105681806B (zh) * 2016-03-09 2018-12-18 宏祐图像科技(上海)有限公司 ME中基于logo检测结果控制零矢量SAD的方法及系统
CN105933714B (zh) * 2016-04-20 2017-06-09 济南大学 一种基于深度引导扩展块匹配的三维视频帧率提升方法
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10805630B2 (en) 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
KR101959888B1 (ko) * 2017-12-27 2019-03-19 인천대학교 산학협력단 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법
CN108366265B (zh) * 2018-03-08 2021-12-31 南京邮电大学 一种基于时空相关性的分布式视频边信息生成方法
US11558637B1 (en) * 2019-12-16 2023-01-17 Meta Platforms, Inc. Unified search window to support multiple video encoding standards

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040088539A (ko) * 2002-02-28 2004-10-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 필드 레이트 업변환을 위한 방법 및 장치
KR20070040397A (ko) * 2004-07-20 2007-04-16 퀄컴 인코포레이티드 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임레이트 업 변환을 위한 방법 및 장치
KR20080055965A (ko) * 2005-09-27 2008-06-19 콸콤 인코포레이티드 다양한 모션 모델들을 사용하는 인코더 보조 프레임 레이트상향 변환

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
US8861601B2 (en) * 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
GB0423578D0 (en) * 2004-10-22 2004-11-24 Greenparrotpictures Ltd Dominant motion estimation for image sequence processing
EP1734767A1 (en) * 2005-06-13 2006-12-20 SONY DEUTSCHLAND GmbH Method for processing digital image data
US8228992B2 (en) * 2007-10-12 2012-07-24 Broadcom Corporation Method and system for power-aware motion estimation for video processing
US20090161011A1 (en) * 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation
CN101567964B (zh) * 2009-05-15 2011-11-23 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
CN101621693B (zh) * 2009-07-31 2011-01-05 重庆大学 一种结合目标分割和不规则块补偿的帧频提升方法
US20110135001A1 (en) * 2009-12-07 2011-06-09 Silicon Integrated Systems Corp. Hierarchical motion estimation method using dynamic search range determination
CN102111613B (zh) * 2009-12-28 2012-11-28 中国移动通信集团公司 图像处理方法和装置
CN102131058B (zh) * 2011-04-12 2013-04-17 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040088539A (ko) * 2002-02-28 2004-10-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 필드 레이트 업변환을 위한 방법 및 장치
KR20070040397A (ko) * 2004-07-20 2007-04-16 퀄컴 인코포레이티드 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임레이트 업 변환을 위한 방법 및 장치
KR20080055965A (ko) * 2005-09-27 2008-06-19 콸콤 인코포레이티드 다양한 모션 모델들을 사용하는 인코더 보조 프레임 레이트상향 변환

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:IEEE *

Also Published As

Publication number Publication date
US20130294519A1 (en) 2013-11-07
CN103260024A (zh) 2013-08-21
TWI552607B (zh) 2016-10-01
WO2013095180A1 (en) 2013-06-27
CN103260024B (zh) 2017-05-24
KR20130079211A (ko) 2013-07-10
TW201342916A (zh) 2013-10-16

Similar Documents

Publication Publication Date Title
KR101436700B1 (ko) 복잡도 스케일러블 프레임 레이트 업-변환
KR100486249B1 (ko) 움직임 추정 장치 및 탐색영역에서 레퍼런스매크로블록창의 스캐닝 방법
TW201146011A (en) Bi-directional, local and global motion estimation based frame rate conversion
EP1734479A1 (en) Image processing device and method, recording medium, and program
WO2011067870A1 (ja) 画像処理装置および画像処理方法
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
US20140010307A1 (en) Method of and apparatus for complexity scalable frame rate up-conversion
JP2008536429A (ja) 領域の動的なアスペクト比を用いた領域ベース３ｄｒｓ動き推定
Veselov et al. Iterative hierarchical true motion estimation for temporal frame interpolation
Akin et al. An adaptive bilateral motion estimation algorithm and its hardware architecture
Huang et al. Algorithm and architecture design of multirate frame rate up-conversion for ultra-HD LCD systems
WO2021072795A1 (zh) 一种基于帧间预测的编解码方法及装置
US8559518B2 (en) System and method for motion estimation of digital video using multiple recursion rules
KR20110048252A (ko) 움직임 벡터 공유에 기초한 영상을 변환하는 방법 및 장치
Chen A cost-effective three-step hierarchical search block-matching chip for motion estimation
CN112770118B (zh) 视频帧图像运动估计方法及相关设备
Hsu et al. Hardware architecture design of frame rate up-conversion for high definition videos with global motion estimation and compensation
US9667960B1 (en) Low complexity cost function for sub-pixel motion estimation
JP2004229150A (ja) 動きベクトル探索方法および装置
Bhavani et al. Architecture for Adaptive Rood Pattern Search Algorithm for Motion Estimation
Suzuki et al. Design and implementation of 176-MHz WXGA 30-fps real-time optical flow processor
Huang et al. MRF-based true motion estimation using H. 264 decoding information
US20110013852A1 (en) Approach for determining motion vector in frame rate up conversion
RATHOD et al. An Efficient Soc Design for JVT & ME using BIST Techniques
JP3115511B2 (ja) 動きベクトル探索装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 5