KR20090034836A - 움직임 보상 픽처 레이트 컨버터 시스템 및 방법 - Google Patents

움직임 보상 픽처 레이트 컨버터 시스템 및 방법 Download PDF

Info

Publication number
KR20090034836A
KR20090034836A KR1020087032176A KR20087032176A KR20090034836A KR 20090034836 A KR20090034836 A KR 20090034836A KR 1020087032176 A KR1020087032176 A KR 1020087032176A KR 20087032176 A KR20087032176 A KR 20087032176A KR 20090034836 A KR20090034836 A KR 20090034836A
Authority
KR
South Korea
Prior art keywords
motion
frame
current frame
reference frame
affine
Prior art date
Application number
KR1020087032176A
Other languages
English (en)
Other versions
KR101371577B1 (ko
Inventor
마이낙 비스와스
니크힐 발람
바라트 패탁
Original Assignee
마벨 월드 트레이드 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마벨 월드 트레이드 리미티드 filed Critical 마벨 월드 트레이드 리미티드
Publication of KR20090034836A publication Critical patent/KR20090034836A/ko
Application granted granted Critical
Publication of KR101371577B1 publication Critical patent/KR101371577B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

입력 신호의 일시적인 인접 프레임들 쌍 사이에 전역 및 국부 움직임들을 추정하고, 그리고 인접 프레임들 사이에 적어도 하나의 보간된 움직임-보상 프레임을 생성하기 위하여 이들 움직임 벡터들을 적용하는 시스템과 방법이 개시되어 있다. 특히, 시스템과 방법은 전역 어파인 움직임 추정 엔진, 전역 트랜스레이션 움직임 추정 엔진, 분할 마스크 생성기, 객체 에지 강도 맵 생성기 및 국부 움직임 추정 엔진을 포함하는 움직임 보상 프레임 레이트 컨버터에 대한 디자인을 포함한다. 이들 특징들의 결합들은 움직임 보상 픽처 레이트 컨버터에 구현되어 프레임들의 시퀀스에 대해 움직임 추정 및 보상을 정확하고 효율적으로 제공한다.

Description

움직임 보상 픽처 레이트 컨버터 시스템 및 방법{SYSTEMS AND METHODS FOR A MOTION COMPENSATED PICTURE RATE CONVERTER}
본 발명은 입력 신호의 일시적으로 인접하는 한 쌍의 프레임들 사이의 전역(global) 및 국부(local) 움직임(motion)을 추정하고, 프레임들 사이에 적어도 하나의 보간된(interpolated) 움직임-보상의 프레임을 생성하기 위해 이러한 움직임 벡터들을 적용하는 시스템 및 방법에 관한 것이다.
본 발명은 2006년 6월 27일 출원의 미국 가출원 60/817,061의 이익을 미국 특허법 119조(e)에 근거하여 주장한다. 이것 전체가 참조자료로 여기에 포함된다.
일반적인 영화 필름들은 24 Hz, 25 Hz 또는 30 Hz로 리코드된다. 보통 비디오 카메라들의 픽처 레이트들은 50 Hz와 60 Hz이다. 한편, 상업적으로 이용가능한 텔레비젼 디스플레이들은 120 Hz까지 픽처 레이트들(picture rates)을 갖고, 그리고 순차 또는 비월 주사를 이용한다. 그래서, 방송 비디오를 첨단 TV 디스플레이와 인터페이스하기 위해서, 방송 비디오의 원 시퀀스는 예를들어 픽처 레이트 컨버터를 이용해서 업-컨버터될 필요가 있다. 픽처 레이트 컨버터는 보통 저주파 소스 디바이스로부터의 프레임 시퀀스가 고주파 대상 디스플레이에 레지스트되지 않은 시간 순간들에서 이미지 프레임들을 보간함(interpolating)으로써 동작한다.
간단한 픽처 레이트 컨버터들에서, 픽처는 다음 픽처가 소스 디바이스로부터 도착할 때까지 종종 반복되는고, 이것은 움직임이 생길 때 종종 블러(blur)와 저더(judder)의 결과를 낳는다. 움직임 추정 및 보상 회로가 픽처 레이트 컨버터에서 사용되어 이러한 원치않은 결과를 감소시키고 움직이는 시퀀스들에 대해 고성능 변환을 성취하게 된다. 움직임 보상은 보간된 픽처의 엘리먼트들이 어디에 있는지를 추정함으로써 동작하는데, 이는 그러한 엘리먼트들의 움직임 방향과 속도에 기초한다. 방향 및 속도 값들은 움직임 벡터들로 표현되과 새롭게 보간된 프레임에서 엘리먼트들을 올바른 위치로 이동시키는데 사용될 수 있다. 이 기술이 올바르게 적용된다면, 그것의 영향은 움직임을 포함하는 어떤 픽처 시퀀스 상에서 즉시 가시화될 수 있고, 여기서 결과적 픽처들은 업-컨버젼 이전의 원 시퀀스들과 거의 구별되지 않는다.
추정 정확도를 최대화하면서 움직임 보상의 픽처 레이트와 관련된 계산 비용을 최소화하는 방법과 시스템을 결정하는 것이 바람직하다. 예를들어, 결과적인 보간 프레임들에서 움직임 보상 효율성과 정확성 사이의 밸런스를 획득하기 위해 다양한 움직임 보상 스킴들(schemes)이 설계되고 소프 프레임들의 시퀀스 내의 다른 영역들에 적용될 수 있다. 또한, 움직임 보상 스킴들은 효율성과 정확성의 이 밸런스를 실현하기 위해 각각 최적화될 수 있다. 또한, 움직임 보상의 픽처 레이트 컨버터의 전체 시스템 아키텍처는 적용과 용도에서 융통성을 개선하도록 디자인될 수 있고, 이는 다양한 디스플레이 디바이스들과 호환가능한 아키텍처를 만듦으로써 이루어진다.
본 발명은 입력 신호의 일시적으로 인접하는 한 쌍의 프레임들 사이의 전역(global) 및 국부(local) 움직임(motion)을 추정하고, 프레이들 사이에 적어도 하나의 보간된(interpolated) 움직임-보상의 프레임을 생성하기 위해 이러한 움직임 벡터들을 적용하는 시스템 및 방법에 관한 것이다.
본 발명의 일 실시예에 따르면, 움직임-보상의 픽처 레이트 컨버터(MCPRC:Motion-Compensated Picture Rate Converter)가 입력 신호의 연속적인 프레이들 사이의 객체 움직임들(object motions)을 추정하기 위해 구비된다. 먼저, 신호는 프레임들 상의 필수 영역들을 분리하기 위해 MCPRC의 처리 모듈(processing module)에 의해 처리된다. 이후, MCFRC의 움직임-보상된 프레임 레이트 컨버터(MCFRC)는 한 세트의 어파인 움직임 파라메터들(affine motion parameters)을 이용하여 어떤 2개의 연속 프레임들 사이의 전역 움직임을 추정하는데 사용된다. 또한, MCFRC는 한 세트의 움직임 벡터들을 이용하여 프레임들 사이의 국부 움직임을 추정하는데, 여기서 각 움직임 벡터는 국부 움직임 벡터 또는 수정된(modified) 전역 움직임 벡터이다.
한 실시예에서, MCFRC는 2 단계 프로세스를 경유해서 어파인 움직임 파라메터들의 세트를 생성하는 전역 어파인 움직임 추정 엔진을 포함한다. 특히, 전역 트랜스레이션 추정(global translation estimation) 및 어파인 예측 모듈(affine prediction module)이 파라메터들이 어파인 파라메터 개선 모듈(affine parameter refinement module)에서 개선되기 전에 파라메터들의 코어스 레벨(coarse level) 추정을 생성하기 위해 구비된다.
한 실시예에서, MCFRC의 국부 움직임 정정 모듈(local motion correction module)은 기준 프레임 상의 관심 구역(area of interest)에 인접한 이웃 구역들을 확인함으로써 현재 프레임 상의 관심 구역에 대한 움직임 벡터들을 생성하는데 사용된다. 관심 구역에 대한 움직임 벡터는 이후 기준 프레임에 대해 계산된 이웃 구역들의 움직임 벡터들에 기초하여 계산될 수 있다. 결과적인 움직임 벡터는 국부 움직임 벡터이다.
한 실시예에서, MCFRC의 국부 움직임 정정 모듈은 관심 구역에 인접한 이웃 구역들에 대해 계산된 어파인 움직임 파라메터들에 기초하여 현재 프레임 상의 관심 구역에 대한 움직임 벡터를 생성하는데 사용된다. 결과적인 움직임 벡터는 수정된 전역 움직임 벡터이다.
한 실시예에서, 에지 마스크(edge mask)와 분할 마스크(segmentation mask)의 결합은 국부 움직임 벡터 또는 수정된 전역 움직임 벡터를 이용하여 움직임 보상을 겪기(undergoing) 위해 현재 프레임의 포어그라운드(foreground) 영역들을 결정하는데 사용된다. 이들 2개 베터들 사이의 선택은 2개 벡터들의 각각을 관심 구역에 적용한 결과로서 생성되는 추정 에러들에 기초될 수 있다.
본 발명의 다른 양상에서, 전역 어파인 움직임 추정 엔진의 전역 트랜스레이션 추정 모듈은 현재 프레임과 기준 프레임 사이의 전역 트랜스레이션 이동(movement)을 추정하기 위해 구비된다. 이 모듈은 프레임들 사이의 전역 트랜스레이션 움직임을 코어스하게(coarsely) 추정하는 한 세트의 어파인 파라메터들을 생성하는 위상-상관 기술을 이용함으로써 동작하다. 위상-상관 기술은 먼저 현재 및 기준 프레임들의 각 프레임들을 특정 데시메이션 팩터(decimation factor)에 의해 데시메이트(decimate)한다. 결과적으로 데시메이트된 현재 및 기준 프레임들은 이후 퓨리에 변환된다. 변환된 현재 프레임에 대응하는 위상들은 이후 변환된 기준 프레임에 대응하는 위상들로부터 공제되어 위상차 어레이(phase difference array)를 생성한다. 이 위상차 어레이의 지수(exponential)는 이후 역퓨리에 변환되어 상관 면(correlation surface)을 생성한다. 상관 면의 최대값과 상관 면 상의 최대값의 위치는 전역 트랜스레이션 움직임에 관련된 어파인 파라메터들을 계산하는데 이용될 수 있다.
이러한 코어스 레벨 추정으로부터 생성된 어파인 파라메터들은 전역 어파인 움직임 추정 엔진의 어파인 파라메터 개선 모듈에서 더 개선될 수 있다. 이 모듈은 코어스 레벨 추정으로부터 얻어진 어파인 파라메터들을 이용하여 기준 프레임을 먼저 업데이트하는데 기초하는 개선(refinement) 기술을 이용한다. 이후, 업데이트된 기준 프레임과 현재 프레임 사이의 차이가 얻어지고, 그리고 업데이트된 기준 프레임과 현재 프레임 사이의 차이를 최소화하기 위해 어파인 파라메터들을 개선하는데 사용된다.
본 발명의 다른 양상에 따르면, MCFRC의 국부 움직임 정정 모듈은 현재 프레임 상의 관심 구역에 대한 움직임 벡터를 계산하기 위해 구비된다. 이 모듈에서 수행된 계산은 전역 어파인 움직임 추정 모듈로부터 얻어진 한 세트의 전역 어파인 움직임 파라메터들에 기초한다. 특히, 분할 마스크는 현재 프레임의 포어그라운드 및 백그라운드 영역들을 확인하는 어파인 파라메터들을 이용하여 생성된다. 이후, 객체 에지 강도 맵(object edge strength map)은 현재 프레임 상의 의미있는(significant) 에지 강도의 영역들을 확인하기 위해 생성된다. 그 후, 적절한 움직임 추정 스킴(scheme)이 현재 프레임 상의 관심 구역에 대해 선택되고, 이는 관심 구역과 관련하는 포어그라운드, 백그라운드 및 의미있는 에지 강도 영역들에 기초한다.
한 실시예에서, 움직임 추정 스킴은 수정된 전역 움직임 추정 스킴과 국부 움직임 추정 스킴 중 하나이다.
한 실시예에서, 분할 마스크는 어파인 파라메터들을 이용하여 기준 프레임을 먼저 업데이트함으로써 생성된다. 이후, 업데이트된 기준 프레임과 현재 프레임 사이의 차이 프레임이 얻어진다. 차이 프레임의 각 영역은 이후 임계치와 비교되어 영역이 포어그라운드 및 백그라운드 영역들 중 하나로 분류되게 한다.
한 실시예에서, 이 분할 마스크는 제2 프로세스에서 더 개선되어 최종 분할 마스크를 생성한다. 이 프로세스는 적어도 2개의 연결된 영역들을 갖는 초기 분할 마스크 상에서 객체들을 먼저 결정하는 것을 포함한다. 이후, 각각의 확인된 객체가 차지하는 구역은 정량화된다. 그 후, 각각의 정량화된 구역은 임계치와 비교되어 객체의 연결된 영역들 각각이 포어그라운드 및 백그라운드 영역들 중 하나로 재-분류되게 한다.
한 실시예에서, 객체 에지 강도 맵은 현재 프레임 상의 각 영역의 수직 및 수평 방향들에 상관하는 하나 이상의 고유값들(eigenvalues)을 먼저 생성함으로써 만들어진다. 고유값들의 최대값은 이후 결정된다. 대략 최대값에 의해 한정되는 범위 범위 내의 고유값들을 갖는 각 영역은 의미있는 에지 강도들을 갖는 것으로 분류된다.
한 실시예에서, 중간값 필터(median filter), 에지 필터(edge filter) 및 가우시안 필터(Gaussian filter) 중 적어도 하나가 관심 구역에 대해 생성된 움직임 벡터에 적용된다.
한 실시예에서, MCFRC에서 생성된 움직임 벡터들, 이들 각각은 전역 어파인 움직임 벡터, 국부 움직임 벡터 또는 수정된 전역 움직임 벡터인데, 현재 프레임과 기준 프레임 사이에 보간된(interpolated) 움직임-보상 프레임을 생성하는데 사용된다.
본 발명의 다른 양상에 따르면, MCPRC는 MCFRC의 출력 신호를 처리하는 후-처리 모듈을 포함하는데, 여기서 출력 신호는 입력 신호의 원시 프레임 레이트보다 높은 프레임 레이트를 갖는다.
한 실시예에서, 후-처리 모듈은 처리 모듈과 MCFRC 사이에 위치하여 처리 모듈로부터의 신호를 더 처리한다. 또한, 후-처리 모듈의 출력 신호는 입력 신호의 원시 프레임 레이트와 거의 같은 프레임 레이트를 갖는다.
한 실시예에서, 처리 모듈은 잡음 감소 및 디-인터레이싱 중 적어도 하나를 수행하는 회로를 포함한다. 후-처리 모듈은 프레임 이미지 스케일링(frame image scaling), 개선(enhancement) 및 색 관리(color management) 중 적어도 하나를 수행하는 회로를 포함한다.
도1은 본 발명에 따른 움직임 보상 픽처 레이트 컨버터(MCPRC) 회로의 예시적 실시예이다.
도2는 본 발명에 따른 MCPRC의 다른 예시적 실시예이다.
도3은 도1과 2의 움직임 보상 프레임 레이트 컨버터(MCFRC) 모듈의 예시적 블록도이다.
도4는 도3의 전역 어파인 움직임 추정 기능의 예시적 블록도이다.
도5는 도4의 전역 트랜스레이션 추정 기능의 예시적 구현이다.
도6은 도4의 고속 퓨리에 변환(FFT)의 예시적 구현이다.
도7은 도5의 위상 계산 기능(phase calculation function)에 대한 예시적 블록도이다.
도8은 초기 분할 마스크를 계산하기 위한 예시적 블록도이다.
도9는 최종 분할 마스크를 계산하기 위한 예시적 블록도이다.
도10은 객체 에지 맵을 계산하기 위한 예시적 블록도이다.
도11은 도10의 고유값 계산 기능의 예시적 블록도이다.
도12는 국부 움직임 보상 스킴과 수정된 전역 움직임 스킴을 구현하기 위한 예시적 어프로치이다.
도13은 한 쌍의 프레임들 사이의 움직임 벡터들을 생성하기 위해 적절한 움직임 보상 스킴을 선택하기 위한 예시적 흐름도이다.
도14는 도13의 절차로부터 계산된 국부 움직임 벡터들을 후-처리하기 위한 예시적 블록도이다.
도15는 도3의 움직임-보상 보간(interpolation) 기능의 예시적 블록도이다.
도16A는 개시된 기술을 이용할 수 있는 예시적 고화질 텔레비젼의 블록도이다.
도16B는 개시된 기술을 이용할 수 있는 예시적 차량의 블록도이다.
도16C는 개시된 기술을 이용할 수 있는 예시적 휴대 전화의 블록도이다.
도16D는 개시된 기술을 이용할 수 있는 예시적 셋탑박스의 블록도이다.
도16E는 개시된 기술을 이용할 수 있는 예시적 미디어 플레이어의 블록도이다.
도1은 본 발명의 한 양상에 따른 움직임 보상 픽처 레이트 컨버터(MCPRC:motion compensated picture rate converter) 회로(100)의 하이-레벨 다이어그램을 예시하고 있다. 비디오 프레임들의 불연속 시퀀스를 갖는 입력 신호(102)는 MCPRC 회로(100)로 입력되는데, 이것은 업-컨버터된, 움직임-보상된 출력 신호(128)를 MCPRC 회로(100)의 모듈들(104,108,112 및 116)을 경유해서 생성한다. MCPRC 회로(100)의 모듈들 각각은 아래에서 설명된다. 업-컨버젼에 이어서, MCPRC 회로(100)로부터의 출력 신호(128)는 보통 입력 신호(102)의 프레임 레이트보다 훨씬 높은 프레임 레이트를 갖는다. 예를들어, 입력 비디오 신호(102)는 60 Hz의 픽처 레이트를 갖는 비디오 카메라로부터 생성될 수 있다. 이 비디오 신호는 예를들어 120 Hz의 리프레시 레이트(refresh rate)를 갖는 LCD 패널 디스플레이 상 의 출력에 적절하도록 MCPRC 회로(100)를 이용하여 업-컨버트될 필요가 있을 수 있다. 일반적으로, 프레임 레이트 업-컨버젼은 모든 쌍의 일시적으로 인접한 입력 프레임들 사이에 소정 수의 유니크 프레임들(unique frames)을 주사함으로써 달성된다. 이러한 사이에 들어가는 프레임들은 프레임들 사이의 객체들의 움직임 궤적들(motion trajectories)을 거의 캡쳐하기 위해 생성될 수 있으며, 이에 의해 업-컨버젼 이후에 디스플레이될 때 비디오 이미지 시퀀스의 전체적 부드러움(smoothness)을 향상높이게 된다.
도1을 참조하여, 입력 신호(102)는 다운-컨버젼 및 복조를 위해 전단 모듈(front-end module)(104)에 의해 먼저 처리된다. 이 전단 모듈(104)은 튜너들, 복조기들, 컨버터들, 코덱들, 아날로그 비디오 디코더들 등과 같은 컴포넌트들을 포함할 수 있다. 전단 모듈(104)로부터의 출력(106)은 이후 원시 인터레이스 스캔-기반의 형태로부터 고품질 순자 스캔 출력(110)으로 신호를 컨버터하는 잡음 감소 및 디-인터레이싱 모듈(108)로 다운스트림 통과되며, 이때 블록 잡음과 모스키토 잡음과 같은 아날로그 잡음 및 압축 산물에서 상당한 감소를 실현한다. 결과적인 순차 스캔 출력(110)은 연속해서 움직임 보상 프레임 레이트 컨버젼(MCFRC) 모듈(112)로 제공되고, 이는 비디오 출력 시퀀스(114)를 만들기 위해서 움직임 보상된 보간 프레임을 생성한다. 비디오 출력 시퀀스(114)는 원래의 입력 신호(102)의 원시 프레임 레이트보다 높은 프레임 레이트를 가질 수 있다. MCFRC 모듈(112)은 아래에서 동작적으로 더 상세하게 설명된다. 업-컨버트된 비디오 출력(114)은 이후 일반적으로 디지털 비디오 파이프라인에 존재하는 스케일링, 에지 개선, 색 관리, 픽처 콘트롤 등과 같은 추가적인 비디오 개선 기능들을 비디오 신호(114)에 가하는 후-처리 모듈(116)에 의해 처리된다
한 실시예에서, 도1에 도시된 전체 MCPRC 아키텍처가 단일 칩 상에 구현될 수 있다. 한 예시적 구성에서, 이 MCPRC 칩은 텔레비젼 회로 내에 결합될 수 있는데, 여기서 MCPRC 칩의 업-컨버트되고 후-처리된 출력(128)은 비디오용 외부 디스플레이 패널로 전송된다. 그러나, 후-처리 모듈(116)이 디스플레이 패널 내로가 아니라 처리 파이프라인으로부터 분리되어 만들어진다면, MCPRC 시스템(100)의 이용가능성은 심하게 제한될 지도 모른다. 이는 신호가 칩으로부터 LCD 디스플레이로 전송될 때 신호(114)가 입력 신호(102)의 원시 프레임 레이트보다 훨씬 높은 대역폭을 차지하기 때문이다. 그래서, 많은 경우에, 텔레비젼 회로가 LCD 디스플레이와 통신가능한 매칭하는 고 대역폭 인터페이스를 찾는 것이 불가능할 수 있다. 그러나, 단일 칩 내에 봉합된 MCPRC 아키텍처(100)을 가지는 것의 한가지 이점은 시스템(100)의 여러 컴포넌트들 사이에서 정보 교환을 쉽게 한다는 것이다.
도2는 다른 MCPRC 구성(200)의 하이-레벨 다이어그램을 도시하고 있는데, 도1의 MCFRC 블록(112) 및 후-처리 모듈(116)의 배열이 바뀌어져서 후-처리 모듈(216)은 도2의 MCFRC 모듈(212)에서 더 높은 대역폭으로 업-컨버트되는 비디오 보다 먼저 적용된다. 처리 파이프라인의 마지막 단계에 업-컨버젼 기능을 배치함으로써, 업-컨버젼 기능은 나머지 회로로부터 분리될 수 있다. 따라서, 이 배열은 MCFRC 모듈(212)로부터 모듈들(204,208,216)의 분리를 허용할 수 있다. 어떤 실시예들에서, 모듈들(204,208,216)은 도1의 상대 모듈들(104,108,116,112)과 구조적으 로 유사하다. 한 예시적 아키텍처에서, 모듈들(204,208,216)을 포함하는 칩은 텔레비젼 수신기 회로 내에 통합될 수 있고, 그리고 입력 신호(202)의 원시 프레임 레이트로 동작할 수 있고 한편 MCFRC 모듈(212)은 다른 프로세스 유닛들로부터 결합이 분리되는 LCD 디스플레이 패널 내에 통합된다. 이 배열에서, 텔레비젼 회로로부터 LCD 디스플레이 패널로의 전송 신호(214)는 LCD 패널 디스플레이에 대해 요구되는 업-컨버젼 대역폭보다 상대적으로 낮은 원시 대역폭을 차지한다. 텔레비젼 수신기 회로는 LVDS(low-voltage differential signaling) 채널과 같은 표준 비디오/디스플레이 인터페이스를 경유해서 LCD 디스플레이와 통신할 수 있다. 이 낮은 대역폭 인터페이스는 시스템(200)의 융통성을 높이고, 이로인해 많은 다른 디스플레이 패널들이 텔레비젼 수신기 회로와 연결되는 것을 허용한다.
도1과 2에 도시된 바와같이, 비디오 정보 신호 경로들(118,218) 각각은 대응하는 MCPRC 시스템들(100,200)에서 모듈들 사이의 정보 전송을 쉽게 하기 위해 구비된다. 특히, MCFRC 모듈들(112,212)로 이동되는 정보는 예를들어 폐쇄 자막 디스플레이(closed caption display)의 위치, 온-스크린 디스플레이의 프레전스(presence), 각 입력 신호들(102,202)의 원시 프레임 레이트, 그리고 각 입력 신호들(102,202)의 기원 및 액티브 비디오 바운더리(boundary)를 포함한다.
예시된 MCPRC 시스템들(100,200)에서, 입력 비디오 신호들(102,202)은 표준 화질(NTSC/PAL/SECAM)에서 고화질까지의 범위일 수 있고, 인터레이스되거나 순차-기반일 수 있다. 일부 경우에서, 비디오 신호 해상도는 낮은 프레임 레이트들을 갖는 표준 화질보다 훨씬 낮다. 예를들어, 입력 비디오 신호는 iPod과 같은 휴대용 미디어 플레이어에서 커넥터 디바이스로부터 초당 15 또는 30 프레임인 QVGA(320×240) 입력일 수 있다. 어떤 경우에는, 낮은 해상도의 비디오 신호는 개인 미디어 플레이어나 멀티미디어 셀룰러 폰에서 커넥터 디바이스를 경유해서 비디오 도크(video dock)로 공급되는데, 여기서 도크는 예를들어 60 fps에서 320×160로부터 720×480으로 공간 및 시간 컨버젼을 수행할 수 있는 집적 회로를 포함할 수 있다. 인터레이스된 입력들은 비디오-기원의 또는 필름-기원의 자료(material)로 구성될 수 있다. 비디오-기원의 자료는 MCFRC 모듈들(112,212)로 입력되기 되기 전에 필드 레이트로부터 프레임 레이트로 먼저 디-인터레이스되고 컨버트될 수 있다. 필름-기원의 자료는 MCFRC 모듈들(112,212)로의 입력을 위해 그것의 원래의 순차 포맷으로 컨버트된다.
도3은 도1과 2의 MCFRC 모듈들(112,212)의 구현예를 도시하고 있는데, 각각은 입력 비디오 신호(302)에서 연속 프레임들의 쌍들 사이에 객체 움직임 추정을 제공하기 위한 것이다. 보간될 연속 프레임들의 각 쌍에 대해, 2개 프레임 중 전자를 "기준 프레임"이라고 부르고, 프레임들 중 후자를 "현재 프레임"이라고 부른다. 도3의 MCFRC 모듈(300)의 실시예에 따르면, 입력 신호(302)는 움직임 추정 엔진(306)에서 움직임 보상 그리고 움직임 보상 보간 모듈(310)에서 움직임 보간을 준비하면서 MCFRC 콘트롤 유닛(304)에 의해 처리된다. 특히, 움직임 추정 엔진(306)은 링크(322,324)를 경유해서 MCFRC 콘트롤 유닛(304)으로부터 전송된 처리된 프레임 정보를 이용하여 입력 시퀀스(302) 내의 연속 프레임들의 각 쌍에 대한 전역 및 국부 움직임 보상 정보를 생성한다. 결과적인 전역 및 국부 움직임 보상 정보는 이후 링크(322,324)를 경유해서 MCFRC 콘트롤 유닛(304)로 뿐만 아니라 링크(308)를 경유해서 움직임 보상 보간 모듈(310)로 전달된다. 몇몇 경우에서, 움직임 보상 보간을 수행하는 결정은 콘트롤 유닛(304)로부터 움직임 보상 보간 모듈(310)로 비디오 정보 신호(316)를 통해서 얻어진 입력의 어떤 추가적인 비디오 정보 및 비디오 입력 신호(302)와 함께 보내질 수 있다. MCFRC 콘트롤 유닛(304)과 움직임 추정 엔진(306)으로부터 얻어진 데이터에 기초하여, 움직임 보상 보간은 움직임 보간 모듈(310)에서 수행되어 원하는 프레임 레이트의 비디오 이미지 시퀀스를 생성할 수 있으며, 여기서 시퀀스는 원 비디오 프레임들의 시퀀스 중에서 일시적으로 흩뜨리진 보간 프레임들로 구성된다. 몇몇 경우에서, MCFRC 콘트롤 유닛(304)은 콘트롤 신호를 링크(326)를 경유해서 움직임 보상 보간 모듈(310)로 전송할 수 있는데, 이는 비디오 신호의 일부의 보간을 중지하기 위한 것이다. 또한, 움직임 추정 엔진(306), 비디오 정보 신호(316), 그리고 비디오 입력(302)으로부터 비디오 프레임 정보는 또한 추가적인 처리를 위해 출력(314)을 경유해서 다른 처리 블록으로 전달될 수 있다. 움직임 추정 엔진(306), 움직임 보상 보간 모듈(310), 그리고 MCFRC 콘트롤 유닛(304)의 동작은 아래에서 보다 자세히 설명된다.
도3의 MCFRC 콘트롤 유닛(304)은 움직임 예측 및 수반하는 비디오 보간의 품질에 영향을 줄 수 있는 어떤 프레임 피쳐들(features)의 제거를 시도함으로써 입력 비디오 신호(302)의 각 프레임을 처리한다. 이 신호 처리는 전역 어파인 움직임 추정 기능 모듈(318)에 특히 중요한데, 여기서 단지 "진짜" 이미지만이 전역 움직임 추정을 위한 기초로 사용되어야 한다. 예를들어, 입력 비디오 신호(302)가 DVD 이면, 그것은 필라 박스(pillar boxes)와 서브타이틀(subtitles)과 같은 피쳐들(features)을 포함하고, MCFRC 콘트롤 유닛(304)은 바람직하게는 프레임이 움직임 추정 엔진(306)으로 보내지기 전에 서브타이틀이 프레임과 결합되는 영역들을 확인하는 것은 물론 각 DVD 프레임으로부터 필라 박스를 제거한다. 입력 신호(302)가 방송 비디오 신호인 경우에, MCFRC 콘트롤 유닛(304)은 바람직하게는 각 비디오 프레임과 관련된 티커 심볼(ticker symbol)과 스태틱 채널 로고(static channel logo)를 확인하고, 여기서 티커 심볼은 종종 프레임에서 장면의 나머지와 비교해서 완전히 반대 방향으로 일정한 속도로 롤한다(roll). 처리된 프레임의 시퀀스는 국부 및 전역 움직임 추정을 위해 링크(322,324)를 경유해서 움직임 추정 엔진(306)으로 전달된다.
다른 실시예에서,입력 비디오 신호(302) 및 입력 비디오 신호(302)에 대한 추가적인 정보는 각각 입력(316,330)을 경유해서 MCFRC 콘트롤 유닛(304)으로 전송된다. 특히, 비디오 정보 신호(316)는 예를들어 비디오에 추가되어야 할 합성 정보(synthetic information) 또는 움직임 벡터들이 추정되는데 사용되는 정확성에 영향을 줄 수 있는 비디오 기원의 정보와 같은 입력 비디오 신호(302)에 대한 추가 정보를 제공한다. 예를들어, 입력 신호가 컴퓨터 그래픽스 신호로 알려져 있다면, 신호는 비디오-기원의 신호와 비교하여 수평 및 수직 방향들 모두에서 훨씬 예리한 전이(sharper transition)를 가지기 쉽다. 그래픽스 기원의 비디오 입력들에 관련된 움직임 벡터들은 전형적으로 일단 이 정보가 움직임 추정 엔진(306)에 제공된다면 보다 정확하게 예측된다. 그러나, 비디오 기원이 움직임 추정 엔진(306)에 제공 되지 않는다면, 결과적인 움직임 벡터들은 당연히 부정확하게 예측될 수 있다.
또다른 실시예에 따르면, "씬-컷(scene-cut)" 검출 회로가 비디오 신호 내의 특정 프레임들에 대해 보션 보상 보간 모듈(310)의 기능을 억제하는(disable) 것을 결정하도록 제공될 수 있다. 움직임 보상 보간 시스템은 장면이 변하는 동안에는 정확한 움직임 추정을 제공하지 못할 수 있다. 이와같이, 입력 신호(302)의 움직임 보상 보간은 이러한 반대 결과들이 결과적인 업-컨버트된 비디오 시퀀스를 지배할 때에는 중지될 수 있다. 보간을 일시적으로 중지하는 결정은 MCFRC 콘트롤 유닛(304)에서 결정될 수 있는데, 이는 링크(322,324)를 경유해서 움직임 추정 엔진(306)으로부터 수신된 전역 및 국부 움직임 정보의 분석에 기초한다. MCFRC 콘트롤 유닛(304)은 통신 링크(326)를 경유해서 움직임 보상 보간 모듈(310)을 인에이블 및 디스에이블할 수 있다. 결정이 보간을 수행하도록 만들어진 경우, MCFRC 콘트롤 유닛(304)은 채널(330)로부터 입력 비디오 신호(302)를, 채널(316)로부터 선택적 비디오 정보 신호를, 링크(322)로부터 전역 움직임 신호를, 그리고 링크(324)로부터 국부 움직임 신호를 움직임 보상 보간 모듈(310)로 전달하여, 움직임-보상의 보간을 준비한다. 그렇지 않다면, 정보는 출력(314)을 경유해서 다음 스테이지로 선택적으로 전달될 수 있다. 어떤 다른 기준도 MCFRC 콘트롤 유닛(304)에 의해 사용되어 움직임 보상 보간을 인에이블 및 디스에이블할 수 있다는 점을 이해해야 한다.
도4는 도3에 도시된 움직임 추정 엔진(306)의 전역 어파인 움직임 추정 모듈(318)의 구현예를 도시하고 있다. 전역 어파인 움직임은 일반적으로 비디오 시퀀 스의 백그라운드에서의 픽셀의 움직임을 말하는데, 그것은 흔히 줌(zoom), 팬(pan) 또는 로테이트(rotate)와 같은 카메라 움직임에 의해 유도된다. 몇 구현예에서, 비디오 프레임 시퀀스 내의 백그라운드 픽셀들이 모두 단일 공통 전역 움직임에 지배되는 것을 생각해 볼 수 있다. 전역 어파인 움직임 추정은 보통 몇 개의 기본 파라메터들을 이용하여 백그라운드 움직임의 모델링을 제공한다. 특히, 어파인 모델은 단지 6개의 어파인 파라메터들을 이용하여 주어진 쌍의 프레임들 사이의 전역 움직임 궤적을 표현한다. 어파인 파라메터들 중 2개는 카메라의 줌 움직임을 캡쳐하는데 사용되는 스케일링 파라메터들이고, 2개는 로테이션 파라메터들이고, 그리고 2개는 패닝 움직임(panning motion)을 캡쳐하는데 사용되는 트랜스레이션 파라메터들(tranlation parameters)이다. 이들 6개 어파인 파라메터들은 전역 움직임 예측의 측면에서 상당한 유연성을 제공한다.
도4에 도시된 바와 같이, 전역 어파인 움직임 추정 모듈(400)은 2-스테이지 프로세스인데, 여기서 제1 스테이지(402)는 코어스 해상도(coarse resolution)의 어떤 쌍의 프레임들 사이에 한 세트의 어파인 파라메터들의 개략적 추정(rough estimation)을 제공한다. 보다 상세하게는, 제1 스테이지는 위상-상관 스킴을 이용하여 전역 트랜스레이션 파라메터에 관련된 2개의 어파인 트랜스레이션 파라메터들을 추정하고, 그것은 도5-7에서 상세히 설명된다. 제1 스테이지는 또한 전역 로테이션 및 스케일링 움직임들에 관련되는 4개의 나머지 어파인 파라메터들을 예측한다. 이들 예측은 이전 프레임 쌍들로부터와 같이 과거 추정들로부터 계산된 대응 어파인 값들에 기초한다. 결과적인 어파인 파라메터들은 이후 더 미세한(finer) 해 상도 레벨의 개선(refinement)를 위해 제2 스테이지(406)로 보내진다.
특히, 도4의 실시예에 따르면, 프레임들 시퀀스를 갖는 액티브 비디오 입력 신호(404)는 전역 어파인 움직임 추정 모듈(400)의 스테이지(402)로 공급된다. 어떤 실시예들에서, 서브타이틀, OSD 메뉴들 등과 같은 모든 비-필수적 비디오 정보는 전역 어파인 움직임 추정 모듈(400)로 공급되기 전에 액티브 비디오 입력 신호(404)로부터 제거된다. 스테이지(402)에서, 전역 트랜스레이션 또는 패닝 움직임(panning movement)에 관련한 단지 2개의 어파인 트랜스레이션 파라메터들이 추정된다. 전역 트랜스레이션 움직임을 분리하는 이유는 카메라 움직임이 성질상 두드러지게 트랜스레이션적이고(translatory), 그리고 큰 트랜스레이션 범위들(large translation ranges)이 보통 캡쳐하기 어렵다는 것이다. 상업적으로 이용가능한 움직임 추정 툴들의 대부분은 매우 한정된 측정 범위를 가지고 있고, 종종 움직임이 허용 범위 밖에 있을 때 부정확한 움직임 측정을 만들어낸다. 비교하면, 본 발명의 전역 트랜스레이션 추정 기술은 입력 프레임의 픽처 사이즈의 절반까지 트랜스레이션 움직임 범위를 정확하게 측정할 수 있다. 이 전역 트랜스레이션 추정은 코어스하게(coarsely) 표현된 프레임들의 각 쌍에 적용되는 위상-상관 스킴을 이용함으로써 얻어진다. 위상-상관 스킴의 상세한 것은 도5와 관련하여 아래에서 설명된다. 2개의 코어스하게 추정된 어파인 트랜스레이션 파라메터들을 갖는 코어스 트랜스레이션 추정(
Figure 112008090874099-PCT00001
)은 모듈(402)에 의해 제공된다. 추가적으로, 4개의 나머지 어파인 파라메터들의 코어스 추정(
Figure 112008090874099-PCT00002
), 그것은 2개의 어파인 로테이션 파라메터들과 2개의 어파인 스케일링 파라메터들을 포함하고, 이전 프레임들로부터 이들 파라메터들의 과거 추정들에 기초하여 계산된다.
이들 코어스 레벨 어파인 파라메터 추정들(
Figure 112008090874099-PCT00003
,
Figure 112008090874099-PCT00004
)은 이후 추가적인 라파인먼트를 위해 RANSAC 기반의 어파인 파라메터 라파인먼트 모듈(406)로 전송된다. 이 라파인먼트는 먼저 스테이지(402)로부터의 코어스하게 추정된 어파인 파라메터들을 이용하여 기준 프레임 이미지를 움직임 보상함으로써 달성된다. 이와같이, 보상된 기준 프레임과 현재 프레임 사이의 차이(difference)는 양을 측정하는데, 이 양만큼 코어스하게 추정된 어파인 파라메터들이 조정되어 보상된 기준 프레임 이미지가 현재 프레임 이미지와 거의 나란하게 되도록 한다. 한 실시예에서, RANSAC 기반의 기술이 그러한 개선를 제공하기 위해 이용된다. 이 RANSAC 기반의 방법(406)은 가장 미세한 해상도로 표현된 현재 프레임으로부터 미리 정해진 수의 랜덤하게 -위치된 픽셀들의 블록들을 먼저 선택함으로써 동작한다. 이들 블록들은 또한 보상된 기준 프레임에 대응하는 상대 블록들을 갖는다. 분할 마스크(segmentation mask)가 이후 프레임 이미지의 포어그라운드와 백그라운드 영역들을 구별하기 위해 움직임-보상된 현재 프레임에 적용된다. 프레임의 백그라운드 영역들에 속하는 블록들만이 전역 움직임 예측에 관련된 어파인 파라메터들을 개선하는데 사용된다. 이는 백그라운드 픽셀들의 움직임들만이 어파인 파라메터들에 의해 근사화되는 전역 움직임에 지배된다고 생각되기 때문이다. 개선된 트랜스레이션 추정(Ai)과 예측 추정(Bi)은 결과로서 어파인 파라메터 개선 스테이지(406)으로부터 생성된다. 분할 마스크 의 계산은 아래에서 설명된다.
도5는 위상 상관 기술의 블록 다이어그램 구현예(500)를 도시하고 있다. 위상 상관 기술은 도4의 전역 트랜스레이션 추정 및 예측 스테이지(402)에 구현되어 2개의 연속 프레임들 사이의 전역 트랜스레이션 움직임에 관련된 어파인 파라메터들의 코어스-레벨의 예측을 제공한다. 위상 상관은 둘 다 퓨리에 도메인에서 표현되는 트랜스레이션된 이미지와 그것의 기준 이미지 사이의 위상 차이만이 있음을 제공하는 퓨리에 시프트 성질을 이용함으로써 이러한 트랜스레이션 움직임을 측정한다. 더구나, 이 위상 차이의 지수의 역 퓨리에 변환은 상관 면(correlation surface)을 생성하는데, 이로부터 2개 이미지 프레임들 사이의 트랜스레이션 움직임의 측정이 얻어질 수 있다. 이 동작을 예시하는 예가 아래에 제공된다.
표준 화질 텔레비젼의 퓨리에 변환은 대부분 어플리케이션들에 대해서 엄청나게 비싼 것으로 여겨진다. 그러한 동작의 복잡성을 줄이기 위해, 기준 및 현재 프레임들은 각각 코어스 해상도 레벨에서 표현되고, 여기서 이미지들은 퓨리에 변환이 수행되기 전에 미리 정해진 팩터에 의해 다운-샘플된다. 이 다운-샘플링은 수평 및 수직 방향 모두에서 각 이미지를 데시메이트(decimate)하기 위한 도5의 데시메이션 모듈(502)를 통해 얻어진다. 한 실시예에서, 이미지의 데시메이션은 폴리-위상 분리 필터링(poly-phase separable filtering) 방법을 이용하여 달성된다. 결과적인 데시메이트된 이미지 프레임들은 각각 수직 및 수평 방향 모두에서 고속 퓨리에 변환된다(FFT:fast-Fourier transformed). 이 2D FFT는 2개의 연속 1D FFT 동작들을 적용함으로써 실현되고, 여기서 데시메이트된 이미지는 보통 모듈(504)를 경유해서 칼럼 FFT 오퍼레이션을 겪기 전에 모듈(504)를 경유해서 로우 FFT 오퍼레이션을 겪는다. 기준 및 현재 프레임들에 상응하는 FFT 결과들은 각각 2D 복합 데이터 어레이(complex data array)로 표현되고, 그리고 임시적 데이터 저장을 위해 메모리(508)에 놓이게 된다. 이후, 위상 차이들의 2D 어레이는 2개의 복합 데이터 어레이들로부터 생성된다. 위상-차이 어레이의 엘리먼트 방식의 지수((element-wise exponential)는 이후 1D 칼럼 IFFT 오퍼레이션(514)을 수반하는 1D 로우 IFFT 오퍼레이션(512)을 경유해서 역의 고속 퓨리에 변환될 수 있는 매트릭스를 생성하도록 취해진다. 메모리 블록(516)은 이들 칼럼(514) 및 로우(512) IFFT 오퍼레이션들 동안에 임시적인 데이터 저장을 위해 사용될 수 있다. 그러한 2D IFFT 오퍼레이션으로부터, 2D 데이터 어레이로서 표현되기도 하는 정규화된 상관 면은 결과적으로 출력(518)에서 생성되고, 그리고 최대값들 계산 모듈(520)로 공급된다. 최대값들 계산 모듈(520)은 최대값의 이웃 값들의 몇몇은 물론 상관 면 어레이의 최대값의 값과 위치를 결정함으로써 동작한다. 종국적으로, 서브-픽셀 보간 모듈(522)이 전역 트랜스레이션 추정을 생성하기 위하여 최대값과 그것의 이웃 값들을 보간하는데 사용될 수 있다. 위상차 계산은 물론 2D FFT 동작의 세부사항은 아래에서 설명된다.
도5의 각 퓨리에 변환의 출력은 2D 어레이의 복소수들이다. 각 복소수의 플로팅 포인트 표현(floating point representation)을 저장하는 데 필요할 수 있는 비트 수는 주의깊게 고려되어야 하는데, 이는 유한-정밀 산술(finite-precision arithmetic)로 인한 정량화 효과가 결과적 움직임 추정의 정확성에 직접 기여하기 때문이다. 한 실시예에서, 192 비트 플로팅 포인트 FFT는 로우 FFT 오퍼레이션을 구현하기 위해 모듈(504)에서 사용될 수 있고, 그리고 128 비트 플로팅 포인트 FFT는 칼럼 FFT 오퍼레이션을 구현하기 위해 모듈(506)에서 사용된다. 도6은 예시적인 256×256 비트 2D FFT 디자인(600)을 도시하고 있다. 디자인(600)의 각 단계에서 사용되는 예시적 비트 정밀도(precision)가 또한 제공된다. 로우 FFT 구현은 칼럼 FFT 오퍼레이션과 실질적으로 동일하고, 여기서 입력 프레임은 1D FFT 오퍼레이션에 의해 제1 방향으로 변환된 후에 위치 변환되고(90°회전되고), 그리고 유사한 1D FFT 오퍼레이션을 이용하여 제2 방향으로 유사하게 변환된다. 2D FFT 오퍼레이션은 2개의 거의 동일한 1D IFFT 오퍼레이션들을 이용하여 유사하게 구현될 수 있다.
도7은 도5의 위상차 계산 모듈(510)의 예시적 블록 다이어그램(700)을 제공하고 있다. 2개의 복소수 데이터 어레이들 내의 대응하는 엘리먼트들로부터 얻어지는 한 쌍의 복소수 값들은 입력들(702,710)로서 예시적 위상차 계산 모듈(700)로 공급된다. 도7에 예시된 한 실시예에서, 입력들(702,710)은 각각 퓨리에 도메인에서 데시메이트된 기준 및 현재 이미지 프레임들을 나타내는 2개의 복소수 데이터 어레이들로부터 취해진다. 입력들(702,710)의 실수 및 허수 부분들은 분리되고 나누어진다. 복소수 입력들(702,710)에 관련된 위상들은 이후 각각 오퍼레이션들(704,712)에서 얻어진 몫들(quotients)의 크기에 기초하여 각각 아크탄젠트(arctan) 룩업 테이브들(706,714)을 각각 이용하여 입력 신호들의 허수 및 복소수 부분들의 몫으로부터 결정된다. 직교 보정 모듈들(quadrature correction modules)(708,716)에서 개선된 후 이어서 2개 위상들은 가산기(adder)(718)를 경유해서 서로에서 공제되어 위상차(718)를 생성한다. 유사하게, 이 오퍼레이션은 위상차들의 2D 어레이를 생성하기 위해서 현재 및 기준 FFT 데이터 어레이들 내의 대응하는 엘리먼트들의 모든 쌍들에 적용될 수 있다.
도5-7의 구현예에 따라 전역 움직임 추정이 수행된 후, 어파인 움직임 값들은 전역 움직임 보상을 위해 적절한 픽셀들에 할당될 수 있다. 프레임의 포어그라운드에 속하는 픽셀들은 예를들어 분할 마스크를 이용하여 백그라운드 내의 그것들과 구별되어야 한다. 백그라운드에 속하는 픽셀들은 아래에서 설명되는 6개 어파인 파라메터들에 의해 근사화되는 단일 전역 움직임에 지배되는 것으로 간주될 수 있다. 한편, 포어그라운드 픽셀들은 같은 전역 움직임에 의해 움직이지 않는다. 그러한 픽셀들에 대해, 적절한 국부 움직임 벡터들 또는 수정된 전역 움직임 벡터들이 결정될 수 있다.
도8은 분할 마스크의 초기 버젼을 계산하는 예시적 어프로치를 제공하고 있다. 도시에 따르면, 전역-보상 프레임(802)과 원 프레임(804)은 입력들로서 시스템(800)으로 공급된다. 2개 입력 프레임들 사이의 픽셀 마다의(per-pixel) 절대 차이들은 이후 가산기 오퍼레이션(805)과 절대값 오퍼레이션(806)에서 계산된다. 픽셀 마다의 절대 차이들의 결과적 어레이는 합산 및 비교 모듈(sum and compare module)(808)로 공급되고, 여기서 절대 차이들이 픽셀들의 블록들에 대해 합해지고 그리고 임계치(807)와 비교된다. 절대 차이들의 블록 합계가 임계치보다 크면, 픽섹들의 전체 블록은 프레임의 포어그라운드에 속하는 것으로 분류될 수 있다. 그렇 지 않으면, 블록은 프레임의 백그라운드에 속하는 것으로 분류될 수 있다. 모듈(808)은 이 정보를 제공하기 위해 프레임 내의 픽셀들의 각 블록을 위해 단일 비트 바이너리 출력을 생성하고, 그리고 이들 출력들의 집합은 프레임에서 백그라운드 블록들로부터 포어그라운드 블록들을 잠정적으로 구별하는 분할 맵(809)을 형성한다. 잡음 및 분리 움직임 구역들의 존재로 인해, 분할 맵(809)은 잘못 분류된 블록 구역들을 포함할 수 있다. 따라서, 분할 맵(809)은 보다 균질의 초기 분할 마스크(814)를 생성하기 위해 다이레이션(dilation)을 수반하는 클로징(closing)(810)과 같은 바이너리 형태적 오퍼레이션들(binary morphological operations)에 지배된다.
도9은 도8의 프로세스로부터 얻어지는 초기 분할 마스크(902)에 기초하여 최종 분할 마스크를 계산하는 예시적 어프로치(900)를 도시하고 있다. 분할 마스크(902)는 맵을 제공하는데, 이에 따라 적절한 보상 스킴들이 이미지 프레임의 개별 픽셀들에 적용될 수 있다. 시스템(900)은 초기 분할 마스크(902) 내 여러 연결 객체들을 검출함으로써 동작하고, 이로부터 픽셀들은 특정 보정 처리(correction treatment)를 수신하기 위해 재-분류될 수 있다. 한 실시예에서, 연결-컴포넌트 분석(904)이 모듈(904)에서 이용되어 연결 객체들을 확인한다. 특히, 2개 객체들이 단지 몇 개의 픽셀들에 의해 분리되어 있으면 작은 객체는 더 큰 객체의 일부인 것처럼 보일 수 있다. 도9의 예시된 실시예에서, 2×2 해상 블록 사이즈는 연결-컴포넌트 분석에서 이용되어 객체-연결 확인의 전체 비용을 줄이게 된다. 그러나, 3×3, 4×4 등과 같은 다른 해상 사이즈들도 가능하다. 연결-컴포넌트 분석의 결론에 서, 모듈(904)은 모든 연결 객체들을 초기 분할 마스크(902)로부터 확인하는 라벨의 리스트를 출력하고, 여기서 각 객체는 프레임 내의 객체의 위치를 특정하는 인덱스와 대응한다. 인덱스들과 라벨들의 리스트는 이후 모듈(906)로 공급되고, 이것으로부터 객체 당 에지 블록들의 수가 계산된다. 미리 정해진 임계치(912)를 갖는 객체 내 블록들의 수를 비교함으로써 결정될 때 객체가 작다면, 객체의 블록들은 이미지 프레임의 백그라운드에 속하는 것으로 분류될 수 있다. 이들 백그라운드 블록들은 위에서 설명된 바와 같이 전역 어파인 움직임 추정 파라메터들을 이용하여 보상될 수 있다. 그러나, 객체에 관련된 블록들의 수가 크다면, 그 블록들은 이미지 프레임의 포어그라운드에 속하는 것으로 분류될 수 있고, 그리고 전역 움직임 보상 스킴보다 더 정확할 수 있는 국부 움직임 보정 어프로치에 지배될 수 있다.
본 발명의 다른 양상에 따르면, 입력 프레임에 대한 객체 에지 맵의 강력한 생성을 위한 절차는 의미있는 에지 강도들을 갖는 프레임에서 그 객체들을 확인할 목적으로 제공된다. 객체에 관련된 에지 강도의 부족은 객체와 그것의 인접한 주위 사이의 대조가 희미하다는 것을 의미한다. 따라서, 객체가 분할 마스크에 의해 지시되는 것과 같이 입력 프레임의 포어그라운드에 있다 하더라도, 전역 움직임 보상은 객체 내의 픽셀들에 적용될 수 있다. 이것은 미미한 에지 강도의 객체에 보다 정확한 보상 스킴을 적용함으로써 생성된 결과들이 전역 움직임 보상 방법을 적용함으로써 생성된 것들과 동일할 수도 있기 때문이고, 그리고 전역 움직임 보상 기술은 2개 방법들 중에서 보다 비용 효과적일 수 있다. 따라서, 계산 효율성의 관심에서, 강력한 객체 에지 맵 생성 기술은 강한 에지 강도들을 갖는 객체들을 검출하 는데 제공된다. 이 방법에 따르면, 주어진 이미지 프레임 내의 모든 픽셀 블록에 대해 2개의 고유값들이 생성되고, 여기서 고유값들은 각각 블록의 수평 또는 수직 방향들의 측정과 대응한다. 예를들어, SDTV 해상도 표준이 2×2 블록 사이즈와 함께 사용된다고 가정하면, 수평 방향의 360 블록들과 수직 방향의 288 블록들의 전체가 각 SDTV 이미지 프레임에 대해 생성된다. 모든 고유값들의 최대값들(ev_max)가 이후 결정된다. 고유값들이 최대값에 의해 측정된 미리 정해진 범위 내, 예를들어 범위 [0.8*ev_max,ev*max] 내에 있는 그 블록들은 의미있는 에지 강도들을 가지는 것으로 확인될 수 있고 그래서 전역 움직임 보정 기술보다 더 정밀한 움직임 보상을 요구할 수 있다. 이들 블록들은 1의 값이 할당될 수 있는데, 이는 그것들을 0의 값이 할당될 수 있는 나머지 블록들과 구별하기 위한 것이다. 결과적으로, 객체 에지 맵이 생성되고, 여기서 1의 블록들은 이미지 프레임에서 의미있는 에지 강도들을 갖는 그 객체들과 확실하게 구별한다. 더구나, 1과 0의 블록들의 사용으로 인해, 객체 에지 맵 자체는 잡음 오염에 상당한 내성을 갖는다. 이 예에서 2×2 블록 사이즈가 이용되었지만, 4×4와 같은 다른 블록 사이즈들도 가능하다.
도10은 프로세스(1000)을 예시하고 있는데, 여기서 입력 프레임(1002) 내 픽셀들의 각 블록과 관련되는 한 쌍의 고유값들이 계산된다. 각 고유값은 그것의 블록의 수직 또는 수평 방향의 측정과 대응하고, 그리고 휘도(luma) 또는 강도(intensity) 도메인에서 표현되는 블록의 픽셀 값들로부터 계산된다. 5×5 블록 사이즈가 사용된다고 가정하면, 프레임(1002)의 픽셀 강도 값들은 5×5 윈도우 사 이즈의 2차원 가우시안 필터(1004)에 의해 먼저 필터된다. 가우시안 필터(1004)를 적용하는 주된 목적은 잡음을 없애고 각 블록 내의 작은 객체들을 분리하여 고유값 계산을 위한 후보들로서 그것들을 제거하는 것이다. 이것은 보다 엄격한 보상 처리를 위하여 의미있는 에지 강도들을 갖는 그 큰 객체들을 지배하는 것에 있어서는 보다 비용 효과적이기 때문이다. 5×5의 블록 사이즈의 가우시안 필터에 대해, 사이즈 720×8 비트들의 4개 라인 버퍼들 각각은 그러한 필터 사이즈를 지원하기 위해 사용될 수 있다. 이 라인 버퍼들은 SRAM에서 구현될 수 있다. 다른 예에서, 가우시안 필터(1004)는 3×3과 같은 보다 작은 블록 사이즈를 이용할 수 있는데, 이는 실리콘 구역 사용을 최소화하기 위한 것이다. 결과적으로, 라인 버퍼 하드웨어의 사이즈를 50 % 줄이는 것이 5×5 블록 사이즈와 비교하여 얻어질 수 있다.
가우시안 필터(1004)로부터 필터된 2D 강도 값 어레이(1005)가 어레이(1005) 내의 강도 값들의 구배(gradient)를 구하기 위한 구배 오퍼레이션 모듈(1006)로 공급된다. 한 실시예에서, 구배는 수평 및 수직 방향 모두에서 어레이(1005)의 이웃하는 강도 값들 사이의 1차 차이들(first-order differences)을 얻는 것에 기초하여 계산된다. 이 1차 차이 계산은 블록 단위로 적용된다. 예를들어, 데이터 어레이(1005)의 다음의 2×2 블록을 고려하자. 여기서 블록은 오른쪽 이웃들에 강도 C와 F를 갖고 바닥쪽 이웃들에 강도 G와 H를 갖는 강도 값들 A,B,D 및 E를 갖는다.
Figure 112008090874099-PCT00005
블록의 수평 및 수직 방향들에서 1차 차이 구배는 다음과 같이 계산될 수 있다.
Figure 112008090874099-PCT00006
그리고,
Figure 112008090874099-PCT00007
방정식 1
동일한 구배 계산이 입력 프레임(1002)에서 2D 데이터 어레이(1005)의 모든 2×2 블록에 적용될 수 있고, 그래서 수직 구배 값들의 어레이(1010) 뿐 아니라 수평 구배 값들의 어레이(1008)를 생성하고, 이들 둘 모두는 제곱 회로(squaring circuit)(1012)로 제공된다. 이들 입력 구배 어레이들에 기초하여, 제곱 회로(1012)는 다음의 어레이 출력들(1014,1016, 1018)을 생성한다.
Figure 112008090874099-PCT00008
방정식 2
여기서,
Figure 112008090874099-PCT00009
는 내적(dot product) 오퍼레이션을 나타낸다. 방정식 2로부터의 3개 출력들 각각은 또한 구배 값 어레이들(1008, 1010)과 같은 크기를 갖는 2D 데이터 어레이다. 이들 3개 출력 어레이들(1014,1016,1018)은 이후 추가 처리를 위해 2D 평균 계산 모듈(1020)로 보내진다.
2차원 평균 계산 모듈(1020)은 어레이들의 블록마다 스칼라 평균값을 생성하기 위해 블록 단위로 각 입력 어레이(1014,1016,1018)의 제곱된 구배 값들을 평균함으로써 동작한다. 예를들어, 2×2 블록 사이즈가 이용되는 경우, 각 블록의 4개 구배 값들이 단일 스칼라 값을 생성하기 하기 평균된다. 결과적으로,
Figure 112008090874099-PCT00010
,
Figure 112008090874099-PCT00011
,그리고
Figure 112008090874099-PCT00012
로 표현되는 평균 제곱 구배값들의 3개 2D 어레이들(1022,1024,1026)은 모듈(1020)로부터 생성된다. 각 2D 어레이는 전체 이미지에 대해 모든 스칼라 값들을 포함하게 된다. 이후 이들 3개 평균 제곱 구배 어레이들은 고유값 계산 모듈(1030)로 공급되고, 여기서
Figure 112008090874099-PCT00013
,
Figure 112008090874099-PCT00014
,그리고
Figure 112008090874099-PCT00015
,에 기초하여 입력 프레임(1002) 내의 픽셀들의 각 블록에 대해 2개의 고유값들이 생성될 수 있다.
도11은 도10의 고유값 계산 모듈(1030)의 구현예(1100)를 제공하고 있다. 도시된 바와 같이,
Figure 112008090874099-PCT00016
어레이는 차이 매트릭스(R)를 생성하기 위해 가산기(1102)에서
Figure 112008090874099-PCT00017
로부터 공제된다. 이 차이 매트릭스는 이후 오퍼레이션(1104)에서 엘리먼트 방식으로 제곱되고 그리고
Figure 112008090874099-PCT00018
가 엘리먼트 방식의 제곱 오퍼레이션(1108)과 4 곱셈의 팩터를 겪은 후에 가산기(1106)에서
Figure 112008090874099-PCT00019
어레이에 더해진다. 결과적인 합 매트릭스(1106)는 오퍼레이션(1110)에서 다시 엘리먼트 방식으로 제곱되어 매트릭스(S)를 생성한다. 고유값 어레이(Ev1, Ev2)는 이후 다음과 같이 계산될 수 있다:
Ev1= 0.5*(R+S)
Ev2= 0.5* (R-S),
여기서, 어레이들(Ev1,Ev2) 내 각 엘리먼트는 도10에 도시된 바와 같이 입력 이미지 프레임(1002)의 픽셀들의 각 블록에 대응하는 고유값이다. 이들 고유값들은 의미있는 에지 강도들을 갖는 그들 픽셀들을 확인하는 객체 에지 맵을 결정하는데 사용될 수 있고, 그래서 국부 움직임 추정의 후보들일 수 있다.
도10과 11의 도시된 실시예에서, 2×2의 블록 사이즈가 고유값들의 계산을 위해 사용된다. 그러나, 더 큰 블록 사이즈를 이용함으로써 하드웨어 사용을 줄이는 것이 가능하다. 또한, 더 작은 블록 사이즈를 이용함으로써 추정 정확도를 높이는 것이 가능하다. 추가적으로 각 고유값이 포지티브, 분수 및 0에서 1까지 변하기 때문에 고유값들을 표현하기 위해 8비트 정도를 사용하는 것은 수의 관점에서 충분한 정확성을 제공할 수 있다. 그러나, 다른 정도 값들이 사용될 수도 있다.
요약하면, 분할 마스크 계산 프로세스가 도8과 9에 대해 위에서 설명되어 있다. 결과적인 분할 마스크는 이미지 프레임의 포어그라운드 및 백그라운드에 속하는 그들 객체들을 확인하는데 사용될 수 있다. 추가적으로, 객체 에지 맵 생성 프로세스는 도10과 11에 관련되어 위에서 설명되어 있다. 결과적인 객체 에지 맵은 의미있는 에지 강도들을 갖는 프레임의 그들 객체들을 분리하는데 사용될 수 있다. 분할 마스크 및 객체 에지 맵의 결합은 움직임 추정 정확성 및 효율성을 최대화하기 위해서 이미지 프레임의 서브 구역들에 적용되는 적절한 보정 기술들을 결정하는데 사용될 수 있다. 일반적으로, 프레임 내의 픽셀들의 각 블록은 설명된 에지 강도는 물론 블록의 포어그라운드/백그라운드 분류에 기초하여 3개 타입의 움직임 보상을 겪게 된다. 이들 3개 타입은 전역 움직임 보상, 수정된 전역 움직임 보상, 그리고 국부 움직임 보상이다. 포어그라운드 내의 각 블록은 도9에 도시된 것과 같은 분할 마스크에 의해 확인되고, 그리고 이미지 프레임의 객체 에지 맵에 의해 결정되는 국부 움직임 보상 또는 수정된 전역 움직임 보상의 지배를 받는다. 분할 마스크를 이용하여 확인가능한 프레임의 백그라운드 내의 블록들은 도4-7의 프로세스들에서 얻어진 전역 어파인 파라메터들을 이용하여 전역 움직임 보상에 지배된다. 국부 및 수정 전역 움직임 보상은 물론 이 보상 타입 선택 프로세스의 세부사항은 아래에서 설명된다.
도12는 2개 픽셀 블록들 사이의 움직임을 캡쳐하는 국부 움직임 벡터의 편차(deviation)에 대해 이용되는 기술의 실시예를 제공하고 있는데, 여기서 하나의 블록은 기준 프레임에 있고 다른 블록은 현재 프레임에 있다. 블록들의 쌍은 그들의 이웃 블록들의 움직임과 반대로 그들의 움직임 움직임들에 기초하여 검출될 수 있다. 예를들어, 움직임 검출은 상관하는 블록들의 쌍 사이의 움직임이 그것의 이웃 블록들의 균일한 전역 움직임과 다른 방향일 수 있다는 관찰에 기초할 수 있다. 도12의 실시예에 따르면, 3×3 블록 배열(1200)의 중앙 블록(1205)이 그것의 국부 벡터가 추정되는 현재 프레임 상의 관심 블록으로 선택된다. 현재 프레임 처리의 시간(t)에서, 블록(1205)은 블록(1205)으로부터 각각 북,동,남 및 서에 위치하는 4개의 이웃 블록들(1201-1209)을 갖는다. 추가로, 현재 프레임은 일시적으로 인접하는 기준 프레임을 갖는데 이는 현재 프레임 이전의 시간(t-1)에서 처리된다. 이 기준 프레임은 현재 프레임의 블록들(1201-1209)에 1대1 대응을 갖는 한 세트의 블록 들을 포함한다. 현재 프레임 내의 블록(1205)의 움직임 벡터는 이전 프레임의 블록들(1201-1204)에 대한 시간(t-1)에서 계산된 전역 움직임 벡터로부터 근사화될 수 있는데, 이는 중앙 블록의 움직임이 그것의 이웃 블록들의 그것에서 단지 미세하게 편차되어 있다는 것이 가정될 수 있기 때문이다. 시간(t+1)의 다음 프레임에서, 블록들(1206-1209)의 각각의 움직임 벡터는 시간(t)에서 계산된 그것의 북,남,서 및 동의 이웃들의 움직임으로부터 추정된다. 그래서, 프레임의 시퀀스에서 움직임 값들은 이미지 시퀀스에서 프레임들의 각 시간적 개선을 갖는 그들의 이웃 값들에 기초하여 성공적으로 개선된다(refined).
도12는 또한 본 발명의 다른 양상에 따른 수정된 전역 움직임 보상을 설명하는데 사용될 수 있다. 이 수정 전역 움직임 보상 기술은 전역 움직임 보상이 블록 움직임의 추정에 대해 충분히 정확하지 않은 상황에서 사용될 수 있을 것 같다. 그래서, 작은 보정이 결과적인 정확성을 개선하기 위해 전역 어파인 파라메터들에 더해져야 한다. 다시 도12의 실시예를 참조하면, 3×3 블록 배열(1200)의 중앙 블록(1205)이 블록(1205)으로부터 각각 북,동,남 및 서에 위치하는 4개의 이웃 블록들(1201-1209)을 갖는 현재 프레임 상의 관심 블록으로 선택된다. 현재 프레임의 전역 움직임 보상 버전이 제공될 수 있는데, 이로부터 수정 전역 움직임 보상이 결정된다. 이 전역 움직임 보상 현재 프레임은 현재 프레임의 블록들(1201-1209)에 1대1 대응을 갖는 한 세트의 블록들을 포함한다. 현재 프레임 내의 블록(1205)의 움직임 벡터는 대응하는 전역 움직임 보상 프레임의 블록들(1201-1204)에 대한 전역 움직임 벡터로부터 근사화될 수 있다. 특히, 전역 움직임 보상 프레임 상의 그것의 이웃 블록들(1201-1204)의 각각에 대해 계산된 단일의 균일 움직임 벡터로부터 모든 방향에서 증가량만큼, 블록(1205)은 트랜스레이션되거나 움직임 시프트된다. 결과적인 최적 매칭 벡터는 블록(1205)의 최종 움직임 벡터가 된다. 이 증가량은 보정 파라메터들(Xc와 Yc)의 쌍으로 표현될 수 있고, 여기서 Xc는 수평 전역 방향에서 스칼라 시프트를 나타내고 그리고 Yc는 수직 전역 방향에서 스칼라 시프트를 나타낸다.
어떤 실시예들에서, 국부 움직임 추정 스킴은 수정 전역 움직임 보상 스킴과 유사한데, 다만 전자의 경우는 블록 보상량이 현재 및 기준 프레임들의 비교에 기초하여 결정되고 반면에 후자의 경우는 이 양이 현재 프레임의 전역 움직임 보상 버전과 현재 프레임의 비교로부터 결정된다는 것이 다르다. 어떤 구현예들에서, 보상량은 관심 블록을 둘러싸는 픽셀들의 3개 블록들의 범위 내와 같은 관심의 블록으로부터 미리 정해진 범위 내의 그들 픽셀들의 움직임 벡터들에 기초하여 결정된다.
국부 움직임 및 수정 전역 움직임 벡터들의 계산을 위한 이웃 검색 알고리즘을 이용하는 것의 결정적인 이점은 관심 블록 당 한정된 수의 이웃 블록들만이 검색된다는 점이다. 추가로, 그들 이웃 블록 값들로부터 유도되고 개선된 움직임 추정이 이전 프레임들에서 이미 계산되었다는 점이다. 따라서, 이 기술들은 움직임 추정의 효율성을 크게 증가시킨다.
도13은 어느 움직임 보상 스킴이 현재 프레임 내의 각 블록에 대해 사용되어야 하는 지를 선택하는 프로세스를 제공하고 있다. 예를들어, 멀티플렉서(1310)는 먼저 전역 움직임 보상 스킴(1312)과 보다 개선된 보상 스킴(1314)를 적용하는 것 사이에서 선택한다. 이 선택은 프레임 내의 그 포어그라운드 블록들과 그것의 백그라운드 블록들을 구별하는 분할 마스크(1318)의 이용에 기초하여 행해진다. 전역 움직임 보상(1312)은 단지 백그라운드 블록들에 적용된다. 주어진 블록이 보다 정확한 형태의 보정을 필요로 한다면, 멀티플렉서(1302)는 국부 움직임 보상 스킴(1304)과 수정 전역 움직임 보상 스킴(1306)을 그 블록에 적용하는 것 사이에서 선택을 한다. 이 결정은 그러한 블록을 보상하기 위해 국부 움직임 보상 어프로치(1304)와 수정 전역 움직임 보상 어프로치(1306)를 사용하는 것으로부터 생성되는 에러들의 더 작은 것에 기초한다. 따라서, 최종 분할 마스크(1318)는 적절한 움직임 보상 기술로 하여금 각 관심 블록에 대해 선택되도록 허용하고, 이로부터 한 세트의 전역, 국부 또는 수정 전역 움직임 벡터들이 각 블록에 대해 계산될 수 있다.
도14에 도시된 바와 같이 본 발명의 다른 양상에 따르면, 후-처리 절차(1400)가 도13의 회로로부터 얻어진 그 국부 움직임 벡터들(1418)을 개선하기 위해 제공된다. 국부 움직임 벡터들은 일반적으로 간극 효과(aperture effect)뿐 아니라 잡음에 약하다. 그래서, 한 세트의 중간값 필터(median filter)(1402,1404)가 벡터들의 x- 및 y- 방향 모두에서 국부 벡터들(1418)에 적용되고, 이는 국부 보정에 관련된 어떤 역 효과를 최소화하기 위한 것이다. 중간값 필터는 분리된 국부 블록의 모든 이웃 블록들이 분리된 블록의 움직임과는 너무나 다른 유일한 방향으로 움직이는 경우 분리된 블록의 움직임 벡터는 그것이 대략 다수 움직임을 따르도록 하기 위해 보정되어야 한다는 가정에서 동작한다. 입력 분할 마스크(1406)는 중간값 필터들(1402,1404)와 함께 사용되어 그들 분리된 블록들을 확인한다. 중간값 필터링 후에, x- 및 y- 방향 모두에서 개선된 국부 움직임 벡터들(1408,1410)은 x- 및 y- 방향 각각에서 한 세트의 에지 적응 또는 가우시안 필터들(1412,1414)에 의해 추가 처리된다. 가우시안 필터(1412,1414)는 x- 및 y- 방향 모두에서 국부 움직임 벡터들(1408,1410) 각각을 매끄럽게 함으로써(smoothening) 동작하고, 여기서 각 벡터 컴포넌트에 적용된 매끄러움의 양은 도10과 11에 관련되어 위에서 설명된 절차를 이용하여 결정되는 입력 객체 에지 맵(1416)에 의해 결정된다.
본 발명의 또다른 양상에 있어서, 움직임-보상 보간 기술이 입력 기준 및 현재 프레임들의 쌍 사이에 하나 이상의 매개 프레임들을 추정하는데 사용된다. 먼저, 프레임들의 쌍 사이의 객체 움직임들은 블록 단위로 한 세트의 움직임 벡터들에 의해 특징화된다. 움직임 벡터들은 이후 하나 이상의 매개 프레임들을 보간하는 데 사용되어 그것들이 프레임들 사이의 움직임 궤적들을 순차적으로 캡쳐한다. 보다 상세하게는, 도15에 도시된 바와같이, 모듈(1502)은 매개 프레임들의 영역들을 보간하는데 이용되고 여기서 전역 움직임 보상이 필요하다. 이 형태의 움직임 보상 보간은 한 세트의 미리 정해진 전역 어파인 파라메터들(1504)과 한 쌍의 기준(1506) 및 현재 입력 프레임들(1508)에 기초하여 계산된다. 모듈(1510)은 국부 움직임 보상이 필요한 매개 프레임들의 영역들을 보간하는데 이용된다. 이 형태의 움직임 보상 보간은 기준(1506) 및 현재(1508) 입력 프레임들뿐 아니라 한 세트의 미리 정해진 입력 국부 움직임 벡터들에 기초하여 달성된다. 분할 마스크(1514)는 프레임의 각 영역이 보간동안에 전역하게 또는 국부하게 움직임 보상되어야 하는 지를 결정하는데 사용될 수 있다.
실시예들은 예시적이고, 본 발명의 범위를 제한하지 않는다. 개시된 통신 시스템에서 다양한 블록들에 의해 구현되는 여기의 설명 방정식들은 하드웨어 회로들 및/또는 프로세서 상에서 동작하는 소프트웨어 명령들에 의해 계산될 수 있다. 방정식 계산은 방정식에서 정확한 조건 및 연산으로 수행될 필요는 없다. 예를들어, 방정식 계산은 방정식들 계산의 결과를 근사화하는 방정식들에서 보여지지 않은 다른 조건들과 연산들을 사용하여 수행될 수 있다. 이와같이, 통신 시스템에서 여러 블록들이 방정식들을 직접 계산하지 않고 방정식들에 기초하여 계산을 수행할 수 있다.
도16A를 참조하면, 본 발명은 고화질 텔레비젼(HDTV)(1620)에서 구현될 수 있다. 본 발명은 도16A 내에서 일반적으로 확인되는 신호 처리 및/또는 콘트롤 회로들(1622), HDTV(1620)의 WLAN 인터페이스(1629) 및/또는 매스 데이터 스토리지(1627)를 구현할 수 있다. HDTV(1620)는 HDTV 입력 신호들을 유선 또는 무선 포맷으로 수신하고 그리고 디스플레이(1626)를 위한 HDTV 출력 신호들을 생성한다. 몇 실시예에서, 신호 처리 회로 및/또는 콘트롤 회로(1622) 및/또는 HDTV(1620)의 다른 회로들(미도시)은 데이터를 처리하고 코딩 및/또는 암호화를 실행하고, 계산을 수행하고, 데이터를 포맷하고 그리고/또는 필요할 수 있는 다른 형태의 HDTV 처리를 수행한다.
HDTV(120)는 HDD(Hard disk driver)와 DVD(digital versatile disk) 드라이 브를 포함하는 광학 및/또는 마그네틱 스토리지 디바이스들과 같은 비휘발성 방식으로 데이터를 저장하는 매스 데이터 스토리지(1627)와 통신할 수 있다. HDD는 대략 1.8"보다 작은 직경을 갖는 하나 이상의 플래터들을 포함하는 미니 HDD일 수 있다. HDTV(1620)는 RAM, ROM 같은 메모리(1628), 플래시 메모리와 같은 낮은 지연시간 비휘발성 메모리, 및/또는 다른 적절한 전자 데이터 스토리지에 연결될 수 있다. HDTV(1620)는 또한 WLAN 인터페이스(1629)를 경유해서 WLAN과의 연결을 지원할 수 있다.
도16B를 참조하면, 본 발명은 차량(1600)의 디지털 엔터테인먼트 시스템(1604)에서 구현될 수 있는데, 이것은 WLAN 인터페이스(1616) 및/또는 매스 데이터 스토리지(1610)를 포함할 수 있다.
디지털 엔터테인먼트 시스템(1610)은 비휘발성 방식으로 데이터를 저장하는 매스 데이터 스토리지(1610)와 통신할 수 있다. 매스 데이터 스토리지(1610)는 HDD및/또는 DVD 드라이브와 같은 광학 및/또는 마그네틱 스토리지 디바이스들을 포함할 수 있다. HDD는 대략 1.8" 보다 작은 직경을 가진 하나 이상의 플래터들을 포함하는 미니 HDD일 수 있다. 디지털 엔터테인먼트 시스템(1604)은 RAM, ROM 같은 메모리(1614), 플래시 메모리와 같은 낮은 지연시간 비휘발성 메모리, 및/또는 다른 적절한 전자 데이터 스토리지에 연결될 수 있다. 디지털 엔터테인먼트 시스템(1604)은 또한 WLAN 인터페이스(1616)를 경유해서 WLAN과의 연결을 지원할 수 있다.
도16C를 참조하면, 본 발명은 셀룰러 안테나(1651)를 포함할 수 있는 셀룰러 폰(1650)에서 구현될 수 있다. 본 발명은 셀룰러 폰(1650)의 도16C에 일반적으로 확인되는 신호 처리 및/또는 콘트롤 회로들(1651), WLAN 인터페이스(1668) 및/또는 매스 데이터 스토리지(1664)를 구현할 수 있다. 몇 구현예에서, 셀룰러 폰(1650)은 마이크로폰(1656), 스피커 및/또는 오디오 출력 잭과 같은 오디오 출력(1658), 디스플레이(1660) 및/또는 키보드, 포인팅 디바이스, 보이스 액츄에이션 및/또는 다른 입력 디바이스와 같은 입력 디바이스(1662)를 포함한다. 셀룰러 폰(1650) 내의 신호 처리 및/또는 콘트롤 회로들(1652) 및/또는 다른 회로들(미도시)은 데이터를 처리하고, 코딩 및/또는 암호화를 수행하고, 계산을 실행하고, 데이터를 포맷하고 및/또는 다른 셀룰러 폰 기능들을 수행한다.
셀룰러 폰(1650)은 HDD 드라이브 및/또는 DVD 드라이브와 같은 광학 및/또는 마그네틱 스토리지 디바이스들과 같은 비휘발성 방식으로 데이터를 저장하는 매스 데이터 스토리지(1610)와 통신할 수 있다. HDD는 대략 1.8" 보다 작은 직경을 가진 하나 이상의 플래터들을 포함하는 미니 HDD일 수 있다. 셀룰러 폰(1650)은 RAM, ROM 같은 메모리(1666), 플래시 메모리와 같은 낮은 지연시간 비휘발성 메모리, 및/또는 다른 적절한 전자 데이터 스토리지에 연결될 수 있다. 셀룰러 폰(1650)은 또한 WLAN 인터페이스(1668)를 경유해서 WLAN과의 연결을 지원할 수 있다.
도16D를 참조하면, 본 발명은 셋톱 박스(1680)에서 구현될 수 있다. 본 발명은 셋톱 박스(1680)의 도16D에 일반적으로 확인되는 신호 처리 및/또는 콘트롤 회로들(1684), WLAN 인터페이스(1696) 및/또는 매스 데이터 스토리지(1690)를 구현할 수 있다. 셋톱 박스(1680)는 브로드밴드 소스와 같은 소스로부터 신호를 수신하고 텔레비젼과 같은 디스플레이(1688)에 적합한 표준 및/또는 고 화질 오디오/비디오 신호들을 모니터 및/또는 다른 비디오 및/또는 오디오 출력 디바이스들을 경유해서 출력한다. 셋톱 박스(1680)의 신호 처리 및/또는 콘트롤 회로들(1684) 및/또는 다른 회로들(미도시)은 데이터를 처리하고, 코딩 및/또는 암호화를 수행하고, 계산을 실행하고, 데이터를 포맷하고 및/또는 어떤 다른 셋톱 박스 기능들을 수행한다.
셋톱 박스(1680)는 비휘발성 방식으로 데이터를 저장하는 매스 데이터 스토리지(1690)와 통신할 수 있다. 매스 데이터 스토리지(1690)은 HDD 및/또는 DVD 드라이브와 같은 광학 및/또는 마그네틱 스토리지 디바이스들을 포함한다. HDD는 대략 1.8" 보다 작은 직경을 가진 하나 이상의 플래터들을 포함하는 미니 HDD일 수 있다. 셋톱 박스(1680)은 RAM, ROM 같은 메모리(1694), 플래시 메모리와 같은 낮은 지연시간 비휘발성 메모리, 및/또는 다른 적절한 전자 데이터 스토리지에 연결될 수 있다. 셋톱 박스(1680)는 또한 WLAN 네트워크(1696)를 경유해서 WLAN과의 연결을 지원할 수 있다.
도16E를 참조하면, 본 발명은 미디어 플레이어(1700)에서 구현될 수 있다. 본 발명은 미디어 플레이어(1700)의 도16E에 일반적으로 확인되는 신호 처리 및/또는 콘트롤 회로들(1704), WLAN 인터페이스(1716) 및/또는 매스 데이터 스토리지(1710)를 구현할 수 있다. 몇 구현예에서, 미디어 플레이어(1700)는 디스플레이(1707) 및/또는 키보드, 터치 패드와 같은 사용자 입력(1708)을 포함한다. 몇 구현예에서, 미디어 플레이어(1700)는 디스플레이(1707) 및/또는 사용자 입력(1708)을 경유해서 일반적으로 메뉴, 드롭다운 메뉴, 아이콘 및/또는 포인트-앤-클릭 인 터페이스를 이용할 수 있는 그래픽 유저 인터페이스(GUI)를 이용할 수 있다. 미디어 플레이어(1700)는 스피커 및/또는 오디오 출력 잭과 같은 오디오 출력(1709)을 더 포함한다. 미디어 플레이어(1700)의 신호 처리 및/또는 콘트롤 회로들(1704) 및/또는 다른 회로들(미도시)은 데이터를 처리하고, 코딩 및/또는 암호화를 수행하고, 계산을 실행하고, 데이터를 포맷하고 및/또는 어떤 다른 미디어 플레이어 기능들을 수행한다.
미디어 플레이어(1700)는 비휘발성 방식으로 압축 오디오 및/또는 비디오 콘텐트와 같은 데이터를 저장하는 매스 데이터 스토리지(1710)와 통신할 수 있다. 몇 구현예에서, 압축 오디오 파일은 MP3 포맷 및/또는 다른 적절한 압축 오디오 및/비디오 포맷들과 호응하는 파일들을 포함한다. 매스 데이터 스토리지(1710)는 HDD 및/또는 DVD 드라이브와 같은 광학 및/또는 마그네틱 스토리지 디바이스들을 포함할 수 있다. HDD는 대략 1.8" 보다 작은 직경을 가진 하나 이상의 플래터들을 포함하는 미니 HDD일 수 있다. 미디어 플레이어(1700)는 RAM, ROM 같은 메모리(1714), 플래시 메모리와 같은 낮은 지연시간 비휘발성 메모리, 및/또는 다른 적절한 전자 데이터 스토리지에 연결될 수 있다. 미디어 플레이어(1700)는 또한 WLAN 인터페이스(1716)를 경유해서 WLAN과의 연결을 지원할 수 있다. 위에서 설명된 것들에 더하여 또다른 구현예들이 생각되어질 수 있다.
움직임 보상 픽처 레이트 컨버터를 위한 시스템 및 방법이 제공되고, 이는 입력 프레임들의 시퀀스로부터 움직임 보상된 프레임 효율적이고 정확하게 보간하기 위한 다양한 기술들을 포함하고 있음을 보였다. 당업자라면 본 발명이 개시된 실시예 이외의 다른 방식으로 실현될 수 있음을 인식할 수 있을 것이고, 개시된 실시예들은 예시의 목적일 뿐 한정의 목적은 아니며, 그리고 본 발명은 수반하는 청구항들에 의해서만 한정된다.

Claims (72)

  1. 움직임 추정(motion estimation)을 적용하는 방법에 있어서,
    적어도 현재 프레임과 기준 프레임을 갖는 입력 신호를 수신하는 단계;
    적어도 하나의 어파인(affine) 움직임 파라메터를 생성하기 위해 상기 기준 프레임과 상기 현재 프레임 사이의 전역 움직임(global motion)을 추정하는 단계; 그리고
    적어도 하나의 움직임 벡터를 생성하기 위해 상기 기준 프레임과 상기 현재 프레임 사이의 국부 움직임(local motion)을 추정하는 단계를 포함하고,
    여기서, 상기 적어도 하나의 어파인 움직임 파라메터는 상기 기준 프레임과 상기 현재 프레임 사이의 제1 영역(region)의 상기 전역 움직임을 추정하고, 그리고 상기 적어도 하나의 움직임 벡터는 상기 기준 프레임과 상기 현재 프레임 사이의 제2 영역(region)에서 국부 움직임을 추정하는 것을 특징으로 하는 움직임 추정 적용 방법.
  2. 제1 항에 있어서,
    적어도 하나의 코어스(coarse) 어파인 파라메터를 생성하는 단계; 그리고
    상기 적어도 하나의 어파인 움직임 파라메터를 생성하기 위해 상기 적어도 하나의 코어스 어파인 파라메터를 개선(refinie)하는 단계를 더 포함하는 것을 특징으로 하는 움직임 추정 적용 방법.
  3. 제1 항에 있어서,
    상기 제1 영역은 상기 현재 프레임의 백그라운드 영역이고, 그리고 상기 적어도 하나의 어파인 움직임 파라메터는 상기 제1 영역의 움직임을 보상하는데 사용되는 것을 특징으로 하는 움직임 추정 적용 방법.
  4. 제1 항에 있어서,
    상기 기준 프레임의 상기 제2 영역에 인접한 이웃 구역들(areas)을 확인하는(identify) 단계; 그리고
    상기 기준 프레임을 위해 계산된 상기 이웃 구역들에 대한 움직임 벡터들을 이용하여 상기 현재 프레임의 상기 제2 영역의 상기 적어도 하나의 움직임 벡터를 생성하는 단계를 더 포함하고,
    여기서, 상기 적어도 하나의 움직임 벡터는 국부 움직임 벡터인 것을 특징으로 하는 움직임 추정 적용 방법.
  5. 제1 항에 있어서,
    상기 기준 프레임 상의 상기 제2 영역에 인접한 이웃 구역들을 확인하는 단계;
    상기 이웃 구역들에 상응하는 어파인 움직임 파라메터들을 계산하는 단계; 그리고
    상기 계산된 어파인 움직임 파라메터들을 이용하여 상기 제2 영역의 상기 적어도 하나의 움직임 벡터를 생성하는 단계를 포함하고,
    여기서, 상기 적어도 하나의 움직임 벡터는 수정된 전역 움직임 벡터인 것을 특징으로 하는 움직임 추정 적용 방법.
  6. 제1 항에 있어서, 상기 제2 영역은
    상기 현재 프레임에 적용된 분할 마스크(segmentation mask)와 객체 에지 강도 맵(object edge strength map) 중 적어도 하나에 의해 결정되는 것을 특징으로 하는 움직임 추정 적용 방법.
  7. 제1 항에 있어서,
    수정된 전역 움직임 벡터와 국부 움직임 벡터 중 하나는 상기 제2 영역에서 움직임을 보상하는데 사용되고, 이는 상기 수정된 전역 움직임 벡터와 상기 국부 움직임 벡터를 적용함으로써 생성된 에러들 중에서 보다 적은 하나에 기초하는 것을 특징으로 하는 움직임 추정 적용 방법.
  8. 전역 움직임 추정을 실행하는 방법에 있어서,
    적어도 현재 프레임과 기준 프레임을 갖는 입력 신호를 수신하는 단계;
    상기 현재 프레임과 상기 기준 프레임을 위상-상관시키는 단계; 그리고
    상기 위상-상관에 기초하여 상기 현재 프레임과 상기 기준 프레임 사이의 전 역 이동 움직임(translation motion)을 추정하기 위한 적어도 하나의 어파인 파라메터를 계산하는 단계를 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  9. 제8 항에 있어서, 상기 현재 프레임과 상기 기준 프레임을 위상-상관시키는 단계는
    데시메이션 팩터(decimation factor)에 의하여 상기 현재 및 기준 프레임들의 각각을 데시메이션하는 단계;
    상기 데시메이션된 현재 및 기준 프레임들을 퓨리에 변환하는 단계;
    위상차 어레이를 생성하기 위해 상기 변환된 기준 프레임에 상관하는 위상들로부터 상기 변환된 현재 프레임에 상관하는 위상들을 공제하는 단계; 그리고
    상관 면(correlation surface)을 생성하기 위해 상기 위상차 어레이의 지수(exponential)를 역퓨리에 변환하는 단계를 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  10. 제9 항에 있어서,
    상기 상관 면의 최대값과 상기 상관 면 상의 상기 최대값의 위치은 상기 적어도 하나의 어파인 파라메터를 계산하는데 사용되는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  11. 제9 항에 있어서, 상기 데시메이션 팩터는
    1, 4 그리고 9 중의 하나인 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  12. 제8 항에 있어서,
    상기 적어도 하나의 어파인 파라메터를 이용하여 상기 기준 프레임을 업데이트하는 단계;
    상기 업데이트된 기준 프레임과 상기 현재 프레임 사이의 차이를 획득하는 단계; 그리고
    상기 차이를 최소화하기 위해서 상기 적어도 하나의 어파인 파라메터를 개선하는(refine) 단계를 더 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  13. 기준 프레임과 관련하여 현재 프레임의 관심 구역에 대한 적어도 하나의 움직임 벡터를 생성하는 방법에 있어서,
    상기 현재 프레임과 상기 기준 프레임 사이의 전역 움직임을 추정하기 위해서 적어도 하나의 어파인 파라메터를 제공하는 단계;
    상기 현재 프레임의 포어그라운드와 백그라운드 영역들을 확인하기 위하여 상기 적어도 하나의 어파인 파라메터에 기초하여 분할 마스크를 생성하는 단계;
    상기 현재 프레임에서 의미있는(significant) 에지 강도들의 영역들을 확인 하기 위해서 객체 에지 강도 맵을 생성하는 단계; 그리고
    상기 관심 구역에 관련되는 상기 포어그라운드, 백그라운드 및 의미있는 에지 강도 영역들에 기초하여 상기 관심 구역에 대한 상기 적어도 하나의 움직임 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  14. 제13 항에 있어서, 상기 적어도 하나의 움직임 벡터를 계산하는 단계는
    전역 움직임 벡터, 수정된 전역 움직임 벡터 및 국부 움직임 벡터 중 적어도 하나를 계산하는 단계를 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  15. 제13 항에 있어서, 상기 분할 마스크를 생성하는 단계는
    상기 적어도 하나의 어파인 파라메터를 이용하여 상기 기준 프레임을 업데이트하는 단계;
    상기 업데이트된 기준 프레임과 상기 현재 프레임 사이의 차이 프레임을 획득하는 단계; 그리고
    상기 차이 프레임의 각 영역을 제1 임계치와 비교하여 상기 영역이 상기 포어그라운드 및 상기 백그라운드 영역들 중 하나로 분류되도록 하는 단계를 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  16. 제15 항에 있어서,
    상기 분할 마스크에 적어도 2개의 연결된 영역들을 갖는 객체(object)를 결정하는 단계;
    상기 객체에 의해 점유된 구역을 정량화하는 단계; 그리고
    상기 적어도 2개의 연결된 영역들의 각각이 상기 포어그라운드 및 백그라운드 영역들 중 하나로 재분류하기 위해서 상기 정량화된 구역을 제2 임계치와 비교하는 단계를 더 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  17. 제13 항에 있어서, 객체 에지 강도 맵을 생성하는 단계는
    상기 현재 프레임의 부-구역들(sub-areas)의 수직 및 수평 방향들에 상관하는 다수의 고유값들(eigenvalues)을 생성하는 단계; 그리고
    상기 고유값들의 최대값를 결정하는 단계를 포함하고,
    여기서 거의 상기 최대값에 의해 한정되는 범위 내의 고유값들을 갖는 상기 부-구역들의 각각은 의미있는 에지 강도의 영역이 되는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  18. 제13 항에 있어서,
    중간값 필터링(median filtering), 에지 적응 필터링 및 가우시안 필터링 중 적어도 하나를 상기 관심 구역에 대응하는 움직임 벡터에 적용하는 단계를 더 포함하고, 여기서 상기 관심 구역은 상기 현재 프레임에 적용된 상기 분할 마스크와 강기 객체 에지 강도 맵의 결합으로부터 선택되는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  19. 제13 항에 있어서,
    상기 현재 프레임과 상기 기준 프레임 사이에 보간되는 움직임 보상 프레임을 생성하기 위하여 상기 적어도 하나의 움직임 벡터를 이용하는 단계를 더 포함하는 것을 특징으로 하는 전역 움직임 추정 실행 방법.
  20. 움직임 보상 프레임 레이트 변환을 실행하는 방법에 있어서,
    적어도 현재 프레임과 기준 프레임을 갖는 입력 신호를 수신하는 단계;
    상기 현재 프레임과 상기 기준 프레임을 처리하는 단계;
    상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임 사이에서 각각의 전역 및 국부 움직임을 특징화하는 어파인 전역 움직임 파라메터와 움직임 벡터 중 적어도 하나를 제공하는 단계; 그리고
    움직임 보상 보간(motion compensated interpolation)을 인에이블하는 단계를 포함하고, 여기서 상기 움직임 보상 보간은 상기 어파인 전역 움직임 파라메터와 상기 움직임 벡터 중 적어도 하나를 이용하여 상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임 사이에 적어도 하나의 보간(interpolated) 프레임을 생성하는 것을 특징으로 하는 움직임 보상 프레임 레이트 변환 실행 방법.
  21. 제20 항에 있어서,
    상기 움직임 보상 보간의 출력 신호를 후처리하는 단계를 더 포함하고, 여기서 상기 출력 신호는 상기 입력 신호의 원시 프레임 레이트보다 더 빠른 것을 특징으로 하는 움직임 보상 프레임 레이트 변환 실행 방법.
  22. 제20 항에 있어서,
    상기 움직임 보상 보간을 겪기 위한 신호를 생성하기 위하여 상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임을 후처리하는 단계를 더 포함하고, 여기서 상기 신호는 상기 입력 신호의 원시 프레임 레이트와 거의 같은 프레임 레이트를 갖는 것을 특징으로 하는 움직임 보상 프레임 레이트 변환 실행 방법.
  23. 제20 항에 있어서, 상기 현재 프레임과 상기 기준 프레임을 처리하는 단계는
    상기 현재 프레임과 상기 기준 프레임의 디-인터레이싱과 잡음 감소 중 적어도 하나를 실행하는 단계를 포함하는 것을 특징으로 하는 움직임 보상 프레임 레이트 변환 실행 방법.
  24. 움직임 보상 프레임 레이트 컨버터에 있어서,
    적어도 현재 프레임과 기준 프레임을 갖는 입력 신호를 수신하는 회로;
    적어도 하나의 어파인 움직임 파라메터를 생성하기 위해 상기 기준 프레임과 상기 현재 프레임 사이의 전역 움직임을 추정하는 전역 어파인 움직임 추정 모듈; 그리고
    적어도 하나의 움직임 벡터를 생성하기 위해 상기 기준 프레임과 상기 현재 프레임 사이의 국부 움직임을 추정하는 국부 움직임 정정 모듈을 포함하고,
    여기서 상기 적어도 하나의 어파인 움직임 파라메터는 상기 기준 프레임과 상기 현재 프레임 사이의 제1 영역의 전역 움직임을 추정하고, 그리고 상기 적어도 하나의 움직임 벡터는 상기 기준 프레임과 상기 현재 프레임 사이의 제2 영역에서 국부 움직임을 추정하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  25. 제24 항에 있어서, 상기 전역 어파인 움직임 추정 모듈은
    적어도 하나의 코어스(coarse) 어파인 파라메터를 생성하기 위한 전역 트랜스레이션(translation) 추정 및 어파인 예측(prediction) 모듈; 그리고
    상기 적어도 하나의 어파인 움직임 파라메터를 생성하기 위하여 상기 적어도 하나의 코어스 어파인 파라메터를 개선하는 어파인-파라메터 개선(refinement) 모듈을 포함하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  26. 제24 항에 있어서, 상기 어파인-파라메터 개선 모듈은
    RANSAC-기반의 개선 스킴(scheme)을 사용하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  27. 제24 항에 있어서,
    상기 제1 영역은 상기 현재 프레임의 백그라운드 영역이고, 그리고 상기 적 어도 하나의 어파인 움직임 파라메터는 상기 제1 영역에서 움직임을 보상하는데 사용되는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  28. 제24 항에 있어서, 상기 국부 움직임 정정 모듈은
    상기 기준 프레임의 제2 영역에 인접한 이웃 구역들을 확인하는 회로; 그리고
    상기 기준 프레임에 대해 계산된 상기 이웃 구역들에 대한 움직임 벡터들을 이용하여 상기 현재 프레임의 상기 제2 영역의 상기 적어도 하나의 움직임 벡터를 생성하는 국부 움직임 추정 모듈을 포함하고,
    여기서 상기 적어도 하나의 움직임 벡터는 국부 움직임 벡터인 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  29. 제24 항에 있어서, 상기 국부 움직임 정정 모듈은
    상기 기준 프레임의 상기 제2 영역에 인접한 이웃 구역들을 확인하는 회로; 그리고
    상기 이웃 구역들에 대해 계산된 어파인 움직임 파라메터들을 이용하여 상기 제2 영역의 상기 적어도 하나의 움직임 벡터를 생성하는 수정-전역 움직임 추정 모듈을 포함하고,
    여기서 상기 적어도 하나의 움직임 벡터는 수정된 전역 움직임 벡터인 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  30. 제24 항에 있어서, 상기 제2 영역은
    분할 마스크아 객체 에지 강도 맵 중 적어도 하나를 상기 현재 프레임에 적용하는 것에 기초하여 결정되는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  31. 제24 항에 있어서, 수정된 전역 움직임 벡터와 국부 움직임 벡터 중 하나는 상기 수정된 전역 움직임 벡터와 상기 국부 움직임 벡터를 적용함으로써 생성된 에러들 중 더 적은 하나에 기초하여 상기 제2 영역에서 움직임을 보상하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  32. 제24 항에 있어서, 상기 움직임 보상 프레임 레이트 컨버터는
    프레임들 시퀀스를 갖는 입력 신호를 처리하는 움직임 보상 픽처 레이트(picture rate) 컨버터의 내부에 구비되는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  33. 전역 트랜스레이션(translation) 추정 모듈에 있어서,
    적어도 현재 프레임과 기준 프레임을 갖는 입력 신호를 수신하는 회로;
    상기 현재 프레임과 상기 기준 프레임을 위상 상관시키는 위상 상관 모듈; 그리고
    상기 위상 상관에 기초하여 상기 현재 프레임과 상기 기준 프레임 사이의 전역 트랜스레이션 움직임을 추정하는 적어도 하나의 어파인 파라메터를 계산하는 회로를 포함하는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  34. 제33 항에 있어서,
    데시메이션 팩터(decimation factor)에 의해 상기 현재 및 기준 프레임들의 각각의 것들을 데시메이션하는 회로;
    상기 데시메이션된 현재 및 기준 프레임들을 퓨리에 변환하는 회로;
    위상차 어레이를 생성하기 위해 상기 변환된 기준 프레임에 상관하는 위상들에서 상기 변환된 현재 프레임에 상관하는 위상들을 공제하는 회로; 그리고
    상관 면을 생성하기 위해 상기 위상차 어레이의 지수(exponential)를 역퓨리에 변환하는 회로를 포함하는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  35. 제34 항에 있어서,
    상기 상관 면의 최대값과 상기 상관 면 상의 상기 최대값의 위치를 결정하는 회로를 더 포함하고, 여기서 상기 최대값과 상기 최대값의 상기 위치는 상기 적어도 하나의 어파인 파라메터를 계산하는 데 사용되는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  36. 제34 항에 있어서, 상기 데시메이션 팩터는
    1,4 및 9 중의 하나인 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  37. 제33 항에 있어서,
    상기 적어도 하나의 어파인 파라메터는 상기 전역 트랜스레이션 추정 모듈에 결합된 어파인-파라메터 개선 모듈에 제공되고, 그리고 상기 어파인-파라메터 개선 모듈은
    상기 적어도 하나의 어파인 파라메터에 기초하여 상기 기준 프레임을 업데이트하는 회로;
    상기 업데이트된 기준 프레임과 상기 현재 프레임 사이의 차이를 획득하는 회로; 그리고
    상기 차이를 최소화하기 위해 상기 적어도 하나의 어파인 파라메터를 개선하는 회로를 포함하는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  38. 국부 움직인 정정 모듈에 있어서,
    현재 프레임의 포어그라운드 및 백그라운드 영역들을 확인하는 분할 마스크;
    상기 현재 프레임에서 의미있는 에지 강도들의 영역들을 확인하는 객체 에지 강도 맵; 그리고
    관심 구역에 관련되는 상기 포어그라운드, 백그라운드 및 의미있는 에지 강도 영역들에 기초하여 상기 관심 구역에 대한 적어도 하나의 움직임 벡터를 계산하는 회로를 포함하는 것을 특징으로 하는 국부 움직임 정정 모듈.
  39. 제38 항에 있어서, 상기 적어도 하나의 움직임 벡터를 계산하는 회로는
    상기 관심 구역에 대한 수정된 전역 움직임 벡터와 국부 움직임 벡터 중 적어도 하나를 계산하는 회로를 포함하는 것을 특징으로 하는 국부 움직임 정정 모듈.
  40. 제38 항에 있어서, 상기 분할 마스크는
    상기 현재 프레임과 상기 기준 프레임 사이의 전역 움직임을 특징화하는 적어도 하나의 어파인 파라메터를 이용하여 상기 기준 프레임을 업데이트하는 회로;
    상기 업데이트된 기준 프레임과 상기 현재 프레임 사이의 차이 프레임을 획득하는 회로; 그리고
    상기 차이 프레임의 각 영역을 제1 임계치와 비교하여 상기 영역을 상기 포어그라운드 및 상기 백그라운드 영역들 중 하나로 분류하는 회로를 포함하는 회로에 의해 생성되는 것을 특징으로 하는 국부 움직임 정정 모듈.
  41. 제40 항에 있어서, 상기 분할 마스크는
    상기 분할 마스크에서 적어도 2개의 연결된 영역들을 갖는 객체를 결정하는 회로;
    상기 객체에 의해 차지되는 구역을 정량화하는 회로; 그리고
    상기 정량화된 구역을 제2 임계치와 비교하여 상기 적어도 2개의 연결된 영 역들 각각을 상기 포어그라운드 및 백그라운드 영역들 중 하나로 재분류하는 회로를 포함하는 회로에 의해 더 생성되는 것을 특징으로 하는 국부 움직임 정정 모듈.
  42. 제38 항에 있어서, 상기 객체 에지 강도 맵은
    상기 현재 프레임에서 부-구역들의 수직 및 수평 방향들에 상관하는 다수의 고유값들을 생성하는 회로; 그리고
    상기 고유값들의 최대값을 결정하는 회로를 포함하는 회로에 의해 생성되고, 여기서 대략 상기 최대값에 의해 한정되는 범위 내의 고유값들을 갖는 상기 부-구역들의 각각은 의미있는 에지 강도의 영역인 것을 특징으로 하는 국부 움직임 정정 모듈.
  43. 제38 항에 있어서,
    중간값 필터, 에지 적응 필터 및 가우시안 필터 중 적어도 하나는 상기 관심 구역에 상응하는 상기 움직임 벡터를 필터하는 데 사용되고, 상기 관심 구역은 상기 현재 프레임에 적용된 상기 객체 에지 강도 맵과 상기 분할 마스크의 결합으로부터 선택되는 것을 특징으로 하는 국부 움직임 정정 모듈.
  44. 제38 항에 있어서,
    상기 적어도 하나의 움직임 벡터는 상기 현재 프레임과 상기 기준 프레임 사이에 보간된(interpolated) 움직임-보상된 프레임을 생성하는 데 사용되는 것을 특 징으로 하는 국부 움직임 정정 모듈.
  45. 움직임 보상 픽처 레이트(picture rate) 컨버터에 있어서,
    적어도 기준 프레임과 현재 프레임을 갖는 입력 신호를 수신하는 회로;
    상기 기준 프레임과 상기 현재 프레임을 처리하는 처리 모듈; 그리고
    상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임 사이의 각 전역 및 국부 움직임들을 특징화하는 어파인 전역 움직임 파라메터와 움직임 벡터 중 적어도 하나를 제공하는 회로, 그리고 상기 어파인 전역 움직임 파라메터와 상기 움직임 벡터 중 적어도 하나를 이용하여 상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임 사이에 적어도 하나의 보간된 프레임을 생성하는 움직임 보상 보간 회로를 갖는 움직임 보상 프레임 레이트 컨버터를 포함하는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
  46. 제45 항에 있어서,
    상기 움직임 보상 프레임 레이트 컨버터의 출력 신호를 처리하는 후-처리 모듈을 더 포함하고, 여기서 상기 출력 신호는 상기 입력 신호의 원시 프레임 레이트보다 높은 프레임 레이트를 갖는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
  47. 제45 항에 있어서,
    상기 움직임 보상 프레임 레이트 컨버터에 공급하기 위한 신호를 생성하기 위해 상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임을 프로세스하는 후-처리 모듈을 더 포함하고, 여기서 상기 신호는 상기 입력 신호의 원시 프레임 레이트와 거의 같은 프레임 레이트를 갖는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
  48. 제45 항에 있어서, 상기 처리 모듈은
    상기 현재 프레임 및 상기 기준 프레임의 디-인터레이싱 및 잡음 감소 중 적어도 하나를 실행하는 회로를 포함하는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
  49. 움직임 보상 프레임 레이트 컨버터에 있어서,
    적어도 기준 프레임과 현재 프레임을 갖는 입력 신호를 수신하는 수단;
    적어도 하나의 어파인 움직임 파라메터를 생성하기 위해 상기 기준 프레임과 상기 현재 프레임 사이의 전역 움직임을 추정하는 수단; 그리고
    적어도 하나의 움직임 벡터를 생성하기 위해 상기 기준 프레임과 상기 현재 프레임 사이의 국부 움직임을 추정하는 수단을 포함하고,
    여기서 상기 적어도 하나의 어파인 움직임 파라메터는 상기 기준 프레임과 상기 현재 프레임 사이의 제1 영역의 전역 움직임을 추정하고, 그리고 상기 적어도 하나의 움직임 벡터는 상기 기준 프레임과 상기 현재 프레임 사이의 제2 영역에서 국부 움직임을 추정하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  50. 제49 항에 있어서, 상기 기준 프레임과 상기 현재 프레임 사이의 전역 움직임을 추정하는 수단은
    적어도 하나의 코어스 어파인 파라메터를 생성하는 수단; 그리고
    상기 적어도 어파인 움직임 파라메터를 생성하기 위해 상기 적어도 하나의 코어스 어파인 파라메터를 개선하는 수단을 더 포함하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  51. 제50 항에 있어서, 상기 적어도 하나의 코어스 어파인 파라메터를 개선하는 수단은
    RNASAC-기반의 개선 스킴을 포함하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  52. 제49 항에 있어서,
    상기 제1 영역은 상기 현재 프레임의 백그라운드 영역이고, 상기 적어도 하나의 어파인 움직임 파라메터는 상기 제1 영역에서 움직임을 보상하는데 사용되는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  53. 제49 항에 있어서, 상기 기준 프레임과 상기 현재 프레임 사이의 국부 움직 임을 추정하는 수단은
    상기 기준 프레임의 상기 제2 영역에 인접한 이웃 구역들을 확인하는 수단; 그리고
    상기 기준 프레임에 대해 계산된 상기 이웃 구역들의 움직임 벡터들을 이용하여 상기 현재 프레임의 상기 제2 영역의 상기 적어도 하나의 움직임 벡터를 생성하는 수단을 포함하고, 여기서 상기 적어도 하나의 움직임 벡터는 국부 움직임 벡터인 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  54. 제49 항에 있어서, 상기 기준 프레임과 상기 현재 프레임 사이의 국부 움직임을 추정하는 수단은
    상기 기준 프레임의 상기 제2 영역에 인접한 이웃 구역들을 확인하는 수단; 그리고
    상기 이웃 구역들의 어파인 움직임 파라메터들을 이용하여 상기 제2 영역의 상기 적어도 하나의 움직임 벡터를 생성하는 수단을 포함하고, 여기서 상기 적어도 하나의 움직임 벡터는 수정된 전역 움직임 벡터인 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  55. 제49 항에 있어서,
    분할 마스크 및 객체 에지 강도 맵 중 적어도 하나를 상기 현재 프레임에 적용하는 수단에 기초하여 상기 제2 영역을 결정하는 수단을 더 포함하는 것을 특징 으로 하는 움직임 보상 프레임 레이트 컨버터.
  56. 제49 항에 있어서,
    수정된 전역 움직임 벡터와 국부 움직임 벡터를 적용함으로써 발생된 에러들 중 더 적은 것에 기초하여 상기 수정된 전역 움직임 벡터 및 상기 국부 움직임 벡터 중 하나를 이용하여 상기 제2 영역에서 움직임을 보상하는 수단을 더 포함하는 것을 특징으로 하는 움직임 보상 프레임 레이트 컨버터.
  57. 전역 트랜스레이션 추정 모듈에 있어서,
    적어도 현재 프레임과 기준 프레임을 갖는 입력 신호를 수신하는 수단;
    상기 현재 프레임과 상기 기준 프레임을 위상 상관시키는 수단; 그리고
    상기 위상 상관에 기초하여 상기 현재 프레임과 상기 기준 프레임 사이의 전역 트랜스레이션 움직임을 추정하기 위한 적어도 하나의 어파인 파라메터를 계산하는 수단을 포함하는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  58. 제57 항에 있어서, 상기 현재 프레임과 상기 기준 프레임을 위상 상관시키는 수단은
    데시메이션 팩터에 의해서 상기 현재 및 기준 프레임들의 각 프레임들을 데시메이션하는 수단;
    상기 데시메이션된 현재 및 기준 프레임들을 퓨리에 변환하는 수단;
    위상차 어레이를 생성하기 위해 상기 변환된 기준 프레임에 상관하는 위상들로부터 상기 변환된 현재 프레임에 상관하는 위상들을 공제하는 수단; 그리고
    상관 면을 생성하기 위해 상기 위상차 어레이의 지수를 역퓨리에 변환하는 수단을 포함하는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  59. 제58 항에 있어서,
    상기 상관 면의 최대값과 상기 상관 면 상의 상기 최대값의 위치를 결정하는 수단을 더 포함하고, 여기서 상기 최대값과 상기 최대값의 상기 위치는 상기 적어도 하나의 어파인 파라메터를 계산하는데 사용되는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  60. 제59 항에 있어서, 상기 데시메이션 팩터는
    1, 4 및 9 중의 하나인 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  61. 제59 항에 있어서,
    상기 적어도 하나의 어파인 파라메터는 상기 전역 트랜스레이션 추정 모듈에 연결된 어파인-파라메터 개선 모듈로 공급되고, 여기서 상기 어파인-파라메터 개선 모듈은
    상기 적어도 하나의 어파인 파라메터에 기초하여 상기 기준 프레임을 업데이트하는 수단;
    상기 업데이트된 기준 프레임과 상기 현재 프레임 사이의 차이를 획득하는 수단; 그리고
    상기 차이를 최소화하기 위해서 상기 적어도 하나의 어파인 파라메터를 개선하는 수단을 포함하는 것을 특징으로 하는 전역 트랜스레이션 추정 모듈.
  62. 국부 움직임 정정 모듈에 있어서,
    현재 프레임의 포어그라운드 및 백그라운드 영역들을 확인하기 위해 분할 마스크를 생성하는 수단;
    상기 현재 프레임에서 의미있는 에지 강도들의 영역들을 확인하기 위해 객체 에지 강도 맵을 생성하는 수단; 그리고
    관심 구역과 관련하여 상기 포어그라운드, 백그라운드 및 의미있는 에지 강도 영역들에 기초하여 상기 관심 영역에 대한 적어도 하나의 움직임 벡터를 계산하는 수단을 포함하는 것을 특징으로 하는 국부 움직임 정정 모듈.
  63. 제62 항에 있어서, 상기 적어도 하나의 움직임 벡터를 계산하는 수단은
    상기 관심 구역에 대한 수정 전역 움직임 벡터와 국부 움직임 벡터 중 적어도 하나를 계산하는 수단을 포함하는 것을 특징으로 하는 국부 움직임 정정 모듈.
  64. 제62 항에 있어서, 상기 분할 마스크를 생성하는 수단은
    상기 현재 프레임과 상기 기준 프레임 사이의 전역 움직임을 특징화하는 적 어도 하나의 어파인 파라메터를 이용하여 상기 기준 프레임을 업데이트하는 수단;
    상기 업데이트된 기준 프레임과 상기 현재 프레임 사이의 차이 프레임을 획득하는 수단; 그리고
    상기 차이 프레임의 각 영역을 제1 임계치와 비교하여 상기 영역이 상기 포어그라운드 및 백그라운드 영역들 중 하나로 분류되도록 하는 수단을 포함하는 것을 특징으로 하는 국부 움직임 정정 모듈.
  65. 제64 항에 있어서, 상기 분할 마스크를 생성하는 수단은
    상기 분할 마스크에서 적어도 2개의 연결 영역들을 갖는 객체를 결정하는 수단;
    상기 객체가 차지하는 구역을 정량화하는 수단; 그리고
    상기 정량화된 구역을 제2 임계치와 비교하여 상기 적어도 2개의 연결 영역들 중 각각이 상기 포어그라운드 및 백그라운드 영역들 중 하나로 재-분류하는 수단을 더 포함하는 것을 특징으로 하는 국부 움직임 정정 모듈.
  66. 제62 항에 있어서, 상기 객체 에지 강도를 생성하는 수단은
    상기 현재 프레임에서 부-구역들의 수직 및 수평 방향들에 상관하는 다수의 고유값들을 생성하는 수단; 그리고
    상기 고유값들의 최대값을 결정하는 수단을 포함하고, 여기서 대략 상기 최대값에 의해 한정되는 범위 내의 고유값들을 갖는 상기 부-구역들의 각각은 의미있 는 에지 강도의 영역인 것을 특징으로 하는 국부 움직임 정정 모듈.
  67. 제62 항에 있어서,
    중간값 필터 수단, 에지 적응 필터 수단 및 가우시안 필터 수단 중 적어도 하나는 상기 관심 구역에 대응하는 상기 움직임 벡터를 필터하는데 사용되고, 여기서 상기 관심 구역은 상기 현재 프레임에 적용된 상기 분할 마스크와 상기 객체 에지 강도 맵의 결합으로부터 선택되는 것을 특징으로 하는 국부 움직임 정정 모듈.
  68. 제62 항에 있어서, 상기 적어도 하나의 움직임 벡터는
    상기 현재 프레임과 상기 기준 프레임 사이에 보간된 움직임-보상된 프레임을 생성하는데 사용되는 것을 특징으로 하는 국부 움직임 정정 모듈.
  69. 움직임 보상 픽처 레이트 컨버터에 있어서,
    적어도 현재 프레임과 기준 프레임을 갖는 입력 신호를 수신하는 수단;
    상기 현재 프레임과 상기 기준 프레임을 처리하는 수단;
    상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임 사이의 각 전역 및 국부 움직임들을 특징화하는 어파인 전역 움직임 파라메터 및 움직임 벡터 중 적어도 하나를 제공하는 수단; 그리고
    움직임 보상 보간을 인에이블하는 수단을 포함하고, 여기서 상기 움직임 보상 보간은 상기 어파인 전역 움직임 파라메터와 상기 움직임 벡터 중 적어도 하나 를 이용하여 상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임 사이의 적어도 하나의 보간 프레임을 생성하는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
  70. 제69 항에 있어서,
    상기 움직임 보상 보간을 인에이블하는 수단으로부터의 출력 신호를 후-처리하기 위한 수단을 더 포함하고, 여기서 상기 출력 신호는 상기 입력 신호의 원시 프레임 레이트보다 빠른 플레임 레이트를 갖는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
  71. 제69 항에 있어서,
    상기 움직임 보상 보간을 인에이블하는 수단으로 공급하기 위한 신호를 생성하기 위해 상기 프로세스된 현재 프레임과 상기 프로세스된 기준 프레임을 후-처리하는 수단을 더 포함하고, 여기서 상기 신호는 상기 입력 신호의 원시 프레임 레이트와 거의 같은 프레임 레이트를 갖는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
  72. 제69 항에 있어서, 상기 현재 프레임과 상기 기준 프레임을 처리하는 수단은
    상기 현재 프레임과 상기 기준 프레임의 디-인터레이싱과 잡음 감소 중 적어도 하나를 실행하는 수단을 포함하는 것을 특징으로 하는 움직임 보상 픽처 레이트 컨버터.
KR1020087032176A 2006-06-27 2007-06-22 움직임 보상 픽처 레이트 컨버터 시스템 및 방법 KR101371577B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US81706106P 2006-06-27 2006-06-27
US60/817,061 2006-06-27
US11/803,535 US8340185B2 (en) 2006-06-27 2007-05-14 Systems and methods for a motion compensated picture rate converter
US11/803,535 2007-05-14
PCT/US2007/014609 WO2008002491A2 (en) 2006-06-27 2007-06-22 Systems and methods for a motion compensated picture rate converter

Publications (2)

Publication Number Publication Date
KR20090034836A true KR20090034836A (ko) 2009-04-08
KR101371577B1 KR101371577B1 (ko) 2014-03-18

Family

ID=38846215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087032176A KR101371577B1 (ko) 2006-06-27 2007-06-22 움직임 보상 픽처 레이트 컨버터 시스템 및 방법

Country Status (6)

Country Link
US (1) US8340185B2 (ko)
EP (1) EP2080362B1 (ko)
JP (2) JP2010501127A (ko)
KR (1) KR101371577B1 (ko)
TW (1) TWI432017B (ko)
WO (1) WO2008002491A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127869A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 디지털 이미지 안정화 방법, 장치 및 시스템
KR20150087056A (ko) * 2014-01-21 2015-07-29 한화테크윈 주식회사 영상 안정화 장치 및 방법
US9578240B2 (en) 2010-02-11 2017-02-21 Microsoft Technology Licensing, Llc Generic platform video image stabilization
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
KR20200010527A (ko) * 2020-01-15 2020-01-30 한화테크윈 주식회사 영상 안정화 장치 및 방법
US10848672B2 (en) 2013-07-12 2020-11-24 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
WO2006061421A2 (en) * 2004-12-09 2006-06-15 Thomson Licensing Method and apparatus for generating motion compensated pictures
US20100014726A1 (en) * 2006-06-01 2010-01-21 Koninklijke Philips Electronics N.V. Hierarchical motion estimation
US8923400B1 (en) * 2007-02-16 2014-12-30 Geo Semiconductor Inc Method and/or apparatus for multiple pass digital image stabilization
US20080212687A1 (en) * 2007-03-02 2008-09-04 Sony Corporation And Sony Electronics Inc. High accurate subspace extension of phase correlation for global motion estimation
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
US20090030676A1 (en) * 2007-07-26 2009-01-29 Creative Technology Ltd Method of deriving a compressed acoustic model for speech recognition
US8817878B2 (en) * 2007-11-07 2014-08-26 Broadcom Corporation Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US20090190029A1 (en) * 2008-01-28 2009-07-30 Te-Hao Chang Video processing methods and related apparatus
KR20090089606A (ko) * 2008-02-19 2009-08-24 엘지전자 주식회사 입력 소스 별로 ｆｒｃ 기능을 수행하는 방법 및 그 방법을채용한 방송 수신기
US8184200B1 (en) * 2008-04-22 2012-05-22 Marvell International Ltd. Picture rate conversion system for high definition video
US20090268088A1 (en) * 2008-04-25 2009-10-29 Hui Zhou Motion adaptive de-interlacer and method for use therewith
JP4506875B2 (ja) * 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
TWI420401B (zh) * 2008-06-11 2013-12-21 Vatics Inc 一種回授式物件偵測演算法
US8374240B1 (en) 2008-07-10 2013-02-12 Marvell International Ltd. Image frame management
ES2386327T3 (es) * 2008-08-21 2012-08-17 Vestel Elektronik Sanayi Ve Ticaret A.S. Método y aparato para aumentar la frecuencia de trama de una señal de video
US20110188583A1 (en) * 2008-09-04 2011-08-04 Japan Science And Technology Agency Picture signal conversion system
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
WO2010077255A1 (en) * 2008-12-31 2010-07-08 Abbruzzese Jared E Mobile set top box
US8707061B2 (en) 2009-03-27 2014-04-22 Qualcomm Incorporated System and method of providing scalable computing between a portable computing device and a portable computing device docking station
US8630088B2 (en) 2009-03-27 2014-01-14 Qualcomm Incorporated Portable docking station for a portable computing device
US9201593B2 (en) * 2009-03-27 2015-12-01 Qualcomm Incorporated System and method of managing displays at a portable computing device and a portable computing device docking station
US9128669B2 (en) 2009-03-27 2015-09-08 Qualcomm Incorporated System and method of managing security between a portable computing device and a portable computing device docking station
US8653785B2 (en) 2009-03-27 2014-02-18 Qualcomm Incorporated System and method of managing power at a portable computing device and a portable computing device docking station
JP5225172B2 (ja) * 2009-03-30 2013-07-03 株式会社東芝 画像処理装置
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
JP5149861B2 (ja) * 2009-05-01 2013-02-20 富士フイルム株式会社 中間画像生成装置およびその動作制御方法
US20110026596A1 (en) * 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
KR101634355B1 (ko) * 2009-09-18 2016-06-28 삼성전자주식회사 동작 검출 장치 및 방법
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
US8446524B2 (en) * 2010-06-21 2013-05-21 Realtek Semiconductor Corp. Apparatus and method for frame rate conversion
TWI427609B (zh) * 2010-07-27 2014-02-21 Hannstar Display Corp 影像補償裝置及其方法與所應用之場色序法液晶顯示器
JP5381930B2 (ja) * 2010-08-20 2014-01-08 株式会社Ｊｖｃケンウッド 映像制御装置および映像制御方法
TWI459795B (zh) * 2010-12-31 2014-11-01 Altek Corp 雜訊抑制方法
EP2668771A1 (en) * 2011-01-28 2013-12-04 Koninklijke Philips N.V. Motion vector based comparison of moving objects
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US8792549B2 (en) 2011-02-28 2014-07-29 Sony Corporation Decoder-derived geometric transformations for motion compensated inter prediction
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
JP5887764B2 (ja) * 2011-08-29 2016-03-16 株式会社Ｊｖｃケンウッド 動き補償フレーム生成装置及び方法
KR101805625B1 (ko) * 2011-09-09 2017-12-08 삼성전자주식회사 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
KR101903748B1 (ko) * 2011-10-07 2018-10-04 삼성디스플레이 주식회사 표시 장치
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
EA201492099A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Разложение остаточных данных при кодировании, декодировании и реконструкции сигнала в многоуровневой иерархии
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
CN104113745A (zh) * 2013-04-17 2014-10-22 咏传电子科技（上海）有限公司 显示装置及其影像显示方法
US9177383B2 (en) * 2013-08-29 2015-11-03 Analog Devices Global Facial detection
KR101789954B1 (ko) * 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
US9479788B2 (en) 2014-03-17 2016-10-25 Qualcomm Incorporated Systems and methods for low complexity encoding and background detection
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
JP6757885B2 (ja) * 2015-07-16 2020-09-23 パナソニックＩｐマネジメント株式会社 投写型表示装置
CN105657485A (zh) * 2015-08-21 2016-06-08 乐视致新电子科技（天津）有限公司 一种音视频播放设备
CN105657491A (zh) * 2015-08-21 2016-06-08 乐视致新电子科技（天津）有限公司 音视频播放设备
KR102452945B1 (ko) * 2015-08-27 2022-10-11 삼성전자주식회사 푸리에 변환을 수행하는 방법 및 장치
US10593015B2 (en) * 2016-05-04 2020-03-17 Texas Instruments Incorporated Apparatus and method for efficient motion estimation
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
KR102500462B1 (ko) * 2017-05-17 2023-02-16 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
CN108924621B (zh) * 2018-07-12 2019-10-29 深圳创维－Rgb电子有限公司 显示方法、装置以及电视机、存储介质
CN111325673B (zh) * 2018-12-14 2023-06-30 瑞昱半导体股份有限公司 影像处理方法与影像处理电路
CN110798630B (zh) * 2019-10-30 2020-12-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2021106499A1 (ja) * 2019-11-29 2021-06-03 株式会社朋栄 ローリングシャッター映像の安定化及びモーションブラー除去処理方法とその装置
TWI736114B (zh) * 2020-01-22 2021-08-11 宏碁股份有限公司 顯示畫面補償方法及電子裝置
CN111369592B (zh) * 2020-03-13 2023-07-25 浙江工业大学 一种基于牛顿插值的快速全局运动估计方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176151A (ja) * 1992-12-08 1994-06-24 Sony Corp 画像の動き量検出装置
KR0148154B1 (ko) 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
JP3120664B2 (ja) * 1994-10-19 2000-12-25 松下電器産業株式会社 画像符号化装置、画像復号化装置
KR0180171B1 (ko) * 1995-06-28 1999-05-01 배순훈 블록 움직임 추정 방법
JP3183155B2 (ja) 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
JP4012267B2 (ja) * 1996-03-30 2007-11-21 三星電子株式会社 オブジェクト単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置
JPH10191326A (ja) * 1996-11-08 1998-07-21 Sony Corp 画像処理装置および方法
JPH10145795A (ja) 1996-11-15 1998-05-29 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、動画像符号化装置および動画像復号装置
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames
JP2001054075A (ja) 1999-08-06 2001-02-23 Hitachi Ltd 画像信号の動き補償走査変換回路
JP3670566B2 (ja) * 2000-10-03 2005-07-13 日本電信電話株式会社 処理時間適応画像符号化方法およびそのプログラムの記録媒体
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
JP2002369161A (ja) * 2001-06-05 2002-12-20 Sony Corp 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
JP3823767B2 (ja) * 2001-07-18 2006-09-20 日本電信電話株式会社 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
US7321626B2 (en) 2002-03-08 2008-01-22 Sharp Laboratories Of America, Inc. System and method for predictive motion estimation using a global motion predictor
JP2003299101A (ja) 2002-04-03 2003-10-17 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
US20040091047A1 (en) * 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
JP4015537B2 (ja) 2002-11-22 2007-11-28 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体
US7408986B2 (en) 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7349583B2 (en) * 2003-09-05 2008-03-25 The Regents Of The University Of California Global motion estimation image coding and processing
DE602004030993D1 (de) 2004-04-30 2011-02-24 Panasonic Corp Bewegungsschätzung unter Verwendung von adaptiven räumlichen Verfeinerungsvektoren
JP4220451B2 (ja) * 2004-09-28 2009-02-04 株式会社東芝 補間画像生成装置、補間画像生成方法および補間画像生成プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578240B2 (en) 2010-02-11 2017-02-21 Microsoft Technology Licensing, Llc Generic platform video image stabilization
US10257421B2 (en) 2010-02-11 2019-04-09 Microsoft Technology Licensing, Llc Generic platform video image stabilization
US10841494B2 (en) 2010-02-11 2020-11-17 Microsoft Technology Licensing, Llc Motion vector estimation for video image stabilization
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
KR20130127869A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 디지털 이미지 안정화 방법, 장치 및 시스템
US10848672B2 (en) 2013-07-12 2020-11-24 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus
KR20150087056A (ko) * 2014-01-21 2015-07-29 한화테크윈 주식회사 영상 안정화 장치 및 방법
KR20200010527A (ko) * 2020-01-15 2020-01-30 한화테크윈 주식회사 영상 안정화 장치 및 방법

Also Published As

Publication number Publication date
US20070297513A1 (en) 2007-12-27
TWI432017B (zh) 2014-03-21
EP2080362B1 (en) 2021-05-12
JP2010501127A (ja) 2010-01-14
JP2013048465A (ja) 2013-03-07
KR101371577B1 (ko) 2014-03-18
TW200818872A (en) 2008-04-16
WO2008002491A2 (en) 2008-01-03
EP2080362A2 (en) 2009-07-22
WO2008002491A3 (en) 2010-04-29
JP5740690B2 (ja) 2015-06-24
US8340185B2 (en) 2012-12-25

Similar Documents

Publication Publication Date Title
KR101371577B1 (ko) 움직임 보상 픽처 레이트 컨버터 시스템 및 방법
De Haan Video processing for multimedia systems
JP5594968B2 (ja) ビデオ画像間の運動を確定するための方法と装置
US8208551B2 (en) Method and system for hierarchically layered adaptive median motion vector smoothing
Patti et al. Robust methods for high-quality stills from interlaced video in the presence of dominant motion
EP1164792A2 (en) Format converter using bidirectional motion vector and method thereof
US20100123792A1 (en) Image processing device, image processing method and program
KR20080078606A (ko) 단일화된 삼차원 비선형 필터링을 이용한 비디오 노이즈제거 장치 및 방법
EP1850590A2 (en) Motion compensated video spatial up-conversion
EP2161687B1 (en) Video signal processing device, video signal processing method, and video signal processing program
WO2005027525A1 (en) Motion vector field re-timing
EP2126627B1 (en) Method of improving the video images from a video camera
JP5133038B2 (ja) 画像復元方法および画像復元装置
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
US7961961B2 (en) Image processing apparatus and image processing program using motion information
US7679676B2 (en) Spatial signal conversion
US20100092101A1 (en) Methods and apparatus for enhancing image quality of motion compensated interpolation
US9277202B2 (en) Image processing device, image processing method, image display apparatus, and image display method
EP1616300A1 (en) Spatial image conversion
Lee et al. Method and architecture design for motion compensated frame interpolation in high-definition video processing
Aggarwal et al. An HVS-inspired video deinterlacer based on visual saliency
EP1636987A1 (en) Spatial signal conversion
Venkatesan et al. Video deinterlacing with control grid interpolation
Salonen et al. A new motion compensated field rate upconversion algorithm
Wang et al. Efficient adaptive intra-field deinterlacing algorithm using bilateral filter

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170519

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 7