KR20030029937A

KR20030029937A - 제어된 벡터 통계들을 이용한 모션 추정 및 보상

Info

Publication number: KR20030029937A
Application number: KR10-2003-7003356A
Authority: KR
Inventors: 로버트 제이. 슈텐; 아브라함 케이. 리멘스; 피터 반데르울프
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-07-06
Filing date: 2002-06-20
Publication date: 2003-04-16
Also published as: JP2004521581A; CN1620817A; US20040190622A1; EP1407616A1; WO2003005731A1

Abstract

이 발명은 영상 이미지 데이터에서 모션 보상을 위한 시스템 및 방법을 제공하고, 이 시스템은 영상 이미지 데이터의 연속적인 프레임들에서 모션을 분석하고 상기 모션에 의존하여 모션 벡터 필드를 유도하기 위해 배열되는 모션 추정기(12), 및 모션 추정기(12)와 제 1 저장 수단(15)에 접속되는 모션 보상기(14)를 포함한다. 모션 보상기(14)는 제 1 저장 수단(15)에서 영상 이미지 데이터의 서브셋을 저장하고 각각의 벡터에 대해 제 1 저장 수단(15)으로부터 요구되는 데이터를 검색함으로써 모션 보상을 수행하기 위해 배열되며, 요구되는 데이터가 제 1 저장 수단(15)에서 전적으로 이용 가능하지 않은 경우들에서는, 적어도 요구된 데이터의 손실 부분들을 포함하는 영상 이미지 데이터는 제 2 저장 수단(10)으로부터 검색되고 제 1 저장 수단(15)에 저장된다. 모션 추정기(12)는 적어도 하나의 통계적인 특성을 충족하는 영상 모션 벡터 필드에서 모션 벡터들을 선택하기 위해 더 배열된다.

Description

제어된 벡터 통계들을 이용한 모션 추정 및 보상{Motion estimation and compensation with controlled vector statistics}

모션 추정 및 보상을 위해 알려진 시스템은 오프-칩 메모리(off-chip memory)에서 영상 이미지 데이터를 액세스하기 위한 상당한 대역폭 요구들을 가진다. 일부 시스템들에 있어서, 캐쉬(cashe)는 대역폭 요구들을 감소하는데 이용된다. 영상 이미지 데이터로의 액세스들에서의 공간 국지성(spatial locality) 때문에, 평균 동작(average behaviour)은 개선할 수 있다. 그러나, 그러한 공간 국지성이 존재한다는 보장이 없고, 따라서, 최악의 경우의 동작은 개선되지 않는다. 따라서, 액세스들을 실행하기 위해 요구되는 대역폭에서의 보장된 감소는 제공되지 않는다.

유럽 특허 출원 EP-A-0 294 957은 디지털 텔레비전 이미지들에서의 모션 벡터 처리를 위한 장치 및 방법을 설명한다. 이 문서는 일부 특정 상황들에서 벡터들의 품질을 향상시키기 위해 모션 벡터들에 대한 필터 회로를 설명한다. 이 필터 회로는 모션 추정기를 이미지에서 잡음에 대해 더 강인하게(robust) 만들고 모션 추정기 회로가 더 신뢰할 수 있는 영(0) 벡터들을 전달하는 것을 보장한다.

다양한 모션 추정 기술들 및 구현은 G. de Haan et al. in "3 차원 순환 블록 매칭을 이용하는 트루 모션 추정(True motion estimation with 3-D recursive block matching)", IEEE Trans. CSVT, Oct. 1993, pp. 368-388 및 "모션 보상된 디-인터레이싱, 잡음 감소, 및 화상률 변환을 위한 IC(IC for motion-compensated de-interlacing, noise reduction, and picture-rate conversion)", IEEE Trans. on CE , Aug., 1999, pp. 617-624에 의해 설명된다.

본 출원은 영상(video) 이미지 데이터에서의 모션 추정 및 보상을 위한 시스템 및 방법에 관한 것이다.

본 발명은 첨부된 도면들을 참조하여, 예시적인 다수의 실시예들을 설명함으로써 아래에 더 상세하게 설명될 것이다.

도 1은 본 발명의 실시예에 따른 모션 추정/보상 시스템의 개략도.

도 2는 본 발명의 다른 실시예에 따른 모션 추정/보상 시스템의 개략도.

도 3은 캐쉬에 서브셋을 포함하는 이미지를 개략적으로 도시한 도면.

도 4는 캐쉬에 다른 서브셋을 포함하는 이미지를 개략적으로 도시한 도면.

본 발명은 영상 데이터를 처리하기 위한 모션 추정과 모션 보상 방법 및 시스템을 제공하는 것이 목표이고, 모션 보상 동안 메모리 대역폭의 이용은 작은 모션 보상 데이터 캐쉬를 적용하는 동안 모든 가능한 환경들에서 특정한 최대로 제한한다.

본 발명에 따라, 방법은 영상 이미지 데이터에서의 모션 보상 및 모션 추정을 위해 제공되고, a)영상 이미지의 연속적인 이미지들에서의 모션을 분석하고 상기 모션에 의존하여 모션 벡터 필드를 유도하는 단계와; b)제 1 저장 수단에 영상 이미지 데이터의 서브셋을 저장하고, 각각의 벡터에 대해, 제 1 저장 수단으로부터 요구되는 데이터를 검색함으로써 모션 보상을 수행하는 단계로서, 요구된 데이터가 제 1 저장 수단에서 이용 가능하지 않은 경우, 적어도 요구된 데이터의 손실 부분들을 포함하는 영상 이미지 데이터는 제 2 저장 수단으로부터 패치(fetch)되어 제 1 저장 수단에 저장되는, 상기 모션 보상을 수행하는 단계를 포함하고, 단계 a)에서, 영상 모션 벡터 필드에 모션 벡터들이 적어도 하나의 통계적 특성을 충족하는 것이 선택된다.

Haan에 의해 설명되는 구현과 같은, 많은 본 시스템들은 이미지의 서브셋을 저장하기 위해 2 차원 버퍼 또는 캐쉬를 적용한다. 모션 보상은 모션 벡터들을 적용하는 동안 캐쉬로부터 데이터를 패치(fetch)한다. 통상적인 시스템들에 있어서, 캐쉬 또는 2 차원 버퍼는 모션 벡터들의 전체 검색 범위에 걸친다; 보통 그것은 라인 메모리들로 구성된다. 이것은 메모리의 비교적 큰 양, 예를 들어,([-12..12]의 관련 최대 수직 벡터 범위를 가진) 24 라인들과 720개의 픽셀들 폭을 만든다. 따라서, 그러한 캐쉬는 버퍼링으로 적어도 17,280개의 픽셀들을 요구한다. 본 발명은 실질적으로 작은 크기의 모션 보상 데이터 캐쉬를 허용한다. 통상적으로 수 백 픽셀들만을 저장할 수 있다. 특별한 수단들 없이, 작은 모션 보상 캐쉬의 이용이 이미지 저장과 캐쉬 사이의 잠재적으로 매우 높은 대역폭 요구들을 이끌어 낼 수 있다. 특히, 다양한 방향들에서 많은 모션을 가진 복잡한 영상 장면들의 경우에 있어서, 캐쉬의 리프레쉬률(refresh rate)은 이용 가능한 대역폭을 잠재적으로 초과하는, 과도한 데이터 트래픽(traffic)의 원인이 될 수 있다. 결과적으로, 캐쉬를 리프레쉬하는 것은 너무 느리게 될 수 있고, 이는 보통 출력 이미지의 손실을 가져온다. 이것은 회피되어야 하는 매우 심한 아트팩트(artefact)인 것으로 고려된다. 본 발명은 작은 캐쉬를 허용하고 동시에 미리 규정된 최대 대역폭 이용을 보장하며, 이는 미리 규정된 최대 대역폭 이용은 최악의 경우의 대역폭 이용보다 실질적으로 낮다.

데이터 캐쉬의 효율이 데이터 레퍼런스(reference)들의 공간 국지성에 의존한다는 것이 명백하다. 이 국지성은 캐쉬의 크기에 관련된다. 큰 데이터 캐쉬에 대해, 존재하는 시스템들에 적용됨으로서, 모든 데이터 액세스들은 버퍼로부터 데이터를 패치할 것이다. 여기에 제안된 바와 같은 작은 캐쉬에 대해, 일부 데이터 요청들은 캐쉬에서 이용 가능한 데이터를 액세스할 것이고, 다른 요청들은 이용 가능하지 않은 데이터를 액세스할 것이다. 후자는 데이터 캐쉬의 (부분적인) 리프레쉬의 원인이 되고, 따라서 캐쉬로의 이미지 저장으로부터의 데이터 전송의 원인이 된다. 데이터가 액세스되는 이미지의 위치가 모션 벡터에 의존하기 때문에, 캐쉬 효율은 벡터 필드의 통계들에 의존한다.

영상 스캔율(scan rate) 변환 및 시간 이동 기록과 같은, 모션 추정 및 보상을 이용하는 특정 어플리케이션에 있어서, 모션 추정 다음에 단일 시스템에서 모션 보상이 이어진다. 그러한 상황들에 있어서, 모션 추정기는 그것이 계산하는 벡터 필드는 미리 규정된 벡터 통계들로의 컴파일(compile)되는 방식으로 제어될 수 있다. 결과적으로, 이미지 저장과 모션 보상 캐쉬 사이의 대역폭 이용은 특정 제한 아래로 되는 것이 보장된다.

영상 모션 벡터 필드의 적당한 통계적 특성들을 이용함으로써, 모션 보상기에 의해 이용되는 바와 같이 로컬 버퍼(또는 캐쉬)의 이용이 특정한 보장된 정도로 오프-칩 메모리에서 영상 이미지 데이터를 액세스하기 위해 요구되는 대역폭을 감소한다는 것이 보장되는 것이 가능하다. 이것은, 예를 들어, 장면에서 많고 복잡한 모션을 가진 상황에서, 요구되는 대역폭은 모션 보상 처리의 지연을 만드는, 이용가능한 대역폭을 잠재적으로 초과한다는 가능성을 피할 것이다. 요구된 통계적인 특성들은 모션 보상기에 의해 수행될 액세스들의 공간 국지성을 개선하는 후보 모션 벡터들에 선호(preference)를 제공함으로써 성취될 수 있다.

적어도 하나의 통계적인 특성 또는 제한은 제 2 저장 수단을 액세스하기 위해 이용 가능한 제 1 양에 의존할 수 있다. 제 1 양은 제 2 저장 수단에 대해 이용 가능한, 즉, 하드웨어 특성들에 의해 제한되는, 양일 수 있다. 대안적으로, 제 1 양은 모션 보상기에 이용 가능한 대역폭의 양일 수 있다.

또한, 적어도 하나의 통계적인 특성은 메모리 수단, 즉, 제 1 저장 수단, 제 2 저장 수단 및 (지원된 데이터 전송 유형들/프로토콜들을 포함하는) 제 1 및 제 2 저장 수단 사이의 통신 수단의 적어도 하나의 아키텍쳐(architectural) 특성에 의존할 수 있다.

다른 실시예에 있어서, 적어도 하나의 통계적인 특성은 제 2 저장 수단을 액세스하기 위해 실제 이용 가능한 대역폭에 의존하여, 다이나믹하게 조절된다. 통계적인 특성들을 다이나믹하게 제어함으로써(예를 들어, 때때로 통계적인 특성을 결정함으로써), 모션 보상에 의해 야기되는 제 2 저장 수단으로부터의 데이터 트래픽은 영향을 미칠게될 수 있다. 후자는 또한 다른 기능들이 제 2 저장 수단에 액세스하는 공유된 메모리를 가진 시스템들에 특히 유용하다.

다른 실시예에 있어서, 이 방법은 제 1 저장 수단을 이용하여 다른 시스템들로 모션 추정기에 의해 이용 가능한 적어도 하나의 실제 이용되는 통계적인 특성을 만드는 다른 단계를 포함한다. 실제 이용되는 통계적인 특성은 적어도 하나의 통계적인 특성과는 다를 수 있다. 또한, 적어도 하나의 실제 이용되는 통계적인 특성은 제 2 저장 수단에 액세스하기 위해 실제 이용되는 대역폭을 결정하는데 이용될 수 있고, 이용 가능한 대역폭과 실제 이용되는 대역폭 사이의 차이는 다른 시스템에 이용 가능하게 만들어질 수 있다. 예를 들어, 모션 추정기는 제 2 저장 수단을 이용하여 다른 시스템으로 실제 탐색한 통계들을 리포트(report)할 수 있다. 이 정보로부터, 다른 시스템 성분들은 모션 보상을 위한 실제 대역폭 요구들을 결정할 수 있다. 모션 보상이 실제로 모든 이용 가능한 대역폭을 이용하지 않는 경우, 다른 시스템 성분들은 대역폭을 이용하는 것이 허용될 수 있다.

다른 실시예에 있어서, 단계 a)는 a1)이미지의 다른 서브셋에 대한 후보 모션 벡터들의 세트를 결정하는 단계와; a2)이전에 선택된 모션 벡터와 각각의 후보 모션 벡터들 사이의 상관에 의존하여, 적어도 하나의 패널티 값을 계산하는 단계와; a3)적어도 하나의 통계적인 특성과 이전에 선택된 모션 벡터들의 적어도 하나의 패널티 값의 통계들과 후보 모션 벡터들의 적어도 하나의 패널티 값을 고려하면서 후보 모션 벡터들의 세트로부터 다른 모션 벡터들을 선택하는 다른 단계들을 포함한다. 이미지의 다른 서브셋은 모션 벡터를 선택하기 위해 이전에 처리되었던 이미지의 서브셋에 수직적으로 인접(상/하)하거나 수평적으로 인접(좌/우)할 수 있다. 상관이 미리 규정된 임계값 미만일 때, 벡터들은 약하게 상관되고, 그것은 모션 보상동안 제 1 데이터 저장 수단을 (부분적으로) 리프레쉬하는 것이 필요할 것이다. 이것은 제 2 저장 수단에서 영상 이미지 데이터를 액세스하기 위해 대역폭 이용을 증가할 것이다. 패널티는 그것이 모션 보상 동안 제 2 저장 수단을 액세스하기 위해 요구될 대역폭의 양의 측정이 되도록 계산된다. 후보 모션 벡터들로부터 모션 벡터를 선택할 때 현재 이미지에서 실제 선택된 모션 벡터들에 속하는 패널티 값들의 통계들을 고려함으로써, 새롭게 선택된 모션 벡터의 패널티를 포함하는 패널티 값들의 통계들은 모션 추정기에 입력되는 적어도 하나의 통계적인 특성에 의해 제한될 수 있다. 예로서, 모든 패널티 값들의 합은 모션 보상 동안 제 2 저장 수단을 액세스하기 위한 대역폭의 특정 양을 표현할 수 있다. 여기에 설명된 방법에 있어서, 이 합은 제한될 수 있고, 따라서, 대역폭을 제한한다. 알려진 모션 추정 방법들에 있어서, 선택은 현재 위치에 대한 후보 모션 벡터의 원천(origin)과 같은, 후보 모션 벡터들의 다른 특성들의 후보 모션 벡터들의 매치 에러에 기초한다

다른 실시예에 있어서, 이전에 선택된 모션 벡터들의 적어도 하나의 패널티 값의 통계들은 모두 이전에 선택된 모션 벡터들을 기반으로 하고, 따라서 현재 이미지에서 선택되었던 모든 모션 벡터들을 고려한다. 이 방식으로, 모션 보상 동안 제 2 저장 수단을 액세스하기 위한 대역폭은 단일 이미지들의 그레뉼러티(granularity)에 제한된다. 결과적으로, 전체 이미지에 대한 모션 보상 동안 평균 대역폭 사용은 제한되지만, 그러나 이미지의 일부의 처리 동안 여전히 높은 피크 대역폭 소비가 가능하다.

일부 상황들에 있어서, 이것은 수용 가능하지 않거나 더 고가의 구현들을 이끈다. 따라서, 다른 실시예에 있어서, 이전에 선택된 모션 벡터들의 적어도 하나의 패널티 값의 이들 통계들은 현재 이미지에서 선택되었던 모션 벡터들의 서브셋만을고려한다. 이 방식으로, 제어의 그레뉼러티는 이미지의 일부로 정련(define)되고 이미지의 일부의 모션 보상 동안 높은 피크 대역폭 소비를 피할 수 있다.

초기에 언급된 실시예를 이용할 때, 이미지 처리의 시작은 모션 추정단계들이 이미지의 끝에서 적어도 하나의 통계적인 특성을 충족하도록 시작 부분에서보다 더 강하게 상관되게 끝 부분에서 모션 벡터를 만들 수 있는 것에서, 이미지 처리의 끝과는 다른 품질의 것일 수 있다. 이것은 잠재적으로 가시적인 아티팩트(artefact)의 원인이 될 수 있다. 이 상황은 보통 영상 시퀀스에서 연속적인 이미지들 사이에 강한 시간적인 상관이 있다는 사실을 이용함으로써 개선될 수 있다. 시간적인 피드백을 통해, 이미지 시퀀스의 통계적인 특성들은 이용될 수 있고, 따라서, 더 일정한 이미지 품질을 얻는다. 이것은 이전 이미지들에서 선택된 모션 벡터들의 적어도 하나의 패널티 값의 통계들은 a3)의 선택 처리에 더 영향을 미치는데 이용되는 다른 실시예들로 성취될 수 있다.

더 다른 실시예에 있어서, 이미지의 다른 서브셋은 제 1 저장 수단, 제 2 저장 수단 또는 통신 수단을 포함하는, 통신 수단과 메모리의 아키텍쳐 특성들에 의존하여 선택된다. 이것은 시스템의 아키텍쳐 특성들로 영상 이미지들의 스캐닝 순서를 최적화하는 것을 허용한다.

다른 양상에 있어서, 본 출원은 청구항 2항 내지 12항 중 하나에 따른 시스템에 관한 것이다. 이 시스템은 간단하고 효율적인 구현으로 본 방법의 결과들을 성취하기 위해 배열된다.

이 시스템은 텔레비전 세트 또는 세트 톱 박스에서 유리하게 이용될 수 있다.

영상 도메인에 내장된 시스템들을 위한 많은 어플리케이션들은 모션 추정 및/또는 모션 보상 기술들을 이용한다. 그러한 어플리케이션들의 중요한 양상은 그것들이 (비교적 큰) 이미지 메모리에 영상 데이터를 액세스하기 위한 상당한 대역폭 요구들을 가진다는 것이다. 하나의 선택은 영상 데이터로의 액세스들에서의 공간 국지성(spatial locality) 때문에 개선된 평균적인 경우의 동작이 만들어지는, 이런 대역폭 요구들을 감소하기 위해 캐쉬를 이용하는 것이다. 그러나, 공간 국지성이 보장되지 않기 때문에, 그러한 캐쉬는 최악의 경우의 동작을 개선하지 않을 것이고 결과적으로 이러한 액세스들을 수행하기 위해 요구되는 대역폭으로 보장된 감소를 제공하지 않을 것이다.

도 1에 있어서, 간단한 블록도는 영상 어플리케이션에서의 사용을 위한 모션 보상 시스템 및 모션 추정을 도시한다. 이 시스템은 모션 추정기(12) 및 모션 보상기(14)를 포함한다. 또한, 시스템은 영상 이미지의 비교적 작은 2 차원 영역(예를 들어, 8 개의 라인들에 의한 32 픽셀들)을 저장하기 위한 2 차원 버퍼(15)를 포함한다. 영상 이미지 프레임은 모션 보상기(14) 및/또는 2 차원 버퍼(15)의 제어하에서, (가능하게 오프 칩) 이미지 메모리(10)로부터 2 차원 버퍼에 입력된다. 이미지 메모리(10)는 다수의 영상 이미지들을 포함할 수 있다. 이 이미지 메모리는 입력 영상 데이터(11)로 채워진다. 모션 추정 및 모션 보상 기능들에 있어서, 영상 데이터의 블록들은 모션 벡터를 통해 액세스된다. 버퍼(15)는 영상 데이터를 다시 사용될 수 있도록 이용되고, 그것에 의해 이미지 메모리(10)와 2 차원 버퍼(15) 사이의 접속(20)의 대역폭 요구를 효율적으로 감소시킨다.

모션 추정기(12)는 이미지 메모리(10)에서 연속적인 영상 이미지 조각들을 분석하고 잘 알려진 2 차원 기술들을 이용하여 모션 벡터들을 유도하기 위해 배열된다. 다양한 모션 추정 기술들은 G. de Haan et al. in "3 차원 순환 블록 매칭을 이용하는 트루 모션 추정(True motion estimation with 3-D recursive block matching)", IEEE Trans. CSVT, Oct. 1993, pp. 368-388에 의해 설명된다.

통신 수단(22)을 통해, 벡터들은 모션 보상기(14)로 전송되고, 모션 보상기(14)는 2 차원 버퍼(15)로 영상 이미지 데이터를 액세스하기 위해 모션 벡터들을 이용한다. 데이터가 버퍼에 존재하지 않는 경우에서, 그것은 영상 이미지 메모리(10)로부터 새로운 데이터로 (부분적으로) 리프레쉬될 것이다. 버퍼로부터 영상 데이터를 처리한 후, 모션 보상기(14)의 결과들은 출력 데이터(16)로 전송된다.

2 차원 버퍼(15)의 아키텍쳐 특성들은 보통 특정 구현을 설계하는 중 정의된다. 이것은 또한 모션 보상기에 대한 미리 규정된 대역폭을 제공하는, 2 차원 버퍼와 이미지 메모리 사이의 접속(20)에 대해 참(true) 일 수 있다. 그러나, 이미지 메모리는 다른 기능으로 공유되는 상황들이 존재할 수 있다. 그러한 더 향상된 시스템은 도 2에 도시된다.

도 2에 이미지 메모리가 다수의 기능들 사이에 공유되기 때문에, 이미지 저장(10)과 버퍼(15) 사이의 접속 수단(20)은 확장된다. 이 경우에 있어서, 그것은 통상적으로 통신 버스들(20)로서 구현될 수 있다. 예로서, 버스 클라이언트(42)는 시스템에 더해지고; 이 버스 클라이언트는 모션 추정 및 모션 보상에 관련되거나 관련되지 않는 기능을 수행할 수 있다. 이와 같은 시스템에 있어서, 통신 수단(20) 상에서 모션 보상기(14)에서 이용 가능한 대역폭은, 예를 들어 버스 클라이언트(42)가 활성인 지의 여부에 의존하여, 상당히 변할 수 있다. 모션 보상기(14)의 대역폭 이용은 모션 추정기(12)에서 통계적인 제한들에 의해 제어될 수 있다. 이 시스템에 있어서, 이들 통계적인 제한들(30)은 대역폭 제어 유닛(46)에 의해 버스 상에서 이용 가능한 대역폭에 다아나믹하게 적응된다. 시스템의 다른 개선(refinement)으로서, 대역폭 제어 유닛은 또한 모션 추정기(12)로부터 실제 통계적인 특성들(48)을 검색할 수 있다. 이 정보를 분석함으로써, 대역폭 제어 유닛(46)은 모션 보상기(14)가 모션 벡터들이 적용될 때 실제로 이용할 요구된 대역폭을 예측할 수 있다. 대역폭이 통계적인 제한들(30)에 의해 강화된 대역폭 제한 아래에 있는 경우에 있어서, 이 남은 대역폭은 다른 기능들의 품질을 개선하는데 이용될 수 있다.

통계적인 제한들(30)을 변화함으로써, 이미지 품질과 대역폭 소비 사이의 제어된 트레이드 오프(trade off)는 가능하고, 따라서 대역폭 제한을 매우 요구할 때 모션 보상기(14)의 출력 이미지들의 품질의 단계적인(graceful) 저하를 제공한다.

도 2의 시스템 상에서 대역폭 제어의 이들 메커니즘들을 적용함으로써, 심지어 다수의 기능들을 통해 다시 최적화되는, 버스 과부하(overload)인 경우에서 단계적인 저하뿐만 아니라, 다수의 기능들을 통해 서비스의 품질을 개선하는 것이 가능하다.

디지털 영상 처리 기술들에 있어서, 모션 추정 기능은 이미지 데이터의 블록들의 모션에 대한 벡터 필드를 결정한다. 정상 영상 이미지 시퀀스들에서의 벡터들은 큰 퍼센트의 경우들(75%로 가정)로 높게 상관되고 다른 퍼센트의 경우들(최악의 경우의 상황에서의 25%로 가정)에서 완전히 상관되지 않는다. 또한, 정의는 약하고 강하게 상관된 벡터들에 제공된다. 다음 벡터가 약하게 상관되면, 요구된 데이터는 2 차원 버퍼(15)에 (완전히 없거나 또는) 없고 버퍼(15)는 이미지 메모리(10)로부터 (부분적으로) 다시 채워지는 것이 필요하다. 그러나, 다음 벡터가 강하게 상관되면 요구된 데이터는 버퍼(15)에서 이용 가능한 것이다.

예에 의해, 도 3 및 도 4는 인접한 모션 벡터들의 상관이 어떻게 캐쉬 효율, 따라서, 이미지 메모리(10)와 버퍼(15) 사이의 데이터 트래픽에 관련되는 지를 도시한다. 도 3은 이미지 데이터의 서브셋(62)이 캐쉬(15)에서 이용 가능한, 이미지(60)를 도시한다. 이것은 이미지 데이터(64 및 66)의 2 개의 인접한 블록들에 속하는 2 개의 모션 벡터들을 더 도시한다. 2 개의 모션 벡터들은 강하게 상관되고, 그 결과로서, 모션 벡터들을 통해 액세스되는 2 개의 블록들(65, 67)은 캐쉬에 있는 이미지 데이터의 서브셋(62)에서 둘 다 존재한다. 도 4에 있어서, 유사한 상황들이 서술되지만, 그러나, 이 경우에서 2 개의 모션 벡터들은 약하게 상관된다. 벡터들 사이의 큰 차이 때문에, 모션 벡터들을 통해 액세스되는 이미지 데이터(68)의 제 2 블록은 캐쉬에 있는 이미지 데이터의 서브셋(62) 내에 존재하지 않는다. 따라서, 캐쉬는 (부분적으로) 리프레쉬되는 것이 필요하다.

영상 이미지 메모리(10)와 2 차원 버퍼(15) 사이의 통신 수단(20)의 대역폭 요구들은 2 차원 버퍼(15)에 데이터가 가능한 많이 다시 사용될 때 감소될 수 있다. 보통의 경우 거동에 있어서, 데이터 재사용의 효율은 영상 데이터로의 액세스들의 공간 국지성 때문에 확대될 수 있다. 그러나, 정상 영상 데이터에 있어서, 그러한 국지성에 존재하는 것이 보장되지 않고, 따라서 영상 이미지 메모리(10)로의 액세스들을 수행하기 위해 요구되는 대역폭으로의 감소를 보장하는 것이 제공되지 않는다.

이미지 메모리(10)에서의 이미지 데이터로부터, 모션 추정기는 모션 벡터 필드를 결정한다. 벡터 필드의 계산 때문에, 모션 추정기(12)는 통계적인 제한들(30)이 충족되는 것을 보장한다. 따라서, 모션 추정기(12)는 모션 보상기(14)에 의해 수행될 액세스들의 공간 국지성을 개선하는 후보 모션 벡터들로 선호를 제공할 수 있다. 이것은 2 차원 버퍼(15)의 히트률(hit rate)을 개선할 것이고 따라서 통신 수단(20)에 의해 영상 이미지 메모리(10)를 액세스하기 위해 요구되는 대역폭을 감소시킬 것이다.

본 발명에 있어서, 모션 추정기(12)에 의해 선택될 수 있는 약하게 상관된 벡터들의 퍼센테이지는 특정 대역폭 제한이 초과되지 않는 것을 보장하기 위해 제한된다. 특정 이미지 부분에 대한 후보 모션 벡터가 약하게 또는 강하게 상관되는 지는 2 차원 버퍼(15)의 아키텍쳐와 통신 수단(20)의 아키텍쳐에 의존한다. 또한, 버퍼 크기가 관련된다. 따라서, 통계적인 제한들(30)은 이미지 메모리(10)와 2 차원 버퍼(15) 사이의 이용 가능한 대역폭과 메모리 시스템의 아키텍쳐 특성들에 의존한다.

일반적으로, 모션 추정기(12)에 의해 구현되는 바와 같은 모션 추정 기능은 3 가지 단계들을 포함한다. 먼저, 후보 모션 벡터의 세트는 이미지의 주어진 서브셋에 대해 결정된다. 다음, 매치 기준은 각 후보 벡터에 대해 계산되고, 마지막으로, 최상의 후보 모션 벡터는 모션 추정기(12)로부터의 출력 벡터로서 선택된다. 단계들 각각은 이미지의 모든 부분에 대해 반복되어 특정 이미지에 대한 완성한 벡터 필드를 만든다.

Haan등의 논문(위에 설명됨)에 있어서, 모션 추정의 특히 효율적인 방법은 3 차원 반복 검색이다. 그러한 방법에 있어서, 후보 벡터들의 매우 제한된 수들이 존재한다. 이들 중에서, 인접하는 이미지 부분들 상의 계산된 벡터들로부터 유도되거나 또는 그들에 동일한 소수의 후보 벡터들이 있다. 정의에 의해, 동일한 벡터들은 강하게 상관된다. 또한, 유도된 벡터들은 많은 경우들에서 강하게 상관될 수 있다. 이미지에 대한 모션 벡터 필드을 만들 때, 이 경우에서는, 매치 기준이 이용될 뿐만 아니라 추가 기준이 (인접하는 벡터를 가진 후보 벡터의 상관값) 고려된다. 따라서, 모션 추정기는 먼저 후보 모션 벡터들 각각에 대한 패널티 값을 계산한다. 이들 패널티 값들은 후보 모션 벡터와 인접하는 계산된 모션 벡터 사이의 상관량에 의존한다. 이 패널티 값은 모션 보상 동안 요구되는 대역폭 양에 대한 측정치이다. 후보 모션 벡터들로부터 만들어진 모션 벡터를 선택할 때, 계산된 패널티 값들은 분석되고, 이는 또한 이전에 선택된 모션 벡터들의 패널티 값들의 통계들을 고려한다. 그래서, 정규 매치 기준과는 별도로, 패널티 값들의 이 분석은 추가 선택 기준이다. 이 방식으로, 강하게 상관된 결과적인 모션 벡터는 그것이 최상의 매칭을 가지지 않더라도 선택될 수 있고, 따라서 결과적인 모션 벡터들은 모션 보상동안 대역폭이 특정 제한들 내에 있는 것을 보장하기 위해 상관된다.

이 처리는 강하게 그리고 약하게 상관된 벡터들이 이미지를 통해 일정하게 분포되고, 따라서 모션 추정기에서의 상관들은 이미지 상에서 일정하게 분포되는 가정 하에서 편리하게 동작하고, 이것은 또한 이미지 품질이 이미지 상에서 일정하다는 것을 의미하기 때문이다. 어떤 영상 시퀀스에 있어서, 이것은 다를 수 있고, 설명된 방법은 이미지 처리의 끝에 비교되어 이미지 처리의 시작에서 다른 이미지 품질로 될 수 있다. 이것은 강하게 상관된 벡터들을 약하게 상관된 벡터들의 요구된 퍼센테이지로 만드는 끝에서의 문제를 일으키는 모션 추정기(12)에 의해서 야기되어질 수 있다.

대부분의 영상 시퀀스에 있어서, 강한 시간적인 상관은 영상 시퀀스에 연속적인 이미지들 사이에 존재한다. 시간적인 반복 피드백 루프(loop)를 통해, 모션 추정기(12)는 시퀀스의 특정한 특성들로부터의 특정 이미지에 대한 상관들의 전체수 또는 요구된 퍼센테이지를 추정할 수 있고, 이미지를 통해 일정하게 약하거나 강하게 상관된 후보 모션 벡터들에 대한 선호를 분포시킬 수 있으며, 따라서 일정한 품질 레벨로 이미지를 전달한다.

이웃하는 이미지 부분들(또는 모션 벡터)은 수평적으로 접근(좌 또는 우)할 수 있거나 수직적으로 접근(상 또는 하)할 수 있다. 선택된 대안들은 스캐닝 순서를 최적화하기 위해, 메모리 시스템의 아키텍쳐 특성에 의존할 수 있다.

모션 벡터 필드의 통계적인 특성들이 작은 캐쉬를 가진 시스템에서 이용되지 않을 때, 많고 복잡한 모션을 가진 상황은 통신 수단(20)의 과부하가 만들어지는, 영상 이미지 메모리(10)로의 많은 필요한 액세스들 만들 것이다. 결과적으로, 계산된 이미지가 때맞춰 있지 않아 영상 출력(16)에서 손실한 이미지를 효율적으로 야기하는 가능한 효과가 있을 것이다.

본 발명에 따른 시스템 및 방법이 동일한 상황에서 이용될 때, 모션 추정기(12)에 의해 출력되는 벡터 필드의 감소된 품질이 만들어질 수 있고, 이는 벡터 일관성(consistency)의 제한들은 모션 추정기(12)로 하여금 최적이 아닌 벡터들을 선택하기 때문이다. 이것은 모션 보상기(14)에 의해 모션 보상된 후 영상 출력(16)에서 감소된 이미지 품질을 만들 수 있다. 그러나, 영상 스트림에서의 손실 영상들의 더 심각한 아티팩트들이 방지될 것이고, 그 결과, 인식된 이미지 품질이 개선될 것이다. 또한, 시스템 동작의 신뢰성(reliability) 및 예측성(predictiveness)이 개선될 것이다. 또한, 공유된 자원들을 이용하여 다수의 기능들을 가진 시스템에서의 서비스 품질이 가능한 만들어진다.

Claims

영상 이미지 데이터에서의 모션 보상을 위한 방법으로서,

a)상기 영상 이미지 데이터의 연속적인 이미지들에서의 모션을 분석하고 상기 모션에 의존하여 모션 벡터 필드를 유도하는 단계와;

b) 제 1 저장 수단(15)에 상기 영상 이미지 데이터의 서브셋을 저장하고, 각각의 벡터에 대해, 상기 제 1 저장 수단(15)으로부터 요구되는 데이터를 검색함으로써 모션 보상을 수행하는 단계로서, 상기 요구된 데이터가 전적으로 상기 제 1 저장 수단(15)에서 이용 가능하지 않은 경우들에 있어서, 적어도 상기 요구된 데이터의 손실 부분들을 포함하는 영상 이미지 데이터는 제 2 저장 수단(10)으로부터 패치(fetch)되어 상기 제 1 저장 수단(15)에 저장되는, 상기 모션 보상을 수행하는 단계를 포함하고,

단계 a)에서, 상기 영상 모션 벡터 필드에 모션 벡터들이 적어도 하나의 통계적 특성을 충족하는 것이 선택되는, 모션 보상을 위한 방법.
영상 이미지 데이터로 모션 보상을 위한 시스템으로서,

상기 영상 이미지 데이터의 연속적인 프레임들에서 모션을 분석하고 상기 모션에 의존하여 모션 벡터 필드를 유도하기 위해 배열되는 모션 추정기(12)와;

상기 모션 추정기(12)와 제 1 저장 수단(15)에 접속되는 모션 보상기(14)로서, 상기 모션 보상기(14)는 제 1 저장 수단(15)에 상기 영상 이미지 데이터의 서브셋을 저장하고, 각각의 벡터에 대해 상기 제 1 저장 수단(15)으로부터 요구된 데이터를 검색함으로써 모션 보상을 수행하기 위해 배열되는, 상기 모션 보상기(14)를 포함하고,

상기 요구된 데이터가 전적으로 상기 제 1 저장 수단(15)에서 이용가능하지 않는 경우들에 있어서, 적어도 상기 요구된 데이터의 손실 부분들을 포함하는 영상 이미지 데이터는 상기 제 2 저장 수단(10)으로부터 패치(fetch)되어 상기 제 1 저장 수단(15)에 저장되고;

상기 모션 추정기(12)는 적어도 하나의 통계적인 특성을 충족하는 상기 영상 모션 벡터 필드에서 모션 벡터들을 선택하기 위해 더 배열되는, 모션 보상을 위한 시스템.
제 2항에 있어서,

상기 적어도 하나의 통계적인 특성은 상기 제 2 저장 수단(10)을 액세스하기 위해 대역폭의 제 1 양에 의존하는, 모션 보상을 위한 시스템.
제 2항에 있어서,

상기 적어도 하나의 통계적인 특성은 상기 제 1 저장 수단(15), 상기 제 2 저장 수단(10), 또는 제 1 및 제 2 저장 수단(10) 사이의 통신 수단(20)의 적어도 하나의 아키텍쳐(architectural) 특성에 의존하는, 모션 보상을 위한 시스템.
제 2항에 있어서,

상기 적어도 하나의 통계적인 특성은 상기 제 2 저장 수단(10)을 액세스하기 위해 실제 이용 가능한 대역폭에 의존하여 다이나믹하게 조절되는, 모션 보상을 위한 시스템.
제 2항에 있어서,

상기 모션 추정기(12)는 다른 시스템(42)에 적어도 하나의 실제 이용되는 통계적인 특성을 만들기 위해 이용 가능하게 배열되는, 모션 보상을 위한 시스템.
제 6항에 있어서,

상기 모션 추정기(12)는 상기 제 2 저장 수단(10)을 액세스하기 위해 상기 실제 대역폭을 결정하고, 이용 가능한 대역폭과 상기 다른 시스템(42)에 이용 가능한 실제 이용되는 대역폭 사이에 차이를 만들기 위해 상기 적어도 하나의 실제 이용되는 통계적인 특성을 이용하도록 배열되는, 모션 보상을 위한 시스템.
제 2항에 있어서,

상기 모션 추정기(12)는 상기 이미지의 다른 서브셋에 대한 후보 모션 벡터들의 세트를 결정하고, 이전에 선택된 모션 벡터와 각각의 후보 모션 벡터들 사이의 상관에 의존하여, 적어도 하나의 패널티(penalty) 값을 계산하고, 적어도 하나의 통계적인 특성, 이전에 선택된 모션 벡터들의 상기 적어도 하나의 패널티 값의통계들과 후보 모션 벡터들의 적어도 하나의 패널티 값을 고려하면서 상기 후보 모션 벡터들의 세트로부터 다른 모션 벡터를 선택하기 위해 더 배열되는, 모션 보상을 위한 시스템.
제 8항에 있어서,

이전에 선택된 모션 벡터들의 상기 적어도 하나의 패널티 값의 상기 통계들은 현재 이미지에서 모든 이전에 선택된 모션 벡터들에 기초하는, 모션 보상을 위한 시스템.
제 8항에 있어서,

이전에 선택된 모션 벡터들의 상기 적어도 하나의 패널티 값의 상기 통계들은 현재 이미지에서 상기 이전에 선택된 모션 벡터들의 서브셋에 기초하는, 모션 보상을 위한 시스템.
제 8항에 있어서,

이전 이미지들에서 선택된 벡터들의 상기 적어도 하나의 패널티 값이 상기 통계들은 상기 다른 모션 벡터들의 상기 선택에 다른 영향을 미치도록 하는데 이용되는, 모션 보상을 위한 시스템.
제 8항에 있어서,

상기 이미지의 상기 다른 서브셋은 상기 제 1 저장 수단(15), 제 2 저장 수단(10), 또는 통신 수단(20)의 적어도 하나의 아키텍쳐(architectural) 특성에 의존하는, 모션 보상을 위한 시스템.
청구항 2항에 따른 모션 보상을 위한 시스템을 포함하는, 텔레비전 세트.
청구항 2항에 따른 모션 보상을 위한 시스템을 포함하는, 세트 톱 박스.