KR20060089667A - 데이터 프레임에서 스캐닝하는 방법 및 장치 - Google Patents

Abstract

본 발명은 시간 회귀를 제공하는 이미지의 시퀀스에서 픽셀을 스캐닝하는 방법 및 장치에 관한 것이다. 본 발명에 따라, 동일 라인에서 픽셀의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전된다.

본 발명은 또한 움직임 추정에도 적용가능하다.

이미지, 픽셀, 시퀀스, 시간, 공간, 예측자, 움직임, 추정, 스캐닝

Description

데이터 프레임에서 스캐닝하는 방법 및 장치{METHOD AND DEVICE FOR SCANNING IN A DATA FRAME}

도 1은 본 발명의 바람직한 실시예에 따른 장치를 도시한 도면.

도 2는 상이한 프레임들에서 스캐닝하는 방향의 제1 예를 도시한 도면.

도 3은 상이한 프레임들에서 스캐닝하는 방향의 제2 예를 도시한 도면.

도 4a는 도 2 및 도 3의 스캐닝 모드에서 사용되는 짝수 프레임의 공간 및 시간 예측자를 도시한 도면.

도 4b는 도 2의 스캐닝 모드에서 사용되는 홀수 프레임의 공간 및 시간 예측자를 도시한 도면.

도 4c는 도 3의 스캐닝 모드에서 사용되는 홀수 프레임의 공간 및 시간 예측자를 도시한 도면.

<도면의 주요 부분에 대한 부호의 설명>

1: 움직임 벡터 계산 수단

2: 내부 메모리

3: 외부 메모리

4: 비디오 포맷팅 수단

5: 시간 추정 수단

1. 유럽 특허 제0360698호

본 발명은 비디오 프레임에서 픽셀을 스캐닝하는 방법 및 장치에 관한 것이다.

본 발명은 이미지 또는 비디오 프로세싱 분야에 적용가능하며, 보다 상세하게는 움직임 추정 분야에 적용가능하다.

많은 이미지 프로세싱 알고리즘은 공간-시간 회귀(recurrence)를 가정하여 시스템에서 등식의 임의의 모호함을 제거하거나, 수렴(convergence) 속도를 향상시키거나, 또는 심지어 수렴을 위해 매우 간소화시킨다. 이것은, 예를 들면, 현재 픽셀과 관계된 결과를 계산하기 위해 직접(direct) 공간 인접성으로부터 유도된 결과를 고려함으로써(시간 예측자의 개념), 또는 심지어, 이전 이미지 동안 계산된 결과를 고려함으로써(시간 예측자의 개념) 반영된다.

비디오 프로세싱의 경우에, 수신되는 대로, 즉, 이미지의 좌측에서 우측으로 라인당 그리고 상부에서 하부로 상기 후자의 경우가 정상적으로 프로세싱된다.

발명의 명칭이 "Method and device for estimating motion in a sequence of animated images"이고 회사 Thomson Consumer Electronics를 대신하여 1989년 9월 22일 출원된 유럽 특허 제0360698호는 동일한 프레임의 라인 내에서 교대로 스캐닝 하는 것을 제안하는 방법을 제공한다. 그와 같은 방법은 주로 공간 회귀에 적용되고, 최상 동작을 위해, 현재 계산 라인 상에 적어도 하나의 공간 예측자를 필요로 한다.

본 발명의 방법은 하나의 프레임과 그 다음 프레임에서 스캐닝 방향을 교대로 하는 것을 제안한다. 프레임 스캐닝을 역으로 하는 것은 시간 회귀 상에서 동작하고, 다음에 시간 예측자는 이들이 반대 스캔으로부터 유도되기 때문에 공간 예측자와 직접적으로 "위상 반대"가 된다.

이를 위해, 본 발명은 시간 회귀를 제공하는 이미지의 시퀀스에서 픽셀을 스캐닝하는 방법을 제안한다. 본 발명에 따라, 동일한 라인에서 픽셀의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전된다.

라인의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전되는 것이 바람직하다.

제2 양상에 따르면, 본 발명은 또한 기준 프레임에 대하여 현재 프레임의 움직임을 추정하는 방법에 관련한 것으로, 상기 방법은 이미지의 각 픽셀에 대하여:

- 공간 예측자 추정 단계,

- 시간 예측자 추정 단계를 포함한다.

본 발명에 따라, 동일한 라인에서 픽셀을 스캐닝하는 순서는 하나의 프레임과 그 다음 프레임에서 반전되어, 반대 방향에서의 스캔에서 유도되는 공간 및 시간 예측자를 획득한다.

바람직한 실시예에 따라, 각 픽셀에 대하여, 세개의 공간 예측자 및 하나의 시간 예측자가 계산된다.

제3 양상에 따르면, 본 발명은 또한 시간 회귀를 제공하면서 이미지의 시퀀스에 있는 픽셀을 스캐닝하는 장치에 관한 것이다. 본 발명에 따라, 동일한 라인에서 픽셀의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전된다.

제4 양상에 따르면, 본 발명은 또한 기준 프레임에 대하여 현재 프레임의 움직임을 추정하는 장치에 관한 것으로, 상기 장치는:

- 이미지의 각 픽셀에 대하여 공간 예측자를 추정하는 수단,

- 이미지의 각 픽셀에 대하여 시간 예측자를 추정하는 수단을 포함한다.

본 발명에 따르면, 픽셀의 스캐닝 순서는 청구범위 제1항 또는 제2항에 따른 방법과 일치하도록 함으로써 반대 방향에서의 스캐닝으로부터 유도되는 공간 및 시간 예측자를 획득한다.

본 발명은 첨부 도면을 참조로 예시적 실시예 및 잇점이 있는 구현예에 의해 보다 명확히 이해되고 설명되지만, 이에 한정되는 것은 아니다.

하기의 설명은 움직임 추정 적용을 기초로 한다. 물론, 다른 이미지 프로세싱 동작이 고려될 수 있고 본 발명의 범위 내에 포함될 수 있다. 다른 예시적 실시예 중에서 필터링, 가중치 부여 등을 고려하는 것이 가능하다.

언인터레이스드(uninterlaced) 비디오 신호(Vin)는 이 신호가 저장되기 전에 포맷팅 수단(4)에 의해 수신된다. 이들 수단(4)은 입력되는 비디오 신호 상에서 휘도 또는 색도(chrominance) 성분의 계산, 차감 및 필터링과 같은 프로세싱 동작을 수행하도록 설계되어 있다.

상기 수단(4)의 출력부에 변환 비디오 신호를 저장하기 위한 메모리(3)가 제공된다.

메모리(3)는 바람직하게는 고속 액세스 SDRAM 또는 DDRAM 유형의 메모리이다. 메모리(3)는 다수의 비디오 프레임을 저장하기에 충분한 능력을 구비한다.

메모리(3)는, 이 메모리(3)보다 저장 능력이 작고 현재 데이터 프레임의 적어도 하나의 라인과 이전 데이터 프레임의 라인을 저장할 의도의 내부 메모리(2)에 접속된다. 이 메모리(2)는 내부 레지스터의 형태로 구현되는 것이 바람직하다. 이 메모리(2)는 현재 픽셀이 위치하고 있는 라인과 현재점으로부터 DFD(displaced frame differences)를 계산하는데 필요한 라인의 수를 저장한다. 비디오가 좌측에서 우측 방향으로 수신됨에 따라, 움직임 벡터 계산을 위해 픽셀의 스캐닝이 우측에서 좌측으로 수행되는 경우, 후속하여 공간 예측자 계산에 사용될 메모리에 라인이 저장된다.

메모리(2)는 또한 이전 프레임으로부터 유도되고 시간 추측 모듈(5)에 의해 생성되는 시간 정보를 입력으로서 수신한다. 이 시간 정보는 시간 예측자를 포함한다.

모듈(1)은 현재 프레임의 각 픽셀에 대하여 움직임 벡터를 계산한다. 이 모듈은 입력으로서 현재 픽셀, 현재 라인 및 이전 라인 상의 인접한 픽셀의 휘도값 및 시간 및 공간 예측자를 수신한다.

소위 프로세싱 방향이라 칭해지는 프레임의 스캐닝 방향이 도 2에 정의되어 있다.

짝수 프레임은 비디오의 입력 방향으로 프로세싱되고, 홀수 프레임은 다른 방향에서 프로세싱되고, 여기에서 라인은 프레임의 제1 라인으로부터 프레임의 최종 라인으로 프로세싱된다.

이러한 비디오 프로세싱은 상기 정보의 상부로부터 하부로의 전파를 유지하지만, 이미지를 하나 걸러 스캐닝 방향을 반전하게 되면 다음과 같은 두개의 효과가 있다:

- 시간 회귀 루프에서 스캐닝의 반전, 시간 및 공간 예측자는 반대 방향에서의 스캔으로부터 유도된다,

- 공간 회귀 루프에서 스캐닝의 반전, 계산 방향이 모든 이미지에서 반전된다.

이와 같이 함으로써 종래 스캔의 좌측/우측 전파를 선호하지 않는 방식으로 프로세싱의 정확도를 향상시킨다: 수평의 "평균 시간 스캔"이 제로이다.

회귀는 움직임 값을 스캐닝 방향으로 전파하는 경향이 있다. 이것은 오브젝트(object)에 관련한 움직임 값의 약간의 공간 오프셋에 반영된다. 이미지를 하나 걸러 계산 방향을 반전하게 되면 수평 평균 오프셋을 한정하게 된다.

각각의 현재 픽셀에 대하여, 시간 예측자 및 세개의 공간 예측자가 도 4a 및 도 4b에 지시된 바와 같이 계산된다.

시간 예측자의 위치는 P1으로 표시된 현재 픽셀의 위치에 대응한다.

공간 예측자는 P2, P3 및 P4로 표시되어 있다.

모듈(10)은 다음 함수를 계산한다:

Res(current_pixel)=Function(spacepredictors,Timepredictors).

이러한 움직임 추정 적용예에서, Res(Current_pixel)은 현재 픽셀에 대한 움직임 벡터에 대응한다.

상기 함수는 휘도값에 대하여 적용된다.

각각의 현재 픽셀에 대하여, DFD값은 당업자에게 공지된 방법에 따라, 그레디언트(gradient) 값으로서 계산된다. DFD 및 그레디언트를 기초로 최상의 예측자가 선택되고 정정 기간이 계산되어 움직임 벡터를 모듈(1)의 출력부에서 생성하게 된다.

시간 추정 모듈(5)은 다음 프레임에서의 움직임 벡터의 시간 추정을 수행한다. 이 시간 추정은 메모리(2)로 전송되어, 다음 프레임의 픽셀의 움직임 벡터를 계산할 때 사용된다.

최상의 예측자 선택 순서는 하나의 프레임으로부터 그 다음 프레임으로 반전되는 것이 바람직하다. DFD 값이 일치하면, 최좌측 예측자가 짝수 프레임용으로 선택되고 최우측 예측자가 홀수 프레임용으로 선택된다. 이것은 또한 수렴의 우호적인 방향을 한정한다. 이것은 또한, 현재 픽셀로서 동일 라인 상에 위치된 공간 예측자를 액세스하는 것이 어렵기 때문에 임의의 계산 시간 잇점을 제공한다.

도 3은 짝수 프레임과 홀수 프레임의 스캐닝 또한 번갈아 되지만 도 2에 제안된 스캐닝과는 서로 다른 실시예를 도시한다. 사실상, 본 발명에 의해 커버되는 본 실시예에서, 홀수 프레임은 라인 레벨에서 비디오 수신의 역 방향으로 스캐닝되고 라인의 프로세싱은 프레임의 최종 라인에서 시작하여 제1 라인까지 거슬러 동작된다.

본 실시예에 대한 시간 및 공간 예측자는 홀수 프레임에 대해서는 도 4c에 짝수 프레임에 대해서는 도 4a에 도시된 바와 같다.

본 발명은 또한, 짝수 프레임이 비디오 입력 방향의 역 방향, 또는 우측에서 좌측으로 프로세싱되고, 홀수 프레임은 좌측에서 우측으로 프로세싱되는 실시예를 커버한다.

다른 실시예에서, 시간 및 공간 예측자의 수는 애플리케이션 또는 비디오 컨텐츠에 따라 서로 다를 수 있다.

다른 실시예에서, 비디오 프로세싱은 비디오의 컬러 성분에 적용될 수 있다.

이와 같이 함으로써 종래 스캔의 좌측/우측 전파를 선호하지 않는 방식으로도 프로세싱의 정확도를 향상시킬 수 있다.

Claims (7)

1. 시간 회귀를 제공하는 이미지의 시퀀스에서 픽셀을 스캐닝하는 방법으로서,

   동일 라인에서 상기 픽셀의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전되는

   것을 특징으로 하는 픽셀 스캐닝 방법.
2. 제1항에 있어서,

   상기 라인의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전되는 것을 특징으로 하는 픽셀 스캐닝 방법.
3. 기준 프레임에 대하여 현재 프레임의 움직임을 추정하는 방법으로서,

   상기 방법은 이미지의 각 픽셀에 대하여 공간 예측자를 추정하는 단계 및 시간 예측자를 추정하는 단계를 포함하고,

   상기 픽셀의 스캐닝 순서는 제1항 또는 제2항에 따른 방법과 일치하게 함으로써 반대 방향으로의 스캔으로부터 유도되는 공간 및 시간 예측자를 획득하는 것을 특징으로 하는 움직임 추정 방법.
4. 제3항에 있어서,

   각 픽셀에 대하여, 세개의 공간 예측자와 하나의 시간 예측자가 계산되는 것 을 특징으로 하는 움직임 추정 방법.
5. 시간 회귀를 제공하는 이미지의 시퀀스에서 픽셀을 스캐닝하는 장치로서,

   동일 라인에서 상기 픽셀의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전되는

   것을 특징으로 하는 픽셀 스캐닝 장치.
6. 기준 프레임에 대하여 현재 프레임의 움직임을 추정하는 장치로서,

   상기 장치는 이미지의 각 픽셀에 대하여 공간 예측자를 추정하는 수단 및 이미지의 각 픽셀에 대하여 시간 예측자를 추정하는 수단을 포함하고,

   상기 픽셀의 스캐닝 순서는 제1항 또는 제2항에 따른 방법과 일치하게 함으로써 반대 방향으로의 스캔으로부터 유도되는 공간 및 시간 예측자를 획득하는 것을 특징으로 하는 움직임 추정 장치.
7. 제6항에 있어서,

   상기 라인의 스캐닝 순서는 하나의 프레임과 그 다음 프레임에서 반전되는 것을 특징으로 하는 움직임 추정 장치.

Images