KR20020031182A - 모션 추정을 위한 전처리 방법 - Google Patents

Abstract

본 발명은 모션 추정 단계(ME)를 위해 변경된 디지털 비디오 신호(MS)를 제공하도록 입력 디지털 비디오 신호(IS)를 처리하는 방법에 관한 것이다. 상기 처리 방법은 상기 입력 디지털 비디오 신호에 포함되는 비디오 프레임에 속한 픽셀들과 관련된 원래 값들의 히스토그램(h)을 계산하는 계산 단계(HIS), 히스토그램 파라미터들(hp)을 제공하도록 히스토그램을 분석하는 분석 단계(ANA), 및 히스토그램 파라미터들을 기초로 원래의 픽셀값들을 보정하여 변경된 픽셀값들을 제공하고, 모션 추정 단계에 의해 이용될 변경된 디지털 비디오 신호를 산출하는 보정 단계(COR)를 포함한다. 필요한 경우, 상기 처리 방법은 모션 추정 단계를 위해 필터링 변경된 디지털 비디오 신호(FMS)를 제공하도록 변경된 디지털 비디오 신호를 필터링하는 필터링 단계(FIL)를 포함할 수도 있다. 상기 처리 방법은 입력 디지털 비디오 신호의 내용에 적합하고, 인코딩의 목적을 위해 더 나은 모션 벡터들을 제공하도록 모션 추정 단계를 허용한다. 사용 : 비디오 인코더.

Description

모션 추정을 위한 전처리 방법{Pre-processing method for motion estimation}

이상과 같은 종류의 처리 장치는 미국 특허 제 5,990,962에 기술되어 있다. 상기 처리 장치는 비디오 인코딩 장치에서 이용되며, 변경 데이터를 발생하도록 현재 화상 및 과거 화상으로부터 변화를 검출하는 모션 보상 예측 추정 회로(a motion compensation prediction estimating circuit) 및 상기 모션 보상 예측 추정 회로에 의해 발생된 변경 데이터에 따라 현재 화상을 변형시키는 필터를 포함하여, 변형된 현재 화상이 인코딩되도록 비디오 인코딩 장치의 모션 보상 예측 인코딩부에 전달한다.

본 발명은 모션 추정 단계를 위해 변경된 디지털 비디오 신호를 제공하도록 비디오 프레임들을 포함하는 입력 디지털 비디오 신호를 처리하는 방법에 관한 것이다. 본 발명은 또한 상기 처리 방법에 대응하는 장치에 관한 것이다.

상기 처리 방법은 예컨대, MPEG-2 또는 MPEG-4 비디오 인코딩 전에 전처리로서 사용될 수 있다.

도 1은 본 발명에 따라 처리 방법에 대응하는 블록도.

도 2a는 플래시가 발생하는 시퀀스에 대한 휘도 히스토그램의 전개를 도시하는 도면.

도 2b는 페이드에서 다크까지를 포함하는 시퀀스에 대한 휘도 히스토그램의 전개를 도시하는 도면.

도 3a는 본 발명에 따른 방법에서 히스토그램의 전이 작동의 예를 도시하는 도면.

도 3b는 히스토그램이 두 부분들로 분할되는 앞 예의 특정 경우를 도시하는 도면.

도 4는 본 발명에 따른 방법에서 히스토그램의 폭 변동 작동의 예를 도시하는 도면.

도 5는 본 발명에 따른 방법에서 전이 작동과 히스토그램의 폭 변동 작동과의 비교예를 도시하는 도면.

도 6은 본 발명에 따른 방법에서 보정 단계 및 필터링 단계 이후 히스토그램의 전개를 도시하는 도면.

도 7은 본 발명에 따른 인코딩 방법에 대응하는 블록도.

본 발명의 목적은 수단과 비용-효과 모든 면에 있어서 용이한 입력 디지털비디오 신호를 처리하는 방법을 제공하는 것이다. 본 발명은 하기의 양상들을 고려한다.

상기 배경기술에 따른 처리 방법은 변경 데이터를 발생하도록 현재 화상과 과거 화상과의 비교 작동 및 상기 변경 데이터에 따라 현재 화상을 변형시키는 필터링 작동을 모두 필요로 하기 때문에 다소 복잡하다. 상기 비교 작동 및 필터링 작동은 메모리 용량 및 중앙처리 장치(CPU) 적재량에 있어서 고비용이 든다.

이러한 문제점을 해소하기 위하여, 본 발명에 따른 처리 방법은 다음과 같은 단계들, 즉

비디오 프레임에 속한 픽셀들과 관련된 원래 값들의 히스토그램을 계산하는 계산 단계,

히스토그램 파라미터들을 제공하도록 상기 히스토그램을 분석하는 분석 단계, 및

상기 히스토그램 파라미터들을 기초로 상기 원래의 픽셀값들을 보정하여 변경된 픽셀값들을 제공하고, 모션 추정 단계에 의해 이용될 상기 변경된 디지털 비디오 신호를 산출하는 보정 단계(COR)를 포함하는 것을 특징으로 한다.

상기 처리 방법은 입력 디지털 비디오 신호의 내용에 적합하고, 특히 상기 입력 디지털 비디오 신호에 포함된 비디오 프레임의 휘도 성분 또는 색차 성분의 히스토그램에 적합하다. 결과적으로, 상기 방법은 과거 비디오 프레임에 대한 지식도 필터링 단계도 필요로 하지 않기 때문에 단순하고 효율적이다.

더욱이, 상기 방법은 예컨대, 다크(dark) 시퀀스들 또는 주어진 비디오 프레임에서 다음 비디오 프레임까지의 변동이 큰 휘도를 갖는 시퀀스들 등의 비디오 프레임들의 시퀀스들의 어떤 타입에 특히 효율적이며, 상기 변동이 큰 휘도는 플래시(flash) 또는 페이드(fade)에 의해 생긴다. 이들 시퀀스들의 타입에 있어서, 보통의 모션 추정 방법들로는 적절한 모션 벡터들을 제공할 수 없다. 결과적으로, 상기 모션 추정 및 입력 디지털 비디오 신호의 인코딩이 정확히 실행되지 않는다. 본 발명에 따른 처리 방법은 보다 나은 모션 벡터들을 결정하도록 모션 추정 단계를 허용하는 변경된 디지털 비디오 신호를 제공한다. 결과적으로, 상기 처리 방법으로 인해 비교 효율 및 영상 화질이 개선된다.

본 발명의 상기 및 다른 양상들은 하기에 설명되는 실시예들을 참고로 하여 명백해질 것이다.

본 발명은 모션 추정 단계(ME)를 위해 변경된 디지털 비디오 신호(MS)를 제공하도록 입력 디지털 비디오 신호(IS)를 처리하는 방법에 관한 것이다. 상기 모션 추정 단계의 목적은 두 개의 비디오 프레임들 사이의 모션 벡터들을 계산하는 것이다. 한 비디오 프레임에서 다른 비디오 프레임까지 휘도값들의 변동이 큰 시퀀스들과 동일한 비디오 프레임들의 시퀀스들의 어떤 타입들에 대해서, 모션 추정 단계로는 적당한 모션 벡터들을 제공할 수 없다.

본 발명에 따른 처리 방법은 변경된 디지털 비디오 신호를 제공하기 위하여 입력 디지털 비디오 신호의 내용에 적합하며, 모션 벡터 추정의 개선을 허용한다.

도 1은 처리 방법에 대응하는 블록도이다. 상기 처리 방법은 다음의 단계들 즉,

입력 디지털 비디오 신호에 포함된 비디오 프레임에 속한 픽셀들과 관련된 원래 값들의 히스토그램(h)을 계산하는 계산 단계(HIS),

히스토그램 파라미터들(hp)을 제공하도록 상기 히스토그램을 분석하는 분석 단계(ANA), 및

상기 히스토그램 파라미터들을 기초로 상기 원래의 픽셀값들을 보정하여 변경된 픽셀값들을 제공하고, 모션 추정 단계에 의해 이용될 상기 변경된 디지털 비디오 신호를 산출하는 보정 단계(COR)를 포함한다.

필요한 경우, 상기 처리 방법은 모션 추정 단계를 위해 필터링 변경된 디지털 비디오 신호(FMS)를 제공하도록 변경된 디지털 비디오 신호를 필터링하는 필터링 단계(FIL)를 포함할 수도 있다.

바람직한 변형에서, 상기 처리 방법은 비디오 프레임에 속한 픽셀들과 관련된 휘도값들의 히스토그램의 계산 결과에 기초한다. 휘도 히스토그램은 0 내지 255 의 각 휘도값을 대하여 비디오 프레임에서의 휘도 픽셀들의 누적을 나타낸다.

상기 계산 단계는 픽셀들과 관련된 색차값들 또는 본 발명의 범위를 넘어서지 않는 휘도값 및 색차값의 조합에 적용될 수 있다는 것에 주목해야 한다. 이 바람직한 변형에서, 상기 계산 단계는 전체 비디오 프레임에 적용되나 메모리 비용을 줄이기 위하여, 예컨대 비디오 프레임의 절반인 상기 비디오 프레임의 일부에 적용될 수도 있다.

상기 계산 단계로 휘도 히스토그램을 제공하였다면, 상기 처리 방법은 실행을 위해 보정의 타입을 결정하도록 상기 히스토그램을 분석하여, 이것이 실행되었을 때 상기 방법이 비디오 프레임의 내용에 적합해진다. 연속적인 비디오 프레임들에 대응하는 히스토그램들의 시간적 분석은 비디오 프레임들의 시퀀스의 휘도 전개를 나타내며, 보통의 모션 추정 방법으로는 비효율적일 것인 비디오 프레임들의 검출을 허용한다. 도 2a 및 2b는 비디오 프레임들의 두 개의 특정 시퀀스들, 즉 플래시가 발생하는 시퀀스 및 페이드에서 다크까지를 포함하는 시퀀스 각각에 대한 휘도 히스토그램의 전개를 나타낸다.

도 2a에서는 플래시가 발생하는 비디오 프레임의 휘도 히스토그램(h(t+1))이 플래시가 없는 이전의 비디오 프레임의 히스토그램(h(t))에 비해 높은 휘도값들 쪽으로 전이되는 것을 관찰할 수 있다. 대조적으로, 도 2b에서는 페이드에서 다크까지를 포함하는 비디오 시퀀스에 포함된 비디오 프레임의 휘도 히스토그램(h(t+1))이 상기 시퀀스의 이전의 비디오 프레임의 히스토그램(h(t))에 비해 낮은 휘도값들 쪽으로 전이되는 것을 관찰할 수 있다. 더욱이, 두 경우들에서 비디오 프레임의 휘도 히스토그램(h(t+1))의 폭이 동일한 시퀀스의 이전의 비디오 프레임의 히스토그램(h(t))에 비해 짧다는 것을 관찰할 수 있다.

이러한 문제점들을 해소하기 위하여, 휘도값들에 대한 보정 단계가 필요하다. 본 발명에 따른 처리 방법의 보정 단계는 두 가지의 단순한 작동들을 이용하여 실행된다.

제 1 작동은 도 3a 및 3b를 참조로 설명되는 바와 같이 휘도의 히스토그램의 전이에 대응한다. 이러한 전이 서브-단계에 따라, 현재의 비디오 프레임 F(t)에 속한 픽셀(x,y)의 원래의 휘도값 Y(x,y,t)은 계수 kt 만큼 전이되어, 변경된 휘도값 Y'(x,y,t)을 제공하는데, 이는 다음과 같다.

Y'(x,y,t)=Y(x,y,t)+kt

도 3a는 본 발명에 따른 전이 작동(tr)의 예를 도시한다. 현재의 비디오 프레임 상의 휘도의 평균값은 M이다. 상기 비디오 프레임에 속한 픽셀들의 원래의 휘도값들 Y(x,y,t)은 현재의 비디오 프레임 상의 변경된 휘도값들 Y'(x,y,t)의 평균값이 M'가 되는 방식과 같이 전이된다. 결과적으로, M'과 M 사이의 차이는 kt이다. 본 발명의 특정한 변형에 있어서, M'은 128이거나 변경된 휘도값들 Y'(x,y,t)에 대응하는 휘도 히스토그램 h'(t)의 중심에 있기 위해 이 특정값에 가까운 값이다.

도 3b는 M1이 0이거나 이에 가까운 다른 특정한 변형을 도시한다. 특별한 경우, 전이 서브-단계(tr')에 의해 계산된 변경된 휘도값 Y'(x,y,t)은 음수가 될 수 있다. 상기 변경된 휘도값 Y'(x,y,t)이 음수일 때, 범위[0 내지 255]내에 변경된 휘도값 Y'(x,y,t)을 유지하기 위하여 256의 고정된 전이가 실행된다. 그 결과, 히스토그램이 두 부분들로 분할된다.

이와 같은 방식으로, 전이 서브-단계(tr)에 의해 계산된 상기 변경된 휘도값 Y'(x,y,t)이 255보다 크다면, 범위[0 내지 255]내에 변경된 휘도값 Y'(x,y,t)을 유지하도록 -256의 고정된 전이가 적용된다.

제 2 작동은 휘도 히스토그램의 폭 변동(cd)에 대응하는 것으로, 상기 히스토그램의 확대(dilation)이나 축소중 어느 하나가 될 수 있다. 도 4는 본 발명에 따른 방법에서 히스토그램의 확대 작동의 예를 도시한다. 상기 폭 변동 서브-단계에 따라, 현재 비디오 프레임 F(t)에 속한 픽셀(x,y)의 원래의 휘도값 Y(x,y,t)에 계수 kw를 곱하여, 변경된 휘도값 Y'(x,y,t)을 제공하는데, 이는 다음과 같다.

Y'(x,y,t)=kw·(Y(x,y,t)-M)+M

여기서, M은 전체 비디오 프레임 상의 원래의 휘도값들의 평균이다.

계수 kw가 1보다 더 크다면, 휘도 히스토그램은 확대되는 반면에 히스토그램은 축소된다. 이러한 작동은 히스토그램의 초기 폭이 간격[e1,e2]로 규정되는 확대의 경우에 유익하며, 확대 작동 이후 변경된 간격[e'1,e'2]를 야기한다. 픽셀들의 변경된 휘도값들은 매우 큰 범위 상에 퍼져, 모션 벡터들을 모션 추정 방법으로 계산하는 것은 간단하다. 바람직한 변형에서, 계수 kw는 다음과 같이 계산된다.

여기서, [e'1,e'2]는 예컨대 사용자에 의해 결정된 변경된 휘도값 간격이다.

상기 계수 kw는 또한 사용자 또는 본 발명의 범위를 넘어서지 않는 어떤 다른 방법에 의해 결정될 수 있다.

전이 서브-단계에서와 같은 방식으로, 변경된 휘도값 Y'(x,y,t)은 범위[0 내지 255]내에 유지된다.

전이(tr) 작동 및 폭 변동(cd) 작동 모두는 더 효율적으로 보정되도록 조합될 수 있다. 도 5는 본 발명에 따른 방법에서 히스토그램의 확대 작동과 전이 작동의 조합예를 도시한다. 이 작동들에 따라, 현재 비디오 프레임 F(t)에 속한 픽셀(x,y)의 원래의 휘도값 Y(x,y,t)에 계수 Kw를 곱하고, 값 M'만큼 전이되게 하여, 변경된 휘도값 Y'(x,y,t)을 제공하는데, 이는 다음과 같다.

Y'(x,y,t)=kw·(Y(x,yt)-M)+M'

여기서, M은 전체 비디오 프레임 상의 원래의 휘도값들의 평균이고, M'는 사용자에 의해 결정된 전체 비디오 프레임 상의 변경된 휘도값들의 평균이다.

본 발명의 범위를 넘어서지 않는 예들로 설명되는 것과는 다른 더 복잡한 작동들이 있다는 것에 주목해야 한다.

마지막으로, 필터링 단계는 특히, 히스토그램의 확대 작동 이후 실행될 수 있다. 이는 계수 kw가 2보다 클 때 특히 유용하다. 이러한 경우, 히스토그램은 비연속적이 되고, 어떤 휘도값들에 대한 휘도 픽셀들의 누적은 도 6에 도시된 바와 같이 0이 되며, 상기 필터링 단계는 예컨대 보간 필터(interpolation filter)를 이용하여 히스토그램 곡선을 매끄럽게 하는 것을 허용한다.

상기 처리 방법은 집적 회로에서 실행되는 것으로, 이는 적절히 프로그래밍되어 예컨대 비디오 인코더에 집적된다. 예컨대, 컴퓨터 프로그래밍 메모리에 포함되는 명령들의 세트는 집적 회로로 하여금 상기 처리 방법의 다른 단계들을 실행시킨다. 명령들의 세트는 예컨대 디스크와 같은 데이터 캐리어를 판독함으로써 프로그래밍 메모리에 로딩될 수 있다. 명령들의 세트는 예컨대 인터넷과 같은 통신망을 통해 서비스 제공자에 의해 이용될 수도 있다.

본 발명은 또한 인코딩된 디지털 비디오 신호(ES)를 제공하도록 입력 디지털 비디오 신호(IS)를 인코딩하는 방법에 관한 것이다.

도 7은 상기 인코딩 방법에 대응하는 블록도로서, 다음의 단계들 즉,

변경된 디지털 비디오 신호(MS)를 제공하도록 입력 디지털 비디오 신호(IS)를 전처리하는 전처리 단계(PP),

모션 벡터들(MV)을 제공하도록 상기 변경된 디지털 비디오 신호로부터 모션을 추정하는 추정 단계(ME), 및

인코딩된 디지털 비디오 신호(ES)를 제공하도록 상기 모션 벡터들로부터 상기 입력 디지털 비디오 신호를 압축하는 압축 단계(DC)를 포함한다.

본 발명에 따른 인코딩 방법에서, 상기 전처리 단계는 다음의 서브-단계들 즉,

비디오 프레임에 속한 픽셀들과 관련된 원래 값들의 히스토그램(h)을 계산하는 계산 단계(HIS),

히스토그램 파라미터들(hp)을 제공하도록 상기 히스토그램을 분석하는 분석 단계(ANA), 및

상기 히스토그램 파라미터들을 기초로 상기 원래의 픽셀값들을 보정하여 변경된 픽셀값들을 제공하고, 모션 추정 단계에 의해 이용될 상기 변경된 디지털 비디오 신호를 산출하는 보정 단계(COR)를 포함한다.

마지막으로, 본 발명은 이상과 같은 설명의 도 7에 대응하는 비디오 인코더 및 인코딩 방법에 관한 것이다.

동사 "포함하다" 및 이것의 활용은 어떤 청구항에서 정의된 것과 다른 단계들 또는 요소들의 존재를 배제하지 않는다. 요소 또는 단계 앞의 단어 "a" 또는 "an"는 복수의 상기 요소들 또는 단계들의 존재를 배제하지 않는다. 후술하는 청구항의 어떤 참조부호는 청구항을 제한하는 것으로 해석되어서는 안된다.

Claims (7)

1. 모션 추정 단계(ME)를 위해 변경된 디지털 비디오 신호(MS)를 제공하도록 비디오 프레임들을 포함하는 입력 디지털 비디오 신호(IS)를 처리하는 처리 방법에 있어서,

   상기 처리 방법은,

   비디오 프레임에 속한 픽셀들과 관련된 원래 값들의 히스토그램(h)을 계산하는 계산 단계(HIS),

   히스토그램 파라미터들(hp)을 제공하도록 상기 히스토그램을 분석하는 분석 단계(ANA), 및

   상기 히스토그램 파라미터들을 기초로 상기 원래의 픽셀값들을 보정하여 변경된 픽셀값들을 제공하고, 모션 추정 단계에 의해 이용될 상기 변경된 디지털 비디오 신호를 산출하는 보정 단계(COR)를 포함하는 것을 특징으로 하는 처리 방법.
2. 제 1 항에 있어서,

   상기 분석 단계(ANA)는 상기 히스토그램의 전이 파라미터를 계산하는 서브-단계를 포함하고, 상기 보정 단계는 상기 원래의 픽셀값들의 합 및 상기 전이 파라미터로부터 상기 변경된 픽셀값들을 유도하는 것을 특징으로 하는 처리 방법.
3. 제 1 항에 있어서,

   상기 분석 단계(ANA)는 상기 히스토그램의 폭 변동 파라미터를 계산하는 서브-단계를 포함하고, 상기 보정 단계는 상기 원래의 픽셀값들의 곱 및 상기 폭 변동 파라미터로부터 상기 변경된 픽셀값들을 유도하는 것을 특징으로 하는 처리 방법.
4. 제 3 항에 있어서,

   상기 모션 추정 단계를 위해 필터링 변경된 디지털 비디오 신호(FMS)를 제공하도록 상기 변경된 디지털 비디오 신호(MS)를 필터링하는 필터링 단계(FIL)를 포함하는 것을 특징으로 하는 처리 방법.
5. 변경된 디지털 비디오 신호(MS)를 제공하도록 입력 디지털 비디오 신호를 전처리하는 전처리 단계(PP),

   모션 벡터들(MV)을 제공하도록 상기 변경된 디지털 비디오 신호로부터 모션을 추정하는 추정 단계(ME), 및

   인코딩된 디지털 비디오 신호(ES)를 제공하도록 상기 모션 벡터들로부터 상기 입력 디지털 비디오 신호를 압축하는 압축 단계(DC)를 포함하는 입력 디지털 비디오 신호(IS)를 인코딩하는 인코딩 방법에 있어서,

   상기 전처리 단계는 다음의 서브-단계들 즉,

   비디오 프레임에 속한 픽셀들과 관련된 원래 값들의 히스토그램(h)을 계산하는 계산 단계(HIS),

   히스토그램 파라미터들(hp)을 제공하도록 상기 히스토그램을 분석하는 분석 단계(ANA), 및

   상기 히스토그램 파라미터들을 기초로 상기 원래의 픽셀값들을 보정하여 변경된 픽셀값들을 제공하고, 모션 추정 단계에 의해 이용될 상기 변경된 디지털 비디오 신호를 산출하는 보정 단계(COR)를 포함하는 것을 특징으로 하는 인코딩 방법.
6. 입력 디지털 비디오 신호(IS)를 수신하여 변경된 디지털 비디오 신호(MS)를 공급하는 전처리 장치(PP),

   상기 변경된 디지털 비디오 신호를 수신하여 모션 벡터들(MV)을 공급하는 모션 추정기(ME),

   상기 입력 디지털 비디오 신호를 수신하여 상기 모션 벡터들로부터 인코딩된 디지털 비디오 신호(ES)를 유도하는 데이터 압축기(DC)를 포함하는 비디오 인코더에 있어서,

   상기 전처리 장치는,

   비디오 프레임에 속한 픽셀들에 관련된 원래 값들의 히스토그램(h)을 계산하는 계산 수단(HIS),

   히스토그램 파라미터들(hp)을 제공하도록 상기 히스토그램을 분석하는 분석 수단(ANA), 및

   상기 히스토그램 파라미터들을 기초로 상기 원래의 픽셀값들을 보정하여 변경된 픽셀값들을 제공하고, 상기 모션 추정기를 위해 상기 변경된 디지털 비디오 신호를 산출하는 보정 수단(COR)을 포함하는 것을 특징으로 하는 비디오 인코더.
7. 비디오 인코더에 로딩될 때, 상기 비디오 인코더로 하여금 청구항 1항 내지 4항에 청구되는 처리 방법을 실행하게 하는 명령들의 세트를 포함하는, 비디오 인코더를 위한 컴퓨터 프로그램 프로덕츠.