KR100784945B1 - 비디오 화상을 처리하기 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 플라즈마 디스플레이 패널과 같은 디스플레이 디바이스 상에 화상을 디스플레이하기 위한 비디오 화상의 데이터를 처리하기 위한 방법에 관한 것이다. 현재의 픽셀의 움직임 벡터의 방향을 따른 서브-필드 코드워드 엔트리의 이동에 기초하여 허위 윤곽 보상(false contour compensation)을 하는 기존의 허위 윤곽 효과 보상 방법은 물체가 교차하는 경우에 화상에 아티팩트(artifact)를 생성한다. 출현 영역(appearing area)에서 광 생성의 부족이 있다. 본 발명은, 이 문제를, 현재는 감추어져 있지만 그 다음 프레임에서는 출현하는 영역이 화상에서 존재하는지를 체크하고, "구멍 채움(hole filling)"을 위한 적응된 보상 방법을 제공함으로써 해결한다. 본 발명은 또한 움직임 벡터 방향을 따라 서브-필드 코드워드 엔트리를 현재의 픽셀로 드래그(drag)하는 것에 기초한 개선된 보상 방법에 대한 해결책을 또한 제공한다.

Description

비디오 화상을 처리하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING VIDEO PICTURES}

본 발명은 특히 허위 윤곽 효과(false contour effects)의 보상을 위해 비디오 화상을 처리하기 위한 방법 및 장치에 관한 것이다. 좀더 일반적으로, 본 발명은 밀접하게는 플라즈마 디스플레이 패널(PDP)이나 디지털 마이크로 미러 배열을 갖춘 디스플레이 디바이스(DMD) 같은 매트릭스 디스플레이 상에 디스플레이되는 화상의 화상 품질을 개선하는 일종의 비디오 처리에 관한 것이다.

비록 플라즈마 디스플레이 패널이 수년 동안 알려져 왔지만, 플라즈마 디스플레이는 TV 제조사들로부터 점점 더 관심을 끌고 있다. 사실, 이 기술은 이제 임의의 시야각(viewing angle)의 제약 없이 큰 크기 및 제한된 심도(depth)를 갖는 평면 컬러 패널을 얻을 수 있게 한다. 디스플레이의 크기는 기존의 CRT 화상 튜브가 이전에 허용되어 왔던 것 보다 훨씬 더 클 수 있다.

유럽형 TV 세트의 최신 세대에 관하여서, 그 화상 품질을 개선하기 위한 많은 작업이 있어왔다. 그 결과, 플라즈마 디스플레이 기술과 같은 새로운 기술로 제조된 TV 세트가 양호한 즉 기존의 표준의 TV 기술보다 더 양호한 화상을 제공해야 한다는 강한 요구가 있게 되었다. 한편, 플라즈마 디스플레이 기술은 거의 무제한 의 스크린 크기와, 또한 매력적인 두께의 가능성을 제공하지만, 다른 한편, 화상 품질을 감소시킬 수 있는 새로운 종류의 아티팩트(artefact)를 생성한다. 대부분의 이들 아티팩트는 종래의 CRT 컬러 화상 튜브 상에서 발생하는 알려진 아티팩트와는 다르다. 아티팩트의 이러한 서로 다른 모양(appearance)으로 인해 시청자에게 이들 아티팩트는 좀더 잘 보일 수 있게 되며, 이는 시청자가 잘 알려진 기존의 TV 아티팩트를 보는데 익숙하기 때문이다.

플라즈마 디스플레이 기술 분야에서, 새로운 아티팩트가 알려졌는데, 이 아티팩트는 매트릭스 스크린 상의 관측 점이 이동할 때 화상의 컬러 에지의 환영(apparition) 형태인 그레이 레벨(gray level) 및 컬러의 교란(disturbances)에 대응하기 때문에 "동적 허위 윤곽 효과"라고 불린다. 이러한 종류의 아티팩트는, 사람의 피부가 디스플레이되고 있을 때(예컨대, 얼굴이나 팔 등의 디스플레이)와 같은 매끄러운 색조(smooth gradation)를 이미지가 가질 때 강화된다. 게다가, 동일한 문제가, 관찰자가 자신의 손을 흔들고 있을 때 정지 이미지 상에 발생하며, 이점으로 인해, 이러한 실패(failure)가 사람의 시각적 인지력에 의존하고 눈의 망막에서 발생한다는 결론에 도달하게 되었다.

두 가지 접근법이 허위 윤곽 효과를 보상하기 위해 논의되었다. 허위 윤곽 효과가 사용되는 플라즈마 기술의 서브-필드 구성(organization)에 직접 관련되므로, 한가지 접근법은 플라즈마 디스플레이 패널의 서브-필드 구성을 최적화하는 것이다. 서브-필드 구성은 이후에 좀더 상세하게 설명될 것이지만, 당장에 주목해야하는 점은 이것이 8 이상의 광 서브-기간으로 8-비트 그레이 레벨을 일종에 분해하는 것이라는 점이다. 이러한 화상 인코딩의 최적화는 사실 허위 윤곽 효과에 긍정적인 영향을 끼칠 것이다. 그럼에도 불구하고, 이러한 해결책은 허위 윤곽 효과의 크기를 약간만 감소시킬 것이지만, 임의의 경우에 그 효과는 여전히 발생할 것이며, 인지 가능할 것이다. 더 나아가, 서브-필드 구성은 간단한 디자인 선택의 문제는 아니다. 좀더 많은 서브-필드가 허용되면 될수록, 플라즈마 디스플레이 패널은 좀더 복잡하게될 것이다. 따라서, 서브-필드 구성의 최적화는 좁은 범위에서만 가능하며, 이러한 효과만을 제거하지 않을 것이다.

전술한 문제의 해결책에 대한 제 2 접근법은 "펄스 등화 기술(pulse equalization technique)"이라는 표현으로 알려져 있다. 이 기술은 좀더 복잡한 기술이다. 이것은 그레이 스케일의 교란이 예상될 때 TV 신호에 추가되거나 TV 신호에서 분리되는 펄스 등화를 사용한다. 게다가, 허위 윤곽 효과가 움직임과 관련된다는 사실로 인해, 각 가능한 속도에 대해 서로 다른 펄스를 필요로 한다. 이로 인해, 각 속도에 대한 다수의 큰 룩-업 표(LUT)를 저장한 대용량(big) 메모리가 필요하게 되며, 움직임 추정기가 필요하게 되었다. 더나아가, 허위 윤곽 효과는 서브-필드 구성에 의존하므로, 펄스는 각 새로운 서브-필드 구성에 대해 다시 계산되어야 한다. 그러나, 이러한 기술의 단점은, 펄스 등화가 눈의 망막에 나타나는 실패를 보상하기 위해 화상에 실패를 추가한다는 사실로부터 유도된다. 추가로, 움직임이 화상에서 증가하고 있을 때, 화상에 좀더 펄스를 추가할 필요가 있으며, 이점으로 인해 매우 빠른 움직임의 경우 화상 내용과 충돌(conflict)한다.

본 발명은, 동적 허위 윤곽 효과를 보상하기 위해 픽셀마다 시간 기간을 이동시킴으로써(shifting) 디스플레이의 픽셀을 제어하기 위한 정보의 분실에 대응하므로 "출현 영역(appearing area)"이라고 불리는 특정한 새로운 문제를 다룬다.

제 1 접근법으로, 픽셀을 위한 움직임 벡터를 결정하는 움직임 추정기를 사용하여 허위 윤곽 효과를 보상하기 위한 방법이 개시되어 있다. 결과적인 움직임 벡터는 블록의 픽셀을 재코딩하는데 사용되며, 여기서 재코딩 단계에서, 픽셀의 시간 기간을 이동시키는 단계가 포함된다. 시간 기간은, 픽셀이 광을 방출하기 위해 활성화되는 시간을 한정한다. 시간 기간은 이후에는 또한 "서브-필드"로 불리운다. 픽셀을 활성화시키기 위해 그렇게 계산된 데이터는 원래의 픽셀 데이터를 디스플레이하는 대신 화상을 디스플레이하는데 사용된다.

블록 및 배경(background)이 서로 다른 방향으로 이동하는 상황이 있으며, 그러므로 두 개의 서로 다른 방향으로 움직이는 전면 물체 및 움직이는 배경 물체의 픽셀에 대한 서브-필드 코드워드 엔트리는 출현 영역의 픽셀에 대한 광 펄스의 부족을 생성한다.

결론적으로, 유럽특허, EP 0 978 817 A1에 개시된 것처럼 서브-필드의 이동은 특정한 상황에서 비디오 화상의 착오를 생성한다.

그러므로, 본 발명의 목적은, 화상 내용에 영향을 미치지 않고 화상 품질을 개선하고 구현하기 쉬운 비디오 화상을 처리하기 위한 방법 및 장치를 개시하는 것이다. 이 목적은 청구항 1 및 6에서 청구된 조치에 의해 달성된다.

청구항 1에서 청구된 해결책에 따라서, 화상 품질의 개선은 현재는 숨겨져 있지만 그 다음 비디오 화상에서 출현하는 비디오 화상의 영역이 있는지를 검사함으로써 얻어진다. 만약 이러한 영역이 검출된다면, 현재의 화상의 출현 영역으로부터 픽셀의 서브-필드 코드워드는 그 다음 비디오 화상의 출현 영역으로부터 픽셀의 서브-필드 코드워드 엔트리를 사용함으로써 업데이트 된다. 그러므로, 본 발명은 이전 비디오 화상의 픽셀을 정정하기 위해 그 다음 비디오 화상으로부터의 정보를 사용한다. 이러한 방법을 통해, 교차하는 물체의 경계에서 허위 윤곽 보상의 품질을 개선하는 것이 가능하다. 더나가, 알고리즘은 이들 위치에서 "검은 구멍(black holes)" 즉 이중 에지를 피하게 한다. 게다가, 이것은 이러한 에지의 허위 윤곽 보상과 결합된 강한 천이에 의해 화상의 품질을 전체적으로 개선한다: 화상의 선명도가 강화된다.

유리하게는, 본 발명의 추가적인 실시예가 각 종속항에 개시되어 있다.

화상 개선이 움직임 벡터의 방향으로 서브-필드 코드워드 엔트리를 이동시킴으로써 이뤄지는 경우에, 그 다음 비디오 화상의 출현 영역으로부터의 대응하는 화상의 서브-필드 코드워드 엔트리를 인계 받음으로써(taking over) 현재 화상의 출현 영역으로부터의 픽셀의 코드워드를 업데이트하는 것이 유리하다. 이것은 출현 영역에서의 "구멍 채움"에 대응한다.

화상 개선이 서브-필드 코드워드 엔트리를 움직임 벡터의 방향으로 픽셀로부터 현재의 픽셀로 드래그(drag)함으로써 이뤄지는 경우에, 움직임 벡터 방향을 따라서 그 다음 비디오 화상의 대응하는 픽셀의 서브-필드 코드워드 엔트리를 현재의 비디오 화상의 현재의 픽셀로 드래그시키는 것이 유리하다. 이것은 물체의 교환의 경계에서 이중 에지(edge doubling)라는 아티팩트를 보상한다.

화상에서 출현 영역을 검출하기 위해, 현재 픽셀의 미러 변환된(mirror transformed) 움직임 벡터 화살표 상에 위치한 픽셀에 대해 움직임 벡터가 할당되는지를 분석하는 것이 유리하며, 이들 움직임 벡터의 현재의 픽셀의 움직임 벡터와 유사성을 갖지 않는다. 이것은 구현하기 매우 간단하며, 픽셀이 출현 영역에 속해있는지의 여부의 픽셀에 대한 정보를 신뢰할만하게 제공한다.

본 발명에 따른 장치에 있어서, 유리하게도 이 장치는, 현재는 감춰져 있지만 그 다음 비디오 화상에서 출현하는 영역이 있는지 여부를 현재 화상에서 체크하는 출현 영역 검출기(appearing area detector)를 포함하며, 여기서 이 장치는 현재의 화상의 출현 영역으로부터 픽셀의 서브-필드 코드워드가 청구항 7에 청구된 바와 같이 그 다음 비디오 화상의 출현 영역으로부터의 픽셀의 서브-필드 코드워드 엔트리를 사용하여 보상되는 추가적인 처리 유닛을 포함한다.

본 발명의 예시적인 실시예가 도면에 예시되어 있으며, 다음의 상세한 설명에서 좀더 상세하게 설명된다.

도 1은 PDP의 서브-필드 구성을 설명하기 위한 예시를 도시한 도면.

도 2는 PDP의 서브-필드 구성의 제 2 예를 도시한 도면.

도 3은 PDP의 서브-필드 구성의 제 3 예를 도시한 도면.

도 4는 허위 윤곽 효과가 시뮬레이트된 비디오 화상을 도시한 도면.

도 5는 허위 윤곽 효과를 설명하기 위한 예시를 도시한 도면.

도 6은 도 3에 도시된 방식으로 두 개의 프레임의 디스플레이가 이루어지고 있을 때 어두운 에지(dark edge)의 모양을 예시한 도면.

도 7은 허위 윤곽 효과를 보상하기 위한 서브-필드 변위(displacement)의 개념을 도시한 도면.

도 8은 두 개의 반대로 움직이는 물체의 경계에서 에너지 부족을 생성하는 서브-필드 이동 동작에 대한 예시를 도시한 도면.

도 9는 도 8에서 이미 도시된 바와 같은 이동 대신에 움직임 정보의 드래그를 갖는 서브-필드 드래그 동작에 대한 예시를 도시한 도면.

도 10은 본 발명에 따른 허위 윤곽 보상의 예시를 도시한 도면.

도 11은 두 개의 연속적인 프레임의 움직임 벡터를 사용한 출현 영역 검출의 예시를 도시한 도면.

도 12는 본 발명의 장치의 제 1 실시예를 블록도 형태로 도시한 도면.

도 13은 본 발명의 장치의 제 2 실시예를 도시한 도면.

플라즈마 디스플레이 패널은 단지 스위치 온 또는 오프될 수 있는 방전 셀 매트릭스 배열을 사용한다. 그레이 레벨이 광 방출의 아날로그 제어에 의해 표현되는 CRT나 LCD와는 달리, PDP에서는, 그레이 레벨은 프레임 당 광 펄스의 개수를 조정함으로써 제어된다. 이 시간 조정은 눈-시간 응답에 대응하는 기간 동안에 눈에 의해 통합될 것이다. PDP 스크린 상의 관찰 점(눈의 초점 영역)이 이동할 때, 눈은 이 움직임을 따라갈 것이다. 그 결과, 이것은 프레임 기간의 동일한 셀로부터 광을 더 이상 통합하지 않을 것이지만(정적 통합) 움직임 궤적 상에 위치한 서로 다른 셀로부터 입력되는 정보를 통합할 것이다. 따라서, 이것은, 신호 정보의 허위 인상(faulty impression)을 야기하는 이러한 움직임 동안에 광 펄스 모두를 혼합할 것이다. 이러한 효과가 이제 좀더 상세하게 설명될 것이다.

디지털 비디오 처리 분야에서, 모두 8-비트(256) RGB-레벨이 8개의 다음의 비트의 조합에 의해 표현된다:

2⁰=1, 2¹=2, 2²=4, 2³=8, 2⁴=16, 2⁵=32, 2⁶=64, 2⁷=128. PDP 기술로 이러한 코딩을 가능케 하기 위해, 프레임 기간은 각각 하나의 비트에 대응하는 8개의 광 기간(서브-필드로 불림)으로 나누어질 수 있다. 비트 "2"에 대한 광 펄스의 개수는 비트 "1"에 대한 것에 두 배이며, 이러한 방식으로 대응되며, 이들 8개의 서브-필드로, 조합을 통해서 256개의 그레이 레벨을 만드는 것이 가능하다. 8개의 서브-필드를 갖는 가능한 서브-필드 구성이 도 1에 도시되어 있다.

명료하게 하기 위해, 서브-필드 기간이 프레임 기간의 서브-기간이며, 세 개의 단계, 즉 어드레싱 기간, 지속 기간 및 소거 기간으로 구성됨이 추가된다. 어드레싱 기간 동안에, 서브-필드 코드워드에 따라 활성화되어야 하는 셀은 한정된 전압으로 기록{프리차지(precharge)}된다. 셀에 저장된 전하가 특정한 시간 기간 동안에 안정하게 유지되는 것이 필요 조건이다. 모든 셀이 기록된 이후, 이 셀은 지속 단계를 겪게 되며, 여기서 추가적인 전하가 작은 펄스로 셀에 로드된다. 이것은 이전에 어드레싱 단계에서 기록되었던 이들 셀을 점등(ignition)시킨다. UV-방사선이 점등 동안에 생성되며, 결국 셀의 인광성 물질은 여기(excited)되며 광이 출력된다. 그 다음에, 모든 셀에 대해 셀을 중립 상태로 천이시키는 소거 단계가 온다.

움직임이 없다면, 관찰자의 눈은 이들 작은 광 펄스를 대략 한 프레임 기간 동안에 통합할 것이며, 올바른 그레이 레벨/컬러 레벨의 인상을 포착할 것이다.

플라즈마 비디오 인코딩 분야에서, 256개의 원 비디오 레벨을 나타내기 위해 8개 이상의 서브-필드를 사용하는 것은 매우 흔한 경우이다. 이것이 목적으로 하는 바는 생성된 허위 윤곽의 최대 레벨에 직접 링크된 MSB의 레벨을 감소시키는 것이다. 10개의 서브-필드에 기초한 이러한 서브-필드 구성의 제 1 예가 도 2에 도시되어 있다. 12개의 서브-필드에 기초한 서브-필드 구성의 제 2 예가 도 3에 도시되어 있다. 도시된 예에서, 상대적인 32 단위 시간의 지속기간을 갖는 7개의 시간 기간(서브-필드, 간략화하기 위해 지속 단계만이 도시됨)과, 16 단위 시간의 지속기간을 갖는 하나의 시간 기간과, 8 단위 시간의 지속기간을 갖는 하나의 시간 기간과, 4 단위 시간의 지속기간을 갖는 하나의 시간 기간과, 2 단위 시간의 지속기간을 갖는 하나의 시간 기간과, 1 단위 시간의 지속기간을 갖는 하나의 시간 기간이 있다. 상대적인 단위 시간의 합은 255이다. 물론, 도 2 및 도 3에 도시된 서브-필드 구성은 단지 예이며, 이 서브-필드 구성은 다른 실시예에 대해서 변경될 수 있다.

이 서브-필드 구성에 따른 PDP에서의 광 생성은 움직임 천이의 경우에 여전히 그레이 레벨과 컬러의 교란에 대응하는 이미지 품질 저하(degradation)를 보인다. 이미 설명된 바와 같이, 이들 교란은 소위 동적 허위 윤곽 효과(false contour effect)로 한정되며, 이는 이것이 PDP 스크린 상의 관찰점이 이동할 때 화상의 컬러 에지의 모양에 대응하기 때문이다. 관찰자는 피부와 같은 동질의 영역(homogeneous area) 상에 나타나는 강한 윤곽이라는 인상을 갖는다.

허위 윤곽 효과로 인한 아티팩트가 도 4에 도시되어 있다. 디스플레이된 여자의 팔에는 두 개의 검은 선이 도시되어 있으며, 예컨대 이것은 이러한 허위 윤곽 효과에 의해 야기된다. 또한 여자의 얼굴에도 이러한 검은 선이 오른쪽에 나타난다.

이미지가 매끄러운 색조를 가질 때 및 또한 광 방출 기간이 수 밀리 초를 초과할 때 저하가 강화된다. 따라서, 어두운 장면에서, 이 효과는 평균 그레이 레벨(예컨대, 32에서 223까지의 휘도값)을 갖는 장면에서처럼 교란되지 않는다.

게다가, 동일한 문제는, 관찰자가 자신의 머리를 흔들고 있을 때 정지 이미지에서 발생하며, 이로 인해 이러한 실패가 사람의 시각적 인지력에 의존한다는 결론에 이르게 되었다.

움직이는 이미지의 시각적 인지력의 기본 메커니즘을 더 잘 이해하기 위해, 간단한 예가 고려될 것이다. 비디오 프레임 당 다섯 개의 픽셀이라는 속도로 움직이는 휘도 레벨 128 및 127 사이의 천이가 논의되며, 눈은 이 움직임을 따라가고 있다.

도 5는 프레임 N 및 프레임 N+1을 디스플레이하는 이러한 상황을 도시한다. 또한 프레임 N에 대해서, 12개의 서브-필드 가중치(weight)가 오른쪽에 도시되어 있다. 도 5는 디스플레이의 한 픽셀 라인의 일부분을 단지 도시한다. 도 5에서, 휘도 영역 레벨 128에 대응하는 더 검은 음영 영역은 왼쪽에서 도시되어 있으며, 휘도 영역 레벨 127에 대응하는 더 밝은 음영 영역은 오른쪽에 도시되어 있다.

여기서 주목해야하는 점은, 휘도는 단지 예시적으로 언급되어 있다는 점이다. 좀더 일반적으로 말해서는, 특히 RGB 컬러 성분의 신호 레벨을 의미하는 "신호 레벨"을 말한다. 전술한 바와 같이, 컬러 PDP에서, 각 픽셀에 대해서 세 개의 셀이 있다. 픽셀의 올바른 컬러를 생성하기 위해, 픽셀의 세 개의 셀에 대응하는 세 개의 서브-필드 코드워드가 필요하다.

도 5에서, 도 3의 서브-필드 구성은 휘도 레벨 128 및 127을 만드는데 사용된다. 도 5에서 눈에서부터 유래된 세 개의 평행선은 눈이 움직임을 따라가고 있는 방향을 나타낸다. 두 개의 외측 선은 그릇된(faulty) 신호가 인지될 영역의 경계를 도시한다. 이들 사이에서, 눈은 도 5의 아래쪽의 눈 자극 통합 곡선(eye stimuli integration curve)에 도시된 대로 휘도의 부족을 인지할 것이다. 이것은 도 6의 오른쪽 화상에 예시된 대응하는 영역에서의 검은 줄무늬(stripe) 모양을 야기한다.

휘도의 부족이 도시된 영역에서 인지되는 현상은, 눈이 광을 받아들이는 지점이 움직이고 있을 때 한 픽셀의 모든 광 기간을 눈이 더 이상 통합하지 않을 것이라는 사실 때문이다. 광 펄스 중 단지 몇몇 펄스가 이 지점이 움직일 때 통합된다. 그러므로, 대응하는 휘도가 부족하게 되며 검은 줄무늬가 발생할 것이다. 도 6의 왼쪽에서, 픽셀에 걸친 휘도 레벨의 분포를 도시한 눈-자극 통합 곡선이 도시되어 있다. 볼 수 있는 바와 같이, 레벨 128 및 127 사이에 휘도의 부족이 있으며, 여기서 휘도 레벨은 레벨 96까지 강하한다. 도 6은 도 5에 도시된 움직이는 화상을 관찰하는 동안 눈 셀의 반응을 도시한다. 수평 천이로부터의 양호한 거리를 갖는 눈의 셀은 대응하는 픽셀로부터 충분한 광을 통합할 것이다. 천이에 인접해 있는 눈의 셀만이 동일한 픽셀로부터 많은 광을 통합할 수 없을 것이다. 그레이 스케일 화상의 경우, 이 효과는 거짓의(artificial) 흰색 또는 검은색 에지의 환영(apparition)에 대응한다. 컬러 화상의 경우, 이 효과는 다른 컬러 성분상에서 독립적으로 발생할 것이므로, 이것은 피부와 같은 동종의 영역에 컬러 에지의 환영을 야기할 것이다.

이제, 본 출원인의 또 다른 유럽 특허 출원(EP-A-0 980 059호를 참조바람)에 개시된 발명의 주요한 아이디어는 눈의 통합 궤적 상에 움직이는 영역의 셀의 서로 다른 광 펄스를 위치시키기 위해 화상에 움직임을 예상하는 것이다. 이에 따라, 눈이 그 움직임 동안에 올바른 시간에 올바른 정보를 받아들일 것임을 보장하기 위해, 화상의 픽셀의 몇몇 서브-필드의 광 펄스는 눈의 움직임에 따라서 현재의 비디오 프레임의 또 다른 픽셀 또는 픽셀들로 이동된다. 이 원리가 도 7에 예시되어 있다. 여기에서, 도시된 모든 픽셀의 제 6 및 제 7 서브-필드의 광 펄스는 한 픽셀만큼 오른쪽으로 이동되며, 제 8 서브-필드의 광 펄스는 두 개의 픽셀만큼 오른쪽으로 이동되며, 제 9 서브-필드의 광 펄스는 세 개의 픽셀만큼 오른쪽으로 이동된다. 모든 픽셀은 동일한 움직임 벡터를 가져서, 이들은 모두 이동에 영향을 받는다. 서브-필드 이동 동작은 서브-필드 코드워드 비트를 이동시킴으로써 단지 수행될 수 있다. 이로 인해, 화상의 움직임을 따라가는 눈은 제 6 내지 제 9 서브-필드의 모 든 광 기간을 통합할 것이며, 그에 따라 도 7의 아래의 눈-자극 곡선에 도시된 대로 128의 대응하는 휘도값을 야기한다. 그 결과, 어떠한 어두운 영역도 인지되지 않을 것이다.

자극 통합 곡선이 천이의 경계 영역에서 매끄럽게 된다는 측면에서 본 예시는 이상적인 것임이 통지된다. 관심을 끄는 또 다른 점은, 움직임 벡터가 종래의 방식으로 한정되며, 즉, 이것은 현재의 프레임의 픽셀이 다음의 비디오 화상에서까지 진행하는 경우를 나타낸다는 사실이다.

물체가 또 다른 물체를 감추고 두 물체가 서로 상대적으로 움직이고 있는 경우에 이 보상 방법에는 문제가 나타난다. 그러한 경우, 이 두 움직이는 물체 사이에 새로운 영역이 나타날 것이다. 이 현상은 물체가 교차하는 경우에 발생한다. 이 문제는, 만약 물체가 정반대 방향으로 이동하고 있다면, 강화된다. 분명히, 이들 두 물체 사이의 경계는 양호한 선명도를 제공하도록 보상되어야 한다. 위에서 설명된 바와 같이, 허위 윤곽 효과는 선명도를 극적으로 감소시킬 것이다. 그럼에도 불구하고, 만약 현재 감추어진 또 다른 물체의 경계에서 영역을 보상해야 한다면, 두 개의 움직이는 물체의 움직임 벡터에 따라 확장하는 흐린 영역(blurred area)이 발생할 것이다.

이것이 도 8에 예시되어 있다. 도 8은 움직임 벡터(

)로 왼쪽으로 수평으로 움직이는 밝은 회색의 직사각형 영역으로 도시된 움직이는 물체의 예를 도시한다. 움직이는 물체는, 짙은 회색으로 도시된 배경 상에서 움직이고 있으며, 이 배 경은 자체가 움직임 벡터(

)로 오른쪽으로 움직이고 있다. 움직임 벡터는 앞쪽 물체와 배경 물체가 한 프레임 동안에 움직이고 있는 방향 및 거리를 도시한다.

만약 위에서 설명된 서브-필드 이동의 보상 방법이 사용된다면, 움직이는 물체의 광 펄스를 왼쪽으로 이동시키며, 배경 픽셀에 대한 광 펄스는 오른쪽으로 이동시키게 된다. 이것이 도 8의 중간에 도시되어 있으며, 여기서 몇 개의 서브-필드 기간이 도시되어 있다. 이것은 광/에너지 부족이 인지되는 화상의 영역의 모양을 야기한다. 이는, 눈이 이 영역에서 충분한 광 펄스를 통합하지 않을 것이기 때문이다. 출현 영역은 앞쪽 및 배경 물체의 픽셀에 대한 이동되는 광 펄스 사이에 있다. 이 영역은, 이동이 서브-필드 수에 따라 증가한다는 사실로 인해 서브-필드마다 점점 더 넓어진다.

도 8의 아래쪽에, 시청자의 눈이 관찰할 모습이 예시되어 있다. 움직이는 앞쪽 물체의 왼쪽 경계에서, 선명한 천이가 나타날 것이다. 움직이는 물체의 오른쪽 경계에서, 흐린(blurred) 천이가 발생할 것이다. 이것은 때때로 "검은 구멍"의 모습으로 지칭된다.

도 9는 앞쪽 물체가 왼쪽으로 움직이며, 배경 물체는 오른쪽으로 움직이는 동일한 경우를 도시한다. 앞쪽 및 배경 물체의 움직임은 화살표로 나타내져 있다. 이 경우, 움직임 벡터는 서로 다르게 계산되며, 이들은 서로 다른 방식으로 사용된다. 이러한 종류의 움직임 벡터 계산 및 처리가 출원 번호 00250230.0호인 본 출원인의 또 다른 유럽 특허 출원에 개시되어 있다. 그러므로, 이것은 본 실시예의 개시에 대해 본 출원에 명시적으로(expressively) 인용될 것이다.

이 추가적인 특허출원의 해결책에 따라, 허위 윤곽 효과의 보상은, 최종적인 움직임 벡터가 현재의 픽셀이 유래되는 이전 비디오 화상의 위치로부터 현재의 픽셀에 대해 결정하는 방식으로 움직임 추정기에서 계산된 비디오 화상의 픽셀에 대해 움직임 벡터를 사용하여 이루어진다. 따라서, 현재의 프레임의 각 픽셀 또는 픽셀 블록에 대해, 고유한 움직임 벡터는 이전 프레임에서의 이 픽셀의 소스를 한정한다. 게다가, 벡터는 서로 다른 방식으로 사용된다. 다시 말해, 현재의 프레임으로부터의 각 픽셀에 대해, 벡터는 픽셀이 이전 프레임의 어디에서 유래되고 있는지를 기술한다. 비록 한 픽셀에 대한 몇 개의 가능성이 있다하더라도, 단 하나의 벡터가 픽셀에 할당됨이 움직임 추정기 그 자체에서 보장된다.

예컨대, 이전 비디오 화상의 몇 개의 픽셀이 현재의 화상에서 동일한 위치로 움직이는 경우에, 가능한 벡터가 하나의 마지막 움직임 벡터에 결합될 수 있다. 서브-필드는 이전 실시예에서처럼 현재의 픽셀에서 멀리 이동되지 않고, 그러나 움직임 벡터를 따라서 인접한 픽셀로부터 현재의 픽셀로 드래그된다(dragged). 이러한 드래그는 물체가 교차하는 경우에 서로 다른 아티팩트를 생성하며, 이것이 도 9에 예시되어 있다. 허위 윤곽 효과를 보상하기 위한 정보가 움직임 픽셀 뒤에 위치한 픽셀로부터 취해지므로, 이점은 도 9의 아래쪽에 도시된 이중 천이 경계를 야기할 것이다. 움직이는 배경의 픽셀로 드래그된 정보는 밝은 회색의 앞쪽 물체로부터 유래된다. 마찬가지로, 움직이는 앞쪽 물체의 픽셀로 드래그된 정보는 어두운 회색 배경 물체로부터 유래된다.

또한 이 경우, 물체가 교체하는 경우에 서브-필드 드래그로부터 유래되는 새 로운 아티팩트를 보게 된다. 사실, 실패는 출현 영역에서 다시 출현하며, 이는 이것이 화상에서 현재는 감춰져 있는 새로운 영역에 대응하기 때문이다. 배경의 일부분은 움직이는 물체인 회색의 직사각형 뒤에 감춰진다.

서브-필드 이동 및 서브-필드 드래그에 기초한 두 보상 방법을 개선하기 위해, "출현 영역"의 검출 및 이에 뒤이은 그 다음 프레임으로부터 유래된 정보를 통한 "구멍 채움"으로 기본적으로 구성된 새로운 3D-처리가 발명되었다. 먼저, 서브-필드 이동을 위한 개선된 보상 방법이 상세하게 설명된다. 이것은 도 10에 예시되어 있다. 이 도면은 프레임 N과 그 다음 프레임 N+1을 도시하고 있다. 그 다음 프레임 N+1에서 나타날 프레임 N의 감춰진 영역은 프레임 N의 점선으로 경계가 정해져 있다. 이 영역이 출현 영역이다. 프레임 N+1에서부터, 출현 영역이 배경 물체로부터의 픽셀로 완전히 구성됨은 자명하다. 출현 영역은 프레임 N으로부터 프레임 N+1로 오른쪽으로 또한 이동됨이, 도 10에 지시되어 있다. 이것은 프레임 N+1에서 출현 영역의 위치를 찾기 위해 고려되어야 한다. 프레임 N에서의 정확한 "구멍 채움"을 위해, 프레임 N+1에서 움직인 출현 영역의 정보를 사용해야 한다. 따라서, 구멍 채움을 위해 프레임 N+1에서 픽셀의 위치를 찾기 위해 프레임 N으로부터의 움직임 벡터 정보를 사용해야 한다. 더 높은 서브-필드 수에 대해 더 큰 수의 픽셀의 서브-필드 엔트리가 복사되어야 하는 반면, 더 낮은 서브-필드 수에 대해 단지 몇 개의 픽셀의 서브-필드 엔트리가 프레임 N+1로부터 취해져야 함이 도 10에서 자명하다. 픽셀이 보상되어야 하는 서브필드에 대한 정보는 서브-필드 이동 계산에서 이용 가능하다. 서브-필드 이동 계산의 상세한 사항에 대한 개시에 대해, 문서 EP 0 978 817 A1이 다시 명시적으로 인용된다. 프레임 N+1의 움직인 출현 영역의 어떤 픽셀의 서브-필드 엔트리가 구멍 채움을 위해 선택되어야 하는지의 정보가 마찬가지로 계산된 서브-필드 이동에서 이용 가능하다. 앞쪽 물체와 배경 물체 사이의 움직이는 경계가 도 10에 수직 라인 MB으로 도시되어있다. 각 서브-필드에 대한 서브-필드 이동은 이 수직 라인 MB의 왼쪽 및 오른쪽으로 어떠한 픽셀이 구멍 채움을 위해 선택되어야 하는지를 결정한다. 이러한 개선된 보상 방법으로, 움직이는 물체의 오른쪽 경계는 완전히 고려될 것이며, 이점은 전체적인 화상 선명도(global picture sharpness)의 향상을 유도한다.

서브-필드 드래그에 기초한 제 2 보상 방법에 따라서, 다음의 변형은 도 9에 도시된 아티팩트를 보상하기 위한 해결책이다. 드래그된 정보는 현재의 프레임으로부터 선택될 수 없고 대신 그 다음 프레임으로부터 선택되어야 한다. 이 경우, 현재의 픽셀 뒤로, 정확한 정보가 도 10에서 볼 수 있는 바와 같이 이용 가능할 것이다. 프레임 F_N의 경계에서 배경 물체의 현재의 픽셀에 대한 프레임 F_N+1의 대응하는 픽셀은 배경 물체 영역의 중간에 놓여 있으며, 따라서, 올바른 정보가 두 개의 움직이는 물체의 경계에서 픽셀로 드래그될 것임이 보장된다.

개선된 보상 방법에 대해서, "출현 영역" 검출기 같은 것이 필요하다. 출현 영역을 검출하기 위한 여러 가능성이 있다. 다음에는, 출현 영역의 검출을 수행하는 간단한 방법이 제안되어있다. 도 10의 밝은 회색 직사각형의 움직임에 대응하는 제 1 움직임 벡터{

}와 배경의 움직임에 대응하는 제 2 움직임 벡터{

}를 두는 것으로 가정하자. 출현 영역을 검출하기 위해, 주어진 움직임 벡터 뒤에 위치한 움직임 벡터가 여전히 유사한 움직임을 나타내는지가 체크될 것이다. 이를 수행하기 위해, 제 1 및 제 2 벡터의 정반대로 한정된 궤적은 도 11에 제시된 바와 같이 분석될 것이다. 도 11에는, 제 1 벡터{

}의 정반대로 한정된 궤적은 여전히 정사각형이며, 이들 위치에 위치한 벡터는 유사하다: 그러므로 대응하는 영역이 임계 영역(critical area)은 아니다. 두 개의 움직이는 물체의 경계의 위치(x₀, y₀)의 경우, {

}에 의해 한정된 궤적에 위치한 벡터는 직사각형 바깥에 있으며, 이들은 정반대 방향을 갖는다. 예컨대 벡터{

}에 대해서도 동일하게 사실이다. 정반대 방향으로 이들 뒤에 벡터를 갖는 모든 벡터 위치는 출현 영역에 속해 있다. 이러한 간단한 방법을 통해 출현 영역의 지점은 쉽게 발견될 것이다. 개시된 출현 영역 검출기는 개선된 보상 방법 둘 모두, 즉 서브-필드 이동을 통한 방법, 서브-필드 드래그를 통한 방법이 사용될 수 있다. .

도 12는 본 발명에 따른 장치의 제 1 실시예를 도시한다. 이 제 1 실시예에서, 프레임 메모리(2), 움직임 추정기(3) 및 보상 유닛(4)에 대한 입력(1)이 있다. 프레임 메모리(2)는 움직임 추정기(3) 및 보상 유닛(4)에 연결된다. 움직임 추정기(3)는 보상 유닛(4)에 연결된 제 1 및 제 2 출력을 갖는다. 입력(1)에서, 프레임(F_N)의 RGB 데이터가 수신되며 프레임 메모리(2), 움직임 추정기(3) 및 보상 유닛(4)에 발송된다. 움직임 추정기(3)에는, 프레임(F_N)외에, 이전 프레임(F_N-1)이 또 한 프레임 메모리(2)로부터 운반된다. 그 이전 프레임(F_N-1)이 이후 현재의 프레임으로 간주됨을 주목하기 바란다. 이들 두 프레임을 통해, 움직임 추정기(3)는 프레임(F_N)에 대한 움직임 벡터{

}를 계산한다. 움직임 벡터{

}가 보상 유닛(4)에 발송된다. 그 이전 프레임(F_N-1)을 위한 움직임 벡터{

}가 이를 위한 움직임 추정기(3)에 저장된다. 또한 움직임 추정기(3)는 이 실시예에서 정보(AP_N-1)를 출력하며, 이 정보는 각 픽셀에 대해서 이것이 프레임(F_N-1)의 출현 영역에 속해있는지를 나타낸다. 각 픽셀에 대한 1 비트가 이 정보(AP_N-1)에 대해 충분하다. 출현 영역의 픽셀은 전술된 개선된 보상 방법을 통해 보상되어야 한다. 프레임(F_N-1)은 또한 이를 위해 보상 유닛(4)에 입력된다. 보상 유닛(4)에서, 프레임(F_N-1)이 보상된다. 보상된 프레임(F_N-1)은 이 블록의 출력(5)에 나타난다. 도 12에 도시된 보상 시스템은 한 프레임의 프로세스 지연을 유도한다.

대안적인 컨셉은 표준 움직임 추정기를 별도의 출현 영역 검출기와 결합하는 것이다. 예컨대, 위에서 개시된 출현 영역 검출기가 사용될 수 있다. 이 대안적인 컨셉이 도 13에 도시되어 있다. 부분적으로, 도 13에서, 도 12와 동일한 참조번호가 사용된다. 이들 참조번호는 도 12와 동일한 구성요소를 나타낸다.

도 13의 실시예는 별도의 벡터 메모리(6)와 별도의 출현 영역 검출기(7)를 포함한다는 점에서 도 12의 실시예와는 다르다. 움직임 추정기(3)는 간략화되며, 프레임(F_N)의 픽셀을 위한 움직임 벡터를 운반하는 표준 움직임 추정기이다. 벡터 메모리(6)의 기능은 한 프레임 기간 동안에 움직임 추정기(3)로부터 유래된 움직임 벡터 데이터를 저장하는 것이어서, 출현 영역 검출기(7)는 이전 프레임(F_N-1)의 움직임 벡터{

}를 얻게 된다. 출현 영역 검출기(7)는 프레임(F_N-1)의 각 픽셀에 대해 이것이 출현 영역에 속해 있으며, 출현 영역 신호(AP_N-1)를 보상 유닛(4)에 제공하는지의 여부를 결정한다. 픽셀이 출현 영역에 속해있는지의 여부를 결정하는 방법이 위에 설명되어있다.

보상 유닛(4)의 출력에서, 세 개의 컬러 성분(RGB)에 대한 보상된 서브-필드 코드워드가 발생한다. 이들 서브-필드 코드워드는 알려진 방식으로 디스플레이를 구동시키는데 사용된다.

본 발명에 따른 방법 및 장치는 허위 윤곽 효과 보상에만 응용될 수 있는 것은 아니다. 예컨대, 허위 윤곽 효과가 더 이상 문제가 되지 않는 새로운 플라즈마 디스플레이 기술을 사용하는 경우에, 개시된 방법 및 장치는 특히 선명도 개선이라는 화상 품질 개선에 사용될 수 있다.

상술한 바와 같이, 본 발명은 허위 윤곽 효과의 보상을 위해 비디오 화상을 처리하기 위한 방법 및 장치에 이용된다.

Claims (10)

1. 비디오 화상 처리 방법으로서, 상기 비디오 화상은 픽셀로 구성되고, 상기 픽셀은 적어도 하나의 디지털 코드워드로 디지털 방식으로 코딩되며, 디지털 코드워드의 각 비트에는 이후에는 서브-필드로 불리우는 특정한 지속기간이 할당되며, 상기 지속기간 동안에, 전체 픽셀 또는 상기 픽셀의 구성요소가 활성화되며, 움직임 벡터가 픽셀에 대해서 계산되며, 상기 움직임 벡터는 화상 품질 개선을 위해 상기 픽셀의 상기 적어도 하나의 서브-필드 코드워드를 업데이트하는데 사용되는, 비디오 화상 처리 방법에 있어서,

   현재 감추어져 있지만, 그 다음 비디오 화상에서 출현하는 영역이 있는지가 현재 화상에서 체크되며, 그런 다음, 상기 현재의 화상의 출현 영역(appearing area)으로부터의 픽셀의 상기 서브-필드 코드워드는 그 다음 비디오 화상에서 상기 출현 영역으로부터의 픽셀의 서브-필드 코드워드 엔트리를 사용하여 업데이트되는 것을 특징으로 하는, 비디오 화상 처리 방법.
2. 제 1항에 있어서, 상기 움직임 벡터에 기초한 상기 서브-필드 코드워드의 업데이트는, 상기 움직임 벡터에 따라서 서브-필드 코드워드 엔트리에 대한 이동 좌표(shift coordinate)를 계산함으로써 수행되며, 여기서 상기 움직임 벡터는 현재 비디오 화상의 픽셀이 그 다음 비디오 화상으로 이동하는 지점을 지시하도록 한정되며, 상기 이동 좌표는 현재 픽셀의 서브-필드 코드워드 엔트리를 상기 움직임 벡터 방향을 따라서 픽셀로 이동시키는데 사용되는, 비디오 화상 처리 방법.
3. 제 1항에 있어서, 상기 현재의 비디오 화상의 상기 픽셀에 대한 상기 서브-필드 코드워드의 그 움직임 벡터에 기초한 업데이트는, 상기 움직임 벡터에 따라서 서브-필드 코드워드 엔트리의 드래그 좌표(drag coordinate)를 계산함으로써 수행되며, 여기서 상기 움직임 벡터는 현재의 비디오 화상의 픽셀이 이전 비디오 화상에서 유래되는 지점을 지시하도록 한정되며, 상기 드래그 좌표는 상기 움직임 벡터 방향을 따라서 상기 현재의 비디오 화상의 픽셀의 서브-필드 코드워드 엔트리를 상기 현재의 픽셀로 드래그시키는데 사용되는, 비디오 화상 처리 방법.
4. 제 3항에 있어서, 상기 현재의 화상의 상기 출현 영역으로부터의 픽셀의 서브-필드 코드워드는, 상기 움직임 벡터 방향을 따라서 그 다음 비디오 화상의 대응하는 픽셀의 서브-필드 코드워드 엔트리를 상기 현재의 픽셀로 드래그시킴으로써 보상되는, 비디오 화상 처리 방법.
5. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 현재의 픽셀이 현재는 감추어져 있지만 그 다음 비디오 화상에서는 출현하는 영역에 속해 있는지를 체크하기 위해, 상기 현재 픽셀의 미러 변환된(mirror transformed) 움직임 벡터 화살표에 위치한 픽셀에 대해, 움직임 벡터가 할당되는지 분석되며, 상기 움직임 벡터는 상기 현재의 픽셀의 움직임 벡터와 유사성을 갖지 않는, 비디오 화상 처리 방법.
6. 비디오 화상 처리 장치로서, 상기 비디오 화상은 픽셀로 구성되고, 상기 픽셀은 적어도 하나의 디지털 코드워드로 디지털 방식으로 코딩되며, 디지털 코드워드의 각 비트에는 이후에는 서브-필드로 불리우는 특정한 지속기간이 할당되며, 상기 지속기간 동안에, 전체 픽셀 또는 상기 픽셀의 구성요소가 활성화되며, 움직임 벡터가 픽셀에 대해서 계산되는 움직임 추정기(3)를 포함하며, 화상 품질 개선을 위해 상기 픽셀의 상기 적어도 하나의 서브-필드 코드워드를 업데이트하기 위해 상기 움직임 벡터가 사용되는 처리기(4)를 더 포함하는, 비디오 화상 처리 장치에 있어서,

   현재 감추어져 있지만, 그 다음 비디오 화상에서 출현하는 영역이 있는지가 현재 화상에서 체크되는 출현 영역 검출기(7)를 더 포함하며, 상기 장치는, 상기 현재의 화상의 출현 영역으로부터의 픽셀의 상기 서브-필드 코드워드가 그 다음 비디오 화상에서 상기 출현 영역으로부터의 픽셀의 서브-필드 코드워드 엔트리를 사용하여 보상되는 보상 유닛을 포함하는 것을 특징으로 하는, 비디오 화상 처리 장치.
7. 제 6항에 있어서, 상기 출현 영역 검출기(7)는 상기 움직임 추정기(3)에서 통합되는, 비디오 화상 처리 장치.
8. 제 6항에 있어서, 상기 출현 영역 검출기(7)는 별도의 유닛이며, 입력으로 현재의 비디오 화상의 움직임 벡터를 수신하는, 비디오 화상 처리 장치.
9. 제 6항에 있어서, 상기 장치는 플라즈마 디스플레이, LCOS 디스플레이나 DVD 디스플레이와 같은 매트릭스 디스플레이를 포함하는, 비디오 화상 처리 장치.
10. 삭제

Images