KR20040065967A

KR20040065967A - 실시간 비디오 수신시 엠펙 신호의 블로킹 인조물을제거하는 방법 및 장치

Info

Publication number: KR20040065967A
Application number: KR1020030040081A
Authority: KR
Inventors: 김영택; 린펭
Original assignee: 삼성전자주식회사
Priority date: 2003-01-16
Filing date: 2003-06-20
Publication date: 2004-07-23
Also published as: US20040141557A1; EP1439711A2; EP1439711A3; KR100553886B1; US7463688B2; CN1250012C; CN1520191A

Abstract

본 발명은 이미지 경계를 흐리지 않으면서 비디오 이미지 프레임을 형성하는 픽셀들로 된 블록의 블로킹 인조물을 효과적으로 제거하는 방법 및 장치에 관한 것이다. 그 방법에서 먼저 현 픽셀이 블록 경계 픽셀인지의여부가 판단된다. 현 픽셀이 경계 픽셀이면, 현 픽셀을 중심으로 한 라인 상에 놓인 세 픽셀을 이용해 블록 경계를 지나는 수평, 수직 및 대각선 방향에서의 "1 차원 중심 변동"을 계산한다. 그리고 나서, 최소 "1 차원 중심 변동"을 가진 방향을 찾아 "최소 중심 변동 방향"을 결정한다. 그러면 현 픽셀은 "최소 중심 변동 방향"을 따라 놓인 세 픽셀들의 평균값으로 대체됨으로써 갱신되어, 실질적으로 원치않는 블로킹 인조물을 제거할 수 있다.

Description

실시간 비디오 수신시 엠펙 신호의 블로킹 인조물을 제거하는 방법 및 장치{Methods and apparatus for removing blocking artifacts of MPEG signals in real-time video reception}

본 발명은 일반적으로 디지털 신호 처리에 관한 것으로서, 보다 상세하게는 블록 기반 변환 코딩시 발생되는 블로킹 인조물을 제거하기 위한 비디오 신호의 후처리에 관한 것이다.

엠펙 2(MPEG-2) 비디오 압축 표준은 디지털 텔리비젼(TV) 방송에 성공적으로 채택되어 왔다. 다른 많은 대중적 이미지 및 비디오 압축 표준과 함께, 엠펙 2는 블록 기반의(block-based) 이산 코사인 변환(DCT, Discrete Cosine Transforms)을 이용한다. 이 DCT 기반 이미지 및 비디오 압축 기술의 기본 방식은 이미지를 8x8의 픽셀 블록들로 세분하고 그 각각의 블록을 개별적으로 변환, 양자화 및 부호화하는 것이다.

그러나, 이러한 블록 기반 코딩 기술은 블록 경계들 사이에 블로킹 인조물(blocking artifacts)을 발생시키는데, 이는 변환이 블록 경계들간의 상관성을 고려하지 않기 때문이다. 고화질 디스플레이 기술들이 급속히 출현하고 TV 화면이 이전 보다 커짐에 따라, 블로킹 인조물은 더욱 더 뚜렷하게 보여지고 더욱 성가신 문제가 되고 있다.

디스플레이할 수신 이미지의 화질을 개선시키기 위해, 디코딩된 비디오 스트림에서의 블로킹 인조물을 제거할 후프로세서(post-processor)를 가진 수신단이 제공될 필요가 있다. 그런 종류의 디블로킹(de-blocking) 후프로세서의 기본적 요건은 블록킹 인조물을 제거하고, 이미지 엣지들을 보존하면서 저비용(즉, 낮은 복잡성과 저메모리 수요를 가진)이어야 한다는 것이다.

블로킹 인조물을 제거하기 위해 많은 후처리 기술들이 개발되어 왔으며, 그 예로서 이미지 적응 필터링(1995년 7월 4일자 이미지 처리에 관한 IEEE 저널 제4권에 발표된 T. Liu 등의 "저비트 비디오 신호를 위한 적응적 후처리 알고리즘")과, 볼록면 세트(convex sets)상의 투사(1995년 7월 4일자 이미지 처리에 관한 IEEE 저널 제4권에 발표된 Y. Yang 등의 "블록-변환 압축된 이미지에 대한 투사 기반의 공간적 적응 재구성"), 웨이브릿 노이즈 제거(de-noising)(1994년도 ICIP에 개시된 R.Gopinath 등의 "저비트 레이트 변환 코딩된 이미지의 웨이브릿 기반 후처리")와 같은 기술들이 있다.

이러한 종래의 기술들이 이미지 화질 개선을 이끌어 왔지만, 대부분이 많은 계산 시간 또는 많은 메모리를 필요로 하고 있기 때문에, 실시간 비디오 어플리케이션에는 적합하지 않다. 따라서, 간단하면서 적은 메모리를 필요로 하고, 이미지 경계를 무디게 하지 않으면서 블로킹 인조물을 효과적으로 제거할 수 있는 후처리 방법 및 장치에 대한 수요가 있게 된다. 또한 그러한 방법 및 장치는 하드웨어 구현이 손쉬운 간단한 구조를 가진 것일 필요가 있다.

본 발명의 목적은, 이미지 엣지들을 흐리지 않으면서 블록 변환 코딩된 비디오에서의 블로킹 인조물을 효과적으로 제거하는, 간단하고, 복잡성이 낮으며 적은 메모리의 후처리 방법 및 장치를 제공하는데 있다.

도 1a는 본 발명에 따른 블로킹 인조물을 제거하기 위한 블로킹 제거 시스템의 일실시예에 대한 기능적 블록도이다.

도 1b-1c는 본 발명에 따른 블로킹 인조물을 제거하는 방법의 일실시예에 대한 흐름도를 도시한 것이다.

도 2는 도 1a의 수평 블록 경계 프로세서에 대한 스캔 라인 롤링 처리예를 도시한 것이다.

도 3은 도 1a의 시스템에 있어서 1 차원 중심 변동을 산출하기 위한 네 가지 방향의 예들을 도시한 것이다.

도 4는 수직 블록 경계 픽셀들에 대한 1 차원 중심 변동 산출의 예를 도시한 것이다.

도 5는 수평 블록 경계 픽셀들에 대한 1 차원 중심 변동 산출의 예를 도시한 것이다.

상기 목적을 달성하기 위해, 본 발명은 수직 블록 경계 처리를 수평 블록 경계 처리와 효과적으로 결합한다. 본 발명에 따른 후처리 장치(시스템)의 일실시예에서, 수직 블록 경계 프로세서 및 수평 블록 경계 프로세서가 사용된다. 수직 블록 경계 프로세서는 수직의 블로킹 인조물을 제거하고, 수평 블록 경계 프로세서는 수평의 블로킹 인조물을 제거한다. 각 비디오 프레임은 래스터(raster) 스캔(scan) 순서로 처리되는데, 먼저 수직 블록 경계 프로세서에 의해 처리되고, 그리고 나서 수평 블록 경계 프로세서에 의해 처리된다. 수직 블록 경계 프로세서는 한 스캔 라인 처리를 마친 후, 그 스캔 라인 전부를 수평 블록 경계 프로세서로 넘긴다. 수평 블록 경계 프로세서는 수평 블록 경계를 처리하는데 세 개의 스캔 라인만을 필요로 하기 때문에, 수평 블록 경계 프로세서는 수직 블록 경계 프로세서가 전체 프레임을 다 마칠 때까지 기다리는 대신, 수직 블록 경계 프로세서의 출력으로부터 처음 세 스캔 라인을 모은 후 곧 바로 처리를 시작할 수 있다. 이것은 보다 적은 메모리를 필요로 하는 효과적인 처리 방식을 제공한다.

일실시예의, 상술한 수직 블록 경계 프로세서와 수평 블록 경계 프로세서에 있어서, 본 발명은 블로킹 인조물을 제거하는 방법을 제공하며, 이 방법에서 현 픽셀은 수직/수평 블록 경계 픽셀인지의 여부를 결정하기 위해 검사된다. 현 픽셀이 수직/수평 블록 경계 픽셀이면, 현 픽셀을 중심으로 한 라인 상에 있는 세 픽셀을 이용해, 수직/수평 블록 경계를 가로지르는 수평, 수직 및 대각선 방향에 대해 "1-D(1 차원) 중심 변동(central variance)"이 산출된다. 그 후 최소의 "1-D 중심 변동"을 갖는 방향을 찾아 "최소 변동 방향(least variance direction)"을 결정한다. 그리고 나서 "최소 변동 방향"에 있는 세 픽셀들의 평균값으로 현 픽셀의 값을 대체하여 현 픽셀을 업데이트함으로써, 이미지 경계를 흐리지 않으면서 원치않는 블로킹 인조물을 실질적으로 제거할 수 있다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명할 것이다.

본 발명은 여러가지 상이한 형태로 실시될 여지가 있으나, 여기서는 본 발명의 바람직한 실시예들의 설명 및 도면이 제공된다. 이러한 바람직한 실시예들은 본 발명의 원리를 이해하기 위한 예로서 간주되어야 하며 발명의 광의의 면을 제한하는 것으로 해석되어서는 안될 것이다.

이해를 돕기 위해, 본 발명은 여기서 휘도 신호를 픽셀값으로서 사용해 기술될 것이다. 그러나, 본 발명에 따른 이러한 기술은 색(chrominane) 신호 등과 같은 이미지/픽셀 특징값들에 대해서도 적용될 수 있다.

도 1a는 본 발명에 따른 블로킹 인조물 제거를 위한 블로킹 제거 시스템(10)의 일실시예를 보인 블록도이다. 이 시스템(10)은 수직 블로킹 인조물을 제거하는 수직 블록 경계 프로세서(VBBP, Vertical Block Boundary Processor)(12)와 수평 블로킹 인조물을 제거하는 수평 블록 경계 프로세서(HBBP, Horizontal Block Boundary Processor)(14)를 포함한다.

각 비디오 프레임은 래스터(raster) 주사 순으로(즉, 픽셀들로 된 래스터 스캔 라인들) 처리된다. 입력 스캔 라인이 수신될 때, 수직 블록 경계 프로세서(12)는 이 스캔 라인 상에 있는 모든 수직 블록 경계 픽셀들을 처리한다(한 프레임 내 블록 경계들은 블록 기반 변환 코딩의 결과로서 형성된다). 수직 블록 경계 프로세서(12)는 그 스캔 라인 상의 픽셀들의 처리를 끝낸 후, 그 스캔 라인 전체를 수평 블록 경계 프로세서(14)로 보낸다.

수평 블록 경계 프로세서(14)는 블록 경계를 처리하기 위해 세 개의 스캔 라인을 이용한다. 먼저, 수평 블록 경계 프로세서(14)는 세 스캔 라인들을 모은다. 수평 블록 경계 프로세서(14)가 수직 블록 경계 프로세서(12)로부터 세 스캔 라인을 수신한 후, 수평 블록 경계 프로세서(14)는 상위와 하위의 스캔 라인들을 이용해 중간 스캔 라인의 처리를 시작한다. 중간 스캔 라인을 처리하기 위해, 수평 블록 경계 프로세서(14)는 먼저 중간 스캔 라인이 수평 블록 경계선인지를 판단한다. 중간 스캔 라인이 수평 블록 경계선이 아니면, 수평 블록 경계 프로세서(14)는 그 스캔 라인 처리를 건너 뛴다. 그러나, 중간 스캔 라인이 수평 블록 경계선이면, 수평 블록 경계 프로세서(14)는 이 스캔 라인상의 각 픽셀을 처리해 수평 블로킹 인조물을 제거한다.

수평 블록 경계 프로세서(14)가 중간 스캔 라인의 처리를 마친 후에는 맨 위의 스캔 라인을 밀어내고(rolls out, 롤 아웃) 수직 블록 경계 프로세서(12)의 출력으로부터 새 스캔 라인을 진입(roll in, 롤 인) 시킨다. 도 2의 흐름도의 예를 참조하면, 이제 이전의 중간 스캔 라인은 새로운 상위 스캔 라인이 되고, 이전의 하위 스캔 라인은 새로운 중간 스캔 라인이 되고, 새롭게 수신된 스캔 라인이 새로운 하위 스캔 라인이 된다. 스캔 라인들을 한번 롤링(rolling)한 후 수평 블록 경계 프로세서(14)는 새로운 중간 스캔 라인을 처리하며, 이러한 동작은 계속된다. 프로세서(12)에서 프로세서(14)로 스캔 라인을 전달하는 상술한 동작들 및, "롤링하는" 스캔 라인들은 도 1a의 패스(Pass)/롤(Roll) 블록(16)에서 구현될 수 있다.

일실시예에서, 수직 블록 경계 프로세서(12)는 수직 경계 픽셀 지정기(18), 최소 변동 방향 검출기(20) 및 픽셀 갱신기(22)를 포함하며, 이들의 동작은 이하에서 설명될 것이다. 도 1b의 방법들도 여기에 참조하면, 각 비디오 프레임이 먼저 래스터 주사순으로 처리된다(40단계). 일실시예에서, 시스템(10)으로의 입력 신호는 엠펙 2 디코딩된 신호를 포함한다. 이 신호는 픽셀들로 된 스캔 라인들로서 수직 블록 경계 프로세서(12)로 주어지고, 이 프로세서에서, 현 스캔 라인 상의 각 픽셀에 대해 수직 경계 픽셀 지정기(18)가 우선 현 픽셀이 수직 블록 경계 픽셀인지의 여부를 판단하는 검사를 수행한다(42단계).

현 픽셀이 수직 블록 경계 픽셀이 아니면, 그 픽셀은 아무 변경없이 수직 블록 경계 프로세서(12)의 출력으로서 통과된다(44단계). 그러나, 현 픽셀이 수직 블록 경계 픽셀이면 그 픽셀은 최소 변동 방향 검출기(20)로 보내진다. 최소 변동 방향 검출기(20)는 현 픽셀에 대해 수직 블록 경계를 지나는 "최소 중심 변동 방향"을 판단한다(46단계). "최소 중심 변동 방향"은 이 방향을 따라 블록 경계를 지나는 엣지들과 같은 이미지 특성이 있다는 것을 나타낸다. 그러면 픽셀 갱신기(22)는 그 방향에 있는 이웃하는 픽셀들을 이용해 현 블록 경계 픽셀의 특징값(가령, 휘도)을 갱신(변경)하여(48단계), 블록 경계를 지나는 자연스러운 천이를 생성시키고, 이로써 이미지 엣지들을 손상시키지 않고 블로킹 인조물들을 실질적으로 제거할 수 있게 된다.

최소 변동 방향 검출기(18)의 동작을 더 설명하기 위해, "일차원 중심 변동(1-D central variance)"이라는 개념을 지금부터 설명할 것이다. 도 3의 9 픽셀들(49)로 된 3x3 마스크(서브 블록)(47)의 예를 들면, 주어진 픽셀에 대해 "1차원 중심 변동"은 (1) 수평 방형 L0, (2) 수직 방향 L1, (3) 좌측 상단으로부터 우측 하단까지의 대각선 방향 L2, (4) 다른 대각선 방향 L3의 네 방향에 대해 정의된다. 이 예에서, 도 3의 중심 픽셀의 값(가령, 휘도)은으로 나타내고, 이때 m 및 n은 마스크(47)의 중심 픽셀에 대한 행(row)과 열(column) 표시이다.및는 각각 L0, L1, L2 및 L3 방향에 대한 "1 차원 중심 변동"을 나타낸다. 한 블록내 (m, n) 위치의 픽셀에 대한 "1 차원 중심 변동"은 다음과 같이 정의될 수 있다:

일반성을 잃지 않고 도 4의 픽셀들의 3x3 마스크를 예로 들면, 이 예에서 값를 갖는 현 픽셀(가령, 도 2의)은 수직 블록 경계의 왼쪽 편에 놓은 수직 블록 경계 픽셀이다.및값은 중심 픽셀에 이웃하는 몇몇 픽셀들에 대한 것이다. 수직 블록 경계를 지나는 "최소 중심 변동 방향"을 결정하기 위해, 최소 변동 방향 검출기(20)는 먼저 수직 블록 경계를 지나는 방향들을 따라 "1 차원 중심 변동"을 산출한다. 도 3과 연관시킨 도 4의 예에서, 수직 블록 경계를 지나는 방향들은 (1) 수평 방향 L0, (2) 대각선 방향 L2, (3) 다른 대각선 방향 L3이다. 여기서, 일례로, 위에 상응하는 "1 차원 중심 변동"은 다음과 같이 산출될수 있다:

다음으로, 상술한 세 "1 차원 중심 변동"및의 최소 값이 산출된다.및의 최소 값에 상응하는 방향이 "최소 중심 변동 방향"을 제공한다. 예를 들어,가 최소값이면, 대각선 방향 L2가 "최소 중심 변동 방향"이 된다. 여러개의 최소값이 존재하게 되면, 예를 들어, 최소 변동 방향 검출기(20)는 해당 방향들 중에 최소 라벨링(labeling) 번호를 가진 방향을 "최소 중심 변동 방향"으로서 선택한다.

최소 변동 방향 검출기(20)는 "최소 중심 변동 방향"을 결정한 후, 그 "최소 중심 변동 방향"을 픽셀 갱신기(22)로 보낸다. 상술한 바와 같이, 픽셀 갱신기(22)는 "최소 중심 변동 방향"을 따라 놓인 가령 세 픽셀들의 평균을 이용하여 현 픽셀을 업데이트한다. 예를 들어, 도 4를 참조하여 대각선 방향 L2(마스크(47)의 좌측 상단 구석에서 우측 하단 구석으로의 대각선 방향)가 최소 변동 방향 검출기(20)에 의해 결정된 "최소 중심 변동 방향"이라고 가정하면, 현 픽셀의 값은 픽셀 갱신기(22)에 의해 다음과 같이 갱신된다:

픽셀 갱신기(22)는 현 픽셀을 업데이트한 후, 그 업데이트된 픽셀을 수직 블록 경계 프로세서(12)의 출력으로 보내고, 계속해서 다음에 사용할 픽셀을 처리한다. 수직 블록 경계 프로세서(12)는 한 스캔 라인 처리를 마친 후, 그 스캔 라인 전체를 수평 블록 경계 프로세서(14)로 보내 수평 블로킹 인조물이 제거되도록 한다.

도 1a를 다시 참조하면, 일실시예에 있어서, 수평 블록 경계 프로세서(14)는 수평 경계 라인 지정기(24), 최소 변동 방향 검출기(26) 및 픽셀 갱신기(28)를 구비하며, 이들이 동작은 이하에서 설명한다. 이제 도 1c의 방법의 단계들 역시 참조하면, 수평 경계 라인 지정기(24)는 수직 블록 경계 프로세서(12)의 출력을 입력으로서 사용한다(50단계). 수직 경계 픽셀 지정기(18)(스캔 라인상의 각 픽셀을 검사해 그것이 수직 경계 픽셀인지를 결정하는)와는 달리, 수평 경계 라인 지정기(24)는 현재의 각 스캔 라인을 검사해 그 스캔 라인이 수평 블록 경계 라인인지를 판단한다(52단계). 현 스캔 라인이 수평 블록 경계 라인이 아니면, 수평 경계 라인 지정기(24)는 어떤 변형도 가하지 않고 그 스캔 라인을 통째로 수평 블록 경계 프로세서(14)로 보낸다(54단계). 현 스캔 라인이 수평 블록 경계 라인이면, 수평 경계 라인 지정기(24)는 현 스캔 라인의 각 픽셀을 최소 변동 방향 검출기(26)로 보내 스캔 라인상의 각 픽셀에 대해 수평 블록 경계를 지나는 "최소 중심 변동 방향"을 결정한다(56단계). 그리고 나서 픽셀 갱신기(28)는 "최소 중심 변동 방향"을 따라 놓인 이웃하는 픽셀들을 이용해 각 수평 블록 경계 픽셀을 업데이트하여 수평 블록 경계를 지나는 자연스러운 천이를 생성시키고(58단계), 그에 따라 이미지 엣지들을 손상시키지 않고 블로킹 인조물들을 실질적으로 제거한다.

최소 변동 방향 검출기(26) 및 픽셀 갱신기(28)와, 수평 블록 경계프로세서(14)의 동작예가 지금부터 상세히 설명될 것이다. 수직 블록 경계 프로세서(12)에서의 그 대응되는 구성과 유사하게, 스캔 라인의 각 픽셀에 대해, 최소 변동 방향 검출기(26)는 그 픽셀에 대해 수평 블록 경계를 지나는 "최소 중심 변동 방향"을 결정한다. 수평 블록 경계를 지나는 "최소 중심 변동 방향"을 결정하기 위해, 최소 변동 방향 검출기(26)는 우선 수평 블록 경계를 지나는 방향들을 따라 각각의 "1 차원 중심 변동"을 결정한다.

일반성을 보장하면서, 도 5의 픽셀들로 된 3x3 마스크의 예를 들면, 스캔 라인내에서값을 가진 현 픽셀은 수평 블록 경계의 최 상단에 위치된 수평 블록 경계 픽셀이다.및값들은 중앙 픽셀에 이웃하는 몇몇 픽셀들에 대한 값들이다. 도 3을 참조하면, 도 5의 수평 블록 경계를 지나는 방향은 (1) 수직 방향 L1, (2) 대각선 방향 L2, (3) 다른 대각선 방향 L3이 있다. 상응하는 "1 차원 중심 변동"이 다음과 같이 산출될 수 있다:

최소값에 해당하는 방향은 "최소 중심 변동 방향"을 제공한다. 예를 들어,가 최소값이면, 대각선 방향 L3가 "최소 중심 변동 방향"이 된다. 여러개의 최소값들이 존재하면, 일례로 최소 변동 방향 검출기(26)가 해당하는 방향들 중 가장 작은 라벨링 번호를 가진 방향을 "최소 중심 변동 방향"으로서 선택한다.

최소 변동 방향 검출기(26)는 "최소 중심 변동 방향"을 결정한 후, 그 "최소 중심 변동 방향"을 픽셀 갱신기(28)로 보낸다. 그러면 픽셀 갱신기(28)는 그 "최소 중심 변동 방향"을 따라 놓인 가령 세개의 픽셀들의 평균을 취해 현 픽셀을 업데이트한다. 도 5의 예에서, 대각선 방향 L3(마스크의 우측 상단 구석에서 좌측 하단 구석까지의 대각선 방향)가 최소 변동 방향 검출기(26)에 의해 산출된 "최소 중심 변동 방향"이라고 가정하면, 현 픽셀은 픽셀 갱신기(28)에 의해 다음과 같은 값으로 업데이트된다.

픽셀 갱신기(28)가 현 픽셀을 업데이트한 후에는, 그 결과를 수평 블록 경계 프로세서(14)의 출력으로 보내며, 이것은 시스템의 최종 출력이 된다. 그리고 나서 처리된 이미지가 디스플레이 시스템(30) 상에 표시될 수 있다.

따라서, 상술한 본 발명의 블로킹 해제 시스템은 "최소 중심 변동 방향"을 따라 블록 경계를 지나는 여러개의 픽셀(가령 세개의 픽셀)들의 평균을 이용해 블록 경계 픽셀들을 처리함으로써 블록 기반 변환으로부터 야기된 블로킹 인조물을 제거한다. "최소 중심 변동 방향"은 최소 "1 차원 중심 변동"을 갖는 블록 경계를 지나는 방향들을 찾음으로써 결정된다. "1 차원 중심 변동"은 수평, 수직, 두 대각선 방향의 네 방향에 대해 선출되고, 각 방향에서의 "1 차원 중심 변동"은 해당하는 방향을 따라 현 픽셀과 그에 이웃하는 픽셀들(가령, 현 픽셀에 바로 이웃하는 두 픽셀들) 사이의 절대 차이들의 합을 구하여 산출된다.

상술한 바와 같이, 비디오 신호를 처리하는 상술한 시스템은 블록 기반 변환 코딩으로부터 야기된 블로킹 인조물들을 제거한다. 시스템의 수직 블록 경계 프로세서 및 수평 블록 경계 프로세서의 사용은 거의 동시적이고 효과적인 각 비디오 프레임의 수직 및 수평 블록 경계 처리를 가능하게 한다. 이것은 또한 많은 용량의 비디오 프레임들에 대한 처리를 신속히 수행함으로써, 본 발명이 실시간 비디오 처리 어플리케이션에도 적합하게 만든다. 블로킹 인조물을 제거하는 상술한 블로킹 해제 방법 및 시스템은 이미지들을 흐리지 않고 많은 량의 계산 시간이나 메모리를 필요로 함이 없이 이미지 품질을 향상시킨다.

상술한 본 발명에 의한 장치/시스템은 로직 회로, ASIC, 펌웨어 등과 같은 프로세서에 의한 실행을 위해 프로그램 명령어로서 구현될 수 있다는 것이, 당업자들에게는 자명할 것이다. 따라서 본 발명은 여기 설명된 실시예들에 국한되지 않는다.

본 발명은 그에 대한 어떤 바람직한 사양들을 참조해 상당히 상세하게 기술되었으나, 다른 사양들 역시 가능하다. 따라서 첨부된 이하의 청구항들의 개념 및 범주는 여기 포함된 바람직한 사양들의 설명에 국한되어서는 안될 것이다.

본 발명에 의하면, 비디오 신호를 처리하는 상술한 시스템은 블록 기반 변환 코딩으로부터 야기된 블로킹 인조물들을 제거하며, 수직 블록 경계 프로세서 및 수평 블록 경계 프로세서를 사용하여 거의 동시적이고 효과적인 각 비디오 프레임의 수직 및 수평 블록 경계 처리를 가능하게 함으로써, 많은 용량의 비디오 프레임들에 대한 처리를 신속히 수행함으로써, 실시간 비디오 처리 어플리케이션에도 적합하고, 이미지들을 흐리지 않고 많은 량의 계산 시간이나 메모리를 필요로 함이 없이 이미지 품질을 향상시킨다.

Claims

이미지를 나타내는 픽셀들의 한 프레임에서 블록 기반 변환 코딩에서 야기되는 블로킹 인조물(blocking artifacts)을 제거하기 위한 비디오 이미지 신호 처리 방법에 있어서,

(a) 상기 프레임의 각 픽셀에 대해, 그 픽셀이 블록 기반 변환 코딩의 결과인 블록 경계에 근접한지를 판단하는 단계; 및

(b) 픽셀이 블록 경계에 근접하면, 픽셀 특성값을 변경해 블록 경계를 지나는 자연적 천이를 생성하여, 상기 블록 기반 변환 코딩으로부터 야기된 블로킹 인조물을 실질적으로 제거하는 단계를 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제1항에 있어서,

상기 (a) 단계 이전에, 비디오 이미지 프레임의 픽셀들을 나타내는 신호를 수신하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 처리 방법.
제1항에 있어서, 상기 (b) 단계는,

픽셀이 블록 경계에 근사하면, 그 픽셀에 대해 블록 경계를 지나는 최소 중심 변동 방향을 정하는 단계; 및

픽셀 특성값을 변경해 실질적으로 최소 중심 변동 방향을 따라 블록 경계를 지나는 자연 천이를 생성해, 상기 블록 기반 변환 코딩에 따른 블로킹 인조물을 제거하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제1항에 있어서, 상기 (b) 단계는,

픽셀이 블록 경계에 근접하면, 그 픽셀에 대해 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 단계; 및

실질적으로 최소 중심 변동 방향을 따라 이웃하는 픽셀들의 특성값을 이용해 상기 픽셀의 특성값을 변경하는 단계를 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제4항에 있어서, 현 픽셀에 대해 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 단계는,

수평 방향이 현 픽셀에 대한 블록 경계를 지나면, 실질적으로 현 픽셀 중심의 수평 라인을 따라 놓인 이웃하는 픽셀들을 이용해 블록 경계를 지나는 수평 방향의 1 차원(1-D) 중심 변동을 결정하는 단계;

수직 방향이 현 픽셀에 대한 블록 경계를 지나면, 실질적으로 현 픽셀 중심의 수직 라인을 따라 놓인 이웃 픽셀들을 이용해, 블록 경계를 지나는 수직방향의1 차원 중심 변동을 결정하는 단계;

실질적으로 현 픽셀 중심의 두 대각선을 따라 놓인 이웃하는 픽셀들을 각각 이용해, 블록 경계를 지나는 두 대각선 방향의 현 픽셀에 대한 1 차원 중심 변동을 결정하는 단계;

블록 경계를 지나는 방향들에 상응하는 1 차원 중심 변동들 중 최소의 1 차원 중심변동을 가진 방향을 찾음으로써 최소 중심 변동 방향을 선택하는 단계; 및

선택된 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값의 함수로 현 픽셀 특성값을 변경하여, 블록 경계를 지나는 자연적 천이를 생성함으로써 상기 블록 기반 변환 코딩에서 야기된 블로킹 인조물을 실질적으로 제거하는 단계를 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제5항에 있어서,

m과 m이 프레임 내 현 픽셀에 대한 행과 열 표현일 때, 현 픽셀의 특성값은으로 표현되고,

수평 1 차원 중심 변동는,의 관계에 따르고,

수직 1 차원 중심 변동은,의 관계에 따르고,

대각선 1 차원 중심 변동는,의 관계에 따르고,

다른 대각선 1 차원 중심 변동은,의 관계에 따름을 특징으로 하는 비디오 이미지 신호 처리 방법.
제6항에 있어서,

(a) 단계 전에, 비디오 이미지 프레임 내 픽셀들을 나타내는 신호를 수신하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
이미지를 나타내는 픽셀들의 프레임 안에서 블록 기반 변환 코딩으로 야기된 블로킹 인조물을 제거하기 위한 비디오 이미지 신호 처리 방법에 있어서,

(a) 프레임 내 각 픽셀에 대해, 해당 픽셀이 블록 기반 변환 코딩에서 발생된 수직 블록 경계에 근접한가를 판단하는 단계;

(b) 픽셀이 수직 블록 경계에 근접하면, 그 픽셀 특성값을 변경하여 수직 블록 경계를 지나는 자연적 천이를 생성함으로써 실질적으로 상기 블록 기반 변환 코딩에서 야기된 수직 블로킹 인조물을 제거하는 단계;

(c) 프레임 내 각 픽셀에 대해, 해당 픽셀이 블록 기반 변환 코딩에서 발생된 수평 블록 경계에 근접한가를 판단하는 단계; 및

(d) 픽셀이 수평 블록 경계에 근접하면, 그 픽셀 특성값을 변경하여 수평 블록 경계를 지나는 자연적 천이를 생성함으로써 실질적으로 상기 블록 기반 변환 코딩에서 야기된 수평 블로킹 인조물을 제거하는 단계를 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제8항에 있어서,

상기 (a) 단계 이전에, 비디오 이미지 프레임의 픽셀들을 나타내는 신호를 수신하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제8항에 있어서, 상기 (b) 단계는,

픽셀이 수직 블록 경계에 근접하면, 그 픽셀에 대해 수직 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 단계; 및

픽셀 특성값을 변경해 실질적으로 최소 중심 변동 방향을 따라 수직 블록 경계를 지나는 자연 천이를 생성해, 상기 블록 기반 변환 코딩에 따른 블로킹 인조물을 제거하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제8항에 있어서, 상기 (b) 단계는,

픽셀이 수직 블록 경계에 근사하면, 그 픽셀에 대해 수직 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 단계; 및

실질적으로 최소 중심 변동 방향을 따라 이웃하는 픽셀들의 특성값을 이용해 상기 픽셀의 특성값을 변경하여, 상기 블록 기반 변환 코딩으로부터 야기된 수직 블로킹 인조물을 실질적으로 제거하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제11항에 있어서, 상기 현 픽셀에 대한 수직 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 단계는,

실질적으로 현 픽셀을 중심으로 수평선을 따라 놓인 이웃하는 픽셀들을 이용해, 수직 블록 경계를 지나는 수평 방향의 1 차원(1-D) 중심 변동을 결정하는 단계;

실질적으로 현 픽셀을 중심으로 두 대각선을 따라 놓인 이웃하는 픽셀들을 이용해, 수직 블록 경계를 지나는 두 대각선 방향의 1 차원 중심 변동들을 각각 결정하는 단계;

수평 및 두 대각선의 1 차원 중심 변동들 가운데 최소의 1 차원 중심 변동을 갖는 방향을 찾음으로써 최소 중심 변동 방향을 선택하는 단계; 및

선택된 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값의 함수로 현 픽셀 특성값을 변경하여, 수직 블록 경계를 지나는 자연적 천이를 생성함으로써 상기 블록 기반 변환 코딩에서 야기된 수직 블로킹 인조물을 실질적으로 제거하는 단계를 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제12항에 있어서,

m과 m이 프레임 내 현 픽셀에 대한 행과 열 표현일 때, 현 픽셀의 특성값은으로 표현되고,

수평 1 차원 중심 변동는,의 관계에 따르고,

대각선 1 차원 중심 변동는,의 관계에 따르고,

다른 대각선 1 차원 중심 변동은,의 관계에 따름을 특징으로 하는 비디오 이미지 신호 처리 방법.
제13항에 있어서,

(a) 단계 전에, 비디오 이미지 프레임내 픽셀들을 나타내는 신호를 수신하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 처리 방법.
제8항에 있어서, 상기 (d) 단계는,

픽셀이 수평 블록 경계에 근사하면, 그 픽셀에 대해 수평 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 단계; 및

실질적으로 최소 중심 변동 방향을 따라 이웃하는 픽셀들의 특성값을 이용해 상기 픽셀의 특성값을 변경하여, 상기 블록 기반 변환 코딩으로부터 야기된 수평 블로킹 인조물을 실질적으로 제거하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
제15항에 있어서, 상기 현 픽셀에 대한 수평 블록 경계를 지나는 최소 중심변동 방향을 결정하는 단계는,

실질적으로 현 픽셀을 중심으로 수직선을 따라 놓인 이웃하는 픽셀들을 이용해, 수평 블록 경계를 지나는 수직 방향의 1 차원(1-D) 중심 변동을 결정하는 단계;

실질적으로 현 픽셀을 중심으로 두 대각선을 따라 놓인 이웃하는 픽셀들을 이용해, 수평 블록 경계를 지나는 두 대각선 방향의 1 차원 중심 변동들을 각각 결정하는 단계;

수직 및 두 대각선의 1 차원 중심 변동들 가운데 최소의 1 차원 중심 변동을 갖는 방향을 찾음으로써 최소 중심 변동 방향을 선택하는 단계; 및

선택된 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값의 함수로 현 픽셀 특성값을 변경하여, 수평 블록 경계를 지나는 자연적 천이를 생성함으로써 상기 블록 기반 변환 코딩에서 야기된 수평 블로킹 인조물을 실질적으로 제거하는 단계를 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법
제15항에 있어서,

m과 m이 프레임 내 현 픽셀에 대한 행과 열 표현일 때, 현 픽셀의 특성값은으로 표현되고,

수직 1 차원 중심 변동은,의 관계에 따르고,

대각선 1 차원 중심 변동는,의 관계에 따르고,

다른 대각선 1 차원 중심 변동은,의 관계에 따름을 특징으로 하는 비디오 이미지 신호 처리 방법.
제17항에 있어서, 상기 (a) 단계 전에, 비디오 이미지 프레임내 픽셀들을 나타내는 신호를 수신하는 단계를 더 포함함을 특징으로 하는 비디오 이미지 신호 처리 방법.
이미지를 표현하는 픽셀들의 프레임에서의 블록 기반 변환 코딩으로 발생된 블로킹 인조물을 제거하기 위한 비디오 이미지 신호 처리 장치에 있어서,

프레임 내의 각 픽셀에 대해, 그 픽셀이 블록 기반 변환 코딩으로부터 발생된 수직 블록 경계에 근사한지를 결정하고, 픽셀이 수직 블록 경계에 근사하면 픽셀 특성값을 변경해 수직 블록 경계를 지나는 자연적 천이를 생성함으로써 상기 블록 기반 변환 코딩으로부터 발생된 수직 블로킹 인조물을 실질적으로 제거하기 위한 수직 블록 경계 프로세서; 및

프레임 내의 각 픽셀에 대해, 그 픽셀이 블록 기반 변환 코딩으로부터 발생된 수평 블록 경계에 근사한지를 결정하고, 픽셀이 수평 블록 경계에 근사하면 픽셀 특성값을 변경해 수평 블록 경계를 지나는 자연적 천이를 생성함으로써 상기 블록 기반 변환 코딩으로부터 발생된 수평 블로킹 인조물을 제거하는 수평 블록 경계 프로세서를 포함함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제19항에 있어서, 상기 수직 블록 경계 프로세서는,

픽셀이 수직 블록 경계에 근사한지를 결정하는 수직 경계 픽셀 지정기;

상기 픽셀에 대해 수직 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 최소 변동 방향 검출기; 및

실질적으로 최소 중심변동 방향을 따라 놓이는 이웃하는 픽셀들의 특성값을 이용해 수직 경계에 근사한 픽셀의 특성값을 변경하는 픽셀 갱신기를 포함함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제20항에 있어서,

상기 최소 변동 방향 검출기는, (i) 실제적으로 현 픽셀을 중심으로 수평선을 따라 놓이는 이웃하는 픽셀들을 이용해, 수직 블록 경계를 지나는 수평 방향의 1 차원 중심 변동을 결정하고, (ii) 실제적으로 현 픽셀을 중심으로 두 대각선을 따라 놓인 이웃하는 픽셀들을 각각 이용해, 수직 블록 경계를 지나는 두 대각선 방향의 1 차원 중심 변동을 각각 결정하고, (iii) 수평 및 두 대각선의 1 차원 중심 변동들 가운데 최소 1 차원 중심 변동을 가진 방향을 찾음으로써 최소 중심 변동 방향을 선택하고;

상기 픽셀 갱신기는 선택된 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값의 함수로서 현 픽셀의 특성값을 변경하여 수직 블록 경계를 지나는 자연스러운 천이를 생성함으로써, 상기 블록 기반의 변환 코딩으로부터 발생된 블로킹 인조물을 실제적으로 제거함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제21항에 있어서,

m과 m이 프레임 내 현 픽셀에 대한 행과 열 표현일 때, 현 픽셀의 특성값은으로 표현되고,

수평 1 차원 중심 변동는,의 관계에 따르고,

대각선 1 차원 중심 변동는,의 관계에 따르고,

다른 대각선 1 차원 중심 변동은,의 관계에 따름을 특징으로 하는 비디오 이미지 신호 처리 장치.
제19항에 있어서, 상기 수평 블록 경계 프로세서는,

픽셀들로 된 한 라인이 수평 블록 경계에 근사한지를 결정하는 수평 경계 픽셀 지정기;

수평 블록 경계에 근접한 픽셀에 대해 수평 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 최소 변동 방향 검출기; 및

실질적으로 최소 중심변동 방향을 따라 놓이는 이웃하는 픽셀들의 특성값을 이용해 수평 경계에 근접한 픽셀의 특성값을 변경하는 픽셀 갱신기를 포함함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제23항에 있어서,

상기 최소 변동 방향 검출기는, (i) 실제적으로 현 픽셀을 중심으로 수직선을 따라 놓이는 이웃하는 픽셀들을 이용해, 수평 블록 경계를 지나는 수직 방향의 1 차원 중심 변동을 결정하고, (ii) 실제적으로 현 픽셀을 중심으로 두 대각선을 따라 놓인 이웃하는 픽셀들을 각각 이용해, 수평 블록 경계를 지나는 두 대각선 방향의 1 차원 중심 변동을 각각 결정하고, (iii) 수직 및 두 대각선의 1 차원 중심 변동들 가운데 최소 1 차원 중심 변동을 가진 방향을 찾음으로써 최소 중심 변동 방향을 선택하고;

상기 픽셀 갱신기는 선택된 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값의 함수로서 현 픽셀의 특성값을 변경하여 수평 블록 경계를 지나는 자연스러운 천이를 생성함으로써 상기 블록 기반의 변환 코딩으로부터 발생된 수평 블로킹 인조물을 실제적으로 제거함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제24항에 있어서,

m과 m이 프레임 내 현 픽셀에 대한 행과 열 표현일 때, 현 픽셀의 특성값은으로 표현되고,

수직 1 차원 중심 변동은,의 관계에 따르고,

대각선 1 차원 중심 변동는,의 관계에 따르고,

다른 대각선 1 차원 중심 변동은,의 관계에 따름을 특징으로 하는 비디오 이미지 신호 처리 장치.
제19항에 있어서, 상기 비디오 이미지 신호 처리 장치는 시청각(audio-visual) 시스템의 구성 요소임을 특징으로 하는 비디오 이미지 신호 처리 장치.
이미지를 표현하는 픽셀들의 프레임에서의 블록 기반 변환 코딩으로 발생된 블로킹 인조물을 제거하기 위한 비디오 이미지 신호 처리 장치에 있어서,

래스터 주사 순서로 비디오 이미지 프레임의 픽셀들을 픽셀 라인들로 표현하는 비디오 이미지 신호를 수신하고, 주사 라인내 각 픽셀에 대해, 그 픽셀이 블록 기반 변환 코딩으로부터 발생된 수직 블록 경계에 근사한지를 결정하고, 픽셀이 수직 블록 경계에 근사하면 픽셀 특성값을 변경해 수직 블록 경계를 지나는 자연적 천이를 생성함으로써 상기 블록 기반 변환 코딩으로부터 발생된 수직 블로킹 인조물을 실질적으로 제거하기 위한 수직 블록 경계 프로세서; 및

수직 블록 경계 프로세서로부터 픽셀들로 된 주사 라인을 수신하고, 주사 라인이 블록 기반 변환 코딩으로부터 발생된 수평 블록 경계에 있는지를 결정하고 수평 블록 경계에 있으면, 픽셀 특성값을 변경해 수평 블록 경계를 지나는 자연적 천이를 생성함으로써 상기 블록 기반 변환 코딩으로부터 발생된 수평 블로킹 인조물을 제거하는 수평 블록 경계 프로세서를 포함함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제27항에 있어서, 상기 수직 블록 경계 프로세서는,

한 픽셀이 수직 블록 경계에 근사한지를 판단하는 수직 경계 픽셀 지정기;

상기 픽셀에 대해 수직 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 최소 변동 방향 검출기; 및

실질적으로 최소 중심 변동 방향을 따라 이웃하는 픽셀들의 특성값들을 이용해 수직 경계에 근사한 픽셀의 특성값을 변경하여 수직 블록 경계를 지나는 자연적 천이를 생성함으로써, 상기 블록 기반 변환 코딩으로부터 발생된 블로킹 인조물을 실질적으로 제거하는 픽셀 갱신기를 포함함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제28항에 있어서,

최소 변동 방향 검출기는 (i) 실질적으로 현 픽셀을 중심으로 수평선을 따라 놓인 이웃 픽셀들을 이용해 수직 블록 경계를 지나는 수평 방향의 1 차원 중심 변동을 결정하고, (ii) 실질적으로 현 픽셀을 중심으로 두 대각선을 따라 놓인 이웃하는 픽셀들을 이용해 수직 블록 경계를 지나는 두 대각선 방향의 1 차원 중심 변동들을 각각 결정하고, (iii) 상기 수평 및 두 대각선의 1 차원 중심 변동 가운데 최소 1 차원 변동을 가지는 방향을 찾음으로써 최소 중심 변동 방향을 선택하고,

상기 픽셀 갱신기는 상기 선택된 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값의 함수로 현 픽셀 특성값을 변경함으로써, 수직 블록 경계를 지나는 자연적 천이를 생성해 상기 블록 기반 변환 코딩으로부터 발생된 수직 블로킹 인조물을 실질적으로 제거함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제29항에 있어서,

m과 m이 프레임 내 현 픽셀에 대한 행과 열 표현일 때, 현 픽셀의 특성값은으로 표현되고,

수평 1 차원 중심 변동는,의 관계에 따르고,

대각선 1 차원 중심 변동는,의 관계에 따르고,

다른 대각선 1 차원 중심 변동은,의 관계에 따름을 특징으로 하는 비디오 이미지 신호 처리 장치.
제30항에 있어서, 상기 비디오 이미지 신호를 처리하는 장치는 시청각 시스템의 한 구성요소임을 특징으로 하는 비디오 이미지 신호 처리 장치.
제28항에 있어서, 상기 수평 블록 경계 프로세서는,

한 스캔 라인이 수평 블록 경계에 근사한지를 판단하는 수평 경계 라인 지정기;

수평 블록 경계에 근접한 한 스캔 라인 내 픽셀에 대해 수평 블록 경계를 지나는 최소 중심 변동 방향을 결정하는 최소 변동 방향 검출기;

실질적으로 상기 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값을 이용해 수평 블록 경계에 근접한 픽셀의 특성값을 변경하여 수평 블록 경계를 지나는 자연적 천이를 생성함으로써, 블록 기반 변환 코딩으로부터 발생된 수평 블로킹 인조물을 실질적으로 제거하는 픽셀 갱신기를 포함함을 특징으로하는 비디오 이미지 신호 처리 장치.
제32항에 있어서,

최소 변동 방향 검출기는 (i) 실질적으로 현 픽셀을 중심으로 수직선을 따라 놓인 이웃 픽셀들을 이용해 수평 블록 경계를 지나는 수직 방향의 1 차원 중심 변동을 결정하고, (ii) 실질적으로 현 픽셀을 중심으로 두 대각선을 따라 놓인 이웃하는 픽셀들을 이용해 수평 블록 경계를 지나는 두 대각선 방향의 1 차원 중심 변동들을 각각 결정하고, (iii) 상기 수직 및 두 대각선의 1 차원 중심 변동 가운데최소 1 차원 변동을 가지는 방향을 찾음으로써 최소 중심 변동 방향을 선택하고,

상기 픽셀 갱신기는 상기 선택된 최소 중심 변동 방향을 따라 놓인 이웃하는 픽셀들의 특성값의 함수로 현 픽셀 특성값을 변경함으로써, 수평 블록 경계를 지나는 자연적 천이를 생성해 상기 블록 기반 변환 코딩으로부터 발생된 수평 블로킹 인조물을 실질적으로 제거함을 특징으로 하는 비디오 이미지 신호 처리 장치.
제33항에 있어서,

m과 m이 프레임 내 현 픽셀에 대한 행과 열 표현일 때, 현 픽셀의 특성값은으로 표현되고,

수직 1 차원 중심 변동은,의 관계에 따르고,

대각선 1 차원 중심 변동는,의 관계에 따르고,

다른 대각선 1 차원 중심 변동은,의 관계에 따름을 특징으로 하는 비디오 이미지 신호 처리 장치.