KR100403797B1 - 동화상디스플레이시스템에있어서수정된오차확산방법및장치 - Google Patents

Abstract

본 발명은 동화상 디스플레이시스템에 있어서 수정된 오차확산방법 및 장치에 관한 것으로서, 복원하고자 하는 영상의 프레임을 영상신호의 압축부호시 사용된 움직임 정보의 유무와 기준 프레임의 간격 설정정보에 따라 분류하는 프레임 클래스 분류부; 움직임 정보의 크기와 매크로블럭의 부호화에러의 크기 및 이전 프레임에서 처리되고 있는 매크로블럭으로 전파된 에러의 유무에 따라 기준프레임과 종속프레임을 결정하고, 현재 매크로블럭에 대해 오차확산처리 적용여부를 결정하는 매크로블럭 움직임정보 검사부; 움직임정보 검사부의 결정에 따라서 각 프레임의 영상정보에 대하여 매크로블럭 단위로 오차확산처리를 적용하는 오차확산부; 오차확산 처리결과 각각의 매크로블럭의 주위 블럭으로부터 전파된 오차를 저장하는 오차저장부; 및 오차확산처리를 적용한 프레임 정보를 저장하기 위한 오차확산 이미지 저장부로 구성된다. 따라서 압축 부호화된 영상의 복원시 본 발명에 의한 수정된 오차확산법을 적용할 경우 화질은 원래와 같이 유지하면서 하드웨어의 계산량을 줄일 수 있으므로 실시간처리를 가능하게 한다.

Description

동화상 디스플레이시스템에 있어서 수정된 오차확산방법 및 장치

본 발명은 오차확산방법에 관한 것으로서, 특히 동화상 디스플레이시스템에 있어서 수정된 오차확산방법 및 장치에 관한 것이다.

동화상의 디지탈 영상신호는 정보량이 많기 때문에 제한된 용량의 전송로를 통해 전송/저장하기 위해서는 디지탈 영상신호를 압축/부호화하여야 한다. 디지탈 화상압축은 공간적인 중복성을 제거하기 위한 미분적 부호화, 시간적 중복성을 줄이기 위한 움직임 평가 및 보상, 영상의 통계치와 부합되는 이산여현변환(이하 DCT라 칭함), 가변길이부호화(이하 VLC라 칭함) 그리고 보간법에 의한 영상처리 등 여러기법등을 이용하여 이루어진다.

최근 이와 같은 동영상의 압축 부호화방식은 MPEG을 증심으로 이루어지고 있으며, 이 알고리즘은 프레임내 부호화와 프레임간 부호화를 이용하여 구현한다. MPEG 알고리즘은 시간적 중복성을 줄이기 위해 움직임을 보상하고, 공간적 중복성을 줄이기 위해 DCT에 기초한 압축 알고리즘을 사용한다. 이와 같은 압축기술은 650 MB인 CD-ROM이나 레이저 디스크(이하 LD라 칭함)에 영화와 같은 대용량의 화상정보를 담을 수 있게 하였으며, LD나 CD를 이용한 영상의 실용화를 가능케 했다.

이와 같이 압축된 영상을 복원하여 동영상을 1600만 가지 이상의 색을 표시하는 디스플레이장치로 재현할 때는 자연스러운 이미지와 색의 재현이 가능하지만 TFT-LCD나 STN-LCD, 강유전성 LDC 등 LCD 장치들을 비롯한 많은 디스플레이장치들은 색재현 재료의 물리적 특성 및 구동회로상의 문제점등으로 보통 512가지 이내의 색재현이 가능할 뿐이다. 따라서 자연색의 이미지를 제한된 몇개의 색을 이용하여 표시하는 방법으로 인간의 착시현상을 이용하는 오차확산법이 많이 이용되어 왔다. 이와 같이 한정된 색만이 재현가능한 칼라출력장치에 오차확산법을 적용하여 동화상을 디스플레이할 때 문제가 되는 것은 실시간 처리 문제이다. 표준적인 오차확산법의 필터(by Floyd & Steinberg:1976)을 적용할 때 4개의 가중치에 의해 4개의 주변 화소로 오차를 확산시키는데 많은 계산량을 필요하게 된다. 따라서 이와 같은 방법으로는 하드웨어를 구현한다 해도 동화상을 위한 실시간 처리가 어려운 문제점이 있었다. 이를 해결하기 위한 방법으로서, 오차확산필터의 크기를 줄이는 방법이 연구되고 있으나 오차확산 적용결과 화면상에 저주파 특성의 무늬가 나타나 화질열화를 초래하는 원인이 되었다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 CD나 LD에 압축 저장된 디지탈 동화상을 복원하여 디스플레이할 때, 이미지를 16×16 화소로 구성된 매크로블럭으로 나누어 블럭 단위의 오차확산법을 적용하는 동시에 화상압축시 사용된 움직임정보와 에러정보를 이용하여 화질은 원래의 수준을 유지하면서 계산량을 최소화하기 위한 수정된 오차확산방법을 제공하는데 있다.

본 발명의 다른 목적은 상기 수정된 오차확산방법을 실현하는데 가장 적합한 장치를 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 의한 수정된 오차확산방법은 움직임 정보를 이용하여 압축부호화된 디지탈 영상신호에 대하여 제한된 색만이 재현가능한 디스플레이시스템에서 오차확산법을 적용하여 이미지를 제현함에 있어서,

상기 압축부호화된 영상신호에 대하여 상기 움직임 정보의 유무와 압축부호화시 발생된 매크로블럭 단위의 에러를 고려하여 매크로블럭에 대한 오차확산처리 적용여부를 결정하는 단계; 및

상기 오차확산처리 적용여부 결정단계에서 오차확산처리를 적용하는 것으로 결정된 매크로블럭에 대해서만 오차확산처리를 적용하는 오차확산처리 적용단계로 이루어지는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위하여 동화상 디스플레이시스템에 있어서 본 발명에 의한 수정된 오차확산장치는

복원하고자 하는 영상의 프레임을 영상신호의 압축부호시 사용된 움직임 정보의 유무와 기준 프레임의 간격 설정정보에 따라 분류하는 프레임 클래스 분류부;

상기 움직임 정보의 크기와 매크로블럭의 부호화에러의 크기 및 이전 프레임에서 처리되고 있는 매크로블럭으로 전파된 에러의 유무에 따라 기준프레임과 종속프레임을 결정하고, 현재 매크로블럭에 대해 오차확산처리 적용여부를 결정하는 매크로블럭 움직임정보 검사부;

상기 매크로블럭 움직임정보 검사부의 결정에 따라서 각 프레임의 영상정보에 대하여 매크로블럭 단위로 오차확산처리를 적용하는 오차확산부;

상기 오차확산부에서의 오차확산 처리결과 각각의 매크로블럭의 주위 블럭으로부터 전파된 오차를 저장하는 오차저장부; 및

상기 오차확산부에서 오차확산처리를 적용한 프레임 정보를 저장하기 위한 오차확산 이미지 저장부를 구비하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명하기로 한다.

제1도는 동화상 디스플레이시스템에 있어서, 본 발명에 의한 수정된 오차확산회로를 나타낸 블럭도로서, 움직임 정보의 유무와 기준 프레임의 간격 설정정보에 따라 프레임을 분류하는 프레임 클래스 분류부(10)와, 영상신호의 압축부호화시 사용된 움직임벡터의 크기와 매크로블럭의 부호화 에러의 크기 및 이전 프레임에서 처리되고 있는 매크로블럭으로 전파된 에러의 유무에 따라 현재 매크로블럭에 대해 오차확산처리를 할것인가의 여부를 결정하는 매크로블럭 움직임정보 검사부(20)와,블럭단위로 영상신호에 오차확산법을 적용하는 오차확산부(30)와, 각각의 블럭의 주위 블럭으로부터 전파된 오차를 저장하는 오차저장부(40)와, 오차확산법을 적용한 프레임 정보를 저장하기 위한 오차확산 이미지 저장부(50)로 구성된다.

그러면 제1도의 구성에 의거한 본 발명의 동작을 제2도 내지 제6도를 참조하여 설명하면 다음과 같다.

우선 제1도에 있어서, 프레임 클래스 분류부(10)에서는 프레임내 움직임 정보의 존재 여부에 따라서 보간법 등을 적용하여 프레임을 3개의 클래스 중 한가지로 분류한다. MPEG 알고리즘에서 Ⅰ 프레임은 움직임정보가 없는 프레임, B 프레임과 P 프레임은 움직임정보가 있는 프레임이다. 다음 표1은 프레임 클래스 분류예를 나타낸 것이다.

(표 1)

상기 표1에서와 같이 MPEG 부호화시 움직임정보가 없는 I 프레임이 기준프레임이 되며, 움직임정보가 있는 P 프레임은 프레임내의 모든 영상정보에 대하여 오차확산법을 적용하여 다음에 계속되는 프레임의 기준 프레임이 될 수 있다. P 프레임이 기준프레임이 되는 경우는 사용자의 선택에 따라 결정할 수 있으나 여기서는 P 프레임 이후 3번째 프레임을 기준프레임으로 정하면 된다. B 프레임의 경우에는 항상 종속프레임이 된다.

매크로블럭 움직임정보 검사부(20)에서는 매크로블럭의 움직임벡터가종방향(x축) 또는 횡방향(y축)으로 크기가 존재하는지를 검사하여 움직임정보의 유무를 검사한다. 움직임정보가 있는 경우 영상정보에서 해당 매크로블럭의 블럭번호, 프레임번호 등의 정보를 오차확산부(30)로 전송한다. 반면, 움직임정보가 없는 경우 영상신호 압축시 매크로블럭의 오차를 검사하여 에러가 설정된 문턱값보다 큰 경우에는 움직임정보가 있는 경우가 동일하게 처리하며, 이외의 경우 오차확산부(30)에 정보를 주어 오차확산 이미지 저장부(50)에 저장된 해당 블럭의 데이타를 취하도록 한다.

오차확산부(30)에서는 매크로블럭 움직임정보 검사부(20)에서 인가되는 신호를 받아 수행명령이 있으면 영상정보에 대하여 오차확산법을 적용한다. 이때 적용되는 오차확산법에는 다음과 같은 종류가 있다.

1) 프레임별 오차확산법

① 기준프레임 ; 움직임정보 검사부(20)로부터의 정보를 받아 기준프레임임을 판단하며, 기준프레임인 경우 프레임내의 모든 화소에 대해 블럭별 오차확산법을 적용하고, 기준프레임내의 블럭과 블럭사이의 오차전파량을 제3A도에서와 같이 오차저장부(40)에 저장한다. 블럭에 전파된 오차를 고려하여 블럭별 오차확산법을 적용한다.

② 종속프레임 ; 종속프레임은 기준프레임 이외의 프레임으로서, 움직임정보를 포함하고 있다. 종속프레임에서는 매크로블럭 단위의 움직임벡터와 압축 부호화시의 에러정보를 추출하여 오차확산법을 적용할 것인가의 여부를 결정하게 된다. 종속프레임에서 오차확산법을 적용하는 매크로블럭은 다음 세가지 중의 하나인 경우이다.

첫째, 다음 (1)식과 같이 움직임벡터가 제로(0)보다 큰 경우이고,

｜｜M(X,Y)｜｜> e, 여기서 e=0, M(X,Y)는 움직임벡터 ... (1)

둘째, 움직임벡터가 제로(0) 벡터이고, 영상신호 압축시 매크로블럭의 오차를 검사하여 에러가 설정된 문턱값보다 큰 경우이고,

셋째, 이전 프레임에서 주변의 매크로블럭에 오차확산법 적용결과로 블럭간의 오차가 생성되고, 생성된 오차가 현재 매크로블럭에 전파되어 현재 매크로블럭의 오차가 업데이트된 경우이다.

③ 기준프레임과 종속프레임간의 오차확산방법 ; 기준프레임과 다음 종속프레임 간에는 오차의 전달이 발생하지 않으며, 바로 이전 종속프레임에서 오차가 업데이트된 매크로블럭들의 오차와 기준프레임의 영상데이타를 합한 영상에 오차확산법을 적용한다.

기준프레임에 대하여 오차확산법 적용시에는 제3A도에서와 같이 매크로블럭 단위로 적용하며, 매크로블럭의 오차확산법 적용결과, 주변 매크로블럭으로 전파된 오차량만을 오차저장부(40)에 기록해 둔다. 이때 오차저장부(40)에 기록된 기준프레임의 오차확산법 적용시 전파된 매크로블럭 단위의 오차는 종속프레임의 오차확산시 참조된다.

④ 종속프레임의 오차확산방법 ; 종속프레임에 대하여 오차확산법 적용시에는 ②번 항에서 설명한 세가지 경우에 해당하는 매크로블럭만을 오차확산시키며, 오차확산법을 적용하지 않은 매크로블럭의 오차확산영상은 오차확산 이미지저장부(50)의 것과 동일한 것으로 취한다. 이 결과, 많은 매크로블럭에 대해 오차확산을 적용하지 않고 오차확산된 이미지를 얻을 수 있으며, 계산량을 혁신적으로 줄여서 실시간 처리가 가능하게 된다.

매크로블럭에 대하여 오차확산법 적용시에는 영상정보로부터 해당 매크로블럭의 영상데이타와 오차저장부(40)의 매크로블럭 오차를 더한 영상에 오차확산법을 적용한다. 제3B도에서와 같이 오차확산을 적용한 결과, 해당 매크로블럭 우측의 매크로블럭과 하단의 매크로블럭에 오차를 발생시키며 오차가 발생된 매크로블럭은 오차저장부(40)의 해당오차를 새로 발생된 오차로 대치시킨 후, 다음 프레임에서 오차확산을 수행한다.

한편, 종속프레임 다음의 종속프레임에 대한 오차확산은 위의 경우와 동일하나 이전 종속프레임에서 오차가 업데이트된 매크로블럭에 대하여 추가로 오차확산을 적용하면 된다.

2) 프레임내의 오차확산법

① 오차확산법 ; 제2도에서와 같이 영상의 임의의 위(n)에서의 밀도(intensity)값을 J[n]이라고 하고, 문턱값 처리 결과 출력가능한 밀도값 중에서 입력값과 가장 가까운 거리에 있는 밀도값(I[n])을 고려하면 오차는 다음 (2)식과 같이 나타낼 수 있다.

오차확산법에서 오차 e[n]은 제5도에 도시된 바와 같은 경계용 오차확산필터의 가중치와 곱해져 주변화소로 확산되며, 결과적으로 현재 위치에서 발생한 오차를 주변 화소에서 보정하고, 보정후의 이미지가 고주파수 특성을 갖도록 함으로써 착시현상에 의해 인가의 눈에 원화상과 유사하게 관찰되도록 하는 성질을 갖는다. 칼라 오차확산법에서는 R, G, B 세개의 채널을 독립적으로 고려하는 경우 위의 흑백의 경우와 동일하다.

② 매크로블럭내 오차확산필터의 적용방법 : 매크로블럭은 MPEG의 경우 16×16의 화소로 구성되어 있으므로 제6도에서와 같이 첫번째 열의 경우 제4도의 오차확산필터를 사용하게 되면 3/16의 가중치의 곱으로 좌하단의 화소로 전달되는 에러는 전달될 곳이 없다. 그 이유는 매크로블럭 단위의 오차확산법이 제3A도에서와 같이 좌측에서 우측으로, 위에서 아래 방향으로 라스터 스캔(raster scan)과 같이 수행되므로 이미 좌측 블럭은 오차확산처리가 완료된 상태이기 때문이다. 이와 같은 오차미확산 문제는 무시할 경우 매크로블럭 단위의 띠 모양이 이미지 상에 나타나게 된다. 이를 해결하기 위한 방법으로 제6도의 검은 부분인 첫번째 열에서는 제5도의 경계용 오차확산필터를 적용함으로써 해결가능하다.

상술한 바와 같이 동화상 디스플레이시스템에 있어서 본 발명에 의한 수정된 오차확산방법 및 장치에서는 압축 부호화된 동영상을 복원하여 한정된 색으로 오차확산법을 이용하여 디스플레이할 경우, 부호화시 이용된 매크로블럭 단위의 움직임정보와 부호화시의 에러정보를 이용하여 계산량을 혁신적으로 줄일 수 있다. 따라서, 압축 부호화된 영상의 복원시 본 발명에 의한 수정된 오차확산법을 적용할 경우 화질은 원래와 같이 유지하면서 하드웨어의 계산량을 줄일 수 있으므로 실시간처리를 가능하게 한다.

제1도는 동화상 디스플레이시스템에 있어서 본 발명에 의한 수정된 오차확산장치를 나타낸 블럭도.

제2도는 제1도에 있어서 오차확산부의 오차확산 알고리즘을 설명하기 위한 도면.

제3A,3B도는 프레임별 오차확산예.

제4도는 표준 오차확산필터예.

제5도는 경계용 오차확산필터예.

제6도는 경계용 오차확산 적용영역예.

Claims (3)

1. 움직임 정보를 이용하여 압축부호화된 디지털 영상신호에 대하여 제한된 색만이 재현가능한 디스플레이시스템에서 오차확산법을 적용하여 이미지를 재현함에 있어서,

   상기 압축부호화된 영상신호에 대하여 상기 움직임 정보의 유무와 압축부호화시 발생된 매크로블럭 단위의 에러를 고려하여 매크로블럭에 대한 오차확산처리 적용여부를 결정하는 단계; 및

   상기 오차확산처리 적용여부 결정단계에서 오차확산처리를 적용하는 것으로 결정된 매크로블럭에 대해서 오차확산처리를 적용하는 단계로 이루어지는 것을 특징으로 하는 동화상 디스플레이시스템에 있어서 수정된 오차확산방법.
2. 복원하고자 하는 영상의 프레임을 영상신호의 압축부호화시 사용된 움직임정보의 유무와 기준 프레임의 간격 설정정보에 따라 분류하는 프레임 클래스 분류부;

   상기 프레임 클래스 분류부에서 분류된 클래스 정보와 상기 움직임 정보의 크기와 매크로블럭의 부호화에러의 크기 및 이전 프레임에서 처리되고 있는 매크로블럭으로 전파된 에러의 유무에 따라서 기준프레임과 종속프레임을 결정하고, 현재 매크로블럭에 대해 오차확산처리 적용여부를 결정하는 매크로블럭 움직임정보 검사부;

   상기 매크로블럭 움직임정보 검사부의 결정에 따라서 각 프레임의 영상정보에 대하여 매크로블럭 단위로 오차확산처리를 적용하는 오차확산부;

   상기 오차확산부에서의 오차확산 처리결과 각각의 매크로블럭의 주위 블록으로부터 전파된 오차를 저장하는 오차저장부; 및

   상기 오차확산부에서 오차확산처리를 적용한 프레임정보를 저장하기 위한 오차확산 이미지 저장부를 구비하는 것을 특징으로 하는 동화상 디스플레이시스템에 있어서 수정된 오차확산장치.
3. 제2항에 있어서, 상기 오차확산부에서는 1 프레임의 영상을 매크로블럭 단위로 분할하고, 매크로블럭에 대하여 오차확산처리 적용결과 발생한 오차를 현재 프레임과 다음 프레임에서 나누어 보상함으로써 시간적 및 공간적 착시현상을 동시에 이용하는 것을 특징으로 하는 동화상 디스플레이시스템에 있어서 수정된 오차확산장치.