KR100591114B1

KR100591114B1 - 비디오 처리 방법 및 시스템

Info

Publication number: KR100591114B1
Application number: KR1020037004442A
Authority: KR
Inventors: 지앙홍
Original assignee: 인텔 코포레이션
Priority date: 2000-09-29
Filing date: 2001-09-26
Publication date: 2006-06-19
Also published as: CN1466853A; CN102186085B; KR20040018243A; WO2002030124A2; JP3990630B2; WO2002030124A3; EP1325637A2; CN1466853B; US7082221B1; TW583878B; AU2001294835A1; JP2004511186A; CN102186085A

Abstract

엔코딩 처리에 있어서, 비디오 데이터는 양자화된 기초 데이터와 강화 데이터의 비트스트림으로서 표시되고, 상기 비트스트림은 양자화된 기초 비디오 화상과 양자화되지 않은 원래의 입력 화상간의 차이를 포착한다. 통신 채널의 대역폭 제한 때문에, 모든 강화 데이터를 전송하는 것은 융통성이 없을 수 있다. 엔코딩 처리 중에, 강화 데이터는 대역폭 제한에 따라서 복수의 "층"으로 분할될 수 있다. 전송 후에 각 층들은 재합성되고 디코더에 의해 기초 데이터에 가산되어 시청가능한 비디오 시퀀스를 생성한다.

Description

비디오 처리 방법 및 시스템{VIDEO PROCESSING}

본 발명은 비디오 처리 기술에 관한 것이다.

제한 대역폭의 디지털 채널을 통한 통신을 위해, 가끔 아날로그 비디오 신호를 비트스트림으로 엔코딩하고 그 비트스트림을 압축한다. 압축 해제 및 아날로그 신호로의 역변환은 수신기측에서 행하여진다.

화질 손상을 부분적으로 보상하는 압축 기술은 비디오 데이터를 전송 전에 2 개의 데이터 바디, 즉 "기초(base)" 데이터 바디와 "강화(enhancement)" 데이터 바디로 분할하는 것을 포함한다. 기초 데이터는 비디오 시퀀스의 저품질 버젼을 포함하지만, 비교적 작은 대역폭을 이용하여 전송될 수 있다.

강화 데이터는 기초 데이터에 대한 보정을 제공한다. 강화 데이터는 화상 영역의 컬러 및 화상 영역의 세부를 강화하기 위한 정보를 포함할 수 있다. 기초 데이터는 수신측에서 디코딩 처리 중에 강화 데이터와 재합성될 수 있다. 기초 데이터를 모든 강화 데이터와 재합성하면 원래의 비디오와 매우 근접한 품질의 출력 비디오가 얻어질 것이다. 그러나, 통신 채널의 대역폭 제한 때문에, 가끔은 강화 데이터의 완전한 바디(full body)가 전송되지 못한다. 따라서, 강화 데이터를 작은 대역폭을 각각 필요로 하는 더 작은 부분집합(subset)으로 분할하고, 강화 데이터 의 하나 이상의 부분집합들을 기초 데이터와 동시에 전송할 수 있다. 강화 데이터를 더 많이 전송할수록 더 좋은 출력 비디오가 생성되지만 더 많은 대역폭을 필요로 한다.

도 1a는 비디오 신호의 경로를 나타내는 기능 블록도이다.

도1b는 비디오 신호의 경로도이다.

도 2는 전형적인 화상을 만드는 유닛을 나타내는 계층도이다.

도 3a 및 도 3b는 DCT 계수의 구성을 나타내는 도면이다.

도 4는 비디오 엔코딩 및 압축을 나타내는 블록도이다.

도 5는 비디오 디코딩을 나타내는 블록도이다.

도 6은 임계치 기반 레이어링 처리를 설명하기 위한 흐름도이다.

도 7은 임계치 선택을 설명하기 위한 흐름도이다.

도 8a 및 도 8b는 비트 평면 및 층으로 분할된, 강화 데이터 계수의 크기의 예시적인 바디를 나타내는 도이다.

도 9는 디코더에 의해 강화 데이터의 층을 수집하는 것을 설명하기 위한 흐름도이다.

개괄적으로 말하면, 이하 설명하는 기술은 상이한 통신 경로들이 상이한 대역폭을 갖는 네트워크에서 비디오 데이터의 분배를 개선하는 것과 관련이 있다.

도 1a는 네트워크를 통해 분배된 비디오 데이터가 경유하는 경로를 나타내는 블록도이다. 입력 비디오 신호(10)는 엔코더(12)에 공급되고, 엔코더(12)는 입력 비디오 신호(10)를 기계판독 가능한 일련의 비트, 즉 비트스트림 형태의 비디오 데이터로 변환한다. 그 다음에 비디오 데이터는 서버(14)에 저장되어 그 비디오 데이터에 대한 요청이 있을 때까지 대기한다. 서버(14)는 비디오 데이터에 대한 요청을 수신하면 비디오 데이터를 송신기(16)로 보내고, 송신기(16)는 그 데이터(18)를 네트워크상의 통신 채널을 따라 전송한다. 수신기(20)는 그 데이터(18)를 수신하여 비트스트림으로서 디코더(22)에 보낸다. 디코더(22)는 수신된 비트스트림을 출력 비디오 신호(24)로 변환하고, 그 출력 비디오 신호가 디스플레이에 제공된다.

도 1b는 비디오 데이터를 분배하기 위한 시스템을 나타낸다. 비디오 신호원(11)은 입력 비디오 신호(10)를 생성하고, 그 비디오 신호는 제1 컴퓨터(13)에 입력된다. 제1 컴퓨터(13)는 엔코더(12)를 포함하며, 이 엔코더(12)는 네트워크(19)에 결합된 통신 채널(17)을 따라 송신하기 위해 상기 비디오 데이터를 비트스트림(18) 내에 엔코딩한다. 제1 컴퓨터(13)는 비디오 데이터를 저장함과 동시에 서버(14)로서 동작가능한 메모리(15)를 또한 포함한다.디코더(22)를 포함하고 있는 제2 컴퓨터(23)는 채널(21)을 통하여 비트스트림(18)을 수신한다. 디코더(22)는 수신된 비트스트림(18)을 출력 비디오 신호(24)로 변환하고, 그 출력 비디오 신호가 디스플레이(25)상에 표시된다.

엔코더(12)에서 수행되는 엔코딩은 MPEG-2 또는 MPEG-4, 버젼 1 또는 버젼 2와 같은 고감쇠 압축 기술을 포함할 수 있다. [MPEG는 동화상 전문가 그룹(Mortion Picture Experts Group)의 약자이고, MPEG-2 및 MPEG-4는 상기 그룹에서 개발한 디 지털 비디오 압축 기준 및 파일 체제를 의미한다.] 이 기술들은 기초 비디오 데이터의 바디, 즉 소스 비디오 시퀀스에 의해 표신된 것보다 더 낮은 품질의 시청가능한 비디오 시퀀스를 발생하기에 충분한 데이터의 바디를 생성한다. 기초 비디오 데이터가 디코딩되어 표시된다면, 그 비디오는 원래 비디오의 하위 버젼으로서 인식될 것이다.

MPEG에서 사용되는 하나의 고감쇠 압축 기술은 비디오 시퀀스 내의 대부분의 화상들을 화상 데이터 그 자체가 아니라 하나의 화상으로부터 그 다음 화상으로의 변화로서 (모션 벡터와 함께) 엔코딩하는 것이다. 이 기술을 사용하면 대역폭을 상당 수준 줄일 수 있다.

강화 데이터(enhancement data)라고 부르는 또하나의 데이터 바디는 양자화된 기초 비디오 화상과 양자화되지 않은 원래의 입력 비디오 화상간의 차이를 포착한다. 이 강화 데이터는, 기초 데이터와 합성되었을 때, 시청가능한 비디오 시퀀스의 품질을 개선하고 개선된 비디오 출력을 생성한다.

강화 데이터의 부분집합은 화상에 대한 보정, 즉 하나의 화상으로부터 다음 화상으로의 변화에 대한 보정을 포함할 수 있다. 일반적으로, 강화 데이터는 기초 데이터에 대응한다. 즉, 기초 데이터가 하나의 화상으로부터 다음 화상으로의 변화를 엔코딩하면, 그 기초 데이터에 대응하는 강화 데이터는 하나의 화상으로부터 다음 화상으로의 변화에 대한 보정을 포함한다. 강화 데이터는 또한 엔코더(12)에서의 엔코딩 중에 엔코딩된 기초 비디오 데이터로부터 제거된 화상들을 재구성하기 위해 디코더(22)에서의 디코딩 중에 사용될 수 있다.

많은 경우에 있어서, 통신 채널(16)은 제한된 대역폭을 갖고 있으며, 전부가 아닌 일부의 강화 데이터를 수용할 수 있다. 수신기(20) 및 디코더(22)가 총량(full amount)보다 적은 강화 데이터를 수신하면, 출력 비디오(24)는 그만큼 적게 보정된다. 이하에 설명하는 기술은 대역폭을 효과적으로 이용하여, 후술하는 임계치 기반 처리에 의해 강화 데이터의 부분집합 또는 "레이어"를 생성함으로써, 주어진 대역폭에 대한 더 큰 강화를 구축한다.

도 2는 화상을 형성하는 몇개의 유닛을 도시하고 있다. 일반적으로, 화상은 화소 또는 픽셀로 이루어진다. 8 ×8 사각형의 화소들은 블록(30)을 형성하고, 2 ×2 사각형의 블록들은 마크로블록(32)을 형성한다. 나란히 배치된 마크로블록들은 화상 데이터의 슬라이스(34)를 형성한다. 슬라이스는 화상의 하나의 수평 스트립 또는 래스터 주사(scanning) 순서로 수개의 인접하는 스트립이다. 연속되는 슬라이스에 의해 하나의 화상(36)이 구성된다. 설명의 목적상, 엔코딩 처리는 비디오 데이터의 8 ×8 블록(30)을 참조하여 설명한다. 실제의 처리는 8 ×8 블록보다는 마크로블록(32)과 같은 데이터 유닛을 이용하여 행하여진다.

엔코딩 처리 중에, 화상 데이터는 데이터 압축의 일부로서 변환 처리를 받는다. 널리 이용되고 있는 변환은 이산 코사인 변환(DCT)이다. DCT는 변환된 데이터가 주파수에 따라 순서정해지고 계수에 의해 가중된다는 점에서 이산 퓨리에 변환과 유사한 선형 변환이다. DCT를 받는 8 ×8 블록의 화소들은 8 ×8 매트릭스의 계수들을 발생할 것이다. DCT는 16 ×16 블록과 같은 다른 크기의 화소군에 대하여 동작할 수 있지만, 8 ×8 블록의 변환은 DCT의 예시적인 응용이다. 일반적으로, DCT는 각각의 8 ×8 블록의 화소들을 이산 신호로서 취급한다. DCT는 화소의 수평 주파수 및 수직 주파수를 나타내는 8 ×8 매트릭스의 계수들을 생성한다.

도 3a는 DCT에 의해 계수들을 8 ×8 매트릭스(42)에 어떻게 배열하는지를 도시하고 있다. 수평 계수는 좌측에 저주파수 항목으로, 우측에 고주파수 항목으로 배열되어 있다. 수직 계수는 상측에 저주파수 항목으로, 하측에 고주파수 항목으로 배열되어 있다. 최상부의 가장 좌측 셀(42)에 기억된 계수는 제로 수평 주파수 및 제로 수직 주파수를 갖는 8 ×8 블록의 화소 부분을 나타내고, 이 부분은 블록 전체에 걸쳐서 일정하다. 가끔 "DC 계수"라고 부르는 이 계수는 화소 전체 블록의 평균 색 및 밝기를 나타낼 수 있다. 최하부의 가장 우측 셀(44)에 기억된 계수는 블록 내에서 최고의 수평 및 수직 변화량을 나타낸다.

매트릭스(40) 내의 계수들은 임의 범위의 정수들일 수 있다. 상기 계수들은 대개 한 세트의 비트로 구성된 크기와 단일 비트로 구성된 부호(양 또는 음)로서 기억된다.

도 3b에 도시된 바와 같이, 매트릭스(40)는 그 어레이의 각 셀이 '1' 비트 또는 '0' 비트로 채워진 이진 계수의 3차원 어레이로서 표시될 수 있다. 최상부의 비트들로 구성된 평면, 즉 "비트 평면"(46)은 최상위 비트들을 나타낸다. 그 다음으로 높은 평면(48)은 그 다음의 최상위 비트들을 나타내며, 이와 같은 방식으로 표시된다. 최하부 평면(50)은 최하위 비트들을 나타낸다. 도 3b에 도시된 어레이는 각 계수가 8개의 비트로 구성된 8 ×8 매트릭스의 계수들을 나타낸다. 따라서, 각각의 계수는 0∼255(2⁸- 1)의 정수를 나타낼 수 있다. 상기 계수들을 나타내기 위 해 8 보다 다소 많거나 적은 비트를 또한 사용할 수 있다.

엔코딩 처리를 행함으로써 강화 데이터의 계수 매트릭스가 발생되며, 이 매트릭스는 전송을 위해 복수의 비트 평면으로 추가 분할될 수 있다. 뒤에서도 설명하는 바와 같이, 강화 데이터를 비트 평면으로 분할하는 것은 비효율적이고 융통성이 없다. 이후 설명하는 임계치 기반 레이어링 처리는 강화 데이터를 분할함에 있어서 더욱 융통성있고 효율적인 방법을 제공한다.

도 4는 예시적인 엔코더(12)를 블록도로 도시한 것이다. 엔코더(12)는 기계 또는 컴퓨터 시스템에서 자기 디스크나 광학 드라이브와 같은 임의의 기계 판독가능한 매체에 저장될 수도 있고 또는 판독 전용 메모리(ROM) 등의 비휘발성 메모리에 저장될 수도 있는 소프트웨어로써 구현될 수 있다. 도 4는 일련의 입력 화상(60)을 엔코딩 및 압축하여 비디오 데이터의 기초 데이터 비트스트림(62) 및 강화 데이터의 비트스트림(64)을 얻는 과정을 도시하고 있다. 기초 데이터 비트스트림(62) 및 강화 데이터 비트스트림(64)은 서버에 저장되거나 통신 채널을 통해 전송되기 전에 멀티플렉서(도시 생략)에 의해 단일 출력 비트스트림(도시 생략)으로 합성될 수 있다.

기초 데이터는 표준 비디오 엔코딩 및 압축부(66)에서 생성될 수 있다. 도 4에 도시된 엔코딩 및 압축부(66)는 예시적인 것이며 엔코딩 및 압축을 행하는 유일한 방법을 제시하는 것이 아니다. 엔코딩 및 압축부는 DCT(68), 양자화부(70), 스캐닝부(72) 및 가변 길이 부호화부(74)를 포함한다. 기초 데이터(62)의 생성은 고감쇠 처리이며, 그 감쇠의 대부분은 양자화 처리(70) 중에 발생한다. 도 4는 또한 역양자화부(76), 역이산 코사인 변환부(IDCT)(78), 움직임 보상부(80), 프레임 저장부(82), 움직임 추정부(84), 및 하나의 화상으로부터 다음 화상까지의 변화를 분리시키기 위하여 입력 화상 스트림(60)으로부터 이전 화상(88)을 감산하는 감산부(86)를 포함하여, 개개의 화상간의 변화를 엔코딩하기 위한 부품들을 포함한다.

도 4는 강화 데이터를 생성하는 감산부(90)를 도시하고 있다. 처리(98) 중인 강화 데이터는 기초 데이터로부터 분리된다. 강화 데이터는 비양자화 기초 비디오 데이터와 비양자화 입력 비디오간의 차이로 구성된다. 도 4에 있어서, 각 화상에 대응하는 강화 데이터는 개개의 화상간의 변화에 대한 강화 및 개개의 화상 자체에 대한 강화를 나타낸다.

강화 데이터는 선택적으로 전처리(pre-processing)를 받을 수 있다. 전처리는 예컨대 강화 데이터에서 시각적으로 중요한 성분들을 강화하고 시각적으로 중요하지 않은 성분들을 약화(de-emphasizing)시키는 동작을 포함한다. 일반적으로, 비디오를 보는 시청자는 화상의 세부보다는 화상의 전체 외관에 촛점을 맞추는 경향이 있다. 시각적으로 더 중요한 전체 외관에 대한 정보는 도 3에 도시된 저주파수 DCT 항목에 집중되는 경향이 있다. 시각적으로 덜 중요한 화상의 세부에 대한 정보는 고주파수 DCT 항목에 집중되는 경향이 있다. 전처리는 시각적으로 중요한 데이터를 강조하여 이 데이터에 더 높은 전송 우선순위를 부여하도록 사용될 수 있다.

강화 데이터는 이후 상세히 설명하는 임계치 기반 레이어링 처리(94)를 받는다. 임계치 기반 레이어링 처리(94)를 반복 적용(100)함으로써, 다중층의 강화 데 이터가 생성된다. 이 층들은 스캐닝되고(95), 가변 길이 부호화기(96)에 의해 부호화되며, 그 결과로서 강화 데이터 비트스트림(64)를 생성한다.

기초 데이터 비트스트림(62)과 강화 데이터 비트스트림(64)은 비디오 시퀀스에 대한 고객의 요청 또는 네트워크에 대한 방송을 대기하는 서버에 저장될 수 있다. 통신 채널(17)을 통해 비디오 데이터가 전송될 때, 기초 데이터(62)는 일반적으로 강화 데이터 층들과 함께 전송된다.

도 5는 예시적인 디코더(22)를 도시하는 블록도이다. 엔코더(12)와 마찬가지로 디코더(22)는 소프트웨어로써 구현될 수 있다. 도 5는 통신 채널(17)을 통해 서버(14)에 의해 전송되고 고객에 의해 수신된 비디오 데이터를 디코딩 및 복구하는 방법을 도시하고 있다. 도 5에 도시된 디코더(22)는 비디오 데이터를 디코드하는 한가지 방법을 예시할 뿐이며, 데이터를 디코드하는 유일한 방법을 제시하는 것이 아니다. 도 5에 도시된 동작 중의 일부는 선형이고, 다른 순서로 나타날 수도 있다. 예를 들어, 도 5는 강화 데이터가 IDCT 동작(114, 132) 후에 기초 데이터와 재합성되는 것으로 도시되어 있다. 이 기술에 의하면, 기초 데이터 값은 화소와 같은 화상 유닛에 대응하고, 강화 데이터는 화상 유닛에 대한 보정을 나타낸다. 그러나, 이산 코사인 변환이 선형성이기 때문에, 강화 데이터는 IDCT 동작(113, 132) 이전에 기초 데이터와 재합성될 수도 있다. 상기 후자의 경우에, 기초 데이터 값은 계수의 보정을 나타낸다. 또한, 디코딩은 도 5에 표시하지 않은 부가적인 동작을 포함할 수 있다.

디코더(22)의 입력은 기초 데이터의 비트스트림(62)과 강화 데이터 비트스트 림(102)으로 분리될 수 있는 비디오 데이터(도시 생략)의 비트스트림을 포함한다. 비트스트림을 분리하기 위해 도시 생략한 디멀티플렉서를 이용할 수 있다. 도 5에 도시된 기초 데이터 비트스트림(62)은 도 4에 도시된 비트스트림(62)과 동일하다. 그러나, 도 5에 도시된 강화 데이터 비트스트림(102)은 도 4에 도시된 강화 데이터 비트스트림(64)과 반드시 동일할 필요가 없다. 채널 대역폭의 제한때문에, 강화 데이터의 전체량보다 더 적은 양의 강화 데이터가 채널을 통해 전송될 것이다.

기초 데이터 및 강화 데이터는 상이한 디코딩 처리 또는 "파이프라인"(104, 106)을 받는다. 기초 데이터와 강화 데이터의 엔코딩이 동일한 과정을 포함하지 않는 것처럼, 디코딩 처리에 있어서도 약간의 차이가 있을 수 있다.

기초 데이터 디코딩 파이프라인(104)에 있어서, 기초 데이터는 가변 길이 디코딩(108), 역스캐닝(110), 역양자화(112) 및 IDCT(114)를 받는다. 가변 길이 디코딩(108), 역스캐닝(110), 역양자화(112) 및 IDCT(114) 동작은 본질적으로 도 4에 도시된 엔코딩 중에 수행된 가변 길이 부호화(74), 스캐닝(72), 양자화(70) 및 DCT(68) 동작을 원상태로 복구하는 동작이다. 그 다음에, 디코딩된 기초 데이터는 움직임 보상기(116)에서 처리되고, 하나의 화상으로부터 다음 화상까지의 변화에 따라 개개의 화상을 재구성할 수 있다. 이전 또는 "기준" 화상(118)으로부터의 데이터는 "프레임 버퍼"(120)라고 하는 임시 저장용 메모리 유닛에 저장되어 기준 데이터로서 사용될 수 있다. IDCT(114)로부터의 디코딩된 데이터는 시퀀스 내의 다음 화상이 이전 화상으로부터 어떻게 변화하는지를 결정하기 위해 움직임 보상기(116)에서 사용된다. IDCT(114)는 범위를 벗어난 번호와 같은 무효 비디오 데이터를 생 성한다. "클립" 기능(115)은 데이터를 가장 가까운 범위내 번호로 세팅함으로써 데이터를 유효하게 만든다. 기초 데이터 파이프라인(104)의 출력은 디코딩된 기초 비디오 데이터(122)로 된다. 도 5에 도시된 기초 데이터 디코딩 기술은 단지 예시적인 것이며, 디코딩을 달성하기 위한 유일한 방법을 제시하는 것이 아니다.

강화 데이터의 디코딩 파이프라인(106)은 기초 데이터 디코딩 파이프라인(104)과 상이하다. 강화 데이터는 가변 길이 디코딩 처리(124)와 역스캐닝 처리(126)를 받는데, 이러한 처리는 엔코더(12)에 의해 수행되는 가변 길이 부호화 처리(96)와 스캐닝 처리(95)를 원상태로 복구하는 처리이다. 그 다음에, 데이터는 수집(128) 및 후처리(130)를 받는다. 뒤에서 더 상세하게 설명하는 후처리(128)는 임계치 기반 레이어링 처리(94)에 의해 생성된 강화 데이터의 층들을 합성한다. 후처리(130)는 엔코더(12)에서 수행된 전처리(92)를 원상태로 복구한다. IDCT(132)로부터의 출력은 보정을 나타내고, 이것은 기초 데이터와 합산(134)되고 클립핑(135)되어 시청가능한 강화 비디오 데이터(136)를 발생한다.

전술한 바와 같이, 대역폭 제한은 가끔 완전한 강화 데이터 바디의 전송을 금지시킨다. 대역폭 제한이 존재하면, 최상의 비디오 품질을 생성하는 강화 데이터의 부분집합을 전송하는 것이 바람직하다. 강화 데이터의 부분집합을 선택하는 한가지 방법은 강화 데이터를 비트 평면마다 전송하는 것이다. 서버(14)는 먼저 최상위 비트 평면(46)을 전송하고, 그 다음에 차상위 비트들을 포함하는 비트 평면(48)을 전송한다. 서버(14)는 대역폭에 의해 수용가능한 만큼의 비트 평면들을 계속하여 전송한다. 최상위 비트 평면(46)은 최고의 전송 우선순위를 받고, 차상위 비트 들을 포함하는 비트 평면(48)은 그 다음으로 높은 전송 우선순위를 받으며, 이와 같은 방법으로 전송 우선순위가 주어진다. 대역폭의 제한 때문에, 최하위 비트들을 포함하는 비트 평면들은 전혀 전송되지 못할 수도 있다.

강화 데이터의 비트 평면별 전송은 몇가지 이유때문에 비효율적이다. 첫째로, 기초 데이터에 대한 대부분의 보정은 비교적 작은 보정인 경향이 있다. 그 결과, 강화 데이터 블록(40) 내의 대부분의 번호들은 작은 번호이고, 따라서, 최상위 비트 평면(46)은 일반적으로 '0' 비트의 퍼센트가 높다. 마찬가지로, 차상위 비트 평면(48)은, 비록 전형적으로 최상위 비트 평면(46)에서 만큼 높지는 않지만, 높은 퍼센트의 '0' 비트로 구성될 가능성이 있다. 그러므로, 강화 데이터의 단지 2개의 비트 평면만을 전송하는 것은, 강화 비트의 대부분이 '0' 비트이기 때문에, 일반적으로 기초 데이터에 대한 만족스럽지 못한 보정을 야기한다. 그 결과, 강화 데이터를 비트 평면별로 전송하는 것은 대역폭에 비례하는 개선된 화질을 제공하지 못할 것이다. 예를 들어, 이용가능한 대역폭을 절반으로 자르면, 일반적으로 화상 보정 품질을 절반 이상으로 자르는 결과를 야기한다.

둘째로, 가변 길이 부호화(96)를 받고 있는 각각의 비트 평면은 대역폭을 동일한 양으로 소비하지 않는다. 전형적으로, 최상위 비트 평면(46)은 최저 대역폭을 필요로 하고, 최하위 비트 평면(50)은 최고 대역폭을 필요로 한다. 일반적으로 말해서, 각각의 비트 평면은 그 위에 있는 비트 평면보다 더 많은 대역폭을 소비한다. 만일 강화 데이터가 비트 평면별로 전송되면, 각각의 전송된 비트 평면은 이전에 전송된 비트 평면보다 더 많은 양의 대역폭을 소비할 것이다. 어느 지점에서는 대역폭이 새로운 비트 평면 전체를 수용할 수 없어서 그 비트 평면의 일부만이 전송될 수도 있다. 그 결과, 화상(36)의 일부만이 비트 평면의 강화를 수신하고, 화상의 나머지 부분은 수신하지 못하게 된다. 따라서, 전체 화상(36)이 균일하게 강화되지 못한다.

세째로, 비트 평면별 전송은 융통성이 없어서 강화 데이터의 품질에 기인하는 조정을 허용하지 않는다.

이 명세서에서 설명하는 기술은 임계치 기반 레이어링 처리(94)를 이용함으로써 이용가능한 대역폭을 더욱 효율적으로 이용할 수 있게 한다. 임계치 기반 레이어링 처리(94)는 강화 데이터를 고정되게 비트 평면으로 나누는 것이 아니라 융통성있게 복수의 층으로 나눔으로써 화상 전체에 대한 개선을 제공한다. 강화 데이터를 비트 평면으로 구획하는 것은 강화 데이터의 특성을 무시하는 것이다. 이에 비하여, 강화 데이터를 복수의 층으로 분할하는 것은 강화 데이터의 특성에 따라 강화 데이터를 구획할 수 있게 한다. 그러므로, 임계치 기반 레이어링 처리(94)는 엔코더(12)로 하여금 강화 데이터에 대한 엔코딩 처리를 조정할 수 있게 한다. 임계치 기반 레이어링의 장점은, 일반적으로 이 기술이 대역폭을 거의 동일한 양으로 소비하는 복수의 층을 생성하여, 수신된 화상의 품질을 이용가능한 대역폭에 더욱 밀접하게 관련시킬 수 있다는 점이다.

강화 층의 생성 처리는 도 6에 도시하였다. 이 처리는 강화 데이터 바디를 임계치 기반 레이어링 처리(94)에 넣는 것부터 시작한다(스텝 140). 그 다음에 강화 데이터의 층들을 생성할 필요가 있는지에 대한 판정을 행하고(스텝 142), 만일 생성할 필요가 없으면 임계치 기반 레이어링 처리(94)는 종료된다(스텝 144). 레이어링 처리를 종료하는 경우로는 여러가지 조건이 있다. 예를 들어, 강화 데이터가 모두 '0' 비트로 구성되어 있으면 처리할 데이터가 존재하지 않으므로 레이어링 처리(94)는 종료된다. 기타의 종료 조건으로서는 레이어링 처리(94)가 미리 정해진 수의 층을 생성하였는지 여부, 또는 모든 이용가능한 대역폭이 소모되었는지 여부가 있을 수 있다. 생성해야 할 층의 수를 엔코더(12)에 의해 결정하는 것도 또한 가능하다.

이후 더 상세히 설명하는 바와 같이, 강화 데이터 층의 생성에는 임계치를 선택하는 과정을 포함한다(스텝 146). 이 임계치에 기초하여, '1' 비트와 '0' 비트로 구성된 강화 데이터의 층이 생성된다(스텝 148). 강화 데이터의 층은 임계치와 같거나 더 큰 크기에 대하여 '1' 비트를, 그리고 임계치보다 더 작은 모든 크기에 대하여 '0' 비트를 갖는다. 임계치를 선택함으로써, 강화 데이터 층은 비트 평면에 포함된 것보다 더 많거나 더 적거나 또는 동일한 갯수의 '1' 비트를 포함할 수 있다. 임계치는 층내의 '1' 비트의 수를 조절하거나, 층내의 '1' 비트의 분포를 조절하거나, 층에 의해 소비되는 대역폭을 제어하거나, 또는 상기 사항의 임의의 조합을 제어하도록 선택될 수 있다. 임계치는 강화 데이터의 크기로부터 감산되는데(스텝 150), 다만 음(negative)의 크기가 생성되지 않도록 임계치와 같거나 또는 임계치를 초과하는 크기로부터만 감산된다.

일단 층이 생성되면, 그 층은 강화 데이터 비트스트림(64)에 포함될 수 있다(스텝 152). 그 층은 일반적으로 선택된 임계치를 저장하는 헤더를 포함한다. 헤더 내의 임계치는 강화 데이터를 디코딩하기 위해 디코더(22)에서 사용된다. 임계치 및 데이터 층 외에 신호값들이 또한 보내진다. 비록 신호값 데이터를 전송하는 데에는 여러가지 방법이 있지만, 일반적으로 말하면, 강화 데이터 비트스트림에 실제로 포함된 계수에 대해서만 신호값을 전송하고, 또한 계수의 신호값을 1회만 전송하는 것이 보다 더 효율적이다. 그 다음에 레이어링 처리는 다른 임계치를 갖는 부가적인 층들을 생성하기 위해 반복될 수 있다(스텝 154). 층들을 생성하기 위해 동일한 임계치를 반복적으로 사용할 수 있고, 또한 뒤의 임계치가 그 이전의 임계치보다 더 높은 값을 갖도록 할 수 있다.

강화 데이터의 특성에 따라 임계치를 선택하는 데에는 여러가지 방법이 있다. 임계치를 설정하는 한가지 방법이 도 7에 도시되어 있다. 강화 데이터(스텝 160)는 계수의 크기의 주파수를 카운트함으로써 평가된다. 계수의 분포를 평가하는 데에는 막대그래프를 작성하는 것과 같은 통계적 분석을 사용한다(스텝 164). 통계적 분석(스텝 164)에 의해 나타난 분포에 기초하여 강화 데이터를 복수의 층으로 나누기 위한 임계치가 선택된다(스텝 166). 강화 데이터를 구획하는 방법은 강화 데이터에 대한 '1' 비트의 목표 갯수를 선택하는 과정, 소망하는 대역폭 내에 고정되도록 층을 생성하는 과정, 소망하는 강화 품질을 산출하도록 층을 생성하는 과정, 강화 데이터의 다른 특성에 기초하여 층을 생성하는 과정, 또는 상기 과정들의 임의의 조합을 포함한다. 이후 설명하는 기술은 각각의 층이 목표 갯수의 '1' 비트를 거의 포함하고 있는 복수의 층을 생성하도록 임계치를 선택하는 것을 포함한다.

도 8a 및 도 8b는 5개층의 강화 데이터(200, 202, 204, 206, 208)의 발생을 3개의 비트 평면(192, 194, 196)의 발생과 비교하기 위해서 작은 화상에 대하여 계수 크기의 예시적인 블록(190)을 사용하는 예를 도시한 것이다. 도 8a 및 도 8b는 또한 임계치를 선택하는 여러가지 방법 중에서 한가지를 도시한 것이다. 계수 크기의 예시적인 블록(190)에서 시작하여, 블록 내의 가장 큰 값은 120(이것은, 이 예에서 DC 계수의 크기임), 또는 7 비트 이진수 '1111000'이라고 판정할 수 있다. 블록(190) 내의 가장 큰 값이 7 비트로 표시가능하기 때문에, 블록 전체를 7 비트 평면으로 표시할 수 있다. 최상위 비트 평면(192)은 14개의 '1' 비트를 포함한다. 두번째의 최상위 비트 평면(194)은 21개의 '1' 비트를 포함한다. 세번째의 최상위 비트 평면(196)은 26개의 '1' 비트를 포함하고 있고, 이것은 최상위 비트 평면(192)에서의 '1' 비트 갯수의 대략 두배이다. '1' 비트의 수가 각각의 연속된 비트 평면에 있어서 증가하기 때문에, 각 비트 평면은 그 이전의 비트 평면보다 더 많은 대역폭을 소비한다.

도 8a 및 도 8b에 도시된 3개의 비트 평면(192, 194, 196)이 5개층의 강화 데이터(200, 202, 204, 206, 208)를 나타내고 있는 것에 대하여, 각 층은 약 10개의 '1' 비트를 포함하도록 의도된다. 제1 강화층(200)은 제1 임계치를 71로 선택함으로써 생성되었다. 그 결과의 제1 강화층(200)은 제1 임계치인 71과 같거나 그보다 더 큰 모든 계수 크기에 대하여 '1' 비트를 포함하고, 상기 제1 임계치보다 더 적은 모든 계수 크기에 대하여 '0' 비트를 포함한다. 제1 임계치를 71로 선택하면 제1 강화층(200)은 10개의 '1' 비트를 포함한다.

그 다음에, 상기 제1 임계치 71은 임계치가 150 이상인 모든 크기로부터 감 산되어 제2 강화층(202)이 생성된다. 선택된 제2 임계치는 49이고, 이것에 의해 제2 강화층(202)이 생성된다. 제1 강화층과 마찬가지로, 제2 강화층은 10개의 '1' 비트를 포함한다.

그 다음에 제3 임계치 33을 이용하여 제3 강화층(204)을 생성하기 위해 상기 처리를 반복한다. 제3 강화층(204) 역시 10개의 '1' 비트를 포함한다. 마찬가지 방법으로 10개의 '1' 비트를 포함하는 제4 강화층(206)이 제4 임계치 25를 이용하여 생성되고, 제5 강화층(208)이 제5 임계치 19를 이용하여 생성된다.

따라서, 임계치를 선택함으로써 5개의 강화층(200, 202, 204, 206, 208)이 생성될 수 있고, 각 층은 10개의 '1' 비트를 가지며, 대략 동일한 대역폭을 소비한다. 실제로는, 모든 층들이 정확하게 목표 갯수의 '1' 비트를 가질 수 있을 뿐만 아니라, 데이터의 분포에 기초하여 임계치를 선택함으로써 층마다 '1' 비트의 갯수가 서로 근접한 복수개의 층을 생성할 수 있게 된다. 또한, 강화 데이터를 동일한 대역폭을 갖는 복수의 층으로 구획하는 것이 바람직하지만, 각각의 층이 상이한 대역폭을 갖는 것도 또한 가능하다.

이용가능한 대역폭은 임계치를 결정하는 데에도 또한 사용될 수 있다. 예를 들어서, 만일 모든 이용가능한 대역폭이 단위 시간당 약 50개의 '1' 비트를 수용한다고 하면, 강화 데이터를 복수의 층으로 분할하기 위해 임계치를 사용하는 것은 강화 데이터를 비트 평면으로 분할하는 것 이상으로 장점을 갖는다. 임계치 기반 레이어링 처리는 5개의 완전한 강화 데이터 층(200, 202, 204, 206, 208)을 생성함에 있어서 융통성을 가지며, 각 층은 전체 화상을 개선하고 모든 층들은 이용가능 한 대역폭 내에서 전송될 수 있다. 그러나, 상기 대역폭은 이용가능한 대역폭이 수용할 수 있는 단위 시간당의 '1' 비트 수 이상을 포함하는 첫번째의 3개의 비트 평면(192, 194, 196)을 수용할 수 없었다. 만일 모든 이용가능한 대역폭이 상이한 갯수의 '1' 비트를 수용한다면, 임계치는 그 대역폭 내에서 전송가능한 층들을 생성하도록 선택될 수 있다.

임계치 선택시에는 강화 데이터가 상이한 대역폭을 갖는 2개의 채널을 통하여 전송되어야 하는지 여부를 또한 고려할 수 있다. 예를 들어, 만일 제1 채널이 단위 시간당 약 50개의 '1' 비트를 수용하고, 제2 채널이 단위 시간당 약 30개의 '1' 비트를 수용한다면, 5개의 완전한 층(200, 202, 204, 206, 208)이 제1 채널을 통하여 전송될 수 있고, 3개의 완전한 층(200, 202, 204)이 제2 채널을 통하여 전송될 수 있다.

임계치 선택은 또한 대역폭이 아닌 또는 대역폭에 부가하여 다른 인자, 예컨대 층당 소망하는 개선량에 기초하여 행하여질 수 있다.

복수의 층 및 각 층에 대응하는 임계치가 디코더(22)에 수신되면, 디코더(22)는 그 층들을 수집(128)함으로써 레이어링 처리를 원상태로 복구한다. 수집 처리는 도 9에 도시하였다. 수집 처리의 시작 부분에서, 특수한 비디오 데이터 유닛, 예컨대 블록 30의 강화 데이터가 수신된다(스텝 210). 강화 데이터는 전형적으로 복수개의 층으로 구성된다. 강화 데이터 층들은 수집되어, 보정 계수의 크기들을 저장하고 있는 버퍼에 저장될 수 있다. 전형적으로, 버퍼 내의 보정 계수들은 제로(0)로 초기화된다(스텝 212). 만일 강화 데이터의 층이 존재하면(스텝 214), 그 층을 생성하기 위해 사용되었던 임계치가 복구되고, 예컨대 그 임계치가 그 층의 헤더로부터 검색된다(스텝 216). 그 다음에, 상기 임계치는 강화층 내의 각 '1' 비트에 대하여 버퍼 내의 각 보정 계수에 가산된다. 각각의 '0' 비트에 대해서는 버퍼 내의 대응하는 보정 계수에 아무것도 가산되지 않는다. 추가의 층이 있으면 처리를 반복한다(스텝 220). 각각의 추가 층에 있어서, 버퍼 내의 데이터는 엔코더(12)에서의 임계치 처리(94)를 원상태로 복구한 데이터의 값에 근접한다. 모든 층이 수집되었으면, 버퍼 내의 데이터는 디코더(22)에서 수신한 수집된 강화 데이터(102)를 표시하지만, 이것은 통상적으로 완전한 강화 데이터 바디의 근사치에 불과하다. 각 데이터에는 적당한 부호값이 할당된다(스텝 222, 224).

데이터는 또한 선택적인 절두 조정(truncation adjustment)을 받는다(스텝 226). 절두 조정은 최저 임계치 이하이고 전송하기에 너무 작은 비제로 크기에 대하여 행하여진다. 이러한 크기들은 버퍼에서 0으로 표시된다. 절두 조정은 0을 교체하기 위해 소량의 '노이즈'를 부가한다. 이 노이즈는 예컨대 최저 임계치의 약 1/4인 수인 일정한 값을 버퍼 내의 모든 제로에 가산함으로써 간단하게 구성될 수 있다. 또하나의 옵션은 제로값들을 최저 임계치보다 더 작은 임의의 정수값으로 교체하는 것이다. 절두 조정(스텝 226) 다음에는 수집 처리가 종료되고, 강화 데이터는 추가로 처리되어 도 5에 도시된 바와 같은 기초 데이터와 합성될 수 있다.

지금까지 본 발명의 여러가지 실시예를 설명하였다. 이들 실시예 및 그 외의 다른 실시예들도 이 명세서에 첨부된 특허 청구범위의 범위 내에 포함된다.

Claims

대역폭 필요조건에 기초하여 하나 이상의 임계치를 선택하는 단계와;

상기 하나 이상의 임계치에 기초하여 디지털 비디오 강화 데이터의 층들을 생성하는 단계를 포함하는 것인 비디오 처리 방법.
삭제
제1항에 있어서,

비디오 강화 데이터의 층을 디지털 통신 채널을 통하여 전송하는 단계와;

상기 임계치를 디지털 통신 채널을 통하여 전송하는 단계를 더 포함하는 비디오 처리 방법.
비디오 데이터 처리를 위한 컴퓨터로 실행가능한 명령을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

대역폭 필요조건에 기초하여 하나 이상의 임계치를 선택하는 단계와;

상기 하나 이상의 임계치에 기초하여 디지털 비디오 강화 데이터의 층들을 생성하는 단계를 수행하게 하는 것인 컴퓨터로 판독가능한 기록매체.
삭제
제4항에 있어서,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

비디오 강화 데이터의 층을 디지털 통신 채널을 통하여 전송하는 단계와;

상기 임계치를 디지털 통신 채널을 통하여 전송하는 단계를 더 수행하게 하는 것인 컴퓨터로 판독가능한 기록매체.
기초 비디오 신호를 강화시키기 위하여, 하나 이상의 임계치를 선택하는 단계와 선택된 임계치에 기초하여 각각의 층들이 대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 층들을 처리하는 단계를 포함하는 비디오 처리 방법.
제7항에 있어서,

상기 층들은 거의 동일한 대역폭 필요조건을 갖는 것인 비디오 처리 방법.
제7항에 있어서,

기초 비디오 신호는 화상을 포함하고, 각각의 처리된 층은 전체 화상을 강화시키는 것인 비디오 처리 방법.

[청구항 10]

비디오 데이터 처리를 위한 컴퓨터로 실행가능한 명령을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

기초 비디오 신호를 강화시키기 위하여, 하나 이상의 임계치를 선택하게 하는 단계 및 선택된 하나 이상의 임계치에 기초하여 각각의 층들이 대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 층들을 처리하게 하는 단계를 포함하는 것인 컴퓨터로 판독가능한 기록매체.
삭제
제10항에 있어서,

상기 층들은 거의 동일한 대역폭 필요조건을 갖는 것인 컴퓨터로 판독가능한 기록매체.
제10항에 있어서,

기초 비디오 신호는 화상을 포함하고, 각각의 처리된 층은 전체 화상을 강화시키는 것인 컴퓨터로 판독가능한 기록매체.
대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 층을 수신하는 단계와;

상기 층을 디지털 통신 채널을 통해 전송하는 단계를 포함하고,

각 층에 대응하는 임계치를 수신하는 단계와;

상기 임계치를 디지털 통신 채널을 통하여 전송하는 단계를 더 포함하는 비디오 처리 방법.
제13항에 있어서,

상기 디지털 비디오 강화 데이터의 층은 제1 대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 제1 층이고, 상기 방법은,

상기 제1 대역폭 필요조건과는 상이한 제2 대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 제2 층을 수신하는 단계와;

상기 제2 층을 디지털 통신 채널을 통해 전송하는 단계를 더 포함하는 비디오 처리 방법.
제13항에 있어서,

상기 층은 상기 임계치와 같거나 그보다 더 큰 각각의 크기에 대하여 '1' 비트를 포함하는 것인 비디오 처리 방법.
비디오 데이터 처리를 위한 컴퓨터로 실행가능한 명령을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 층을 수신하는 단계와;

상기 층을 디지털 통신 채널을 통해 전송하는 단계를 수행하게 하고,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

각 층에 대응하는 임계치를 수신하는 단계와;

상기 임계치를 디지털 통신 채널을 통하여 전송하는 단계를 더 수행하게 하는 것인 컴퓨터로 판독가능한 기록매체.
제16항에 있어서,

상기 디지털 비디오 강화 데이터의 층은 제1 대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 제1 층이고, 상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

상기 제1 대역폭 필요조건과는 상이한 제2 대역폭 필요조건을 충족하는 디지털 비디오 강화 데이터의 제2 층을 수신하는 단계와;

상기 제2 층을 디지털 통신 채널을 통해 전송하는 단계를 더 수행하게 하는 것인 컴퓨터로 판독가능한 기록매체.
제16항에 있어서,

상기 층은 상기 임계치와 같거나 그보다 더 큰 각각의 크기에 대하여 '1' 비트를 포함하는 것인 컴퓨터로 판독가능한 기록매체.
소스 비디오 시퀀스로부터 디지털 기초 비디오 신호를 생성하는 단계와;

소스 비디오 시퀀스로부터 디지털 비디오 강화 데이터의 바디를 생성하는 단계와;

상기 디지털 비디오 강화 데이터의 바디로부터, 대역폭 필요조건을 충족하는, 디지털 비디오 강화 데이터의 층을 생성하는 단계를 포함하고,

상기 디지털 비디오 강화 데이터의 층을 생성하는 단계는,

임계치를 선택하는 단계와;

상기 임계치보다 더 큰 각각의 크기에 대하여 '1' 비트를 포함하는 디지털 비디오 강화 데이터의 층을 생성하는 단계를 포함하는 비디오 처리 방법.
제19항에 있어서,

상기 디지털 비디오 강화 데이터의 바디는 복수개의 크기를 포함하는 비디오 처리 방법.
비디오 데이터 처리를 위한 컴퓨터로 실행가능한 명령을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

소스 비디오 시퀀스로부터 디지털 기초 비디오 신호를 생성하는 단계와;

소스 비디오 시퀀스로부터 디지털 비디오 강화 데이터의 바디를 생성하는 단계와;

상기 디지털 비디오 강화 데이터의 바디로부터, 대역폭 필요조건을 충족하는, 디지털 비디오 강화 데이터의 층을 생성하는 단계를 수행하게 하고,

상기 디지털 비디오 강화 데이터의 층을 생성하는 단계는,

임계치를 선택하는 단계와;

상기 임계치보다 더 큰 각각의 크기에 대하여 '1' 비트를 포함하는 디지털 비디오 강화 데이터의 층을 생성하는 단계를 포함하는 컴퓨터로 판독가능한 기록매체.
제21항에 있어서,

상기 디지털 비디오 강화 데이터의 바디는 복수개의 크기를 포함하는 것인 컴퓨터로 판독가능한 기록매체.
한세트의 값을 포함한 디지털 기초 비디오 신호를 수신하는 단계와;

각 비트가 디지털 기초 비디오 신호의 값에 대응하는 한세트의 비트를 포함한 디지털 비디오 강화 데이터의 층을 수신하는 단계와;

임계치를 수신하는 단계와;

디지털 비디오 강화 데이터의 층 내의 각 '1' 비트에 대하여, 상기 임계치를 상기 디지털 기초 비디오 신호의 대응하는 값과 합성하는 단계를 포함하는 비디오 처리 방법.
제23항에 있어서,

디지털 비디오 강화 데이터의 층 내의 비트에 대응하는 부호 비트를 수신하는 단계를 더 포함하고,

상기 임계치를 상기 디지털 기초 비디오 신호의 대응하는 값과 합성하는 단계는 상기 부호 비트가 양(positive)을 나타낼 때에는 가산 합성을 행하고 상기 부호 비트가 음(negative)을 나타낼 때에는 감산 합성을 행하는 단계를 포함하는 것인 비디오 처리 방법.
비디오 데이터 처리를 위한 컴퓨터로 실행가능한 명령을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

한세트의 값을 포함한 디지털 기초 비디오 신호를 수신하는 단계와;

각 비트가 디지털 기초 비디오 신호의 값에 대응하는 한세트의 비트를 포함한 디지털 비디오 강화 데이터의 층을 수신하는 단계와;

임계치를 수신하는 단계와;

디지털 비디오 강화 데이터의 층 내의 각 '1' 비트에 대하여, 상기 임계치를 상기 디지털 기초 비디오 신호의 대응하는 값과 합성하는 단계를 수행하게 하는 것인 컴퓨터로 판독가능한 기록매체.
제25항에 있어서,

상기 컴퓨터로 실행가능한 명령은 기계로 하여금,

디지털 비디오 강화 데이터의 층 내의 비트에 대응하는 부호 비트를 수신하는 단계를 더 수행하게 하고,

상기 임계치를 상기 디지털 기초 비디오 신호의 대응하는 값과 합성하는 단계는 상기 부호 비트가 양(positive)을 나타낼 때에는 가산 합성을 행하고 상기 부호 비트가 음(negative)을 나타낼 때에는 감산 합성을 행하는 단계를 포함하는 것인 컴퓨터로 판독가능한 기록매체.
엔코더를 포함하고, 이 엔코더는,

소스 비디오 시퀀스로부터 디지털 기초 비디오 신호를 생성하고;

소스 비디오 시퀀스로부터 디지털 비디오 강화 데이터의 바디를 생성하고;

상기 디지털 비디오 강화 데이터의 바디로부터, 대역폭 필요조건을 충족하는, 디지털 비디오 강화 데이터의 층을 생성하도록 구성되고,

상기 엔코더는 추가로,

대역폭 필요조건에 기초하여 임계치를 선택하고;

상기 임계치에 기초하여 디지털 비디오 강화 데이터의 층을 생성하도록 구성된 것인 비디오 처리 시스템.
삭제
디코더를 포함하고, 이 디코더는,

한세트의 값을 포함한 디지털 기초 비디오 신호를 수신하고;

각 비트가 디지털 기초 비디오 신호의 값에 대응하는 한세트의 비트를 포함한 디지털 비디오 강화 데이터의 층을 수신하고;

임계치를 수신하고;

디지털 비디오 강화 데이터의 층 내의 각 '1' 비트에 대하여, 상기 임계치를 상기 디지털 기초 비디오 신호의 대응하는 값과 합성하도록 구성된 것인 비디오 처리 시스템.
제29항에 있어서,

상기 합성에 의해 시청가능한 강화 비디오 신호를 생성하는 것인 비디오 처리 시스템.