KR101015497B1

KR101015497B1 - 디지털 데이터의 부호화/복호화 방법 및 장치

Info

Publication number: KR101015497B1
Application number: KR1020030017979A
Authority: KR
Inventors: 김중회; 김상욱
Original assignee: 삼성전자주식회사
Priority date: 2003-03-22
Filing date: 2003-03-22
Publication date: 2011-02-16
Also published as: US20040183703A1; CN1533036A; EP1463206A1; US7098814B2; CN100512019C; JP2004289837A; KR20040086880A; JP4647923B2

Abstract

디지털 데이터의 부호화/복호화 방법 및 장치가 개시된다.

본 발명에 따라 디지털 데이터를 부호화하는 방법은 (a) 상기 디지털 데이터를 구성하는 복수개의 샘플들을 비트 플래인에 매핑하는 단계; 및 (b) 부호화 효율에 따라 선택적으로 비트 플래인의 최상위 비트들에 대한 비트 분할 데이터에서부터 최하위 비트들에 대한 비트 분할 데이터의 순서로 비트 플래인의 비트 분할 데이터를 전부 부호화하거나, 변형된 비트 분할 부호화 방식에 따라 부호화하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 부호화 효율이 보다 높아진다.

Description

디지털 데이터의 부호화/복호화 방법 및 장치{Method and apparatus for encoding/decoding digital data}

도 1은 본 발명에 따른 부호화 장치의 블럭도,

도 2는 본 발명에 따른 복호화 장치의 블럭도,

도 3은 도 1/2의 부호화/복호화 장치에서 수행되는 부호화/복호화 방법을 설명하기 위한 참고도,

도 4는 도 1의 부호화 장치의 일 구현예,

도 5는 도 4의 FGS 부호화부(44)의 상세 블럭도,

도 6은 도 2의 복호화 장치의 일 구현예

도 7은 도 6의 FGS 복호화부(61)의 상세 블럭도,

도 8은 도 4/6의 부호화/복호화 장치에서 수행되는 부호화/복호화 방법을 설명하기 위한 참고도,

도 9는 본 발명에 따라 비트율을 조절할 수 있도록 계층 구조로 부호화된 비트스트림을 구성하는 프레임의 구조도,

도 10은 부가 정보의 상세 구조도,

도 11 내지 13은 본 발명에 따른 부호화 방법을 보다 구체적으로 설명하기 위한 참고도이다.

본 발명은 디지털 데이터의 부호화/복호화에 관한 것으로, 보다 상세하게는 비트율 조절가능한 디지털 데이터의 부호화/복호화 방법 및 장치에 관한 것이다.

최근 디지털 신호처리 기술의 발달에 의해 오디오 신호는 디지털 데이터로 저장되고 재생되는 경우가 대부분이다. 디지털 오디오 저장/재생 장치는 아날로그 오디오 신호를 샘플링하고 양자화하여 디지탈 신호인 PCM(Pulse Code Modulation) 오디오 데이터로 변환하여 CD, DVD와 같은 정보저장매체에 저장해둔 다음 사용자가 필요로 할 때 이를 재생해서 들을 수 있도록 해준다. 디지탈 방식에 의한 오디오 신호의 저장/복원 방식은 LP(Long-Play Record), 마그네틱 테이프와 같은 아날로그 저장/복원 방식에 비해 음질을 크게 향상시켰고 저장 기간에 따른 열화 현상을 현저히 감소시켰으나 디지털 데이터의 크기가 적지 않아 저장 및 전송이 원할하지 못한 문제점이 있었다.

이와 같은 문제점을 해결하기 위해, 디지털 오디오 신호의 크기를 줄이기 위한 다양한 압축 방식이 사용되고 있다. ISO (International Standard Organization)에 의해 표준화 작업이 이루어진 MPEG/audio(Moving Pictures Expert Group)나 Dolby사에 의해 개발된 AC-2/AC-3는 인간의 심리음향 모델(Psychoacoustic Model)을 이용하여 데이터의 양을 줄이는 방법을 채용하였고 그 결과 신호의 특성에 관계없이 효율적으로 데이터의 양을 줄일 수 있었다. 즉, MPEG/audio 표준이나 AC-2/AC-3 방식은 이전의 디지털 부호화 방식에 비해 1/6 내지 1/8로 줄어든 64 Kbps - 384 Kbps 비트율만으로 CD의 음질과 거의 같은 정도의 음질을 제공한다.

그러나, 이들 방법은 모두 고정된 비트율에 대해 최적의 상태를 찾아 양자화 과정과 부호화 과정을 거치는 방식을 따르므로, 네트워크를 통해 전송할 때 네트워크 상황이 좋지 않아 전송 대역폭이 낮아지면 끊김이 발생하며 사용자에게 더 이상의 서비스를 제공할 수 없게 되는 문제점이 있다. 또한, 제한된 저장 용량을 가지고 있는 이동식 기기에 적합하도록 좀 더 작은 크기의 비트스트림으로 변환하고자 할 때 크기를 줄이기 위해서는 재부호화 과정을 거쳐야 하므로 많은 계산량이 요구된다.

이에, 본 출원인은 비트 분할 부호화 방식을 사용한 디지털 데이터의 부호화/복호화 방법 및 장치를 1997년 11월 19일자 대한민국 특허출원 제97-61299호로 출원하여 2002년 5월 18일자 등록특허 제338801호로 등록받았다. 비트 분할 부호화에 따르면, 높은 비트율로 부호화된 비트스트림을 낮은 비트율의 비트스트림으로 만들 수도 있고 그 중 일부의 비트스트림만을 가지고도 복원이 가능하므로 네트워크에 과부화가 걸리거나 복호화기의 성능이 좋지 않거나 또는 사용자가 낮은 비트율을 요구하면 비트스트림의 일부만을 가지고도 - 비트율이 낮아진 만큼 성능의 열화를 보이겠지만 - 사용자에게 어느 정도의 품질로 서비스를 제공할 수 있다.

그러나, 비트 분할 부호화 방식은 비트 플래인(bit plane)에 매핑된 바이너리 데이터 전부를 부호화하므로, 가령 비트 플래인에 0 이 절반 이상이라도 이들을 전부 부호화하므로 부호화 효율이 낮아지는 경우가 발생될 수 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 비트 분할 부호화를 채용함에 있어서 보다 부호화 효율을 높일 수 있는 디지털 데이터의 부호화/복호화 방법 및 그 장치를 제공하는 것이다.

상기 기술적 과제는 본 발명에 따라 디지털 데이터를 부호화하는 방법에 있어서, (a) 상기 디지털 데이터를 구성하는 복수개의 샘플들을 비트 플래인에 매핑하는 단계; 및 (b) 부호화 효율에 따라 선택적으로 비트 플래인의 최상위 비트들에 대한 비트 분할 데이터에서부터 최하위 비트들에 대한 비트 분할 데이터의 순서로 비트 플래인의 비트 분할 데이터를 전부 부호화하거나, 변형된 비트 분할 부호화 방식에 따라 부호화하는 단계를 포함하는 것을 특징으로 하는 부호화 방법에 의해 달성된다.

상기 부호화 방법은 (c) 부호화된 샘플들을 계층 구조로 패키징하는 단계를 더 포함하는 것이 바람직하다.

상기 부호화 방법은 상기 (b)단계의 변형된 비트 분할 부호화 방식에 따르면 소정 비트 플래인을 구성하는 일부의 비트 분할 데이터를 무손실 부호화하고, 피크의 위치 정보, 나머지 비트 플래인 정보 및 피크 데이터를 부가 정보로서 부호화함이 바람직하다.

상기 (b)단계는 (b1) 부호(sign) 데이터와 크기(magnitude) 데이터로 구성된 상기 샘플들을 동일 개수의 비트를 가진 이진 데이터로 표현하는 단계; (b2) 표현된 디지털 데이터들을 구성하는 크기 데이터들을 비트 분할하는 단계; (b3) 비트 분할된 데이터 중 최상위 비트에 대한 비트 분할 데이터를 무손실 부호화하는 단계; (b4) 상기 (b3)단계에서 부호화된 비트 분할 데이터 중 처음으로 0 이 아닌 값을 갖는 비트를 갖는 샘플에 대한 부호 데이터를 부호화하는 단계; 및 (b5) 상기 (b3) 단계 및 (b4) 단계를 최하위 비트에 대한 비트 분할 데이터에 대해 수행하는 단계를 포함하는 것이 바람직하다.

상기 (b3) 단계는 허프만 부호화(Huffman coding)하는 단계이거나 산술 부호화(Arithmetic coding)하는 단계임이 바람직하다.

상기 (c)단계는 복수개의 계층에 각각 해당하는 부가 정보와 상기 (b)단계에서 부호화된 복수개의 양자화 샘플을 계층 구조로 패키징하는 단계임이 바람직하다.

한편, 본 발명의 다른 분야에 따르면 상기 기술적 과제는 디지털 데이터를 부호화하는 장치에 있어서, 상기 디지털 데이터를 구성하는 복수개의 샘플들을 비트 분할하여 비트 분할 데이터를 얻는 비트 분할부; 및 부호화 효율에 따라 선택적으로 비트 플래인의 최상위 비트들에 대한 비트 분할 데이터에서부터 최하위 비트들에 대한 비트 분할 데이터의 순서로 비트 플래인의 비트 분할 데이터를 전부 부호화하거나, 변형된 비트 분할 부호화 방식에 따라 부호화하는 부호화부를 포함하는 것을 특징으로 하는 부호화 장치에 의해서도 달성된다.

상기 부호화 장치는 상기 부호화부에 의해 부호화된 샘플들을 계층 구조로 패키징하는 비트 패킹부를 더 포함하는 것이 바람직하다.

상기 부호화부는 변형된 비트 분할 부호화 방식에 따라 소정 비트 플래인의 일부의 비트 분할 데이터를 무손실 부호화하고, 피크의 위치 정보, 나머지 비트 플래인 정보 및 피크 데이터를 부가 정보로서 부호화함이 바람직하다.

상기 비트 분할부는 부호(sign) 데이터와 크기(magnitude) 데이터로 구성되며, 동일 개수의 비트를 가진 이진 데이터로 표현된 샘플들의 크기 데이터를 비트 분할하고, 상기 부호화부는 비트 분할된 데이터 중 최상위 비트에 대한 비트 분할 데이터를 무손실 부호화하며, 무손실 부호화된 비트 분할 데이터 중 처음으로 0 이 아닌 값을 갖는 비트를 갖는 샘플에 대한 부호 데이터를 부호화하는 순서로, 최하위 비트에 대한 비트 분할 데이터까지 부호화하는 것이 바람직하다.

상기 부호화부는 상기 비트 분할 데이터를 허프만 부호화(Huffman coding)하거나 산술 부호화(Arithmetic coding)하는 것이 바람직하다.

상기 비트 패킹부는 복수개의 계층에 각각 해당하는 부가 정보와 무손실 부호화된 복수개의 양자화 샘플을 계층 구조로 패키징하는 것이 바람직하다.

한편, 본 발명의 다른 분야에 따르면 상기 기술적 과제는 디지털 데이터를 복호화하는 방법에 있어서, (a) 비트스트림을 분석하여 소정 비트 플레인에 대응하는 부호화된 적어도 하나의 비트 분할 데이터와 변형된 비트 분할 부호화 방식에 따라 부호화된 부가 정보를 얻는 단계; (b) 비트 분할 데이터와 상기 부가 정보를 참조하여 상기 비트 플래인에 대응하는 비트 분할 데이터를 복호화하는 단계; 및 (c) 복호화된 비트 분할 데이터를 비트 결합하여 상기 디지털 데이터를 구성하는 샘플들을 얻는 단계를 포함하는 것을 특징으로 하는 복호화 방법에 의해서도 달성된다.

상기 (a)단계는 피크의 위치 정보, 나머지 비트 플래인 정보 및 피크 데이터를 부가 정보로서 복호화하는 단계를 포함하는 것이 바람직하다.

한편, 본 발명의 다른 분야에 따르면 상기 기술적 과제는 디지털 데이터를 복호화하는 장치에 있어서, 비트스트림을 분석하여 소정 비트 플레인에 대응하는 부호화된 적어도 하나의 비트 분할 데이터와 변형된 비트 분할 부호화 방식에 따라 부호화된 부가 정보를 얻는 비트스트림 분석부; 비트 분할 데이터와 상기 부가 정보를 참조하여 상기 비트 플래인에 대응하는 비트 분할 데이터를 복호화하는 복호화부; 및 복호화된 비트 분할 데이터를 비트 결합하여 상기 디지털 데이터를 구성하는 샘플들을 얻는 비트 결합부를 포함하는 것을 특징으로 하는 복호화 장치에 의해서도 달성된다.

상기 비트스트림 분석부는 피크의 위치 정보, 나머지 비트 플래인 정보 및 피크 데이터를 상기 부가 정보로서 얻는 것이 바람직하다.

이하에서는 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

먼저 본 발명에 따른 부호화 장치의 부호화 방식의 개요는 다음과 같다.

본 발명에 따른 부호화 장치는 입력된 디지털 데이터를 비트 분할한 다음 중요도가 높은 비트부터 중요도가 낮은 비트의 순서로 부호화한다. 즉 부호화할 데이터의 부호화 우선 순위는 데이터 비트들의 상대적인 중요도에 따라 결정된다. 우 선순위가 높은 성분들이 우선 순위가 낮은 비트들에 비해 우선한다. 중요한 비트부터 부호화되기 때문에 허용된 비트 범위보다 지금까지 사용된 비트가 많거나 같아지면 그 순간에 부호화를 멈추고 비트스트림의 제작을 마무리할 수도 있다. 중간에 비트스트림 제작이 중단되었을 경우 복호화기에서 복원된 데이터에는 손실이 발생하여 원래의 데이터에 비해 왜곡이 발생된다. 하지만 중요한 정보가 먼저 부호화되었기 때문에 복호화된 데이터의 품질은 손실된 양에 비해 크게 저하되지 않는다. 또한, 본 발명에 따른 복호화 방식은 부호화 방식에 역순에 의한다.

도 1은 본 발명에 따른 부호화 장치의 블럭도이다.

도 1을 참조하면, 부호화 장치는 비트 분할부(1), 부호화부(2) 및 비트 패킹부(3)를 포함한다. 본 실시예에서 부호화 장치에 입력되는 디지털 데이터는 이진 데이터로 이루어져 있으며, 디지털 데이터를 구성하는 각 샘플들은 동일 개수의 비트로 표현되어 있다. 디지털 데이터는 이진 이외에 10 진이나 16 진 데이터 등일 수 있으며, 이러한 경우 디지털 데이터는 비트로 표현되지 않고 디지트 단위로 표현된다.

비트 분할부(1)는 입력된 디지털 데이터들을 비트 단위로 분할하여 중요도가 높은 비트에서부터 중요도가 낮은 비트의 순서로 배열한다. 비트 분할부(1)는 디지털 데이터를 구성하는 각 샘플을 각각 비트 단위로 분할하고 최상위 비트들에서부터 최하위 비트들의 순서로 배열한다. 보다 구체적으로, 비트 분할부(1)는 먼저 각 샘플의 부호(sign) 값을 보관하고 샘플에 절대값을 취해서 그 부호가 (+)가 되도록 한다. 부호 값은 부호 데이터, 절대값을 취해 얻어진 데이터는 크기(magnitude) 데이터라고 부른다. 크기 데이터들은 각각 비트 단위로 분할하여 각 비트별로 따로 모아서 새로운 시퀀스를 만든다. 예를 들어, 입력된 샘플들이 -31, 12, -9, 7, 17, -23, ... 이라면, 우선 각 데이터에 대한 절대값을 취하여 31, 12, 9, 7, 17, 23, ... 을 얻은 다음 절대값을 취해 얻은 크기 데이터 (31,12,9,7,17,23)를 이진수로 표현하면 다음과 같다.

31: 11111b

12: 01100b

9: 01001b

7: 00111b

17: 10001b

23: 10111b

위의 이진 데이터들 중, 최상위 비트들을 모아서 얻어진 비트 분할 데이터는 100011이 된다. 다음 상위 비트에 대한 비트 분할 데이터는 111000이 된다. 마찬가지로, 최하위 비트에 대한 비트 분할 데이터는 101111이 된다.

부호화부(2)는 비트 분할부(1)에서 얻어진 비트 분할 데이터를 중요도가 가장 높은 순서에서부터 낮은 순서로 무손실 부호화한다. 본 실시예에서 중요도가 가장 높은 비트는 최상위 비트(Most Significant Bit: MSB)이므로 중요도가 가장 높은 비트 분할 데이터는 최상위 비트들로 구성된 비트 분할 데이터이며, 중요도가 가장 낮은 비트는 최하위 비트(Least Significant Bit: LSB)이므로, 중요도가 가장 낮은 비트 분할 데이터는 촤하위 비트들로 구성된 비트 분할 데이터이다. 무손실 부호화로는 산술 부호화(Arithmetic coding)나 허프만 부호화(Huffman coding)를 들 수 있다.

나아가, 부호화부(2)는 부호화된 크기 데이터 중 영이 아닌 크기 데이터에 해당하는 부호 데이터를 부호화한다. 부호 데이터는 크기 데이터가 부호화된 다음에 부호화되어야 한다. 위의 예에서 최상위 비트에 대한 비트 분할 데이터 100011을 부호화한 후 부호 데이터의 부호화가 필요한지에 대한 결정을 한다. 비트 분할 데이터 중 첫 번째 비트, 다섯번째 비트 및 여섯번째 비트에서 0이 아닌 값이 처음으로 부호화가 되었으므로, 이들 비트에 대응하는 부호 데이터를 순서대로 부호화한 후에 다음 비트 분할 데이터 111000을 부호화한다. 마찬가지 방식으로 최하위 비트들로 구성된 비트 분할 데이터 101111까지 부호화한다.

비트 팩킹부(3)는 부호화부(2)에서 중요도에 따라 부호화된 데이터를 부호화되는 순서에 따라 계층 구조의 비트스트림으로 만든다. 상세한 설명은 후술한다.

도 2는 본 발명에 따른 복호화 장치의 블럭도이다.

도 2를 참조하면, 복호화 장치는 비트스트림 분석부(5), 복호화부(6) 및 비트 결합부(7)를 포함한다. 비트스트림 분석부(5)는 비트스트림을 앞에서부터 차례로 분석해 나간다. 먼저 최상위 비트에 대한 비트 분할 데이터를 분류해내고 도 1을 참조하여 설명한 것과 마찬가지 순서로 부호 데이터를 분류해낸다. 부호화된 비트 분할 데이터는 복호화부(6)로 전달되고 부호 데이터는 비트 결합부(7)로 전달되어 원래의 디지털 데이터를 복원하는데 사용된다.

복호화부(6)는 비트스트림 분석부(5)로부터 출력된 부호화된 비트 분할 데이터들 중에서 중요도가 높은 데이터에서부터 중요도가 낮은 데이터의 순서로, 즉 최상위 비트에 대한 비트 분할 데이터에서부터 최하위 비트에 대한 비트 분할 데이터의 순서로 복호화한다. 도 1의 부호화 장치에서 비트 분할 데이터를 부호화하기 위해 적용된 알고리즘의 역 과정을 통해 비트 분할 데이터를 복원할 수 있다.

비트 결합부(7)는 복호화부(6)에서 복원된 비트 분할 데이터들을 다시 복원하여 원래의 디지털 데이터로 만든다. 나아가, 비트 결합부(7)는 비트스트림 분석부(5)에서 구해진 각 샘플에 대한 부호 데이터를 반영시켜, 즉 부호 데이터의 값이 (-)인 경우에는 복원된 크기 데이터에 -1을 곱해서 최종적으로 얻어진 값이 (-)값이 되도록 해준다.

도 3은 도 1/2의 부호화/복호화 장치에서 수행되는 부호화/복호화 방법을 설명하기 위한 참고도이다.

도 3을 참조하면, 부호화의 경우, 입력되는 디지털 데이터가 각각 XQ1, XQ2, XQ3, XQ4,…이고 각각 5 비트일 때, 부호화 장치의 비트 분할부(1)는 XQ1를 XQ1,5, XQ1,4, XQ1,3, XQ1,2, XQ1,1로 나누고, XQ2는 XQ2,5, XQ2,4, XQ2,3, XQ2,2, XQ2,1로 나누며, XQ3은 XQ3,5, XQ3,4, XQ3,3, XQ3,2, XQ3,1로 나누고, XQ4는 XQ4,5, XQ4,4, XQ4,3, XQ4,2, XQ4,1로 나눈다. 나머지도 마찬가지이다. 다음으로, 최상위 비트들을 낮은 주파수에 해당하는 비트부터 높은 주파수에 해당하는 비트까지 순서대로 모은 다음 소정 단위로 잘라서 벡터들을 형성하고 이 벡터들을 부호화한다. 여기서, C[XQ1,5,‥,XQk,5]는 XQ1,5,‥,XQk,5로 구성된 벡터의 무손실 부호화를 나타내고, C[XQk+1,5,‥,XQ2k,5]는 XQk+1,5,‥,XQ2k,5로 구성된 벡터의 무손실 부호화를 나타낸다. 나머지도 마찬가지이다. 여기서, k는 1보다 크거나 같은 정수를 의미한다.

복호화의 경우, 입력된 비트스트림을 구성하는 C[XQ1,5,‥,XQk,5], C[XQk+1,5,‥,XQ2k,5],…를 각각 복호화하여 XQ1,5,‥,XQk,5, XQk+1,5,‥,XQ2k,5, …로 구성된 벡터를 얻은 다음 비트 조합을 통해 디지털 데이터 XQ1, XQ2, XQ3, XQ4,…를 얻는다. 즉, 복호화는 부호화의 역순에 의한다.

도 4는 도 1의 부호화 장치의 일 구현예이다.

도 4를 참조하면, 부호화 장치는 본 발명에 따라 비트율 조절가능하도록 오디오 데이터를 계층 구조로 부호화하는 장치로서, 변환부(41), 심리음향부(42), 양자화부(43) 및 FGS 부호화부(44)를 포함한다.

변환부(41)는 시간 영역의 오디오 신호인 PCM(Pulse Coded Modulation) 오디오 데이터를 입력받아 심리음향부(42)로부터의 제공되는 음향심리모델에 관한 정보를 참조하여 주파수 영역의 신호로 변환한다. 시간 영역에서는 인간이 인지하는 오디오 신호의 특성의 차이가 그리 크지 않지만, 변환을 통해 얻어진 주파수 영역의 오디오 신호는 인간의 음향심리모델에 따라 각 주파수 대역에서 인간이 느낄 수 있는 신호와 느낄 수 없는 신호의 특성 차이가 크기 때문에 각 주파수 대역 별로 할당되는 비트수를 다르게 함으로써 압축의 효율를 높일 수 있다.

심리음향부(42)는 어택(attack) 감지 정보, 등 음향심리모델에 관한 정보를 변환부(41)로 제공하는 한편, 변환부(11)에 의해 변환된 오디오 신호를 적절한 서브 밴드의 신호들로 묶고 각 신호들의 상호작용으로 인해 발생되는 마스킹 현상을 이용하여 각 서브 밴드에서의 마스킹 문턱치(masking threshold)를 계산하여 양자화부(43)로 제공한다. 마스킹 문턱치란 오디오 신호들의 상호 작용으로 인해 인간이 들어도 느끼지 못하는 신호의 최대 크기를 말한다. 본 실시예에서 심리음향부(42)는 BMLD(binaural masking level depression)를 이용하여 스테레오 성분에 대한 마스킹 문턱치 등을 계산한다.

양자화부(43)는 인간이 들어도 느끼지 못하도록 각 대역의 양자화 잡음의 크기가 심리음향부(42)에서 제공된 마스킹 문턱치보다 작도록 각 대역의 오디오 신호들을 대응하는 스케일 팩터 정보를 기초로 스칼라 양자화하여 양자화 샘플들을 출력한다. 즉, 양자화부(43)는 음향심리부(42)에서 계산된 마스킹문턱치와 각 대역에서 발생하는 잡음(noise)의 비율인 NMR (Noise-to-Mask Ratio)를 이용하여 전 대역의 NMR 값이 0 dB 이하가 되도록 양자화한다. NMR 값이 0 dB 이하라는 것은 양자화 잡음을 인간이 들을 수 없음을 의미한다.

FGS 부호화부(44)는 각 계층에 속하는 양자화 샘플들 및 부가 정보를 부호화하여 계층 구조로 패킹한다. 부가 정보는 각 계층에 해당하는 스케일 밴드 정보, 코딩 밴드 정보, 그 스케일 팩터 정보 및 코딩 모델 정보를 포함한다. 스케일 밴드 정보와 코딩 밴드 정보는 헤더 정보로서 패킹되어 복호화 장치로 전송될 수도 있고, 각 계층마다의 부가 정보로서 부호화되고 패킹되어 복호화 장치로 전송될 수도 있으며, 복호화 장치에 미리 저장되어 있음으로 인해 전송되지 않을 수도 있다.

보다 구체적으로, FGS 부호화부(44)는 첫 번째 계층에 상응하는 스케일 팩터 정보 및 코딩 모델 정보를 포함하는 부가 정보를 부호화하는 한편, 첫 번째 계층에 상응하는 코딩 모델 정보를 참조하여 최상위 비트들로 구성된 심벌에서부터 최하위 비트들로 구성된 심벌의 순서로 심벌 단위로 부호화한다. 다음으로 두 번째 계층에 대해서도 동일한 과정을 반복한다. 즉, 미리 결정된 복수개의 계층에 대한 부호화가 완료될 때까지 계층을 증가시키면서 부호화한다.

스케일 밴드 정보는 오디오 신호의 주파수 특성에 따라 보다 적절하게 양자화를 수행하기 위한 정보로, 주파수 영역을 복수개의 밴드로 나누고 각 밴드에 적합한 스케일 팩터를 할당하였을 때 각 계층에 대응하는 스케일 밴드를 알려주는 정보를 말한다. 이에, 각 계층은 적어도 하나의 스케일 밴드에 속하게 된다. 각 스케일 밴드는 할당된 하나의 스케일 팩터를 가진다. 코딩 밴드 정보 또한 오디오 신호의 주파수 특성에 따라 보다 적절하게 부호화를 수행하기 위한 정보로, 주파수 영역을 복수개의 밴드로 나누고 각 밴드에 적합한 코딩 모델을 할당하였을 때 각 계층에 대응하는 코딩 밴드를 알려주는 정보를 말한다. 스케일 밴드와 코딩 밴드는 실험에 의해 적절히 나누어지며 대응하는 스케일 팩터와 코딩 모델이 결정된다.

도 5는 도 4의 FGS 부호화부(44)의 상세 블럭도이다.

도 5를 참조하면, FGS 부호화부(44)는 비트 분할부(1), 부호화부(2) 및 비트 패킹부(3)를 구비한다. FGS 부호화부(44)는 도 1의 부호화 장치와 실질적으로 동일한 기능을 수행하므로, 동일한 참조 번호를 부여하고 반복되는 설명은 생략한다.

도 6은 도 2의 복호화 장치의 일 구현예이다.

도 6을 참조하면, 복호화 장치는 FGS 복호화부(61), 역양자화부(62) 및 역변환부(63)를 포함한다. FGS 복호화부(61)는 비트스트림을 타겟 계층까지 언패킹하고 각 계층 별로 복호화한다. 즉, 각 계층 대응하는 스케일 팩터 정보, 코딩 모델 정보가 포함된 부가 정보를 복호화한 다음, 얻은 코딩 모델 정보를 기초로 각 계층에 속하는 부호화된 양자화 샘플들을 다시 복호화하여 양자화 샘플들을 얻는다.

한편, 스케일 밴드 정보와 코딩 밴드 정보는 비트스트림의 헤더 정보로부터 얻거나, 각 계층 별 부가 정보를 복호화하여 얻을 수 있다. 대안적으로, 복호화 장치가 스케일 밴드 정보 및 코딩 밴드 정보를 미리 저장하고 있을 수도 있다. 역양자화부(62)는 각 계층의 양자화 샘플을 대응하는 스케일 팩터 정보에 따라 역양자화하여 복원한다. 역변환부(63)는 복원된 샘플을 주파수/시간 매핑하여 시간 영역의 PCM 오디오 데이터로 변환하여 출력한다.

도 7은 도 6의 FGS 복호화부(61)의 상세 블럭도이다.

도 7을 참조하면, FGS 복호화부(61)는 비트스트림 분석부(5), 복호화부(6) 및 비트 결합부(7)를 구비한다. FGS 복호화부(61)는 도 2의 복호화 장치와 실질적으로 동일한 기능을 수행하므로, 동일한 참조 번호를 부여하고 반복되는 설명은 생략한다.

도 8은 도 4/6의 부호화/복호화 장치에서 수행되는 부호화/복호화 방법을 설명하기 위한 참고도이다.

도 8을 참조하면, 부호화의 경우, 부호화 장치의 변환부(41)는 입력되는 PCM 오디오 데이터를 변환하여 샘플 X1, X2, X3, X4,…을 얻고 양자화부(42)는 이들을 양자화하여 양자화 샘플 XQ1, XQ2, XQ3, XQ4,…을 얻는다. 얻어진 양자화 샘플 XQ1, XQ2, XQ3, XQ4,…이 각각 5 비트라면, 비트 부할부(1)는 XQ1를 XQ1,5, XQ1,4, XQ1,3, XQ1,2, XQ1,1로 나누고, XQ2는 XQ2,5, XQ2,4, XQ2,3, XQ2,2, XQ2,1로 나누며, XQ3은 XQ3,5, XQ3,4, XQ3,3, XQ3,2, XQ3,1로 나누고, XQ4는 XQ4,5, XQ4,4, XQ4,3, XQ4,2, XQ4,1로 나눈다. 다음으로, 최상위 비트들을 낮은 주파수에 해당하는 비트부터 높은 주파수에 해당하는 비트까지 순서대로 모은 다음 부호화부(2)는 소정 단위로 잘라서 벡터들을 형성하고 이 벡터들을 부호화한다. 여기서, C[XQ1,5,‥,XQk,5]는 XQ1,5,‥,XQk,5로 구성된 벡터의 무손실 부호화를 나타내고, C[XQk+1,5,‥,XQ2k,5]는 XQk+1,5,‥,XQ2k,5로 구성된 벡터의 무손실 부호화를 나타낸다. 나머지도 마찬가지이다. 여기서, k는 1보다 크거나 같은 정수를 의미한다.

한편, 도 6의 복호화 장치는 위의 부호화의 역순에 따라 복호화를 수행한다.

도 9는 본 발명에 따라 비트율을 조절할 수 있도록 계층 구조로 부호화된 비트스트림을 구성하는 프레임의 구조를 보여준다.

도 9를 참조하면, 본 발명에 따른 비트스트림의 프레임은 FGS(Fine Grain Scalability)를 위해 양자화 샘플과 부가 정보를 계층 구조에 맵핑시켜 부호화되어 있다. 즉, 하위 계층의 비트스트림이 상위 계층의 비트스트림에 포함되어 있는 계층 구조를 가진다. 각 계층에 필요한 부가 정보들은 계층 별로 나뉘어서 부호화된다.

비트스트림의 선두에는 헤더 정보가 저장된 헤더 영역이 마련되고, 계층 0의 정보가 패킹되어 있으며, 상위 계층(enhancement layer)인 계층 1 내지 계층 N에 속하는 정보가 순서대로 패킹되어 있다. 헤더 영역에서부터 계층 0 정보까지를 기저 계층(base layer)이라고 부르고, 헤더 영역에서부터 계층 1 정보까지를 계층 1, 계층 2 정보까지를 계층 2라고 부른다. 마찬가지 방식으로, 최상위 계층은 헤더 영역에서부터 계층 N 정보까지, 즉 기저 계층에서부터 상위 계층인 계층 N까지를 말한다. 각 계층 정보로는 부가 정보와 부호화된 데이터가 저장되어 있다. 가령, 계층 2 정보로 부가 정보 2와 부호화된 양자화 샘플들이 담겨 있다. 여기서, N은 1 보다 크거나 같은 정수이다.

도 10은 부가 정보의 상세 구조를 보여준다.

도 10을 참조하면, 임의의 계층 정보로는 부가 정보와 부호화된 양자화 샘플들이 저장되어 있고, 본 실시예에서 부가 정보는 코딩 모델 정보, 양자화 팩터 정보, 채널에 대한 부가 정보와 기타 부가 정보를 포함한다. 코딩 모델 정보는 대응하는 계층에 속하는 양자화 샘플들의 부호화에 사용되거나 복호화에 사용되어야 할 코딩 모델에 대한 정보를 말한다. 스케일 팩터 정보는 대응하는 계층에 속하는 오디오 데이터를 양자화하거나 역영자화하기 위한 양자화 스텝 사이즈를 알려준다. 채널에 대한 부가 정보란 M/S stereo와 같은 채널에 대한 정보를 말한다. 기타 부가 정보는 M/S stereo의 채용 여부에 대한 플래그 정보 등을 말한다.

도 11을 참조하면, 부호화부(2)는 복수개의 양자화 샘플들을 비트 플래인 상에 매핑시켜 이진 데이터로 나타내고 이진 데이터의 최상위 비트(Most Significant Bit, MSB)들로 구성된 비트 분할 데이터부터 최하위 비트(Least Significant Bit, LSB)들로 구성된 비트 분할 데이터의 순서로 해당 계층에 할당된 비트 범위 내에서 무손실 부호화한다. 비트 플래인 상에서 중요한 정보는 먼저 부호화하고 상대적으로 덜 중요한 정보는 나중에 부호화할 수 있다.

보다 구체적으로, 저주파에서 고주파 순서로 배열된 양자화 샘플들 9, 2, 4, 0을 비트 플래인에 매핑하면 각각 1001b, 0010b, 0100b, 0000b의 이진 데이터로 표 시된다. 최상위 비트들 msb로 구성된 비트 분할 데이터는 "1000b"이고, 그 다음 비트들 msb-1로 구성된 비트 분할 데이터는 "0010b"이며, 그 다음 비트들 msb-2로 구성된 비트 분할 데이터는 "0100b"이고, 최하위 비트들 msb-3로 구성된 비트 분할 데이터는 "1000b"이다. 따라서, 1000 0010 0100 1000 순서로 무손실 부호화한다.

도 12의 비트 플래인에 매핑된 블럭은 양자화 샘플 ①, ②, ③의 비트 플래인 ②, ③, ④, ⑤에는 모두 0으로 채워져 있으나 도 11과 같은 방식으로 부호화하는 경우 전부다 부호화해야 하므로 부호화 효율이 낮아진다. 따라서, 이처럼 비트 플래인의 하나의 양자화 샘플만이 높은 피크값을 갖는 경우, 즉 0이 적어도 일부에 군집되어 있는 경우에는 다음에 따른다.

먼저, 0으로 채워진 부분을 제외한 나머지 비트 플래인의 비트 분할 데이터 1100을 부호화하고, 0으로 채워진 부분을 제외한 나머지 양자화 샘플, 즉 피크가 존재하는 양자화 샘플 ④의 위치를 알려주는 위치 정보를 2 비트 11b로 나타낸 다음 0으로 채워진 부분, 즉 부호화되지 않는 부분이 비트 플래인 ② 내지 ⑤임을 알려주는 인덱스 정보는 3 bit, 즉 100b로 표현하고 양자화 샘플 ④의 비트 플래인 ② 내지 ⑤ 부분, 1010b(피크 데이터)을 부호화한다.

따라서, 위의 비트 플래인은 다음과 같이 표현 가능하다.

1 1 0 0(부호화) + 2 bit(피크의 위치 정보) +3 bit(인덱스 정보) + 3-4 bit(1010 - 피크 데이터)

도 13을 참조하면, 본 발명의 부호화 방식에 따르면, 소정 비트 플래인을 부호화함에 있어서 부호화 효율을 고려하여 적어도 일부의 비트 분할 데이터만을 부 호화하고 나머지 부분은 부가 정보에 포함시킨다. 즉, 소정 비트 플래인은 다음과 같이 부호화될 수 있다.

비트 분할 데이터(1100) + 피크의 위치 정보 + 나머지 비트 플래인 정보 + 피크 데이터

위와 같은 방식을 변형된 비트 분할 부호화 방식이라고 한다. 변형된 비트 분할 부호화 방식에 따를 것인지 여부는 부호화 효율을 고려한 후 선택된다. 즉, 변형된 비트 분할 부호화 방식에 따르면 부호화해야 할 비트 분할 데이터의 양은 줄어드는 대신 부호화해야 할 부가 정보의 양은 늘어난다. 따라서, 실제 부호화해보거나 부호화했을 때 필요한 비트 수를 예측하는 알고리즘을 통해 소정 비트 플래인에 대해 변형된 비트 분할 부호화 방식을 취할 것인지 여부를 선택한다.

전술한 바와 같이 본 발명에 따르면 부호화 효율이 보다 높은 디지털 데이터의 부호화/복호화 방법 및 장치가 제공된다.

Claims

디지털 데이터를 부호화하는 방법에 있어서,

(a) 상기 디지털 데이터를 구성하는 복수개의 샘플들을 비트 플래인에 매핑하는 단계; 및

(b) 부호화 효율에 따라 선택적으로 제1 부호화방식과 제2 부호화방식 중 하나에 따라서 부호화를 수행하는 단계를 포함하며, 상기 제1 부호화방식은 상기 비트 플래인에 매핑된 최상위 비트들에 대한 비트 분할 데이터에서부터 최하위 비트들에 대한 비트 분할 데이터의 순서로 상기 비트 플래인의 비트 분할 데이터를 전부 부호화하고, 상기 제2부호화방식은 0으로 채워진 부분을 제외한 나머지 비트플레인을 구성하는 일부의 비트 분할 데이터를 무손실 부호화하고, 1이 존재하는 양자화샘플을 나타내는 피크의 위치 정보, 0으로 채워진 부분을 나타내는 인덱스 정보 및 상기 피크의 데이터를 상기 무손실부호화된 비트분할데이터의 부가 정보로서 부호화하는 것을 특징으로 하는 부호화 방법.
제1항에 있어서,

(c) 부호화된 샘플들을 계층 구조로 패키징하는 단계를 더 포함하는 것을 특징으로 하는 부호화 방법.
삭제
제1항에 있어서,

상기 (b)단계의 상기 제1 부호화방식은

(b1) 부호(sign) 데이터와 크기(magnitude) 데이터로 구성된 상기 샘플들을 동일 개수의 비트를 가진 이진 데이터로 표현하는 단계;

(b2) 표현된 디지털 데이터들을 구성하는 크기 데이터들을 비트 분할하는 단계;

(b3) 비트 분할된 데이터 중 최상위 비트로 구성된 비트 분할 데이터를 무손실 부호화하는 단계;

(b4) 상기 (b3)단계에서 부호화된 비트 분할 데이터 중 처음으로 0 이 아닌 값을 갖는 비트를 갖는 샘플에 대한 부호 데이터를 부호화하는 단계; 및

(b5) 상기 (b3) 단계 및 (b4) 단계를 다음 순위 비트들로 구성된 비트 분할 데이터부터 최하위 비트들로 구성된 비트 분할 데이터까지 수행하는 단계를 포함함을 특징으로 하는 부호화 방법.
제4항에 있어서,

상기 (b3) 단계는 허프만 부호화(Huffman coding)하는 단계임을 특징으로 하는 부호화 방법.
제4항에 있어서,

상기 (b3) 단계는 산술 부호화(Arithmetic coding)하는 단계임을 특징으로 하는 부호화 방법.
제2항에 있어서,

상기 (c)단계는

복수개의 계층에 각각 해당하는 부가 정보와 상기 (b)단계에서 부호화된 복수개의 양자화 샘플을 계층 구조로 패키징하는 단계임을 특징으로 하는 부호화 방법.
디지털 데이터를 부호화하는 장치에 있어서,

상기 디지털 데이터를 구성하는 복수개의 샘플들을 비트 분할하여 비트 분할 데이터를 얻는 비트 분할부; 및

부호화 효율에 따라 선택적으로 제1 부호화방식과 제2 부호화방식 중 하나에 따라서 부호화를 수행하는 단계를 포함하며, 상기 제1 부호화방식은 상기 비트 플래인에 매핑된 최상위 비트들에 대한 비트 분할 데이터에서부터 최하위 비트들에 대한 비트 분할 데이터의 순서로 상기 비트 플래인의 비트 분할 데이터를 전부 부호화하고, 상기 제2부호화방식은 0으로 채워진 부분을 제외한 나머지 비트플레인을 구성하는 일부의 비트 분할 데이터를 무손실 부호화하고, 1이 존재하는 양자화샘플을 나타내는 피크의 위치 정보, 0으로 채워진 부분을 나타내는 인덱스 정보 및 상기 피크의 데이터를 상기 무손실부호화된 비트분할데이터의 부가 정보로서 부호화하는 부호화부를 포함하는 것을 특징으로 하는 부호화 장치.
제8항에 있어서,

상기 부호화부에 의해 부호화된 샘플들을 계층 구조로 패키징하는 비트 패킹부를 더 포함하는 것을 특징으로 하는 부호화 장치.
삭제
제8항에 있어서,

상기 비트 분할부는 부호(sign) 데이터와 크기(magnitude) 데이터로 구성되며, 동일 개수의 비트를 가진 이진 데이터로 표현된 샘플들의 크기 데이터를 비트 분할하고,

상기 부호화부에서 상기 제1 부호화방식은 비트 분할된 데이터 중 최상위 비트에 대한 비트 분할 데이터를 무손실 부호화하며, 무손실 부호화된 비트 분할 데이터 중 처음으로 0 이 아닌 값을 갖는 비트를 갖는 샘플에 대한 부호 데이터를 부호화하는 순서로, 최하위 비트에 대한 비트 분할 데이터까지 부호화하는 것을 특징으로 하는 부호화 장치.
제8항에 있어서,

상기 부호화부는 상기 비트 분할 데이터를 허프만 부호화(Huffman coding)하는 것을 특징으로 하는 부호화 장치.
제8항에 있어서,

상기 부호화부는 상기 비트 분할 데이터를 산술 부호화(Arithmetic coding)하는 것을 특징으로 하는 부호화 장치.
제8항에 있어서,

상기 비트 패킹부는

복수개의 계층에 각각 해당하는 부가 정보와 무손실 부호화된 복수개의 양자화 샘플을 계층 구조로 패키징하는 것을 특징으로 하는 부호화 장치.
부호화 효율에 따라 선택적으로 비트 플래인의 최상위 비트들에 대한 비트 분할 데이터에서부터 최하위 비트들에 대한 비트 분할 데이터의 순서로 비트 플래인의 비트 분할 데이터를 전부 부호화하는 제1 부호화방식과 0으로 채워진 부분을 제외한 나머지 비트플레인을 구성하는 일부의 비트 분할 데이터를 무손실 부호화하고, 1이 존재하는 양자화샘플을 나타내는 피크의 위치 정보, 0으로 채워진 부분을 나타내는 인덱스 정보 및 상기 피크의 데이터를 상기 무손실부호화된 비트분할데이터의 부가 정보로서 부호화하는 제2 부호화방식 중 하나에 따라서 부호화가 수행되어 생성된 비트스트림을 복호화하는 방법에 있어서,

(a) 상기 비트스트림을 분석하여, 소정 비트 플레인에 대응하는 부호화된 적어도 하나의 비트 분할 데이터와 부가 정보를 얻는 단계;

(b) 비트 분할 데이터와 상기 부가 정보를 참조하여 상기 비트 플래인에 대응하는 비트 분할 데이터를 복호화하는 단계; 및

(c) 복호화된 비트 분할 데이터를 비트 결합하여 상기 디지털 데이터를 구성하는 샘플들을 얻는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
제15항에 있어서,

상기 (a)단계는 피크의 위치 정보, 나머지 비트 플래인 정보 및 피크 데이터를 부가 정보로서 복호화하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
부호화 효율에 따라 선택적으로 비트 플래인의 최상위 비트들에 대한 비트 분할 데이터에서부터 최하위 비트들에 대한 비트 분할 데이터의 순서로 비트 플래인의 비트 분할 데이터를 전부 부호화하는 제1 부호화방식과 0으로 채워진 부분을 제외한 나머지 비트플레인을 구성하는 일부의 비트 분할 데이터를 무손실 부호화하고, 1이 존재하는 양자화샘플을 나타내는 피크의 위치 정보, 0으로 채워진 부분을 나타내는 인덱스 정보 및 상기 피크의 데이터를 상기 무손실부호화된 비트분할데이터의 부가 정보로서 부호화하는 제2 부호화방식 중 하나에 따라서 부호화가 수행되어 생성된 비트스트림을 복호화하는 장치에 있어서,

상기 비트스트림을 분석하여, 소정 비트 플레인에 대응하는 부호화된 적어도 적어도 하나의 비트 분할 데이터와 부가 정보를 얻는 비트스트림 분석부;

비트 분할 데이터와 상기 부가 정보를 참조하여 상기 비트 플래인에 대응하는 비트 분할 데이터를 복호화하는 복호화부; 및

복호화된 비트 분할 데이터를 비트 결합하여 상기 디지털 데이터를 구성하는 샘플들을 얻는 비트 결합부를 포함하는 것을 특징으로 하는 복호화 장치.
제17항에 있어서,

상기 비트스트림 분석부는 피크의 위치 정보, 나머지 비트 플래인 정보 및 피크 데이터를 부가 정보로서 얻는 것을 특징으로 하는 복호화 장치.