KR101171373B1

KR101171373B1 - 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법

Info

Publication number: KR101171373B1
Application number: KR1020050098317A
Authority: KR
Inventors: 장의선; 이선영; 이충구
Original assignee: (주)휴맥스
Priority date: 2005-10-18
Filing date: 2005-10-18
Publication date: 2012-08-10
Also published as: KR20070042416A

Abstract

복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법이 개시된다. 복호화기는 비트스트림 신택스 엘리먼트의 정보를 저장하는 엘리먼트 정보 저장부; 입력된 비트스트림의 헤더 영역에 포함된 구문 엘리먼트들의 해석 순서를 구문 규칙 테이블을 이용하여 특정하고, 특정된 구문 엘리먼트들의 순서에 따라 구문 엘리먼트 테이블을 이용하여 제어 신호 및 문맥 정보를 생성하여 상기 엘리먼트 정보 저장부에 저장하고 저장된 상기 제어 신호 및 문맥정보를 이용하여 후속하는 비트스트림 신택스를 해석 하는 구문 해석부; 및 상기 제어 신호 및 문맥 정보를 이용하여 상기 비트스트림에 포함된 데이터를 동영상 데이터로 디코딩하는 디코딩 처리부를 포함한다. 따라서, 각 표준에 따른 다양한 형식으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화할 수 있다.

MPEG, 비디오, 비트스트림, 복호화, syntax, semantic

Description

복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법{Decoding device and method for analyzing syntax to decode bit-stream}

도 1은 일반적인 복호화기의 구성을 개략적으로 나타낸 도면.

도 2는 일반적인 부호화기의 구성을 개략적으로 나타낸 도면.

도 3은 본 발명의 일 실시예에 따른 복호화기의 구성을 개략적으로 나타낸 도면.

도 4는 본 발명의 일 실시예에 따른 syntax 해석부의 구성을 개략적으로 나타낸 도면.

도 5는 본 발명의 일 실시예에 따른 syntax 해석 과정을 예시한 도면.

도 6은 본 발명의 일 실시예에 따른 부호화기의 구성을 개략적으로 나타낸 도면.

본 발명은 비트스트림 복호화에 관한 것으로, 보다 상세하게는 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법에 관한 것이다.

일반적으로 동영상은 부호화기에 의해 비트스트림(Bit-stream) 형태로 변환된다. 이때, 비트스트림은 부호화기의 제약 조건을 만족하는 부호화 유형에 따라 저장된다.

MPEG은 비트스트림의 제약 조건으로서 구문(syntax, 이하 'syntax'라 칭함), 의미(semantics, 이하 'semantics'라 칭함) 및 syntax의 순서를 요구한다.

syntax는 데이터의 구조나 형식 및 길이를 나타내며, 데이터가 어떤 순서로 표현되는지를 나타낸다. 즉, syntax는 부호화(encoding)/복호화(decoding) 작업을 위한 문법을 맞추기 위한 것으로, 비트스트림에 포함된 각 요소들(elements)의 순서와 각 요소의 길이, 데이터 형식 등을 정의한다.

Semantics는 데이터를 구성하는 각 비트가 의미하는 뜻을 나타낸다. 즉, semantics는 비트스트림 내의 각 요소들의 의미가 무엇인지를 나타낸다.

따라서, 부호화기의 부호화 조건 또는 적용된 표준(또는 코덱)에 따라 다양한 형태의 비트스트림이 생성될 수 있다. 일반적으로 각 표준(예를 들어 MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)은 각각 상이한 비트스트림 syntax를 가진다.

따라서, 각 표준이나 부호화 조건에 따라 부호화된 비트스트림은 각각 다른 형식(즉, syntax 및 semantics)을 가진다고 할 수 있으며, 해당 비트스트림의 복호화를 위해서는 부호화기에 대응되는 복호화기가 사용되어야 한다.

상술한 바와 같이, 종래의 비트스트림 복호화기는 부호화기의 제약 조건을 만족하여야 하는 제한이 있었으며, 이러한 제한은 복수의 표준에 대응되는 통합 복호화기를 구현하기 어려운 원인이 된다.

따라서 본 발명은 상술한 문제점을 해결하기 위한 것으로, 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화할 수 있는 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 제공하기 위한 것이다.

본 발명은 다양한 형태의 비트스트림을 통합 코덱 및/또는 일반 코덱 내에서 복호화할 수 있도록 비트스트림 syntax를 용이하게 해석할 수 있는 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 제공하기 위한 것이다.

본 발명은 다양한 형태의 비트스트림을 복호화하기 위한 syntax 해석 방법을 공통적으로 적용할 수 있는 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 제공하기 위한 것이다.

본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax element 해석에 의해 생성된 정보)를 비트스트림 복호화를 위해 이용되는 구성 요소들이 공유할 수 있도록 하는 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 제공하기 위한 것이다.

본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax element 해석에 의해 생성된 정보)를 후속하는 비트스트림 syntax 엘리먼트의 해석을 위해 이용할 수 있는 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 제공하기 위한 것이다.

또한, 본 발명은 비트스트림 복호화의 통합에 관한 개념 및 구조에 대한 국제 표준화를 기하기 위한 것이며, 그 외의 다른 본 발명의 목적들은 이하에 서술되는 실시예들을 통하여 보다 명확해질 것이다.

상술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 복호화기가 제공된다.

본 발명의 일 실시예에 따른 복호화기는, 비트스트림 구문(syntax) 엘리먼트(element)에 상응하는 정보를 저장하는 엘리먼트 정보 저장부; 입력된 비트스트림의 헤더 영역에 포함된 비트스트림 구문 엘리먼트들의 해석 순서를 구문 규칙 정보를 이용하여 특정하고, 특정된 구문 엘리먼트들의 순서에 따라 구문 엘리먼트 정보를 이용하여 제어 신호 및 문맥 정보를 생성하여 상기 엘리먼트 정보 저장부에 저장하는 구문 해석부; 및 상기 제어 신호 및 문맥 정보를 이용하여 상기 비트스트림에 포함된 데이터를 동영상 데이터로 디코딩하는 디코딩 처리부를 포함할 수 있다.

상기 구문 해석부는 CSCI(Control Signal and Context Information) 정보를 이용하여 상기 제어 신호 및 문맥 정보의 의미 및 상응하는 값을 생성하여 상기 엘리먼트 정보 저장부에 더 저장할 수 있다.

상기 구문 규칙 정보, 상기 구문 엘리먼트 정보 및 상기 CSCI 정보는 바이너리 코드로 구현될 수 있다.

상기 구문 해석부는 상기 엘리먼트 정보 저장부에 저장된 상기 제어 신호 및 문맥 정보 중 적절한 제어 신호 및 문맥 정보를 독출하여 현재의 구문 엘리먼트의 해석을 수행하는 것을 특징으로 한다.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법의 실시예를 상세히 설명하기로 한다. 첨부 도면을 참조하여 본 발명을 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

일반적인 복호화기 및 부호화기

도 1은 일반적인 복호화기의 구성을 개략적으로 나타낸 도면이고, 도 2는 일반적인 부호화기의 구성을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 일반적으로 MPEG-4 복호화기(100)는 가변장 디코딩부(Variable Length Decoding, 110), 역 스캔부(Inverse Scan, 115), 역 DC/AC 예측부(Inverse DC/AC Prediction, 120), 역 양자화부(Inverse Quantization, 125), 역 DCT부(Inverse Discrete Cosine Transform, 역 이산 여현부, 130), 동영 상 복원부(VOP Reconstruction, 135)를 포함한다. 복호화기(100)의 구성은 적용되는 표준에 따라 상이할 수 있음은 자명하며, 또한 일부 구성요소는 타 구성요소로 대체될 수도 있다.

전달된 비트스트림이 syntax 파싱(parsing)하여 헤더를 제외한 영상 데이터가 추출되면, 가변장 디코딩부(110)는 허프만 테이블을 이용하여 양자화된 DCT 계수를 만들고, 역 스캔부(115)는 역 스캔을 수행하여 동영상과 동일한 순서의 데이터를 생성한다. 즉, 역 스캔부(115)는 인코딩시 여러 가지 방법으로 스캔된 순서의 역으로, 값을 출력한다. 인코딩 시 양자화를 수행 한 후 주파수 대역의 값의 분포에 따라서 스캔 방향이 정의될 수 있다. 일반적으로는 zig-zag 스캔 방법이 사용되나, 코덱별로 여러 종류의 스캔 방법이 있다.

Syntax 파싱은 가변장 디코딩부(110)에서 통합적으로 수행되거나, 가변장 디코딩부(110)에 선행하여 비트스트림을 처리하는 임의의 구성 요소에서 수행될 수 있다. 이 경우, Syntax 파싱은 부호화기와 복호화기간에 적용되는 표준이 동일하므로 해당 표준에 상응하도록 미리 지정된 기준에 의해서만 처리된다.

역 DC/AC 예측부(120)는 주파수 대역에서 DCT 계수의 크기를 이용하여 예측을 위한 참조 블록의 방향성을 결정한다.

역 양자화부(125)는 역 스캔된 데이터를 역 양자화한다. 즉, 인코딩시 지정된 양자화값(QP : Quantization Parameter)을 이용하여 DC와 AC 계수를 환원한다.

역 DCT부(130)는 역 이산 여현 변환을 수행하여 실제 동영상 픽셀 값을 구하여 VOP(Video Object Plane)를 생성한다. 동영상 복원부(135)는 역 DCT부에 의해 생성된 VOP를 이용하여 동영상 신호를 복원하여 출력한다.

도 2에 도시된 바와 같이, 일반적으로 MPEG-4 부호화기(200)는 DCT부(210), 양자화부(215), DC/AC 예측부(220), 스캔부(230), 가변장 인코딩부(235)를 포함한다.

부호화기(200)에 포함된 각 구성요소는 각각 대응되도록 복호화기(100)에 포함된 구성 요소의 역 기능을 수행하며, 이는 당업자에게 자명하다. 간단히 설명하면, 부호화기(200)는 동영상 신호(즉, 디지털 영상 픽셀 값)를 이산 여현 변환(Discrete Cosine Transform), 양자화(Quantization) 등을 통해 주파수 값으로 변환하여 부호화를 수행한 후 이를 정보의 빈도 수에 따라 비트 길이를 차별화하는 가변장 인코딩을 수행하여 압축된 비트스트림 상태로 출력한다.

본 발명에 따른 복호화기 및 syntax 해석 방법

도 3은 본 발명의 일 실시예에 따른 복호화기의 구성을 개략적으로 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 syntax 해석부의 구성을 개략적으로 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 syntax 해석 과정을 예시한 도면이다.

도 3에 도시된 바와 같이, 본 발명에 따른 복호화기(300)는 종래의 복호화기(100 - 이하, '디코딩 처리부'라 칭함)에 비해 Syntax 해석부(310)를 더 포함한다. 도시된 복호화기(300)의 구성은 단지 예시로서 제시한 것에 불과하고, 그 구성은 입력된 비트스트림을 동영상으로 복원하기 위한 구성이면 충분하며, 적용되는 표준 등에 따라 상이하게 구성될 수 있다. 종래의 디코딩 처리부(100)도 Syntax 파싱을 위한 구성 요소를 더 포함할 수 있으나, 양자간의 Syntax 처리 과정에는 많은 차이점이 존재하며, 이는 이하의 설명을 통해 쉽게 이해될 것이다.

Syntax 해석부(310)는 도 3에 도시된 바와 같이 가변장 디코딩부(110)에 선행하도록 구비될 수 있다. 이는 가변장 디코딩부(110)가 비트스트림의 헤더 영역에 포함된 정보로서 특정 길이 영역의 데이터를 읽어 허프만 (Huffman) 디코딩을 수행하여 Semantic 데이터를 생성할 때, Syntax 해석부(310)에 의해 해석/생성된 엘리먼트 정보(element information)를 이용할 수 있기 때문이다.

물론, Syntax 해석부(310)가 가변장 디코딩부(110)에 삽입되거나, 가변장 디코딩부(110)와 병렬로 결합될 수도 있음은 자명하다. 다만, 가변장 디코딩부(110)와 병렬로 결합된 Syntax 해석부(310)가 엘리먼트 정보를 해석/생성하여 엘리먼트 정보 저장부(320)에 저장하기 위해서는 가변장 디코딩부(110)가 입력받은 비트스트림(또는 헤더 영역의 정보들)을 Syntax 해석부(310)로 제공하여야 할 것이다.

Syntax 해석부(310)는 예를 들어, FSM(Finite State Machine)으로 구현될 수 있다.

Syntax 해석부(310)는 확장 비트스트림(Universal Bit-stream)으로부터 추출된 Syntax 규칙(Rule) 정보, 및 미리 저장된 Syntax 엘리먼트 테이블, 제어 신호/문맥 정보(Control signal/context information) 테이블을 이용하여 각 Syntax 엘리먼트에 상응하는 엘리먼트 정보(예를 들어, syntax 엘리먼트들의 순서(order), syntax 엘리먼트들의 길이(length), Syntax 엘리먼트들의 데이터 형식(syntax type), 각 syntax 엘리먼트들의 상호관계, 각 Syntax 엘리먼트들을 이용하는 타 구성 요소들의 범위 등)를 순차적으로 해석하여 엘리먼트 정보 저장부(320)에 저장한다. 즉, 엘리먼트 정보에는 이하에서 설명될 SET 출력값, CSCIT 출력값 등이 포함된다고 할 수 있다.

가변장 디코딩부(110)는 semantics 데이터를 생성하기 위해 엘리먼트 정보 저장부(320)에 저장된 엘리먼트 정보를 이용할 수 있다.

또 다른 방법으로서, Syntax 해석부(310)는 해석한 엘리먼트 정보를 가변장 디코딩부(110)로 전송하고, 필요한 경우 해당 엘리먼트 정보를 엔트로피 디코딩하여 엘리먼트 정보 저장부(320)에 저장할 수도 있다.

이와 같이, 엘리먼트 정보 저장부(320)에 엘리먼트 정보를 저장하는 주체는 Syntax 해석부(310) 또는 가변장 디코딩부(110)일 수 있으며, 이는 설계 또는 구현상의 편의에 의해 지정될 수 있다. 물론, 엘리먼트 정보 저장 주체가 Syntax 해석부(310) 및 가변장 디코딩부(110)일 수 있으며, 각각이 저장하는 엘리먼트 정보의 유형을 달리 지정할 수도 있음은 당연하다. 이는 이하에서 동일하다.

본 명세서에서의 확장 비트스트림(Universal Bit-stream)은 종래의 부호화기(200)에 의해 생성되는 일반적인 비트스트림 외에 임의의 영역에 Syntax 규칙 테이블을 더 포함한 비트스트림을 의미한다. Syntax 규칙 정보는 종래의 비트스트림의 임의의 영역에 삽입되거나 부가되어 확장 비트스트림을 구성한다. 보다 바람직하게는 규칙 정보는 종래의 비트스트림의 헤더 정보 전단에 구비됨이 바람직할 것이다.

확장 비트스트림은 Syntax 규칙 테이블 외에 Syntax 엘리먼트 테이블, 제어 신호/문맥 정보(Control signal/context information) 테이블 중 적어도 어느 하나를 더 포함할 수도 있음은 자명하다. 다만, 확장 비트스트림 내에 Syntax 엘리먼트 테이블, 제어 신호/문맥 정보(Control signal/context information) 테이블 중 적어도 어느 하나가 포함되지 아니한 경우, 이들은 복호화기(300) 또는 Syntax 해석부(310)가 미리 구비하고 있어야 할 것이다.

또한, Syntax 규칙 테이블, Syntax 엘리먼트 테이블, 제어 신호/문맥 정보(Control signal/context information) 테이블은 편의상 테이블 형태로 도시하고 설명하나, 실제적으로는 각 정보들이 순차적으로 나열되어 표시될 수도 있음은 자명하다.

예를 들어, Syntax 규칙 테이블, Syntax 엘리먼트 테이블, 제어 신호/문맥 정보(Control signal/context information) 테이블은 바이너리 코드 형태로 표시 및/또는 기술된 임의의 정보일 수 있다. 따라서, 해당 정보들의 표현이 간략해질 수 있고, Syntax 엘리먼트 테이블의 처리 내용(Process - 표 2 참조)의 표현이 간단해질 뿐 아니라 구현 및 컴파일이 간단해질 수 있다. 또한 하나의 Syntax 파싱 함수로 다양한 표준의 비트스트림 Syntax 파싱이 가능한 특징이 있다.

본 발명에 따른 복호화기(300)는 부호화기로부터 확장 비트스트림을 수신하여, 확장 비트스트림 내에 포함된 동영상 데이터를 복호화할 수도 있으나, 부호화기로부터 비트스트림만을 수신할 수도 있다. 이 경우, 복호화기(300)는 별도의 데이터 또는 전자파일의 형태로 부호화기로부터 Syntax 규칙 정보(및 Syntax 엘리먼 트 테이블, 제어 신호/문맥 정보(Control signal/context information) 테이블 중 적어도 어느 하나를 더 포함)를 수신하여야 할 것이다.

다만, 본 명세서에서는 본 발명에 따른 부호화기(1000)가 Syntax 규칙 정보와 비트스트림을 이용하여 하나의 확장 비트스트림을 생성하고, 복호화기(300)는 확장 비트스트림에 포함된 규칙 정보를 이용하여 비트스트림에 포함된 압축 데이터를 디코딩하는 경우를 중심으로 설명한다.

Syntax 해석부(310)가 도 3과 같이 가변장 디코딩부(110)의 전단에 구비된 경우, 가변장 디코딩부(110)는 입력된 비트스트림을 엘리먼트 정보 저장부(320)에 저장된 엘리먼트 정보를 이용하여 Semantics 데이터를 생성할 수 있다. 가변장 디코딩부(110)가 Syntax 해석부(310)로부터 수신한 엘리먼트 정보를 필요한 경우 엔트로피 디코딩하여 엘리먼트 정보 저장부(320)에 저장할 수도 있음은 앞서 설명한 바와 같다.

도 4에는 Syntax 해석부(310)의 구성이 개략적으로 예시되어 있다.

도 4에 도시된 바와 같이, Syntax 해석부(310)는 해석 수행부(410)를 포함하며, 해석 수행부(410)는 Syntax 엘리먼트 테이블(420), CS(제어 정보)CI(문맥 정보) 테이블(430), Syntax 규칙 테이블(440)을 이용하여 비트스트림의 헤더 영역에 포함된 Syntax 엘리먼트들을 해석하고 엘리먼트 정보를 추출 또는 생성하여 엘리먼트 정보 저장부(320)에 저장한다. 상술한 바와 같이, 해석 수행부(410)는 추출 또는 생성한 엘리먼트 정보(예를 들어, 해석된 값)를 가변장 디코딩부(110)로 전송하고, 가변장 디코딩부(110)는 수신한 엘리먼트 정보를 semantic 데이터로 변환하여 엘리먼트 정보 저장부(320)에 저장할 수도 있음은 자명하다.

Syntax 엘리먼트 테이블(420), CS(제어 정보)CI(문맥 정보) 테이블(430)은 Syntax 해석부(310) 내에 구비될 수 있다. 예를 들어, Syntax 해석부(310)가 프로그램 코드들의 조합으로 구현되는 경우, Syntax 엘리먼트 테이블(420) 및 CS(제어 정보)CI(문맥 정보) 테이블(430)에 상응하는 정보가 함께 포함되도록 구현될 수 있다.

또는, Syntax 엘리먼트 테이블(420), CS(제어 정보)CI(문맥 정보) 테이블(430)은 별도의 저장부에 저장된 상태에서 해석 수행부(410)에 의한 Syntax 해석 시 참조될 수도 있다.

마찬가지로, 확장 비트스트림에 포함되거나 별도의 데이터로 수신된 Syntax 규칙 테이블(440)은 Syntax 해석부(310)의 동작을 위해 Syntax 해석부(310) 내에 삽입되거나 별도의 저장부에 저장되어 참조될 수 있다.

엘리먼트 정보 저장부(320)에 저장된 엘리먼트 정보들은 후속하는 비트스트림 신택스를 해석하는 경우 및/또는 비트스트림의 복호화를 위해 동작하는 각 구성요소들에 의해 참조될 수 있다.

엘리먼트 정보 저장부(320)에 저장되는 엘리먼트 정보에는 Syntax 엘리먼트 테이블(420), CSCI 테이블(430), Syntax 규칙 테이블(440)을 이용하여 해석된 엘리먼트의 이름과 실제 해당하는 값이 포함될 수 있다.

Syntax 엘리먼트 해석 시 Syntax 엘리먼트 테이블(420), CSCI 테이블(430), Syntax 규칙 테이블(440)에 의해 제공될 수 있는 엘리먼트 정보들에는 예를 들어, syntax 엘리먼트들의 순서(order), syntax 엘리먼트들의 길이(length), Syntax 엘리먼트들의 데이터 형식(syntax type), 각 syntax 엘리먼트들의 상호관계, 각 Syntax 엘리먼트들을 이용하는 타 구성 요소들의 범위 등이 있다.

이하, 해석 수행부(410)에 의한 Syntax 해석 방법을 구체적으로 설명한다. 설명의 편의를 위해, Syntax 엘리먼트 테이블(420)은 'SET'라 칭하고, CS(제어 정보)CI(문맥 정보) 테이블(430)은 'CSCIT'라 칭하며, Syntax 규칙 테이블(440)은 'RT'라 칭하기로 한다.

해석 수행부(410)는 수신된 확장 비트스트림으로부터 RT(440)를 추출하거나 별도의 데이터로 RT(440)를 수신한다.

RT(440)는 아래 표 1과 같이 구성될 수 있다.

표 1. RT의 구성

Index No.	Input	No. of branches	Branch 1	Branch 2
RE		-
R0	-	1	TRUE → (S1, R1)
R1	C1	2	C1== FALSE → (NULL, RE)	C1==TRUE → (S2, R2)
R2	-	1	TRUE → (S3, R3)
R3	C1	2	C1== FALSE → (S5, R4)	C1==TRUE → (S4, R5)
R4	C1	2	C1== FALSE → (NULL, RE)	C1==TRUE → (S6, R6)
R5	-	1	TRUE → (S5, R4)
R6	C4	2	C4== FALSE → (S9, R9)	C4==TRUE → (S7, R7)
R7	-	1	TRUE → (S8, R8)
R8	-	1	TRUE → (S9, R9)
R9	C1	2	C1== FALSE → (NULL, RE)	C1==TRUE → (S10, R10)
…	…	…	…	…

1) RE: syntax decoding error

해석 수행부(410)는 입력된 비트스트림의 Syntax 엘리먼트들간의 연결 정보를 RT를 이용하여 인식할 수 있다.

표 1에 나타난 바와 같이, RT(440)는 각 Syntax 엘리먼트들간의 연결 관계를 구분하기 위한 '인덱스 번호(Index No.) 필드', 각 Syntax 엘리먼트들간의 연결 제어를 위한 입력값(즉, 엘리먼트 정보 저장부(320)에 이미 저장된 임의의 엘리먼트 정보(제어 신호 및 문맥 정보))인 '입력(input) 필드', 현재 Syntax 엘리먼트와 연결될 수 있는 엘리먼트들의 수를 나타내는 '분기 수(No. of branches) 필드', 각 분기 조건에 상응하는 분기 경로를 나타내는 '분기 경로(branch #) 필드'를 포함한다.

'입력 필드'는 연결될 수 있는 Syntax 엘리먼트들이 복수인 경우에만 존재하며 이 값을 이용하여 분기 제어가 가능하다. 예를 들어, '인덱스 번호' R2는 분기가 없으므로 입력값이 없으나, '인덱스 번호' R3는 분기가 있으므로 입력값이 존재한다.

'분기 경로 필드'에는 해당 경로로 분기하기 위한 분기 조건(예를 들어, C4 == FALSE)이 있으며, 분기 조건이 없는 경우에는 '인덱스 번호' R5와 같이 항상 'TRUE'로서 인식된다. 분기 조건 이후에는 Syntax 엘리먼트 지정 정보(예를 들어, 'S9'와 같이 SET(420) 내의 인덱스 번호)와 RT(440) 상에서의 다음 번 연결 정보(예를 들어, 'R9'와 같이 RT(440) 내의 인덱스 번호)가 쌍(pair)으로 기재된다.

이와 같이, 본 발명에 따른 복호화기(300)는 신규 표준의 발생, 기존 표준의 Syntax 구조 변경(예를 들어, 수정, 추가 또는 삭제)시에도 RT(440)에 해당 정보만 을 변경(예를 들어, 수정, 추가 또는 삭제)함으로써 입력된 비트스트림의 Syntax 엘리먼트의 해석이 이루어지도록 할 수 있는 장점이 있다.

또한, 해석 수행부(410)는 SET(420)를 참조하여 Syntax 엘리먼트 지정 정보를 이용한 SET 출력값을 추출 또는 생성하여 엘리먼트 정보 저장부(320)에 저장한다. 상술한 바와 같이, 해석 수행부(410)는 추출 또는 생성한 엘리먼트 정보(예를 들어, 해석된 값)를 가변장 디코딩부(110)로 전송하고, 가변장 디코딩부(110)는 수신한 엘리먼트 정보를 semantic 데이터로 변환하여 엘리먼트 정보 저장부(320)에 저장할 수도 있음은 자명하다. SET 출력값은 제어 신호 및 문맥 정보(Control Signal and Context Information)일 수 있다.

SET(420)는 아래 표 2와 같이 구성될 수 있다.

표 2. SET의 구성

Index No.	Name of Syntax Element	Input	Output	Process
S1	Vo_sequence_start_code	32bit string	C1	Read ibs if ibs == 0x000001B1, C1 = TRUE else C1 = FALSE
S2	Profile_level_indication	8-bit integer	C2	Read ibs C2 = ibs
S3	User_data_start_code	32-bit string	C1	Read ibs If ibs == 0x000001B2, C1 = TRUE Else C1 = FALSE

S4	User_data	8bit string	C3	Char a1, a2; While(TRUE) { Read ibs; If (ibs == 0x00) { A1= ibs; Read ibs; if (ibs == 0x00) { A2=ibs; Read ibs; If(ibs==0x00 \|\| ibs==0x01) { Unread ibs; Unread a2; Unread a1; Break; } Else { concatenate (C3,A1); concatenate (C3,A2); concatenate (C3,ibs); } } Else { concatenate (C3,A1); concatenate (C3,ibs); } } Else concatenate (C3,ibs); }
S5	Vo_start_code	32-bit string	C1	Read ibs If ibs == 0x000001B5, C1 = TRUE Else C1 = FALSE
S6	Is_VO_identifier	1-bit flag	C4	Read ibs C4 = ibs
S7	VO_verid	4-bit	C5	Read ibs C5 = ibs
S8	VO_priority	3-bit	C6	Read ibs C6 = ibs
S9	VO_type	4-bit	C1	Read ibs If (ibs == '001' C1=TRUE Else C1=FALSE
S10	Video_signal_type	1-bit	C7	Read ibs C7 = ibs
…	…	…	…	…

1) ibs: input bit string

2) vbs: variable bit string

3) In describing the process of SET, there may be repetitive operations (such as S6, S7, S8, S10)

표 2에 나타난 바와 같이, SET(420)는 각 Syntax 엘리먼트에 대한 인덱스, 이름, 입력 데이터, 출력 데이터 및 처리 내용으로 구성된다.

인덱스는 RT(440)에서 각 Syntax 엘리먼트 지정 정보로 이용되는 구분자이고, 입력 데이터는 비트스트림의 데이터로서 해당 데이터의 길이를 나타낸다. 출력 데이터는 제어 신호 및 문맥 정보(Control Signal and Context Information)로 기능하며, 각 Syntax 엘리먼트의 인덱스별로 지정된 처리 내용에 의해 생성 또는 추출된다. 참고적으로, 일반적인 경우 지정된 처리를 하기 위해서는 가변장 디코딩부(110)에 의해 semantic 데이터로 변환하여야 한다. 이는 해당 데이터가 가변장 테이블이 존재 하는 경우이다. 다만, 가변장 테이블이 필요 없는 경우에는 원래의 신택스 값 자체를 지정된 처리 절차에 의해 처리한다. 표 2에는 각 Syntax 엘리먼트에 상응하는 출력(CSCI) 데이터를 식별하기 위한 기호(예를 들어, C1)가 일부 중복되도록 표시되었으나, 이는 각 기호가 CSCIT(430)의 인덱스와 일치하도록 하기 위한 것일 뿐, 상응하는 CSCIT 출력값을 생성할 수 있기만 하면 전체 Syntax 엘리먼트들 각각에 상응하는 기호(예를 들어, C1)는 불일치하도록 지정할 수도 있음은 자명하다.

예를 들어, 인덱스 'S1'인 Syntax 엘리먼트의 이름은 'Vo_sequence_start_code'이고, 입력 데이터는 비트스트림 내의 32비트 문자열(string)으로서 임의의 처리 내용에 상응하는 SET 출력값이 생성 또는 추출된다.

해석 수행부(410)가 SET(420)를 이용하여 SET 출력값을 생성 또는 추출함에 있어 임의의 Syntax 엘리먼트(예를 들어, 인덱스 S2, S6, S7, S8. S10 등)에 대해서는 반복적인 동작을 수행할 수도 있다.

해석 수행부(410)가 SET(420)을 이용하여 생성 또는 추출하여 엘리먼트 정보 저장부(320)에 저장한 SET 출력값에 대한 상세 정보(즉, CSCIT 출력값)를 CSCIT(430)를 이용하여 생성하고, 생성된 CSCIT 출력값을 엘리먼트 정보 저장부(320)에 저장한다. 여기서, CSCIT의 출력 값은 상기 CSCI의 의미와 해당 실제 값을 포함할 수 있다.

CSCIT(430)는 아래 표 3과 같이 구성될 수 있다.

표 3. CSCIT의 구성

Index No.	Control signal/context information	Description	Global/local
C1	DECODE_OK	Bool 1 bit flag	Syntax FU
C2	PROFILE_LEVEL_INDICATION	8-bit integer	All
C3	USER_DATA	8-bit integer *	All
C4	IS_VO_IDENTIFIER	1-bit flag	Syntax FU
C5	VO_VER_ID	4-bit flag	All
C6	VO_PRIORITY	3-bit	All
C7	VIDEO_SIGNAL_TYPE	1-BIT	Syntax FU
…	…	…	…

1) *: sequence or array

2) Global/local : if a CSCI is used only in Syntax parsing FU(Functional Unit), it is local.

표 3에 나타난 바와 같이, CSCIT(430)는 SET 출력값의 식별자(예를 들어, C1)로 구분되는 인덱스, SET 출력값의 이름, 해당 SET 출력값의 특성 및 해당 SET 출력값이 이용되는 범위(즉, 복호화를 위한 전체 과정 또는 전체 복호화 과정 중 일부 과정(예를 들어, Syntax 파싱 과정 등))를 나타낸다.

이하, 도 5를 참조하여, Syntax 해석부(310)가 비트스트림의 헤더 영역의 Syntax 해석 과정을 간략히 설명한다. 도 5에서 공란으로 표시된 원 도형은 'Null'값(RT(440) 참조)을 의미한다.

먼저, 비트스트림이 입력되면 Syntax 해석부(310)는 RT(440 - 표 1 참조)에 의해 인덱스 번호 'R0'부터 동작을 개시한다.

Syntax 해석부(310)는 RT(440)의 인덱스 번호 'R0'를 수행함에 입력값이 필요없으므로 'True' 조건이 만족한 것으로 해석하여 SET(420 - 표 2 참조)의 인덱스 번호 'S1'으로 진행한다. 즉, 표 2에서 보여지는 바와 같이, RT(440)의 인덱스 번호 'R0'는 분기 조건이 'TRUE -> (S1, R1)'으로 지정되어, 'True' 조건을 만족하는 경우 SET(420 - 표 2 참조)의 인덱스 번호 'S1'을 수행한 후, RT(440)의 인덱스 번호 'R1'을 수행하도록 지정되어 있다.

Syntax 해석부(310)는 SET(420)의 인덱스 번호 'S1'을 수행하기 위해 비트스트림의 헤더 영역에서 32비트 문자열로 구성된 Syntax 엘리먼트 'V0_sequence_start_code'를 독출한다. 비트스트림의 헤더 영역에서 각 Syntax 엘 리먼트를 독출하는 방법은 당업자에게 자명하므로 이에 대한 설명은 생략한다. 이어서, Syntax 해석부(310)는 독출된 값이 처리 내용(Process, 즉 if ibs ==0x000001B1)에 의할 때 'True' 또는 'False'인지를 결정하여, 결정된 값을 SET 출력값으로 엘리먼트 정보 저장부(320)에 저장한다. 상술한 바와 같이, 엘리먼트 정보 저장부(320)에 상응하는 엘리먼트 정보의 저장은 가변장 디코딩부(110)에 의해 수행될 수도 있다.

또한, Syntax 해석부(310)는 결정된 SET 출력값(즉, C1)에 해당하는 CSCIT 출력값(즉, CSCI의 의미와 해당하는 값)이 무엇인지를 CSCIT(430)를 이용하여 독출하여 엘리먼트 정보 저장부(320)에 저장한다.

Syntax 해석부(310)는 SET(420)의 인덱스 번호 'S1'에 대한 수행이 완료된 후, RT(440)의 인덱스 번호 'R1'을 수행하기 위해 진행한다.

Syntax 해석부(310)는 RT(440)의 인덱스 번호 'R1'를 수행함에 입력값 'C1'이 필요하므로, 종전의 인덱스 번호 'R0' 수행에 의해 엘리먼트 정보 저장부(320)에 저장한 제어 신호 및 문맥 정보를 독출하여 입력값으로 이용한다.

이와 같이, 본 발명에 따른 Syntax 해석부(310)는 Syntax 엘리먼트 해석 과정에서 종전의 Syntax 엘리먼트 해석을 통해 추출 또는 생성된 정보를 이용할 수 있다. 마찬가지로, 엘리먼트 정보 저장부(320)에 저장된 엘리먼트 정보(즉, SET 출력값 과 CSCIT 출력값으로 도출된 정보)는 비트스트림의 복호화 과정에서 다른 구성 요소들에 의해 이용될 수도 있음은 자명하다.

Syntax 해석부(310)는 RT(440)의 인덱스 번호 'R1'의 수행을 위해 엘리먼트 정보 저장부(320)로부터 독출한 CSCI 정보가 'True'라면 SET(420)의 인덱스 번호 'S2'를 수행(및 CSCIT(430)에서 SET(420)의 인덱스 번호 'S2'의 처리 결과에 따른 CSCIT 출력값 생성)한 후, RT(440)의 인덱스 번호 'R2'로 진행한다. 그러나, 독출한 CSCI 정보가 'False'라면 'NULL'로 진행한 후 Syntax 복호화 에러(인덱스 번호 'RE')로 처리한다.

이와 같은 과정을 반복함으로써 도 5에 도시된, 비트스트림의 헤더 영역의 Syntax 해석 과정이 완료될 수 있다. Syntax 해석 과정에서 추출 또는 생성된 엘리먼트 정보는 엘리먼트 정보 저장부(320)에 저장되어 후속하는 Syntax 엘리먼트의 해석 또는 복호화 과정에서 이용될 수 있다.

상술한 Syntax 해석 과정을 표로서 나타내면 아래와 같다.

표 4. Syntax 해석 플로우(Flow)

Control flow	Branch Control	SET	CSCIT	Description
1	R0
2		S1	C1	Vo_sequence_start_code
3	R1		C1
4		S2	C2	Profile_level_indication
5	R2
6		S3	C1	User_data_start_code
7	R3		C1
8		S4	C3	User_data
9	R5
10		S5		Vo_start_code
11	R4
12		S6		Is_VO_identifier
13	R6
14		S9		VO_type
…	…	…	…	…

표 4의 플로우는 좌측 상단부터 지그재그 형태의 순서로 해석된다. 즉, 해석 수행부(410)는 R0, S1, C1의 순으로 Syntax 엘리먼트 해석을 진행할 것이고, C1은 R1의 입력값으로 이용되며, 이어서 S2, C2 등의 순으로 Syntax 엘리먼트 해석을 진행한다.

본 발명에 따른 부호화기

도 6은 본 발명의 일 실시예에 따른 부호화기의 구성을 개략적으로 나타낸 도면이다.

도 6에 도시된 바와 같이, 본 발명에 따른 부호화기(600)는 종래의 부호화기(200 - 이하, '인코딩 처리부'라 칭함)에 비해 RT 정보 생성부(610)를 더 포함한다. 도시된 부호화기(600)의 구성은 단지 예시로서 제시한 것에 불과하고, 그 구성은 입력된 동영상을 비트스트림으로 코딩하기 위한 구성이면 충분하며, 적용되는 표준 등에 따라 상이하게 구성될 수 있다.

RT 정보 생성부(610)는 도 5에 도시된 바와 같이 가변장 인코딩부(230)에 종속되도록 결합되거나, 가변장 인코딩부(230)에 삽입되거나, 가변장 인코딩부(230) 후단에 구비될 수도 있다. 일반적으로 RT(440)의 생성은 부호화 과정에서 계속적, 연속적으로 이루어질 수 있기 때문이다. 물론, RT 정보 생성부(610)의 위치는 설계 및 구현 방법에 따라 다양할 수 있다. 예를 들어, RT 정보 생성부(610)는 FSM(Finite State Machine)으로 구현될 수 있다.

RT 정보 생성부(610)가 RT(440) 정보를 생성하는 형태는 앞서 이미 상세히 설명한 복호화기(300)의 내용을 통해 쉽게 이해할 수 있을 것이므로 이에 대한 설명은 생략한다. 또한, RT 정보 생성부(610)가 RT 정보를 생성하기 위해 필요한 구성 요소 역시 당업자에게 자명할 것이므로 이에 대한 설명도 생략한다.

RT 정보 생성부(610)는 생성한 RT 정보가 삽입된 확장 비트스트림을 생성하거나 가변장 인코딩부(230)가 확장 비트스트림을 생성하도록 요청할 수 있다. 또한, RT 정보 생성부(610)에 의해 생성된 RT 정보는 RT 정보 생성부(610) 또는 가변장 인코딩부(230)에 의해 독립한 데이터 또는 파일의 형태로 복호화기(300)에 전송될 수도 있다. 또한, RT 정보 생성부(610)는 RT(440) 외에 SET(420) 및 CSCIT(430) 중 적어도 어느 하나를 더 복호화기(300)로 제공할 수 있음은 앞서 설명한 바와 같다.

본 명세서에서 가변장 인코딩부(230)는 부호화기(600) 내에서 비트스트림을 생성하기 위하여 최종적으로 부호화를 수행하는 임의의 구성 요소(예를 들어, 부호화부)를 지칭한 것일 뿐 이에 제한되는 것은 아니며, 또한 이로 인해 본 발명의 권리범위가 제한되지는 않는다.

상술한 바와 같이 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법은 하나의 표준(또는 코덱) 내에서 또는 다른 표준(또는 코덱) 간에 syntax 엘리먼트의 해석을 용이하게 한다. 즉, 특정 표준에 따라 생성되는 비트스트림 내의 syntax 엘리먼트들의 순서를 변경하거나, 새로운 syntax 엘리먼트들을 삽입하거나, 기존의 syntax 엘리먼트들을 삭제함에 문제되지 않는다.

또한, 종래기술에 따르면 이와 같은 syntax 엘리먼트의 조작시 복호화기에서는 해당 비트스트림을 정상적으로 디코딩할 수 없는 문제점이 있었다. 예를 들어, 비트스트림 정보가 ABC이던 것을 ACB로 순서를 바꾸어 비트스트림을 구성하여 전송하면, 복호화기는 이를 인식할 수 없어 정상적인 디코딩이 불가능하다. 또한, 신규로 F를 삽입하여 ABFC로 구성하거나, B를 삭제하여 AC로 비트스트림을 구성하는 경우에도 동일하다.

그러나, 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 이용하면, 확장 비트스트림 내에 포함되거나 또는 독립된 데이터로 RT(440)가 제공되므로 복호화기의 원활한 복호화 동작이 가능해진다.

이제까지 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법를 설명함에 있어 MPEG-4를 기준으로 설명하였으나, MPEG-1, MPEG-2, MPEG-4 AVC 및 이외의 동영상 인코딩/디코딩 표준에 아무런 제한없이 동일하게 적용할 수 있음은 당연하다.

상술한 바와 같이 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법은 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인 식 방식으로 복호화할 수 있는 효과가 있다.

또한, 본 발명은 다양한 형태의 비트스트림을 통합 코덱 및/또는 일반 코덱 내에서 복호화할 수 있도록 비트스트림 syntax를 용이하게 해석할 수 있는 효과도 있다.

또한, 본 발명은 다양한 형태의 비트스트림을 복호화하기 위한 syntax 해석 방법을 공통적으로 적용할 수 있는 효과도 있다.

또한, 본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax element 해석에 의해 생성된 정보)를 비트스트림 복호화를 위해 이용되는 구성 요소들이 공유할 수 있도록 하는 효과도 있다.

본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax element 해석에 의해 생성된 정보)를 후속하는 비트스트림 syntax 엘리먼트의 해석을 위해 이용할 수 있는 효과도 있다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

비트스트림 및 구문 규칙 정보를 수신하고, 상기 구문 규칙 정보에 따라 상기 비트스트림을 파싱하여 제어 신호 및 문맥 정보를 획득하는 구문 해석부; 및

상기 제어 신호 및 문맥 정보를 이용하여 상기 비트스트림에 포함된 데이터를 동영상 데이터로 디코딩하는 디코딩 처리부를 포함하되,

상기 구문 규칙 정보는 상기 비트스트림에 상응하는 구문 엘리먼트들의 순서를 나타내고,

상기 구문 해석부는 상기 구문 엘리먼트들의 순서에 따라 상기 비트스트림으로부터 제어 신호 및 문맥 정보를 획득하는 것을 특징으로 하는 복호화기.
제1항에 있어서,

상기 구문 해석부는 상기 구문 규칙 정보를 포함하는 상기 비트스트림을 수신하거나, 상기 비트스트림과 별도로 상기 구문 규칙 정보를 수신하는 것을 특징으로 하는 복호화기.
제2항에 있어서,

상기 구문 규칙 정보는 바이너리 코드로 구현되는 것을 특징으로 하는 복호화기.
삭제
제1항에 있어서,

상기 제어 신호 및 문맥 정보를 저장하는 저장부를 더 포함하되,

상기 디코딩 처리부는 상기 제어 신호 및 문맥 정보를 상기 저장부로부터 독출하여 상기 비트스트림에 포함된 데이터를 동영상 데이터로 디코딩하는 과정에 이용하는 것을 특징으로 하는 복호화기.