KR101372418B1 - 비트스트림 디코딩 장치 및 방법 - Google Patents

Abstract

비트스트림 디코딩 장치 및 방법이 개시된다. 복호화 장치는, 디스크립션 저장부에 저장된 부분 디코더 디스크립션들을 이용하여 CSCI 제어 정보 및 연결 제어 정보를 생성하여 출력하는 디코더 형성부; 및 상기 CSCI 제어 정보 및 상기 연결 제어 정보를 이용하여 툴박스에 구비된 복수의 기능부들을 선택적으로 로드하여 비트스트림을 동영상 데이터로 디코딩하는 디코딩 솔루션을 포함할 수 있다. 본 발명에 따르면, 각 표준에 따른 다양한 형식의 비트스트림을 동일한 정보 인식 방식으로 복호화할 수 있다.

Video compression, 통합 코덱, VCTR, MPEG, AVC, Toolbox, Functional Unit, Connection

Description

비트스트림 디코딩 장치 및 방법{Bitstream decoding device and method}

본 발명은 비트스트림 디코딩 방법 및 장치에 관한 것으로서, 보다 상세하게는 디코딩 솔루션을 구비한 비트스트림 디코딩 방법 및 장치에 관한 것이다.

일반적으로 동영상은 부호화기(encoder, 인코더)에 의해 비트스트림(Bit-stream) 형태로 변환된다. 이때, 비트스트림은 부호화기의 제약 조건을 만족하는 부호화 유형에 따라 저장된다.

MPEG은 비트스트림의 제약 조건으로서 구문(syntax, 이하 'syntax'라 칭함) 및 의미(semantics, 이하 'semantics'라 칭함)를 요구한다.

syntax는 데이터의 구조나 형식 및 길이를 나타내며, 데이터가 어떤 순서로 표현되는지를 나타낸다. 즉, syntax는 부호화(encoding)/복호화(decoding) 작업을 위한 문법을 맞추기 위한 것으로, 비트스트림에 포함된 각 요소들(elements)의 순서와 각 요소의 길이, 데이터 형식 등을 정의한다.

Semantics는 데이터를 구성하는 각 비트가 의미하는 뜻을 나타낸다. 즉, semantics는 비트스트림 내의 각 요소들의 의미가 무엇인지를 나타낸다.

따라서, 부호화기의 부호화 조건 또는 적용된 표준(또는 코덱)에 따라 다양 한 형태의 비트스트림이 생성될 수 있다. 일반적으로 각 표준(예를 들어 MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)은 각각 상이한 비트스트림 syntax를 가진다.

따라서, 각 표준이나 부호화 조건에 따라 부호화된 비트스트림은 각각 다른 형식(즉, syntax 및 semantics)을 가진다고 할 수 있으며, 해당 비트스트림의 복호화를 위해서는 부호화기에 대응되는 복호화기가 사용되어야 한다.

상술한 바와 같이, 종래의 비트스트림 복호화기는 부호화기의 제약 조건을 만족하여야 하는 제한이 있었으며, 이러한 제한은 복수의 표준에 대응되는 통합 복호화기를 구현하기 어려운 원인이 된다.

따라서 본 발명은 상술한 문제점을 해결하기 위한 것으로, 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)할 수 있는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 다양한 부호화 방식으로 압축된 비트스트림을 동일한 정보 분석 방법에 의해 파싱(parsing)하고, 파싱된 데이터를 이용하여 복호화를 위한 각 기능부(FU, Functional Unit)들을 유기적으로 제어할 수 있는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 다양한 형태의 비트스트림을 복호화하기 위한 syntax 해석 방법을 공통적으로 적용할 수 있는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 다양한 형태의 비트스트림을 공통된 Syntax 해석 방법으로 파싱할 수 있도록 하기 위한 새로운 명령어들의 집합을 적용할 수 있는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 syntax 엘리먼트의 변경이나 추가, 삭제 시에도 복호화기가 용이하게 비트스트림을 복호화할 수 있는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax 파싱에 의한 결과물)를 비트스트림 복호화를 위해 이용되는 구성 요소들이 공유할 수 있도록 하는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 해석된 syntax의 엘리먼트 정보를 후속하는 비트스트림 syntax 엘리먼트의 해석을 위해 이용할 수 있도록 하는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 여러 표준(코덱)에서 제안하는 다양한 디코딩 방법을 구성하는 기능들을 각기 기능부(FU, Functional Unit) 단위로 구현하여 툴박스에 구비하는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 다양한 형태로 부호화 된 비트스트림을 복호화하기 위해 툴박스에서 필요한 기능부들만을 선별하여 로드(load)함으로써 미리 지정된 프로세스가 수행되도록 하는 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

본 발명은 툴박스에 구비된 기능부의 변경이나 추가, 삭제가 가능한 디코딩 솔루션을 구비한 비트스트림 디코딩 장치 및 방법을 제공하기 위한 것이다.

또한, 본 발명은 비트스트림 복호화를 위한 코덱 통합에 관한 개념 및 구조에 대한 국제 표준화를 달성하기 위한 것이며, 그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.

상술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 다양한 표준에 범용적으로 이용될 수 있는 부호화기/복호화기 및/또는 통합 코덱 장치가 제공된다.

본 발명의 일 실시예에 따른 복호화 장치는, 디스크립션 저장부에 저장된 부분 디코더 디스크립션들(partial decoder descriptions)을 이용하여 CSCI 제어 정보 및 연결 제어 정보를 생성하여 출력하는 디코더 형성부; 및 상기 CSCI 제어 정보 및 상기 연결 제어 정보를 이용하여 툴박스에 구비된 복수의 기능부들을 선택적으로 로드(load)하여 비트스트림을 동영상 데이터로 디코딩하는 디코딩 솔루션을 포함한다.

상기 툴박스에는 상기 비트스트림의 syntax 파싱을 수행하는 하나 이상의 파싱 기능부와 상기 비트스트림의 디코딩 처리를 위한 복수의 디코딩 기능부들이 구비될 수 있다.

상기 부분 디코더 디스크립션들은 네트워크 랭귀지(NL, Network Language)와 호환되도록 기술될 수 있다.

상기 부분 디코더 디스크립션들은 CAL 언어로 변환되어 상기 디스크립션 저장부에 저장되거나, CAL 언어로 변환되어 상기 디코더 형성부에 의해 이용될 수 있다.

상술한 바와 같이 본 발명에 따른 통합 코덱 장치 및 방법은 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)할 수 있는 효과가 있다.

또한, 본 발명은 다양한 부호화 방식으로 압축된 비트스트림을 동일한 정보 분석 방법에 의해 파싱(parsing)하고, 파싱된 데이터를 이용하여 복호화를 위한 각 기능부(FU, Functional Unit)들을 유기적으로 제어할 수 있는 효과도 있다.

또한, 본 발명은 다양한 형태의 비트스트림을 복호화하기 위한 syntax 해석 방법을 공통적으로 적용할 수 있는 효과도 있다.

또한, 본 발명은 다양한 형태의 비트스트림을 공통된 Syntax 해석 방법으로 파싱할 수 있도록 하기 위한 새로운 명령어들의 집합을 적용할 수 있는 효과도 있다.

또한, 본 발명은 syntax 엘리먼트의 변경이나 추가시에도 복호화기가 용이하게 비트스트림을 복호화할 수 있는 효과도 있다.

또한, 본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax 파싱에 의한 결과물)를 비트스트림 복호화를 위해 이용되는 구성 요소들이 공유할 수 있도록 하는 효과도 있다.

또한, 본 발명은 해석된 syntax의 엘리먼트 정보를 후속하는 비트스트림 syntax 엘리먼트의 해석을 위해 이용할 수 있도록 하는 효과도 있다.

또한, 본 발명은 MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 외의 블록 단위의 처리를 하는 동영상, 정지영상 코덱의 통합시에 사용할 수 있는 효과도 있다.

또한, 본 발명은 여러 표준(코덱)에서 제안하는 다양한 디코딩 방법을 구성하는 기능들을 각기 기능부(FU, Functional Unit) 단위로 구현하여 툴박스에 구비할 수 있는 효과도 있다.

또한, 본 발명은 다양한 형태로 부호화 된 비트스트림을 복호화하기 위해 툴박스에서 필요한 기능부들만을 선별적으로 로드(load)하여 디코딩하도록 할 수 있는 효과도 있다.

또한, 본 발명은 툴박스에 구비된 기능부의 변경이나 추가, 삭제가 용이한 효과도 있다.

상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 통합 코덱 방법 및 장치의 바람직한 실시예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략할 수 있다.

도 1은 일반적인 복호화기의 구성을 개략적으로 나타낸 도면이고, 도 2는 일반적인 부호화기의 구성을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 일반적으로 MPEG-4 복호화기(100)는 가변장 디코딩부(Variable Length Decoding, 110), 역 스캔부(Inverse Scan, 115), 역 DC/AC 예측부(Inverse DC/AC Prediction, 120), 역 양자화부(Inverse Quantization, 125), 역 DCT부(Inverse Discrete Cosine Transform, 역 이산 여현 변환부, 130), 동영상 복원부(VOP Reconstruction, 135)를 포함한다. 복호화기(100)의 구성은 적용되는 표준에 따라 상이할 수 있음은 자명하며, 또한 일부 구성요소는 타 구성요소로 대체될 수도 있을 것이다.

전달된 비트스트림(105)이 syntax 파싱(parsing)되어 헤더 정보 및 인코딩된 영상 데이터(encoded video data)가 추출되면, 가변장 디코딩부(110)는 미리 설정된 허프만 테이블(Huffman Table)을 이용하여 양자화된 DCT 계수를 만들고, 역 스캔부(115)는 역 스캔을 수행하여 동영상(140)과 동일한 순서의 데이터를 생성한다. 즉, 역 스캔부(115)는 인코딩시 여러 가지 방법으로 스캔된 순서의 역으로, 값을 출력한다. 인코딩 시 양자화(Quantization)를 수행한 후, 주파수 대역 값의 분포에 따라 스캔 방향이 정의될 수 있다. 일반적으로는 지그-재그(zig-zag) 스캔 방식이 사용되나, 스캔 방식은 코덱별로 다양할 수 있다.

Syntax 파싱은 가변장 디코딩부(110)에서 통합적으로 수행되거나, 가변장 디코딩부(110)에 선행하여 비트스트림(105)을 처리하는 임의의 구성 요소에서 수행될 수 있다. 이 경우, Syntax 파싱은 부호화기와 복호화기간에 적용되는 표준이 동일하므로 해당 표준에 상응하도록 미리 지정된 기준에 의해서만 처리된다.

역 DC/AC 예측부(120)는 주파수 대역에서 DCT 계수의 크기를 이용하여 예측을 위한 참조 블록의 방향성을 결정한다.

역 양자화부(125)는 역 스캔된 데이터를 역 양자화한다. 즉, 인코딩시 지정된 양자화값(QP, Quantization Parameter)을 이용하여 DC와 AC 계수를 환원한다.

역 DCT부(130)는 역 이산 여현 변환(Inverse Discrete Cosine Transform)을 수행함으로써 실제의 동영상 픽셀 값을 구하여 VOP(Video Object Plane)를 생성한다.

동영상 복원부(135)는 역 DCT부(130)에 의해 생성된 VOP를 이용하여 동영상 신호를 복원하여 출력한다.

도 2에 도시된 바와 같이, 일반적으로 MPEG-4 부호화기(200)는 DCT부(210), 양자화부(215), DC/AC 예측부(220), 스캔부(230), 가변장 인코딩부(235)를 포함한다.

부호화기(200)에 포함된 각 구성요소는 각각 대응되는 복호화기(100)의 구성 요소의 역 기능을 수행하며, 이는 당업자에게 자명하다. 간단히 설명하면, 부호화기(200)는 동영상 신호(즉, 디지털 영상 픽셀 값)를 이산 여현 변환(Discrete Cosine Transform), 양자화(Quantization) 등을 통해 주파수 값으로 변환하여 부호화를 수행한 후, 이를 정보의 빈도 수에 따라 비트 길이를 차별화하는 가변장 인코딩을 수행하여 압축된 비트스트림 상태로 출력한다.

도 3은 본 발명의 일 실시예에 따른 복호화기의 구성을 개략적으로 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 확장 비트스트림(extended bit-stream)의 구성을 간략히 나타낸 도면이다. 도 5는 본 발명의 일 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면이며, 도 6은 본 발명의 다른 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면이다. 도 7은 본 발명의 일 실시예에 따른 syntax 파싱을 위한 기능부들의 예를 나타낸 도면이며, 도 8은 본 발명의 일 실시예에 따른 디코딩 처리를 위한 기능부들의 예를 나타낸 도면이다.

도 3에 도시된 바와 같이, 본 발명에 따른 복호화기(300)는 종래의 복호화기(도 1 참조)와 상이한 구성을 가진다.

즉, 본 발명에 따른 인코딩/디코딩 방법의 수행을 위해, 복호화기(300)로 디코더 디스크립션(decoder description)이 비트스트림과 함께 제공된다. 디코더 디스크립션은 비트스트림과 통합적으로 구현된 확장 비트스트림(305)의 형태로 복호화기(300)에 제공되거나, 독립된 데이터 형태로 복호화기(500)에 제공될 수 있다. 물론, 복호화기(500)의 특정 저장부에 디코더 디스크립션에 상응하는 계층 정보가 미리 저장된 경우라면, 디코더 디스크립션의 제공은 생략될 수도 있다. 다만, 이하에서는 해당 데이터가 확장 비트스트림 내에 포함되어 복호화기(500)로 제공되는 경우를 중심으로 설명하기로 한다.

본 발명의 일 실시예에 따른 복호화기(300)는 분리부(310) 및 디코딩 처리 유닛(320)을 포함한다. 도시된 복호화기(300)의 구성 요소(예를 들어, 분리부(310), 디코딩 처리 유닛(320) 자체 또는 디코딩 처리 유닛(320)에 포함된 하나 이상의 구성 요소 등) 중 하나 이상은 하기에서 설명될 기능을 수행하도록 구현된 소프트웨어 프로그램(또는 프로그램 코드들의 조합)으로 구현될 수도 있음은 자명하다.

분리부(310)는 입력된 확장 비트스트림(Extended Bit-stream, 305)을 인코딩된 디코더 디스크립션(Encoded Decoder Description)(313)과 일반적인 비트스트림(316, 이하 '종래 비트스트림'이라 칭함)으로 분리하여 디코딩 처리 유닛(320)으로 각각 입력한다.

분리부(310)는 인코딩된 디코더 디스크립션(313)을 디스크립션 디코더(505)로 입력하고, 종래 비트스트림(316)은 디코더 형성부(520)로 입력할 수 있다. 상술 한 바와 같이, 인코딩된 디코더 디스크립션(313)과 종래 비트스트림(316)이 각각 독립된 데이터로 입력되는 경우 분리부(310)는 생략될 수 있다. 또한, 종래 비트스트림(316)은 앞서 도 1의 비트스트림(105)과 동일 또는 유사한 형식의 데이터일 수 있다.

확장 비트스트림(305)의 일 예가 도 4에 예시되어 있다. 도 4를 참조하면, 확장 비트스트림(305)은 디코더 디스크립션(313)과 종래 비트스트림(316)을 포함할 수 있다. 도 4의 확장 비트스트림(305) 및 인코딩된 디코더 디스크립션(313)에 대한 예시는 단지 설명 및 이해의 편의를 위한 것으로, 본 발명의 확장 비트스트림(305) 및/또는 인코딩된 디코더 디스크립션(313)의 형식이 이에 제한되지 않음은 자명하다.

인코딩된 디코더 디스크립션(313)이 디스크립션 디코더(505)에 의해 디코딩 처리된 디코더 디스크립션(590)은 다양한 부호화 방식에 의해 부호화된 비트스트림 및/또는 여러 기능들 중 사용자가 선택한 기능들을 이용하여 부호화된 비트스트림을 공통적 해석 방식에 의해 파싱하기 위하여 종래 비트스트림(316)의 구성 정보, 종래 비트스트림(316)이 부호화된 방식(또는 기능부(FU, Functional Unit)들간의 연결 정보), 특정 기능부에 대한 입출력 데이터 특정 등에 대한 정보이다. 디코더 디스크립션(590)은 textual description이나 binary description 등의 기술 방식으로 기술될 수 있다. 물론, 인코딩된 디코더 디스크립션(316)이 디스크립션 디코더(505)의 처리없이도 디코더 형성부(520)에 의해 인식될 수 있도록 구현된 경우라면 디스크립션 디코더(505)는 생략될 수 있다.

디코더 디스크립션(590)은 FL(Functional unit List, 410), F-RT(Functional unit Rule Table, 420), FU-CSCIT(Functional Unit CSCIT, 430), CSCIT(Control Signal and Context Information Table, 440), SET(Syntax Element Table, 450), S-RT(Syntax-Rule Table, 460), DVT(Default Value Table, 470) 등의 부분 디코더 디스크립션들(partial decoder description)로 분리되어 디스크립션 저장부(510)에 저장될 수 있다. 디코더 디스크립션을 구성하기 위한 각 부분 디코더 디스크립션들의 순서는 다양하게 변형될 수 있음은 자명하다.

여기서, FL(Functional unit List, 410), F-RT(Functional unit Rule Table, 420), FU-CSCIT(Functional Unit CSCIT, 430), CSCIT(Control Signal and Context Information Table, 440) 등은 각 기능부(FU)들의 연결 관계(connection)을 설정하기 위해 이용될 수 있다(해당 부분 디코더 디스크립션들은 필요시 '제1 디코더 디스크립션'라 칭할 수 있음).

이중, FU-CSCIT(440)는 툴박스(515) 내의 각 기능부(즉, 디코딩 처리를 위한 기능부)와 CSCI 저장부(532)에 저장된 엘리먼트 정보간의 매핑(mapping)을 위한 부분 디코더 디스크립션일 수도 있다. 이 경우, 엘리먼트 정보는 툴박스(515) 내의 각 기능부(즉, 디코딩 처리를 위한 기능부 또는/및 syntax 파싱을 위한 기능부)에 대한 제어 변수로서 기능할 수 있다.

또한, CSCIT(Control Signal and Context Information Table, 440), SET(Syntax Element Table, 450), S-RT(Syntax-Rule Table, 460), DVT(Default Value Table, 470) 등은 종래 비트스트림(316)의 파싱(Parsing)을 위해 이용될 수 있다(해당 부분 디코더 디스크립션들은 필요시 '제2 디코더 디스크립션'라 칭할 수 있음). 각 부분 디코더 디스크립션의 형태 및 기능은 이후 상세히 설명하기로 한다.

디스크립션 디코더(405)는 분리부(310)로부터 입력된 인코딩된 디코더 디스크립션(313)을 디코딩하여 디코더 디스크립션(314)을 생성한 후, 디코더 형성부(520, 또는 디코딩 솔루션(530))에서 인식할 수 있는 형태의 복수의 부분 디코더 디스크립션들로 분리하여 디스크립션 저장부(510)에 저장한다.

디스크립션 저장부(510)에 저장되는 각 부분 디코더 디스크립션은 반드시 일반적인 형태의 테이블일 필요는 없으며, 디코더 형성부(520, 또는 디코딩 솔루션(530))에 의해 인식될 수 있는 정보 형태이면 충분하다.

디스크립션 디코더(405)의 디코더 디스크립션 분석에 의해 디스크립션 저장부(510)에 저장되는 부분 디코더 디스크립션들로는 FL(410), F-RT(420), FU-CSCIT(440), CSCIT(440), SET(450), S-RT(460), DVT(470) 등이 포함될 수 있다. 디스크립션 디코더(405)는 도 11에 예시된 바와 같이 TI(Table Identifier, 1010)를 참조하여 각 부분 디코더 디스크립션을 구분할 수 있다.

물론, 디코더 디스크립션 내에 모든 부분 디코더 디스크립션들에 상응하는 정보가 반드시 포함되어야 하는 것은 아니며, 도 9에 예시된 바와 같이 코덱 번호(Codec #, 920)와 프로파일 및 레벨 번호(Profile and level #, 930)가 포함되거나, 도 11에 예시된 바와 같이 일부 부분 디코더 디스크립션에 대해서만 코덱 번호(Codec #, 1120)와 프로파일 및 레벨 번호(Profile and level #, 1130)가 포함될 수도 있다.

코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)가 포함된 경우, 디스크립션 디코더(405)는 전체 부분 디코더 디스크립션 또는 일부 부분 디코더 디스크립션에 대해서는 새로운 부분 디코더 디스크립션을 생성하지 않고 디스크립션 저장부(510)에 미리 저장된 부분 디코더 디스크립션들 중 상응하는 부분 디코더 디스크립션이 디코딩시 이용되도록 선택할 수도 있다. 또한, 코덱 번호(Codec #), 프로파일 및 레벨 번호(Profile and level #)와 수정 정보가 포함된 경우, 디스크립션 디코더(405)는 디스크립션 저장부(510)에 미리 저장된 부분 디코더 디스크립션들 중 해당 코덱에 상응하는 부분 디코더 디스크립션을 추출하여 수정 정보를 반영한 새로운 부분 디코더 디스크립션을 생성할 수도 있다. 물론, 코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)가 포함되지 않고 부분 디코더 디스크립션 생성을 위한 테이블 디스크립션이 포함된 경우, 디스크립션 디코더(405)는 전체 부분 디코더 디스크립션 또는 일부 부분 디코더 디스크립션에 대해 디코딩시 이용하기 위한 새로운 부분 디코더 디스크립션을 생성할 수도 있다.

또한, 디코더 디스크립션은 도 12에 예시된 바와 같이, 각 부분 디코더 디스크립션들에 대한 디코더 디스크립션(DD-T, 1210) 외에 갱신 정보(Revision Information, 1230)를 더 포함할 수도 있다. 각각의 확장 비트스트림의 구성에 대해서는 이후 관련 도면을 참조하여 상세히 설명한다.

디스크립션 저장부(510)에는 디스크립션 디코더(405)에 의해 분리된 각 부분 디코더 디스크립션들이 저장된다. 물론, 디스크립션 저장부(510)는 확장 비트스트 림(305)이 코덱 번호(Codec #, 920 또는 1120)와 프로파일 및 레벨 번호(Profile and level #, 930 또는 1130)가 포함된 경우 상응하는 하나 이상의 부분 디코더 디스크립션들이 디코더 형성부(520) 또는 디코딩 솔루션(530)에 의해 이용될 수 있도록 하기 위해, 하나 이상의 부분 디코더 디스크립션들을 미리 저장할 수도 있다.

도 5 및 도 6에 디코딩 처리 유닛(320)의 각 실시예가 도시되어 있다.

디코딩 처리 유닛(320)의 제1 실시예가 도시된 도 5를 참조하면, 디코딩 처리 유닛(320)은 디스크립션 디코더(505), 디스크립션 저장부(510), 툴박스(Tool-Box, 515), 디코더 형성부(520) 및 디코딩 솔루션(530)을 포함할 수 있다.

디코더 형성부(520)는 FU 확인부(522), 정보 가공부(524) 및 정보 전달부(526)를 포함한다.

FU 확인부(522)는 디스크립션 디코더(505)의 처리에 의해 부분 디코더 디스크립션들이 디스크립션 저장부(510)에 저장되면, 부분 디코더 디스크립션(예를 들어, FL(410) 등)에 기술된 기능부들이 툴박스(515)에 모두 존재하는지 여부를 확인한다. 만일, 부분 디코더 디스크립션에 기술된 기능부들 중 툴박스(515)에 존재하지 않는 기능부가 있는 경우, 에러 메시지가 디스플레이 장치를 통해 디스플레이되도록 하거나, 해당 기능부의 업데이트를 사용자에게 요청할 수 있다. 물론, 해당 기능부의 업데이트를 위한 서버 장치와 통신망을 통해 결합된 경우 FU 확인부(522)는 통신망을 통한 자동 업데이트를 실행할 수도 있다.

정보 가공부(524)는 디스크립션 저장부(510)에 저장된 각 부분 디코더 디스크립션들을 역할에 따라 분류하고, 디코딩 솔루션(530)이 용이하게 운용할 수 있는 데이터 형태로 가공한다. 이는, 디스크립션 저장부(510)에 저장된 부분 디코더 디스크립션들의 저장된 형식(예를 들어, 테이블 형식)이 디코딩 솔루션(530)이 이용하기에 적합하지 않거나 또는 디코딩 솔루션(530)이 보다 효율적으로 이용할 정보가 필요할 수 있기 때문이다.

각 부분 디코더 디스크립션의 기능 및 형식은 이후 관련 도면을 참조하여 구체적으로 설명될 것이므로, 여기서는 가공된 데이터 형태에 대해서만 간략히 설명한다.

정보 가공부(524)는 부분 디코더 디스크립션들 각각이 CSCI(Control Signal/Context Information, 제어 정보/문맥 정보)의 생성 또는 저장을 위해 이용되는지, 기능부들의 연결을 위해 이용되는지 등의 역할에 따라 분류한 후 CSCI 제어 정보와 연결 제어 정보를 가공한다. 예를 들어, CSCI 제어 정보를 생성하기 위해 이용되는 부분 디코더 디스크립션들은 SET(450), S-RT(460), CSCIT(440) 및 DVT(470)일 수 있고, 연결 제어 정보를 생성하기 위한 부분 디코더 디스크립션들은 FL(410), F-RT(420), S-RT(460) 및 FU-CSCIT(440)일 수 있다.

정보 가공부(524)에 의해 가공된 CSCI 제어 정보 및 연결 제어 정보는 예를 들어 XML 기반 ADM(Abstract Decoder Model) 표현 방식에 따라 표현될 수 있으며, 이는 아래와 같다. 물론, 가공된 CSCI 제어 정보 및 연결 제어 정보의 표현 방식이 이에 제한되지 않음은 자명하다.

먼저, CSCI 제어 정보는 아래와 같이 표현될 수 있다.

<CSCIs>

<csci_memory id="C0" name="CSCI #0" type="integer" />

<csci_memory id="C1" name="CSCI #1" type="integer" />

<csci_memory id="C2" name="CSCI #2" type="array" />

<csci_memory id="C3" name="CSCI #3" type="integer" />

* <csci_memory id="C4" name="CSCI #4" type="integer" />

<csci_memory id="C5" name="CSCI #5" type="integer" />

<csci_memory id="C6" name="CSCI #6" type="integer" />

<csci_memory id="C7" name="CSCI #7" type="integer" />

<csci_memory id="C8" name="CSCI #8" type="integer" />

<csci_memory id="C9" name="CSCI #9" type="integer" />

<csci_memory id="C10" name="CSCI #10" type="integer" />

<csci_memory id="C11" name="CSCI #11" type="integer" />

<csci_memory id="C12" name="CSCI #12" type="integer" />

……

</CSCI>

다음으로, 연결 제어 정보는 아래와 같이 표현될 수 있다.

<Network name="Decoder">

<Package>

<QID>

<ID id="MPEG4 Simple Profile" />

*</QID>

</Package>

<Port kind="Input" name="BITSTREAM" />

<Port kind="Ouput" name="YUV" />

<Instance id="1">

<Class name="Parser">

<QID>

<ID id="c" />

</QID>

</Class>

<Note kind="label" name="Stream Parser" />

</Instance>

<Instance id="2">

<Class name="VS">

<QID>

<ID id="c" />

</QID>

<Note kind="label" name="Video Session" />

</Class>

</Instance>

<Connection src="" src-port="BITSTREAM" dst="1" dst-port="BITSTREAM" />

<Connection src="1" src-port="CSCI" dst="2" dst-port="CSCI" />

<Connection src="1" src-port="DATA" dst="2" dst-port="DATA" />

<Connection src="2" src-port="YUV" dst="" dst-port="YUV" />

</Network>

정보 전달부(526)는 정보 가공부(524)에 의해 가공된 CSCI 제어 정보와 연결 제어 정보를 디코딩 솔루션(530)으로 전달한다. 정보 전달부(526)는 CSCI 제어 정보를 CSCI 정보의 실제 저장과 운용을 담당하는 CSCI 저장부(532)로 전달하고, 연결 제어 정보는 기능부간의 연결을 제어하는 연결 제어부(534)로 전달할 수 있다. 만일 CSCI 저장부(532)가 단지 CSCI 정보의 저장만을 위해 기능하고, CSCI 정보의 운용이 연결 제어부(534)에 의해 수행되는 경우라면 정보 전달부(524)는 CSCI 제어 정보와 연결 제어 정보를 연결 제어부(534)로 전달할 수도 있음은 자명하다.

디코딩 솔루션(530)은 CSCI 저장부(532) 및 연결 제어부(534)를 포함한다. 도시되지는 않았으나, 디코더 솔루션(530)은 연결 제어부(534)의 호출에 의해 하나 이상의 기능부들이 로드되어 미리 지정된 프로세스가 수행되도록하기 위한 작업 메모리를 더 포함할 수 있다.

디코딩 처리 유닛(320)의 제2 실시예가 도시된 도 5를 참조하면, 디코딩 처리 유닛(320)은 디스크립션 디코더(505), 디스크립션 저장부(510), 툴박스(Tool-Box, 515), 디코더 형성부(520) 및 디코딩 솔루션(530)을 포함할 수 있다.

도 5와 비교할 때, 도 6의 디코딩 처리 유닛(320)의 디코딩 솔루션(530)은 파싱 기능부(610)를 더 포함할 수 있다. 파싱 기능부(610)는 비트스트림의 syntax 파싱을 수행하는 기능부이다. 파싱 기능부(610)는 독립된 구성 요소로 디코딩 솔루션(530)에 포함될 수도 있으나, 디코딩 솔루션(530)이 2개의 작업 메모리를 구비하도록 하고 연결 제어부(534)가 하나의 작업 메모리는 디코딩 처리를 위한 기능부들만이 전용적으로 로드되도록 제어하고 다른 하나의 작업 메모리는 파싱 기능부(610)만이 전용적으로 로드되도록 제어함으로써 동일한 효과가 도출되도록 구현할 수도 있음은 자명하다. 상술한 두가지 경우 모두에서 비트스트림에 대한 파싱 처리와 디코딩 처리가 순차적 또는/및 병렬적으로 수행될 수 있는 장점을 가진다.

또한, 도 5와 비교할 때, 파싱 기능부(610)의 처리를 위해 정보 가공부(524)는 syntax 파싱 제어 정보를 더 가공하여 디코딩 솔루션(530)으로 제공한다. 따라서, CSCI 제어 정보, 연결 제어 정보 및 syntax 파싱 제어 정보를 생성하기 위해 이용되는 부분 디코더 디스크립션의 역할이 달라질 수 있다.

즉, 정보 가공부(524)는 부분 디코더 디스크립션들 각각이 CSCI(Control Signal/Context Information, 제어 정보/문맥 정보)의 생성 또는 저장을 위해 이용 되는지, syntax 파싱을 위해 이용되는지, 기능부들의 연결을 위해 이용되는지 등의 역할에 따라 분류한 후 CSCI 제어 정보, 연결 제어 정보 및 syntax 파싱 제어 정보를 가공한다. 예를 들어, CSCI 제어 정보를 생성하기 위해 이용되는 부분 디코더 디스크립션은 CSCIT(440)일 수 있고, 연결 제어 정보를 생성하기 위한 부분 디코더 디스크립션들은 FL(410), F-RT(420) 및 FU-CSCIT(440)일 수 있으며, Syntax 파싱 제어 정보를 생성하기 위해 이용되는 부분 디코더 디스크립션들은 SET(450), S-RT(460), CSCIT(440) 및 DVT(470)일 수 있다.

앞서 설명한 바와 같이, 정보 가공부(524)에 의해 가공된 CSCI 제어 정보 및 연결 제어 정보는 예를 들어 XML 기반 ADM(Abstract Decoder Model) 표현 방식에 따라 표현될 수 있으며, Syntax 파싱 제어 정보의 표현 예는 아래와 같다.

<syntax>

<syntax_element id="S0" name="Syntax #0">

<process>

<cmd type="READ">

<parameter index=0>32</parameter>

<parameter index=1>B</parameter>

</cmd>

<cmd type="EXPRESSION">

<parameter index=0>(C0=(IBS==HEX:1B0))</parameter>

</cmd>

</process>

</syntax_element>

<syntax_element id="S1" name="Syntax #1">

<process>

<cmd type="READ">

<parameter index=0>8</parameter>

<output type="CSCI">C1</output>

</cmd>

</process>

</syntax_element>

(……)

</syntax>

정보 전달부(526)는 정보 가공부(524)에 의해 가공된 CSCI 제어 정보, 연결 제어 정보 및 syntax 파싱 제어 정보를 디코딩 솔루션(530)으로 전달한다. 정보 전 달부(526)는 CSCI 제어 정보를 CSCI 정보의 실제 저장과 운용을 담당하는 CSCI 저장부로 전달하고, 연결 제어 정보는 기능부간의 연결을 제어하는 연결 제어부(534)로 전달하며, syntax 파싱 제어 정보는 파싱 기능부(610)로 전달할 수 있다. 만일 CSCI 저장부(532)가 단지 CSCI 정보의 저장만을 위해 기능하고, CSCI 정보의 운용이 연결 제어부(534)에 의해 수행되는 경우라면 정보 전달부(524)는 CSCI 제어 정보와 연결 제어 정보를 연결 제어부(534)로 전달할 수도 있음은 자명하다. 또한 만일 파싱 기능부(610)가 연결 제어부(534)의 제어에 의해 비트스트림의 syntax 파싱(parsing)을 수행한다면, 정보 전달부(524)는 syntax 파싱 제어 정보를 연결 제어부(534)로 전달할 수도 있음은 자명하다.

디코딩 솔루션(530)은 CSCI 저장부(532), 연결 제어부(534) 및 파싱 기능부(610)를 포함한다. 디코더 솔루션(530)은 연결 제어부(534)의 호출에 의해 하나 이상의 기능부들이 로드되어 미리 지정된 프로세스가 수행되도록하기 위한 하나 이상의 작업 메모리를 더 포함할 수 있다.

파싱 기능부(610)는 비트스트림의 부호화 포맷에 관계없이 모든 비트스트림에 대해 syntax 파싱이 가능한 기능부이거나, 특정 유형의 비트스트림의 syntax 파싱을 위해 특정적으로 생성된 기능부일 수 있다. 즉, 파싱 기능부(610)는 syntax 파싱을 수행하기 위한 하나 이상의 기능부로서 이후 관련 도면을 참조하여 구체적으로 설명하기로 한다.

도 5 및 도 6에 예시된 바와 같이, 본 발명에 따른 복호화기(300)는 툴박스(515) 내에 구비된 기능부들(디코딩 처리를 수행하는 디코딩 기능부 또는/및 syntax 파싱을 수행하는 파싱 기능부(610))을 선택적으로 로드하여 디코딩 처리하도록 함으로써, 입력된 비트스트림이 부호화된 방식에 관계없이 복호화할 수 있도록 다양한 형태로 재조합 또는 생성되는 복호화기(300)의 구현이 가능해진다.

상술한 바와 같이, 디코더 형성부(520, 또는 연결 제어부(534))는 입력된 비트스트림을 처리하기 위한 복호화기를 구성하는 기능을 수행하며, 비트스트림의 디코딩은 디코더 형성부(520, 또는 연결 제어부(534))의 제어에 의해 구성된 실제 디코더, 즉 디코딩 솔루션(530)에 의해 수행된다. 이처럼 기능상 인과 관계가 있는 두 처리부를 분리함으로써 하나의 디코더 형성 정보를 이용하여 복수 개의 디코딩 솔루션을 제작할 수 있게 되어, 복호화기가 보다 효율적인 처리를 제공할 수 있다.

이하, 디코딩 처리 유닛(320)의 각 구성 요소들의 기능 및 동작에 대해 관련 도면을 참조하여 설명한다.

디스크립션 디코더(505)는 앞서 설명한 바와 같이, 입력된 인코딩된 디코더 디스크립션(313)을 디코더 디스크립션(314)으로 디코딩한 후 복수의 부분 디코더 디스크립션들로 디스크립션 저장부(410)에 저장되도록 한다.

툴 박스(510)는 미리 지정된 프로세스를 수행하도록 각각 구현된 복수의 기능부들을 포함한다. 여기서, 하나의 기능부로 구현되거나 복수의 기능부들의 조합으로 구현되는 파싱 기능부(610)의 경우 툴박스(515) 내에 포함되도록 구현되거나, 디코딩 솔루션(530) 내에 포함되도록 구현될 수 있다. 파싱 기능부 및 각각의 기능부들은 각각 프로그램 코드들의 조합으로 구현될 수도 있다.

즉, 툴 박스(510)는 각각의 기능(즉, 미리 설정된 프로세스)을 수행하도록 구현된 기능부(FU, Functional Unit)들이 포함되는 영역으로, 각 기능부들은 연결 제어부(534)의 연결 제어에 의해 작업 메모리에 로드(load)되어 순차적인 연결 동작 관계를 형성함으로써 종래 비트스트림(316)에 포함된 인코딩된 비디오 데이터를 동영상 데이터로 출력한다.

물론, 도 6을 참조하여 설명한 바와 같이, 파싱 기능부(610)는 디코딩 솔루션(530)에 포함되어 syntax 파싱 제어 정보를 이용함으로써, 연결 제어부(534)의 연결 제어 없이 종래 비트스트림(316)의 해석을 수행하도록 설정될 수도 있다. 이는 후속하는 기능부들이 파싱 기능부(610)가 해석하여 CSCI 저장부(532)에 저장한 엘리먼트 정보(element information) 및/또는 파싱 기능부(610)로부터 출력되는 매크로블록(MB) 사이즈의 동영상 데이터를 이용할 수 있기 때문이다.

파싱 기능부(610)는 syntax 파싱 제어 정보를 이용하여 입력된 종래 비트스트림(316)을 해석하여 신택스 파싱(syntax parsing)의 결과물인 엘리먼트 정보(element information)를 CSCI 저장부(532)에 저장한다. CSCI 저장부(532)는 예를 들어 버퍼 메모리일 수 있다. 엘리먼트 정보는 예를 들어 CSCI(Control Signal/Context Information, 제어 정보/문맥 정보)일 수 있다. 파싱 기능부(610)에 의해 파싱되어 CSCI 저장부(532)에 저장된 엘리먼트 정보는 해당 단계의 파싱 결과값임과 동시에 종래 비트스트림(316)의 후속하는 신택스를 결정하는 입력 값이 될 수도 있다.

또한, 파싱 기능부(610)는 신택스 파싱된 종래 비트스트림(316)의 헤더와 영상 데이터에 대한 엔트로피 디코딩을 수행하여 미리 지정된 매크로블록 사이즈의 동영상 데이터를 연결 제어부(534)의 연결 제어에 따른 후속하는 기능부(FU)로 출력할 수 있다.

물론, 파싱 기능부(610)는 매크로블록 사이즈의 동영상 데이터를 미리 지정된 버퍼 메모리에 저장하고, 연결 제어부(534)의 로드(즉, 연결 제어)에 따른 후속하는 기능부가 해당 버퍼 메모리에서 매크로블록 사이즈의 동영상 데이터를 독출하여 처리한 후 후속하는 기능부의 처리를 위해 해당 버퍼 메모리에 처리한 동영상 데이터를 저장할 수도 있다.

즉, 파싱 기능부(610)는 매크로블록 사이즈의 동영상 데이터를 CSCI 저장부(532) 또는 별도의 버퍼 메모리에 저장한 후, 연결 제어부(534)가 저장된 매크로블록 사이즈의 동영상 데이터를 선택한 기능부로 제공하거나, 선택된 기능부가 CSCI 저장부(532) 또는 별도의 버퍼 메모리로부터 해당 동영상 데이터를 독출할 수도 있음은 자명하다. 다만, 이하에서는 파싱 기능부(610)가 출력하는 매크로블록 사이즈의 동영상 데이터가 연결 제어부(534)의 연결 제어에 따른 기능부로 직접 입력되는 경우를 가정하여 설명한다.

파싱 기능부(610)는 하나의 소프트웨어 프로그램(프로그램 코드들의 조합을 포함함)으로 구현될 수 있다. 복수의 표준(예를 들어, MPEG-1/2/4/AVC 등)에 각각 대응되는 복수의 기능을 수행하도록 파싱 기능부(610)가 구현될지라도 syntax 파싱 제어 정보를 이용하여 상응하는 동작을 수행할 수 있기 때문이다. 물론, 파싱 기능부(610)는 도 7에 도시된 바와 같이 복수의 기능부들로 세분화되어 구현될 수도 있으며, 각 기능부들이 블록화된 프로그램 코드들의 조합으로 구현될 수 있음은 자명 하다.

도 7에 예시된 각 기능부들을 구체적으로 설명함으로써 파싱 기능부(610)의 기능을 설명하면 다음과 같다.

파싱 기능부(610)는 도 7에 예시된 바와 같이, NALP(Network Abstraction Layer Parsing) 기능부(FU, 710), SYNP(Syntax Parsing) 기능부(720), CTX(Context determination) 기능부(730), VLD(Variable Length Decoding) 기능부(740), RLD(Run Length Decoding) 기능부(750), MBG(Macro Block Generator) 기능부(760) 등을 포함할 수 있다.

물론, 파싱 기능부(610)에는 신택스 파싱을 위한 기능부라면 적용되는 표준에 관계없이 모두 포함될 수 있을 뿐 아니라 기술 발전과정에서 Syntax 파싱 등을 위해 필요한 기능부는 신규로 추가될 수 있고, 기존 기능부의 수정도 가능하며, 불필요한 기능부는 제거될 수 있음은 자명하다. 또한, 파싱 기능부(610) 내에 구비된 각 기능부는 각 표준에 독립적으로 존재하지 않고, 표준에 관계없이 동일한 처리가 가능한 기능부의 경우에는 하나의 기능부로 통합되어 구비될 수도 있음은 자명하다. 각 기능부의 기능은 당업자에게 자명한 사항이므로 간략히 설명하기로 한다.

NALP 기능부(710)는 MPEG-4 AVC의 NAL(Network Abstraction Layer)를 파싱(parsing)하는 기능부이고, SYNP 기능부(720)는 비트스트림의 신택스(syntax)를 파싱하는 기능부이다. SYNP 기능부(720)는 VLD 기능부(740)에 포함될 수도 있다.

CTX 기능부(730)는 MPEG-4 AVC의 VLC 테이블을 결정하는 기능부이고, VLD 기능부(740)는 엔트로피(Entropy) 디코딩을 수행하는 기능부이다.

RLD 기능부(750)는 AC값들을 엔트로피 디코딩하는 기능부이고, MBG 기능부(760)는 DC값 및 AC값들을 결합하여 하나의 MB(Macro Block) 데이터를 생성하는 기능부이다. 상기 언급한 파싱 기능부(610) 내의 모든 기능부들 및 일부의 기능부들은 시스템 구현 방식에 따라 VLD 기능부(740)에 그 기능이 포함될 수 있을 것이다.

상술한 바와 같이, 파싱 기능부(610)는 하나의 소프트웨어 프로그램으로 구현되거나, 복수의 소프트웨어 프로그램으로 구현(예를 들어 VLD 기능부(740) 등을 독립된 소프트웨어 프로그램으로 독립적 구현)될 수 있을 것이다. 파싱 기능부(610)가 syntax 파싱 제어 정보를 이용하여 엘리먼트 정보를 추출 또는 생성하여 CSCI 저장부(532)에 저장하는 과정은 이후 연결 제어부(534)의 설명 부분에서 상세히 설명하기로 한다.

툴박스(515) 내에 구비되는 디코딩 기능부들은 연결 제어부(534)의 선택적 로드에 의해 활성화되어 미리 지정된 프로세스를 각각 수행함으로써 파싱 기능부(610)에 의해 출력된(또는 파싱 기능부(610)가 버퍼 메모리에 저장한) 매크로블록 단위의 동영상 데이터들을 디코딩하여 미리 지정된 크기의 동영상 데이터로서 출력한다.

툴박스(515) 내에는 각 표준에 상응하여 상술한 기능을 수행하기 위한 기능부(FU)들이 포함될 수 있다. 각 기능부들은 독립된 처리 블록(예를 들어, 소프트웨어 프로그램, 명령어 코드들의 조합, 함수 등)으로 구현되거나, 하나의 통합된 처리 블록으로 구현될 수도 있을 것이다. 디코딩 기능부들은 하나의 통합된 처리 블 록으로 구현될지라도 연결 제어부(534)의 연결 제어에 의해 상응하는 처리가 수행될 수 있음은 자명하다.

디코딩 기능부들은 도 8에 도시된 바와 같이, DF(De-blocking Filter) 기능부(810), VR(VOP Reconstructor) 기능부(815), FFR(Frame Field Reordering) 기능부(820), IPR(Intra prediction and Picture Reconstruction) 기능부(830), IT(Inverse Transform) 기능부(835), IQ(Inverse Quantization) 기능부(845), IAP(Inverse AC Prediction) 기능부(855), IS(Inverse Scan) 기능부(860), DCR(DC Reconstruction) 기능부(865)를 포함한다.

IT4x4 기능부(840), IQ4x4 기능부(850) 및 DCR4x4 기능부(870)는 처리하는 블록 사이즈가 4x4인 것을 특징으로 한다. 이는 MPEG-1/2/4의 경우에는 Transform, Quantization, Prediction 시에 8x8 블록 사이즈로 데이터를 처리함에 비해, MPEG-4 AVC는 4x4 블록 사이즈로 데이터를 처리하는 경우가 존재하기 때문이다.

툴박스(515)에는 데이터 디코딩 기능을 수행하기 위한 기능부라면 적용되는 표준에 관계없이 모두 포함될 수 있을 뿐 아니라 기술 발전과정에서 필요한 기능부는 추가될 수 있고, 기존 기능부의 수정도 가능하며, 불필요한 기능부는 제거될 수 있음은 자명하다. 예를 들어, 복호화 처리를 위해 4x4 블록 사이즈로 데이터를 처리하는 IS4x4 기능부 등이 추가로 필요한 경우 해당 기능부들이 툴박스(515)에 추가될 수 있다. 또한, MPEG-4 AVC에서 인트라 예측(Intra Prediction) 수행을 위한 SPR(Special Prediction) 기능부(도시되지 않음) 등이 더 추가될 수도 있을 것이다.

툴박스(515) 내에 구비된 각 기능부는 각 표준에 독립적으로 존재하지 않고, 표준에 관계없이 동일한 처리가 가능한 기능부의 경우에는 하나의 기능부로 통합되어 구비될 수도 있음은 자명하다. 각 기능부의 기능은 당업자에게 자명한 사항이므로 간략히 설명하기로 한다.

DF 기능부(810)는 MPEG-4 AVC의 디-블록킹 필터(de-blocking filter)이고, VR 기능부(815)는 복원된 픽셀값을 저장하는 기능부이다.

FFR 기능부(820)는 interlaced 모드를 위한 기능부이고, IPR 기능부(830)는 MPEG-4 AVC의 인트라 예측(Intra prediction)을 한 후 복원된 픽셀값을 저장하는 기능부이다. 상술한 바와 같이, MPEG-4 AVC의 인트라 예측은 SPR 기능부에 의해 수행될 수 있을 것이다.

IT 기능부(835)는 DC값 및 AC값들의 역 변환(inverse transform)을 수행하는 기능부이고, IQ 기능부(845)는 AC 값들을 역 양자화(inverse quantization)하는 기능부이다.

IAP 기능부(855)는 AC값들을 역 예측(inverse AC prediction)하는 기능부이고, IS 기능부(860)는 AC값들을 역 스캔(inverse scan)하는 기능부이다. DCR 기능부(865)는 DC값들의 역 예측 및 역 양자화를 수행하는 기능부이다.

상술한 파싱 기능부(610)와 디코딩 기능부들간의 처리 동작이 반드시 순차적으로 진행되어야 하는 것(즉, 파싱 기능부(610)의 동작이 완료된 후 디코딩 기능부의 동작 개시)은 아니며, 연결 제어부(534)의 연결 제어에 의해 둘 이상의 기능부들이 작업 메모리에 로드되도록 함으로써 병렬적인 처리도 가능함은 자명하다. 예 를 들어, 특정 디코딩 기능부의 동작을 위해 필요한 최소한의 엘리먼트 정보만이 파싱 기능부(610)에 의해 CSCI 저장부(532)에 저장되면 충분할 수 있기 때문이다.

또한, 앞서 도 6을 참조하여 설명한 바와 같이, 디코딩 솔루션(530) 내에 파싱 기능부(610)가 구비되거나 둘 이상의 작업 메모리가 구비되는 경우 연결 제어부(534)의 별도 제어가 없더라도 syntax 파싱 및 디코딩 처리의 병렬 처리가 가능해짐은 별도의 설명을 생략할지라도 자명하다.

CSCI 저장부(532)에는 파싱 기능부(610)에서 CSCI 제어 정보(또는 syntax 파싱 제어 정보)를 이용한 신택스 파싱에 의한 결과값인 엘리먼트 정보(예를 들어, CSCI)가 CSCIT(440)에 상응하도록 저장된다. CSCI 저장부(532)는 예를 들어 버퍼 메모리(buffer memory)일 수 있다.

CSCI 저장부(532)에 저장된 엘리먼트 정보는 파싱 기능부(610)에 의해 SET(450)의 프로세스 수행을 위한 입력 데이터로 이용되거나, S-RT(460)에서 후속하는 연결 인덱스를 결정하기 위한 제어 변수로 이용될 수 있다.

또한, CSCI 저장부(532)에 저장된 엘리먼트 정보는 연결 제어부(534)에 의해 F-RT(420)에서 후속하는 연결 인덱스를 결정하기 위한 제어 변수로 이용되거나, FU-CSCIT(430)에서 특정 기능부(FU)의 입력 CSCI를 CSCI 저장부(532)에 저장된 엘리먼트 정보들과 매핑하기 위해 이용될 수 있다.

즉, CSCI 저장부(532)에 저장된 엘리먼트 정보는 파싱 기능부(610)와 디코딩 기능부들간에 연동하도록 하는 역할을 한다.

연결 제어부(534)는 각 기능부들의 선택적 로드(load)의 제어를 통해 다양한 표준에 의해 인코딩된 비트스트림을 디코딩하기 위해 각 디코딩 기능부들의 연결 관계(connection)를 설정한다. 즉, 연결 제어부(534)는 툴박스(515)에 포함된 각 기능부들 중 적절한 기능부를 선택하여 선택된 기능부들간의 수행 순서를 결정한다. 이를 위하여, 연결 제어부(534)는 연결 제어 정보를 이용하여 해당 기능부들을 연결하고, 각 기능부들이 파싱 기능부(610)에 의해 제공된 엘리먼트 정보들을 이용하여 매크로블록 단위의 동영상 데이터를 복호화하도록 한다.

이하, 도 5에 도시된 디코더 형성부(520)의 정보 가공부(524)의 동작을 중심으로 각 부분 디코더 디스크립션들의 기능 및 용도를 관련 도면을 참조하여 설명하기로 한다. 또한, 연결 제어부(534) 등의 처리 동작이 정보 가공부(524)에 의해 가공된 정보가 이용되지만, 설명 및 이해의 편의를 위해 부분 디코더 디스크립션의 내용을 참조하여 설명하기로 한다.

정보 가공부(524)가 연결 제어 정보를 생성하기 위해 이용하는 부분 디코더 디스크립션들로는 FL(410), F-RT(420), FU-CSCIT(430) 및 CSCIT(440) 등이 있다. 또한, syntax 파싱을 위한 각 기능부들의 연결 관겨를 설정하기 위해 S-RT(460)가 더 이용될 수 있다.

먼저, FL(FU List, 410)은 도 18에서 보여지는 바와 같이, 툴박스(515) 내에 구비된 각 기능부들의 리스트, 해당 기능부들의 입출력 데이터와 기능부들을 제어하는 엘리먼트 정보를 담은 부분 디코더 디스크립션이다.

FL(410)은 각 기능부에 대한 입력 데이터의 버퍼 메모리 명칭(또는 해당 데이터의 기록 주소 또는 해당 데이터가 기록된 버퍼 메모리 내의 주소)과 해당 기능 부에 의한 출력 데이터의 버퍼 메모리 명칭(또는 해당 데이터의 기록 주소 또는 해당 데이터가 기록될 버퍼 메모리 내의 주소)을 더 포함할 수 있다.

따라서, 각 기능부는 FL(410)을 이용하여 입력 데이터를 읽고 처리한 출력 데이터를 기록할 수 있다. 또한, FL(410)에 기록된 정보를 이용하여 각 기능부간에 입출력 데이터가 전달되도록 하거나, 연결 제어부(534)가 각 기능부에 적절한 입력 데이터를 제공할 수도 있다.

그러나, FL(410)에는 엘리먼트 정보를 생성하는 파싱 기능부(610)의 입력 데이터 및 출력 데이터는 기재되어 있지 않으나, 이는 파싱 기능부(610)가 SET(450) 등의 정보를 이용하여 엘리먼트 정보를 생성하고 지정된 위치에 생성한 엘리먼트 정보를 기록하기 때문이다.

FL(410)은 도 18에 예시된 바와 같이, 각 기능부를 구분하기 위한 구분자인 index(F), 각 기능부의 이름(FU Name), 해당 기능부에 필요한 입력제어(CSCI) 변수의 개수, 입력 데이터 및 출력 데이터를 포함할 수 있다.

연결 제어부(534)에 의해 작업 메모리에 로드된 특정 기능부는 연결 제어부(534)로부터 입력 데이터를 제공받고, 미리 설정된 프로세스를 수행하여 출력 데이터를 생성한다. 여기서, 기능부는 툴박스(515)에 포함되며, 입력 데이터를 미리 지정된 프로세스로 처리하여 출력 데이터를 생성하는 일련의 처리 과정(예를 들어, 기능, 알고리즘 또는 함수 등)을 의미한다. 해당 기능부는 출력 데이터를 후속하는 기능부(즉, 후속하여 연결 제어부(534)의 제어에 의해 로드된 기능부)의 처리를 위해 버퍼 메모리에 저장할 수 있다. 도 18에 예시된 기능부(FU) 들에 대해서는 앞서 관련 도면을 참조하여 이미 설명하였으므로, 그 설명은 생략한다. 또한, 도 18에서의 QFS, QFSP, PQF, QF 등은 MPEG 분야 등의 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다. 일 예로, QFS는 가변장 부호화를 한 출력값을 의미한다.

디코딩 처리 유닛(320)이 종래 비트스트림(316)에 포함된 인코딩된 비디오 데이터의 디코딩을 위해 하나의 표준만을 이용하면 충분한 경우, FL(410)은 해당 표준에서 상응하는 처리를 수행하기 위한 기능부들에 대한 정보만을 포함할 수 있다.

그러나, 해당 비디오 데이터가 복수의 표준에 의해 인코딩된 경우(예를 들어, 복수의 프레임 단위로 인코딩 표준을 달리 적용한 경우)에는 해당 인코딩된 비디오 데이터의 디코딩을 위해 복수의 표준에 따른 기능부들의 정보가 필요할 것이다. 따라서, 이 경우 FL(410)은 상응하는 복수의 표준에 따른 모든 기능부들 중 인코딩된 비디오 데이터의 디코딩을 위해 필요한 복수의 표준에 따른 기능부들의 정보를 포함하여야 할 것이다.

물론, 비디오 데이터가 복수의 프레임 단위로 인코딩 표준을 달리 적용할지라도, 적용된 인코딩 표준별로 복수의 종래 비트스트림(316) 및 확장 비트스트림(305)이 생성되어 출력된다면 각각의 FL(410)은 각각 상응하는 표준에 따른 기능부들의 정보만을 포함하면 될 것이다.

FL(410)은 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

다음으로, F-RT(FU - Rule Table, 420)은 입력된 종래 비트스트림(316)을 복호화하기 위하여 사용될 기능부들의 연결 정보를 제공한다.

F-RT(420)는 도 19에서 보여지는 바와 같이, 각 연결 정보(Rule)를 구분하는 인덱스(Index, R), 해당 연결 인덱스에 상응하는 기능부(FU, F#), 연결 제어를 위해 필요한 엘리먼트 정보(Input CS/CI, C#), 후속하는 기능부와 연결되어질 수 있는 분기의 수(No. of branches), 분기의 수 만큼 필요한 각 분기 정보(branch information) (#1, #2, #3…) 등을 포함한다.

필요한 엘리먼트 정보는 분기의 수가 2 이상인 경우에만 존재하며, 이 경우는 필요한 엘리먼트 정보를 이용한 조건문의 판단 결과에 따라 연결 인덱스가 달라질 수 있다. 즉, 분기의 수가 1인 경우는 필요한 엘리먼트 정보가 존재하지 않으며, 분기 정보에서 지시하는 연결 인덱스로 진행한다. 해당 조건문 이후에는 후속하는 연결 인덱스(R)가 제시된다.

디코딩 처리 유닛(320)이 종래 비트스트림(316)에 포함된 인코딩된 비디오 데이터의 디코딩을 위해 하나의 표준만을 이용하면 충분한 경우, F-RT(420)은 해당 표준만에서 상응하는 처리를 수행하기 위한 기능부들의 연결 관계 등을 지시할 것이다.

그러나, 해당 비디오 데이터가 복수의 표준에 의해 인코딩된 경우(예를 들어, 복수의 프레임 단위로 인코딩 표준을 달리 적용한 경우)에는 해당 인코딩된 비디오 데이터의 디코딩을 위해 복수의 표준에 따른 기능부들의 연결 관계 등을 지정하기 위한 정보가 포함될 것임은 자명하다. 이는 이하에서 언급되는 각 부분 디코 더 디스크립션들도 복수의 표준에서 적용되기 위해 추가적인 정보들 및/또는 복수의 표준에 적용되기 위한 수정 등을 필요로 한다면 해당 정보들을 더 포함할 것임은 자명하다.

F-RT(420)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

도 19에 예시된 각 연결 정보(Rule)를 구분하는 인덱스(Index, R) 중 R0부터 R5 및 R12를 실시하기 위한 기능부(FU)는 F0이다. F0는 도 18의 FL(410)을 참조하면 파싱 기능부(610)임을 알 수 있다. 따라서, 연결 제어부(534)가 툴박스(515) 내에 구비된 각 기능부들(도 5의 경우, syntax 파싱을 수행하는 기능부를 포함함)의 동작상의 연결 관계를 제어함을 알 수 있다. 또한, 선택된 기능부가 syntax 파싱을 수행하는 기능부인 경우, 해당 기능부가 몇 번째 Syntax를 읽어 처리하여야 하는지에 관한 연결 정보(Rule)가 F-RT(420)에 포함됨을 알 수 있다(예를 들어, F0(R74) 등).

또한, 인덱스 R1에는 기능부 항목에 'PROCESS1'이라 정의되어 있다. 예를 들어, 'PROCESS1'은 변수 선언, 메모리 설정, 변수 값 초기화 등과 같이 소프트웨어의 구현시 필요로 하는 기타 작업(즉, 신택스 파싱, 데이터 디코딩 이외의 작업)을 수행하기 위하여 호출되는 함수일 수 있다. 이와 같은 프로세스(PROCESS)는 소프트웨어의 수행을 위해 F-RT(420)의 필요 위치에 삽입되어 신택스 파싱 또는 데이터 디코딩 과정의 중간에 연결 제어부(534)에 의해 호출되어 실행될 수 있을 것이다. 도 19에는 하나의 프로세스만이 삽입되었으나, 각각 수행 동작이 동일하거나 상이한 복수의 프로세스가 F-RT(420)의 복수의 위치에 삽입될 수도 있음은 자명하다.

다음으로, FU-CSCIT(FU CSCI Table, 430)은 CSCI 저장부(532)에 저장된 엘리먼트 정보와 각 기능부가 필요로 하는 엘리먼트 정보(input CSCI)를 연결하기 위한 부분 디코더 디스크립션이다.

*도 20에 예시된 바와 같이, FU-CSCIT(430)는 FL(410)의 인덱스와 엘리먼트 정보의 쌍으로서 나열되는 인덱스(F-C), 해당 엘리먼트 정보, 매핑을 위하여 CSCIT(440)에서 사용하는 인덱스(C)를 포함한다. 이외에 FU-CSCIT(430)는 엘리먼트 정보의 데이터 타입(data type)을 더 포함할 수 있다. 예를 들어, 데이터 타입은 9-bit integer, 1-bit flag 등의 형태로 기술될 수 있을 것이다.

FU-CSCIT(430)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

예를 들어, F-RT(420) 에서 F1이 네 개의 엘리먼트 정보의 입력을 받는다면(도 18 참조), FU-CSCIT(430)에는 기능부별 엘리먼트 정보들이 리스트되어진다. 즉, F1-C1, F1-C2, F1-C3. F1-C4가 리스트되고 CSCIT(440)(도 21 참조)의 인덱스(C)를 사용하여 C54, C56, C58, C65와 같이 각 엘리먼트 정보가 매핑된다.

마찬가지로, F2가 2개의 엘리먼트 정보의 입력을 가진다면, F2-C1, F2-C2로 인덱싱하고 C56, C58 값으로 매핑된다. 여기서, C54, C56 등은 각각 해당하는 엘리먼트 정보가 저장된 주소(예를 들어, 기록 주소, 버퍼 메모리 명칭 또는 버퍼 메모리 내의 기록 주소)로서 인식될 수 있으며, 해당 기능부는 입력 데이터 및 인덱스(C)에 상응하는 엘리먼트 정보를 이용하여 출력 데이터를 생성하여 출력(또는 버퍼 메모리에 기록)할 수 있다.

예를 들어, FL(410)에서 DCR은 QFS라는 입력 데이터를 처리하기 위하여 4개의 엘리먼트 정보를 필요로 하고, 4개의 엘리먼트 정보는 FU-CSCIT(430)에 의해 C54, C56, C58 및 C65인 것으로 인식되며, CSCI 저장부(532)에서 해당 인덱스(C)에 상응하는 엘리먼트 정보를 독출하여 QFSP를 생성할 수 있다.

마지막으로, CSCIT(440)는 파싱 기능부(610)가 SET(450) 및 S-RT(460)를 이용한 프로세스의 결과 정보인 엘리먼트 정보(예를 들어, CSCI)에 대한 상세 정보가 기술된 것이다. 즉, CSCIT(440)는 종래 비트스트림(316)으로부터 처리되어 CSCI 저장부(532)에 저장되고, 디코딩 기능부들에 의해 이용될 모든 의미있는 자료(즉, 엘리먼트 정보)들에 대한 정보를 가진다.

도 21에 예시된 바와 같이, CSCIT(440)는 해당 엘리먼트 정보의 고유 번호로서 구분자인 인덱스(C), 플래그(flag), 해당 엘리먼트 정보의 이름(Element Name), 해당 엘리먼트 정보의 자료 구조적인 특성을 지정하기 위한 속성(예를 들어, 해당 엘리먼트 정보의 저장 공간 크기, 해당 엘리먼트 정보가 배열형(Array)인지 여부 등), 해당 엘리먼트 정보가 신택스 파싱 과정에서만 이용되는지 또는 전체적인 디코딩 과정에서 이용되는지를 나타내는 Global/Local 등을 포함한다.

CSCIT(440)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

이어서, 파싱 기능부(610)(또는 툴박스(515) 내의 syntax 파싱을 수행하는 기능부들)가 종래 비트스트림(316)으로부터 엘리먼트 정보를 추출 또는 생성하여 CSCI 저장부(532)에 저장하기 위하여 이용하는 CSCI 제어 정보를 생성하기 위한 부분 디코더 디스크립션들인 CSCIT(440), SET(450), S-RT(460) 및 DVT(470)에 관하여 설명하기로 한다. 다만, CSCIT(440)는 앞서 도 21을 참조하여 설명하였으므로 이에 대한 설명은 생략한다.

먼저, SET(450)는 입력된 종래 비트스트림(316)의 신택스(syntax)들에 대한 정보에 의해 구성된 부분 디코더 디스크립션이다.

도 22 내지 도 25에 예시된 바와 같이, SET(450)는 각 신택스에 대한 인덱스(index), 엘리먼트 명칭(Element Name), 입력 데이터(input data), 출력 데이터(output data) 및 SET-프로세스(process by SET-PROC) 정보를 포함한다. 여기서 인덱스는 S-RT(460)에서 사용되는 각 신택스를 구분하는 구분자(S)이다. 엘리먼트 명칭은 신택스의 이름으로, 신택스의 의미나 역할에 따라 명명될 수 있다. 입력 데이터는 종래 비트스트림(316)에서 한 번에 입력되는 명목적 비트 길이이다. 출력 데이터는 엘리먼트 정보(즉, CSCI 정보(C))로서, 획득한 데이터를 저장할 때 참조하는 CSCIT(440)의 목록을 나타낸다. 여기서, 출력 데이터 필드는 생성된 엘리먼트 정보가 기록될 버퍼 메모리 명칭(또는 해당 데이터의 기록 주소 또는 해당 데이터가 기록된 버퍼 메모리 내의 주소)일 수 있다. 이를 이용하여, 추후 해당 엘리먼트 정보가 입력 데이터로서 필요한 경우 CSCI 정보(C)를 이용하여 해당 엘리먼트 정보를 리드(read)될 수 있다. SET-프로세스는 각 비트스트림 신택스를 입력 받아 어떤 가공 절차를 거쳐 출력 데이터인 엘리먼트 정보를 생성할 것인지의 과정을 기술한다.

SET(450)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

다음으로, S-RT(460)는 종래 비트스트림(316) 내의 각 신택스간의 연결 정보를 나타낸 것이다. 즉, S-RT(460)는 각 신택스를 호출하고 다음 신택스로 이동하도록 지시하는 정보를 가진다. 파싱 기능부(610)는 S-RT(460)를 이용하여 종래 비트스트림(316)을 읽어 들이거나 엘리먼트 정보가 CSCI 저장부(532)에 저장 및/또는 갱신되는 순서를 규정한다.

하기 도 26 내지 도 29에 예시된 바와 같이, S-RT(460)는 인덱스(R), 신택스의 인덱스(S), 입력 데이터(C), 분기의 수(No. of branches), 분기 정보를 포함한다.

인덱스(R)은 각 연결 정보(Rule)를 구분하도록 한다. 신택스의 인덱스(S)는 특정 연결 인덱스에서 처리할 신택스를 지정하므로, 파싱 기능부(또는 syntax 파싱을 수행하는 기능부들)는 SET(450)을 이용하여 해당 신택스에 대해 지정된 프로세 스를 수행한다.

입력 데이터는 해당 연결 인덱스에서의 연결 제어를 위한 조건 판단에 사용될 엘리먼트 정보의 목록을 나타낸다.

분기의 수는 후속하는 신택스에 연결되어질 수 있는 경우의 수로서, 해당 연결 인덱스에서 가지는 분기 경로의 총 수를 나타낸다. 분기 정보는 분기의 수 만큼 필요한 분기 정보가 존재(#1, #2, #3… 등)하며, 다음에 어떤 연결 인덱스를 처리할 것인지를 결정하도록 하는 조건 판단 알고리즘이다. 분기 정보에 의해 어떤 순서에 따라 어떤 내용을 읽어 들일지가 직접적으로 판단될 수 있다. 도 22 내지 도 25에서 보여지는 바와 같이, 분기의 수가 1인 경우에는 입력 데이터가 존재하지 않으며, 분기 정보에 지정된 연결 인덱스를 처리하기 위해 즉시 진행한다. 그러나, 분기의 수가 2 이상인 경우에는 조건 판단이 수행(조건문 이후에는 다음 번 연결 정보(R)로 구성됨)되고 상응하는 연결 인덱스를 처리하기 위해 진행한다.

파싱 기능부(610)는 해당 연결 인덱스에서 정의한 신택스를 처리하여 CSCI 저장부(532)를 갱신한 후, 갱신된 CSCI 저장부(532)의 엘리먼트 정보를 참조하여 읽어들인 후 분기 조건 판단에 활용한다. 이는 예를 들어, 인덱스 R0의 분기 정보의 분기 조건인 'C0==1'에서의 C0는 신택스 S0를 처리한 후의 엘리먼트 정보 C0이다.

S-RT(460)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

마지막으로, DVT(470)는 각 부호화기/복호화기에서 사용하는 허프만 테이블(Huffman table) 정보가 기록된 부분 디코더 디스크립션이다. MPEG-1/2/4/AVC에서는 각 부호화 시 엔트로피 코딩(entropy coding)을 수행한다. 이 때 주로 허프만 코딩(Huffman coding) 방법이 이용되며, 이 경우 이용되는 정보가 허프만 테이블(Huffman table)이다. 통합 코덱을 구현하기 위해서는 각 복호 시 해당 복호화기에서 사용될 허프만 테이블(Huffman table) 정보가 제공되어야 한다. 따라서, 본 발명에 따른 디코딩 디스크립션 내에 신택스 파싱시 각 신택스(syntax)에 해당하는 허프만 테이블(Huffman table) 정보를 포함한다. 물론, 각 표준에 상응하는 허프만 테이블 정보가 이미 디스크립션 저장부(510)에 기록되어 있는 경우 DVT(470)의 전송은 생략되거나 도 11에 예시된 바와 같이 코덱 번호(Codec #, 1120)와 프로파일 및 레벨 번호(Profile and level #, 1130)만이 포함될 수도 있을 것이다.

도 30 내지 도 31에 예시된 바와 같이, DVT(470)는 각 허프만 테이블에 대한 이름(name), 허프만 코딩에 의해 압축되어 출력되는 실제 값(value) 및 압축된 실제 값이 종래 비트스트림(316)에 저장될 때 사용되는 코드 값(code)을 포함한다. 예를 들어, MCBPC 값을 압축하여 3이란 실제 값(value)을 얻었다면, 허프만 테이블 매핑(Huffman table mapping) 작업(예를 들어, SET(450)의 PROCESS 부분)에 의해 종래 비트스트림(316)에는 코드 값(code) 011이 기록된다. 다른 예로서, 앞서 예시한 SET(450)의 인덱스 S77(도 22 내지 도 25 참조)의 Process 부분에는 VLD[1]이라 기록되어 있어 VLD라는 함수를 호출하게 된다. 이 함수에 의해 미리 지정된 길이(고정길이 또는 가변 길이)만큼 종래 비트스트림(316)을 읽어 코드 값(code)값을 얻은 후 허프만 테이블 매핑(Huffman table mapping) 작업에 의해 상응하는 실제 값(value)을 얻을 수 있다. 이 때 사용되는 Huffman table은 [1], 즉 1번째 테이블인 CBPY이다.

DVT(470)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

일 예로, DVT(470)는 아래와 같이 textual description될 수 있다.

DVT{((0,1), (1,001), (2,010), (3,011), (4,0001), (5,000001), (6,000010), (7,000011), (8,000000001), (9,NULL)) ((0,0011), (1,00101), (2,00100), (3,1001), (4,00011),(5,0111), (6,000010), (7,1011), (8,00010), (9,000011), (10,0101), (11,1010), (12,0100), (13,1000), (14,0110), (15,11), (16,000000), (17,000001), (18,NULL)) ((0,011), (1,11), (2,10), (3,010), (4,001), (5,0001), (6,00001), (7,000001), (8,0000001), (9,00000001), (10,000000001), (11,0000000001), (12,00000000001), (13,NULL)) ((0,11), (1,10), (2,01), (3,001), (4,0001), (5,00001), (6,000001), (7,0000001), (8,00000001), (9,000000001), (10,0000000001), (11,00000000001), (12,000000000001), (13,NULL))...

다른 예로서, DVT(470)는 아래와 같이 binary description될 수 있다.

0000001111111111111111111111111011111000011000110010001101000011011001000001001100000010011000001000110000011010010000000010000011111001000011001010 010100101001000010010010010100011001000111001100000100010010110010100010001100000110010001010010010100010001000010010000010001100001011001100000000011000000100000111110001101100010110001010000110100001100100100000100101000010011000000100111000000101000000000010100100000000101010000000000101011000000000010000011111000101100010100001001000110010010000010010100001001100000010…

각 부분 디코더 디스크립션들은 binary description됨으로써 저장 공간을 감소시키고, 처리 효율을 증진시키며, 디코딩 디스크립션을 포함한 확장 비트스트림(305) 전송 시간을 감소시킬 수 있는 장점이 있다. 일 예로, MPEG-4 SP(Simple Profile)를 기준한 각 부분 디코더 디스크립션에 대한 textual description과 binary description의 오버헤드 비트(overhead bit)는 아래 표 1과 같다.

표 1. Overhead of Textual/Binary Description (bytes)

Table name	Textual Description	Binary Description
SET	3653	1089
S-RT	4201	1122
F-RT	466	142
CSCIT	808	24
FU-CSCIT	151	37
FL	98	28
DVT	2599	259
Total	11,976	2,702

이하, 파싱 기능부(610) 및/또는 연결 제어부(534)에 의해 이용되는 각 부분 디코더 디스크립션간의 연동 과정을 설명한다.

본 발명에 따른 복호화기(300)의 디코딩 처리 유닛(320)이 동작을 개시하는 방법은 다양할 수 있다. 이중 몇 가지 예만을 제시하면 다음과 같다.

도 5에 도시된 디코딩 처리 유닛(320)에서 적용될 수 있는 예로서, 연결 제어부(534)가 디코더 형성부(520)로부터 수신된 CSCI 제어 정보와 연결 제어 정보를 이용하여 툴박스(515) 내의 각 기능부들의 처리 관계(예를 들어, 동작 순서, 연결 관계 등)를 제어하는 방법이다. 이는 앞서 예시한 F-RT(420)에서도 보여지는 바와 같이, 툴박스(515) 내의 기능부들 중 파싱 기능부(610)를 먼저 로드하여 종래 비트스트림을 신택스 파싱한 엘리먼트 정보가 CSCI 저장부(532)에 저장되도록 한 후, 제어 권한이 연결 제어부(534)로 리턴(예를 들어, S-RT(460)의 인덱스 R72와 같이 제어 권한이 연결 제어부(534)로 리턴되도록 함)되면 상응하는 기능부(FU)가 후속하는 동작을 처리하도록 로드함으로써 각 기능부들의 연결 관계를 제어한다.

다음으로, 도 6에 도시된 디코딩 처리 유닛(320)에서 적용될 수 있는 예로서, syntax 파싱 제어 정보를 수신한 파싱 기능부(610)가 독립적으로 동작을 개시하여 종래 비트스트림에 대한 신택스 파싱을 완료하면, 연결 제어 정보를 수신한 연결 제어부(534)가 디코딩 기능부들의 선택적 로드를 통해 연결 관계를 제어하는 방법이다. 이 경우, 연결 제어부(534)는 파싱 기능부(610)가 필요한 일부의/전체의 엘리먼트 정보를 CSCI 저장부(532)에 저장 완료하였는지 여부를 먼저 인식하여야 한다. 이를 위해, 연결 제어부(534)는 CSCI 저장부(532)로의 필요한 엘리먼트 정보가 저장되었는지 여부를 지속적으로 감시하거나, 엘리먼트 정보를 저장한 파싱 기능부(610)가 이를 연결 제어부(534)로 통지(예를 들어, S-RT(460)의 인덱스 R72와 같이 제어 권한이 연결 제어부(534)로 리턴되도록 함)하여야 할 것이다. 물론, 연결 제어부(534, 또는 연결 제어부(534)의 제어에 의해 로드된 임의의 기능부) 및/또는 파싱 기능부(610)는 CSCI 저장부(532)에 필요한 정보가 저장 완료되었는지 감시할 필요없이 동작 개시한 상태에서 해당 저장부에 필요한 정보가 저장될 때까지 대기할 수도 있음은 자명하다.

도 5 또는/및 도 6에 도시된 디코딩 처리 유닛(320)에서 적용될 수 있는 예로서, 디코더 형성부(520)가 CSCI 제어 정보, 연결 제어 정보 등을 연결 제어부(534) 및/또는 파싱 기능부(610)로 전달함으로써 동작 개시되도록 구현하는 방법이다.

이하, 상술한 첫 번째 실시예를 중심으로 파싱 기능부(610) 및/또는 연결 제어부(534)에 의해 이용되는 각 부분 디코더 디스크립션간의 연동 과정을 설명한다.

먼저, 연결 제어부(534)는 디스크립션 저장부(510)에서 F-RT(420)의 첫 번째 규칙 정보(Rule)을 읽어 해당 기능부를 호출한다. 연결 제어부(534)는 F-RT(420)에 보여지는 바와 같이 가장 먼저 F0(R0)을 읽고, 툴박스(515) 내의 파싱 기능부를 로드하여 처리가 개시되도록 한다. 이는, 파싱 기능부(610)에 상응하는 프로그램 코드들의 처리 블록이 활성화되도록 하는 것일 수 있다. FL(410)에 의하면 F0가 파싱 기능부임을 알 수 있으며, 선택한 기능부(FU)가 파싱 기능부인 경우 몇 번째 신택스를 읽어 처리하여야 하는지에 관한 정보가 함께 기재된다(예를 들어, F0(R0), F0(R114) 등).

파싱 기능부는 S-RT(460)의 규칙 정보(Rule)들 중 연결 제어부(534)에 의해 지정된(즉, F-RT(420)에 의해 지정된) 규칙 정보(이는 정보 가공부(524)에 의해 가공된 정보일 수 있음)를 읽어 해당 Syntax를 읽는다. 위에서, F-RT(420)에 의해 지적된 규칙 정보가 F0(R0)였으므로, 파싱 기능부는 인덱스 R0부터 처리를 개시한다. 파싱 기능부는 S-RT(460)에 의해 인덱스 R0에서 처리할 신택스가 S0이고, S0는 SET(450)에 의해 Visual Object Sequence Start Code임을 인식하고, 종래 비트스트림(316)에서 상응하는 비트(즉, SET(450)에 입력값으로 설정된 32비트)를 읽어 상응하는 출력값(즉, 엘리먼트 정보로서, C0)을 생성하여 CSCI 저장부(532)에 저장한다. CSCI 저장부(532)에 저장된 당해 엘리먼트 정보가 무엇인지는 CSCIT(440)에 기재되어 있다. 이어서, 파싱 기능부는 CSCI 저장부(532)에 저장된 엘리먼트 정보(즉, C0)를 S-RT(460)의 상응하는 분기 정보에 대입하고, 그 결과에 상응하는 인덱스의 처리를 위해 진행한다. 예를 들어, 인덱스 R0에 상응하는 분기 정보는 'C0==1'이므로 이를 만족하면 인덱스 R1으로 진행할 것이고, 그렇지 않으면 Error 처리한다. 이러한 과정은 'GO RT'를 만나 제어 권한이 F-RT(420)(즉, 연결 제어부(534))로 이전될 때까지 지속된다(예를 들어, S-RT(460)의 인덱스 R72).

그러나, 파싱 기능부가 SET(450)를 이용하여 엘리먼트 정보를 생성하여 CSCI 저장부(532)에 저장하는 과정에서, VLD 함수가 호출되면(예를 들어, SET(450)의 인덱스 S74) DVT(470)를 이용하여 엔트로피 디코딩을 수행한다. 이 과정에서 엘리먼트 정보가 생성되면 CSCI 저장부(532)에 저장한다.

파싱 기능부의 처리 과정에서 'GO RT'를 만나 제어 권한이 F-RT(420)(즉, 연결 제어부(534))로 이전(예를 들어, S-RT(460)의 인덱스 R72)되면, 연결 제어 부(534)는 F-RT(420)의 인덱스 R0의 입력값인 C63(즉, 신택스 파싱 과정에서의 SET(450)의 인덱스 S57에 따른 엘리먼트 정보)를 CSCI 저장부(532)에서 독출하고, 분기 정보(즉, ((C63==1)||(C63==2)) 또는 ((C63==3)||(C63==4)))에 대입하므로써 이후에 처리할 인덱스를 지정한다. 즉, 분기 정보의 만족 여부에 따라 인덱스 R1으로 진행할지, 종료(END)할지 또는 Error 처리할지 여부가 결정된다.

인덱스 R1으로 진행하는 경우, 미리 지정된 처리(예를 들어, 변수 선언, 메모리 설정, 변수 값 초기화 등)를 수행한 후 후속하여 처리될 인덱스가 결정된다.

상술한 바와 같이, 파싱 기능부의 처리에 의해 전체/일부의 엘리먼트 정보가 CSCI 저장부(532)에 저장되면, 연결 제어부(534)는 인덱스 R6에서 기능부 F1을 호출한다. F1은 FL(410)에 의해 DCR(DC Reconstruction)임이 인식된다.

DCR은 FU-CSCIT(430)를 참조하여 입력값이 4개(즉, C54, C56, C58, C65)임을 인식하고, CSCI 저장부(532)에서 해당 엘리먼트 정보들을 독출한다. 해당 엘리먼트 정보들이 무엇인지는 CSCIT(440)와의 매핑(mapping)을 통해 인식할 수 있다. DCR은 독출한 엘리먼트 정보들을 이용하여 해당 기능부에 대해 미리 지정된 매크로블록 크기의 동영상 데이터 처리를 완료하고, 처리된 동영상 데이터를 버퍼 메모리 또는 CSCI 저장부(532)에 저장한다.

이러한 과정은 F-RT(420)에 예시된 바와 같이 인덱스 R6부터 R11까지 연속된다. 이에 의해, DCR, IS, IAP, IQ, IT, VR 등이 순차적으로 연결되도록 제어된다. 연결 제어부(534)는 임의의 기능부가 처리를 완료하였는지 여부를 인식할 수 있으며, 선행하는 기능부의 처리가 완료되면 후속하는 기능부의 처리를 지시한다. 또 한, 선행하는 기능부는 후행하는 기능부의 동영상 데이터 처리를 위해 처리한 데이터를 미리 설정된 버퍼 메모리 또는 CSCI 저장부(532)에 저장한다. 연결 제어부(534)는 임의의 기능부가 처리를 완료하였는지 여부를 인식하는 방법은 당업자에게 자명하므로 이에 대한 설명은 생략한다.

연결 제어부(534)가 상술한 과정, 즉 F-RT(420)에 기술된 인덱스 순서 및/또는 분기 조건에 따른 인덱스 순서에 의한 처리가 수행되도록 제어함으로써 디코딩 처리 유닛(320)은 입력된 종래 비트스트림(316)에 상응하는 동영상 데이터를 출력할 수 있다.

상술한 설명을 통해 이해되는 바와 같이, 본 발명에 따른 부분 디코더 디스크립션간의 연동 루프(loop)는 크게 둘로 구분할 수 있다. 즉, F-RT 루프는 F-RT(420), FL(410), FU-CSCIT(430), F-RT(420), CSCIT(분기 조건 적용 등), F-RT (다음 번 rule)로 구성되고, S-RT 루프는 S-RT(460), SET(450), CSCIT(440), S-RT(460), CSCIT(분기 조건 적용 등), S-RT(다음 번 rule)로 구성된다.

또한, F-RT 루프는 다음과 같이 둘로 구분할 수 있다. 먼저, 디코딩 기능부의 실행을 지시하는 경우에는 F-RT(420), FL(410), FU-CSCIT(440), F-RT(420), CSCIT(분기 조건 적용 등), F-RT(다음 번 rule)로 구성된다. 다음으로, 파싱 기능부의 실행을 지시하는 경우에는 F-RT(420), FL(410), (S-RT 루프), F-RT(420), CSCIT(분기 조건 적용 등), F-RT(다음 번 rule)로 구성된다.

또한, S-RT 루프는 다음과 같이 둘로 구분할 수 있다. 다음 번 규칙 정보(rule)로 분기하는 경우에는 S-RT(460), SET(450), CSCIT(440), S-RT(460), CSCIT(분기 조건 적용), S-RT(다음 번 rule)로 구성되고, F-RT(420)로 리턴(return)하는 경우에는 S-RT(460), SET(450), CSCIT(440), S-RT(460), CSCIT(분기 조건 적용 등), F-RT(호출한 F-RT(420)의 인덱스)로 구성된다.

F-RT(420)에 따른 연결 제어부(534)의 연결 제어에 의해 툴 박스(510) 내에 구비된 각 기능부들의 연결 관계는 상이해질 수 있다.

이하, 각 부분 디코더 디스크립션들을 구성하는 명령어들에 대해 상세히 설명하기로 한다.

도 32에는 syntax 파싱을 위하여 각 부분 디코더 디스크립션들에서 이용되는 명령어들이 예시되어 있다. 예시된 각각의 명령어들을 이용하여 MPEG-2/MPEG-4/MPEG-4 AVC와 같은 표준의 syntax를 파싱하기 위한 정보(즉, 부분 디코더 디스크립션)를 구성 할 수 있다. 이하에서는 MPEG-2 MP(Main Profile) Intra coding된 syntax를 파싱하기 위한 부분 디코더 디스크립션들의 예와 각 부분 디코더 디스크립션간의 연동 관계를 중심으로 설명하기로 한다.

도 32에 예시된 바와 같이, 각 부분 디코더 디스크립션들을 구성하기 위한 명령어들로는 READ, SEEK, FLUSH, IF, WHILE, UNTIL, DO~WHILE, DO~UNTIL, BREAK, SET, STOP, PUSH 등이 있다. 물론, 모든 명령어가 각 부분 디코더 디스크립션 내에 모두 이용되어야 하는 것은 아니며, 각 부분 디코더 디스크립션별로 임의의 명령어가 선택적으로 이용될 수 있음은 자명하다. 이하, 각 명령어의 용도를 간략히 설명하도록 한다.

먼저, READ는 비트스트림에서 일정 비트를 읽어들이기 위한 명령어이다. 예 를 들어, "READ bits B > CSCI;"와 같이 표현될 수 있다. 여기서, "bits"는 읽어들일 비트 수를 나타내고, "B"는 Byte-alignment 플래그이고, "> CSCI"는 저장할 CSCI 인덱스를 나타낸다. "B"와 "> CSCI"는 옵션(option)으로 이용되며, "> CSCI"가 지정되지 않으면 변수 IBS에만 저장하도록 설정된다.

다음으로, SEEK는 비트스트림에서 일정 비트를 읽어들이되, 파일 포인터를 이동하지 않도록 하는 명령어이다. 파일 포인터란 일정 비트를 읽어들이는 등의 동작시 기준 위치를 의미한다. SEEK 명령어의 파라미터는 앞서 설명한 READ와 동일하게 적용할 수 있다.

다음으로, FLUSH는 비트스트림에서 일정 비트 수 만큼 파일 포인트를 이동하는 명령어이다. 파라미터는 READ와 유사하게 적용할 수 있다.

다음으로, IF는 "IF (condition) { ~ } ELSE { ~ }"의 형태로 이용될 수 있으며, 주어진 조건에 따른 분기를 제공하는 명령어이다.

다음으로, WHILE은 "WHILE (condition) { ~ }"의 형태로 이용될 수 있으며, 주어진 조건이 참(True)인 동안 지정된 블록을 반복하여 수행하도록 하는 명령어이다.

다음으로, UNTIL은 "UNTIL (condition) { ~ }"의 형태로 이용될 수 있으며, 주어진 조건이 참이 될 때까지 지정된 블록을 반복하여 수행하도록 하는 명령어이다.

다음으로, DO~WHILE은 "DO { ~ } WHILE (condition)"의 형태로 이용될 수 있으며, WHILE문을 변형하여 조건 판단에 앞서 블록을 실행하도록 하는 명령어이다.

다음으로, DO~UNTIL은 "DO { ~ } UNTIL (condition)"의 형태로 이용될 수 있으며, UNTIL문을 변형하여 조건 판단에 앞서 블록을 실행하도록 하는 명령어이다.

다음으로, ( ~ ) (compute)라는 명령어는 예를 들어 "(C11=(V2+3));"의 형태로 이용된다. 즉, SET-PROC의 모든 계산식이 괄호 안에 기록되도록 할 수 있으며, 사칙연산, 대입, 비교, 가산/감산 (++/--), 비트 연산, 논리합/논리곱, CSCI 사용여부 체크 등의 연산자가 이용될 수 있다.

다음으로, BREAK는 가장 가까운 루프 구조로부터 이탈하도록 하는 명령어이다.

다음으로, SET은 지정된 CSCI들에 대한 사용 여부 플래그를 설정하는 명령어로서, 플래그를 지정할 CSCI들이 나열되며 콤마(,)에 의해 구분(예를 들어, SET C0, C2;)될 수 있다.

다음으로, STOP은 현재 수행중인 신택스 엘리먼트(Syntax Element)의 처리를 중단하고 다음으로 넘어가도록 하는 명령어이다.

다음으로, PUSH는 배열형 CSCI에서, 데이터가 기록된 맨 마지막 지점에서부터 주어진 데이터를 추가하도록 하는 명령어로서, 추가된 값들이 나열되며(예를 들어, PUSH C8 8, 16, 32;) 콤마에 의해 구분된다.

다음으로, GO는 지정한 위치로 분기하도록 하는 명령어이다. 예를 들어, GO R#;;인 경우 R#으로 분기하라는 명령이며, GO RT는 호출한 곳으로 복귀(return)하라는 명령이다.

다음으로, HEX는 HEX 명령어 뒤에 나오는 값이 16진수임을 나타내는 명령어 이다.

다음으로, RLD는 MPEG-4에서 지원되는 RLD 함수를 위한 인터페이스로서, "RLD index, level, run, islastrun, t#;"의 형태로 이용될 수 있다. 여기서, index, level, run 및 islastrun는 RLD 반환값을 저장하는 CSCI 혹은 내부 변수를 나타내고, t#는 RLD에 사용되는 Huffman Table ID를 나타낸다.

다음으로, VLD2는 MPEG-2용 VLD 함수로서, "VLD2 [t#] in > v1, v2, v3;"의 형태로 이용될 수 있다. 여기서, t#는 VLD에 사용되는 Huffman Table ID이고, in은 입력되는 index값을 나타내며, v1~v3은 출력 결과값을 나타낸다.

마지막으로, VLD4는 MPEG-4용 VLD 함수로서, "VLD4 [T#] > CSCI;"의 형태로 이용될 수 있다. 여기서, t#는 VLD에 사용되는 Huffman Table ID를 나타내고, "> CSCI"는 저장할 CSCI 인덱스를 나타낸다. "> CSCI"는 옵션(option)으로, 지정하지 않으면 변수 IBS에만 저장되도록 한다.

상술한 명령어들에 의해 구성된 각 부분 디코더 디스크립션들(즉, MPEG-2 MP Intra 코딩용 신택스 처리를 위한 각 부분 디코더 디스크립션)의 상세 예시도가 도 33 내지 도 57에 예시되어 있다. 구체적으로, SET(450)는 도 33 내지 도 39에, S-RT(460)는 도 40 내지 도 44에, CSCIT(440)는 도 45 내지 도 48에, FL(410)는 도 49에, F-RT(420)는 도 50에, FU-CSCIT(430)는 도 51에, DVT(470)는 도 52 내지 도 57에 각각 예시되어 있다.

앞서 각 부분 디코더 디스크립션들간의 연동 관계에 대해 상세히 설명하였으므로, 여기서는 이를 일반화하여 간단히 설명하기로 한다.

신택스 파싱을 위한 부분 디코더 디스크립션들간의 연동은 먼저 F-RT(420)(도 50 참조)의 인덱스 순으로 진행된다. 즉, F-RT(420)의 인덱스 R0로부터 개시된다.

F-RT(420)에서 현재 처리될 인덱스 번호(R#)에 상응하는 FU의 인덱스 번호(F#)을 인식한다. 예를 들어, 현재 처리될 인덱스 번호가 R0라면 F0(즉, FL(410)의 파싱 기능부)가 인식될 것이고, 현재 처리될 인덱스 번호가 R9라면 F1(즉, FL(410)의 DCR)이 인식될 것이다.

먼저, 인식된 인덱스 번호에 의해 해당 FU가 Syntax Parser(즉, FL(410)의 인덱스 번호 F0)인 경우를 설명한다.

F-RT(420)의 "FU" 필드에 기록된 "F#(R#)" 정보를 이용하여 R#을 인식하고, S-RT(460)에서 인덱스 번호 R#에 상응하는 인덱스 S#을 인식한다. 예를 들어, F-RT(420)의 인덱스 R0의 "FU" 필드에는 "F0(R0)"가 기록되어 있고, R0는 S-RT(460)의 Syntax 필드의 S0에 대응된다.

이어서, 인식된 S#에 상응하는 "Process by SET-PROC"를 SET(450)에서 인식한다. 예를 들어, S-RT(460)의 Syntax 필드의 S0에 대응되는 SET의 "Process by SET-PROC"는 "READ 32 B; IF (IBS== HEX:000001B3) C72=1; IF (IBS== HEX:000001B8) C72=2; IF (IBS== HEX:00000100) C72=3; IF (IBS== HEX:000001B7) C72=4;"이다.

SET(450)의 "Process by SET-PROC"의 연산 결과는 해당 인덱스(S#)의 "Output" 필드의 C#에 상응하도록 저장된다. 예를 들어, S-RT(460)의 Syntax 필드 의 S0에 대응되는 SET의 "Process by SET-PROC"는 C72로서 저장된다.

연산 결과의 저장이 완료되면, 다시 S-RT(460)를 참조하여 저장된 CSCI 정보가 어떤 분기 조건을 만족하는지 판단된다. 만일, S-RT(460)의 인덱스 R0인 경우, CSCI 정보 C72가 분기조건 "1: (C72==1) GO R1; 2: (C72==2) GO R39; 3: (C72==3) GO R47; 4: (C72==4) GO RT;" 중 어느 것을 만족하는지 판단된다. 상술한 4가지 조건 중 1 내지 3중 어느 하나를 만족하는 경우 S-RT(460) 내에서 상응하는 인덱스 R#로 진행하여 상술한 과정을 반복하지만, 4번째 조건(즉, (C72==4) GO RT)을 만족하는 경우에는 F-RT(420)로 복귀(return)한다.

다음으로, 인식된 인덱스 번호에 의해 해당 FU가 파싱 기능부(즉, FL(410)의 인덱스 번호 F0)가 아닌 경우를 설명한다.

F-RT(420)의 "FU" 필드에 기록된 "F#" 정보 및 FL(410)을 이용하여 해당 F#에 상응하는 입력 CSCI(Input CSCI)의 수를 인식한다. 예를 들어, F-RT(420)의 인덱스 R9의 "FU" 필드에는 "F1"이 기록되어 있고, FL(410)에는 F1이 DCR이고 4개의 입력 CSCI를 요구함이 기록되어 있다.

FL(410)을 참조하여 요구되는 입력 CSCI의 수가 0이 아니라면, FU-CSCIT(440)를 참조하여 "F#(C#)" 필드들에 상응하는 CSCI 값(C#)을 인식하고 CSCI 저장부(532)에서 상응하는 값을 독출한다.

이어서, 해당 FU는 입력된 데이터(예를 들어, MB 데이터) 및 입력 CSCI값들을 이용하여 출력 데이터를 생성한 후, F-RT(420)로 복귀한다.

앞서 설명한 바와 같이, 해당 FU가 Syntax Parser(즉, FL(410)의 인덱스 번 호 F0)인 경우에는 "GO RT"를 만족하는 경우에, 해당 FU가 Syntax Parser가 아닌 경우에는 미리 지정된 동작을 완료한 후 F-RT(420)로 복귀한다.

F-RT(420)는 현재 단계의 C# 값에 따라 분기 조건을 판단하여 상응하는 단계로 진행한다. 만일 만족되는 조건이 END인 경우(예를 들어, (C72==4) GO END;)에는 Syntax 파싱을 종료하고, 만족되는 조건이 R#을 지시하는 경우(예를 들어, GO R1)에는 해당 인덱스로 진행한다.

도 9는 본 발명의 제1 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 10은 본 발명의 제2 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이며, 도 11은 본 발명의 제3 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 12는 본 발명의 제4 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이다.

도 9 내지 도 11에 예시된 바와 같이, 본 발명에 따른 확장 비트스트림(305)에 포함되는 디코딩 디스크립션은 부분 디코더 디스크립션 정보를 포함하지 않고 적용된 표준 정보만을 포함하도록 구성되거나(No table), 부분 디코더 디스크립션 정보를 모두 포함하도록 구성되거나(Full tables), 일부의 부분 디코더 디스크립션 정보만이 포함되도록 구성될 수 있다(Partial tables). 이들 각각을 구분하기 위하여, 디코딩 디스크립션 정보는 SI(Stream Identifier) 정보를 포함할 수 있고, SI 정보는 아래의 표 2와 같이 구분될 수 있다.

표 2. Stream Identifier

SI	Decoding Description
00	No table
01	Full tables
10	Partial tables

도 9에 도시된 바와 같이, 확장 비트스트림(305)은 디코더 디스크립션(인코딩된 디코더 디스크립션(313)으로 디스크립션 디코더(505)에 의해 부분 디코더 디스크립션으로 디코딩 처리됨 - 이하 동일함)으로서, 부분 디코더 디스크립션 정보를 포함하지 않음을 표시하는 SI(910, 즉 00), 코덱 번호(Codec #, 920)과 프로파일 및 레벨 번호(Profile and level #, 930)을 포함할 수 있다.

이는 부분 디코더 디스크립션 정보를 보내지 않고 디스크립션 저장부(510)에 이미 저장된 부분 디코더 디스크립션 정보들을 사용하는 경우이다. 해당 종래 비트스트림(316)이 어떤 코덱과 프로파일 및 레벨을 사용하는지에 대한 기본 정보만 보낼지라도, 디코딩 처리 유닛(320)은 지시된 부분 디코더 디스크립션들을 이용하여 복호화할 수 있다.

이를 위해, SET(450), CSCIT(440), FL(410), FU-CSCIT(430), DVT(470) 등이 적용 표준(즉, 코덱)별로 기술되고, F-RT(420), S-RT(460) 등은 각 적용 표준의 프로파일(profile) 별로 기술 될 수 있다(표 3 및 4 참조).

표 3. 코덱별 부분 디코더 디스크립션 구분

표준	부분 디코더 디스크립션 구분
MPEG-1	SET #1	FL #1	FU-CSCIT #1	CSCIT #1	DVT #1
MPEG-2	SET #2	FL #2	FU-CSCIT #2	CSCIT #2	DVT #2
MPEG-4	SET #3	FL #3	FU-CSCIT #3	CSCIT #3	DVT #3
AVC	SET #4	FL #4	FU-CSCIT #4	CSCIT #4	DVT #4

표 4. Profile and level별 부분 디코더 디스크립션 구분

SI	부분 디코더 디스크립션 구분
MPEG-1	F-RT #1-1	S-RT #1-1
MPEG-2 MP	F-RT #2-1	S-RT #2-1
MPEG-4 SP	F-RT #3-1	S-RT #3-1
MPEG-4 ASP	F-RT #3-2	S-RT #3-2
AVC BP	F-RT #4-1	S-RT #4-1

MPEG-4 SP의 경우 SET#3, FL#3, CSCIT#3, FU-CSCIT#3, DVT#3, F-RT#3-1, S-RT#3-1을 사용하여 복호화 방법을 설명 할 수 있으며, 코덱 번호를 3으로 프로파일 및 레벨 번호를 2로 지정하여 전송하면 디코딩 처리 유닛(320)은 이에 해당하는 부분 디코더 디스크립션들을 참조(즉, 정보 가공부(524)에 의해 상응하도록 가공된 정보를 이용)하여 복호화 작업을 수행할 수 있다.

또한, 도 10에 도시된 바와 같이, 확장 비트스트림(305)은 디코더 디스크립션으로서, 앞서 설명한 모든 부분 디코더 디스크립션 정보들을 포함할 수 있다. 이 경우, SI(910)는 표 2를 참조할 때 01로 설정될 것이다. 각 부분 디코더 디스크립션들은 테이블 식별자(TI, Table Identifier)(1010), 테이블 시작 코드(TS Code, Table Start Code)(1020), 테이블 디스크립션(TD, Table Description)(1030), 테이블 종료 코드(TE Code, Table End Code)(1040)를 포함할 수 있다. 테이블 식별자(1010)와 테이블 시작 코드(1020)의 순서는 변경될 수 있으며, 테이블 디스크립션(1030)은 바이너리 디스크립션 형태로 기술될 수 있다. 물론, 각 부분 디코더 디스크립션들의 순서는 변경될 수 있다.

또한, 도 10에 도시된 바와 같이, 확장 비트스트림(305)은 디코더 디스크립션으로서, 앞서 설명한 일부의 부분 디코더 디스크립션 정보들과 일부의 부분 디코더 디스크립션 정보에 상응하는 코덱 번호 등을 포함할 수 있다. 이 경우, SI(910) 는 표 2를 참조할 때 10으로 설정될 것이다. 다만, 이 경우는 부분 디코더 디스크립션 정보들의 형식이 통일되지 않았으므로, 해당 부분 디코더 디스크립션 정보가 어떤 형식으로 구성된 것인지를 판단할 수 있도록 구성 식별자(1110)을 테이블 식별자(1010) 후단에 더 구비함이 바람직할 것이다.

또한, 도 12에 도시된 바와 같이, 확장 비트스트림은 부분 디코더 디스크립션 정보에 대한 디코딩 디스크립션(T-DD, 1210)과 갱신 정보를 더 포함할 수 있다. 부분 디코더 디스크립션 정보에 대한 디코딩 디스크립션(1210)은 앞서 도 9 내지 도 11을 참조하여 설명한 디코더 디스크립션들 중 어느 하나일 수 있으며, SI(910)는 상응하는 값으로 설정될 것이다. 갱신 정보는 갱신 시작 코드(RS code, Revision Start code)(1220)과 갱신 내용(Revision, 1230)을 포함할 수 있다.

갱신 내용(1230)은 임의의 부분 디코더 디스크립션의 규칙 정보(Rule)을 추가하거나 삭제하거나 갱신하는 등의 내용일 수 있다. 그 형태는 'insert index into table-name (…);', 'delete index from table-name;', 'update index in table-name(…);' 등일 수 있다.

예를 들어, SET#4에 S100을 추가하고자 하는 경우, 갱신 내용(1230)은 'insert S100 into SET#4 ("READ 1;IF(IBS==1){SET C31;}");'과 같이 구성될 수 있다. 또한, S-RT#3-1에서 R31을 지우고자 하는 경우, 갱신 내용(1230)은 'delete R31 from S-RT#3-1;'과 같이 구성될 수 있다. 또한, F-RT#2-1에서 R7을 수정하고자 하는 경우, 갱신 내용(1230)은 'update R7 in F-RT#2-1 (F6, 1: (C66<=6) GO R5;2: (C65<=C67) GO R4; 3: GO R12;);'과 같이 구성될 수 있다.

위와 같은 갱신 내용(1230)을 디스크립션 디코더(405)가 읽어 들여 해당 확장 비트스트림(305)에 대한 디코딩이 수행되는 동안은 디스크립션 저장부(510)에 변경된 내용의 부분 디코더 디스크립션들이 저장되도록 한다. 그러나, 복호화가 완료되면 디스크립션 저장부(510)에 저장된 해당 부분 디코더 디스크립션들을 원상태대로 복원하여야 할 것이다. 복호화의 완료 여부는 디코더 형성부(520) 또는 디코딩 솔루션(530)이 완료 통지를 디스크립션 디코더(405)로 제공하거나, 디스크립션 디코더(405)가 디코딩 처리 유닛(320)의 완료 여부를 감시함으로써 인식할 수 있을 것이다.

상술한 바와 같이, 본 발명에 따르면 종래의 표준(즉, 코덱)에서 제공하는 기능부들을 사용하여 기존의 프로파일(profile)을 사용할 수도 있고, 기존의 기능부들을 이용하여 새로운 복호화기를 구성할 수도 있으며, 새로운 기능부를 이용하여 새로운 복호화기를 구현 할 수 도 있다. 즉, 다양한 또한 제한없는 복호화기 구현이 가능하다.

다만, 새로운 기능부(Functional Unit)를 툴 박스(510)에 추가하는 경우, 해당 기능부에 대한 알고리즘(즉, 기능부에 대한 디스크립션)을 추가하고 해당 정보를 FL(410)에 추가하여야 할 것이다. 이 경우 상기 알고리즘에 대한 컴파일(compile) 과정이 추가적으로 필요할 수도 있다.

통합 코덱을 구현하기 위해서는 다양한 부호화 방식에 의해 압축된 비트스트림을 파싱하여 해당 부호화 방식에 대응되는 복호화 방식으로 비트스트림을 디코딩하도록 각 구성 요소를 유기적으로 제어 할 수 있어야 한다.

이 경우, 해당 비트스트림은 여러 가지 표준(코덱)을 혼합한 다양한 모양으로 구성된 비트스트림이거나 하나의 표준 내에서 다양한 부호화 방식에 의해 생성된 다양한 형태의 비트스트림일 수 있다. 또한 다양한 부호화/복호화 방법을 지원하기 위해서는 여러 가지 표준에서 사용되는 다양한 기능들을 별개의 유닛(Unit)으로 구분하고, 사용자가 원하고 필요로 하는 기능만을 선별하여 한 가지의 코덱(encoder and decoder)을 만들 수 있어야 한다.

상술한 바와 같이, 본 발명은 디코딩 디스크립션이 함께 제공되도록 함으로써 비트스트림이 부호화된 부호화 방식에 관계없이 동일한 정보 해석 방법으로 각 기능부들을 유기적으로 연결하고 제어할 수 있는 장점을 가진다.

또한, 본 발명의 다른 장점으로는 비트스트림의 신택스(syntax)가 변경되거나 새롭게 추가 될지라도, S-RT(460)에 해당 정보만의 수정 또는 추가 정보의 삽입 만으로도 능동적 대응이 가능하도록 할 수 있다. 또한 비트스트림 레벨(bit stream-level), 프레임 레벨(frame-level), 매크로블록 레벨(MB-level) 등의 처리 단위로 사용자가 원하는 기능을 선별하여 F-RT(420)를 구성함으로써 해당 복호화기의 디코딩 기능부들의 연결 관계 또는 동작 여부를 제어할 수 있는 장점도 있다.

도 13은 본 발명의 제5 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 14는 본 발명의 제6 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이며, 도 15는 본 발명의 제7 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 16은 본 발명의 제8 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이다.

본 발명에 따른 확장 비트스트림(305)은 디코더 디스크립션(DD, Decoder Description) 영역과 종래 비트스트림(316)으로 구성된다. 종래 비트스트림(316)이 코딩된 비디오 데이터(또는/및 코딩된 오디오 데이터)로 구성됨은 당업자에게 자명하다.

여기서, 디코더 디스크립션 영역은 종래 비트스트림(316)을 디코딩하기 위해 적용될 코덱 특성에 따라 상이한 구조로 형성할 수 있다. 즉, 첫번째, 종래에 표준화된 하나의 코덱을 사용하는 경우 제1 디코더 디스크립션 구조가 적용될 수 있다.

두번째, 종래에 표준화된 하나의 코덱 중 일부 내용을 수정하여 사용(즉, 상술한 7개의 부분 디코더 디스크립션들 중 일부 부분 디코더 디스크립션은 해당 코덱에 상응하는 부분 디코더 디스크립션 내용을 그대로 사용하고 다른 일부 부분 디코더 디스크립션들을 수정하여 사용)하는 경우 제2 디코더 디스크립션 구조가 적용될 수 있다.

세번째, 종래에 표준화된 복수의 코덱의 부분 디코더 디스크립션 정보를 가공하여 사용(즉, 상술한 7개의 부분 디코더 디스크립션들 중 일부 부분 디코더 디스크립션들은 종래의 복수 코덱의 부분 디코더 디스크립션 내용을 선택적으로 사용하고 다른 일부 부분 디코더 디스크립션들은 수정하여 사용)하는 경우 제3 디코더 디스크립션 구조가 적용될 수 있다.

네번째, 종래에 표준화되지 않은 새로운 코덱을 사용(즉, 새로운 내용으로 구성된 상술한 7개의 부분 디코더 디스크립션들을 모두 포함하여 전송)하는 경우 제4 디코더 디스크립션 구조가 적용될 수 있다.

상술한 네가지 디코더 디스크립션 구조는 각각 상이한 코덱 타입(codec_type) 정보로서 구분될 수 있다. 예를 들어, 제1 디코더 디스크립션 구조인 경우 "codec_type = 0"으로 설정되고, 제2 디코더 디스크립션 구조인 경우 "codec_type = 1"으로 설정되며, 제3 디코더 디스크립션 구조인 경우 "codec_type = 2"로 설정되고, 제4 디코더 디스크립션 구조인 경우 "codec_type = 3"으로 설정될 수 있다.

도 13에 제1 디코더 디스크립션 구조가 예시되어 있다.

도 13에 예시된 제1 디코더 디스크립션 구조에 따를 때, 디코더 디스크립션 영역은 코덱 타입(codec_type)(1250), 코덱 번호(codec_num)(1252) 및 프로파일 및 레벨 번호(profile_level_num)(1254)로 구성될 수 있다. 즉, 제1 디코더 디스크립션 구조에 따르면 디코더 디스크립션 영역에는 적용될 코덱에 관한 정보만을 중심으로 기술된다. 도면에는 각 필드가 8비트인 것으로 예시되어 있으나, 각 필드의 크기는 표현될 정보의 크기에 따라 가감될 수 있음은 자명하다.

코덱 타입(1250)은 0(zero)으로 설정(즉, codec_type=0)될 것이며, 이는 종래 표준화된 다양한 코덱들 중 하나의 코덱을 그대로 이용하는 경우를 의미한다.

도 14에 제2 디코더 디스크립션 구조가 예시되어 있다.

도 14에 예시된 제2 디코더 디스크립션 구조에 따를 때, 디코더 디스크립션 영역은 코덱 타입(codec_type)(1250), 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254) 및 테이블 디스크립션(1256)으로 구성될 수 있다. 즉, 제2 디코더 디스크립션 구조에 따르면 디코더 디스크립션 영역에는 적용 될 코덱에 관한 정보와 7개의 부분 디코더 디스크립션들 중 수정되는 내용을 중심으로 기술된다. 여기서, 테이블 디스크립션은 7개의 부분 디코더 디스크립션 각각에 대해 개별적으로 구비된다. 즉, 디코더 디스크립션 영역에 7개의 테이블 디스크립션이 존재할 수 있다.

각 테이블 디스크립션(1256)은 예시된 바와 같이, 테이블 시작 코드(Table_start_code)(1258), 테이블 식별자(Table_identifier)(1260), 테이블 타입(Table_type)(1262), 내용(1263) 및 테이블 종료 코드(Table_end_code)(1264)를 포함할 수 있다. 물론 각 필드의 사이즈는 필요에 따라 증감될 수 있다. 또한 이하에서 설명되는 바와 같이, 내용(1263)은 테이블 타입(1262)의 정보에 따라 생략되거나 포함될 수 있다.

예를 들어, 테이블 타입(1262)의 값이 0이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(1250), 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254)과 테이블 식별자(1260)에 의해 인식된 부분 디코더 디스크립션)의 수정없이 적용되도록 인식될 수 있다. 이 경우, 내용(1263)은 생략될 수 있다.

그러나, 테이블 타입(1262)의 값이 1이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(1250), 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254)과 테이블 식별자(1260)에 의해 인식된 부분 디코더 디스크립션)을 일부 수정(즉, 내용(1263)에 정의된 내용으로 수정)하여 사용하도록 인식될 수 있다. 이 경우, 내용(1263)에는 수정된 내용(예를 들어, update command 등)이 기술될 수 있다. 예를 들어, 수정된 내용(예를 들어, update command 등)은 업데이트(update), 삽입(insert) 또는/및 삭제(delete) 등과 같은 명령어들이 포함되어 해당 부분 디코더 디스크립션의 상응하는 인덱스의 부분 디코더 디스크립션 내용을 수정하도록 하는 정보일 수 있다.

그러나, 테이블 타입(1262)의 값이 2이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(1250), 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254)과 테이블 식별자(1260)에 의해 인식된 부분 디코더 디스크립션)을 완전히 변경(즉, 내용(1263)에 정의된 내용으로 변경)하여 사용하도록 인식될 수 있다. 이 경우, 내용(1263)에는 변경된 내용(예를 들어, new command 등과 같이 해당 부분 디코더 디스크립션을 새로 정의하기 위한 내용)이 기술될 수 있다.

도 15에 제3 디코더 디스크립션 구조가 예시되어 있다.

도 15에 예시된 제3 디코더 디스크립션 구조에 따를 때, 디코더 디스크립션 영역은 코덱 타입(codec_type)(1250) 및 테이블 디스크립션(1256)으로 구성될 수 있다. 즉, 제3 디코더 디스크립션 구조에 따르면 디코더 디스크립션 영역에는 적용될 코덱에 관한 정보와 7개의 부분 디코더 디스크립션들 중 수정되는 내용을 중심으로 기술된다. 여기서, 테이블 디스크립션은 7개의 부분 디코더 디스크립션 각각에 대해 개별적으로 구비된다. 즉, 디코더 디스크립션 영역에 7개의 테이블 디스크립션이 존재할 수 있다.

각 테이블 디스크립션(1256)은 예시된 바와 같이, 테이블 시작 코 드(Table_start_code)(1258), 테이블 식별자(Table_identifier)(1260), 테이블 타입(Table_type)(1262), 내용(1263) 및 테이블 종료 코드(Table_end_code)(1264)를 포함할 수 있다. 물론 각 필드의 사이즈는 필요에 따라 증감될 수 있다.

예를 들어, 테이블 타입(1262)의 값이 0이면 기존 부분 디코더 디스크립션(즉, 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254)와 테이블 식별자(1260)에 의해 인식된 부분 디코더 디스크립션)의 수정없이 적용되도록 인식될 수 있다. 즉, 내용(1263) 필드 내에 적용될 부분 디코더 디스크립션에 상응하는 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254)가 기술된다.

그러나, 테이블 타입(1262)의 값이 1이면 기존 부분 디코더 디스크립션(즉, 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254)와 테이블 식별자(1260)에 의해 인식된 부분 디코더 디스크립션)을 일부 수정(즉, 수정 내용(1266)에 정의된 내용으로 수정)하여 사용하도록 인식될 수 있다. 이 경우, 내용(1263) 필드 내에 적용될 테이블에 상응하는 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254)가 기술되고, 수정 내용(1266) 필드에는 수정된 내용(예를 들어, update command 등)이 기술될 수 있다.

그러나, 테이블 타입(1262)의 값이 2이면 기존 부분 디코더 디스크립션(즉, 테이블 식별자(1260)에 의해 인식된 부분 디코더 디스크립션)을 완전히 변경(즉, 내용(1263) 필드에 정의된 내용으로 변경)하여 사용하도록 인식될 수 있다. 이 경우, 내용(1263) 필드에는 변경된 내용(예를 들어, new command 등과 같이 해당 부 분 디코더 디스크립션을 새로 정의하기 위한 내용)이 기술될 수 있다. 즉, 상술한 바와 같이 테이블 타입(1262)가 0 또는 1인 경우라면 특정 코덱이 그대로 이용되거나 일부 부분 디코더 디스크립션이 수정되어 이용되므로 코덱에 관한 정보(즉, 코덱 번호(codec_num)(1252), 프로파일 및 레벨 번호(profile_level_num)(1254))가 요구되지만, 테이블 타입(1262)가 2인 경우라면 완전히 새로운 부분 디코더 디스크립션 정보가 정의되므로 별도의 코덱 정보는 불필요하다.

도 16에 제4 디코더 디스크립션 구조가 예시되어 있다.

도 16에 예시된 제4 디코더 디스크립션 구조에 따를 때, 디코더 디스크립션 영역은 코덱 타입(codec_type)(1250) 및 테이블 디스크립션(1256)으로 구성될 수 있다. 즉, 제4 디코더 디스크립션 구조에 따르면 디코더 디스크립션 영역에는 7개의 부분 디코더 디스크립션들을 중심으로 기술되며, 테이블 디스크립션은 7개의 부분 디코더 디스크립션 각각에 대해 개별적으로 구비된다.

각 테이블 디스크립션(1256)은 예시된 바와 같이, 테이블 시작 코드(Table_start_code)(1258), 테이블 식별자(Table_identifier)(1260), 테이블 타입(Table_type)(1262), 내용(1263) 및 테이블 종료 코드(Table_end_code)(1264)를 포함할 수 있다. 물론 각 필드의 사이즈는 필요에 따라 증감될 수 있다.

예를 들어, 테이블 타입(1262)의 값이 미리 지정된 값(예를 들어, 2) 이면 내용(1263) 필드에는 테이블 식별자(1260)에 상응하는 새로운 부분 디코더 디스크립션을 기술하기 위한 정보(예를 들어, new command 등과 같이 해당 부분 디코더 디스크립션을 새로 정의하기 위한 내용)가 표시된다. 상술한 바와 같이, 코덱 타 입(1250)이 3인 경우에는 새로운 부분 디코더 디스크립션들을 이용하여 디코딩을 수행하는 것으로 인식되므로, 테이블 타입(1262)은 하나만으로 지정되거나, 테이블 타입(1262)가 생략될 수 있다.

이하, 디코더 디스크립션 영역의 syntax 구조 및 각 필드의 syntax 구조를 각각의 표로서 예시하기로 한다.

표 5. 디코더 디스크립션

Decoder_Description() {	No . of bits
codec _ type	8
if ((codec_type==0x00) || (codec_type==0x01)) {
Codec_Description()
}
if (codec_type!=0x00) {
do {
Table_Description()
} while (next_bits()==table_idetifier)
}
}

표 6. 코덱 디스크립션

Codec_Description() {	No . of bits
codec _ num	8
profile _ level _ num	8
}

표 7. 테이블 디스크립션

Table_Description() {	No . of bits
table _ start _ code	24
table _ identifier	4
table _ type	4
if ((table_type =='0000') || (table_type =='0001')) {
if (codec_type==0x02)
Codec_Description()
if (table_type =='0001')
Update_Description()
}
if (table_type =='0010') {
New_Description()
}
table_end_code	24
}

표 8. 업데이트(update) 디스크립션

Update_Description() {	No . of bits	Mnemonic
Update_Command		vlclbf
}

표 9. 뉴(new) 디스크립션

New_Description() {	No . of bits	Mnemonic
New_Command		vlclbf
}

이하, 디코더 디스크립션의 semantics를 각각의 표로서 설명한다.

표 10. 디코딩 디스크립션

codec _ type	Meaning
0x00	A profile@level of an existing MPEG standard
0x01	Some parts of the existing one profile@level changed
0x02	Some parts of the existing multiple profile@level changed
0x03	A new decoding solution
0x04-0xFF	RESERVED

여기서, 코덱 타입은 8비트 코드로서, 코덱의 타입을 식별하기 위한 정보일 수 있다.

표 11. 코덱 디스크립션

codec _ num	MPEG standards and others
01	MPEG-1
02	MPEG-2
03	MPEG-4 Part 2
04	MPEG-4 Part 10 (AVC)
05-FF	RESERVED

여기서, 코덱 번호(codec_num)는 8비트 코드로서, 사용된 코덱의 코드를 나타내는 정보일 수 있다. 또한, 프로파일 및 레벨 번호(profile_level_num)는 8비트 코드로서, 코덱에 대한 프로파일과 레벨의 번호를 지시하기 위한 정보일 수 있다. 프로파일 및 레벨 번호는 각 MPEG 표준의 프로파일 및 레벨 번호와 일치할 수 있다.

표 12. 테이블 디스크립션(테이블 식별자)

table _ identifier	table name
0000	SET (Syntax Element Table)
0001	S-RT (Syntax Rule Table)
0010	CSCIT (CSCI Table)
0011	DVT (Default Value Table)
0100	FL (FU List)
0101	F-RT (FU Rule Table)
0110	FU-CSCIT (FU CSCI Table)
0111-1111	RESERVED

여기서, 테이블 시작 코드(table_start_code)는 16진수의 26비트 문자열 0xFFFFFE일 수 있고, 이는 테이블 디스크립션의 시작을 의미할 수 있다. 테이블 식별자(table_identifier)는 위의 표 12와 같이 각각의 4비트 코드일 수 있다.

표 13. 테이블 디스크립션(테이블 타입)

table _ type	Meaning
0000	conventional table
0001	updated table
0010	new table
0011-1111	RESERVED

여기서, 테이블 타입은 4비트 값으로 기존의 부분 디코더 디스크립션을 유지할 것인지, 기존의 부분 디코더 디스크립션을 업데이트할 것인지 아니면 새로운 부분 디코더 디스크립션을 생성할 것인지를 판단하도록 하는 정보이다. 테이블 종료 코드(table_end_code)는 16진수의 26비트 문자열 0xFFFFFF일 수 있고, 이는 테이블 디스크립션의 끝을 의미할 수 있다.

표 14. 업데이트 커맨드(update_command)를 위한 지시 세트

Code	Instruction	Usage
00	UPDATE	UPDATE [index#] in [table#] [a record];
01	INSERT	INSERT into [table#] [a record];
10	DELETE	DELETE [index#] from [table#];
11	RESERVED

여기서, index#은 임의의 부분 디코더 디스크립션의 인텍스 번호를 지시하는 4비트 문자열일 수 있고, table#은 테이블 식별자로서의 32비트 문자열일 수 있다.

표 15. 뉴 커맨드(new_command)를 위한 지시 세트

Code	Instruction	Usage
00000001	READ	READ bits B > CSCI;
00000010	SEEK	SEEK bits B > CSCI;
00000011	FLUSH	FLUSH bits B;
00000100	IF	IF (condition) { ~ } ELSE { ~ }
00000101	WHILE	WHILE (condition) { ~ }
00000110	UNTIL	UNTIL (condition) { ~ }
00000111~0	DO~WHILE	DO { ~ } WHILE (condition)
00000111~1	DO~UNTIL	DO { ~ } UNTIL (condition)
00001000	( ~ ) (compute)	( ……… )
00001001	BREAK	BREAK;
00001010	SET	SET CSCI, CSCI;
00001011	STOP	STOP;
00001100	PUSH	PUSH CSCI Value, Value ;
00001101	RLD	RLD index, level, run, islastrun, t#;
00010010	VLD2	VLD2 [T#] in > v1, v2, v3;
00010100	VLD4	VLD4 [T#] > CSCI;

여기서, 비트(bits)는 요구되는 비트의 수를 나타내는 3 내지 34 비트 중 임의의 값이며, B는 바이트 얼라인먼트(byte alignment)를 나타내는 1비트 문자열이다. ">"는 좌측의 출력을 프린트하기 위한 1비트 문자열이고, VLD2(for MPEG-2)와 VLD4(for MPEG-4)는 엔트로피 코딩을 위한 기능들이다.

도 17은 본 발명의 일 실시예에 따른 부호화기의 블록 구성도이다.

본 발명에 따른 부호화기(1300)는 앞서 도 2를 참조하여 설명한 종래의 부호화기(200)에 비해 확장 비트스트림 생성 및 출력부(1310)를 더 포함한다. 확장 비트스트림 생성 및 출력부(1310)는 전단까지의 처리에 의해 생성된 종래 비트스트림(316) 생성 과정에서의 제어 정보(예를 들어, 사용한 기능부들의 목록 및 연결 관계, 해당 기능부들의 입력 데이터, 신택스 정보, 신택스 연결 정보 등)를 이용하여 디코더 디스크립션 을 생성한다. 또한, 생성된 디코더 디스크립션 및 종래 비트 스트림(316)를 이용하여 확장 비트스트림(305)을 생성하여 복호화기(300)로 전송한다. 디코더 디스크립션의 생성 방법은 앞서 설명한 사항만으로 당업자가 충분히 이해할 수 있을 것이므로 이에 대한 설명은 생략한다.

또한, 본 명세서에서 가변장 인코딩부(230)는 부호화기(1300) 내에서 종래 비트스트림(316)을 생성하기 위하여 최종적으로 부호화를 수행하는 임의의 구성 요소(예를 들어, 부호화부)를 지칭한 것일 뿐 이에 제한되는 것은 아니며, 또한 이로 인해 본 발명의 권리범위가 제한되지는 않는다.

도 17은 디코더 디스크립션 정보 및 종래 비트스트림(316)을 이용하여 생성한 확장 비트스트림(305)이 복호화기로 제공되는 경우를 가정한 도면이다.

그러나, 상술한 바와 같이, 디코더 디스크립션은 별도의 데이터 또는 비트스트림 등의 형태로 복호화기(300)로 전달될 수도 있다. 이 경우는 가변장 인코딩부(235) 후단에 확장 비트스트림 생성 및 출력부(1310)가 위치하지 않고, 종래의 인코딩부(200)와 독립적으로 디코더 디스크립션 생성 및 출력부가 위치하여 독립적으로 생성한 정보를 복호화기(300)로 제공할 수도 있음은 자명하다.

이제까지 본 발명에 따른 통합 코덱 장치 및 방법을 설명함에 있어 복호화기를 중심으로 설명하였으나, 복호화기와 부호화기간의 상호 관계가 당업자에게 자명하며 복호화기에 대한 상세한 설명만으로도 부호화기의 구성이 용이한 점을 고려할 때 본 발명이 복호화기에 제한되지 않음은 자명하다.

상술한 바와 같이 본 발명에 따른 통합 코덱 장치 및 방법은 하나의 표준(또 는 코덱) 내에서 또는 다른 표준(또는 코덱) 간에 syntax 엘리먼트의 해석 및 기능부들의 연결 제어를 용이하게 한다. 즉, 특정 표준에 따라 생성되는 비트스트림 내의 syntax 엘리먼트들의 순서를 변경하거나, 새로운 syntax 엘리먼트들을 삽입하거나, 기존의 syntax 엘리먼트들을 삭제함에 문제되지 않는다.

또한, 종래기술에 따르면 이와 같은 syntax 엘리먼트의 조작시 복호화기에서는 해당 비트스트림을 정상적으로 디코딩할 수 없는 문제점이 있었다. 예를 들어, 비트스트림 정보가 ABC이던 것을 ACB로 순서를 바꾸어 비트스트림을 구성하여 전송하면, 복호화기는 이를 인식할 수 없어 정상적인 디코딩이 불가능하다. 또한, 신규로 F를 삽입하여 ABFC로 구성하거나, B를 삭제하여 AC로 비트스트림을 구성하는 경우에도 동일하다.

그러나, 본 발명에 따른 통합 코덱 장치 및 방법을 이용하면, 확장 비트스트림 내에 포함되거나 또는 독립된 데이터로 디코더 디스크립션 정보가 제공되므로 복호화기(300)의 원활한 복호화 동작이 가능해진다.

이제까지 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 설명함에 있어 MPEG-4 AVC를 기준으로 설명하였으나, MPEG-1, MPEG-2, MPEG-4 및 이외의 동영상 인코딩/디코딩 표준에 아무런 제한없이 동일하게 적용할 수 있음은 당연하다.

또한, 각 부분 디코더 디스크립션들에 포함되는 정보 역시 하나의 표준에 의한 디코딩 수행을 위한 기능부들의 연결 관계, 해당 기능부에 요구되는 처리 프로 세스 등에 관한 정보만으로 기술되지 않고, 복수의 표준에 의한 디코딩 수행을 위한 정보로 기술될 수도 있음은 자명하다.

예를 들어, 확장 비트스트림에 포함된 인코딩된 비디오 데이터의 초기 복수의 프레임은 MPEG-2로 인코딩되고, 후속하는 복수의 프레임은 MPEG-4로 인코딩되며, 나머지 프레임은 MPEG-1으로 인코딩되었다고 가정하자. 이 경우, 인코딩된 비디오 데이터의 디코딩을 위해 디코더 디스크립션에 포함되는 부분 디코더 디스크립션 정보들은 인코딩 방법을 달리하는 각 프레임들이 툴 박스(510)에 포함된 각 표준에 따른 기능부들이 유기적으로 결합되어 동작될 수 있도록 구현될 것임은 자명하다.

이하, 본 발명의 또 다른 실시예에 따른 네트워크 랭귀지(NL, Network Language) 환경을 지원하는 CDDL 표현 방식에 대해 설명한다. 본 실시예를 설명함에 있어 이용되는 용어를 다음과 같이 정의하기로 한다.

먼저, 네트워크 랭귀지(NL)이란 디코더 형성부(520)에서 각 기능부(FU)간의 네트워크를 구성할 때 필요한 기초 정보로서, 컴퓨터 언어의 한 형태이다. 현재 MPEG에서 네트워크를 구성하기 위해 이용되는 레퍼런스 랭귀지(reference language)이다.

다음으로, CDDL(Compact Decoder Description Language)이란 디코더 형성부(520)에서 비트스트림 디코딩을 위한 디코더를 구성하도록 하기 위한 기초 정보로서, Syntax Parsing과 기능부간의 네트워크(Network) 등 디코더의 모든 부분 에 대한 정보를 기술할 수 있는 언어이다.

다음으로, ADM(Abstract Decoder Model)이란 디코더를 구성하기 전 단계로, 디코더를 구성하는 데 필요한 정보 (또는 그 저장부)이다. 여기서, 각 정보는 부분 디코더 디스크립션일 수 있으며, 또는 그것이 가공된 정보일 수도 있다. 본 명세서에서 디코더 형성부(520)으로 표현된 구성 요소가 ADM일 수 있다.

마지막으로, 네트워크란 기능부들간의 연결 관계를 나타낸다. 계층 구조별 처리를 위해 기능부들이 개별적으로 속하는 각 계층내의 네트워크(즉, 계층내 기능부간의 연결 관계)가 지정될 수 있고, 또한 상하위 계층구조에서의 네트워크간연결 관계 또는 기능부와 하위 네트워크간의 연결 관계가 지정될 수 있다. 즉, 네트워크는 기능부간의 연결관계, 기능부와 하위 계층 네트워크간의 연결관계, 상위계층 네트워크와 하위계층 네트워크간의 연결관계 중 하나 이상으로 정의될 수 있다.

하나의 네트워크가 완성되기 위해, 네트워크로 하나 이상의 입력 포트를 통해 들어오는 입력 데이터, 네트워크를 통해 나가는 출력 데이터, 네트워크가 속해있는 부모 네트워크(parent network), 네트워크가 선언하고 있는 파라미터, 네트워크로 들어오는 파라미터 등과 같은 자료가 필요하다.

상술한 자료들 중 네트워크로 들어오는 입력 데이터 또는 포트를 지정하기 위해 VNT(Virtual Network Table)에 입력 포트의 이름과 출력 포트의 이름 등이 하나 이상씩 기술될 수 있다. 또한, 네트워크가 속해있는 부모 네트워크는 FUIT(Functional Unit Instance Table)에서 네트워크를 생성할 때에 기술할 수 있으며, parent index를 기술하는 필드가 포함된다. 이를 통해 네트워크들간의 포함 관계를 알 수 있다. 또한, 네트워크가 선언하고 있는 파라미터는 PT(Parameter Table)를 참조할 수 있다. PT에는 VNT index가 있는데, VNT를 참고하여 기능부를 생성할 때에 PT의 VNT index를 참조하여 어떤 파라미터들을 해당 네트워크에서 생성할지 결정할 수 있다. 또한 부모 네트워크를 통해 파라미터값을 상속받아 사용하는 경우에는 FUIT 에 선언되어져 있는 PT index를 참조함으로써 가능하다. 각각의 네트워크들은 NCT(Network Connection Table)를 통해 서로 연결되어 기술된 데이터를 서로 주고 받을 수 있다.

이하에서 설명되는 바와 같이, 본 실시예의 목적은 MPEG RVC 표준화 기술에서 Abstract Decoder Model(ADM) 구성이 가능한 네트워크 랭귀지와 호환되도록 CDDL을 표현하는 방법을 나타내기 위한 것일 수 있다. 이는 앞서 관련 실시예에서 설명한 부분 디코더 디스크립션들의 내용 및/또는 형식을 일부 수정함으로써 네트워크 랭귀지에서 기술 가능한 내용들로 호환되도록 표현할 수 있다. 또한 본 실시예의 목적은 ADM의 구성을 CDDL로 표현하면서 이진 코드로 압축하도록 함으로써 압축 효율을 극대화할 수 있도록 하기 위한 것이다.

앞서 설명한 실시예에서 네트워크, 즉 기능부들의 집합 등은 FRT, FU-CSCIT, FLT 등의 부분 디코더 디스크립션에 의해 규정하고 있다.

해당 부분 디코더 디스크립션들을 이용하여 비트스트림으로 이루어진 데이터의 복호화 과정은 순차적으로 이루어질 수 있으나, ADM을 구성하는데 부족한 점이 있을 수 있다. 이는 ADM을 구성하기 위해서는 네트워크 구조(즉, 계층적인 연결 구조)가 가능해야 하고, 각각의 네트워크 및 기능부들은 입력 포트 및 출력 포트를 가지고 있어야 보다 효율적일 수 있기 때문이다.

여기서, 포트란 각 기능부들간, 기능부와 네트워크간, 상하위 네트워크간의 dsuruf 구조에서 데이터를 전송하는 부분과 받는 부분으로 정의할 수 있다. 즉, 네트워크 랭귀지에서는 데이터 플로우(자료 흐름)에 따라 제어를 하는 방법으로 ADM을 구성한다. 따라서, 어떤 한 네트워크에서 데이터를 전송하기 위한 부분을 출력 포트라 칭할 수 있고, 데이터를 입력받는 부분을 입력 포트라 칭할 수 있다. 네트워크 또는 기능부들간에 데이터의 전송할 수 있도록 연결 구조를 NCT에서 기술한다. 네트워크간에 연결 구조를 만들기 위해서는 포트가 필요하며, 구현 방식에 따라 포트는 물리적 포트로 구현될 수도 있다. 출력되는 데이터가 어떤 기능부의 입력값으로 이용되는지는 NCT에 기술된다.

이를 위해, 본 발명의 또 다른 실시예에서는 기능 유닛 집합인 네트워크에 해당하는 CDDL의 부분 디코더 디스크립션들을 ADM 구성 정보와 호환될 수 있도록 수정, 보완하고자 한다. 네트워크를 기술하기 위하여 수정된 CDDL의 부분 디코더 디스크립션은 4개이며, 각 부분 디코더 디스크립션들의 이름은 Virtual Network Table(VNT), Functional Unit Instance Table(FUIT), Network Connection Table(NCT), Parameter Table(PT)일 수 있다. 즉, 앞서 설명한 FRT, FLT, FU-CSCIT가 새로운 부분 디코더 디스크립션들인 VNT, FUIT, NCT, PT로 대체된다. 이와 별개로 Syntax Parsing을 위해 이용되는 SET, SRT, CSCIT는 호환성 확보를 위해 내부 문법상 약간의 변동이 있을뿐 전체적인 형태는 앞서 설명한 바와 유사할 수 있다. 또한, 부분 디코더 디스크립션들의 형식 및 내용이 앞서 설명한 실시예와 달라지는 경우 부호화기가 상응하는 처리를 수행할 수 있음은 별도의 설명을 생략할지라도 당업자에게 자명하다. 또한 디코더 디스크립션을 구성하는 부분 디코더 디스크립션들이 일부 변동될지라도 디코더 디스크립션의 구성 형식은 앞서 설명한 바와 유사하게 적용될 수 있으므로 별도의 설명은 생략한다.

이하, 새롭게 대체된 각 부분 디코더 디스크립션들에 대해 각각 설명하기로 한다.

Virtual Network Table(VNT)는 기본 템플릿(Template)에 해당하는 정보를 기술한 부분 디코더 디스크립션이다. 기능 유닛의 집합인 네트워크는 구조가 동일하면서 입력이나 출력으로 쓰이는 데이터가 동일하지 않은 경우가 존재할 수 있다. 이와 같이, 구조는 동일하지만 입/출력이 다른 여러 개의 개체들을 효율적으로 구현하기 위하여 기본 템플릿 객체를 생성한 후 템플릿을 근본으로 하여 필요한 개체를 만들어내는 형태를 구성한다.

VNT는 "((FUID), INPUT PORTs, OUTPUT PORTs)"의 형태로 기술될 수 있다. 여기서, FUID 는 실제 기능부가 네트워크가 아닌 툴박스(515)에 존재하는 기능부일 때 해당 기능부의 ID로서, 툴박스에서 해당 기능부를 호출하기 위한 고유 ID이다. INPUT PORT와 OUTPUT PORT는 하나 또는 복수 개로 존재할 수 있다.

VNT는 툴박스에 실제적으로 포함된 기능부들과 가상의 기능부라고 할 수 있는 네트워크를 모두 다루게 된다. 기능부간의 연결 구조를 구성하고 있는 네트워크도 기능부처럼 입력 포트, 출력 포트를 모두 가지고 있고 기능부간에 연결 정보를 제공하는 기능을 하고 있기 때문에 툴박스에 실제적으로 포함되지 않은 기능부는 가상의 기능부라고 간주될 수 있다. 다만, 툴박스에 포함되지 않고, 동적으로 생성되는 가상의 기능부인 경우에는 FUID가 없으므로 VNT에서는 FUID가 기술되지 않는다. 툴박스의 기능부에는 해당되지 않지만 네트워크의 경우 구조와 기능은 같은 두 개 이상의 다른 네트워크가 사용될 수 있다. 이를 효율적으로 기술하기 위해서 공통으로 기술할 수 있는 부분을 VNT에 저장하고, FUIT 에서 입력값을 달리하여 두 개 이상의 네트워크를 생성할 수 있다. 예를 들어, DC_Reconstruction_8x8 의 네트워크는 MPEG4_algo_DCRaddressing_8x8 와 MPEG4_algo_DCRinvpred_chroma_8x8 의 연결 구조를 기술할 수 있다. 여기서, MPEG4_algo_DCRaddressing_8x8와 MPEG4_algo_DCRinvpred_chroma_8x8는 모두 툴박스에 실제적으로 포함된 기능부들이라 할 수 있다.

VNT의 구현 예를 나타내면 아래와 같다.

VNT (Virtual Network Table)

{

//Decoder

("BITS", "VID"),

//Parser

(1, "BITS", {"BTYPE_Y", "BTYPE_U", "BTYPE_V", "MV_Y", "MV_U", "MV_V", "B_Y", "B_U", "B_V"}),

}

위의 구현 예 중 디코더 부분의 ("BITS", "VID")는 입력 포트의 입력이 BITS이고 출력 포트의 출력이 VID임을 나타낸다. 또한, 파서 부분의 (1, "BITS", {"BTYPE_Y", "BTYPE_U", "BTYPE_V", "MV_Y", "MV_U", "MV_V", "B_Y", "B_U", "B_V"}) 는 툴박스에 존재하는 FU ID 1번을 의미하며, "BITS"는 입력 포트의 입력이 BITS이고 출력 포트가 {"BTYPE_Y", "BTYPE_U", "BTYPE_V", "MV_Y", "MV_U", "MV_V", "B_Y", "B_U", "B_V"}와 같이 9개임을 나타낸다.

다음으로, FUIT(Functional Unit Instance Table)를 설명한다. FUIT에는 VNT 정보인 기본 템플릿에 기반하여 실제 필요로 하는 네트워크로 사용되는 객체들을 생성하기 위한 주요 정보가 저장된다. 실제 필요로 하는 네트워크는 기본 템플릿에서 파생된 인스턴트(Instance)로 표현될 수 있다. 즉, 네트워크를 생성하기 위한 정보들을 기술하다 보면 비슷한 구조로 이루어지는 네트워크가 많아 정보에 중복이 있을 수 있다. 예를 들어 모션 벡터(Motion Vector)를 구하기 위한 네트워크가 Luma 블럭이나 Chroma 블록이냐에 따라 네트워크를 둘로 나누게 되면 실제로 블록 사이즈를 저장한 변수의 크기만 다를 뿐 모션 벡터(Motion vector)를 구하는 방법은 동일하다. 따라서, 이러한 정보를 저장할 때 VNT 에 공통된 정보를 저장하고 FUIT에서 다른 네트워크들로 분기시키는 방법을 제안한다. 이를 위해 인스턴스(instance)와 템플릿(template)의 개념을 적용하며, VNT에서 공통된 정보 는 여러 형태로 생성될 수 있는 기본적인 틀에 해당하기 때문에 템플릿(template)이라 할 수 있고, 이 틀을 가지고 여러 형태의 인스턴스 네트워크(instance network)를 생성할 수 있다.

FUIT는 "(VNT Index, Parent VNT Index, Parameter Indexes)"의 구조로 기술될 수 있다. VNT Index를 통하여 실제 필요로 하는 네트워크의 인스턴스를 구성하기 위한 기본 템플릿 정보를 가져온다. Parent VNT Index는 현재 인스턴스가 어떤 상위 템플릿 네트워크에서 쓰이고 있는지를 나타낸다. Parameter Indexes는 각 네트워크에서 사용되는 파라미터(Parameter)들의 정보를 가지고 있는 PT(Parameter Table)의 Index로 구성된다. Parameter Indexes는 하나 이상의 Index로 구성된다. 인스턴스 생성 시에 파라미터의 초기값을 입력할 수 있으며 이 때에는 구분을 위해 콜론기호(:) 등이 이용될 수 있다.

FUIT의 구현 예를 나타내면 아래와 같다.

FUIT

{

//decoder

(1, -, -)

(2, 1, {6, 7, 1, 8, 9, 10, 11, 12, 13, 14 , 15, 20, 19, 17, 18, 5}),

(3, 1, {1, 8, 9, 7, 10, 11, 12, 13, 17, 18, 21}),

(4, 1, {1, 8, 9, 7, 10, 11, 12, 13, 17, 18, 21}),

(4, 1, {1, 8, 9, 7, 10, 11, 12, 13, 17, 18, 21}),

(5, 1, {22:3, 2, 1, 3, 5, 4, 8, 9, 10, 11, 12, 18, 14, 20, 23:1}),

(5, 1, {22:3, 2, 1, 3, 5, 4, 8, 9, 10, 11, 12, 18, 14, 20, 23:0}),

(5, 1, {22:3, 2, 1, 3, 5, 4, 8, 9, 10, 11, 12, 18, 14, 20, 23:0}),

(6, 1, 4),

//~decoder

//texture_16x16

(7, 3, 7),

(8, 3, {24:1024, 1, 8, 9, 7, 10, 11, 12, 13, 18, 17, 21}),

(9, 3, 7),

(10, 3, {1, 8, 7}),

(11, 3, {7, 21}),

(12, 3, -),

//~texture_16x16

//texture_8x8

(7, 4, 7),

(8, 4, {24:1024, 1, 8, 9, 7, 10, 11, 12, 13, 18, 17, 21}),

(9, 4, 7),

(10, 4, {1, 8, 7}),

(11, 4, {7, 21}),

(12, 4, -)

FUIT의 구현 예에서 "(2, 1, {6, 7, 1, 8, 9, 10, 11, 12, 13, 14 , 15, 20, 19, 17, 18, 5}),"는 VNT 2번 index에 나와 있는 정보로 만들어지는 네트워크이며 1번 index의 정보로 만들어지는 네트워크의 하위 네트워크임을 나타낸다. 또한 후단의 { } 에 포함된 숫자들은 PT의 index들이다. 이 네트워크는 PT로부터 지정된 파라미터(즉, 기술된 16개의 파라미터들)를 가져와서 사용한다. 즉, VNT index는 현재의 network를 생성하기 위해 필요한 정보를 가져오기 위한 index이고, Parent VNT index는 생성할 network가 어떤 network에 속해 있는지를 알리기 위한 index이며, Parameter indexes 는 어떤 parameter들을 가져다와서 사용하는가에 대한 정보를 저장하기 위해 PT에 정의되어 있는 parameter들의 변수의 index를 이용하여 기술된다.

또한, "(5, 1, {22:3, 2, 1, 3, 5, 4, 8, 9, 10, 11, 12, 18, 14, 20, 23:1}),

(5, 1, {22:3, 2, 1, 3, 5, 4, 8, 9, 10, 11, 12, 18, 14, 20, 23:0}),

(5, 1, {22:3, 2, 1, 3, 5, 4, 8, 9, 10, 11, 12, 18, 14, 20, 23:0}),"와 같이 하나의 템플릿 정보를 이용하여 3개의 네트워크가 만들어질 수도 있다. 23:1 , 23:0 은 위의 네트워크를 생성할 때 parameter의 초기값을 지정한 것이며, 두 번째와 세번째 예는 FUIT의 정보가 완전히 같을 경우도 있음을 보여준다. 또한, 설계 방식에 따라서는 Motion Vector를 구하기 위한 Network (Chroma) 를 하나로 만들 수도 있겠지만 Chroma를 이루고 있는 두 개의 블록값을 동시에 처리하기 위해 network를 두 개로 나눌 수도 있을 것이다.

다음으로, Network Connection Table(NCT)을 설명한다. NCT에는 각각의 네트워크들 간에 데이터를 전송할 수 있는 통로인 포트에 관한 정보를 가지고 있다. 각각의 입력과 출력을 담당하는 입력 포트와 출력 포트들은 각각 고유한 이름을 가질 수 있다. 각 네트워크들간의 데이터 전송시 각 포트에 버퍼를 두어 입력 버퍼의 내용을 출력 버퍼에 복제함으로써 데이터를 전달하는 방법 등이 적용될 수 있을 것이다.

NCT는 "(Src FUIT Index, Dst FUIT Index, Src Port, Dst Port)"의 구조로 기술될 수 있다. 기능 유닛의 집합인 네트워크는 여러 개의 인스턴스들이 데이터를 서로 전달하는 연결 구조로 이루어져 있기 때문에 어떤 네트워크(또는 네트워크 인스턴스)가 다른 어떤 네트워크(또는 네트워크 인스턴스)에 연결되어 있는지를 나타내는 정보가 필요하다. 따라서, 데이터가 출발하는 원본 인스턴스의 번호를 나타내는 Src FUIT Index 와 데이터가 도착하는 목적지 인스턴스의 번호를 나타내는 Dst FUIT Index, 원본 인스턴스의 출력을 나타내는 Src Port, 도착지 인스턴스의 입력을 나타내는 Dst Port 항목 등이 포함될 수 있다. 포트(port)의 연결은 반드시 두 개의 인스턴스(Instance)끼리 연결되도록 할 수 있다.

NCT의 구현 예를 나타내면 다음과 같다.

NCT

{

//decoder.nl

(-, 2, "BITS", "BITS"),

(2, 6, "MV_Y", "MV"),

(2, 6, "BTYPE_Y", "BTYPE"),

(2, 3, "BTYPE_Y", "QFS"),

(2, 3, "B_Y", "TEX"),

(3, 6, "f", "TEX"),

(2, 7, "MV_U", "MV")

}

위의 구현예에서 보여지는 바와 같이, Decoder 에서 (-, 2, "BITS", "BITS") 는 BITS로 표현되는 입력 소스(-)를 받아 들이고. 목적지는 FUIT의 Index 2 이며 FUIT의 Index 2에 해당하는 인스턴스의 입력 포트인 Dst Port는 BITS가 된다. 여기서, BITS는 port에 이름이 부여됨을 나타내고, 이름을 통해 port를 참조하고 있음을 보여주기 위한 예에 불과하다.

(2, 6, "MV_Y", "MV") 는 원본 인스턴스의 FUIT의 Index가 2 이고, 목적지는 FUIT의 Index는 6이며, 원본 인스턴스의 출력인 Src Port가 MV_Y로 정의되고, 목적지 인스턴스의 입력인 Dst Port는 MV로 정의된다.

다음으로, Parameter Table(PT)를 설명한다. 파라미터(Parameter)는 비트스트림으로부터 생성되는 Syntax는 아니지만 기능부의 동작 수행시 필요한 데이터를 생성하기 위해 사용된다. 파라미터는 Syntax가 아니기 때문에 데이터를 전송하는 포트를 통해 전달될 수 없으나, 기능 유닛의 집합인 네트워크에서 그 네트워크에 포함되어 있는 서브 네트워크로 파라미터를 전달할 수는 있다. 전달되는 파라미터에 대한 정보는 FUIT에 기술된다. PT에서는 각 파라미터의 생성 정보를 가진다.

서브 네트워크로 파라미터를 전달하는 과정을 간략히 설명하면 다음과 같다. FUIT에는 상위 네트워크의 VNT index와 사용되는 파라미터들의 index가 기술된다. Parameter table에는 그 파라미터가 어떤 네트워크에서 정의되어야 하는지 VNT index가 기술된다. 예를 들면, PT에 (1, "MAXW_IN_MB", 121)라고 기술된 경우, MAXW_IN_MB는 VNT에 1번째 정의된 네트워크에서 정의되는 파라미터 변수임을 알 수 있다. 이 파라미터 변수를 사용하기 위해서는 1번째 네트워크 이거나 혹은 하위 네트워크만 가능하다. 몇 계단 아래의 하위 네트워크에서 이 변수를 사용하고자 한다면 순차적으로 계속 상속시켜줘야 한다. 예를 들어 2번째 네트워크가 1번째 네트워크의 하위 네트워크이고, 3번째 네트워크가 2번째 네트워크의 하위 네트워크이며, 3번째 네트워크에서 MAXW_IN_MB를 사용해야 한다면, FUIT에서 기술할 때 2번째 네트워크, 3번째 네트워크 모두 MAXW_IN_MB의 parameter index를 가져와야 한다.

PT는 "(VNT Index, Parameter Name, Initial Value)"의 구조로 기술될 수 있다. 기본 템플릿에서 파생되어 동일한 형태를 지닌 네트워크 인스턴스(Network Instance)는 같은 파라미터를 사용하기 때문에 각각의 파라미터들이 모두 템플릿 안에서 선언될 수 있다. 그리고 Parameter의 이름, 초기값 등이 PT의 정보로 기술된다. 다만 각각의 네트워크 인스턴스에서 파라미터의 초기값이 변경될 수 있기 때문에 초기값과 다른 파라미터에 대한 정보는 FUIT에서 기술하게 된다.

PT의 구현예를 나타내면 아래와 같다.

PT

{

//decoder

(1, "MAXW_IN_MB", 121),

(1, "MAXH_IN_MB", 69),

(1, "ADDR_SZ", 24),

(1, "PIX_SZ", 9),

(1, "MV_SZ", 9),

(1, "SAMPLE_COUNT_SZ", 8),

(1, "SAMPLE_SZ", 13),

(1, "MB_COORD_SZ", 8),

(1, "BTYPE_SZ", 12),

(1, "NEWVOP", 2048),

(1, "INTRA", 1024),

(1, "INTER", 512),

(1, "QUANT_MASK", 31),

(1, "ROUND_TYPE", 32),

(1, "FCODE_MASK", 448),

(1, "FCODE_SHIFT", 6)

}

앞서 설명한 바와 같이, 위 구현 예의 "(1, "MAXW_IN_MB", 121)"는 기본 템플릿 정보를 나타내는 VNT의 Index 1을 참조하고 파라미터로 사용되는 MAXW_IN_MB는 초기값 121을 가짐을 나타낸다.

이하, 복호화기가 비트스트림에 대한 Syntax Parsing을 수행하기 위해 이용하는 SET, SRT, DVT, CSCIT의 기술방식을 앞서 설명한 실시예와 상이하게 적용하는 방법을 또 다른 실시예로서 설명한다. 이 경우, FRT, FU-CSCIT 및 FLT의 부분 디코더 디스크립션들이 이용될 수도 있으며, 또 다른 실시예로서 설명한 VNT, FUIT, NCT 및 PT의 부분 디코더 디스크립션들이 적용될 수도 있다. 다만, 이해의 편의를 위해 VNT, FUIT, NCT 및 PT의 부분 디코더 디스크립션들이 적용되는 경우를 중심으로 설명한다.

도 58은 본 발명의 또 다른 실시예에 따른 Syntax 파싱의 구성 예를 나타낸 도면이다.

도 58을 참조하면, 복호화기가 Syntax Parsing을 수행하기 위하여 SET, SRT, DVT, CSCIT를 사용함은 앞서 설명한 바와 같다. 그러나, Syntax Parsing 과정을 통해 비트스트림으로부터 읽어 들여진 정보를 각 기능부 또는/및 각 네트워크에서 사 용할 수 있도록 하기 위하여 VNT에 기술된 포트 정보가 사용될 수 있으며, Syntax 파서(Syntax Parser)의 작동에 필요한 기본 정보를 전달함에 있어 PT가 사용될 수도 있다.

다만, 본 실시예에서는 Syntax 파싱을 위해 이용하는 디코더 디스크립션에 다음과 같은 변화가 발생된다. 즉, SRT, SET 서식을 바꾸어 파싱의 흐름을 선형적인 방법과 계층적인 방법 등 보다 다양한 방법으로 기술할 수 있도록 변경하였다. 또한, DVT의 서식을 바꾸어 허프만 코딩(Huffman Coding) 이외의 다른 엔트로피 부호화 방식(예를 들어, CAVLD(Context-Adaptive Variable Length Decoder), 지수-골롬(Exponential-golomb) 부호화 등)에 보다 범용적으로 적용될 수 있도록 변경하였다. 또한, CSCI에 저장된 자료를 네트워크를 통해 개별 기능부들로 전달하기 위한 인터페이스가 서술되었다.

이하, 각각의 부분 디코더 디스크립션들에 대한 변경 사항을 간략히 설명한다. 또한 각 부분 디코더 디스크립션들의 변경 사항을 설명함에 있어 앞서 도 1 내지 도 57을 참조하여 설명한 실시예(즉, 앞서 설명한 CDDL)와 대비하여 설명하기로 한다.

먼저, SET의 변경 사항에 대해 설명한다. 앞서 도 1 내지 도 57을 참조하여 설명한 실시예(즉, 앞서 설명한 CDDL)는 세부 구동 방식에서는 차이가 있으나, 기본적으로 동일한 다수의 처리 알고리즘이 반복되는 경우가 있었다. 따라서, 본 실시예에 따른 SET 서식에서는 파라메터 시스템을 도입한다. 파라메터는 SRT에 기술된 파싱 과정이 SET의 파싱 알고리즘을 호출할 때 인자 값으로 제공되며, 이 인자 값은 고정된 상수나 비트스트림으로부터 계산된 값, 또는 파싱 과정에서 도출된 자료를 저장하기 위한 버퍼 공간(예를 들어, CSCI 메모리)의 식별자일 수 있다.

또한, SET의 변경을 위해 앞서 설명한 실시예의 경우와 달리, 새로운 명령어들이 더 추가될 수 있다. 예를 들어, 보다 편리한 반복문 사용을 위해 FOR, CONTINUE 등의 명령어가 추가될 수 있으며, 지수-골롬 부호화 처리 기능을 위해 EX_Gol 등의 명령어가 추가될 수 있으며, 보다 범용적인 Huffman decoding VLD기능을 위해 VLD_A, VLD_B 등의 명령어가 추가될 수 있으며, PT로부터 자료를 받아오는 경우 사용 가능한 명령어로서 GETP 등이 추가될 수 있으며, VNT를 참조하여 Port를 통해 자료를 FU Network로 전달할 경우 사용 가능한 명령어로서 OUTPUT 등이 추가될 수 있다.

이러한 명령어 체계를 이용하여 SET는 아래 표와 같이 예시적으로 표현될 수 있다. 비교를 위해 앞서 설명한 실시예에 따른 SET 표현 방식을 Before로서 표시한다.

Modified	Before
... ("READ 32 B > V10; (P1=(V10==P2));"), ("READ P1 > P2;"), ("VLD_A(V10, 0);"), ("VLD_B(4,7,V2,8,V3,9,V4);"), ...	... ("READ 32 B; (C0=(IBS==HEX:1B0));"), ("READ 8 > C2;"), ("READ 16 > C4;"), ("READ 32 > C32;"), ("VLD4 [0];"), ("VLD4 [4] > V1; IF ((C55==3) || (C55==4)) { RLD INTRA V1,V2,V3,V4,T4; } ELSE { RLD INTER V1,V2,V3,V4,T4; }"), ...

다음으로, SRT의 변경 사항을 설명한다. 본 실시예에서의 SRT는 서술 구조가 변경되었으며, 계층 구조로 표현할 수 있도록 변경되었다.

즉, 기존 CDDL에서는 FSM의 구조를 그대로 사용하여 ‘GO’ 명령어에 기반해 전체 파싱 흐름을 제어하였다. 그러나, 새로운 방식에서는 처리 과정을 순차적으로 나열하고 반복, 분기 등은 보다 일반적인 방식인 IF, WHILE 등 제어 구문으로 처리함으로서 보다 효율적으로 파싱 구조를 서술할 수 있도록 하였다.

또한, 새로운 SRT에서는 파싱 규칙을 처리함에 있어 특정 파싱 규칙이 실행되는 도중에 다른 파싱 규칙을 그 하위에 호출해 사용할 수 있도록 하였다. 이러한 계층적 호출 구조는 구문 파싱에서 적용될 수 있는 다양한 계층 구조(예를 들어, VO, VOL, GOP, VOP, Slice, MB, Block 등)를 디코더 디스크립션 상에서 표현하는 데에 사용될 수 있다.

이러한 변경 사항에 의해 SRT는 아래 표와 같이 예시적으로 표현될 수 있다. 비교를 위해 앞서 설명한 실시예에 따른 SRT 표현 방식을 Before로서 표시한다. 아래 표에서 보여지는 바와 같이 앞서 설명한 실시예의 SRT가 FSM 기반의 표현구조라면, 본 실시예에서의 SRT는 계층 구조에 부합하는 표현 구조라 할 수 있다.

Modified	Before
... ( S3(C0, 432); IF(C0!=1) ERR; S0(8, C1); S4(V1); IF([C2]==1) { S6(C0); S7(C2); } ), ...	... (0, "1: (C0==1) GO R1; 2: GO ERR;") (1, "1: GO R2;") (3, "1: 1: ([C2]==1) GO R3; 2: GO R5;;") (4, "1: GO R4;") (5, "1: GO R5;") ...

다음으로, CSCIT의 변경 사항을 설명한다. 본 실시예에서의 CSCIT는 다차원 배열로 저장되는 일부 CSCI를 보다 명확히 표기할 수 있도록 하여, 복호화기가 CSCI를 위한 메모리를 설정함에 있어서 보다 효율적으로 메모리 공간을 확보할 수 있도록 하였다. 이러한 기능 제공을 위해서 CSCI의 배열 차원(Dimension) 및 각 차원별 최대 배열 크기(array size)를 CSCIT 상에 기술하였다.

이러한 변경 사항에 의해 CSCIT는 아래 표와 같이 예시적으로 표현될 수 있다. 비교를 위해 앞서 설명한 실시예에 따른 CSCIT 표현 방식을 Before로서 표시한다.

Modified	Before
... (integer, C50), (integer, 6), (integer, 6, 64), (integer), ...	... (array), (array), (array), (integer), ...

다음으로, DVT의 변경사항을 설명한다. 본 실시예에서의 DVT는 보다 다양한 종류의 가변장 복호화를 지원할 수 있도록 하기 위하여 비트스트림상에 나타나는 코딩된 비트를 기록한 부분 디코더 디스크립션과 각 심볼 비트가 나타내는 실제 값을 기록한 부분 디코더 디스크립션을 분리해 기술할 수 있도록 하였다. 즉, 2종류의 부분 디코더 디스크립션을 사용할 수 있다.

이러한 변경 사항에 의해 DVT는 아래 표와 같이 예시적으로 표현될 수 있다. 비교를 위해 앞서 설명한 실시예에 따른 DVT 표현 방식을 Before로서 표시한다.

Modified	Before
... { (1, {1, 001, 010, 011, 0001, 000001, 000010, 000011, 000000001}), (0, {…,…}, } ...	... DVT { MPEG4 ( (0,1), (1,001), (2,010), (3,011), (4,0001), (5,000001), (6,000010), (7,000011), (8,000000001), (9,NULL) ), ( …, … ) } ...
... { (0, {{9,10},{0,6},{7,2},…}), (1, {…,…}), } ...	... DVT { MPEG2 ( (9, 10), (0, 6), (7, 2), … ) ( …, … ) } ...

다음으로, CDDL로부터 CAL(Caltrop Actor Language)에 따른 Syntax 파서를 제작하는 방법을 설명한다. CAL은 EFPL에서 제안한 프로세스 설계 언어이다.

CDDL을 이용하여 CAL 프로그래밍 언어로 작성된 Syntax 파서를 제작할 수 있으며, 이 제작 과정에는 크게 6개의 부분 디코더 디스크립션이 사용될 수 있다. 이 부분 디코더 디스크립션을 활용하여 CAL 소스 상에 전역변수(global variables), 액션(actions), 그리고 액션 제어구조인 FSM(FSM: Finite State Machine)를 작성함으로서 CAL 파서 제작이 이루어진다. 아래의 표는 CAL 파서를 제작함에 있어 CDDL에 의해 구현된 부분 디코더 디스크립션들에 의한 대응 기능을 나타낸다.

CDDL	CAL	목적
SRT	Global variables, Actions, FSM	syntax parsing
SET	Global variables, Actions, FSM	syntax parsing and interface to FU network
CSCIT	Global variables	syntax parsing
DVT	Global variables	syntax parsing
VNT	Actions	Interface to FU network
PT	Actions	syntax parsing and interface to FU network

도 59는 본 발명의 또 다른 실시예에 따른 SET 중 READ 명령어를 CAL로 변환하는 방식을 예시한 도면이다.

도 59에 예시된 바와 같이, CDDL 부분 디코더 디스크립션 중 SET, SRT의 경우에는 디스크립션의 특정 명령어 또는 지시문을 CAL 파서 제작기가 대응하는 CAL 코드로 변환하는 방식으로 파서 제작이 이루어진다.

도 60은 본 발명의 또 다른 실시예에 따른 CSCIT를 CAL로 변환하는 방식을 예시한 도면이다.

도 60에 예시된 바와 같이, CSCIT와 DVT의 경우에는 보다 단순하게 파서 제작이 가능하다. 즉, CSCI 상의 기술 방식을 CAL 문법에 맞게 변경해주는 것만으로 제작 과정이 완료될 수 있다.

도 61은 본 발명의 또 다른 실시예에 따른 VNT의 활용을 예시한 도면이다.

VNT는 파서가 포트로 데이터를 전달할 때 이용할 수 있다. VNT에는 특정 기능부가 출력할 수 있는 포트의 내역이 기입되는데, CDDL은 OUTPUT 명령어 등을 이용하여 파서의 구동방식을 기술할 때 해당 출력 포트로 특정 자료를 송신할 수 있도록 지원한다. 이때 출력 포트의 이름 등을 비교하여 알맞은 포트로 출력을 내보 내는 데에 VNT 정보가 활용된다.

도 62는 본 발명의 또 다른 실시예에 따른 PT의 활용을 예시한 도면이다.

PT에 기술된 정보는 기능부에 값을 전달하는 경우 및 파싱 과정에서 필요한 일부 정보를 외부로부터 받아오는 과정에도 사용될 수 있다. 이 경우 GETP 등의 명령어를 이용하여 PT에 기술되어 있는 파라메터 값을 읽어올 수 있다.

도 63 및 도 64는 본 발명의 또 다른 실시예에 따른 CAL 소스 중 FSM 구간의 결합 및 전역 변수 구간의 결합을 예시한 도면이다.

각 CDDL 구문들은 각각에 대응하는 부분적 CAL 코드(code fragments in CAL)를 가지고 있다. 이러한 부분적 코드를 결합함으로서 실제로 동작하는 완성된 구문 정보 파서를 만들 수 있다. 각 부분적 코드는 도 63 및 도 64와 같이 정의되어 있다. ‘전역 변수’ 및 ‘액션’에 해당하는 내역은 단순히 필요한 모든 전역 변수를 통합함으로서 결합이 이루어진다. 다만, 이전의 CDDL 명령어 또는 구문에 의해 한 번 CAL 소스로 기입된 전역 변수 또는 액션은 거듭해서 정의되지 않고 재활용된다. ‘FSM’에 해당하는 내역은 각 부분적 코드가 그 이전 단계의 부분적 코드 및 그 이후 단계의 부분적 코드와 결합되는 방식에 대한 정보를 _state_prev_, _state_next_ 등의 식별자로 제공하여 결합에 활용한다.

도 1은 일반적인 복호화기의 구성을 개략적으로 나타낸 도면.

도 2는 일반적인 부호화기의 구성을 개략적으로 나타낸 도면이다.

도 3은 본 발명의 일 실시예에 따른 복호화기의 구성을 개략적으로 나타낸 도면.

도 4는 본 발명의 일 실시예에 따른 확장 비트스트림(extended bit-stream)의 구성을 간략히 나타낸 도면.

도 5는 본 발명의 일 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면.

도 6은 본 발명의 다른 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면.

도 7은 본 발명의 일 실시예에 따른 syntax 파싱을 위한 기능부들의 예를 나타낸 도면.

도 8은 본 발명의 일 실시예에 따른 디코딩 처리를 위한 기능부들의 예를 나타낸 도면.

도 9는 본 발명의 제1 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 10은 본 발명의 제2 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 11은 본 발명의 제3 실시예에 따른 확장 비트스트림의 구성을 나타낸 도 면.

도 12는 본 발명의 제4 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 13은 본 발명의 제5 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 14는 본 발명의 제6 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 15는 본 발명의 제7 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 16은 본 발명의 제8 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 17은 본 발명의 일 실시예에 따른 부호화기의 블록 구성도.

도 18 내지 도 57은 각 부분 디코더 디스크립션들의 구성 예를 나타낸 도면.

도 58은 본 발명의 또 다른 실시예에 따른 Syntax 파싱의 구성 예를 나타낸 도면.

도 59는 본 발명의 또 다른 실시예에 따른 SET 중 READ 명령어를 CAL로 변환하는 방식을 예시한 도면.

도 60은 본 발명의 또 다른 실시예에 따른 CSCIT를 CAL로 변환하는 방식을 예시한 도면.

도 61은 본 발명의 또 다른 실시예에 따른 VNT의 활용을 예시한 도면.

도 62는 본 발명의 또 다른 실시예에 따른 PT의 활용을 예시한 도면.

도 63 및 도 64는 본 발명의 또 다른 실시예에 따른 CAL 소스 중 FSM 구간의 결합 및 전역 변수 구간의 결합을 예시한 도면.

Claims (4)

1. 디스크립션 저장부에 저장된 부분 디코더 디스크립션들(partial decoder descriptions)을 이용하여 CSCI(Control Signal/Context Information) 제어 정보 및 연결 제어 정보를 생성하여 출력하는 디코더 형성부; 및

   상기 CSCI 제어 정보 및 상기 연결 제어 정보를 이용하여 툴박스에 구비된 복수의 기능부들을 선택적으로 로드(load)하여 비트스트림을 동영상 데이터로 디코딩하는 디코딩부를 포함하되,

   상기 부분 디코더 디스크립션들은 네트워크 랭귀지(NL, Network Language)와 호환되도록 기술되는 것을 특징으로 하는 복호화 장치.
2. 제1항에 있어서,

   상기 툴박스에는 상기 비트스트림의 syntax 파싱을 수행하는 하나 이상의 파싱 기능부와 상기 비트스트림의 디코딩 처리를 위한 복수의 디코딩 기능부들이 구비되는 것을 특징으로 하는 복호화 장치.
3. 삭제
4. 디스크립션 저장부에 저장된 부분 디코더 디스크립션들(partial decoder descriptions)을 이용하여 CSCI(Control Signal/Context Information) 제어 정보 및 연결 제어 정보를 생성하여 출력하는 디코더 형성부; 및

   상기 CSCI 제어 정보 및 상기 연결 제어 정보를 이용하여 툴박스에 구비된 복수의 기능부들을 선택적으로 로드(load)하여 비트스트림을 동영상 데이터로 디코딩하는 디코딩부를 포함하되,

   상기 부분 디코더 디스크립션들은 CAL(Caltrop Actor Language) 언어로 변환되어 상기 디스크립션 저장부에 저장되거나, CAL 언어로 변환되어 상기 디코더 형성부에 의해 이용되는 것을 특징으로 하는 복호화 장치.

Images