KR20090002507A

KR20090002507A - 동영상 데이터의 인코딩/디코딩 방법 및 장치

Info

Publication number: KR20090002507A
Application number: KR1020070065879A
Authority: KR
Inventors: 장의선; 이선영; 이충구
Original assignee: 주식회사 휴맥스
Priority date: 2007-06-29
Filing date: 2007-06-29
Publication date: 2009-01-09
Also published as: WO2009005226A1

Abstract

동영상 데이터의 인코딩/디코딩 방법 및 장치가 개시된다. 복호화 장치는, 비트스트림의 디코딩을 위해 하나 이상의 복호화 표준에서 규정된 각각의 프로세스를 개별적으로 수행하도록 구현된 복수의 기능부들로 구성되는 툴 박스와, 상기 기능부들 중 일부 또는 전체의 동작 제어를 위한 부분 디코더 디스크립션들이 저장된 디스크립션 저장부와, 하나 이상의 부분 디코더 디스크립션들을 참조하여 상기 기능부들 중 일부 또는 전체를 선택적으로 로드(load)하여 인코딩된 비디오 데이터가 동영상 데이터로 디코딩 처리되도록 제어하는 디코더 형성부를 포함한다. 본 발명에 의해, 디코더 디스크립션을 이용한 다양한 형태로 복호화기의 재구성 및 재조립이 가능하다.

Video compression, 통합 코덱, VCTR, MPEG, AVC, Toolbox, Functional Unit, Connection, GCU, RVC

Description

동영상 데이터의 인코딩/디코딩 방법 및 장치{Device and Method for encoding/decoding Video data}

도 1은 일반적인 복호화기의 구성을 개략적으로 나타낸 도면.

도 2는 일반적인 부호화기의 구성을 개략적으로 나타낸 도면.

도 3은 본 발명의 일 실시예에 따른 복호화기의 구성을 간략히 나타낸 도면.

도 4는 본 발명의 일 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면.

도 5는 본 발명의 다른 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면.

도 6은 본 발명의 일 실시예에 따른 확장 비트스트림(Extended bit-stream)의 구성을 간략히 나타낸 도면.

도 7은 본 발명의 일 실시예에 따른 syntax 파싱을 위한 기능부들의 종류를 예시한 도면.

도 8은 본 발명의 일 실시예에 따른 디코딩 처리를 수행하는 기능부들의 종류를 예시한 도면.

도 9는 본 발명의 일 실시예에 따른 DHT(Decoding Hierarchy Table)에 의해 규정되는 계층 구조를 예시한 도면.

도 10은 본 발명의 일 실시예에 따른 S-RT(Syntax Rule Table)에 의해 규정되는 계층간 호출 구조 및 계층내 연결 구조를 예시한 도면.

도 11은 본 발명의 일 실시예에 따른 복수 표준에 적용되는 기능부를 위한 인터페이스 세트를 설명하기 위한 도면.

도 12는 본 발명의 일 실시예에 따른 각 계층별 노드들간의 전용 버퍼 공간의 연결 구조를 나타낸 도면.

도 13은 본 발명의 일 실시예에 따른 CSCI 데이터의 저장을 위한 전용 버퍼 공간의 포함 관계를 나타낸 도면.

도 14는 본 발명의 일 실시예에 따른 기능부에 의한 출력 데이터의 저장을 위한 전용 버퍼 공간의 포함 관계를 나타낸 도면.

도 15는 본 발명의 일 실시예에 따른 syntax 파싱 및 데이터 디코딩의 병렬 처리를 개념적으로 나타낸 도면.

도 16은 본 발명의 바람직한 제1 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 17는 본 발명의 바람직한 제2 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 18은 본 발명의 바람직한 제3 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 19는 본 발명의 바람직한 제4 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 20은 본 발명의 바람직한 제5 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 21은 본 발명의 바람직한 제6 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 22는 본 발명의 바람직한 제7 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 23은 본 발명의 바람직한 제8 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면.

도 24는 본 발명의 일 실시예에 따른 부호화기의 블록 구성도.

도 25은 본 발명의 일 실시예에 따른 복호화기의 구성을 개략적으로 나타낸 도면.

도 26는 본 발명의 일 실시예에 따른 디코딩 유닛에서 비트스트림 처리 과정을 구체적으로 나타낸 도면.

도 27는 본 발명의 바람직한 다른 실시예에 따른 디코더 디스크립션 입력 과정을 나타낸 도면.

도 28은 본 발명의 또 바람직한 다른 실시예에 따른 디코더 디스크립션 입력 과정을 나타낸 도면.

도 29은 본 발명의 또 다른 실시예에 따른 디코딩 유닛의 구성을 나타낸 도면.

도 30은 본 발명의 또 다른 실시예에 따른 BSDL 파서의 구성을 나타낸 도면.

도 31 내지 33은 본 발명의 실시예에 따른 BSDL과 BDD(Binary Decoder Description)간의 변경을 설명하기 위한 도면.

본 발명은 동영상 데이터의 인코딩/디코딩에 관한 것으로서, 보다 상세하게는 기능부들(Funtional Units)의 유기적 결합 또는 선택적 활성화를 통해 동영상 데이터를 인코딩/디코딩하는 방법 및 장치에 관한 것이다.

일반적으로 동영상은 부호화기(encoder, 인코더)에 의해 비트스트림(Bit-stream) 형태로 변환된다. 이때, 비트스트림은 부호화기의 제약 조건을 만족하는 부호화 유형에 따라 저장된다.

MPEG은 비트스트림의 제약 조건으로서 구문(syntax, 이하 'syntax'라 칭함) 및 의미(semantics, 이하 'semantics'라 칭함)를 요구한다.

syntax는 데이터의 구조나 형식 및 길이를 나타내며, 데이터가 어떤 순서로 표현되는지를 나타낸다. 즉, syntax는 부호화(encoding)/복호화(decoding) 작업을 위한 문법을 맞추기 위한 것으로, 비트스트림에 포함된 각 요소들(elements)의 순서와 각 요소의 길이, 데이터 형식 등을 정의한다.

Semantics는 데이터를 구성하는 각 비트가 의미하는 뜻을 나타낸다. 즉, semantics는 비트스트림 내의 각 요소들의 의미가 무엇인지를 나타낸다.

따라서, 부호화기의 부호화 조건 또는 적용된 표준(또는 코덱)에 따라 다양한 형태의 비트스트림이 생성될 수 있다. 일반적으로 각 표준(예를 들어 MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)은 각각 상이한 비트스트림 syntax를 가진다.

따라서, 각 표준이나 부호화 조건에 따라 부호화된 비트스트림은 각각 다른 형식(즉, syntax 및 semantics)을 가진다고 할 수 있으며, 해당 비트스트림의 복호화를 위해서는 부호화기에 대응되는 복호화기가 사용되어야 한다.

상술한 바와 같이, 종래의 비트스트림 복호화기는 부호화기의 제약 조건을 만족하여야 하는 제한이 있었으며, 이러한 제한은 복수의 표준에 대응되는 통합 복호화기를 구현하기 어려운 원인이 된다.

따라서 본 발명은 상술한 문제점을 해결하기 위한 것으로, 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)할 수 있는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 각 표준에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)할 수 있도록 디코더 디스크립션(Decoder Description)을 부가한 확장 비트스트림을 생성하거나 비트스트림과 디코더 디스크립션을 독립적으로 생성하는 비트스트림 인코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 다양한 부호화 방식으로 압축된 비트스트림이 동일한 정보 분석 방법에 의해 파싱(parsing)되고, 파싱된 데이터를 이용하여 복호화를 위한 각 기능부(FU, Functional Unit)들이 유기적으로 제어되는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 코덱이 가진 계층 구조를 syntax 파싱 및 디코딩 과정에 응용함으로써 보다 효율적으로 디코더 디스크립션을 기술할 수 있도록 하는 비트스트림 인코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 디코더 디스크립션을 이용하여 각 코덱의 스케쥴링(scheduling) 관리와 각 기능부들의 유기적 처리 구조(예를 들어, 병렬 결합 구조, 직렬 병합 구조, 독립 처리 구조, 개별적 처리 구조 등)를 제시할 수 있는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 기술된 디코더 디스크립션이나 계층 정보만으로 다양한 시스템 설계 및 구축이 가능한 비트스트림 인코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 다양한 형태의 비트스트림을 복호화하기 위한 syntax 해석 방법을 공통적으로 적용할 수 있는 비트스트림 인코딩/디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 다양한 형태의 비트스트림을 공통된 Syntax 해석 방법으로 파싱할 수 있도록 하기 위한 새로운 명령어들의 집합을 적용할 수 있는 비트스트림 인코딩/디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 syntax 엘리먼트의 변경이나 추가, 삭제 시에도 복호화기가 용이 하게 비트스트림을 복호화할 수 있는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax 파싱에 의한 결과물)를 비트스트림 복호화를 위해 이용되는 구성 요소들이 이용할 수 있도록 하는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 이미 해석된 syntax의 엘리먼트 정보를 후속하는 비트스트림 syntax 엘리먼트의 해석을 위해 이용할 수 있도록 하는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 여러 표준(코덱)에서 제안하는 다양한 디코딩 과정에 포함된 기능들을 각기 기능부(FU, Functional Unit)대로 분할하여 툴박스(Tool-Box)에 구비하는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 다양한 형태로 부호화된 비트스트림을 복호화하기 위해 툴박스에서 필요한 기능부들만을 선별적으로 이용하는 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

본 발명은 툴박스에 저장된 기능부의 변경이나 추가, 삭제가 용이한 비트스트림 디코딩 방법 및 장치를 제공하기 위한 것이다.

또한, 본 발명은 비트스트림 복호화를 위한 코덱 통합, 비트스트림이 동일한 정보 분석 방법에 의해 처리되도록 하기 위한 디코더 디스크립션의 생성 및 확장 비트스트림의 구현에 대한 국제 표준화를 달성하기 위한 것이며, 그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이 다.

상술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 다양한 표준에 범용적으로 이용될 수 있는 복호화기 및/또는 통합 코덱 장치가 제공된다.

본 발명의 일 실시예에 따른 복호화 장치는, 비트스트림의 디코딩을 위해 하나 이상의 복호화 표준에서 규정된 각각의 프로세스를 개별적으로 수행하도록 구현된 복수의 기능부들로 구성되는 툴 박스; 상기 기능부들 중 일부 또는 전체의 동작 제어를 위한 부분 디코더 디스크립션들(partial decoder descriptions)이 저장된 디스크립션 저장부; 및 하나 이상의 부분 디코더 디스크립션들을 참조하여 상기 기능부들 중 일부 또는 전체를 선택적으로 로드(load)하여 인코딩된 비디오 데이터가 동영상 데이터로 디코딩 처리되도록 제어하는 디코더 형성부를 포함할 수 있다.

상기 디코더 형성부의 제어에 의해 로드된 임의의 기능부의 프로세스 수행을 위한 작업 메모리는 상기 디코더 형성부에 포함되거나 상기 디코더 형성부에 결합되어 구비될 수 있다.

상기 디코더 형성부는, 하나 이상의 기능부의 프로세스 수행에 의해 생성된 CSCI(Control Signal/Context Information) 정보, 디코딩 처리를 위한 데이터 중 하나 이상을 저장하는 저장부; 및 상기 기능부들의 선택적 로드를 제어하는 연결 제어부를 포함할 수 있다.

상기 툴박스는 상기 비트스트림의 신택스 파싱(syntax parsing)을 위한 하나 이상의 파싱 기능부, 상기 인코딩된 비디오 데이터의 디코딩 처리를 위한 복수의 디코딩 기능부를 포함할 수 있다.

상기 디스크립션 저장부에 저장되는 임의의 부분 디코더 디스크립션은 기능부들의 계층에 관한 정보를 포함하고, 상기 디코더 형성부는 상기 정보를 참조하여 하나 이상의 기능부들에 대한 계층간 호출을 수행할 수 있다.

상기 디코더 형성부는 최상위 계층에 대한 오브젝트 생성 및 실행을 제어하고, 상기 오브젝트 실행에 의해 최상위 계층에 포함된 기능부들 및 상기 계층 정보에 의해 지정된 계층의 호출을 위한 호출부가 로드될 수 있다.

상기 호출부는 상응하도록 지정된 계층에 속하는 하나 이상의 기능부들이 미리 지정된 프로세스 수행을 위해 필요한 처리 데이터가 저장부에 저장되면 상응하는 계층을 로드할 수 있다.

로드된 기능부는 지정된 프로세스의 수행을 위한 처리 데이터가 상기 저장부에 저장되면 처리를 개시할 수 있다.

각 기능부들의 프로세스 수행에 의한 결과 데이터는 상기 저장부에 저장될 수 있다.

상기 계층에 관한 정보에 의해 인식되는 계층 구조는 시퀀스 층, GOP 층, 픽쳐 층, 슬라이스 층, 매크로블록 층, 블록 층 중 하나 이상의 층들로 구성되며, 하위 계층이 상위 계층에 의해 호출될 수 있다.

상기 부분 디코더 디스크립션을 구성하기 위한 디코더 디스크립션에 상응하는 인코딩된 디코더 디스크립션은 상기 비트스트림과 독립적으로 제공되는 데이터 이거나, 상기 비트스트림과 통합된 확장 비트스트림의 일 구성요소로 제공될 수 있다.

상기 확장 비트스트림으로부터 상기 인코딩된 디코더 디스크립션과 상기 비트스트림을 분리하기 위한 분리부를 더 포함할 수 있다.

상기 인코딩된 디코더 디스크립션을 상기 디코더 디스크립션으로 변환하는 디스크립션 디코더를 더 포함할 수 있다.

상기 저장부 내에 디코딩 기능부 각각을 위한 전용 저장 공간이 할당될 수 있다.

상기 저장부는, 상기 파싱 기능부에 의해 생성된 CSCI 정보(Control Signal/Context Information)가 저장되는 CSCI 저장부; 및 상기 파싱 기능부에 의해 생성된 상기 인코딩된 비디오 데이터에 상응하는 데이터, 상기 디코딩 기능부에 처리된 처리 데이터 중 하나 이상인 디코딩 처리를 위한 데이터가 저장되는 데이터 저장부를 포함할 수 있다.

상기 디스크립션 저장부에 저장되는 부분 디코더 디스크립션들은, 상기 인코딩된 비디오 데이터의 디코딩을 위한 계층 구조와 각 계층별 하위 계층에 관한 정보를 나타내는 DHT(Decoding Hierarchy Table); 비트스트림 신택스(syntax)에 대한 정보 및 상기 비트스트림 신택스에 상응하는 엘리먼트 정보를 생성하기 위한 프로세스를 나타내는 SET(Syntax Element Table); 상기 비트스트림 신택스간의 연결 정보, 각 계층별 호출할 하위 계층에 관한 정보 및 상기 SET의 프로세스 수행에 의해 생성된 결과 데이터가 저장될 CSCI 정보의 명칭을 지정하는 S-RT(Syntax Rule Table); 계층 구조별 CSCI 정보에 대한 상세 정보를 나타내는 CSCIT(Control Signal and Context Information Table); 상기 계층 구조에 기반하여 복수의 디코딩 기능부들간의 호출 또는 활성화 순서를 나타내는 F-RT(FU Rule Table); 상기 디코딩 기능부들의 리스트를 나타내는 FL(FU List); 및 상기 디코딩 기능부가 프로세스 수행을 위해 필요한 CSCI 정보를 나타내는 FU-CSCIT일 수 있다.

엔트로피 코딩(entropy coding)시의 실제 값과 코드값의 관계를 나타내는 DVT(Default Value Table)가 부분 디코더 디스크립션으로 상기 디스크립션 저장부에 더 저장될 수 있다.

상기 연결 제어부는, 상기 F-RT를 이용하여 최상위 계층에 해당하는 하나 이상의 기능부가 로드되도록 제어할 수 있다.

상기 파싱 기능부는 적어도 상기 SET, 상기 S-RT, 및 상기 CSCIT 중 하나 이상을 참조하여 상기 CSCI 정보와 디코딩될 데이터 중 하나 이상을 생성할 수 있다.

상기 디코딩 기능부는 적어도 상기 FL, 상기 F-RT, 상기 FU-CSCIT 및 상기 CSCIT 중 하나 이상을 참조하여 미리 지정된 프로세스를 수행할 수 있다.

상기 디코더 디스크립션은 하나 이상의 구분 영역으로 구성되고, 각 구분 영역에는 상기 부분 디코더 디스크립션을 구성하기 위한 정보가 삽입될 수 있다.

상기 부분 디코더 디스크립션은 상기 비트스트림을 복호화하기 위한 코덱 번호(Codec No.), 프로파일 및 레벨 번호(Profile and level No.)에 상응하는 지정 정보를 포함하고, 상기 디스크립션 디코더는 상기 디스크립션 저장부에 미리 저장된 복수의 부분 디코더 디스크립션들 중 상기 지정 정보에 상응하는 n개의 테이블 들을 추출할 수 있다.

상기 각 구분 영역 중 m(임의의 자연수)개의 구분 영역에는 상응하는 부분 디코더 디스크립션에 대한 코덱 번호(Codec No.)와 프로파일 및 레벨 번호(Profile and level No.)에 상응하는 지정 정보가 포함되고, k개의 구분 영역에는 상응하는 부분 디코더 디스크립션을 구성하기 위한 바이너리 코드 정보가 포함되며, 상기 디스크립션 디코더는 상기 디스크립션 저장부에 미리 저장된 복수의 부분 디코더 디스크립션들 중 상기 지정 정보에 상응하는 m개의 부분 디코더 디스크립션들을 추출하고, 상기 바이너리 코드 정보를 이용하여 k개의 테이블들을 생성하여 상기 디스크립션 저장부에 저장할 수 있다.

본 발명의 다른 실시예에 따른 복호화 장치는, 비트스트림의 해석을 위한 스키마 정보를 입력받아 상기 비트스트림을 의미있는 데이터들로 변환하여 출력하는 파서(parser); 및 상기 데이터들을 이용한 비트스트림 디코딩을 수행하여 동영상 데이터를 출력하는 디코딩 솔루션을 포함할 수 있다.

상기 복호화 장치는, 미리 지정된 프로세스를 각각 수행하도록 구현된 하나 이상의 기능부들을 포함하는 툴박스; 및 상기 비트스트림에 상응하는 연결 제어 정보를 입력받아 상기 툴박스에 포함된 하나 이상의 기능부들의 연결 관계를 설정하여 상기 디코딩 솔루션에 로드되도록 제어하는 디코더 형성부를 더 포함할 수 있다.

상기 디코더 형성부가 상기 데이터를 상기 파서로부터 제공받아 상기 디코딩 솔루션으로 제공할 수 있다.

상기 복호화 장치는, 디코더 디스크립션을 입력받아 상기 스키마 정보 및 상기 연결 제어 정보로 분리하여 각각 출력하는 분리부를 더 포함할 수 있다.

상기 디코딩 솔루션은 상기 데이터를 입력받아 상응하는 기능부로 제공하거나 상응하는 기능부가 상기 데이터를 독출하도록 하는 데이터 인터페이스를 구비할 수 있다.

상기 스키마 정보는 상기 비트스트림에 포함된 구문 정보들의 내역에 관한 정보로서, 구문 정보의 길이, 구문 정보의 의미, 구문 정보의 출현 조건 및 반복 출현 횟수 중 하나 이상이 포함될 수 있다.

상기 스키마 정보는 XML 문법으로 기술될 수 있다.

상기 연결 제어 정보는 CALML(CAL Markup Language)로 기술될 수 있다.

상기 툴박스는 적용되는 표준에 따라 구분된 기능부들의 집합인 서브 툴박스들로 구성될 수 있다.

상기 디코딩 솔루션은 하나 이상의 기능부가 로드되어 동작되도록 하기 위한 작업 메모리를 포함할 수 있다.

상기 툴박스는 상기 디코더 형성부의 일 구성요소일 수 있다.

상기 디코딩 솔루션에 로드된 기능부는 상기 데이터, 이전에 프로세스 수행한 기능부에 의한 출력 데이터 중 하나 이상을 입력 데이터로 하는 미리 지정된 프로세스를 수행할 수 있다.

상술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따르면, 다양한 표준 에 범용적으로 이용될 수 있는 복호화 방법 및/또는 그 방법의 실행을 위한 프로그램이 기록된 기록매체가 제공된다.

본 발명의 바람직한 일 실시예에 따른 복호화 방법은, (a) 입력된 인코딩된 디코더 디스크립션 정보에 상응하는 디코더 디스크립션을 생성하여 저장하는 단계-여기서, 디코더 디스크립션은 복수의 부분 디코더 디스크립션들로 구성됨-; 및 (b) 하나 이상의 부분 디코더 디스크립션을 참조하여 파싱 기능부 및 최상위 계층에 속하는 하나 이상의 디코딩 기능부를 로드(load)하는 단계를 포함할 수 있다. 여기서, 상기 파싱 기능부는 상기 비트스트림의 신택스 파싱(syntax parsing)을 수행하고, 상기 최상위 계층의 디코딩 기능부는 미리 지정된 프로세스의 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코딩을 위한 데이터가 상기 파싱 기능부에 의해 저장부에 저장되면 처리를 수행하고, 계층 구조에 부합하여 제1 계층의 수행을 위해 필요한 CSCI 정보 및 디코딩을 위한 데이터가 저장부에 저장되면 활성화된 상태인 제2 계층에 의해 상기 제1 계층이 로드될 수 있다.

상기 디코딩 기능부들은 상기 인코딩된 비디오 데이터의 계층 구조에 부합되어 활성화 또는 호출 여부가 결정되고, 상기 디코더 디스크립션에 명시된 각각의 디코딩 기능부들의 한번 이상의 프로세스 수행에 의해 상기 비트스트림에 상응하는 동영상 데이터가 출력될 수 있다.

상기 파싱 기능부 및 디코딩 기능부들 각각은 상기 비트스트림의 디코딩을 위해 각각의 복호화 표준들에 의해 제안된 각각의 기능을 독립적으로 수행되도록 구현될 수 있다.

상기 저장부는, 상기 파싱 기능부에 의해 생성된 CSCI 정보가 저장되는 CSCI 저장부; 및 상기 파싱 기능부에 의해 생성된 상기 인코딩된 비디오 데이터에 상응하는 데이터, 임의의 디코딩 기능부에 처리된 처리 데이터 중 하나 이상인 디코딩 처리를 위한 데이터가 저장되는 데이터 저장부를 포함할 수 있다.

상기 디코딩 기능부 각각은 미리 지정된 프로세스의 수행을 위해 필요한 CSCI 정보 및 디코딩 처리를 위한 데이터가 상기 저장부에 저장됨으로써 동작 개시될 수 있다.

상기 저장부 내에 상기 디코딩 기능부 각각을 위한 전용 저장 공간이 할당될 수 있다.

상기 디코더 디스크립션은, 상기 비트스트림에 포함된 인코딩된 비디오 데이터의 디코딩을 위한 계층 구조와 각 계층별 하위 계층에 관한 정보를 나타내는 DHT(Decoding Hierarchy Table); 비트스트림 신택스(syntax)에 대한 정보 및 상기 비트스트림 신택스에 상응하는 엘리먼트 정보를 생성하기 위한 프로세스를 나타내는 SET(Syntax Element Table); 상기 비트스트림 신택스간의 연결 정보, 각 계층별 호출할 하위 계층에 관한 정보 및 상기 SET의 프로세스 수행에 의해 생성된 결과 데이터가 저장될 CSCI 정보의 명칭을 지정하는 S-RT(Syntax Rule Table); 계층 구조별 CSCI 정보에 대한 상세 정보를 나타내는 CSCIT(Control Signal and Context Information Table); 상기 계층 구조에 기반하여 복수의 디코딩 기능부들간의 호출 또는 활성화 순서를 나타내는 F-RT(FU Rule Table); 상기 디코딩 기능부들의 리스트를 나타내는 FL(FU List); 및 상기 디코딩 기능부가 프로세스 수행을 위해 필요 한 CSCI 정보를 나타내는 FU-CSCIT인 부분 디코더 디스크립션들을 포함할 수 있다.

상기 디코더 디스크립션은 엔트로피 코딩(entropy coding)시의 실제 값과 코드값의 관계를 나타내는 DVT(Default Value Table)인 부분 디코더 디스크립션을 더 포함할 수 있다.

상기 F-RT를 이용하여 최상위 계층에 해당하는 하나 이상의 디코딩 기능부의 활성화 또는 호출이 제어될 수 있다.

적어도 상기 SET, 상기 S-RT, 및 상기 CSCIT를 이용하여 상기 CSCI 정보와 디코딩될 데이터 중 하나 이상이 생성될 수 있다.

본 발명의 다른 실시예에 따르면, 복호화 방법을 수행하기 위해 복호화 장치에서 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 복호화 장치에 의해 판독될 수 있는 프로그램이 기록된 기록 매체에 있어서, (a) 입력된 인코딩된 디코더 디스크립션 정보에 상응하는 디코더 디스크립션을 생성하여 저장하는 단계-여기서, 디코더 디스크립션은 복수의 부분 디코더 디스크립션들로 구성됨-; 및 (b) 하나 이상의 부분 디코더 디스크립션을 참조하여 파싱 기능부 및 최상위 계층에 속하는 하나 이상의 디코딩 기능부를 로드(load)하는 단계를 포함하되, 상기 파싱 기능부는 상기 비트스트림의 신택스 파싱(syntax parsing)을 수행하고, 상기 최상위 계층의 디코딩 기능부는 미리 지정된 프로세스의 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코딩을 위한 데이터가 상기 파싱 기능부에 의해 저장부에 저장되면 처리를 수행하고, 계층 구조에 부합하여 제1 계층의 수행을 위해 필요한 CSCI 정보 및 디코딩을 위한 데이터가 저장부에 저장되면 활성화된 상태인 제2 계층에 의해 상기 제1 계층이 로드되는 것을 특징으로 하는 프로그램이 기록된 기록매체가 제공된다.

본 발명의 다른 실시예에 따른 복호화 방법은, (a) 입력된 스키마 정보를 이용하여 비트스트림을 의미있는 데이터들로 변환하여 출력하는 단계; (b) 입력된 연결 제어 정보를 이용하여 기능부들의 순차적 동작 순서를 설정하는 단계; 및 (c) 상기 기능부들에 의해 상기 데이터를 이용한 비트스트림 디코딩이 수행되는 단계를 포함할 수 있다.

상기 단계 (b)는 디코더 형성부가 상기 연결 제어 정보를 이용하여 툴박스에 포함된 복수의 기능부들 중 하나 이상의 기능부들의 프로세스 수행 순서를 설정하는 것일 수 있다.

상기 스키마 정보 및 상기 연결 제어 정보가 통합된 디코더 디스크립션이 입력되는 경우, 각각의 정보로 분리하여 출력하는 단계가 상기 단계 (a)에 선행할 수 있다.

상기 스키마 정보는 XML 문법으로 기술될 수 있다.

상기 기능부는 상기 데이터, 이전에 프로세스 수행한 기능부에 의한 출력 데이터 중 하나 이상을 입력 데이터로 하는 미리 지정된 프로세스를 수행할 수 있다.

본 발명의 다른 실시예에 따르면, 복호화 방법을 수행하기 위해 복호화 장치에서 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 복호화 장치에 의해 판독될 수 있는 프로그램이 기록된 기록 매체에 있어서, 입력된 스키마 정보를 이용하여 비트스트림을 의미있는 데이터들로 변환하여 출력하는 단계; 입력된 연결 제어 정보를 이용하여 기능부들의 순차적 동작 순서를 설정하는 단계; 및 상기 기능부들에 의해 상기 데이터를 이용한 비트스트림 디코딩이 수행되는 단계를 실행하는 것을 특징으로 하는 프로그램을 기록한 기록매체가 제공된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 통합 코덱 방법 및 장치의 바람직한 실시예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일반적인 복호화기의 구성을 개략적으로 나타낸 도면이고, 도 2는 일반적인 부호화기의 구성을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 일반적으로 MPEG-4 복호화기(100)는 가변장 디코딩부(Variable Length Decoding, 110), 역 스캔부(Inverse Scan, 115), 역 DC/AC 예측부(Inverse DC/AC Prediction, 120), 역 양자화부(Inverse Quantization, 125), 역 DCT부(Inverse Discrete Cosine Transform, 역 이산 여현 변환부, 130), 동영상 복원부(VOP Reconstruction, 135)를 포함한다. 복호화기(100)의 구성은 적용되는 표준에 따라 상이할 수 있음은 자명하며, 또한 일부 구성요소는 타 구성요소로 대체될 수도 있을 것이다.

전달된 비트스트림(105)이 syntax 파싱(parsing)되어 헤더 정보 및 인코딩된 비디오 데이터(encoded video data)가 추출되면, 가변장 디코딩부(110)는 미리 저장된 허프만 테이블(Huffman Table)을 이용하여 양자화된 DCT 계수를 만들고, 역 스캔부(115)는 역 스캔을 수행하여 동영상(140)과 동일한 순서의 데이터를 생성한다. 즉, 역 스캔부(115)는 인코딩시 여러 가지 방법으로 스캔된 순서의 역으로, 값을 출력한다. 인코딩 시 양자화(Quantization)를 수행한 후, 주파수 대역 값의 분포에 따라 스캔 방향이 정의될 수 있다. 일반적으로는 지그-재그(zig-zag) 스캔 방 식이 사용되나, 스캔 방식은 코덱별로 다양할 수 있다.

Syntax 파싱은 가변장 디코딩부(110)에서 통합적으로 수행되거나, 가변장 디코딩부(110)에 선행하여 비트스트림(105)을 처리하는 임의의 구성 요소에서 수행될 수 있다. 이 경우, Syntax 파싱은 부호화기와 복호화기간에 적용되는 표준이 동일하므로 해당 표준에 상응하도록 미리 지정된 기준에 의해서만 처리된다.

역 DC/AC 예측부(120)는 주파수 대역에서 DCT 계수의 크기를 이용하여 예측을 위한 참조 블록의 방향성을 결정한다.

역 양자화부(125)는 역 스캔된 데이터를 역 양자화한다. 즉, 인코딩시 지정된 양자화값(QP, Quantization Parameter)을 이용하여 DC와 AC 계수를 환원한다.

역 DCT부(130)는 역 이산 여현 변환(Inverse Discrete Cosine Transform)을 수행함으로써 실제의 동영상 픽셀 값을 구하여 VOP(Video Object Plane)를 생성한다.

동영상 복원부(135)는 역 DCT부(130)에 의해 생성된 VOP를 이용하여 동영상 신호를 복원하여 출력한다.

도 2에 도시된 바와 같이, 일반적으로 MPEG-4 부호화기(200)는 DCT부(210), 양자화부(215), DC/AC 예측부(220), 스캔부(230), 가변장 인코딩부(235)를 포함한다.

부호화기(200)에 포함된 각 구성요소는 각각 대응되는 복호화기(100)의 구성 요소의 역 기능을 수행하며, 이는 당업자에게 자명하다. 간단히 설명하면, 부호화기(200)는 동영상 신호(즉, 디지털 영상 픽셀 값)를 이산 여현 변환(Discrete Cosine Transform), 양자화(Quantization) 등을 통해 주파수 값으로 변환하여 부호화를 수행한 후, 이를 정보의 빈도 수에 따라 비트 길이를 차별화하는 가변장 인코딩을 수행하여 압축된 비트스트림 상태로 출력한다.

도 3은 본 발명의 일 실시예에 따른 복호화기의 구성을 간략히 나타낸 도면이며, 도 4는 본 발명의 일 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면이고, 도 5는 본 발명의 다른 실시예에 따른 디코딩 처리 유닛의 구성을 개략적으로 나타낸 도면이다. 도 6은 본 발명의 일 실시예에 따른 확장 비트스트림(Extended bit-stream)의 구성을 간략히 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 syntax 파싱을 위한 기능부들의 종류를 예시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 디코딩 처리를 수행하는 기능부들의 종류를 예시한 도면이다. 도 9는 본 발명의 일 실시예에 따른 DHT(Decoding Hierarchy Table)에 의해 규정되는 계층 구조를 예시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 S-RT(Syntax Rule Table)에 의해 규정되는 계층간 호출 구조 및 계층내 연결 구조를 예시한 도면이며, 도 11은 본 발명의 일 실시예에 따른 복수 표준에 적용되는 기능부를 위한 인터페이스 세트를 설명하기 위한 도면이다. 도 12는 본 발명의 일 실시예에 따른 각 계층별 노드들간의 전용 버퍼 공간의 연결 구조를 나타낸 도면이고, 도 13은 본 발명의 일 실시예에 따른 CSCI 데이터의 저장을 위한 전용 버퍼 공간의 포함 관계를 나타낸 도면이며, 도 14는 본 발명의 일 실시예에 따른 기능부에 의한 출력 데이터의 저장을 위한 전용 버퍼 공간의 포함 관계를 나타낸 도면이고, 도 15는 본 발명의 일 실시예에 따른 syntax 파싱 및 데이터 디코딩의 병렬 처리를 개념적으로 나타낸 도면이다.

도 3을 참조하면, 본 발명의 계층 구조에 따른 인코딩/디코딩 방법의 수행을 위해, 계층 정보로 추출되어 이용되거나 계층 정보를 생성할 수 있도록 하기 위한 데이터가 복호화기(500)로 제공된다. 계층 정보에 상응하는 데이터는 비트스트림과 함께 확장 비트스트림을 구성하여 복호화기(500)로 제공되거나, 비트스트림과 독립된 데이터 형태로 복호화기(500)에 제공될 수 있다. 물론, 복호화기(500)의 특정 저장부에 해당 데이터에 상응하는 계층 정보가 미리 저장된 경우라면 해당 데이터의 제공은 생략될 수도 있음은 자명하다. 다만, 이하에서는 해당 데이터가 확장 비트스트림 내에 포함되어 복호화기(500)로 제공되는 경우를 중심으로 설명하기로 한다.

즉, 비트스트림의 디코딩을 수행하는 디코딩 처리 유닛(320)을 포함하는 복호화기(300)는 종래의 복호화기(도 1 참조)와 상이한 구성을 가진다.

본 발명의 일 실시예에 따른 복호화기(300)는 분리부(310) 및 디코딩 처리 유닛(320)을 포함한다. 도시된 복호화기(300)의 구성 요소(예를 들어, 분리부(310), 디코딩 처리 유닛(320) 자체 또는 디코딩 처리 유닛(320)에 포함된 하나 이상의 구성 요소 등) 중 하나 이상은 하기에서 설명될 기능을 수행하도록 구현된 소프트웨어 프로그램(또는 프로그램 코드들의 조합)으로 구현될 수도 있음은 자명하다.

분리부(310)는 입력된 확장 비트스트림(Extended Bit-stream, 305)를 인코딩 된 디코더 디스크립션(Encoded Decoder Description)(313)과 일반적인 비트스트림(316, 이하 '종래 비트스트림'이라 칭함)으로 분리하여 디코딩 처리 유닛(320)으로 각각 입력한다. 계층 정보를 제공하기 위한 인코딩된 디코더 디스크립션(313)은 디스크립션 디코더(405)로 입력되고, 종래 비트스트림(316)은 디코더 형성부(420)로 입력될 수 있다. 상술한 바와 같이, 인코딩된 디코더 디스크립션(313)과 종래 비트스트림(316)이 각각 독립된 데이터로 입력되는 경우 분리부(310)는 생략될 수 있다. 또한, 종래 비트스트림(316)은 앞서 도 1의 비트스트림(105)과 동일한 형식의 데이터일 수 있다.

확장 비트스트림(305)의 일 예가 도 6에 예시되어 있다. 도 6의 확장 비트스트림(305) 및 인코딩된 디코더 디스크립션(313)에 대한 예시는 단지 설명 및 이해의 편의를 위한 것으로, 본 발명의 계층 정보 또는/및 확장 비트스트림(305)의 형식이 이에 제한되지 않음은 자명하다. 예를 들어, 계층 정보는 종래 비트스트림(316)에 포함된 인코딩된 비디오 데이터의 디코딩을 위한 계층 구조, 각 계층에서 호출할 계층에 대한 지정, 및 상기 계층 구조에 기반하여 기능부들(FUs)간의 호출 또는 활성화 순서를 나타내는 정보인 것으로 충분하며, 그 구성은 다양할 수 있다. 다만, 이하에서는 계층 정보가 다수의 세분화된 정보들의 형태(이하, "디코더 디스크립션(decoder description)"이라 칭함)로 구현된 경우를 가정하여 설명한다.

인코딩된 디코더 디스크립션(313)은 다양한 부호화 방식(또는 부호화 표준)에 의해 부호화된 비트스트림 및/또는 여러 기능들 중 사용자가 선택한 기능들에 의해 부호화된 종래 비트스트림(316)을 공통적 해석 방식에 의해 파싱하기 위하여 종래 비트스트림(105)의 구성 정보와 종래 비트스트림(316)이 부호화된 방식(또는 기능부(FU, Functional Unit)들간의 연결 정보) 등에 대한 정보이다. 인코딩된 디코더 디스크립션(313)은 확장 비트스트림(305)에 포함되어 복호화기(300)로 제공(도 3 참조)될 수 있다. 물론, 인코딩된 디코더 디스크립션(313)은 독립된 비트스트림 또는 데이터의 형태로 복호화기(300)로 제공될 수 있음은 당연하다. 인코딩된 디코더 디스크립션(313)은 디스크립션 디코더(405)에 의해 인식 또는/및 해석될 수 있는 기술 방식이면 어떠한 기술 방식으로 기술되어도 무방하며, 예를 들어 textual description이나 binary description 등의 기술 방식이 적용될 수 있다. 물론, 해당 계층 정보가 디스크립션 디코더(405)의 처리없이도 디코더 형성부(420)에 의해 인식될 수 있도록 구현된 경우라면 디스크립션 디코더(405)는 생략될 수 있다.

인코딩된 디코더 디스크립션(313)은 디스크립션 디코더(405)에 의해 디코더 디스크립션(decoder description, 314)으로 디코딩 처리될 수 있다. 디코더 디스크립션은 FL(Functional unit List, 610), F-RT(Functional unit Rule Table, 620), FU-CSCIT(Functional Unit CSCIT, 630), CSCIT(Control Signal and Context Information Table, 640), DHT(Decoding Hierarchy Table, 650), SET(Syntax Element Table, 660), S-RT(Syntax-Rule Table, 670), DVT(Default Value Table, 680) 등의 부분 디코더 디스크립션들(partial decoder descriptions)로 분리될 수 있다.

상술한 부분 디코더 디스크립션들은 본 발명에 따른 복호화기(300)에 포함된 복수의 기능부들이 인코딩된 비디오 데이터의 계층 구조에 상응하여 활성화되어 각각 미리 지정된 프로세스 수행을 위한 계층 정보로서 이용될 수 있다. 또한, 상술한 부분 디코더 디스크립션들은 각 기능부들이 어떤 입력 데이터를 이용하여 지정된 프로세스를 수행할 것인지, 프로세스 수행 결과로 생성된 결과 데이터를 어떤 명칭의 정보로서 저장할 것인지를 규정하는 동작 제어 정보로 이용될 수도 있다. 물론, 동작 제어 정보가 계층 정보 내에 포함될 수도 있음은 자명하다.

또한 이하에서 설명되는 바와 같이, 계층 정보는 F-RT(620), DHT(445) 및 S-RT(460) 등 중 하나 이상에 의해 구체화될 수 있다.

만일 인코딩된 비디오 데이터가 "최상위 계층, 차순위 계층, … , 차순위 계층 및 최하위 계층"과 같이 계층별 종속 구조로 이루어졌다고 가정하면, 계층 정보에 의해 먼저 최상위 계층이 활성화(즉, 최상위 계층의 오브젝트가 생성 및 실행)되고, 순차적으로 차순위 계층들이 활성화되며, 최종적으로 최하위 계층이 활성화된다. 각 계층이 순차적으로 활성화될지라도 각 계층내에 포함된 기능부들의 동작이 순차적으로 이루어지는 것에 의해 인코딩된 비디오 데이터의 디코딩이 완료되지 않을 수 있으며, 경우에 따라서는 여러 계층의 기능부들이 교번적으로 동작함으로써 인코딩된 비디오 데이터의 디코딩이 완료될 수도 있다.

하나의 계층이 활성화되면, 해당 계층의 오브젝트 내에 포함된 모든 디코딩 기능부들 및 해당 오브젝트에 포함된 차순위 계층에 속하는 하나 이상의 호출부들이 활성화된다. 활성화된 해당 계층에 속하는 디코딩 기능부들은 미리 지정된 프로세스 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코 딩을 위한 데이터가 CSCI 저장부(430)에 저장되면 동작이 개시된다.

또한, 활성화된 차순위 계층의 호출부는 동일한 계층의 디코딩 기능부들 중 하나 이상이 프로세스 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코딩을 위한 데이터가 CSCI 저장부(430)에 저장되면 해당 계층의 오브젝트를 생성하여 실행하게 되며, 이에 의해 해당 오브젝트 내에 포함된 모든 디코딩 기능부들 및 해당 오브젝트에 포함된 차순위 계층에 속하는 하나 이상의 호출부들이 활성화된다. 상술한 바와 같이, 한 계층의 오브젝트 수행에 의해 하위 계층이 호출될 수 있다.

디코더 디스크립션을 구성하기 위한 각 부분 디코더 디스크립션들의 순서는 다양하게 변형될 수 있음은 자명하다.

여기서, FL(Functional unit List, 610), F-RT(Functional unit Rule Table, 620), FU-CSCIT(Functional Unit CSCIT, 630), CSCIT(Control Signal and Context Information Table, 640), DHT(Decoding Hierarchy Table, 650) 등은 각 기능부(FU)들의 연결 관계(connection)을 설정하기 위해 이용될 수 있다(해당 부분 디코더 디스크립션들은 필요시 '제1 디코더 디스크립션'라 칭할 수 있음).

이중, DHT(445)는 각 코덱의 계층 구조와 각 계층별 하위 계층에 대한 정보를 기술한 정보일 수 있다(도 9 참조). 각 코덱의 계층 구조는 상위 계층과 하위 계층간의 구조로 표현될 수 있으며, 예를 들어 시퀀스 층, GOP 층, VOP 층, 슬라이스(slice) 층, 매크로블록(Macro Block, MB) 층, 블록 층 등으로 세분화될 수 있으며, 각 코덱은 하나의 이상의 층들로 구성되고, 각 계층에 하나 이상의 오브젝트를 포함할 수 있다.

복수의 계층으로 구성된 인코딩된 비디오 데이터의 디코딩 과정에 대해 예를 들어 간략히 설명하면 다음과 같다. 물론, 계층 구조에 부합하여 비트스트림의 복호화하는 방법이 이에 제한되지 않음은 자명하다.

디코딩 과정 수행 시, 먼저 최상위 계층 (제1층)의 한 오브젝트가 생성되어 실행된 후, 해당 오브젝트 내에 포함된 모든 디코딩 기능부들 및 해당 오브젝트에 포함된 하나 이상의 하위 계층 (제2층) 호출부들이 활성화된다. 여기서 호출부는 연결 제어부(425)의 일 구성 요소이거나 연결 제어부(425)의 제어 동작을 의미하는 것일 수 있다.

예를 들어, 계층 구조가 순차적으로 제1층, 제2층 및 제3층으로 구성되었다고 가정하면, 제1층(예를 들어, 시퀀스 층)의 오브젝트 실행에 의해 제2층에 속한 하나 이상의 계층 호출부(예를 들어, GOP-1 층, GOP-2 층, GOP-3 층)가 활성화되고, 제2층의 어느 하나의 제2층 오브젝트 실행에 의해 제3층에 속한 하나 이상의 계층 호출부(예를 들어, GOP-1 층의 오브젝트 실행시 픽쳐-1 층, 픽쳐-2 층, GOP-2 층의 오브젝트 실행시 픽쳐-3 층, 픽쳐-4 층 등)가 활성화된다. 물론, 본 발명에서의 계층 구조간 호출에 의한 활성화 과정에서 반드시 상위 계층이 하위 계층만을 호출하도록 제한되지는 않으며, 디코더 디스크립션(또는 부분 디코더 디스크립션)에 기반하여 필요시 하위 계층에 의해 상위 계층이 호출될 수도 있음은 자명하다.

활성화된 해당 계층 (제1층)의 디코딩 기능부들은 미리 지정된 프로세스 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코딩을 위 한 데이터가 CSCI 저장부(430)에 저장되면 동작이 개시된다.

활성화된 해당 계층 (제1층)의 하위 계층 (제2층) 호출부는 속한 계층의 디코딩 기능부들 중 하나 이상이 프로세스 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코딩을 위한 데이터가 CSCI 저장부(430)에 저장되면 해당 계층 (제2층)의 오브젝트를 생성하여 실행하게 되며, 해당 오브젝트 내에 포함된 모든 디코딩 기능부들 및 해당 오브젝트에 포함된 하나 이상의 하위 계층 (제3층) 호출부들이 활성화된다

상술한 바와 같이, 한 계층의 오브젝트 수행에 의해 하위 계층이 호출될 수 있으며, 호출된 계층의 디코딩 기능부들이 미리 지정된 프로세스를 수행하며, 각 계층에 포함된 기능부들 중 디코더 디스크립션에 의해 지정된 기능부들이 1회 이상 기능함으로써 인코딩된 비디오 데이터가 동영상 데이터로 복원되어 출력된다

FU-CSCIT(630)는 툴박스(415) 내의 각 기능부와 CSCI 저장부(430)에 저장된 엘리먼트 정보간의 매핑(mapping)을 위한 부분 디코더 디스크립션 정보일 수도 있다. 이 경우, 엘리먼트 정보는 툴박스(415) 내의 각 기능부에 대한 제어 변수로서 기능할 수 있다.

또한, CSCIT(Control Signal and Context Information Table, 640), DHT(Decoding Hierarchy Table, 650), SET(Syntax Element Table, 660), S-RT(Syntax-Rule Table, 670), DVT(Default Value Table, 680) 등은 종래 비트스트림(316)의 syntax 파싱(Parsing)을 위해 이용될 수 있다(해당 부분 디코더 디스크립션들은 필요시 '제2 디코더 디스크립션'라 칭할 수 있음). 각 부분 디코더 디스 크립션의 형태 및 기능은 이후 상세히 설명하기로 한다.

디스크립션 디코더(405)는 분리부(310)로부터 입력된 인코딩된 디코더 디스크립션(313)을 디코딩하여 디코더 디스크립션(314)을 생성한 후, 디코더 형성부(420)에서 인식할 수 있는 형태의 복수의 부분 디코더 디스크립션들로 분리하여 디스크립션 저장부(410)에 저장한다.

디스크립션 저장부(410)에 저장되는 각 부분 디코더 디스크립션은 반드시 일반적인 형태의 테이블일 필요는 없으며, 디코더 형성부(420)에 의해 인식될 수 있는 정보 형태이면 충분하다. 즉, 디스크립션 디코더(405)는 확장 비트스트림(305) 내에 바이너리 데이터 형태 등으로 포함된 데이터를 임의의 기능부(예를 들어, Syntax 파싱을 수행하는 기능부 등) 및/또는 연결 제어부(425)가 해석할 수 있는 정보들로 변환하여 디스크립션 저장부(410)에 저장한다.

디스크립션 디코더(405)의 디코더 디스크립션 분석에 의해 디스크립션 저장부(410)에 저장되는 부분 디코더 디스크립션들로는 FL(610), F-RT(620), FU-CSCIT(630), CSCIT(640), DHT(650), SET(660), S-RT(670), DVT(680) 등이 포함될 수 있다. 디스크립션 디코더(405)는 각각 구분되는 부분 디코더 디스크립션 정보별로 TI(Table Identifier)가 삽입되도록 함으로써 각 부분 디코더 디스크립션이 구분되도록 할 수도 있다.

물론, 디코더 디스크립션 내에는 모든 부분 디코더 디스크립션들이 반드시 포함되어야 하는 것은 아니며, 코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)가 포함되거나, 일부 부분 디코더 디스크립션에 대해서만 코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)가 포함될 수도 있다. 코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)가 포함된 경우, 디스크립션 디코더(405)는 전체 부분 디코더 디스크립션 또는 일부 부분 디코더 디스크립션에 대해 신규로 부분 디코더 디스크립션을 생성하지 않고 디스크립션 저장부(410)에 미리 저장된 부분 디코더 디스크립션들 중 상응하는 부분 디코더 디스크립션이 디코딩시 이용되도록 선택할 수도 있다. 물론, 코덱 번호(Codec #), 프로파일 및 레벨 번호(Profile and level #)와 수정 정보가 포함된 경우, 디스크립션 디코더(405)는 디스크립션 저장부(410)에 미리 저장된 부분 디코더 디스크립션들 중 해당 코덱에 상응하는 부분 디코더 디스크립션을 추출하여 수정 정보를 반영한 새로운 부분 디코더 디스크립션을 생성할 수도 있다. 물론, 코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)가 포함되지 않고 부분 디코더 디스크립션 생성을 위한 디코더 디스크립션이 포함된 경우, 디스크립션 디코더(405)는 전체 부분 디코더 디스크립션 또는 일부 부분 디코더 디스크립션에 대해 디코딩시 이용하기 위한 새로운 부분 디코더 디스크립션을 생성할 수도 있다.

또한, 디코더 디스크립션은 각 부분 디코더 디스크립션들에 대한 디코더 디스크립션(DD-T) 외에 갱신 정보(Revision Information)를 더 포함할 수도 있다.

디스크립션 저장부(410)에는 디스크립션 디코더(405)에 의해 분리된 각 부분 디코더 디스크립션들이 저장된다. 물론, 디스크립션 저장부(410)는 확장 비트스트림(305)이 코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)가 포함된 경우 상응하는 하나 이상의 부분 디코더 디스크립션들이 디코딩부(340)에 의해 이용될 수 있도록 하기 위해, 하나 이상의 부분 디코더 디스크립션들을 미리 저장할 수도 있다. 부분 디코더 디스크립션들을 추출하기 위한 인코딩된 디코더 디스크립션(313)의 구성은 이후 도 16 내지 도 23을 참조하여 구체적으로 설명하기로 한다.

도 4에 디코딩 처리 유닛(320)의 제1 실시예가 도시되어 있다. 도 4에 예시된 바와 같이, 디코딩 처리 유닛(320)는 디스크립션 디코더(405), 디스크립션 저장부(410), 툴박스(Tool-Box, 415) 및 디코더 형성부(420)를 포함할 수 있다. 디코더 형성부(420)는 연결 제어부(425) 및 CSCI 저장부(430)를 포함한다. 도시되지는 않았으나, 디코더 형성부(420)는 연결 제어부(425)의 호출에 의해 하나 이상의 기능부들이 로드되어 미리 지정된 프로세스가 수행되도록하기 위한 작업 메모리를 더 포함할 수 있다.

또한, 도 5에 디코딩 처리 유닛(320)의 제2 실시예가 도시되어 있다. 도 4의 디코딩 처리 유닛(320)과 비교할 때, 도 5에 예시된 디코딩 처리 유닛(320)는 디코딩 솔루션(510)을 더 포함한다. 디코딩 솔루션(510)은 연결 제어부(425)의 호출에 의해 로드된 하나 이상의 기능부들이 적재되어 미리 지정된 프로세스를 수행하기 위한 작업 메모리일 수 있다.

도 4 및 도 5에 예시된 바와 같이, 본 발명에 따른 복호화기(300)는 툴박스(415) 내에 구비된 기능부들을 선택적으로 로드하여 디코딩 처리하도록 함으로써, 입력된 비트스트림이 부호화된 방식에 관계없이 복호화할 수 있도록 다양한 형태로 재조합 또는 생성되는 복호화기(300)의 구현이 가능해진다.

상술한 바와 같이, 본 발명에 따른 복호화기(300)에서 툴박스(415)가 다른 구성 요소들과 분리되어 구현됨으로서, 다른 구성 요소들의 디코더 설계 구조의 변경없이 서로 상이한 종류의 툴박스를 보다 용이하게 적용할 수 있는 장점이 있다. 예를 들어, MPEG 표준에 따른 처리를 위한 툴박스가 이용되도록 제작된 복호화기(디코더)라 할지라도, 해당 툴박스를 동일한 인터페이스를 가진 비 MPEG 표준 툴박스, 또는 임의적/사적으로 제작된 툴박스로 대체하는 것이 보다 용이해진다.

이하, 디코딩 처리 유닛(320)의 각 구성 요소들의 기능 및 동작에 대해 관련 도면을 참조하여 설명한다.

디스크립션 디코더(405)는 앞서 설명한 바와 같이, 입력된 인코딩된 디코더 디스크립션(313)을 디코더 디스크립션(314)으로 디코딩한 후 복수의 부분 디코더 디스크립션들로 디스크립션 저장부(410)에 저장되도록 한다.

툴박스(415)는 미리 지정된 프로세스를 수행하도록 각각 구현된 복수의 기능부들을 포함한다. 해당 기능부들로는 syntax 파싱을 수행하기 위한 기능부들(도 7 참조, 해당 기능부들의 집합을 SYN 파서군(Syntax Parser Group, 700)으로 명칭함)과 인코딩된 비디오 데이터의 디코딩 처리를 위한 기능부들(도 8 참조, 해당 기능부들의 집합을 디코딩 기능군(800)으로 명칭함)을 포함할 수 있다. 예를 들어, SYN 파서군(700)은 하나의 기능부로 구현될 수도 있다. SYN 파서군(700) 및/또는 각각의 기능부들은 각각 프로그램 코드들의 조합 또는 알고리즘으로 구현될 수 있다.

즉, 툴 박스(510)는 각각의 기능을 수행하도록 구현된 기능부(FU, Functional Unit)들이 포함되는 영역으로, 디코딩 기능군(800)에 포함된 각 기능부 들(이하, 디코딩 기능부라 칭함)은 연결 제어부(425)의 제어에 의해 활성화되어 종래 비트스트림(105)에 포함된 인코딩된 비디오 데이터를 동영상 데이터로 출력한다.

연결 제어부(425)는 각 계층 구조 단위로 상응하는 기능부들이 순차적 활성화되도록 제어할 수 있다(예를 들어, 제1 계층, 제2 계층, 제3 계층 등의 순서로 활성화되며, 제2 계층이 활성화된 시점에서 제1 계층은 활성화된 상태로 유지되거나 더 이상의 데이터 처리가 불필요한 경우 비활성화될 수 있음). 그러나, 동일한 계층 구조에 포함된 기능부들로서 동시에 활성화될지라도 타 기능부의 처리에 의한 결과 데이터를 입력 데이터로 이용하는 기능부라면 타 기능부에 의해 결과 데이터가 생성되어 CSCI 저장부(430)에 저장될 때까지 처리는 유보된다.

디코딩 기능군(800)에 포함되는 각 기능부들은 코덱의 특성에 따라 하나 이상으로 나누어진 계층에 각각 속할 수 있다. 호출된 SYN 파서군(700) 내의 임의의 기능부(이하, 파싱 기능부라 칭함)는 비트스트림의 신택스 파싱을 수행하고, 디코딩 기능부들은 지정된 프로세스의 수행을 위해 필요한 CSCI 정보 및 디코딩을 위한 데이터가 저장되면 처리를 수행한다. 또한 CSCI 정보 및 데이터의 흐름에 따라 상위 계층은 하위 계층의 디코딩 기능부를 호출(연결 제어부(425)의 제어에 의해 수행됨)하며, 디코더 디스크립션에 명시된 모든 디코딩 기능부들이 필요에 따라 한번 이상 프로세스를 수행함으로써 비트스트림에 상응하는 동영상 데이터가 출력된다. 따라서, 디코더 디스크립션(또는 부분 디코더 디스크립션)을 이용하여 각 코덱의 스케쥴링 관리와 각 기능부들의 유기적 처리 구조를 제시할 수 있다.

즉, 디코딩 처리 유닛(320)에 종래 비트스트림(316)이 입력되면, 연결 제어부(425)는 SYN 파서군(700)을 활성화하여 S-RT(670)를 이용한 Syntax 파싱이 개시되도록 하고, 또한 F-RT(620)를 참조하여 최상위 계층의 기능부들이 로드(load) 또는, 활성화되도록 제어한다. 제1 디코더 디스크립션과 제2 디코더 디스크립션 중 일부만이 초기 단계에서 이용될지라도 결과적으로 제1 디코더 디스크립션과 제2 디코더 디스크립션은 각각 상호 참조 등의 형태로 유기적으로 이용되어진다.

활성화된 각각의 기능부들은 처리를 위해 필요로 하는 CSCI 또는/및 데이터가 CSCI 저장부(430)에 저장될때까지 대기할 것이고, 필요로하는 CSCI 또는/및 데이터가 CSCI 저장부(430)에 기록되면 기능부별로 처리를 개시한다. 이를 통해, 본 발명에 따른 디코딩 처리 유닛(320)는 Syntax 파싱 작업과 동영상 출력을 위한 데이터 디코딩을 동시에 수행할 수 있다(도 15 참조). 또한, 디코딩 기능군(800)에 포함된 기능부들이 계층 구조 단위로 활성화 여부가 결정되고, 각 기능부들이 개별적으로 동작 유보 또는 개시가 결정되므로 각 기능부들의 유기적 동작(예를 들어, 기능부간의 직/병렬 결합 구조를 형성하여 동작 수행)이 자유롭다.

다만, 툴 박스(510)에 포함된 SYN 파서군(700)은 연결 제어부(425)의 연결 제어 없이 종래 비트스트림이 입력되면 즉시 종래 비트스트림(105)의 해석을 수행하도록 설정될 수도 있다. 이는 후속 처리를 수행하기 위한 디코딩 기능부들이 파싱 기능부들이 해석하여 CSCI 저장부(522)에 저장한 엘리먼트 정보(element information) 및/또는 파싱 기능부들이 CSCI 저장부(522)에 저장한 데이터(이하, '인코딩된 데이터(encoded data)'라 칭함)를 이용할 수 있기 때문이다.

파싱 기능부들은 DHT(650), SET(660), S-RT(670), CSCIT(640), DVT(680) 등을 이용하여 입력된 종래 비트스트림(316)을 해석하여 신택스 파싱(syntax parsing)의 결과물인 엘리먼트 정보(element information)를 CSCI 저장부(522)에 저장한다. CSCI 저장부(522)는 예를 들어 버퍼 메모리일 수 있다. 엘리먼트 정보는 예를 들어 CSCI(Control Signal/Context Information, 제어 정보/문맥 정보)일 수 있다. SYN 파서군(700)에 의해 파싱되어 CSCI 저장부(522)에 저장된 엘리먼트 정보는 해당 단계의 파싱 결과값임과 동시에 종래 비트스트림(316)의 후속하는 신택스를 결정하는 입력 값이 될 수도 있다.

또한, SYN 파서군(700)은 신택스 파싱된 종래 비트스트림(316)의 헤더와 영상 데이터에 대한 엔트로피 디코딩을 수행하여 미리 지정된 사이즈(예를 들어, 1픽셀 단위, 4x4 단위, 8x8 단위 등)의 인코딩된 데이터를 디코딩 기능군(800)의 기능부들이 이용할 수 있도록 CSCI 저장부(522)에 저장할 수 있다. 예를 들어, SYN 파서군(700)은 syntax 중 DC/AC와 같이 디코딩 과정에 사용될 데이터인 경우 CSCI 저장부(522)에 저장할 수 있다. CSCI 저장부(522)는 버퍼 메모리일 수 있으며, 각 기능부별로 전용 버퍼 공간이 미리 지정될 수 있다(도 12 참조).

또한 각각의 전용 버퍼 공간은 도 13 및 도 14에 예시된 바와 같이 계층별로 포함 관계를 가지도록 설정될 수 있다. 따라서, 활성화된 기능부는 CSCI 저장부(522)에 입력 데이터가 기록되면 즉시 처리를 개시할 수 있으며, 처리한 결과 데이터가 타 기능부의 입력 데이터로 이용되는 경우 해당 결과 데이터를 CSCI 저장부(522)에 기록할 수도 있다.

SYN 파서군(700)은 하나의 소프트웨어 프로그램(프로그램 코드들의 조합을 포함함)으로 구현될 수 있다. 복수의 표준(예를 들어, MPEG-1/2/4/AVC 등)에 각각 대응되는 복수의 기능을 수행하도록 SYN 파서군(700)이 구현될지라도 DHT(650), SET(660), S-RT(670), CSCIT(640), DVT(680) 등을 이용하여 상응하는 동작을 수행할 수 있기 때문이다. 물론, SYN 파서군(700)은 도 7에 예시된 바와 같이 복수의 기능부들로 세분화되어 구현될 수도 있으며, 각 기능부들이 블록화된 프로그램 코드들의 조합으로 구현될 수 있음은 자명하다.

도 7에 예시된 각 기능부들을 구체적으로 설명함으로써 SYN 파서군(700)의 기능을 설명하면 다음과 같다.

SYN 파서군(700)은 도 7에 예시된 바와 같이, NALP(Network Abstraction Layer Parsing) 기능부(FU, 710), SYNP(Syntax Parsing) 기능부(720), CTX(Context determination) 기능부(730), VLD(Variable Length Decoding) 기능부(740), RLD(Run Length Decoding) 기능부(750), MBG(Macro Block Generator) 기능부(760) 등을 포함할 수 있다.

물론, SYN 파서군(700)에는 신택스 파싱을 위한 기능부라면 적용되는 표준에 관계없이 모두 포함될 수 있을 뿐 아니라 기술 발전과정에서 Syntax 파싱 등을 위해 필요한 기능부는 신규로 추가될 수 있고, 기존 기능부의 수정도 가능하며, 불필요한 기능부는 제거될 수 있음은 자명하다. 또한, SYN 파서군(700) 내에 구비된 각 기능부는 각 표준에 독립적으로 존재하지 않고, 표준에 관계없이 동일한 처리가 가능한 기능부의 경우에는 하나의 기능부로 통합되어 구비될 수도 있음은 자명하다. 각 기능부의 기능은 당업자에게 자명한 사항이므로 간략히 설명하기로 한다.

NALP 기능부(710)는 MPEG-4 AVC의 NAL(Network Abstraction Layer)를 파싱(parsing)하는 기능부이고, SYNP 기능부(720)는 비트스트림의 신택스(syntax)를 파싱하는 기능부이다. SYNP 기능부(720)는 VLD 기능부(740)에 포함될 수도 있다.

CTX 기능부(730)는 MPEG-4 AVC의 VLC 테이블을 결정하는 기능부이고, VLD 기능부(740)는 엔트로피(Entropy) 디코딩을 수행하는 기능부이다.

RLD 기능부(750)는 AC값들을 엔트로피 디코딩하는 기능부이고, MBG 기능부(760)는 DC값 및 AC값들을 결합하여 하나의 MB(Macro Block) 데이터를 생성하는 기능부이다. 상기 언급한 SYN 파서군(700) 내의 모든 기능부들 및 일부의 기능부들은 시스템 구현 방식에 따라 VLD 기능부(740)에 그 기능이 포함될 수 있을 것이다.

상술한 바와 같이, SYN 파서군(700)은 하나의 소프트웨어 프로그램으로 구현되거나, 복수의 소프트웨어 프로그램으로 구현(예를 들어 VLD 기능부(740) 등을 독립된 소프트웨어 프로그램으로 독립적 구현)될 수 있을 것이다. SYN 파서군(700)이 제1 디스크립션 정보(즉, DHT(650), SET(660), S-RT(670), DVT(680) 및 CSCIT(640) 중 하나 이상)를 이용하여 엘리먼트 정보를 추출 또는 생성하여 CSCI 저장부(522)에 저장하는 과정은 이후 연결 제어부(425)의 설명 부분에서 상세히 설명하기로 한다.

디코딩 기능군(800)는 SYN 파서군(700)이 CSCI 저장부(522)에 저장한 인코딩된 데이터를 미리 지정된 처리 단위로 처리하여 미리 지정된 크기의 동영상 데이터로서 출력한다. 인코딩된 데이터의 처리 단위는 각 기능부별로 상이하게 적용되도 록 미리 지정되거나 동일한 처리 단위로서 일반화될 수 있다.

디코딩 기능군(800) 내에는 각 표준에 상응하여 상술한 기능을 수행하기 위한 기능부(FU)들이 포함될 수 있다. 각 기능부들은 독립된 처리 블록(예를 들어, 소프트웨어 프로그램, 명령어 코드들의 조합, 함수 등)으로 구현되어 디코딩 기능군(800)을 구성하거나, 디코딩 기능군(800)은 하나의 통합된 처리 블록으로 구현될 수도 있을 것이다. 디코딩 기능군(800)은 하나의 통합된 처리 블록으로 구현될지라도 연결 제어부(425)의 연결 제어에 의해 상응하는 처리가 수행될 수 있음은 자명하다.

디코딩 기능군(800)은 도 8에 도시된 바와 같이, DF(De-blocking Filter) 기능부(810), VR(VOP Reconstructor) 기능부(815), FFR(Frame Field Reordering) 기능부(820), IPR(Intra prediction and Picture Reconstruction) 기능부(830), IT(Inverse Transform) 기능부(835), IQ(Inverse Quantization) 기능부(845), IAP(Inverse AC Prediction) 기능부(855), IS(Inverse Scan) 기능부(860), DCR(DC Reconstruction) 기능부(865)를 포함할 수 있다.

IT4x4 기능부(840), IQ4x4 기능부(850) 및 DCR4x4 기능부(870)는 처리하는 블록 사이즈가 4x4인 것을 특징으로 한다. 이는 MPEG-1/2/4의 경우에는 Transform, Quantization, Prediction 시에 8x8 블록 사이즈로 데이터를 처리함에 비해, MPEG-4 AVC는 4x4 블록 사이즈로 데이터를 처리하는 경우가 존재하기 때문이다.

디코딩 기능군(800)에는 데이터 디코딩 기능을 수행하기 위한 기능부라면 적용되는 표준에 관계없이 모두 포함될 수 있을 뿐 아니라 기술 발전과정에서 필요한 기능부는 추가될 수 있고, 기존 기능부의 수정도 가능하며, 불필요한 기능부는 제거될 수 있음은 자명하다. 예를 들어, 복호화 처리를 위해 4x4 블록 사이즈로 데이터를 처리하는 IS4x4 기능부 등이 추가로 필요한 경우 해당 기능부들이 디코딩 기능군(800)에 추가될 수 있다. 또한, MPEG-4 AVC에서 인트라 예측(Intra Prediction) 수행을 위한 SPR(Special Prediction) 기능부(도시되지 않음) 등이 더 추가될 수도 있을 것이다.

디코딩 기능군(800) 내에 구비된 각 기능부는 각 표준에 독립적으로 존재하지 않고, 표준에 관계없이 동일한 처리가 가능한 기능부의 경우에는 하나의 기능부로 통합되어 구비될 수도 있음은 자명하다. 각 기능부의 기능은 당업자에게 자명한 사항이므로 간략히 설명하기로 한다.

DF 기능부(810)는 MPEG-4 AVC의 디-블록킹 필터(de-blocking filter)이고, VR 기능부(815)는 복원된 픽셀값을 저장하는 기능부이다.

FFR 기능부(820)는 interlaced 모드를 위한 기능부이고, IPR 기능부(830)는 MPEG-4 AVC의 인트라 예측(Intra prediction)을 한 후 복원된 픽셀값을 저장하는 기능부이다. 상술한 바와 같이, MPEG-4 AVC의 인트라 예측은 SPR 기능부에 의해 수행될 수 있을 것이다.

IT 기능부(835)는 DC값 및 AC값들의 역 변환(inverse transform)을 수행하는 기능부이고, IQ 기능부(845)는 AC 값들을 역 양자화(inverse quantization)하는 기능부이다.

IAP 기능부(855)는 AC값들을 역 예측(inverse AC prediction)하는 기능부이 고, IS 기능부(860)는 AC값들을 역 스캔(inverse scan)하는 기능부이다. DCR 기능부(865)는 DC값들의 역 예측 및 역 양자화를 수행하는 기능부이다.

상술한 SYN 파서군(700)과 디코딩 기능군(800)은 개별적으로 동작 개시되며, 디코딩 기능군(800) 내의 각 기능부는 연결 제어부(425)의 활성화 제어에 의해 활성화된 후 처리를 위해 필요한 CSCI 및/또는 데이터가 CSCI 저장부(430)에 기록되면 개별적으로 동작을 개시한다.

CSCI 저장부(430)에는 SYN 파서군(700)에서 제2 디코더 디스크립션(즉, CSCIT(640), DHT(650), SET(660), S-RT(670), DVT(680))을 이용한 신택스 파싱에 의한 결과값인 엘리먼트 정보(예를 들어, CSCI)가 저장된다. 엘리먼트 정보는 CSCIT(640)에 상응하도록 저장된다. CSCI 저장부(430)는 예를 들어 버퍼 메모리(buffer memory)일 수 있다.

CSCI 저장부(430)에 저장된 엘리먼트 정보는 SYN 파서군(700)에 의해 SET(660)의 프로세스 수행을 위한 입력 데이터로 이용되거나, S-RT(670)에서 후속하는 연결 인덱스를 결정하기 위한 제어 변수 등으로 이용될 수 있다.

또한, CSCI 저장부(430)에 저장된 엘리먼트 정보는 F-RT(620)를 참조하여 연결 제어부(425)가 계층 구조 단위로 활성화한 각 기능부들이 FU-CSCIT(630)에서 지정된 입력 CSCI를 CSCI 저장부(430)에 저장된 엘리먼트 정보들과 매핑하기 위해 이용될 수 있다. 물론, 디코딩 기능군(800) 내의 기능부들에 의해 이용될 수 있는 엘리먼트 정보인 경우 SYN 파서군(700)이 CSCI 저장부(430)에 저장할 수 있음은 앞서 설명한 바와 같다.

즉, CSCI 저장부(430)에는 SYN 파서군(700)에 의해 생성된 CSCI(Control Signal/Context Information, 제어 정보/문맥 정보), 디코딩 처리군(800)에 포함된 임의의 기능부에 의해 디코딩 처리될 데이터가 저장될 수 있다. 물론, CSCI 저장부(430)는 저장되는 정보의 유형에 따라 CSCI를 저장하기 위한 CSCI 저장부와 디코딩 처리될 데이터가 저장되는 데이터 저장부로 분리되어 구현될 수도 있다.

연결 제어부(425)는 다양한 표준에 의해 인코딩된 비트스트림을 디코딩하기 위해 SYN 파서군(700) 또는/및 디코딩 기능군(800)에 포함된 각 기능부들이 로드(load) 또는 활성화되도록 제어한다. 즉, 연결 제어부(425)는 F-RT(620)를 참조하여 디코딩 기능군(800)에 포함된 각 기능부들이 계층 구조 단위로 로드 또는 활성화되도록 제어한다. 이는, 하위 계층 구조에 속하는 기능부들을 위한 입력 데이터가 상위 계층 구조에 속하는 기능부들이 처리한 결과 데이터일 수 있기 때문이다.

상술한 바와 같이, 디코더 형성부(420)는 연결 제어부(425)의 호출에 의해 하나 이상의 기능부들이 로드되어 미리 지정된 프로세스가 수행되도록하기 위한 작업 메모리를 포함할 수 있다.

연결 제어부(425)가 각 기능부의 활성화 여부 및 각 기능부들이 인코딩된 데이터를 동영상 데이터로 처리하여 출력하기 위해 이용하는 부분 디코더 디스크립션들로는 FL(610), F-RT(620), FU-CSCIT(630), CSCIT(640) 및 DHT(650)가 있다.

도 8에 예시된 복수의 기능부들이 상호 유기적으로 동작함으로써 인코딩된 데이터를 동영상 데이터로 변환하여 출력할 수 있다. 동영상 데이터로 변환하기 위 해 어떤 기능부들이 순차적으로 동작되어야 하는지 여부는 각 인코딩 표준에 따라 상이할 수 있으며, 이는 당업자에게 자명한 사항이다. 따라서, 이하에서는 복수의 기능부들의 유기적 동작 제어를 위한 기초 정보로서 이용되는 확장 비트스트림에 포함된 제1 디코더 디스크립션의 부분 디코더 디스크립션들간의 유기적 관계를 중심으로 설명한다.

먼저, DHT(Decoding Hierarchy Table, 650)는 도 9 및 하기 표 1에서 보여지는 바와 같이, 코덱의 계층 구조와 각 계층별 하위 계층에 대한 정보를 기술한 부분 디코더 디스크립션이다.

표 1. DHT( Decoding Hierarchy Table )

Index	Name	Children Hierarchy	Note
H0	VS	H1	Video Session
H1	GOP	H2, H3	Group of Picture
H2	VOP-1	H5	Video Object Plane : Type 1
H3	VOP-2	H4	Video Object Plane : Type 2
H4	MB-1	H6
H5	MB-2	H7
H6	B-1	None
H7	B-2	None
H8	…	…	...
...	...	...	...

DHT(650)는 표 1에 예시된 바와 같이, 순차적으로 부여된 계층 번호인 Index, 각 계층의 명칭을 나타내는 name, 해당 계층의 하위 계층을 나타내는 Children Hierarchy 등의 항목을 포함할 수 있다. 계층의 수나 children hierarchy의 개수는 코덱에 따라 달리 표현될 수 있다. 예를 들어, 도 9에 예시된 바와 같이 VOP-3, MB-3 등이 더 존재하는 경우 이에 상응하는 계층 번호 등이 추가될 수 있음 은 자명하다.

본 발명의 DHT(650)가 나타내는 계층 구조는 한 코덱을 기준하여 상이한 다른 코덱을 자유로운 계층 위치에, 자유로운 양식으로 통합할 수 있음을 의미한다. 즉, 통합 코덱을 이용하여 상이한 여러 코덱을 이용하여 하나의 새로운 코덱을 구성하고 이를 이용하여 동영상 압축 및 복원이 가능하다는 것이다.

또한, DHT(650)의 주된 기능은 주어진 코덱에 계층구조를 도입함으로써 디코더 디스크립션(decoder Description)을 사용하여 구성할 decoding solution의 다양한 구현(sequential/parallel, single/multiple threads, sw/hw hybrid decoding)을 용이하게 한다.

표 1에 예시된 DHT(650)를 통하여 기술된 계층구조는 syntax 파싱 및 디코딩 과정에서 공통적으로 적용된다. 물론, syntax 파싱 또는 디코딩 과정에서 독립적으로 이용되기 위한 계층구조가 더 존재할 수도 있음은 자명하다.

다음으로, FL(FU List, 610)은 하기 표 2에서 보여지는 바와 같이, 디코딩 기능군(800) 내에 구비된 각 기능부들의 리스트, 해당 기능부들의 입출력 데이터의 수량 등의 정보를 기술한 부분 디코더 디스크립션이다.

표 2. FL ( FU List )

FU ID	FU name	input CSCI	output CSCI
D0092	FU-A	2	0
D0098	FU-B	2	0
…	…	…	…

FL(610)은 각 기능부에 대한 입력 데이터가 기록된 전용 버퍼 영역의 명칭(또는 해당 데이터의 기록 주소 또는 해당 데이터가 기록된 버퍼 메모리 내의 주 소)과 해당 기능부에 의한 출력 데이터가 기록될 전용 버퍼 영역의 명칭(또는 해당 데이터의 기록 주소 또는 해당 데이터가 기록될 버퍼 메모리 내의 주소)을 더 포함할 수 있다. 따라서, 각 기능부는 FL(610)을 이용하여 입력 데이터를 읽고 처리한 출력 데이터를 기록할 수 있다. 그러나, FL(610)에는 엘리먼트 정보를 생성하는 SYN 파서군(700)의 입력 데이터 및 출력 데이터는 기재되어 있지 않으나, 이는 SYN 파서군(700)이 SET(660) 등의 정보를 이용하여 엘리먼트 정보를 생성하고 지정된 위치에 생성한 엘리먼트 정보를 기록하기 때문이다.

FL(610)은 표 2에 예시된 바와 같이, 툴 박스(510) 내의 기능부(FU, Functional Unit)의 고유 번호인 FU ID, 각 기능부의 명칭인 FU name, 입력 데이터의 수량을 나타내는 input CSCI, 결과 데이터(출력 데이터)의 수량을 나타내는 output CSCI 등의 항목을 포함할 수 있다. FL(610) 내의 기능부 나열 순서는 FU-CSCIT(630)의 FU 나열순서 또는 Index No.에 대응된다. 각 기능부의 명칭인 FU name 항목에는 앞서 도 8을 참조하여 설명한 각 기능부들의 명칭이 기재될 수 있다.

연결 제어부(425)에 의해 활성화된 계층의 특정 기능부는 FU-CSCIT(630), CSCIT(640) 등을 이용하여 CSCI 저장부(430)로부터 필요한 데이터를 독출하여 미리 설정된 프로세스를 수행하고, 출력 데이터를 생성한다. 생성된 출력 데이터는 CSCI 저장부(430)에 기록될 수 있으며, CSCI 저장부(430)에 기록된 데이터는 후속 처리를 수행하는 기능부의 입력 데이터로 이용될 수 있다. 여기서, 기능부는 디코딩 기능군(800)에 포함되며, 입력 데이터를 미리 지정된 프로세스로 처리하여 출력데이 터를 생성하는 일련의 처리 과정(예를 들어, 기능, 알고리즘 또는 함수 등)을 의미한다.

디코딩 처리 유닛(320)이 종래 비트스트림(316)에 포함된 인코딩된 비디오 데이터의 디코딩을 위해 하나의 표준만을 이용하면 충분한 경우, FL(610)은 해당 표준에서 상응하는 처리를 수행하기 위한 기능부들에 대한 정보만을 포함할 수 있다.

그러나, 해당 비디오 데이터가 복수의 표준에 의해 인코딩된 경우(예를 들어, 복수의 프레임 단위로 인코딩 표준을 달리 적용한 경우)에는 해당 인코딩된 비디오 데이터의 디코딩을 위해 복수의 표준에 따른 기능부들의 정보가 필요할 것이다. 따라서, 이 경우 FL(610)은 상응하는 복수의 표준에 따른 모든 기능부들 중 인코딩된 비디오 데이터의 디코딩을 위해 필요한 복수의 표준에 따른 기능부들의 정보를 포함하여야 할 것이다.

물론, 비디오 데이터가 복수의 프레임 단위로 인코딩 표준을 달리 적용할지라도, 적용된 인코딩 표준별로 구분되어 복수의 종래 비트스트림(316) 및 확장 비트스트림(305)이 생성되어 제공된다면 각각의 FL(610)은 각각 상응하는 표준에 따른 기능부들의 정보만을 포함하면 될 것이다.

FL(610)은 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

다음으로, F-RT(FU - Rule Table, 620)은 입력된 종래 비트스트림(316)을 복 호화하기 위하여 사용될 기능부들의 연결 정보를 제공한다. 즉, F-RT(620)는 아래 표 3에 예시된 바와 같이 DHT(650)에서 명시한 계층 구조를 이용하여 상위 계층이 하위 계층을 호출하는 구조로 구성된다.

표 3. F-RT( FU - Rule Table )

Decoding Hierarchy	Children ( FU / FH )	LOOP	LOOP Condition	Input	Description
FH0	FU1	NO		FH0
	FH1	YES	CH1.C0==1	FU1	FH1[0..N-1] e.g., FH1[i]는 CH1[i].C0이 1일 때 실행됨.
	FH1	YES	CH1.C1==1	FH1[i-1]
FH1	FU2	NO	-	FH1
FH1	FH2	NO	-	FU2
…	…	…	…	…	…

F-RT(620)는 표 3에서 보여지는 바와 같이, 각 계층 구조를 나타내는 Decoding Hierarchy, 활성화될 기능부 또는 호출할 하위 계층을 나타내는 Children, 루프 동작 여부를 나타내는 Loop, 루프 동작이 필요한 경우의 루프 조건을 나타내는 Loop Condition, 각 기능부 또는 하위 계층의 입력 정보(또는 활성화 순서)로서 Decording Hierarchy 또는 Children을 나타내는 Input 등을 포함한다.

표 3에 예시된 바와 같이, FH0의 계층이 가장 먼저 활성화될 것이며, FH1 계층은 입력 데이터로서 FU1의 결과 데이터를 이용하므로 후속하여 활성화될 것이다. 또는 FH1 계층도 FH0 계층과 동시에 활성화된 후 FU1의 결과 데이터가 CSCI 저장부(430)에 저장될 때까지 처리 동작을 유보할 수도 있다.

각 계층은 호출 시 instance/object 개념으로 독립성이 보장되는 객체로 생성된다. 즉, FH1[0], FH1[1], FH1[2], …, FH1[n] 같이 다수의 FH1을 생성하며, 이 구조는 다른 계층(예를 들어, FH0, FH2, FH3 등)에도 동일하게 적용될 수 있다. 또한 각 객체별 전용 버퍼 공간도 할당될 수 있다. 도 12 및 도 13에 예시된 바와 같이, 각 전용 버퍼 공간에는 특정 계층 구조 또는 해당 계층 구조 내의 기능부의 처리를 위한 CSCI 또는 데이터가 저장된다.

F-RT(620)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

다음으로, FU-CSCIT(FU CSCI Table, 630)은 CSCI 저장부(430)에 저장된 엘리먼트 정보와 각 기능부가 필요로 하는 엘리먼트 정보(input CSCI)를 연결하기 위한 부분 디코더 디스크립션이다.

표 4. FU -CSCIT( FU CSCI Table )

Index No .	CSCI information	CSCI table element
The num of interface set : 1
1	Quantiser_scale	CH2.C6
1	The number of MB	CH2.C1
The num of interface set : 2
2	CBP_MPEG2	CH3.C1
	Ac_pred_flag_MPEG2	CH3.C6
	CBP_MPEG4	CH4.C2
	Ac_pred_flag_MPEG4	CH4.C5

위의 표 4에 예시된 바와 같이, FU-CSCIT(630)는 FL(610)의 FU ID와 1:1 매핑(mapping)되는 Index No, CSCI에 대한 정보 및 매핑을 위한 CSCIT(640)의 인덱스(CSCI table element)를 포함한다. FL(610)의 기능부 나열 순서와 FU-CSCIT(630)의 Index No.의 나열 순서에 의해 양자는 1:1 매핑된다. 즉, 표 2의 첫번째 기능부인 FU-A는 FU-CSCIT(630)의 첫번째 인덱스인 Index No. 1과 매핑된다.

또한, FU-CSCIT(630)는 각 Index No.별로 인터페이스 세트가 몇 개인지에 관한 정보를 더 포함한다. 인터페이스 세트의 수는 매핑되는 경우의 수를 의미한다. 즉, FL(610)의 D0092는 FU-CSCIT(630)에 의해 인터페이스 세트의 수가 하나로 지정되므로 엘리먼트 정보로서 CH2.C6 및 CH2.C1만을 사용한다. 그러나, D0098는 인터페이스 세트의 수가 2이므로, 어떤 경우에는 엘리먼트 정보로서 CH3.C1 및 CH3.C6을 사용하고, 또 다른 경우에는 CH4.C2 및 CH4.C5를 사용한다. 각 기능부는 지정된 엘리먼트 정보를 CSCI 저장부(430)로부터 독출하여 미리 지정된 프로세스를 수행한 후 생성된 출력 데이터(결과 데이터)를 CSCI 저장부(430)에 저장한다.

FU-CSCIT(630)에 각 Index No.별 인터페이스 세트의 수를 명시하는 목적은 하나의 기능부가 서로 다른 데이터 플로우(data flow)에 따라 상이한 처리 동작을 수행할 수도 있기 때문이다. 즉, 도 11에 예시된 바와 같이, FU-A가 MPEG-2 및 MPEG-4에서 동시에 이용될 수 있는 기능을 가진 기능부라면, MPEG-2 표준으로 인코딩된 데이터를 처리하는 경우와 MPEG-4 표준으로 인코딩된 데이터를 처리하는 경우 각각 상이한 엘리먼트 정보가 이용될 수 있을 것이다. 따라서, 각 표준에 따른 인코딩된 데이터를 처리할 때의 엘리먼트 정보가 구분될 수 있도록 복수의 인터페이스 세트가 요구된다.

FU-CSCIT(630)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

마지막으로, CSCIT(640)는 아래 표 5에서 보여지는 바와 같이, SYN 파서군(700)이 SET(660), S-RT(670) 등을 이용한 프로세스의 결과 정보인 엘리먼트 정보(예를 들어, CSCI)에 대한 상세 정보가 기술된 것이다. 즉, CSCIT(640)는 종래 비트스트림(316)으로부터 처리되어 CSCI 저장부(430)에 저장되고, 디코딩 기능군(800)에 의해 이용될 모든 의미있는 자료(즉, 엘리먼트 정보)들에 대한 정보를 가진다.

표 5. CSCIT

Decoding Hierarchy	Index	Element Name	Type	Note
CH0	CH0.C1	Profile and level indication	Integer
	CH0.C2	User data	Array	An array of arbitrary length of user data.
	CH0.C3	Visual object VerID	Integer
	…
CH1	CH1.C1	CH1.C2	Integer
	CH1.C2	Time code (Minutes)	Integer
	…
CH2	CH2.C1	Macro-block type	Integer
CH2	…

위의 표 5에 예시된 바와 같이, CSCIT(640)는 각 엘리먼트 정보의 계층 구분, 해당 엘리먼트 정보의 고유 번호로서 구분자인 인덱스(Index), 해당 엘리먼트 정보의 이름(Element Name), 해당 엘리먼트 정보의 자료 구조적인 특성을 지정하기 위한 속성(예를 들어, 해당 엘리먼트 정보가 정수형(Integer)인지 배열형(Array)인지 여부 등) 등을 포함한다. 계층별로 구성된 CSCI정보는 디코더 구성 시 필요에 따라 여러 개의 배열의 형태로 사용할 수도 있다.

CSCIT(640)는 textual description이나 binary description(비트 변환된 바 이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

이어서, SYN 파서군(700)이 종래 비트스트림(316)으로부터 엘리먼트 정보를 추출 또는 생성하여 CSCI 저장부(430)에 저장하기 위하여 이용하는 CSCIT(640), DHT(650), SET(660), S-RT(670) 및 DVT(680)에 관하여 설명하기로 한다. 다만, CSCIT(640) 및 DHT(650)는 앞서 이미 설명하였으므로 이에 대한 설명은 생략한다. 도 7에 예시된 복수의 기능부들이 상호 유기적으로 동작함으로써 엘리먼트 정보를 생성하여 CSCI 저장부(430)에 저장할 수 있다. 엘리먼트 정보의 유형은 각 인코딩 표준에 따라 상이할 수 있으며, 이는 당업자에게 자명한 사항이다. 따라서, 이하에서는 복수의 기능부들 또는 하나의 기능부로 통합된 SYN 파서군(700)이 엘리먼트 정보들을 생성하여 CSCI 저장부(430)에 저장하기 위해 이용되는 확장 비트스트림에 포함된 제2 디코더 디스크립션의 부분 디코더 디스크립션들간의 유기적 관계를 중심으로 설명한다.

먼저, SET(660)는 아래 표 6에서 보여지는 바와 같이, 입력된 종래 비트스트림(316)의 신택스(syntax)들에 대한 정보에 의해 구성된 부분 디코더 디스크립션이다.

표 6. SET( Syntax Element Table )

Index	Element Name	Input	Process by SET - PROC
S0	Visual object sequence start code	32 bit	READ 32 B; (IBS==HEX:1B0)>>;
S1	Profile and level indication	8 bit	READ 8>>;
S2	Visual object sequence end code	32 bit	READ 32 B; ((IBS==HEX:1B1) \|\| (EOF))>>;
…	…	…	…

위의 표 6에 예시된 바와 같이, SET(660)는 각 신택스에 대한 인덱스(index), 엘리먼트 정보의 명칭(Element Name), 입력 데이터(input data) 및 SET-프로세스(process by SET-PROC) 정보를 포함한다. 여기서 인덱스는 S-RT(670)에서 사용되는 각 신택스를 구분하는 구분자(S)이다.

엘리먼트 명칭은 신택스의 이름으로, 신택스의 의미나 역할에 따라 명명될 수 있다. 입력 데이터는 종래 비트스트림(316)에서 한 번에 입력되는 명목적 비트 길이이다. SET-프로세스는 각 비트스트림 신택스를 입력 받아 어떤 가공 절차를 거쳐 출력 데이터인 엘리먼트 정보를 생성할 것인지의 과정을 기술한다. 참고로, 인덱스 S0에 상응하는 SET-프로세스 "READ 32 B; (IBS==HEX:1B0)>>;"는 32비트를 독출하여 "(IBS==HEX:1B0)"를 만족하면 해당 정보를 출력(>>)하라는 의미이다. 출력 데이터는 엘리먼트 정보(즉, CSCI 정보(C))로서, S-RT(670)의 Syntax #ID를 참조하여 S-RT(670)에 규정된 CSCI 정보(예를 들어, CH0.C1 등)로 CSCI 저장부(430)에 저장된다.

SET(660)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

다음으로, S-RT(670)는 아래 표 7에서 보여지는 바와 같이, 종래 비트스트 림(316) 내의 각 신택스간의 계층 및 연결 정보를 나타낸 것이다. 즉, S-RT(670)는 상위 계층이 하위 계층의 신택스를 호출하고 다음 신택스로 이동하도록 지시하는 정보를 가진다. SYN 파서군(700)은 S-RT(670)를 이용하여 종래 비트스트림(316)을 읽어 들이거나 엘리먼트 정보가 CSCI 저장부(430)에 저장 및/또는 갱신되는 순서를 규정한다. 도 10에 예시된 바와 같이, S-RT(670)를 참조하여 SYN 파서군(700)은 여러 개의 쓰레드(thread)로 구성되어 상위의 쓰레드가 하위의 쓰레드를 호출할 수 있으므로, 계층별 Syntax 파싱이 수행될 수 있다.

표 7. S-RT( Syntax Rule Table )

Decoding Hierarchy	Index	Syntax # ID	CSCI	Branch Information	Note
SH0	SH0.SR1	S0	CH0.C1, CH0.C0	1: (CH0.C0==1) GO SR2; 2: GO ERR;	VS Start Code
	SH0.SR2	S1	…	1: GO SR3;
	SH0.SR4	S5		While (conditions) { CALL SH1[CH0.C6]; CH0.C6++; }
SH1	SH1.SR1	S6		1: (CH0.C0==1) GO SR2; 2: GO ERR;	GOP Start Code
	SH1.SR2	S7		1: ([CH1.C13]==1 && [CH1.C14]==1) SR3; 2: GO SR4;
SH2	…	…	…	…	…
…	…	…	…	…	…

위의 표 7에 예시된 바와 같이, S-RT(670)는 각 신택스의 계층 구분(Decoding Hierarchy), 인덱스(R), 신택스의 아이디(Syntax #ID), 입력 데이터(CSCI), 분기 정보(Branch Information)를 포함한다.

인덱스(R)은 각 연결 정보(Rule)를 구분하도록 한다. 신택스의 인덱스(S)는 각 계층 내에서 특정 연결 인덱스에서 처리할 신택스를 지정하므로, SYN 파서 군(700)은 SET(660)을 이용하여 해당 신택스에 대해 지정된 프로세스를 수행한다.

입력 데이터는 해당 연결 인덱스에서의 연결 제어를 위한 조건 판단에 사용될 엘리먼트 정보의 목록을 나타낸다. SET(660)에 의한 프로세스의 결과가 Syntax #ID에 상응하는 입력 데이터의 명칭으로 저장됨은 앞서 설명한 바와 같다.

분기 정보는 다음에 어떤 연결 인덱스를 처리할 것인지를 결정하도록 하는 조건 판단 알고리즘이다. 분기 정보에 의해 어떤 순서에 따라 어떤 내용을 읽어 들일지가 직접적으로 판단될 수 있다. 분기의 수가 1인 경우(예를 들어, Syntax #ID가 S1인 경우)에는 입력 데이터가 존재하지 않을 수 있다.

S-RT(670)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 부분 디코더 디스크립션 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

마지막으로, DVT(680)는 아래 표 8에서 보여지는 바와 같이, 각 부호화기/복호화기에서 사용하는 허프만 테이블(Huffman table) 정보가 기록된 부분 디코더 디스크립션이다. MPEG-1/2/4/AVC에서는 각 부호화 시 엔트로피 코딩(entropy coding)을 수행한다. 이 때 주로 허프만 코딩(Huffman coding) 방법이 이용되며, 이 경우 이용되는 정보가 허프만 테이블(Huffman table)이다. 통합 코덱을 구현하기 위해서는 각 복호 시 해당 복호화기에서 사용될 허프만 테이블(Huffman table) 정보가 제공되어야 한다. 따라서, 본 발명에 따른 디코더 디스크립션 내에 신택스 파싱시 각 신택스(syntax)에 해당하는 허프만 테이블(Huffman table) 정보가 포함된다. 물론, 각 표준에 상응하는 허프만 테이블 정보가 이미 디스크립션 저장부(410)에 기록되 어 있는 경우 DVT(680)의 전송은 생략되거나, 허프만 테이블 정보의 지정을 위해 코덱 번호(Codec #)와 프로파일 및 레벨 번호(Profile and level #)만이 포함될 수도 있을 것이다.

표 8. DVT( Default Value Table )

name	value	code
MCBPC	0	1
MCBPC	1	001
MCBPC	2	010
…	…	…
MCBPC	9	NULL
CBPY	0	0011
CBPY	1	00101
…	…	…
CBPY	17	000001
CBPY	18	NULL
intraDCy	0	011
intraDCy	1	11
…	…	…
intraDCy	12	00000000001
intraDCy	13	NULL
intraDCc	0	11
intraDCc	1	10
…	…	…
intraDCc	13	NULL
DCT intra	0	10
DCT intra	1	1111
…	…	…
DCT intra	101	000001011111
DCT intra	102	0000011
DCT intra	103	NULL
…	…	…

표 8에 예시된 바와 같이, DVT(680)는 각 허프만 테이블에 대한 이름(name), 허프만 코딩에 의해 압축되어 출력되는 실제 값(value) 및 압축된 실제 값이 종래 비트스트림(316)에 저장될 때 사용되는 코드 값(code)을 포함한다. 예를 들어, MCBPC 값을 압축하여 3이란 실제 값(value)을 얻었다면, 허프만 테이블 매핑(Huffman table mapping) 작업(예를 들어, SET(660)의 PROCESS 부분)에 의해 종래 비트스트림(316)에는 코드 값(code) 011이 기록된다. 다른 예로서, SET(660)의 특정 인덱스의 Process 부분에 VLD[1]이라 기록되어 있다면 VLD라는 함수를 호출하여, 해당 함수에 의해 미리 지정된 길이(고정길이 또는 가변 길이)만큼 종래 비트스트림(316)을 읽어 코드 값(code)값을 얻은 후 허프만 테이블 매핑(Huffman table mapping) 작업에 의해 상응하는 실제 값(value)을 얻을 수 있다. 이 때 사용되는 Huffman table은 [1], 즉 1번째 테이블인 CBPY이다.

DVT(680)는 textual description이나 binary description(비트 변환된 바이너리 코드 형태) 등의 기술 방식으로 기술될 수 있을 뿐 아니라, 상기 테이블 중 필요한 최소한의 데이터가 유사 스크립트 언어로 기술될 수도 있다.

일 예로, DVT(470)는 아래와 같이 textual description될 수 있다.

DVT{((0,1), (1,001), (2,010), (3,011), (4,0001), (5,000001), (6,000010), (7,000011), (8,000000001), (9,NULL)) ((0,0011), (1,00101), (2,00100), (3,1001), (4,00011),(5,0111), (6,000010), (7,1011), (8,00010), (9,000011), (10,0101), (11,1010), (12,0100), (13,1000), (14,0110), (15,11), (16,000000), (17,000001), (18,NULL)) ((0,011), (1,11), (2,10), (3,010), (4,001), (5,0001), (6,00001), (7,000001), (8,0000001), (9,00000001), (10,000000001), (11,0000000001), (12,00000000001), (13,NULL)) ((0,11), (1,10), (2,01), (3,001), (4,0001), (5,00001), (6,000001), (7,0000001), (8,00000001), (9,000000001), (10,0000000001), (11,00000000001), (12,000000000001), (13,NULL))...

다른 예로서, DVT(470)는 아래와 같이 binary description될 수 있다.

0000001111111111111111111111111011111000011000110010001101000011011001000001001100000010011000001000110000011010010000000010000011111001000011001010010100101001000010010010010100011001000111001100000100010010110010100010001100000110010001010010010100010001000010010000010001100001011001100000000011000000100000111110001101100010110001010000110100001100100100000100101000010011000000100111000000101000000000010100100000000101010000000000101011000000000010000011111000101100010100001001000110010010000010010100001001100000010…

각 부분 디코더 디스크립션들은 binary description됨으로써 저장 공간을 감소시키고, 처리 효율을 증진시키며, 디코더 디스크립션을 포함한 확장 비트스트림(305) 전송 시간을 감소시킬 수 있는 장점이 있다.

이하, SYN 파서군(700) 및/또는 연결 제어부(425)에 의해 이용되는 각 부분 디코더 디스크립션간의 연동 과정을 설명한다.

먼저, 연결 제어부(425)는 디스크립션 저장부(410)에서 F-RT(620)에 규정된 최상위 계층의 기능부들을 호출한다. 호출된 기능부들은 처리를 위해 필요한 CSCI 정보 및/또는 데이터가 SYN 파서군(700)에 의해 CSCI 저장부(430)에 저장될 때까지 대기한다.

SYN 파서군(700)은 S-RT(670)의 규칙 정보(Rule)들 중 최상위 계층에 해당하는 Syntax를 읽고, SET(660)에 의해 VS Start Code임을 인식하고, 종래 비트스트림(316)에서 상응하는 비트(즉, SET(660)에 입력값으로 설정된 32비트)를 읽어 SET 프로세스 수행에 따른 출력값(즉, 엘리먼트 정보로서, C0)을 S-RT(670)에 규정된 입력 데이터(CSCI)의 명칭으로 CSCI 저장부(430)에 저장한다. CSCI 저장부(430)에 저장된 당해 엘리먼트 정보가 무엇인지 또한 어떤 계층에서 이용되는지는 CSCIT(640)에 기재되어 있다. 이어서, SYN 파서군(700)은 CSCI 저장부(430)에 저장된 엘리먼트 정보(즉, C0)를 S-RT(670)의 상응하는 분기 정보에 대입하고, 그 결과에 상응하는 인덱스의 처리를 위해 진행한다. 예를 들어, 인덱스 SH0.SH1에 상응하는 분기 정보는 'CH0.C0==1'이므로 이를 만족하면 SH0 계층 내의 인덱스 SR2으로 진행할 것이고, 그렇지 않으면 Error 처리한다.

그러나, SYN 파서군(700)이 SET(660)를 이용하여 엘리먼트 정보를 생성하여 CSCI 저장부(430)에 저장하는 과정에서, VLD 함수가 호출되면(예를 들어, SET(660)의 인덱스 S74) DVT(680)를 이용하여 엔트로피 디코딩을 수행한다. 이 과정에서 엘리먼트 정보가 생성되면 CSCI 저장부(430)에 저장한다.

SYN 파서군(700)에 의해 엘리먼트 정보 또는/및 데이터가 CSCI 저장부(430)에 저장되는 동안 디코딩 기능군(800) 내의 활성화된 각각의 기능부는 미리 지정된 프로세스의 수행을 위해 필요한 엘리먼트 정보 또는/및 데이터가 모두 저장되었는지 여부를 확인한다. 해당 기능부는 모두 저장되었는지 여부를 FU-CSCIT(630)를 참조하여 확인할 수 있다. 또한, 해당 엘리먼트 정보들이 무엇인지는 CSCIT(640)와의 매핑(mapping)을 통해 인식할 수 있다. 필요한 엘리먼트 정보들 또는/및 데이터가 모두 저장된 기능부는 미리 지정된 프로세스의 수행을 개시하여, 처리된 결과 데이터를 CSCI 저장부(430)에 저장한다.

앞서 설명한 바와 같이, 기능부들은 계층 구조 단위로 순차적 활성화 또는 호출될 수 있다. 계층 구조 단위의 활성화는 예를 들어 현재 어떤 계층에서 필요한 엘리먼트 정보 또는/및 데이터의 처리가 완료되었는지 여부를 감시하는 연결 제어부(425)에 의해 제어될 수 있다. 호출된 기능부들은 미리 지정된 프로세스의 수행을 위해 필요한 엘리먼트 정보 또는/및 데이터의 저장이 인식되면 이를 독출하여 처리한다. 이러한 과정을 통해 각 기능부들이 순차적으로 또는 병렬적으로 연결되어 처리를 수행하는 것과 동일한 효과가 발생된다.

동영상 데이터로의 변환을 위해 필요한 모든 기능부들의 계층이 모두 활성화됨으로써 디코딩 처리 유닛(320)는 입력된 종래 비트스트림(316)에 상응하는 동영상 데이터를 출력할 수 있다.

도 15는 본 발명의 일 실시예에 따른 syntax 파싱 및 데이터 디코딩의 병렬 처리를 개념적으로 나타낸 도면이다. 도 15에 도시된 바와 같이, 상술한 디코더 디스크립션 정보를 이용하면 SYN 파서군(700)에 의한 Syntax 파싱과 디코딩 기능군(800)에 의해 데이터 디코딩이 개별적(독립적)으로 수행될 수 있다. 즉, 데이터 디코딩을 위해 각 기능부에서 필요로하는 엘리먼트 정보 및/또는 데이터가 CSCI 저장부(430)에 저장되기만 하면 해당 기능부는 미리 지정된 프로세스를 수행할 수 있다. 또한, 디코딩 처리를 수행하는 디코딩 기능군(800) 내의 각 기능부간에도 타 기능부의 결과 데이터가 입력 데이터로 이용되는 관계가 아니라면 각 기능부간에도 독립적인 기능 수행이 가능하다.

따라서, 본 발명에 따른 복호화기(300)는 Syntax 파싱이 모두 완료된 후 디코딩 기능군(800)가 동작 개시되도록 제약되지 않으며, SYN 파서군(700)과 디코딩 기능군(800)의 개별적인 처리가 가능하며, 또한 디코딩 기능군(800) 내의 기능부들 간에도 개별적인 처리가 가능한 장점이 있다.

상술한 바와 같이, 본 발명에 따르면 종래의 표준(즉, 코덱)에서 제공하는 기능부들을 사용하여 기존의 프로파일(profile)을 사용할 수도 있고, 기존의 기능부들을 이용하여 새로운 복호화기를 구성할 수도 있으며, 새로운 기능부를 이용하여 새로운 복호화기를 구현할 수도 있다. 즉, 다양한 또한 제한없는 복호화기 구현이 가능하다.

다만, 새로운 기능부(Functional Unit)를 툴 박스(510)에 추가하는 경우, 해당 기능부에 대한 알고리즘(즉, 기능부에 대한 디스크립션)을 추가하고 해당 정보를 FL(610)에 추가하여야 할 것이다. 이 경우 상기 알고리즘에 대한 컴파일(compile) 과정이 추가적으로 필요할 수도 있다.

통합 코덱을 구현하기 위해서는 다양한 부호화 방식에 의해 압축된 비트스트림을 파싱하여 해당 부호화 방식에 대응되는 복호화 방식으로 비트스트림을 디코딩하도록 각 구성 요소를 유기적으로 제어 할 수 있어야 한다.

이 경우, 해당 비트스트림은 여러 가지 표준(코덱)을 혼합한 다양한 모양으로 구성된 비트스트림이거나 하나의 표준 내에서 다양한 부호화 방식에 의해 생성된 다양한 형태의 비트스트림일 수 있다. 또한 다양한 부호화/복호화 방법을 지원하기 위해서는 여러 가지 표준에서 사용되는 다양한 기능들을 별개의 유닛(Unit)으로 구분하고, 사용자가 원하고 필요로 하는 기능만을 선별하여 한 가지의 코덱(encoder and decoder)을 만들 수 있어야 한다.

상술한 바와 같이, 본 발명은 디코더 디스크립션이 함께 제공되도록 함으로써 비트스트림이 부호화된 부호화 방식에 관계없이 동일한 정보 해석 방법으로 각 기능부들을 유기적으로 연결하고 제어할 수 있는 장점을 가진다.

또한, 본 발명의 다른 장점으로는 비트스트림의 신택스(syntax)가 변경되거나 새롭게 추가 될지라도, S-RT(670)에 해당 정보의 수정 또는 추가 정보의 삽입만으로도 능동적 대응이 가능하도록 할 수 있다. 또한 비트스트림 레벨(bit stream-level), 프레임 레벨(frame-level), 매크로블록 레벨(MB-level) 등의 처리 단위로 사용자가 원하는 기능을 선별하여 F-RT(620)를 구성함으로써 해당 복호화기의 디코딩 기능군(800) 기능부들의 연결 관계를 설정할 수 있는 장점도 있다.

이하, 각 부분 디코더 디스크립션들을 구성하는 명령어들에 대해 상세히 설명하기로 한다.

앞서 예시한 각 표들에는 각 부분 디코더 디스크립션들에서 이용되는 명령어들이 예시되어 있다. 예시된 각각의 명령어들을 이용하여 MPEG-2/MPEG-4/MPEG-4 AVC 등과 같은 표준의 syntax를 파싱하기 위한 정보(즉, 부분 디코더 디스크립션)를 구성 할 수 있다.

각 부분 디코더 디스크립션들을 구성하기 위한 명령어들로는 READ, SEEK, FLUSH, IF, WHILE, UNTIL, DO~WHILE, DO~UNTIL, BREAK, SET, STOP, PUSH 등이 있을 수 있다. 물론, 모든 명령어가 각 부분 디코더 디스크립션 내에 모두 이용되어야 하는 것은 아니며, 각 부분 디코더 디스크립션별로 임의의 명령어가 선택적으로 이용될 수 있음은 자명하다. 이하, 각 명령어의 용도를 간략히 설명하도록 한다.

먼저, READ는 비트스트림에서 일정 비트를 읽어들이기 위한 명령어이다. 예를 들어, "READ bits B > CSCI;"와 같이 표현될 수 있다. 여기서, "bits"는 읽어들일 비트 수를 나타내고, "B"는 Byte-alignment 플래그이고, "> CSCI"는 저장할 CSCI 인덱스를 나타낸다. "B"와 "> CSCI"는 옵션(option)으로 이용되며, "> CSCI"가 지정되지 않으면 변수 IBS에만 저장하도록 설정된다.

다음으로, SEEK는 비트스트림에서 일정 비트를 읽어들이되, 파일 포인터를 이동하지 않도록 하는 명령어이다. 파일 포인터란 일정 비트를 읽어들이는 등의 동작시 기준 위치를 의미한다. SEEK 명령어의 파라미터는 앞서 설명한 READ와 동일하게 적용할 수 있다.

다음으로, FLUSH는 비트스트림에서 일정 비트 수만큼 파일 포인트를 이동하는 명령어이다. 파라미터는 READ와 유사하게 적용할 수 있다.

다음으로, IF는 "IF (condition) { ~ } ELSE { ~ }"의 형태로 이용될 수 있으며, 주어진 조건에 따른 분기를 제공하는 명령어이다.

다음으로, WHILE은 "WHILE (condition) { ~ }"의 형태로 이용될 수 있으며, 주어진 조건이 참(True)인 동안 지정된 블록을 반복하여 수행하도록 하는 명령어이다.

다음으로, UNTIL은 "UNTIL (condition) { ~ }"의 형태로 이용될 수 있으며, 주어진 조건이 참이 될 때까지 지정된 블록을 반복하여 수행하도록 하는 명령어이다.

다음으로, DO~WHILE은 "DO { ~ } WHILE (condition)"의 형태로 이용될 수 있 으며, WHILE문을 변형하여 조건 판단에 앞서 블록을 실행하도록 하는 명령어이다.

다음으로, DO~UNTIL은 "DO { ~ } UNTIL (condition)"의 형태로 이용될 수 있으며, UNTIL문을 변형하여 조건 판단에 앞서 블록을 실행하도록 하는 명령어이다.

다음으로, ( ~ ) (compute)라는 명령어는 예를 들어 "(C11=(V2+3));"의 형태로 이용된다. 즉, SET-PROC의 모든 계산식이 괄호 안에 기록되도록 할 수 있으며, 사칙연산, 대입, 비교, 가산/감산 (++/--), 비트 연산, 논리합/논리곱, CSCI 사용여부 체크 등의 연산자가 이용될 수 있다.

다음으로, BREAK는 가장 가까운 루프 구조로부터 이탈하도록 하는 명령어이다.

다음으로, SET은 지정된 CSCI들에 대한 사용 여부 플래그를 설정하는 명령어로서, 플래그를 지정할 CSCI들이 나열되며 콤마(,)에 의해 구분(예를 들어, SET C0, C2;)될 수 있다.

다음으로, STOP은 현재 수행중인 신택스 엘리먼트(Syntax Element)의 처리를 중단하고 다음으로 넘어가도록 하는 명령어이다.

다음으로, PUSH는 배열형 CSCI에서, 데이터가 기록된 맨 마지막 지점에서부터 주어진 데이터를 추가하도록 하는 명령어로서, 추가된 값들이 나열되며(예를 들어, PUSH C8 8, 16, 32;) 콤마에 의해 구분된다.

다음으로, GO는 지정한 위치로 분기하도록 하는 명령어이다. 예를 들어, GO SR#;;인 경우 SR#으로 분기하라는 명령이며, GO RT는 호출한 곳으로 복귀(return)하라는 명령이다.

다음으로, HEX는 HEX 명령어 뒤에 나오는 값이 16진수임을 나타내는 명령어이다.

다음으로, RLD는 MPEG-4에서 지원되는 RLD 함수를 위한 인터페이스로서, "RLD index, level, run, islastrun, t#;"의 형태로 이용될 수 있다. 여기서, index, level, run 및 islastrun는 RLD 반환값을 저장하는 CSCI 혹은 내부 변수를 나타내고, t#는 RLD에 사용되는 Huffman Table ID를 나타낸다.

다음으로, VLD2는 MPEG-2용 VLD 함수로서, "VLD2 [t#] in > v1, v2, v3;"의 형태로 이용될 수 있다. 여기서, t#는 VLD에 사용되는 Huffman Table ID이고, in은 입력되는 index값을 나타내며, v1~v3은 출력 결과값을 나타낸다.

마지막으로, VLD4는 MPEG-4용 VLD 함수로서, "VLD4 [T#] > CSCI;"의 형태로 이용될 수 있다. 여기서, t#는 VLD에 사용되는 Huffman Table ID를 나타내고, "> CSCI"는 저장할 CSCI 인덱스를 나타낸다. "> CSCI"는 옵션(option)으로, 지정하지 않으면 변수 IBS에만 저장되도록 한다.

도 16은 본 발명의 바람직한 제1 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 17는 본 발명의 바람직한 제2 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이며, 도 18은 본 발명의 바람직한 제3 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 19는 본 발명의 바람직한 제4 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이다.

도시된 바와 같이, 본 발명에 따른 확장 비트스트림(305)에 포함되는 인코딩된 디코더 디스크립션(313)은 부분 디코더 디스크립션을 생성하기 위한 정보를 포 함하지 않고 적용된 표준 정보만을 포함하도록 구성되거나(No table), 테이블 정보를 모두 포함하도록 구성되거나(Full tables), 일부의 테이블 정보만이 포함되도록 구성될 수 있다(Partial tables). 이들 각각을 구분하기 위하여, 디코딩 디스크립션 정보는 SI(Stream Identifier) 정보를 포함할 수 있고, SI 정보는 아래의 표 2와 같이 구분될 수 있다.

표 9. Stream Identifier

SI	Decoding Description
00	No table
01	Full tables
10	Partial tables

도 16에 예시된 바와 같이, 확장 비트스트림(305)은 디코딩 디스크립션으로서, 테이블 정보를 포함하지 않음을 표시하는 SI(1610, 즉 00), 코덱 번호(Codec #, 1620)과 프로파일 및 레벨 번호(Profile and level #, 1630)을 포함할 수 있다.

이는 부분 디코더 디스크립션들을 생성하기 위한 정보를 보내지 않고 디스크립션 저장부(410)에 이미 저장된 부분 디코더 디스크립션들을 사용하는 경우이다. 해당 종래 비트스트림(316)이 어떤 코덱과 프로파일 및 레벨을 사용하는지에 대한 기본 정보만 보낼지라도, 디코딩 처리 유닛(320)은 지시된 부분 디코더 디스크립션들을 이용하여 복호화할 수 있다.

이를 위해, SET(660), CSCIT(640), FL(610), FU-CSCIT(630), DVT(680) 등이 적용 표준(즉, 코덱)별로 기술되고, F-RT(420), S-RT(460) 등은 각 적용 표준의 프로파일(profile) 별로 기술 될 수 있다(표 10 및 11 참조).

표 10. 코덱별 테이블 구분

표준	테이블 구분
MPEG-1	SET #1	FL #1	FU-CSCIT #1	CSCIT #1	DVT #1
MPEG-2	SET #2	FL #2	FU-CSCIT #2	CSCIT #2	DVT #2
MPEG-4	SET #3	FL #3	FU-CSCIT #3	CSCIT #3	DVT #3
AVC	SET #4	FL #4	FU-CSCIT #4	CSCIT #4	DVT #4

표 11. Profile and level 별 테이블 구분

SI	테이블 구분
MPEG-1	F-RT #1-1	S-RT #1-1
MPEG-2 MP	F-RT #2-1	S-RT #2-1
MPEG-4 SP	F-RT #3-1	S-RT #3-1
MPEG-4 ASP	F-RT #3-2	S-RT #3-2
AVC BP	F-RT #4-1	S-RT #4-1

MPEG-4 SP의 경우 SET#3, FL#3, CSCIT#3, FU-CSCIT#3, DVT#3, F-RT#3-1, S-RT#3-1을 사용하여 복호화 방법을 설명 할 수 있으며, 코덱 번호를 3으로 프로파일 및 레벨 번호를 2로 지정하여 전송하면 디코딩 처리 유닛(320)은 이에 해당하는 테이블들을 참조하여 복호화 작업을 수행할 수 있다.

또한, 도 17에 예시된 바와 같이, 확장 비트스트림(305)에는 앞서 설명한 모든 부분 디코더 디스크립션들에 상응하는 인코딩된 디코더 디스크립션(313)이 구비될 수도 있다. 이 경우, SI(810)는 표 9를 참조할 때 01로 설정될 것이다. 각 테이블들은 테이블 식별자(TI, Table Identifier)(1710), 테이블 시작 코드(TS Code, Table Start Code)(1720), 테이블 디스크립션(TD, Table Description)(1730), 테이블 종료 코드(TE Code, Table End Code)(1740)를 포함할 수 있다. 테이블 식별자(1710)와 테이블 시작 코드(1720)의 순서는 변경될 수 있으며, 테이블 디스크립션(1730)은 바이너리 디스크립션 형태로 기술될 수 있다. 물론, 각 테이블들의 순서는 변경될 수 있다.

또한, 도 18에 도시된 바와 같이, 확장 비트스트림(305)에는 앞서 설명한 일부의 부분 디코더 디스크립션들과 일부의 부분 디코더 디스크립션에 상응하는 코덱 번호 등을 포함할 수 있다. 이 경우, SI(1610)는 표 9를 참조할 때 10으로 설정될 것이다. 다만, 이 경우는 부분 디코더 디스크립션들의 형식이 통일되지 않았으므로, 해당 부분 디코더 디스크립션이 어떤 형식으로 구성된 것인지를 판단할 수 있도록 구성 식별자(1810)을 테이블 식별자(1710) 후단에 더 구비함이 바람직할 것이다.

또한, 도 19에 예시된 바와 같이, 확장 비트스트림(305)은 부분 디코더 디스크립션에 대한 디코더 디스크립션(DD-T, 1910)과 갱신 정보를 더 포함할 수 있다. 부분 디코더 디스크립션에 대한 디코더 디스크립션(1910)은 앞서 관련 도면을 참조하여 설명한 부분 디코더 디스크립션들 중 어느 하나일 수 있으며, SI(1610)는 상응하는 값으로 설정될 것이다. 갱신 정보는 갱신 시작 코드(RS code, Revision Start code)(1920)와 갱신 내용(Revision, 1930)을 포함할 수 있다.

갱신 내용(1930)은 임의의 부분 디코더 디스크립션의 규칙 정보(Rule)을 추가하거나 삭제하거나 갱신하는 등의 내용일 수 있다. 그 형태는 'insert index into table-name (…);', 'delete index from table-name;', 'update index in table-name(…);' 등일 수 있다. 예를 들어, SET#4에 S100을 추가하고자 하는 경우, 갱신 내용(1230)은 'insert S100 into SET#4 ("READ 1;IF(IBS==1){SET C31;}");'등의 형태로 구성될 수 있다.

위와 같은 갱신 내용(1930)을 디스크립션 디코더(405)가 읽어 들여 디코딩 처리 유닛(320)이 해당 확장 비트스트림(305)에 대한 디코딩을 수행하는 동안은 디스크립션 저장부(410)에 변경된 내용의 부분 디코더 디스크립션들이 저장되도록 한다. 그러나, 복호화가 완료되면 디스크립션 저장부(410)에 저장된 해당 부분 디코더 디스크립션들을 원상태로 복원하여야 할 것이다. 복호화의 완료 여부는 디코딩 처리 유닛(320) 또는 트리거가 완료 통지를 디스크립션 디코더(405)로 제공하거나, 디스크립션 디코더(405)가 디코딩 처리 유닛(320)의 완료 여부를 감시함으로써 인식할 수 있을 것이다.

다만, 새로운 기능부(Functional Unit)를 툴박스(415)에 추가하는 경우, 해당 기능부에 대한 알고리즘(즉, 기능부에 대한 디스크립션)을 추가하고 해당 정보를 FL(610)에 추가하여야 할 것이다. 이 경우 상기 알고리즘에 대한 컴파일(compile) 과정이 추가적으로 필요할 수도 있다.

이 경우, 해당 비트스트림은 여러 가지 표준(코덱)을 혼합한 다양한 모양으 로 구성된 비트스트림이거나 하나의 표준 내에서 다양한 부호화 방식에 의해 생성된 다양한 형태의 비트스트림일 수 있다. 또한 다양한 부호화/복호화 방법을 지원하기 위해서는 여러 가지 표준에서 사용되는 다양한 기능들을 별개의 유닛(Unit)으로 구분하고, 사용자가 원하고 필요로 하는 기능만을 선별하여 한 가지의 코덱(encoder and decoder)을 만들 수 있어야 한다.

상술한 바와 같이, 본 발명은 디코더 디스크립션이 함께 제공되도록 함으로써 종래 비트스트림(316)이 부호화된 부호화 방식에 관계없이 동일한 정보 해석 방법으로 각 기능부들을 유기적으로 연결하고 제어할 수 있는 장점을 가진다.

또한, 본 발명의 다른 장점으로는 비트스트림의 신택스(syntax)가 변경되거나 새롭게 추가 될지라도, S-RT(670)에 해당 정보의 수정 또는 추가 정보의 삽입만으로도 능동적 대응이 가능하도록 할 수 있다. 또한 비트스트림 레벨(bit stream-level), 프레임 레벨(frame-level), 매크로블록 레벨(MB-level) 등의 처리 단위로 사용자가 원하는 기능을 선별하여 F-RT(620)를 구성함으로써 해당 복호화기의 디코딩 처리 유닛(320) 기능부들의 연결 관계를 설정할 수 있는 장점도 있다.

도 20은 본 발명의 바람직한 제5 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 21은 본 발명의 바람직한 제6 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이며, 도 22는 본 발명의 바람직한 제7 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이고, 도 23은 본 발명의 바람직한 제8 실시예에 따른 확장 비트스트림의 구성을 나타낸 도면이다.

본 발명에 따른 확장 비트스트림(305)은 인코딩된 디코더 디스크립션(313)과 종래 비트스트림(316)으로 구성된다. 종래 비트스트림(316)이 코딩된 비디오 데이터(또는/및 코딩된 오디오 데이터)로 구성됨은 당업자에게 자명하다.

여기서, 인코딩된 디코더 디스크립션(313)은 종래 비트스트림(316)을 디코딩하기 위해 적용될 코덱 특성에 따라 상이한 구조로 형성될 수 있다. 즉, 첫번째, 종래에 표준화된 하나의 코덱을 사용하는 경우 제1 디코더 디스크립션 구조가 적용될 수 있다.

두번째, 종래에 표준화된 하나의 코덱 중 일부 내용을 수정하여 사용(즉, 상술한 부분 디코더 디스크립션들 중 일부 부분 디코더 디스크립션은 해당 코덱에 상응하는 부분 디코더 디스크립션 내용을 그대로 사용하고 다른 일부 부분 디코더 디스크립션들을 수정하여 사용)하는 경우 제2 디코더 디스크립션 구조가 적용될 수 있다.

세번째, 종래에 표준화된 복수의 코덱의 테이블 정보를 가공하여 사용(즉, 상술한 부분 디코더 디스크립션들 중 일부 테이블들은 종래의 복수 코덱의 부분 디코더 디스크립션 내용을 선택적으로 사용하고 다른 일부 부분 디코더 디스크립션들은 수정하여 사용)하는 경우 제3 디코더 디스크립션 구조가 적용될 수 있다.

네번째, 종래에 표준화되지 않은 새로운 코덱을 사용(즉, 새로운 내용으로 구성된 상술한 부분 디코더 디스크립션들을 모두 포함하여 전송)하는 경우 제4 디코더 디스크립션 구조가 적용될 수 있다.

상술한 네가지 디코더 디스크립션 구조는 각각 상이한 코덱 타입(codec_type) 정보로서 구분될 수 있다. 예를 들어, 제1 디코더 디스크립션 구조 인 경우 "codec_type = 0"으로 설정되고, 제2 디코더 디스크립션 구조인 경우 "codec_type = 1"으로 설정되며, 제3 디코더 디스크립션 구조인 경우 "codec_type = 2"로 설정되고, 제4 디코더 디스크립션 구조인 경우 "codec_type = 3"으로 설정될 수 있다.

도 20에 제1 디코더 디스크립션 구조가 예시되어 있다. 제1 디코더 디스크립션 구조에 따를 때, 인코딩된 디코더 디스크립션(313)은 코덱 타입(codec_type)(2010), 코덱 번호(codec_num)(2020) 및 프로파일 및 레벨 번호(profile_level_num)(2030)로 구성될 수 있다. 즉, 제1 디코더 디스크립션 구조에 따르면 디코더 디스크립션 영역에는 적용될 코덱에 관한 정보만을 중심으로 기술된다. 도면에는 각 필드가 8비트인 것으로 예시되어 있으나, 각 필드의 크기는 표현될 정보의 크기에 따라 가감될 수 있음은 자명하다.

코덱 타입(2010)은 0(zero)으로 설정(즉, codec_type=0)될 것이며, 이는 종래 표준화된 다양한 코덱들 중 하나의 코덱을 그대로 이용하는 경우를 의미한다.

도 21에 제2 디코더 디스크립션 구조가 예시되어 있다. 제2 디코더 디스크립션 구조에 따를 때, 인코딩된 디코더 디스크립션(313)은 코덱 타입(codec_type)(2010), 코덱 번호(codec_num)(2020), 프로파일 및 레벨 번호(profile_level_num)(2030) 및 테이블 디스크립션(2110)으로 구성될 수 있다. 즉, 제2 디코더 디스크립션 구조에 따르면 인코딩된 디코더 디스크립션(313)은 적용될 코덱에 관한 정보와 부분 디코더 디스크립션들 중 수정되는 내용을 중심으로 기술된다. 여기서, 테이블 디스크립션은 부분 디코더 디스크립션들 각각에 대해 개 별적으로 구비된다. 즉, 인코딩된 디코더 디스크립션(313)에 복수의 부분 디코더 디스크립션들이 존재할 수 있다.

각 테이블 디스크립션(2110)은 예시된 바와 같이, 테이블 시작 코드(Table_start_code)(2120), 테이블 식별자(Table_identifier)(2130), 테이블 타입(Table_type)(2140), 내용(2145) 및 테이블 종료 코드(Table_end_code)(2150)를 포함할 수 있다. 물론 각 필드의 사이즈는 필요에 따라 증감될 수 있다. 또한 이하에서 설명되는 바와 같이, 내용(2145)은 테이블 타입(2140)의 정보에 따라 생략되거나 포함될 수 있다.

예를 들어, 테이블 타입(2140)의 값이 0이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(2010), 코덱 번호(codec_num)(2020), 프로파일 및 레벨 번호(profile_level_num)(2030)과 테이블 식별자(2130)에 의해 인식된 부분 디코더 디스크립션)의 수정없이 적용되도록 인식될 수 있다. 이 경우, 내용(2145)은 생략될 수 있다.

그러나, 테이블 타입(2140)의 값이 1이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(2010), 코덱 번호(codec_num)(2020), 프로파일 및 레벨 번호(profile_level_num)(2030)과 테이블 식별자(2130)에 의해 인식된 부분 디코더 디스크립션)을 일부 수정(즉, 내용(2145)에 정의된 내용으로 수정)하여 사용하도록 인식될 수 있다. 이 경우, 내용(2145)에는 수정된 내용(예를 들어, update command 등)이 기술될 수 있다. 예를 들어, 수정된 내용(예를 들어, update command 등)은 업데이트(update), 삽입(insert) 또는/및 삭제(delete) 등과 같은 명령어들이 포함 되어 해당 테이블의 상응하는 인덱스의 부분 디코더 디스크립션 내용을 수정하도록 하는 정보일 수 있다.

그러나, 테이블 타입(2140)의 값이 2이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(2010), 코덱 번호(codec_num)(2020), 프로파일 및 레벨 번호(profile_level_num)(2030)과 테이블 식별자(2130)에 의해 인식된 부분 디코더 디스크립션)을 완전히 변경(즉, 내용(2145)에 정의된 내용으로 변경)하여 사용하도록 인식될 수 있다. 이 경우, 내용(2145)에는 변경된 내용(예를 들어, new command 등과 같이 해당 테이블을 새로 정의하기 위한 내용)이 기술될 수 있다.

도 22에 제3 디코더 디스크립션 구조가 예시되어 있다. 제3 디코더 디스크립션 구조에 따를 때, 인코딩된 디코더 디스크립션(313)은 코덱 타입(codec_type)(2010) 및 테이블 디스크립션(2110)으로 구성될 수 있다. 즉, 제3 디코더 디스크립션 구조에 따르면 인코딩된 디코더 디스크립션(313)은 적용될 코덱에 관한 정보와 부분 디코더 디스크립션들 중 수정되는 내용을 중심으로 구성된다. 여기서, 테이블 디스크립션은 부분 디코더 디스크립션들 각각에 대해 개별적으로 구비된다. 즉, 인코딩된 디코더 디스크립션(313)은 복수의 부분 디코더 디스크립션들에 관한 것일 수 있다.

각 테이블 디스크립션(2110)은 예시된 바와 같이, 테이블 시작 코드(Table_start_code)(2120), 테이블 식별자(Table_identifier)(2130), 테이블 타입(Table_type)(2140), 내용(2145) 및 테이블 종료 코드(Table_end_code)(2150)를 포함할 수 있다. 물론 각 필드의 사이즈는 필요에 따라 증감될 수 있다.

예를 들어, 테이블 타입(2140)의 값이 0이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(2010), 코덱 번호(codec_num)(2020), 프로파일 및 레벨 번호(profile_level_num)(2030)과 테이블 식별자(2130)에 의해 인식된 부분 디코더 디스크립션)의 수정없이 적용되도록 인식될 수 있다. 즉, 내용(2145) 필드 내에 적용될 부분 디코더 디스크립션에 상응하는 코덱 번호(codec_num)(2020), 프로파일 및 레벨 번호(profile_level_num)(2030)가 기술된다.

그러나, 테이블 타입(2140)의 값이 1이면 기존 부분 디코더 디스크립션(즉, 코덱 타입(codec_type)(2010), 코덱 번호(codec_num)(2020), 프로파일 및 레벨 번호(profile_level_num)(2030)과 테이블 식별자(2130)에 의해 인식된 부분 디코더 디스크립션)을 일부 수정(즉, 수정 내용으로 정의된 내용으로 수정)하여 사용하도록 인식될 수 있다. 이 경우, 내용(2145) 필드 내에 적용될 테이블에 상응하는 코덱 번호(codec_num), 프로파일 및 레벨 번호(profile_level_num)가 기술되고, 수정 내용 필드에는 수정된 내용(예를 들어, update command 등)이 기술될 수 있다.

그러나, 테이블 타입(2140)의 값이 2이면 기존 부분 디코더 디스크립션(즉, 테이블 식별자(2130)에 의해 인식된 부분 디코더 디스크립션)을 완전히 변경(즉, 내용(2145) 필드에 정의된 내용으로 변경)하여 사용하도록 인식될 수 있다. 이 경우, 내용(2145) 필드에는 변경된 내용(예를 들어, new command 등과 같이 해당 테이블을 새로 정의하기 위한 내용)이 기술될 수 있다. 즉, 상술한 바와 같이 테이블 타입(2140)이 0 또는 1인 경우라면 특정 코덱이 그대로 이용되거나 일부 부분 디코더 디스크립션이 수정되어 이용되므로 코덱에 관한 정보(즉, 코덱 번 호(codec_num), 프로파일 및 레벨 번호(profile_level_num))가 요구되지만, 테이블 타입(2140)이 2인 경우라면 완전히 새로운 테이블 정보가 정의되므로 별도의 코덱 정보는 불필요하다.

도 23에 제4 디코더 디스크립션 구조가 예시되어 있다. 제4 디코더 디스크립션 구조에 따를 때, 인코딩된 디코더 디스크립션(313)은 코덱 타입(codec_type)(2010) 및 테이블 디스크립션(2110)을 포함하여 구성될 수 있다. 즉, 제4 디코더 디스크립션 구조에 따르면 부분 디코더 디스크립션 영역에는 부분 디코더 디스크립션들을 중심으로 기술되며, 테이블 디스크립션은 각 부분 디코더 디스크립션에 대해 개별적으로 구비된다.

예를 들어, 테이블 타입(2140)의 값이 미리 지정된 값(예를 들어, 2) 이면 내용(2145) 필드에는 테이블 식별자(2130)에 상응하는 새로운 부분 디코더 디스크립션을 기술하기 위한 정보(예를 들어, new command 등과 같이 해당 부분 디코더 디스크립션을 새로 정의하기 위한 내용)가 표시된다. 상술한 바와 같이, 코덱 타입(2010)이 3인 경우에는 새로운 부분 디코더 디스크립션들을 이용하여 디코딩을 수행하는 것으로 인식되므로, 테이블 타입(2010)은 하나만으로 지정되거나, 테이블 타입(2010)은 생략될 수 있다.

이하, 인코딩된 디코더 디스크립션(313)의 syntax 구조 및 각 필드의 syntax 구조를 각각의 표로서 예시하기로 한다.

표 12. 디코더 디스크립션

Decoder_Description() {	No . of bits
codec _ type	8
If ((codec_type==0x00) \|\| (codec_type==0x01)) {
Codec_Description()
}
If (codec_type!=0x00) {
do {
Table_Description()
} while (next_bits()==table_idetifier)
}
}

표 13. 코덱 디스크립션

Codec_Description() {	No . of bits
codec _ num	8
profile _ level _ num	8
}

표 14. 테이블 디스크립션

Table_Description() {	No . of bits
table _ start _ code	24
table _ identifier	4
table _ type	4
if ((table_type =='0000') \|\| (table_type =='0001')) {
if (codec_type==0x02)
Codec_Description()
if (table_type =='0001')
Update_Description()
}
if (table_type =='0010') {
New_Description()
}
table_end_code	24
}

표 15. 업데이트 ( update ) 디스크립션

Update_Description() {	No . of bits	Mnemonic
Update_Command		vlclbf
}

표 16. 뉴( new ) 디스크립션

New_Description() {	No . of bits	Mnemonic
New_Command		vlclbf
}

이하, 디코더 디스크립션의 semantics를 각각의 표로서 설명한다.

표 17. 디코더 디스크립션

codec _ type	Meaning
0x00	A profile@level of an existing MPEG standard
0x01	Some parts of the existing one profile@level changed
0x02	Some parts of the existing multiple profile@level changed
0x03	A new decoding solution
0x04-0xFF	RESERVED

여기서, 코덱 타입은 8비트 코드로서, 코덱의 타입을 식별하기 위한 정보일 수 있다.

표 18. 코덱 디스크립션

codec _ num	MPEG standards and others
01	MPEG-1
02	MPEG-2
03	MPEG-4 Part 2
04	MPEG-4 Part 10 (AVC)
05-FF	RESERVED

여기서, 코덱 번호(codec_num)는 8비트 코드로서, 사용된 코덱의 코드를 나타내는 정보일 수 있다. 또한, 프로파일 및 레벨 번호(profile_level_num)는 8비트 코드로서, 코덱에 대한 프로파일과 레벨의 번호를 지시하기 위한 정보일 수 있다. 프로파일 및 레벨 번호는 각 MPEG 표준의 프로파일 및 레벨 번호와 일치할 수 있다.

표 19. 테이블 디스크립션 (테이블 식별자)

table _ identifier	table name
0000	SET (Syntax Element Table)
0001	S-RT (Syntax Rule Table)
0010	CSCIT (CSCI Table)
0011	DVT (Default Value Table)
0100	FL (FU List)
0101	F-RT (FU Rule Table)
0110	FU-CSCIT (FU CSCI Table)
0111-1111	RESERVED

여기서, 테이블 시작 코드(table_start_code)는 16진수의 26비트 문자열 0xFFFFFE일 수 있고, 이는 테이블 디스크립션의 시작을 의미할 수 있다. 테이블 식별자(table_identifier)는 위의 표 12와 같이 각각의 4비트 코드일 수 있다.

표 20. 테이블 디스크립션 (테이블 타입)

table _ type	Meaning
0000	conventional table
0001	updated table
0010	new table
0011-1111	RESERVED

여기서, 테이블 타입은 4비트 값으로 기존의 테이블을 유지할 것인지, 기존의 테이블을 업데이트할 것인지 아니면 새로운 테이블을 생성할 것인지를 판단하도록 하는 정보이다. 테이블 종료 코드(table_end_code)는 16진수의 26비트 문자열 0xFFFFFF일 수 있고, 이는 테이블 디스크립션의 끝을 의미할 수 있다.

표 21. 업데이트 커맨드(update_command)를 위한 지시 세트

Code	Instruction	Usage
00	UPDATE	UPDATE [index#] in [table#] [a record];
01	INSERT	INSERT into [table#] [a record];
10	DELETE	DELETE [index#] from [table#];
11	RESERVED

여기서, index#은 임의의 테이블의 인텍스 번호를 지시하는 4비트 문자열일 수 있고, table#은 테이블 식별자로서의 32비트 문자열일 수 있다.

표 22. 뉴 커맨드(new_command)를 위한 지시 세트

Code	Instruction	Usage
00000001	READ	READ bits B > CSCI;
00000010	SEEK	SEEK bits B > CSCI;
00000011	FLUSH	FLUSH bits B;
00000100	IF	IF (condition) { ~ } ELSE { ~ }
00000101	WHILE	WHILE (condition) { ~ }
00000110	UNTIL	UNTIL (condition) { ~ }
00000111~0	DO~WHILE	DO { ~ } WHILE (condition)
00000111~1	DO~UNTIL	DO { ~ } UNTIL (condition)
00001000	( ~ ) (compute)	( ……… )
00001001	BREAK	BREAK;
00001010	SET	SET CSCI, CSCI;
00001011	STOP	STOP;
00001100	PUSH	PUSH CSCI Value, Value ;
00001101	RLD	RLD index, level, run, islastrun, t#;
00010010	VLD2	VLD2 [T#] in > v1, v2, v3;
00010100	VLD4	VLD4 [T#] > CSCI;

여기서, 비트(bits)는 요구되는 비트의 수를 나타내는 3 내지 34 비트 중 임의의 값이며, B는 바이트 얼라인먼트(byte alignment)를 나타내는 1비트 문자열이다. ">"는 좌측의 출력을 프린트하기 위한 1비트 문자열이고, VLD2(for MPEG-2)와 VLD4(for MPEG-4)는 엔트로피 코딩을 위한 기능들이다.

도 24는 본 발명의 일 실시예에 따른 부호화기의 블록 구성도이다.

본 발명에 따른 부호화기(2400)는 앞서 도 2를 참조하여 설명한 종래의 부호화기(200)에 비해 확장 비트스트림 생성 및 출력부(2410)를 더 포함한다. 확장 비트스트림 생성 및 출력부(2410)는 전단까지의 처리에 의해 생성된 종래 비트스트림(316) 생성 과정에서의 제어 정보(예를 들어, 사용한 기능부들의 목록 및 연결 관계, 해당 기능부들의 입력 데이터, 신택스 정보, 신택스 연결 정보 등)를 이용하여 디코더 디스크립션 을 생성한다. 또한, 생성된 디코더 디스크립션(313) 및 종래 비트스트림(316)를 이용하여 확장 비트스트림(305)을 생성하여 복호화기(300)로 전 송한다.

디코더 디스크립션의 생성 방법은 앞서 설명한 사항만으로 당업자가 충분히 이해할 수 있을 것이므로 이에 대한 설명은 생략한다. 또한, 당업자는 앞서 설명한 사항을 참조할 때, 부호화기(2400) 역시 복수의 기능부들을 포함하는 툴 박스를 구비하도록 하고, 툴 박스 내에 포함된 기능부들의 순차적 조합 또는 유기적 조합을 통해 하나 이상의 부호화 표준에 따른 비트스트림 생성이 가능할 것임을 쉽게 이해할 수 있을 것이다.

또한, 본 명세서에서 가변장 인코딩부(235)는 부호화기(2400) 내에서 종래 비트스트림(316)을 생성하기 위하여 최종적으로 부호화를 수행하는 임의의 구성 요소(예를 들어, 부호화부)를 지칭한 것일 뿐 이에 제한되는 것은 아니며, 또한 이로 인해 본 발명의 권리범위가 제한되지는 않는다.

도 24는 디코더 디스크립션 정보 및 종래 비트스트림(316)을 이용하여 생성한 확장 비트스트림(305)이 복호화기로 제공되는 경우를 가정한 도면이다.

그러나, 상술한 바와 같이, 디코더 디스크립션은 별도의 데이터 또는 비트스트림 등의 형태로 복호화기(300)로 전달될 수도 있다. 이 경우는 가변장 인코딩부(235) 후단에 인코딩된 디코더 디스크립션(313) 생성 및 출력부(도시되지 않음)가 위치하여, 종래의 인코딩부(200)와 독립적으로 생성한 인코딩된 디코더 디스크립션을 복호화기(300)로 제공할 수도 있음은 자명하다.

이제까지 본 발명에 따른 통합 코덱 장치 및 방법을 설명함에 있어 복호화기를 중심으로 설명하였으나, 복호화기와 부호화기간의 상호 관계가 당업자에게 자명 하며 복호화기에 대한 상세한 설명만으로도 부호화기의 구성이 용이한 점을 고려할 때 본 발명이 복호화기에 제한되지 않음은 자명하다.

상술한 바와 같이 본 발명에 따른 통합 코덱 장치 및 방법은 하나의 표준(또는 코덱) 내에서 또는 다른 표준(또는 코덱) 간에 syntax 엘리먼트의 해석 및 기능부들의 연결 제어를 용이하게 한다. 즉, 특정 표준에 따라 생성되는 비트스트림 내의 syntax 엘리먼트들의 순서를 변경하거나, 새로운 syntax 엘리먼트들을 삽입하거나, 기존의 syntax 엘리먼트들을 삭제함에 문제되지 않는다.

또한, 종래기술에 따르면 이와 같은 syntax 엘리먼트의 조작시 복호화기에서는 해당 비트스트림을 정상적으로 디코딩할 수 없는 문제점이 있었다. 예를 들어, 비트스트림 정보가 ABC이던 것을 ACB로 순서를 바꾸어 비트스트림을 구성하여 전송하면, 복호화기는 이를 인식할 수 없어 정상적인 디코딩이 불가능하다. 또한, 신규로 F를 삽입하여 ABFC로 구성하거나, B를 삭제하여 AC로 비트스트림을 구성하는 경우에도 동일하다.

그러나, 본 발명에 따른 통합 코덱 장치 및 방법을 이용하면, 확장 비트스트림 내에 포함되거나 또는 독립된 데이터로 디코더 디스크립션 정보가 제공되므로 복호화기(300)의 원활한 복호화 동작이 가능해진다.

도 25은 본 발명의 일 실시예에 따른 복호화기의 구성을 개략적으로 나타낸 도면이고, 도 26는 본 발명의 일 실시예에 따른 디코딩 유닛에서 비트스트림 처리 과정을 구체적으로 나타낸 도면이다.

도 25에 예시된 디코더 디스크립션 및 영상 비트스트림은 예를 들어 부호화기에 의해 생성되어 제공되는 정보일 수 있다.

도 25을 참조하면, 복호화기(2500)는 디코딩 유닛(2505) 및 분리부(2510)을 포함한다. 디코딩 유닛(2505)은 BSDL 파서(2520), 디코더 형성부(2530), 툴박스(2535) 및 디코딩 솔루션(2540)을 포함한다.

BSDL 파서(2520)는 분리부(2510)로부터 입력된 BSDL 스키마(schema)를 이용하여 외부로부터 입력된 영상 비트스트림의 구문정보를 해석한다. BSDL 파서(2520)로 입력되는 영상 비트스트림은 임의의 부호화 방식(예를 들어, MPEG-4, AVS 등)에 의해 부호화된 데이터이다. 본 명세서를 통해 BSDL 파서(2520)가 자체적으로 BSDL Schema를 해석할 수 있거나, 또는 외부 알고리즘에 의해 구성될 수 있음을 당업자는 쉽게 이해할 수 있을 것이다.

BSDL 파서(2520)는 XML 문법으로 기술된 BSDL 스키마를 읽어들여 BSDL 파서(2520)의 구조를 재정의하기 위한 내부 처리부인 BSDL 해석 처리부(2525)를 포함한다.

BSDL 스키마를 이용해 재정의하는 규칙은 제작자가 적용하는 방법에 따라 다양할 수 있으므로, 그 기본적인 목적만을 제시하면 다음과 같다. 첫째, BSDL 스키마 상에 기록되어 있는 비트스트림의 길이 및 의미에 대한 정보를 인식할 수 있도록 하기 위한 것이다. 둘째, BSDL 스키마 상에 정의된 반복 구조 및 조건적 실행 구조를 읽어 들여 같은 반복 또는 조건문에 의해 실제 동작하는 프로그램적인 루틴 을 구현하기 위한 것이다. 따라서, 재정의되기 이전의 BSDL 파서(2520)는 위와 같은 목적을 달성하기 위한 기능들만이 구현된 상태라고 정의할 수도 있을 것이며, 상술한 파싱 기능을 활용해 실제로 구동하는 BSDL 파서(2520)를 구현하는 과정을 재정의 과정이라 할 수 있다.

BSDL 파서(2520)는 BSDL 해석 처리부(2525)의 제어에 의해 유동적인 데이터 흐름을 구성할 수 있는 프로그램으로 구현되며, 예를 들어, CAL(Caltrop Actor Language), C, C++, Java 등 프로그램 언어를 이용하여 구현될 수 있다.

BSDL 내부 처리부(2525) 및 BSDL 파서(2520)는 디코더 설계자의 설계 기준에 따라 제한없이 구현될 수 있다. 물론, BSDL 레퍼런스 소프트웨어와 같이 기존에 제시되어 있는 BSDL 운용 프로그램을 응용할 수도 있을 것이다. BSDL 레퍼런스 소프트웨어는 MPEG 표준화 단체에 의해 표준화된 BSDL의 원활한 운용을 위하여 제작된 공식 소프트웨어로서, BSDL 스키마를 입력받는 BSDL 파서(2520) 역시 이러한 소프트웨어 자원을 이용하여 보다 용이하게 구현될 수 있음은 자명하다.

본 명세서에서 언급되는 바와 같이, BSDL 파서(2520)의 기본적인 구조는 디코더 설계자가 선택한 다양한 방법에 의해 설계될 수 있다. 즉, 디코더 설계자는 BSDL 파서(2520)의 지정된 기능을 수행하도록 하기 위한 상세한 알고리즘의 적용 및 설계를 자율적으로 선택할 수 있다. 다만, BSDL 파서(2520)는 BSDL 스키마를 읽어들인 결과에 의해 재정의될 수 있으며, 재정의된 결과물이 디코딩 유닛(2505)의 다른 구성 요소들과 협업(예를 들어, 통신 등)될 수 있어야 한다.

BSDL 파서(2520)가 입력받는 BSDL 스키마에는 비트스트림에 포함된 구문 정 보들에 대한 상세한 내역이 기술되며, 이 내역에는 예를 들어 구문 정보의 길이, 구문 정보의 의미, 구문 정보의 출현 조건 및 반복 출현 횟수 등이 포함될 수 있다. 여기서, 정보의 길이는 비트스트림 상에서 특정 정보가 차지하는 비트 길이를 의미하며, 구문 정보의 의미는 해당 정보가 어떤 의미를 가지는 정보인지를 나타낸다. 예를 들어, 임의의 기능부에서 A라는 정보를 요청하고 있을 경우 어느 것이 정보 A인지를 구별하는 데 필요할 수 있기 때문이다. 또한, 출현 조건이나 반복 출현 횟수의 경우, 하나의 BSDL 스키마를 이용해 동일한 규격의 동영상 비트스트림을 처리할 경우에도 비트스트림의 속성에 따라 일부 구문 정보의 출현 여부나 반복 횟수 등이 달라질 수 있으므로 이러한 경우를 정의하기 위해 BSDL 스키마에 첨부될 수 있는 정보이다. 예를 들어, 출현 조건은 인트라 프레임을 처리할 때는 모션 벡터 정보를 읽어들이지 않도록 하는 데에 필요할 수 있고, 반복 출현 횟수는 해당 매크로블록이 동일한 구조의 블록을 6개 지닌다고 할 경우 해당 블록을 반복시키는 데 사용될 수 있다.

도 26에 예시된 바와 같이, BSDL 해석 처리부(2525)는 상세한 내역에 관하여 해독한 결과 정보를 BSDL 파서(2520)에 전달하여 BSDL 파서(2520)가 BSDL 스키마에 지정된 순서에 따라 비트스트림에 포함된 정보를 읽어들이도록 지원한다.

BSDL 파서(2520)는 BSDL 해석 처리부(2525)로부터 제공된 결과 정보를 참조하여 입력된 비트스트림의 내용을 의미 있는 데이터로 바꾸어 디코더 형성부(2530) 및/또는 디코딩 솔루션(2540)에 제공한다. 또한, BSDL 파서(2520)가 디코더 형성부 또는/및 디코딩 솔루션(2540)으로 제공하는 의미있는 데이터들로는 예를 들어, 미 리 지정된 매크로블록 사이즈의 인코딩된 영상 데이터, 인트라 코딩된 매크로블록들에 대한 AC 예측 플래그(ACpred_flag), MCBPC(MB type & coded block pattern for chrominance), CBPY (coded block pattern for luminance) 등이 포함될 수 있다. 이러한 데이터 제공 과정은 디코더 형성부(2530)나 디코딩 솔루션(2540)의 구동 여부와 무관하게 진행될 수도 있다.

본 명세서에 제시되는 바와 같이, 본 발명은 디코더(복호화기)가 디코더 디스크립션을 이용하여 비트스트림을 디코딩하되, 디코더 디스크립션이 BSDL 언어 체계 및 이와 연동 가능한 XML 기반 서식을 사용하는 구조로 구현되도록 하기 위한 것이다. 본 명세서를 통해 디코더 디스크립션이 BSDL, CALML 등의 XML 서식을 가질 수 있고, BSDL 스키마는 Syntax Parsing 과정에, CALML은 기능부간의 연결 제어를 위해 사용되도록 그 역할이 구분될 수 있음을 당업자는 쉽게 이해할 수 있을 것이다.

BSDL 언어는 비트스트림의 구조와 구성 방식에 대한 정보를 포함한 XML 문서 또는 XML 스키마 형태로 기술된다. 이 언어는 각각이 하나 이상의 영상 비트스트림 구조를 표현할 수 있도록 제작된다. BSDL 언어를 사용함으로서, 디코더는 종래의 MPEG 표준에서 검증되어 사용되고 있는 비트스트림 기술 방식을 그대로 적용할지라도, 타 기술들과 높은 호환성을 획득할 수 있게 된다. BSDL에 관련된 언어 서식 및 문법은 MPEG-B Part 5에 기술되어 있으므로 이에 대한 상세한 설명은 생략한다.

BSDL과 XML을 이용한 BSDL 스키마와 연결 제어 정보의 구성예를 나타내면 아래와 같다. 물론, BSDL 스키마와 연결 제어 정보의 구성 형식이 이에 제한되지 않 음은 자명하다.

BSDL 스키마

<xsd:element name="VideoObject">

<xsd:complexType>

<xsd:sequence>

<xsd:element name="VOStartCode"

type="m4v:StartCodeType"/>

<xsd:element name="VOL">

<xsd:complexType>

<xsd:sequence>

<xsd:element name="header" type="VOLHeaderType"

bs2:ifNext="&volSC;" rvc:port="0"/>

<xsd:element name="VOP"

type="VideoObjectPlaneType"

maxOccurs="unbounded"

bs2:ifNext="&vopSC;" rvc:port="1"/>

</xsd:sequence>

</xsd:complexType>

</xsd:element>

</xsd:sequence>

</xsd:complexType>

</xsd:element>

연결 제어 정보

<QID>

</QID>

</Package>

<QID>

</QID>

</Class>

</Instance>

<QID>

</QID>

</Class>

</Instance>

</Network>

본 명세서에서는 디코더 디스크립션(2560), 인코딩된 비디오 데이터(2580) 등의 정보가 외부로부터 입력되는 경우를 가정하여 설명하나, 그중 하나 이상의 정보가 디코딩 유닛(2505)의 임의의 구성 요소 내에 이미 내장되어 구현될 수도 있음은 자명하다.

다시 도 25을 참조하면, 디코더 형성부(2530)는 분리부(2510)로부터 입력받 은 연결 제어 정보 또는/및 BSDL 파서(2520)로부터 입력받은 비트스트림 데이터의 일부(예를 들어, 미리 지정된 매크로블록 사이즈의 인코딩된 영상 데이터, 인트라 코딩된 매크로블록들에 대한 AC 예측 플래그(ACpred_flag), MCBPC(MB type & coded block pattern for chrominance), CBPY (coded block pattern for luminance) 등 중 하나 이상)을 이용하여 디코딩 솔루션(2540)이 구현되도록 제어한다.

즉, 디코더 형성부(2530)는 연결 제어 정보 등을 이용하여 툴박스(2535)에 구비된 기능부들 중 일부 또는 전체가 유기적인 연결 관계로서 디코딩 솔루션(2540) 내에 로드되어 정렬되도록 제어한다. 여기서, 연결 제어 정보는 CALML(CAL Markup Language)로 작성될 수 있다. CALML이란 MPEG 표준화 단체에서 현재 논의중인 CAL언어(Caltrop Markup Language) 방식의 디코더 구성을 기술할 수 있는 XML 포맷이다. CAL언어는 프로그램 객체인 Actor와 각 Actor간의 연결 관계로 구성되는데, 이러한 CAL언어의 구조를 XML 서식에 의해 표현한 것이다. 이에 대한 표현 예는 앞서 BSDL 스키마와 연결 제어 정보의 표현 예로서 이미 제시하였다.

구체적으로, 디코더 형성부(2530)는 여러 기능부의 집합으로 구성된 툴박스(2535)에 접근할 권한을 가지며, 툴박스(2535)에 구비된 기능부들간에 입, 출력 연결을 설정하여 그 결과물에 해당하는 디코딩 솔루션(2540)을 구성한다. 이 때 기능부들간 입/출력 연결 구조 및 실행 순서는 연결 제어 정보를 참고하여 설정된다. 또한, 입력된 비트스트림의 종류를 구별하기 위한 일부 정보를 BSDL 파서(2520)로부터는 전달받아, 기능부 연결 과정에서 참조할 수 있다. 기능부들간의 연결 구조가 모두 확정되면, 그 연결 구조는 외부로부터의 지속적인 데이터 입력이 전제될 경우 해당 디코더 디스크립션 제작자가 의도한 모든 종류의 영상 비트스트림을 해석, 디코딩 할 수 있는 독립적인 디코더로 간주할 수 있다. 이 때 이 완결된 기능부 연결 구조를 디코딩 솔루션(2540)이라 명명할 수 있다.

툴박스(2535)는 미리 지정된 프로세스를 수행하도록 각각 구현된 복수의 기능부들을 포함한다. 각각의 기능부들은 각각 프로그램 코드들의 조합으로 구현될 수도 있다.

툴박스(2535)에 포함되는 각 기능부들은 적용되는 용도별 집합으로 구분된 복수의 세부 툴박스로 세분화될 수도 있다. 예를 들어, MPEG용 기능부들이 포함되는 제1 툴박스, MPEG용 기능부들 이외의 기능부들이 포함되는 제2 툴박스 등으로 세분화될 수 있다. 또는 MPEG-2용 기능부들의 집합인 제1 툴박스, MPEG-4용 기능부들의 집합인 제2 툴박스, 중국의 디지털 TV 압축 표준인 AVS용 기능부들의 집합인 제3 툴박스 등으로 세분화될 수 있다.

물론, 툴박스(2535) 자체가 복수로 구현되어 디코더 형성부(2530) 및 디코딩 솔루션(2540)과 독립된 연결 관계를 가질 수도 있다. 이 경우, 도시되지는 않았으나 상술한 제1 툴박스, 제2 툴박스 등이 독립된 형식의 툴박스로 구현될 수 있을 것이다.

다만, 이하에서는 설명의 편의를 위해 하나의 툴박스(2535) 내에 복수의 세부 툴박스들이 포함되거나 모든 기능부들이 집합체 구성없이 산재되어 포함되는 경우를 중심으로 설명하기로 한다.

툴박스(2535)는 각각의 기능(즉, 미리 설정된 프로세스)을 수행하도록 구현 된 기능부(FU, Functional Unit)들이 포함되는 영역으로, 각 기능부들은 디코더 형성부(2530)의 연결 제어에 의해 디코딩 솔루션(2540)에 로드(load)되어 순차적인 연결 동작 관계를 형성함으로써 영상 비트스트림(2580)에 포함된 인코딩된 영상 데이터를 디코딩된 영상 데이터로 출력한다.

툴박스(2535) 내에는 예를 들어, DF(De-blocking Filter) 기능부, VR(VOP Reconstructor) 기능부, FFR(Frame Field Reordering) 기능부, IPR(Intra prediction and Picture Reconstruction) 기능부, IT(Inverse Transform) 기능부, IQ(Inverse Quantization) 기능부, IAP(Inverse AC Prediction) 기능부, IS(Inverse Scan) 기능부, DCR(DC Reconstruction) 기능부 등의 기능부가 포함될 수 있다.

IT4x4 기능부, IQ4x4 기능부) 및 DCR4x4 기능부는 처리하는 블록 사이즈가 4x4인 것을 특징으로 한다. 이는 MPEG-1/2/4의 경우에는 Transform, Quantization, Prediction 시에 8x8 블록 사이즈로 데이터를 처리함에 비해, MPEG-4 AVC는 4x4 블록 사이즈로 데이터를 처리하는 경우가 존재하기 때문이다.

툴박스(2535)에는 데이터 디코딩 기능을 수행하기 위한 기능부라면 적용되는 표준에 관계없이 모두 포함될 수 있을 뿐 아니라 기술 발전과정에서 필요한 기능부는 추가될 수 있고, 기존 기능부의 수정도 가능하며, 불필요한 기능부는 제거될 수 있음은 자명하다. 예를 들어, 복호화 처리를 위해 4x4 블록 사이즈로 데이터를 처리하는 IS4x4 기능부 등이 추가로 필요한 경우 해당 기능부들이 툴박스(2535)에 추가될 수 있다. 또한, MPEG-4 AVC에서 인트라 예측(Intra Prediction) 수행을 위한 SPR(Special Prediction) 기능부 등이 더 추가될 수도 있을 것이다.

툴박스(2535) 내에 구비된 각 기능부는 각 표준에 독립적으로 존재하지 않고, 표준에 관계없이 동일한 처리가 가능한 기능부의 경우에는 하나의 기능부로 통합되어 구비될 수도 있음은 자명하다. 각 기능부의 기능은 당업자에게 자명한 사항이므로 간략히 설명하기로 한다.

DF 기능부는 MPEG-4 AVC의 디-블록킹 필터(de-blocking filter)이고, VR 기능부는 복원된 픽셀값을 저장하는 기능부이다.

FFR 기능부는 interlaced 모드를 위한 기능부이고, IPR 기능부는 MPEG-4 AVC의 인트라 예측(Intra prediction)을 한 후 복원된 픽셀값을 저장하는 기능부이다. 상술한 바와 같이, MPEG-4 AVC의 인트라 예측은 SPR 기능부에 의해 수행될 수 있을 것이다.

IT 기능부는 DC값 및 AC값들의 역 변환(inverse transform)을 수행하는 기능부이고, IQ 기능부는 AC 값들을 역 양자화(inverse quantization)하는 기능부이다.

IAP 기능부는 AC값들을 역 예측(inverse AC prediction)하는 기능부이고, IS 기능부는 AC값들을 역 스캔(inverse scan)하는 기능부이다. DCR 기능부는 DC값들의 역 예측 및 역 양자화를 수행하는 기능부이다.

디코딩 솔루션(2540)은 디코더 형성부(2530)에 의해 생성된 결과물로, BSDL 파서(2520)에서 구문 정보 단위로 분리된 비트스트림 데이터(또는 미리 지정된 매크로블록 크기의 인코딩된 비디오 데이터)를 입력 받는다.

도 26에 예시된 바와 같이, 입력된 비트스트림 데이터는 데이터를 입/출력하 기 위한 유, 무형의 데이터 인터페이스를 통해 입력될 수 있다. 데이터 인터페이스는 소프트웨어의 경우 특정 메모리 버퍼이거나, 자료의 흐름을 정의하는 가상 포트(Port)이거나, 프로그램 상의 파라미터일 수 있고. 하드웨어의 경우에는 회로 상의 연결선일 수 있으며, 이외에도 다양하게 구현될 수 있다.

데이터의 입력은 해당 인터페이스를 통해 지속적으로, 그리고 특정 기능부의 프로세스 수행과 무관하게 지속적으로 입력(예를 들어, 병렬 처리가 가능하도록 입력)될 수 있다. 디코딩 솔루션(2540)은 입력되는 데이터를 처리하여 디코딩된 영상 데이터로 출력한다. 도 26에 도시된 바와 같이, 데이터는 데이터 인터페이스로부터 시작해 각 기능부로 전달될 수 있으며, 기능부는 해당 데이터를 가공하여 후속하는 기능부로 전달할 수 있다. 이러한 데이터의 흐름은 모두 디코더 형성부(2530)에 의해 사전 정의된 바에 의하여 처리된다.

디코딩 솔루션(2540)내에는 BSDL 파서(2520)로부터 제공받은 데이터(예를 들어, 비트스트림의 syntax 파싱에 의해 추출된 정보 등), 각 기능부의 처리 결과 데이터를 저장하기 위한 저장부가 포함될 수 있다. 디코더 형성부(2530)의 제어에 의해 로드된 각 기능부는 BSDL 파서(2520)로부터 제공된 데이터 및 선행하여 동작된 기능부의 결과 데이터 중 하나 이상을 이용하여 지정된 프로세스를 수행할 수 있다. 이 경우, 후속하여 프로세스를 수행할 기능부는 선행하는 기능부의 동작이 완료되었음을 인식하여야 한다. 이를 위해, 디코더 형성부(2530)는 각 기능부의 동작 완료 여부를 지속적으로 모니터링하여 후속하는 기능부의 동작 개시 여부를 제어할 수 있다. 또한, 저장부 내에 각 기능부별로 독립된 영역이 구비되도록 하고, 선행 하는 기능부의 처리 결과 데이터를 디코더 형성부(2530)의 제어에 의해 후속하는 기능부를 위한 저장 영역에 저장되도록 하면, 후속하는 기능부는 자신의 저장 영역에 프로세스 수행을 위해 필요한 데이터가 저장되는 즉시 프로세스를 수행할 수도 있을 것이다. 이외에도, 기능부간의 처리 개시 시점을 제어하기 위한 다양한 방법이 추가적으로 고려될 수 있음은 자명하다.

물론, 해당 저장부는 디코더 형성부(2530) 내에 구비될 수도 있으며, 디코더 형성부(2530)는 현재 프로세스를 수행할 기능부로 BSDL 파서(2520)로부터 제공받은 데이터(예를 들어, 비트스트림의 syntax 파싱에 의해 추출된 정보 등), 각 기능부의 처리 결과 데이터를 해당 기능부로 제공할 수도 있다.

이하, 도 26를 참조하여 디코딩 유닛(2505)의 동작 과정을 간략히 설명하면 다음과 같다.

외부로부터 입력 영상 비트스트림과 BSDL 스키마가 입력되면(비트스트림의 임의 지점에 정보 A 와 정보 B가 존재하는 것으로 가정함), BSDL 파서(2520)은 BSDL 스키마를 읽어 들여 정보 A에 해당하는 지점에 5bit의 MB type 데이터가 존재하고, 정보 B에 해당하는 지점에는 2bit의 CBPY 데이터가 존재함을 인식한다.

이어서, BSDL 파서(2520)는 파서는 인식한 정보를 이용해 각 지점에서 지정된 수 만큼의 비트를 읽어 들이고, 읽어들인 정보를 부여된 의미에 따라 디코딩 솔루션(2540)에 전달한다.

디코딩 솔루션(2540)은 BSDL 파서(2520)로부터 MB Type과 CBPY로 명명된 데이터를 제공받아 처리하게 된다. 디코딩 솔루션(2540)은 디코더 형성부(2530)의 연 결 제어에 의해 각 기능부들이 로딩되어 구현됨은 앞서 설명한 바와 같다.

디코딩 솔루션(2540)에 존재하는 데이터 인터페이스는 외부로부터 전달된 데이터를 받아들여, 연결 제어 정보에 의해 사전에 구성된 기능부들의 연결 관계를 참조하여, 해당 데이터를 요구하는 기능부들에 전달한다.

각 기능부는 역시 미리 지정된 연결 관계(즉, 데이터 처리를 위한 연결 관계)에 따라 디코딩 과정을 수행한다. 모든 데이터 흐름과 기능부 간의 연결 관계는 디코더 형성부(2530)가 사전에 구성한 내역에 의한다. 각 기능부들의 순차적 처리에 의해 출력 영상 프레임이 외부로 출력된다.

상술한 바와 같이, 디코더 형성부(2530) 또는/및 디코딩 솔루션(2540) 내에는 저장부가 구비될 수 있다. BSDL 파서(2520)로부터 데이터를 제공받음에 있어, 그 전달 과정에 끊김이 없고 또한 디코딩 과정과는 병렬적으로 데이터 제공이 수행될 수 있기 때문이다. 또한, 각 기능부는 필요한 데이터를 저장부로부터 독출하여 사용할 수도 있을 것이다.

또한, BSDL 파서(2520)는 인코딩된 영상 데이터의 디코딩 처리를 위해 상응하는 데이터를 디코더 형성부(2530)로 제공하여 디코더 형성부(2530)가 디코딩 솔루션(2540)으로 제공하도록 하거나, BSDL 파서(2520)가 직접 해당 데이터를 디코딩 솔루션(2540)으로 제공할 수도 있을 것이다.

다시 도 25을 참조하면, 분리부(2510)는 입력된 디코더 디스크립션(2560)을 각각의 정보로 분리하여 디코딩 유닛(2505)으로 입력한다. 분리부(2510)에 입력된 디코더 디스크립션(2560)은 비트스트림의 구조를 기술하기 위한 BSDL 스키마(2565) 와 비트스트림의 디코딩 과정을 기술하기 위한 CALML 데이터(2570)를 포함할 수 있다. 상술한 두 가지 종류의 데이터는 각각 독립적으로 XML 문법에 의해 기술될 수도 있으며, 효율적인 디코더의 운용을 위하여 두 종류의 데이터가 통합되어 전송될 수 있다.

도 27는 본 발명의 바람직한 다른 실시예에 따른 디코더 디스크립션 입력 과정을 나타낸 도면이다.

도 27에 예시된 바와 같이, 복호화기(2500)는 디스크립션 디코더(510)를 더 포함할 수 있다. 디스크립션 디코더(510)는 입력된 인코딩된 디코더 디스크립션(520)을 디코딩 처리하여 디코더 디스크립션(2560)을 생성하여 분리부(2510)로 제공할 수 있다.

디코더 디스크립션(2560)을 인코딩하여 송수신함으로써 송수신되는 데이터량을 절감할 수 있는 효과가 있다.

도 28은 본 발명의 또 바람직한 다른 실시예에 따른 디코더 디스크립션 입력 과정을 나타낸 도면이다.

앞서 도 25을 참조하여 디코더 디스크립션(2560)과 영상 비트스트림이 디코딩 유닛(2505)으로 입력되는 경우와, 도 27를 참조하여 인코딩된 디코더 디스크립션(520)과 영상 비트스트림(2580)이 디코딩 유닛(2505)으로 입력되는 경우를 설명하였다.

그러나, 도 28에 예시된 바와 같이, 디코더 디스크립션(2560)의 구성 정보들이 원시적으로 분리되어 디코딩 유닛(2505)으로 입력될 수도 있음은 자명하다. 이 경우, 앞서 설명한 분리부(2510), 디코더 디스크립션(2560) 등이 생략될 수 있음은 자명하다.도 7 31은 본 발명의 또 다른 실시예에 따른 디코딩 유닛의 구성을 나타낸 도면이다.

앞서 도 25 내지 도 28을 참조하여 툴박스(2535) 및 디코더 형성부(2530)가 분리되어 구현된 디코딩 유닛(2505)에 대하여 설명하였다.

그러나도 7 31에 예시된 바와 같이, 툴박스(2535)가 디코더 형성부(2530)의 일 구성 요소로 포함되어 구현될 수도 있음은 자명하다.

이 경우, 디코더 형성부(2530)는 기능부간의 연결 구조 제어 기능 뿐 아니라 사용될 기능부의 선별 기능까지도 포함할 수 있으며, 이를 통해 구현 가능한 디코딩 솔루션(2540)의 유형도 다양해질 수 있을 것이다.

도 832은 본 발명의 또 다른 실시예에 따른 BSDL 파서의 구성을 나타낸 도면이다.

앞서 도 25을 참조하여, BSDL 해석 처리부(2525)를 포함하는 BSDL 파서(2520)에 대하여 설명하였다.

그러나, 본 발명에 따른 BSDL 파서(2520)는 비트스트림의 디코딩을 개시하기 이전에 복호화기(2500) 외부로부터 사전 정의되어 제공될 수도 있다. 따라서, 앞서 설명한 BSDL 해석 처리부(2525)가 생략될 수 있다. 이때, BSDL 파서 제작기(2610) 는 BSDL 레퍼런스 소프트웨어와 같은 기존의 응용 프로그램을 활용하여 구성될 수 있을 것이다.

이제까지, BSDL 파서가 독립된 구성 요소로서 지정된 동작을 처리하는 경우를 중심으로 설명하였다. 다만, BSDL 파서는 툴박스 내에 포함되는 하나의 기능부로서 구현되거나, 디코딩 솔루션 내에 독립된 구성 요소로서 미리 포함되도록 구현될 수도 있을 것이다. 만일, BSDL 파서가 툴박스 내에 구비되는 경우 디코더 형성부는 연결 제어 정보를 이용하여 BSDL 파서가 비트스트림 디코딩을 위해 동작하는 기능부들의 동작 이전에 프로세스를 수행하도록 로드 및 제어하여야 할 것이다. 마찬가지로, BSDL 파서가 디코딩 솔루션 내에 미리 포함되는 경우, 디코더 형성부는 로드한 각 기능부들의 프로세스 수행 개시 이전에 BSDL 파서가 먼저 프로세스 수행하도록 제어하여야 할 것이다. 각각의 경우에도 BSDL 파서의 동작 및 기능은 앞서 관련 도면을 참조하여 설명한 바와 동일하므로 상세한 설명은 생략하기로 한다. 다만, BSDL 스키마 또는/및 비트스트림을 초기에 입력받는 주체가 디코더 형성부 또는/및 디코딩 솔루션으로 변경될 필요가 있을 수 있다.

상술한 바와 같이 본 발명에 따른 디코딩 장치 및 방법은 하나의 표준(또는 코덱) 내에서 또는 다른 표준(또는 코덱) 간에 syntax 엘리먼트의 해석 및 기능부들의 연결 제어를 용이하게 한다. 즉, 특정 표준에 따라 생성되는 비트스트림 내의 syntax 엘리먼트들의 순서를 변경하거나, 새로운 syntax 엘리먼트들을 삽입하거나, 기존의 syntax 엘리먼트들을 삭제함에 문제되지 않는다.

그러나, 본 발명에 따른 디코딩 장치 및 방법을 이용하면, 확장 비트스트림 내에 포함되거나 또는 독립된 데이터로 디코더 디스크립션 정보가 제공되므로 복호화기(2500)의 원활한 복호화 동작이 가능해진다.

이제까지 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 설명함에 있어 MPEG-4 AVC를 기준으로 설명하였으나, MPEG-1, MPEG-2, MPEG-4, AVS 및 이외의 동영상 인코딩/디코딩 표준에 아무런 제한없이 동일하게 적용할 수 있음은 당연하다.

또한, 연결 제어 정보에 포함되는 정보 역시 하나의 표준에 의한 디코딩 수행을 위한 기능부들의 연결 관계, 해당 기능부에 요구되는 처리 프로세스 등에 관한 정보만으로 기술되지 않고, 복수의 표준에 의한 디코딩 수행을 위한 정보로 기술될 수도 있음은 자명하다.

예를 들어, 영상 비트스트림의 초기 복수의 프레임은 MPEG-2로 인코딩되고, 후속하는 복수의 프레임은 MPEG-4로 인코딩되며, 나머지 프레임은 MPEG-1으로 인코딩되었다고 가정하자. 이 경우, 인코딩된 영상 데이터의 디코딩을 위해 연결 제어 정보는 인코딩 방법을 달리하는 각 프레임들이 툴박스(2535)에 포함된 각 표준에 따른 기능부들이 유기적으로 결합되어 동작될 수 있도록 정의될 것임은 자명하다.

이하, 상술한 BSDL을 BDD(Binary Decoder Description)으로 변경하여 이용하는 실시예에 관해 관련 도면을 참조하여 설명한다.

즉, 도 31에 예시된 바와 같이 BSDL을 BDD로 변경하는 구성의 형태가 추가될 수 있으며, BSDL과 같이 Text로 이루어진 여러 Decoder Description이 BDD로 변경되어 이용될 수 있다.

디코더 구성을 위한 Decoder Description이 이진코드로 구성되는 경우 압축으로 인한 크기의 감소와 각각의 의미를 지닌 비트 코드가 정보처리에 활용되므로 효율적인 활용이 가능함은 자명하다.

도 31을 간단히 설명하면 다음과 같다.

코덱에 사용되는 비트스트림의 문법 구문은 텍스트 형태로 기술될 수 있으며, 디코더의 구성 형태는 여러 텍스트 기반 기술 언어 중 하나인 BSDL로 쓰여질 수 있다. 이와 같이, BSDL로 쓰여진 텍스트 기반 기술 언어를 압축하고 효율적으로 표현하기 위하여 이진 디코더 기술 언어(BDD)로 표현될 수 있으며, BDD로 표현된 이진 디코더 기술 언어는 구문 분석에 사용되어 디코더를 구성하게 된다.

도 32에 예시된 바와 같이, XML로 구성된 BSDL은 각각 구문 요소와 문법, 디 코더 구성을 위한 출력 데이터와 부호화 코드로 구성될 수 있다.

도 32를 간단히 설명하면 다음과 같다.

XML로 이루어진 BSDL의 구문은 각각이 구문 정보 요소(Syntax Element)로 구성될 수 있다. XML로 이루어진 BSDL의 구문은 임의의 기능부에서 처리해야할 문법(Syntax Rule)을 포함할 수 있다. XML로 이루어진 BSDL의 구문은 임의의 기능부에서 사용할 출력데이터(CSCI)를 나타낸다. XML로 이루어진 BSDL의 구문은 임의의 기능부에서 참조하는 부호화 코드(Entropy Coding Table)를 포함한다.

도 33에 예시된 바와 같이, 텍스트 기반 기술 언어인 BSDL을 이진 형태로 변경하여 보다 적은 비트로 표현이 가능하다.

도 33을 간단히 설명하면 다음과 같다. 즉, XML로 이루어진 BSDL 항목 중에서 디코더 기능부에서 처리되어야 하는 항목은 이진코드로 표기 가능하다. 또한, 각각의 XML 항목은 의미에 따라 지정된 비트 코드를 부여함으로써 이진 코드를 생성한다.

다음과 같은 XML로 이루어진 BSDL이 존재할 때 그 변환의 예를 살펴보면 아래와 같다.

<xsd:sequence minOccurs="0" bs2:if="$m4v:video_signal_type = 1">

<xsd:element name="video_format" type="bs1:b3"/>

<xsd:element name="video_range" type="bs1:b1"/>

<xsd:element name="colour_description" type="bs1:b1" bs0:variable="true"/>

…

</xsd:sequence>

XML로 이루어진 BSDL의 내용은 CDDL에서 "video_signal_type"이라는 Syntax element를 S11로 지정하고, "video_signal_type"을 지시하는 값을 CSCI element 인 C11로 한다.

CDDL을 처리할 때는 1bit를 읽어내어 관련된 CSCI element인 C11에 저장하도록 한다. 또한 처리 순서상 SRT의 R11에서 S11을 처리하도록 한다.

S11 video_signal_type READ 1 > C11;

S12 video_format READ 3 > C12;

S13 video_range READ 1 > C13;

S14 colour_description READ 1 > C14;

S15 colour_primaries READ 8 > C15;

S16 transfer_characteristics READ 8 > C16;

S17 matrix_coefficients READ 8 > C17;

해당되는 각 항목을 이진 코드로 변환하면 다음과 같다.

0000000100001010100001011

0000000100010011010100001100

0000000100001010100001101

0000000100001010100001110

0000000100010100010100001111

0000000100010100010100010000

0000000100010100010100010001

또 다른 XML을 이용하여 BSDL을 CDDL로 변환 하고 이를 다시 이진 코드로 변환하는 모습은 다음과 같다.

<xsd:sequence minOccurs="0" bs2:if="$m4v:video_signal_type = 1">

<xsd:element name="video_format" type="bs1:b3"/>

<xsd:element name="video_range" type="bs1:b1"/>

<xsd:element name="colour_description" type="bs1:b1" bs0:variable="true"/>

…

</xsd:sequence>

XML로 이루어진 BSDL에서 보는 바와 같이 "m4v:video_signal_type"의 값이 1이면 하위 내용이 더 존재하고 그렇지 않으면 나타나지 않는다는 것이다.

이를 CDDL로 표기하자면, 바로 이전의 처리 순서인 R11에서 처리 후 분기정보(Branch Information)에서 "video_signal_type"에 해당하는 CSCI element 인 C11이 1인지 아닌지의 여부를 체크하여, 1일 경우에 하위의 내용을 처리 할 수 있도록 분기하고, 1이 아닌 경우에는 그 이후의 내용을 다루기 위하여 넘어간다.

그 이후의 내용 처리는 앞에서 언급한 방식과 유사하다.

R11 S11 IF (C11==1) GO R12; GO R18;

R12 S12 GO R13;

R13 S13 GO R14;

R14 S14 IF (C14==1) GO R15; GO R18;

R15 S15 GO R16;

R16 S16 GO R17;

R17 S17 GO R18;

해당되는 항목을 이진 코드로 변환하면 다음과 같은 형태로 이루어진다.

0000101100011101100100001011110000000000000000000000000000000110010000011000100010010

000011001000001101

000011011000001110

00001110000111011001000010111100000000000000000000000000000001111100000 11111000010010

000011111000010000

000100001000010001

000100011000010010

상술한 바와 같이 BSDL 을 Binary Decoder Description으로 변경하는 기술을 제안함으로써, 사이즈 측면에서 최적화된 BDD 디자인이 가능하고, 비 MPEG용 코덱을 위한 BDD 설계가 가능하며, 실시간 환경을 위한 BDD 디코딩 기술을 제시가 가능해질 수 있다.

이제까지 본 발명에 따른 복호화 장치 및 비트스트림 복호화를 위한 구문 해석 방법을 설명함에 있어 MPEG-4 AVC를 중심으로 설명하였으나, MPEG-1, MPEG-2, MPEG-4 및 이외의 동영상 인코딩/디코딩 표준에 아무런 제한없이 동일하게 적용할 수 있음은 당연하다.

또한, 각 디코더 디스크립션들에 포함되는 정보 역시 하나의 표준에 의한 디코딩 수행을 위한 기능부들의 연결 관계, 해당 기능부에 요구되는 처리 프로세스 등에 관한 정보만으로 기술되지 않고, 복수의 표준에 의한 디코딩 수행을 위한 정보로 기술될 수도 있음은 자명하다.

예를 들어, 확장 비트스트림에 포함된 인코딩된 비디오 데이터의 초기 복수의 프레임은 MPEG-2로 인코딩되고, 후속하는 복수의 프레임은 MPEG-4로 인코딩되며, 나머지 프레임은 MPEG-1으로 인코딩되었다고 가정하자. 이 경우, 인코딩된 비디오 데이터의 디코딩을 위해 디코더 디스크립션에 포함되는 디코더 디스크립션 정보들은 인코딩 방법을 달리하는 각 프레임들이 툴 박스(510)에 포함된 각 표준에 따른 기능부들이 유기적으로 결합되어 동작될 수 있도록 구현될 것임은 자명하다.

상술한 바와 같이 본 발명에 따른 통합 코덱 장치 및 방법은 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)할 수 있는 효과가 있다.

또한, 본 발명은 각 표준에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)하도록 디코더 디스크립션(decoder description)을 부가한 확장 비트스트림을 생성할 수 있는 효과도 있다.

또한, 본 발명은 코덱이 가진 계층 구조를 syntax 파싱 및 디코딩 과정에 응용함으로써 보다 효율적으로 디코더 디스크립션을 기술할 수 있도록 하는 효과도 있다.

또한, 본 발명은 디코더 디스크립션을 이용하여 각 코덱의 스케쥴링(scheduling) 관리와 각 기능부들의 유기적 처리 구조(예를 들어, 병렬 결합 구 조, 직렬 병합 구조, 독립 처리 구조, 개별적 처리 구조 등)를 제시할 수 있는 효과도 있다.

또한, 본 발명은 기술된 디코더 디스크립션만으로 다양한 시스템 설계 및 구축이 가능한 효과도 있다.

또한, 본 발명은 다양한 부호화 방식으로 압축된 비트스트림을 동일한 정보 분석 방법에 의해 파싱(parsing)하고, 파싱된 데이터를 이용하여 복호화를 위한 각 기능부(FU, Functional Unit)들을 유기적으로 제어할 수 있는 효과도 있다.

또한, 본 발명은 다양한 형태의 비트스트림을 복호화하기 위한 syntax 해석 방법을 공통적으로 적용할 수 있는 효과도 있다.

또한, 본 발명은 다양한 형태의 비트스트림을 공통된 Syntax 해석 방법으로 파싱할 수 있도록 하기 위한 새로운 명령어들의 집합을 적용할 수 있는 효과도 있다.

또한, 본 발명은 syntax 엘리먼트의 변경이나 추가시에도 복호화기가 용이하게 비트스트림을 복호화할 수 있는 효과도 있다.

또한, 본 발명은 해석된 syntax의 엘리먼트 정보(element information, 즉 syntax 파싱에 의한 결과물)를 비트스트림 복호화를 위해 이용되는 구성 요소들이 공유할 수 있도록 하는 효과도 있다.

또한, 본 발명은 해석된 syntax의 엘리먼트 정보를 후속하는 비트스트림 syntax 엘리먼트의 해석을 위해 이용할 수 있도록 하는 효과도 있다.

또한, 본 발명은 MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 외의 블록 단위의 처 리를 하는 동영상, 정지영상 코덱의 통합시에 사용할 수 있는 효과도 있다.

또한, 본 발명은 여러 표준(코덱)에서 제안하는 다양한 디코딩 방법을 구성하는 기능들을 각기 기능부(FU, Functional Unit)대로 분할하여 툴박스에 저장할 수 있는 효과도 있다.

또한, 본 발명은 다양한 형태로 부호화 된 비트스트림을 복호화하기 위해 툴박스에서 필요한 기능부들만을 선별하여 디코딩할 수 있는 효과도 있다.

또한, 본 발명은 툴박스에 저장된 기능부의 변경이나 추가, 삭제가 용이한 효과도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

비트스트림의 디코딩을 위해 하나 이상의 복호화 표준에서 규정된 각각의 프로세스를 개별적으로 수행하도록 구현된 복수의 기능부들로 구성되는 툴 박스;

상기 기능부들 중 일부 또는 전체의 동작 제어를 위한 부분 디코더 디스크립션들(partial decoder descriptions)이 저장된 디스크립션 저장부; 및

하나 이상의 부분 디코더 디스크립션들을 참조하여 상기 기능부들 중 일부 또는 전체를 선택적으로 로드(load)하여 인코딩된 비디오 데이터가 동영상 데이터로 디코딩 처리되도록 제어하는 디코더 형성부를 포함하는 복호화 장치.
제1항에 있어서,

상기 디코더 형성부의 제어에 의해 로드된 임의의 기능부의 프로세스 수행을 위한 작업 메모리는 상기 디코더 형성부에 포함되거나 상기 디코더 형성부에 결합되어 구비되는 것을 특징으로 하는 복호화 장치.
제2항에 있어서,

상기 디코더 형성부는,

하나 이상의 기능부의 프로세스 수행에 의해 생성된 CSCI(Control Signal/Context Information) 정보, 디코딩 처리를 위한 데이터 중 하나 이상을 저장하는 저장부; 및

상기 기능부들의 선택적 로드를 제어하는 연결 제어부를 포함하는 것을 특징으로 하는 복호화 장치.
제3항에 있어서,

상기 툴박스는 상기 비트스트림의 신택스 파싱(syntax parsing)을 위한 하나 이상의 파싱 기능부, 상기 인코딩된 비디오 데이터의 디코딩 처리를 위한 복수의 디코딩 기능부를 포함하는 것을 특징으로 하는 복호화 장치.
제1항에 있어서,

상기 디스크립션 저장부에 저장되는 임의의 부분 디코더 디스크립션은 기능부들의 계층에 관한 정보를 포함하고, 상기 디코더 형성부는 상기 정보를 참조하여 하나 이상의 기능부들에 대한 계층간 호출을 수행하는 것을 특징으로 하는 복호화 장치.
제5항에 있어서,

상기 디코더 형성부는 최상위 계층에 대한 오브젝트 생성 및 실행을 제어하고, 상기 오브젝트 실행에 의해 최상위 계층에 포함된 기능부들 및 상기 계층 정보에 의해 지정된 계층의 호출을 위한 호출부가 로드되는 것을 특징으로 하는 복호화 장치.
제6항에 있어서,

상기 호출부는 상응하도록 지정된 계층에 속하는 하나 이상의 기능부들이 미리 지정된 프로세스 수행을 위해 필요한 처리 데이터가 저장부에 저장되면 상응하는 계층을 로드하는 것을 특징으로 하는 복호화 장치.
제7항에 있어서,

로드된 기능부는 지정된 프로세스의 수행을 위한 처리 데이터가 상기 저장부에 저장되면 처리를 개시하는 것을 특징으로 하는 복호화 장치.
제7항에 있어서,

각 기능부들의 프로세스 수행에 의한 결과 데이터는 상기 저장부에 저장되는 것을 특징으로 하는 복호화 장치.
제5항에 있어서,

상기 계층에 관한 정보에 의해 인식되는 계층 구조는 시퀀스 층, GOP 층, 픽쳐 층, 슬라이스 층, 매크로블록 층, 블록 층 중 하나 이상의 층들로 구성되며, 하위 계층이 상위 계층에 의해 호출되는 것을 특징으로 하는 복호화 장치.
제1항에 있어서,

상기 부분 디코더 디스크립션을 구성하기 위한 디코더 디스크립션에 상응하는 인코딩된 디코더 디스크립션은 상기 비트스트림과 독립적으로 제공되는 데이터이거나, 상기 비트스트림과 통합된 확장 비트스트림의 일 구성요소로 제공되는 것을 특징으로 하는 복호화 장치.
제11항에 있어서,

상기 확장 비트스트림으로부터 상기 인코딩된 디코더 디스크립션과 상기 비트스트림을 분리하기 위한 분리부를 더 포함하는 것을 특징으로 하는 복호화 장치.
제11항 또는 제12항에 있어서,

상기 인코딩된 디코더 디스크립션을 상기 디코더 디스크립션으로 변환하는 디스크립션 디코더를 더 포함하는 것을 특징으로 하는 복호화 장치.
제4항에 있어서,

상기 저장부 내에 디코딩 기능부 각각을 위한 전용 저장 공간이 할당되는 것을 특징으로 하는 복호화 장치.
제4항에 있어서,

상기 저장부는,

상기 파싱 기능부에 의해 생성된 CSCI 정보(Control Signal/Context Information)가 저장되는 CSCI 저장부; 및

상기 파싱 기능부에 의해 생성된 상기 인코딩된 비디오 데이터에 상응하는 데이터, 상기 디코딩 기능부에 처리된 처리 데이터 중 하나 이상인 디코딩 처리를 위한 데이터가 저장되는 데이터 저장부를 포함하는 것을 특징으로 하는 복호화 장치.
제4항에 있어서,

상기 디스크립션 저장부에 저장되는 부분 디코더 디스크립션들은,

상기 인코딩된 비디오 데이터의 디코딩을 위한 계층 구조와 각 계층별 하위 계층에 관한 정보를 나타내는 DHT(Decoding Hierarchy Table);

비트스트림 신택스(syntax)에 대한 정보 및 상기 비트스트림 신택스에 상응하는 엘리먼트 정보를 생성하기 위한 프로세스를 나타내는 SET(Syntax Element Table);

상기 비트스트림 신택스간의 연결 정보, 각 계층별 호출할 하위 계층에 관한 정보 및 상기 SET의 프로세스 수행에 의해 생성된 결과 데이터가 저장될 CSCI 정보의 명칭을 지정하는 S-RT(Syntax Rule Table);

계층 구조별 CSCI 정보에 대한 상세 정보를 나타내는 CSCIT(Control Signal and Context Information Table);

상기 계층 구조에 기반하여 복수의 디코딩 기능부들간의 호출 또는 활성화 순서를 나타내는 F-RT(FU Rule Table);

상기 디코딩 기능부들의 리스트를 나타내는 FL(FU List); 및

상기 디코딩 기능부가 프로세스 수행을 위해 필요한 CSCI 정보를 나타내는 FU-CSCIT인 것을 특징으로 하는 복호화 장치.
제16항에 있어서,

엔트로피 코딩(entropy coding)시의 실제 값과 코드값의 관계를 나타내는 DVT(Default Value Table)가 부분 디코더 디스크립션으로 상기 디스크립션 저장부에 더 저장되는 것을 특징으로 하는 복호화 장치.
제16항에 있어서,

상기 연결 제어부는, 상기 F-RT를 이용하여 최상위 계층에 해당하는 하나 이상의 기능부가 로드되도록 제어하는 것을 특징으로 하는 복호화 장치.
제16항에 있어서,

상기 파싱 기능부는 적어도 상기 SET, 상기 S-RT, 및 상기 CSCIT 중 하나 이상을 참조하여 상기 CSCI 정보와 디코딩될 데이터 중 하나 이상을 생성하는 것을 특징으로 하는 복호화 장치.
제16항에 있어서,

상기 디코딩 기능부는 적어도 상기 FL, 상기 F-RT, 상기 FU-CSCIT 및 상기 CSCIT 중 하나 이상을 참조하여 미리 지정된 프로세스를 수행하는 것을 특징으로 하는 복호화 장치.
제13항에 있어서,

상기 디코더 디스크립션은 하나 이상의 구분 영역으로 구성되고, 각 구분 영역에는 상기 부분 디코더 디스크립션을 구성하기 위한 정보가 삽입되는 것을 특징으로 하는 복호화 장치.
제21항에 있어서,

상기 부분 디코더 디스크립션은 상기 비트스트림을 복호화하기 위한 코덱 번호(Codec No.), 프로파일 및 레벨 번호(Profile and level No.)에 상응하는 지정 정보를 포함하고,

상기 디스크립션 디코더는 상기 디스크립션 저장부에 미리 저장된 복수의 부분 디코더 디스크립션들 중 상기 지정 정보에 상응하는 n개의 테이블들을 추출하는 것을 특징으로 하는 복호화 장치.
제21항에 있어서,

상기 각 구분 영역 중 m(임의의 자연수)개의 구분 영역에는 상응하는 부분 디코더 디스크립션에 대한 코덱 번호(Codec No.)와 프로파일 및 레벨 번호(Profile and level No.)에 상응하는 지정 정보가 포함되고, k개의 구분 영역에는 상응하는 부분 디코더 디스크립션을 구성하기 위한 바이너리 코드 정보가 포함되며,

상기 디스크립션 디코더는 상기 디스크립션 저장부에 미리 저장된 복수의 부분 디코더 디스크립션들 중 상기 지정 정보에 상응하는 m개의 부분 디코더 디스크립션들을 추출하고, 상기 바이너리 코드 정보를 이용하여 k개의 테이블들을 생성하여 상기 디스크립션 저장부에 저장하는 것을 특징으로 하는 복호화 장치.
(a) 입력된 인코딩된 디코더 디스크립션 정보에 상응하는 디코더 디스크립션을 생성하여 저장하는 단계-여기서, 디코더 디스크립션은 복수의 부분 디코더 디스크립션들로 구성됨-; 및

(b) 하나 이상의 부분 디코더 디스크립션을 참조하여 파싱 기능부 및 최상위 계층에 속하는 하나 이상의 디코딩 기능부를 로드(load)하는 단계를 포함하되,

상기 파싱 기능부는 상기 비트스트림의 신택스 파싱(syntax parsing)을 수행하고, 상기 최상위 계층의 디코딩 기능부는 미리 지정된 프로세스의 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코딩을 위한 데이터가 상기 파싱 기능부에 의해 저장부에 저장되면 처리를 수행하고,

계층 구조에 부합하여 제1 계층의 수행을 위해 필요한 CSCI 정보 및 디코딩을 위한 데이터가 저장부에 저장되면 활성화된 상태인 제2 계층에 의해 상기 제1 계층이 로드되는 것을 특징으로 하는 복호화 방법.
제24항에 있어서,

상기 디코딩 기능부들은 상기 인코딩된 비디오 데이터의 계층 구조에 부합되어 활성화 또는 호출 여부가 결정되고,

상기 디코더 디스크립션에 명시된 각각의 디코딩 기능부들의 한번 이상의 프로세스 수행에 의해 상기 비트스트림에 상응하는 동영상 데이터가 출력되는 것을 특징으로 하는 복호화 방법.
제24항에 있어서,

상기 파싱 기능부 및 디코딩 기능부들 각각은 상기 비트스트림의 디코딩을 위해 각각의 복호화 표준들에 의해 제안된 각각의 기능을 독립적으로 수행되도록 구현된 것을 특징으로 하는 복호화 방법.
제24항에 있어서,

상기 저장부는,

상기 파싱 기능부에 의해 생성된 CSCI 정보가 저장되는 CSCI 저장부; 및

상기 파싱 기능부에 의해 생성된 상기 인코딩된 비디오 데이터에 상응하는 데이터, 임의의 디코딩 기능부에 처리된 처리 데이터 중 하나 이상인 디코딩 처리를 위한 데이터가 저장되는 데이터 저장부를 포함하는 것을 특징으로 하는 복호화 방법.
제27항에 있어서,

상기 디코딩 기능부 각각은 미리 지정된 프로세스의 수행을 위해 필요한 CSCI 정보 및 디코딩 처리를 위한 데이터가 상기 저장부에 저장됨으로써 동작 개시되는 것을 특징으로 하는 복호화 방법.
제28항에 있어서,

상기 저장부 내에 상기 디코딩 기능부 각각을 위한 전용 저장 공간이 할당되는 것을 특징으로 하는 복호화 방법.
제24항에 있어서,

상기 디코더 디스크립션은,

상기 비트스트림에 포함된 인코딩된 비디오 데이터의 디코딩을 위한 계층 구조와 각 계층별 하위 계층에 관한 정보를 나타내는 DHT(Decoding Hierarchy Table);

비트스트림 신택스(syntax)에 대한 정보 및 상기 비트스트림 신택스에 상응하는 엘리먼트 정보를 생성하기 위한 프로세스를 나타내는 SET(Syntax Element Table);

상기 비트스트림 신택스간의 연결 정보, 각 계층별 호출할 하위 계층에 관한 정보 및 상기 SET의 프로세스 수행에 의해 생성된 결과 데이터가 저장될 CSCI 정보의 명칭을 지정하는 S-RT(Syntax Rule Table);

계층 구조별 CSCI 정보에 대한 상세 정보를 나타내는 CSCIT(Control Signal and Context Information Table);

상기 계층 구조에 기반하여 복수의 디코딩 기능부들간의 호출 또는 활성화 순서를 나타내는 F-RT(FU Rule Table);

상기 디코딩 기능부들의 리스트를 나타내는 FL(FU List); 및

상기 디코딩 기능부가 프로세스 수행을 위해 필요한 CSCI 정보를 나타내는 FU-CSCIT인 부분 디코더 디스크립션들을 포함하는 것을 특징으로 하는 복호화 방법.
제30항에 있어서,

상기 디코더 디스크립션은 엔트로피 코딩(entropy coding)시의 실제 값과 코드값의 관계를 나타내는 DVT(Default Value Table)인 부분 디코더 디스크립션을 더 포함하는 것을 특징으로 하는 복호화 방법.
제30항에 있어서,

상기 F-RT를 이용하여 최상위 계층에 해당하는 하나 이상의 디코딩 기능부의 활성화 또는 호출이 제어되는 것을 특징으로 하는 복호화 방법.
제30항에 있어서,

적어도 상기 SET, 상기 S-RT, 및 상기 CSCIT를 이용하여 상기 CSCI 정보와 디코딩될 데이터 중 하나 이상이 생성되는 것을 특징으로 하는 복호화 방법.
복호화 방법을 수행하기 위해 복호화 장치에서 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 복호화 장치에 의해 판독될 수 있는 프로그램이 기록된 기록 매체에 있어서,

(a) 입력된 인코딩된 디코더 디스크립션 정보에 상응하는 디코더 디스크립션을 생성하여 저장하는 단계-여기서, 디코더 디스크립션은 복수의 부분 디코더 디스크립션들로 구성됨-; 및

(b) 하나 이상의 부분 디코더 디스크립션을 참조하여 파싱 기능부 및 최상위 계층에 속하는 하나 이상의 디코딩 기능부를 로드(load)하는 단계를 포함하되,

상기 파싱 기능부는 상기 비트스트림의 신택스 파싱(syntax parsing)을 수행하고, 상기 최상위 계층의 디코딩 기능부는 미리 지정된 프로세스의 수행을 위해 필요한 CSCI 정보(Control Signal/Context Information) 및 디코딩을 위한 데이터가 상기 파싱 기능부에 의해 저장부에 저장되면 처리를 수행하고,

계층 구조에 부합하여 제1 계층의 수행을 위해 필요한 CSCI 정보 및 디코딩을 위한 데이터가 저장부에 저장되면 활성화된 상태인 제2 계층에 의해 상기 제1 계층이 로드되는 것을 특징으로 하는 프로그램이 기록된 기록매체.
비트스트림의 해석을 위한 스키마 정보를 입력받아 상기 비트스트림을 의미있는 데이터들로 변환하여 출력하는 파서(parser); 및

상기 데이터들을 이용한 비트스트림 디코딩을 수행하여 동영상 데이터를 출력하는 디코딩 솔루션을 포함하는 복호화 장치.
제35항에 있어서,

미리 지정된 프로세스를 각각 수행하도록 구현된 하나 이상의 기능부들을 포함하는 툴박스; 및

상기 비트스트림에 상응하는 연결 제어 정보를 입력받아 상기 툴박스에 포함 된 하나 이상의 기능부들의 연결 관계를 설정하여 상기 디코딩 솔루션에 로드되도록 제어하는 디코더 형성부를 더 포함하는 복호화 장치.
제36항에 있어서,

상기 디코더 형성부가 상기 데이터를 상기 파서로부터 제공받아 상기 디코딩 솔루션으로 제공하는 것을 특징으로 하는 복호화 장치.
제36항에 있어서,

디코더 디스크립션을 입력받아 상기 스키마 정보 및 상기 연결 제어 정보로 분리하여 각각 출력하는 분리부를 더 포함하는 복호화 장치.
제36항에 있어서,

상기 디코딩 솔루션은 상기 데이터를 입력받아 상응하는 기능부로 제공하거나 상응하는 기능부가 상기 데이터를 독출하도록 하는 데이터 인터페이스를 구비하는 것을 특징으로 하는 복호화 장치.
제35항에 있어서,

상기 스키마 정보는 상기 비트스트림에 포함된 구문 정보들의 내역에 관한 정보로서, 구문 정보의 길이, 구문 정보의 의미, 구문 정보의 출현 조건 및 반복 출현 횟수 중 하나 이상이 포함되는 것을 특징으로 하는 복호화 장치.
제35항에 있어서,

상기 스키마 정보는 XML 문법으로 기술되는 것을 특징으로 하는 복호화 장치.
제36항에 있어서,

상기 연결 제어 정보는 CALML(CAL Markup Language)로 기술되는 것을 특징으로 하는 복호화 장치.
제36항에 있어서,

상기 툴박스는 적용되는 표준에 따라 구분된 기능부들의 집합인 서브 툴박스들로 구성되는 것을 특징으로 하는 복호화 장치.
제36항에 있어서,

상기 디코딩 솔루션은 하나 이상의 기능부가 로드되어 동작되도록 하기 위한 작업 메모리를 포함하는 것을 특징으로 하는 복호화 장치.
제36항에 있어서,

상기 툴박스는 상기 디코더 형성부의 일 구성요소인 것을 특징으로 하는 복호화 장치.
제36항에 있어서,

상기 디코딩 솔루션에 로드된 기능부는 상기 데이터, 이전에 프로세스 수행한 기능부에 의한 출력 데이터 중 하나 이상을 입력 데이터로 하는 미리 지정된 프로세스를 수행하는 것을 특징으로 하는 복호화 장치.
(a) 입력된 스키마 정보를 이용하여 비트스트림을 의미있는 데이터들로 변환하여 출력하는 단계;

(b) 입력된 연결 제어 정보를 이용하여 기능부들의 순차적 동작 순서를 설정 하는 단계; 및

(c) 상기 기능부들에 의해 상기 데이터를 이용한 비트스트림 디코딩이 수행되는 단계를 포함하는 복호화 방법.
제47항에 있어서,

상기 단계 (b)는 디코더 형성부가 상기 연결 제어 정보를 이용하여 툴박스에 포함된 복수의 기능부들 중 하나 이상의 기능부들의 프로세스 수행 순서를 설정하는 것을 특징으로 하는 복호화 방법.
제47항에 있어서,

상기 스키마 정보 및 상기 연결 제어 정보가 통합된 디코더 디스크립션이 입력되는 경우, 각각의 정보로 분리하여 출력하는 단계가 상기 단계 (a)에 선행하는 것을 특징으로 하는 복호화 방법.
제47항에 있어서,

상기 스키마 정보는 상기 비트스트림에 포함된 구문 정보들의 내역에 관한 정보로서, 구문 정보의 길이, 구문 정보의 의미, 구문 정보의 출현 조건 및 반복 출현 횟수 중 하나 이상이 포함되는 것을 특징으로 하는 복호화 방법.
제47항에 있어서,

상기 스키마 정보는 XML 문법으로 기술되는 것을 특징으로 하는 복호화 방법.
제47항에 있어서,

상기 연결 제어 정보는 CALML(CAL Markup Language)로 기술되는 것을 특징으로 하는 복호화 방법.
제48항에 있어서,

상기 기능부는 상기 데이터, 이전에 프로세스 수행한 기능부에 의한 출력 데이터 중 하나 이상을 입력 데이터로 하는 미리 지정된 프로세스를 수행하는 것을 특징으로 하는 복호화 방법.
복호화 방법을 수행하기 위해 복호화 장치에서 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 복호화 장치에 의해 판독될 수 있는 프로그램이 기록된 기록 매체에 있어서,

입력된 스키마 정보를 이용하여 비트스트림을 의미있는 데이터들로 변환하여 출력하는 단계;

입력된 연결 제어 정보를 이용하여 기능부들의 순차적 동작 순서를 설정하는 단계; 및

상기 기능부들에 의해 상기 데이터를 이용한 비트스트림 디코딩이 수행되는 단계를 실행하는 것을 특징으로 하는 프로그램을 기록한 기록매체.