KR100894426B1

KR100894426B1 - 2진 멀티미디어 설명들을 위한 비트스트림의 구조화 방법및 이러한 비트스트림의 해석 방법

Info

Publication number: KR100894426B1
Application number: KR1020037005451A
Authority: KR
Inventors: 미카엘 볼보른
Original assignee: 로베르트 보쉬 게엠베하
Priority date: 2000-10-20
Filing date: 2001-09-29
Publication date: 2009-04-22
Also published as: EP1199893A1; JP2004524723A; EP1336305A2; WO2002039748A2; WO2002039748A3; JP5553466B2; EP1336305B1; KR20030046515A; US8521898B2; US20040057466A1

Abstract

2진 멀티미디어 설명들을 위한 비트스트림을 구조화하기 위해 2진 식별자들(BID들)이 적어도 한 일정한 위치 그리드에 위치된다. 해석은 위치 그리드에 의해 정의된 위치들에서 이러한 2진 식별자들(BID들)을 체크하는 것에 의해 수행된다.

위치 그리드, 2진 식별자, 비트스트림, 파라메터, 고유 번호

Description

2진 멀티미디어 설명들을 위한 비트스트림의 구조화 방법 및 이러한 비트스트림의 해석 방법{Method for structuring a bitstream for binary multimedia descriptions and method for parsing this bitstream}

본 솔루션들은 멀티미디어 환경들에서 청각적-시각적 데이터 콘텐트의 설명(description)을 위한 설명 구조들의 조직적인 표현(textural representation)을 사용한다[MPEG-7 오버뷰(버전 3.0), ISO/IEC ITC1/SC29/WG11 N3445 제네바, 2000년 5월/6월, 1 내지 53 페이지].

이러한 작업을 위해 XML(Extensible Markup Language)로부터 얻어지는 소위 DLL(description definition language)이 사용된다. MPEG-7 설명은 설명 요소들의 번호가 변화될 수 있는 설명자들(descriptors; D) 또는 설명 스킴들(description schemes; DS)로 구성된다. MPEG 입력 문서 M6061(제네바 회의로부터)에서, 설명 구조들의 보다 조밀한 인코딩을 허용하며, 따라서 저장 용량과 및/또는 전송 대역폭을 절약하는, MPEG-7 데이터를 위한 2진 포맷이 제안되었다.

청구항 제 1 항의 단계들에서 2진 멀티미디어 설명들을 위한 2진 비트스트림에 대한 특별 구조가 설명되고, 이는 2진 해석자(parser)의 매우 낮은 복잡도로 비트스트림의 빠른 해석을 허용한다. 분야의 솔루션들의 상태에서, 멀티미디어 설명의 개방 및 폐쇄 태그들을 표현하는 2진 식별자들(BID들)이 비트스트림의 어떤 위치들에서 위치될 것인가는 지정되지 않는다. 따라서, 2진 해석자는 그가 각각의 BID를 찾을 때까지, 연속적으로 비트스트림의 각각의 가능한 위치를 체크해야 한다. 본 발명에 의해 BID들이 위치될 수 있는 비트스트림들에서의 위치들의 그리드를 정의하는 것을 허용하도록 비트스트림에 대한 구조가 지정된다. 모든 다른 위치들에서, BID는 시작할 수 없을 것이다. 비트스트림에 따라, 해석자를 위해 체크하는 위치들의 수가 상당히 감소되기 때문에 이러한 구조는 해석 과정을 빠르게 할 수 있다. 해석자는 각각의 태그들을 찾는 위치를 미리 안다. 해석을 위해 그는 단지 그리드를 위치시키는 것에 의해 정의된 위치들에서의 2진 식별자들(BID들)을 체크해야만 한다. 이에 의해, 2진 해석자를 위해 필요한 계산적인 복잡성이 또한 감소된다.

본 발명의 다른 목적은 2진 해석자가 비트스트림의 완전한 대응 부분을 해석하지 않고 완전한 하위 설명(sub-description)을 스킵(skip)하는 것을 허용한다. 이러한 목적은 청구항 제 10 항의 단계들에 따라 동일한 고유 번호를 각 개방 2진 식별자 및 동일한 타입의 폐쇄 2진 식별자에게 할당함으로써 이루어진다.

멀티미디어 데이터의 2진 설명들을 소비하는 일부 응용들에 대해서 응용이 정보의 그 특정 부분에서 관계되지 않을 때, 모든 설명의 완전한 하위 설명이 스킵될 수 있다. 하위 설명을 스킵하기 위한 분야 솔루션들의 상태에 따라, 어떤 식으로든 완전한 설명을 해석하는 것이 필요하며, 이는 시간과 계산 능력의 소비이다. 2진 해석자가 이제 완전한 하위 설명을 스킵하길 바란다면, 그가 스킵하길 바라는 D 또는 DS의 개방 BID로서 동일한 고유 번호를 갖는 폐쇄 BID에 대하여 바로 검색해야만 한다. 이에 의해, 하위 설명들을 스킵하는 경우의 해석 속도가 증가되며, 또한 해석자의 계산적인 복잡도도 감소한다.

본 발명의 실시예들이 도면들에서 묘사되며 다음 설명들에서 상세히 기술된다.

도 1은 개방 및 폐쇄 BID들에 대한 동일한 그리드 위치들을 갖는 비트스트림의 구조를 도시하는 도면.

도 2는 개방 및 폐쇄 BID들에 대한 분리된 그리드 위치들을 갖는 비트스트림의 구조를 도시하는 도면.

본 발명의 상세한 설명들을 논의하기 전에 MPEG-7 및 나머지 문맥에서 사용된 일부 정의들이 설명된다.

-데이터(Data):데이터는 저장, 코딩, 디스플레이, 전송, 매체 또는 기술에 상관없이 MPEG-7을 사용하여 설명될 청각적-시각적 정보이다.

-특징(Feature):특징은 어떤 사람에게 어떤 것을 알리는 데이터의 특유의 특성이다.

-설명자(Desriptor, D):설명자는 특징의 표현이다. 설명자는 특징 표현의 신택스(syntax) 및 의미론(semantics)을 정의한다.

-설명 스킴(Description Scheme, DS): 설명 스킴은 설명자들(D들) 및 설명 스킴들(DS들) 모두일 수 있는 그 구성성분들 사이의 관계들의 구조 및 의미론을 지정한다.

-설명 정의 언어(Description Definition Language, DDL): 설명 정의 언어는 새로운 설명 스킴들, 및 가능하게는 설명자들의 생성을 허용하는 언어이다. 이것은 또한 존재하는 설명 스킴들의 확장과 변경도 허용한다.

-D/DS 스키마(D/DS schema): DDL을 사용하는 D/DS의 정의는 XML-스키마 언어에 기초한다. 여기서, 그들 스스로가 다른 D들/DS들이 될 수 있는 특정 D/DS의 구성성분들 및 그들의 관계들이 정의된다.

-D/DS 인스턴스(D/DS instance): 어떤 D/DS의 인스턴트화(instantiation), 즉, 요소들에 따른 실제 데이터의 설명이 D/DS 스키마에서 정의된다.

-코딩된 설명(Coded Description):코딩된 설명은 압축 효율, 에러 회복력, 랜덤 액세스 등과 같은 모든 관련된 요구들로 인코딩된 설명이다.

-정적 DS(Static DS): 시작부터 지정되어 D들 또는 DS들의 알려진 사전에 포 함되는 DS.

-동적 DS(Dynamic DS): 사용가능한 정적 D들 및 DS들을 사용하여 동적으로 정의된 DS.

원칙적으로 XML 언어를 사용하는 텍스트로서 또는 2진 형식으로, D/DS 인스턴스를 표현하는 두 가지 방법들이 있다. [M6061]에서, 설명들을 위해 가능한 2진 형식이 설명된다. 이는 주로 2진 식별자들(BID들)로 구성되며, 이는 각 가능한 D 또는 DS에 대해 유일하고, 비트스트림 레벨에서의 해석(parsing)을 개선시키기 위해 계층적으로 구조화될 수 있다. 조직적인 형식에서의 단순한 DS의 예가 다음과 같이 주어진다:

</MediaTime>

<bin_number>4<bin_number>

</LinearColorQuantizationD>

<HistogramD HistogramNormFactor="1"

NumberHistogramBins="4">

</HistogramD>

</ColorHistogramD>

</GoFGoPHistogramD>

<SegmentDecomposition Gap="true" Overlap="false"

DecompositionType="spatio-temporal">

</MediaTime>

<ParametricObjectMotion Xorigin="0.000000"

Yorigin="0.000000"

ModelType="2">

</ParametricObjectMotion>

</MovingRegion>

</SegmentDecomposition>

</VideoSegment>

괄호들 "<...>" 사이의 요소들은 XML-태그들로 불린다. 일반적으로, 각 "개방 태그"에는 "폐쇄 태그"가 대응하고, 동일한 이름을 갖지만 리딩(leading) "/"를 시갖부분에 갖는다. 예로써, "<MediaTime>"에 대한 폐쇄 태그는 "</MediaTime>"이다. 태그들 및 따라서 그들에 의해 설명된 D들 또는 DS들의 의미는 DDL을 사용하는 D 또는 DS 스키마에 의해 정의된다. [M6061]에 설명된 2진 형식에서, 고유 2진 식별자(BID)는 특정 D들 및 DS들의 세트에 따른 미리 정의된 태그들의 세트의 각각의 이러한 태그로 할당된다. 보다 로버스트(robust)하게 2진 레벨 상에 해석을 만들기 위해서, BID들은 비트스트림에서 고유 비트들의 리딩 시퀀스를 포함할 수 있는데, 즉, BID들에서와 다른 장소들에서는 발생할 수 없다. 이러한 특정 BID들을 사용하고, 예를 들어, 만일 BID가 개방 또는 폐쇄 태그를 표현하면 마크하기 위하여 리딩 "0" 또는 "1"을 사용하여, 각 개방 및 폐쇄 태그를 각각의 BID에 의해 재위치시키는 것에 의해 텍스트 형식이 2진 형식으로 매핑될 수 있다. 다른 값들, 즉, 히스토그램 값들에서의 행동 파라메터들 또는 번호들에 대한 "0.0000"과 같은 실제 데이터는 일반적인 정수, 소수 또는 ASCII 텍스트 표현에 의해 표현될 수 있다. 업데이트와, 개방 및 폐쇄 태그들을 나타내는 BID들은 태그들 사이의 실제 데이터의 크기에 따라 비트스트림의 어디든 존재될 수 있다.

본 발명의 방법은 멀티미디어 데이터의 설명들을 표현하는 비트스트림에 대한 구조를 나타낸다. 이러한 구조는 D들 및 DS 들의 XML 태그들에 대응하는 개방 및 폐쇄 태그들이 위치될 수 있는 위치들의 일정한 그리드를 정의한다. 본 발명에서, 3개의 양상들이 구별될 수 있다:

-비트스트림에서 개방 및 폐쇄 BID들에 대한 위치 그리드의 지정

-개방 및 폐쇄 BID들에 대한 다른 위치 그리드들의 지정

-개방 및 대응하는 폐쇄 BID들의 고유 수 매김

본 발명의 관점에서의 양상들의 각각 및 제안된 솔루션들이 이하로 설명될 것이다.

각 지정된 설명자(D) 및 설명 스킴(DS)에 대한 2진 식별자(BID)는 D 또는 DS의 본래의 조직적인(XML) 개방 및 폐쇄 태그를 재위치시키는데 사용된다. 이러한 관점에서, BID들은 개방 및 폐쇄 BID들로 불린다. 특정 D 또는 DS의 개방 및 폐쇄 BID는 주로 개별적이고 예를 들면, 단지 그것이 개방 또는 폐쇄 BID일 때 리딩/트레일링(trailing) "0" 또는 "1"이 나타내는 것과 다르다.

본 발명의 제 1 양상에 의해, 비트스트림에 대한 특정 구조가 정의되고, 개방 또는 폐쇄 BID들은 단지 특정 위치들에서만 시작할 것이다. 이러한 구조 및 대응하는 그리드가 도 1에 도시된다. 여기서, 제 1 BID는 비트 번호 M(M>1)에서 시작할 것이고, 그로부터 BID들은 그로부터 비트스트림의 끝까지 각각의 다음 N번째 비트(N>1)에서 시작할 것이다. 예를 들면, M=1 이고 N=8이면, BID들은 항상 비트스트림의 새로운 바이트의 시작부에서 시작할 것이다. 파라메터들(M 및 N)은 각각의 지정에서 고정될 수 있고, 또는 그들은 그의 소위 헤더(1)에서 비트스트림의 초기 시작부에서 대안적으로 전송될 것이다. 후자의 접근법에 의해, 특정 응용 요구들을 가능하게 하는 파라메터들을 적용시키는 것이 가능하다.

개방 및 폐쇄 BID들에 대해 정의된 단지 하나의 위치 그리드가 있는 경우에, 이러한 위치들에서 BID들의 두 종류가 시작할 수 있다. 따라서, 개방 및 폐쇄 BID들은, 예를 들면, 해석자에서 그들을 구별하기 위해 각각 리딩 또는 트레일링 "0" 및 "1"에 의해 구별되어야 한다.

본 발명의 제 2 양상에 의해, 개방 BID들 및 폐쇄 BID들에 대한 다른 그리드들이 지정된다. 그리드들은 폐쇄 그리드 위치에서 개방 BID의 발생이 가능하지 않은 방법으로 정의되며, 그 반대도 성립한다. 따라서, 리딩 또는 트레일링 비트와 같은 것으로 그것을 마크하지 않고, 개방 및 폐쇄 태그를 위해 동일한 BID가 사용될 수 있다. 대응하는 구조 및 두 개의 각각의 그리드들이 도 2에 도시된다. 여기서, 제 1 개방 BID는 비트 번호 M(M>0)에서, 그리고 이후로는 이미 도 1의 경우에서와 같이, 각 다음의 N번째 비트(N>1)에서부터 시작할 수 있다. 그러나, 이러한 위치들에서 시작해야 하는 폐쇄 태그는 없다. 제 1 폐쇄 태그는 비트 번호 K(K>M)에서, 그리고 이후로는 각 다음의 L번째 비트(L>1)에서부터 시작할 수 있다. 파라메터들 M,K,N 및 L은 그리드들이 서로 간섭하지 않도록 선택될 것이다. 모든 파라메터들이 각각의 지정에서 다시 고정될 것이고, 또는 대안적으로 그 헤더(1)의 비트스트림의 매우 초기에서 전송될 것이다.

멀티미디어 설명들을 표현하는 비트스트림을 단지 해석하는 양상들 외에, 비트스트림의 완전한 대응하는 부분을 해석하는 것 없이, 모든 설명의 완전한 하위 설명들을 스킵할 수 있으면 해석자에 대해 매우 유용할 것이다. 이것은, 예를 들면, 스킵할 부분이, 설명을 소비하는 응용이 관심 없어하는 정보를 포함하며, 반면에 그것이 하위 설명 뒤에 또는 그 후의 정보에 매우 관심있어 할 수 있는 경우일 수 있다. 현재의 조직적인 형식에서, 완전한 하위 설명이 해석되어야 한다. 그러나, 본 발명의 제 3 양상에 의해, 대응하는 비트스트림을 완전히 해석하지 않고 모든 하위 설명을 스킵하는 것이 가능하다. 따라서, 고유 번호가 동일한 타입, 즉, 동일한 D 또는 DS에 대응하는 각각의 개방 BID에 할당된다. 동일한 고유 번호가 각각의 하위 설명의 대응하는 폐쇄 태그로 할당된다. 고유 번호들은 고정된 또는 가변의 길이 코드들로서 개방 및 폐쇄 BID로 부가되고, 비트스트림에 기록된다. 해석자가 이제 완전한 하위 설명을 스킵하길 원할 때, 비트스트림의 모든 대응하는 부분을 해석하는 것 대신, 단지 대응하는 고유 번호를 갖는 폐쇄 BID에 대하여 검색해야만 한다.

Claims

설명자들(D) 또는 설명 스킴들(DS)의 개방 및 폐쇄 태그들을 표현하는 개방 및 폐쇄 2진 식별자(BID)들이 사용되는, 2진 멀티미디어 설명들을 위한 비트스트림을 구조화하는 방법에 있어서,

상기 비트스트림 내의 적어도 하나의 정규 위치 그리드 상에 상기 2진 식별자(BID)들을 위치시키는 단계를 포함하는 것을 특징으로 하는, 비트스트림을 구조화하는 방법.
제 1 항에 따라 구조화된 비트스트림을 해석하는 방법에 있어서,

해석이 상기 위치 그리드에 의해 정의된 위치들 상의 상기 2진 식별자(BID)들을 체크함으로써 수행되는 것을 특징으로 하는, 비트스트림을 해석하는 방법.
제 1 항에 있어서,

단지 하나의 정규 위치 그리드가 폐쇄 2진 식별자(BID)들 뿐만 아니라 개방 2진 식별자(BID)들 모두에 제공되고, 개방 및 폐쇄 2진 식별자(BID)들은 해석할 때 상기 개방 및 폐쇄 2진 식별자(BID)들을 구분하기 위해 마크되는, 비트스트림을 구조화하는 방법.
제 1 항에 있어서,

상이한 위치 그리드들이 상기 개방 및 폐쇄 2진 식별자(BID)들에 제공되고, 이러한 상이한 위치 그리드들은 상기 상이한 그리드들이 서로 간섭하지 않는 방식으로 구조화되는, 비트스트림을 구조화하는 방법.
제 3 항에 있어서,

제 1의 2진 식별자(BID)는 상기 비트스트림의 비트 번호 M(M>0)에서 시작하고 다음의 2진 식별자(BID)들이 각각의 다음 N번째 비트(N>1)에서 시작하는, 비트스트림을 구조화하는 방법.
제 4 항에 있어서,

제 1의 개방 2진 식별자(BID)는 상기 비트스트림의 비트 번호 M에서 시작하고 다음의 개방 2진 식별자들이 각각의 다음 N번째 비트(N>1)에서 시작하며, 제 1의 폐쇄 2진 식별자(BID)는 비트 번호 K(K>M)에서 시작하고 다음의 폐쇄 2진 식별자들이 각각의 다음 L번째 비트(L>1)에서 시작하는, 비트스트림을 구조화하는 방법.
제 6 항에 있어서,

상기 파라메터들 M, K, N 및 L은 상기 상이한 그리드들이 서로 간섭하지 않도록 선택되는, 비트스트림을 구조화하는 방법.
제 5 항에 있어서,

상기 파라메터들 M 및 N은 각각 미리 정해진 고정된 파라메터들인, 비트스트림을 구조화하는 방법.
제 5 항에 있어서,

상기 파라메터들 M 및 N은 각각 적응적으로 선택가능하고 상기 비트스트림의 초기인, 헤더(1)에서 전송되는, 비트스트림을 구조화하는 방법.
제 1 항, 제 5 항, 제 6 항, 또는 제 7 항 중 어느 한 항에 있어서,

고유 번호가 동일한 타입의, 즉, 동일한 설명자(D) 또는 설명 스킴(DS)에 대응하는 각각의 개방 2진 식별자(BID)에 할당되고, 동일한 고유 번호가 대응하는 폐쇄 2진 식별자(BID)에 할당되는, 비트스트림을 구조화하는 방법.
제 10 항에 있어서,

상기 고유 번호들은 고정되거나 가변적인 길이의 코드들로서 상기 대응하는 개방 및 폐쇄 2진 식별자들(BID들)로 부가되고, 상기 비트스트림에 기록되는, 비트스트림을 구조화하는 방법.
제 10 항에 있어서,

완전한 하위 설명(sub-description)을 스킵하길 원하는 해석자는, 단지 상기 비트스트림에서 개방 및 폐쇄 2진 식별자(BID)들에 대해 대응하는 고유 번호들을 검색해야 하는, 비트스트림을 구조화하는 방법.
제 6 항 또는 제 7 항에 있어서,

상기 파라메터들 M, N, K 및 L은 각각 미리 정해진 고정된 파라메터들인, 비트스트림을 구조화하는 방법.
제 6 항 또는 제 7 항에 있어서,

상기 파라메터들 M, N, K 및 L은 각각 적응적으로 선택가능하고 상기 비트스트림의 초기인, 헤더(1)에서 전송되는, 비트스트림을 구조화하는 방법.