KR101516020B1 - 리치미디어 콘텐츠의 장면 구성장치 및 방법 - Google Patents

Abstract

본 발명은 다양한 종류의 단말에 LASeR (Lightweight Application Scene Representation) 콘텐츠를 서비스하는 경우, 적합한 장면을 구성하기 위한 리치미디어 서비스 제공장치 및 방법에 관한 것이다.

이를 위해 단말이 LASeR 콘텐츠를 수신하고, 단말의 성능을 확인하여, 상기 수신한 LASeR 콘텐츠에 포함된 정보를 이용하여 단말의 특정 조건 및 성능에 적합한 장면을 구성함을 특징으로 한다.

LASeR (Lightweight Application Scene Representation), SAF (Simple Aggregation Format), 액세스 유닛 (AU: Access Unit), 적응형 장면 구성 (Adaptive scene composition) 정보, MPEG-4

Description

리치미디어 콘텐츠의 장면 구성장치 및 방법{APPARATUS AND METHOD FOR COMPOSING SCENE USING RICH-MEDIA CONTENTS}

본 발명은 리치미디어 서비스를 수신하는 단말의 특정 조건 및 성능을 고려하여 장면을 구성하는 장치 및 방법에 관한 것이다.

통신 시장은 기존 기술들의 재조합 또는 통합을 통해 새로운 서비스의 생산을 지속적으로 요구 받고 있다. 대표적인 예로 통신 및 방송 기술의 결합은 텔레비전 (TV) 등과 같은 방송 단말뿐만 아니라 핸드폰, PDA(Personal Digital Assistant) 등의 휴대 단말기(이하 '단말'이라 칭함)를 통해 여러 가지 미디어가 혼합된 리치 미디어(Rich-media) 서비스를 제공하게 되었다.

상기 리치 미디어 서비스를 위한 국제 표준 규격은 LASeR (Lightweight Application Scene Representation)에서 정의하고 있다. 상기 LASeR은 장면 기술 (scene description), 비디오 (video), 오디오 (audio), 이미지 (image), 폰트 (font), 메타데이터 (metadata) 등의 다양한 요소를 이용하여 멀티미디어의 자유로운 표현 및 사용자와의 상호 작용이 가능한 서비스를 제공할 수 있다. 또한 상기 LASeR은 통합포맷 (Simple Aggregation Format: SAF)으로 다양한 미디어들의 요소 스트림 (Elementary Stream: ES)을 다중화 및 동기화하고 복잡도를 최소화할 수 있는 기술이다.

DVB-CBMS (Convergence of Broadcasting and Mobile Service)나 IPTV (Internet Protocol TV) 등은 망의 통합으로, 하나의 망에 여러 종류의 단말이 연결되는 네트워크 모델을 기반으로 지원되는 서비스의 예이다. 즉, 유/무선 통합으로 단일 사업자가 망을 운영하는 경우, 단말의 종류에 상관없이 동일한 서비스를 제공할 수 있다.
예컨대 단일의 방송 스트림은 다양한 디스플레이 크기와 성능을 가지는 단말들로 동시에 전송될 수 있다. 이 경우 스크린 사이즈가 큰 단말 (예를 들면, TV)부터 스크린 사이즈가 작은 단말까지 동일한 LASeR 콘텐츠에 따른 동일 화면을 제공한다.

일반적으로 휴대 단말은 화면 크기에 최적화된 장면 구성을 수신할 시, 방송 서비스를 위한 가용 자원을 확보하기 어려울 수 있다. 뿐만 아니라, 휴대 단말의 화면 크기에 비해 지나치게 복잡한 장면을 구성해야 할 수도 있다.
따라서 휴대 단일에서 리치미디어 콘텐츠를 적응적으로 수신하고, 상기 수신한 리치미디어 콘텐츠를 이용하여 적응적으로 장면을 구성하기 위한 구체적인 방안이 마련되어야 한다.
본 발명에서 제안된 실시 예에서는 방송 서비스를 위한 장면을 구성하는 장치 및 방법을 제공한다.
또한 본 발명에서 제안된 실시 예에서는 방송 서비스 콘텐츠를 이용하여 적응적으로 장면을 구성하는 장치 및 방법을 제공한다.
또한 본 발명에서 제안된 실시 예에서는 방송 서비스 콘텐츠를 적응적으로 필터링하여 장면을 구성하는 장치 및 방법을 제공한다.
또한 본 발명에서 제안된 실시 예에서는 리치미디어 (LASeR) 콘텐츠를 이용하여 적응적으로 장면을 구성하는 장치 및 방법을 제공한다.

또한 본 발명에서 제안된 실시 예에서는 단말의 특정 조건 및 단말의 성능을 고려하여 LASeR 장면을 구성하는 장치 및 방법을 제공한다.

본 발명의 실시 예에 따른 LASeR 서비스의 장면을 구성하는 방법은, 단말의 성능이나 특성에 관한 정보가 포함된 LASeR 콘텐츠를 송신기에서 생성하여 상기 단말로 전송하는 과정과, 상기 단말이 상기 LASeR 콘텐츠를 수신하고, 상기 단말의 특정 조건이나 특정 이벤트의 발생 및 단말의 성능(capability)을 나타내는 정보를 확인하여 이를 바탕으로, 상기 확인한 단말의 성능과 상기 LASeR 콘텐츠에 포함된 상기 정보를 비교하는 과정과, 상기 단말이 상기 비교 결과에 따라 상기 확인한 단말의 성능에 따른 장면 구성 데이터의 사용 여부를 결정하여, 상기 서비스될 장면을 구성하는 과정을 포함한다.

또한 본 발명의 실시 예에 따른 LASeR 서비스의 장면을 구성하는 장치는, 단말의 성능이나 특성에 관한 정보를 포함하는 상기 LASeR 콘텐츠를 생성하여 상기 단말로 전송하는 송신기와, 상기 LASeR 콘텐츠를 수신하고, 상기 단말의 특정 조건이나 특정 이벤트의 발생 및 단말의 성능(capability)과 상기 LASeR 콘텐츠에 포함된 상기 정보를 비교하여 상기 단말이 상기 비교 결과에 따라 상기 확인한 단말의 성능에 따른 장면 구성 데이터의 사용 여부를 결정하여, 상기 서비스될 장면을 구성하는 상기 단말 내의 수신기를 포함한다.
또한 본 발명의 실시 예에 따른 리치미디어 서비스를 위한 무선 단말의 사용자 인터페이스 방법은, 수신된 스트림의 헤더를 확인하는 과정과, 확인된 헤더에 적응 정보가 존재하면, 상기 수신된 스트림의 장면 구성요소를 이용하여 적응적으로 장면을 구성하는 과정과, 구성된 장면을 디스플레이 하는 과정을 포함함을 특징으로 한다.
본 발명의 실시 예에 따른 리치미디어 서비스를 위한 무선 단말은, 수신된 스트림의 디코딩하여 헤더를 확인하는 디코더와, 상기 디코더로부터 확인된 헤더의 적응 정보에 따라, 상기 수신된 스트림의 장면 구성요소를 이용하여 적응적으로 장면을 구성하는 렌더러와, 구성된 장면을 디스플레이 하는 디스플레이부를 포함함을 특징으로 한다.

본 발명의 실시 예에서는 디스플레이 크기, CPU 처리 능력, 메모리, 배터리 량, 입출력 장치 등과 같은 단말의 성능과 연관 있는 특정 조건이나 속성 및 특정 이벤트를 고려하여 가용 자원이 부족한 단말에서의 LASeR 서비스 지원 부담을 줄이고, 가용 자원이 풍부한 단말에서 보다 부유한 LASeR 서비스를 제공할 수 있다.

이하 본 발명의 바람직한 실시 예를 도면을 참조하여 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명에서는 리치미디어 엔진(Rich Media Engine, 이하 'RME'라 칭함)중 LASeR 엔진을 기반으로 하는 단말을 일 실시 예로 들어 설명한다. 한편, 그 외의 RME 기반의 단말은, 상기 LASeR 엔진을 기반으로 하는 단말의 일 실시 예를 동일하게 적용 가능하다. 다만 상기 단말에 적용되는 RME 혹은 시스템이 바뀌는 경우에는, 상기 LASeR 엔진 이외에 각 RME 혹은 시스템에서 고유하게 사용하는 명칭으로의 엔진 및 시스템 및 데이터를 구성하는 각 구성 요소의 전환이 필요하다.

이하, 본 발명은 LASeR 서비스에서 각 단말의 특정 조건이나 단말의 성능에 적합한 LASeR 데이터를 송수신하는 방법 및 장치를 제공한다. 특히, 본 발명은 LASeR 서비스를 수신하는 단말의 장면 표현 및 구성 기술에 대한 것으로서, 적응형 서비스의 제공과 관련하여 단말의 특성과 연관 있는 특정 조건이나 속성, 특정 이벤트의 발생 및 단말의 성능에 따라, LASeR 콘텐츠를 제공하는 방법 및 장치에 대하여 설명하기로 한다.

도 1은 본 발명에서 제안된 실시 예에 따라 LASeR 콘텐츠를 수신하는 단말의 동작을 보이고 있다.

도 1을 참조하면, 100 단계에서 단말은 LASeR 서비스 콘텐츠를 수신하고, 110 단계에서 수신된 LASeR 콘텐츠를 복호화 (Decoding)한다. 단말은 120 단계에서는 LASeR 명령어들을 확인하여, 명령어에 따라 실행한다. 이후 단말은 130 단계에서 LASeR 콘텐츠의 모든 이벤트들을 처리하고, 140 단계에서 상기 장면 구성 명령어를 수행하여 장면을 표시한다.

도 2는 본 발명에서 제안된 제 1 실시 예에 따라 LASeR 콘텐츠를 수신하는 단말의 동작을 보이고 있다.

여기서, LASeR 콘텐츠에 따른 데이터 스트림 (이하 ‘LASeR 데이터 스트림’이라 칭함)은, LASeR 서비스를 제공하는데 필요한 기본 요소 외에 복잡한 장면 구성 요소를 담고 있거나, 고사양의 단말에 적합한 장면 구성 요소 또는 기본 장면에 부가되는 데이터를 포함한다. 그 외에 LASeR 데이터 스트림은 각 단말의 특성에 따른 구성 요소를 포함할 수도 있다. 상기 특성에 따른 구성 요소는 LASeR 콘텐츠를 수신하는 단말의 특징 및 성능을 포함할 수 있다.
특히, 도 2는 LASeR 데이터 스트림이 가용 자원이 풍부한 단말을 위한 혹은 단말의 성능에 적응 가능한 장면 구성 데이터인 경우, 즉, 'adaptive scene component'임을 나타내는 정보를 포함하는 경우, 장면을 구성하는 단말의 동작을 도시한다.

도 2를 참조하면, 단말은 200 단계에서 LASeR 데이터 스트림을 수신하고, 210 단계에서 수신한 LASeR 데이터 스트림에 대한 복호화를 수행한다.

상기 단말은 220 단계에서 복호화된 LASeR 데이터 스트림이 헤더(Header)를 가지고 있는지를 확인한다. 상기 단말은 LASeR 데이터 스트림이 헤더를 가지고 있으면, 230 단계에서 헤더 정보를 확인한다.

상기 단말은 250 단계에서 확인한 헤더 정보에서 ‘adaptive scene component’임을 나타내는 정보 즉, 'AdaptiveSceneIndicator' 필드의 값이 ‘TRUE’인지를 판단한다. 상기 단말은 'AdaptiveSceneIndicator' 필드의 값이 'FALSE'라고 판단하면, 280 단계에서 LASeR 데이터 스트림을 화면에 디스플레이 한다.

상기 단말은 'AdaptiveSceneIndicator' 필드의 값이 'TRUE'라고 판단하면, 260 단계에서 단말의 성능이 'adaptive scene component'를 서비스 하기에 충분한지를 판단한다.
상기 단말은 성능이 'adaptive scene component'를 서비스하기에 충분하지 않다고 판단하면, 265 단계에서 LASeR 데이터 스트림을 폐기하도록(ON) 설정한다. 즉 LASeR 데이터 스트림을 복호하지 않고 폐기함으로써, LASeR 데이터 스트림을 화면에 디스플레이 하는 등의 LASeR 서비스를 제공하지 않는다. 상기 단말은 LASeR 데이터 스트림이 이미 복호되었더라도, 복호된 데이터를 메모리에서 삭제하는 등의 폐기 과정을 수행할 수 있다.

상기 단말은 성능이 'adaptive scene component'를 서비스하기에 충분하다고 판단하면, 290 단계에서 LASeR 데이터 스트림을 폐기하지 않도록(OFF) 설정한다.

상기 단말은 복호화된 LASeR 데이터 스트림이 헤더를 가지고 있지 않으면, 270 단계에서 LASeR 데이터 스트림의 폐기 여부에 대한 설정 정보를 확인한다.
상기 폐기에 대한 설정 정보가 설정(ON)되어 있으면, 상기 단말은 275 단계에서 LASeR 데이터 스트림을 폐기한다. 즉, 상기 단말은 복호한 LASeR 데이터 스트림을 메모리에 구성하거나 렌더링하지 않고 폐기한다.
하지만 상기 폐기에 대한 설정 정보가 설정되어 있지 않으면(OFF), 상기 단말은 280 단계에서 복호한 LASeR 데이터 스트림을 화면에 디스플레이 한다.

상술한 제 1 실시 예에서 단말이, 수신한 LASeR 데이터 스트림을 복호하고, 상기 복호한 LASeR 데이터 스트림의 헤더에 존재하는 'AdaptiveSceneIndicator' 필드의 값을 참조하여 복호된 LASeR 데이터 스트림을 디스플레이 하거나 복호된 LASeR 데이터 스트림을 처리하지 않는 일련의 동작들을 제외한 나머지 동작은, 단말에 따라 그 순서가 바뀌거나 생략될 수도 있다.
또한, 'AdaptiveSceneIndicator' 및 본 발명에서 새로이 정의하는 필드 및 속성을 이용하여 본 발명과 동일한 서비스를 제공할 수 있다면, 이는 단말의 수행절차에 수정이나 변경이 있다고 하더라도 본 발명에 속하는 것임은 자명하다.

하기에서는 LASeR 데이터 스트림의 헤더 (LASeR Header)에 새로이 추가된 필드를 통해 'Adaptive scene component'임을 알려주는 정보에 대하여 상세히 설명할 것이다. 하지만 'Adaptive scene component'임을 알려주기 위한 신규 필드 및 속성 등은 헤더 타입의 데이터뿐만 아니라, 각 요소 및 필드, 유닛, 페이로드 등의 데이터의 필드 및 속성을 사용하여 정의될 수도 있다.

하기 <표 1a>, <표 1b>의 'AdaptiveSceneIndicator' 속성을 'true' 혹은 'false'의 불린(Boolean) 값으로 표현하였으나, 하기 <표 2>와 같이, 1,2,3,4 혹은 basic, enhanced 등의 레벨(level), 혹은 다른 방법으로도 표현이 가능하다.

상기 속성의 값은 <표 1a>, <표 1b> 및 <표 2>의 방법에 국한되지 않고, 다양한 방법에 의해 표현될 수 있음은 물론이다. 다만 불린(Boolean)이 아닌 다른 값으로 표현할 경우, 해당 속성의 특정 값은, 반드시 'adaptive scene component'가 아닌 'base scene component'임을 표현할 수 있어야 한다.
예를 들어, ' AdaptiveSceneIndicator' 의 속성 값을 정수 값으로 표현할 시, '0'이 'base scene component'를 의미함을 가정할 수 있다. 이 경우 수신한 LASeR 데이터 스트림을 구성하는 헤더에서 해당 필드의 속성 값이 '0'이면, 'AdaptiveSceneIndicator = "False"'임을 의미하므로, 화면에 수신한 LASeR 데이터 스트림을 디스플레이 한다.

다음으로 단말의 특성에 적응 가능한 LASeR 데이터 스트림의 적응(adaptation) 기준(criteria) 및 그에 대한 값을 알려주기 위한 방법을 설명한다.

하기 <표 1a> 및 <표 1b>은 'LASeR 데이터 스트림의 적응(adaptation) 기준(criteria)을 나타내기 위한 'AdaptationType' 속성의 구조를 기술한 예를 보이고 있다. 하기 <표 1a> 및 <표 1b>에서 보이고 있는 예는 속성 및 요소를 정의하기 위해 스키마(schema) 구문(syntax)을 사용하였다.

여기서, 데이터의 구조를 정의해 놓은 일종의 모델링 문서를 의미하는 스키마는 'XML Schema'문법을 따르고 있다. 상기 스키마는 스키마의 요소들을 사용하여 정의할 수 있다. 하지만 속성 및 요소의 구조를 정의하는 방법은 스키마를 이용하는 방법 외에 다양한 방법이 있을 수 있다. 따라서 반드시 스키마를 이용한 방법이 아니라 해도 동일한 의미를 담고 있다면 본 발명에 속하는 것이라 할 수 있다. 또한 예를 들어 정의한 각 요소 및 속성의 값은 속성의 값을 하나의 표현 방법으로 제한하도록 기술할 수도 있고, 기존의 타입을 확장하여 정의할 수도 있다.

상기 <표 1a>와 같이 'AdaptationType' 속성의 값은 하나 이상의 다양한 방법을 이용하여 표현할 수 있다.

또한, 'AdaptationType' 속성의 값은 하나의 표현 방법으로 제한하도록 기술할 수도 있다. 예컨대 상기 <표 1a>와 <표 1b>에서는 'AdaptationType' 속성의 값을 'unsignedInt'로 기술하였다. 하지만 'string', 'boolean', 'decimal', 'precisionDecimal', 'float', 'double', 'duration', 'dateTime', 'time', 'date', 'gYearMonth', 'gYear', 'gMonthDay', 'gDay', 'gMonth', 'hexBinary', 'base64Binary', 'anyURI', 'QName', 'NOTATION', 'normalizedString', 'token', 'language', 'NMTOKEN', 'NMTOKENS', 'Name', 'NCName', 'ID', 'IDREF', 'IDREFS', 'ENTITY', 'ENTITIES', 'integer', 'nonPositiveInteger', 'negativeInteger', 'long', 'int', 'short', 'byte', 'nonNegativeInteger', 'unsignedLong', 'unsignedInt', 'unsignedShort', 'unsignedByte', 'positiveInteger', 'yearMonthDuration', 열거형 (enumeration) 등의 정수형, 문자열, 소수형, 고정 소수형, 부정 소수형, 리스트 형 등 해당 리치미디어 컨텐츠에서 활용 가능한 다양한 데이터 타입으로 지정할 수 있다. 이는 후술될 모든 예제에 대해 마찬가지로 적용된다.

다음 <표 2>는 'AdaptationType'의 속성 값 즉, 단말의 성능에 적응 가능한 LASeR 데이터 스트림의 적응(adaptation) 기준(criteria)을 나타낸 것이다. 'AdaptationType'의 속성 값은 상기 <표 1a> 및 상기 <표 1b>에서 설명한 바와 같이, 속성 값의 타입에 따라, 하기 <표 2>와 같이 표현할 수도 있고, 문자열로 표현할 수도 있다. 뿐만 아니라 단말 및 서비스 내/외부의 정보를 참조할 수도 있다. 'AdaptationType'은 특정 조건이나 단말의 상태나 상황 변화에 관련된 다양한 factor들이 추가될 수 있다.

예를 들어, 연산과 관련한 'multiply', 'div', 'sub', 'add' 등의 factor들과, 단말의 메모리 관련한 'GraphicPoints', 'FontDataSize', 'TextDataSize', 'ImageProcessingMemory', 'VideoProcessingMemory' 등의 factor들이 더 추가될 수 있다.

여기서, 상기 'GraphicPoints'는, 그래픽 요소를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보로, 그래픽 요소를 구성하는 점, 선, 메쉬 (mesh), 폴리곤 (polygon) 등의 정보를 포함할 수도 있고, 각기 그래픽 요소의 특성에 따라 필요한 정보 각각을 'AdaptiveType'으로 사용할 수도 있다

상기 'FontDataSize'는, 해당 폰트를 이용하여 데이터를 구성하기 위한 메모리의 양 등의 정보를 나타내기 위한 정보이다. 이는 폰트 파일의 사이즈 등의 정보를 나타낼 수 있다. 폰트 파일을 로드(load)하기 위한 정보 등, 폰트 파일을 이용하여 데이터를 구성하기 위하여 필요한 메모리 요구량을 더 포함할 수도 있다. 또한 해당 정보 각각을 'AdaptiveType'으로 사용할 수도 있다

상기 'TextDataSize'는, 텍스트 데이터를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보이다. 이는 텍스트 데이터의 사이즈 등의 정보를 나타낼 수 있다. 텍스트 데이터를 구성하기 위하여 필요한 메모리 요구량을 더 포함할 수도 있다. 또한 해당 정보 각각을 'AdaptiveType'으로 사용할 수도 있다

상기 'ImageProcessingMemory'는, 이미지 데이터를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보이다. 이는 이미지 데이터를 구성하기 위하여 필요한 메모리 요구량 더 있을 경우, 해당 정보들 각각을 나타내는 속성을 더 정의할 수도 있고, 각 정보들을 포함하는 값으로 표현할 수도 있다.

예를 들어, 이미지 파일을 처리하는데 있어서, 입력영상버퍼, 디코딩을 위한 변수들, 그리고 출력영상버퍼 등을 위한 메모리가 요구된다고 하면, 최소한 이미지 파일의 크기보다 큰 입력영상버퍼의 크기, 영상의 가로길이와 세로길이의 곱에 컬러 포맷에 따른 1 픽셀의 데이터를 표현되는데 필요한 바이트(byte)수에, 해당하는 출력영상버퍼 등을 위한 메모리 및 이미지 디코딩을 위한 변수들을 위한 메모리가 요구된다.
따라서, 상기 'ImageProcessingMemory'는, 입력영상버퍼의 크기를 확인하기 위한 이미지 파일의 크기, 출력영상버퍼의 크기를 확인하기 위한 영상의 가로 길이 및 세로 길이 그리고 컬러 포맷 정보 및 코덱 정보, 이미지 디코딩을 위한 변수들을 위한 메모리 등의 정보를 포함한다. 또한 상기 정보 각각을 'AdaptiveType'으로 사용할 수도 있다.

상기 'VideoProcessingMemory'는, 비디오 데이터를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보이다. 이는 비디오 데이터 구성하기 위하여 필요한 메모리 요구량이 더 있을 경우, 해당 정보들 각각을 나타내는 속성을 더 정의할 수도 있고, 각 정보들을 포함하는 값으로 표현할 수도 있다.
예를 들어, 비디오 파일을 처리하는데 있어서, 입력영상버퍼, 디코딩을 위한 변수들, 출력영상버퍼, 디코딩된 영상 버퍼(decoded picture buffer) 등을 위한 메모리가 요구된다고 하면, 최소한 비디오 신호에 있어 한 프레임의 크기보다는 큰 입력영상버퍼의 크기, 영상의 가로 길이와 세로 길이의 곱에 컬러 포맷에 따른 1 픽셀의 데이터가 표현되는데 필요한 바이트(byte)수에 해당하는 출력영상버퍼 등을 위한 메모리 및 디코딩된 영상 버퍼 그리고 디코딩을 위한 변수들을 위한 메모리가 요구될 수 있다.

상기 'VideoProcessingMemory'는, 입력영상버퍼의 크기를 확인하기 위한 이미지 파일의 크기, 출력영상버퍼 및 디코딩된 영상버퍼의 크기를 확인하기 위한 영상의 가로 길이 및 세로 길이 그리고 컬러 포맷 정보 및 코덱 정보, 디코딩을 위한 변수들을 위한 메모리 등의 정보를 포함한다. 또한 상기 정보 각각을 'AdaptiveType'으로 사용할 수도 있다.

그 외 수신 단말의 성능 및 서비스 상황과 관련 있는 다양한 요소들을 더 사용하여 계산할 수 있다. 복잡도(complexity)를 계산하는데 사용 가능한 요소는 연산량 정보 외에 연산과 관련한 특성들이 더 사용될 수 있다. 뿐만 아니라 이미지, 폰트, 비디오, 오디오 등 미디어에 관한 정보 및 텍스트, 그래픽(graphics), 상호 작용과 관련된 정보 등이 더 사용될 수 있으며, 상기 언급한 요소 외에도 컨텐츠를 구성하는 다양한 요소에 관한 정보들이 포함될 수 있다.

이미지, 폰트, 비디오, 오디오 등 미디어에 관한 정보 및 텍스트, 그래픽(graphics), 상호작용 관련한 정보는, 각 데이터의 크기, 재생 시간, 프레임 율과 같이 초당 처리되어야 하는 데이터 양, 컬러 테이블, 업데이트 비율 등 데이터 자체에 대한 정보가 포함될 수 있다.

데이터를 처리하기 위하여 단말에 요구되는 해상도, 화면 크기, 서비스 장면 내에서의 활용 빈도, 데이터 처리에 드는 단말 자원에 대한 점유율, 메모리 크기, 전력 소모량, 데이터 전송과 관련하여 요구되는 자원 정보, 서비스 제공을 위하여 요구되는 입력 및 출력 관련 단말의 성능 및 구성 등이 더 포함될 수 있다.

다음의 <표 3>은 'LASeR 데이터 스트림의 적응(adaptation) 기준(criteria) 값을 표현하는 'AdaptationTypeValue' 속성의 구조를 기술한 스키마(schema) 구문(syntax)을 정의한 예이다. 예를 들어 'LASeR 데이터의 적응(adaptation) 기준(criteria) 값이라는 것은, 디스플레이 사이즈가 적응 기준이 된다고 했을 때, 해당 장면 세그먼트는 'DisplaySize'가 'LARGE'로 분류되는 단말들을 위한 장면 정보를 담고 있을 경우, 'AdaptationTypeValue="LARGE"' 로 표현할 수 있는 값을 뜻한다.

상기 'AdaptationTypeValue' 속성의 값은, 상기 <표 1a>와 같이 하나 이상의 다양한 방법을 이용하여 표현할 수 있다. 즉, 각 'AdaptationType'에 따라 'AdaptationTypeVale'의 기술 방법이 다르다면, 각 'AdaptationType'에 따른 각각의 'AdaptationTypeVale'를 정의하여 기술할 수도 있다.
상기 'AdaptationType' 및 'AdaptationTypeVale'는 리스트 타입의 속성값을 이용하여, 여러 가지 적응 기준을 사용하고 있음을 나타낼 수도 있다. 예를 들어 해당 장면의 적응 기준으로 단말의 화면 크기, 단말의 메모리 등 여러 가지가 사용된다면, 리스트로 하나씩 나열하여 표현할 수 있다. 또한, 이들 적응 기준을 알려주는 다른 정보를 참조하여 표시하도록 하는 방법도 동일한 의미를 나타낸다고 할 수 있을 것이다.

'AdaptationTypeValue' 속성 값은 상기 <표 3>에서는 'unsignedInt'로 기술하였다. 하지만 상기 AdaptationType의 정보를 표현하는 방법에 따라 값은, 'string', 'boolean', 'decimal', 'precisionDecimal', 'float', 'double', 'duration', 'dateTime', 'time', 'date', 'gYearMonth', 'gYear', 'gMonthDay', 'gDay', 'gMonth', 'hexBinary', 'base64Binary', 'anyURI', 'QName', 'NOTATION', 'normalizedString', 'token', 'language', 'NMTOKEN', 'NMTOKENS', 'Name', 'NCName', 'ID', 'IDREF', 'IDREFS', 'ENTITY', 'ENTITIES', 'integer', 'nonPositiveInteger', 'negativeInteger', 'long', 'int', 'short', 'byte', 'nonNegativeInteger', 'unsignedLong', 'unsignedInt', 'unsignedShort', 'unsignedByte', 'positiveInteger', 'yearMonthDuration', 열거형(enumeration) 등의 정수형, 문자열, 소수형, 고정 소수형, 부정 소수형, 리스트 형 등 해당 리치미디어 컨텐츠에서 활용 가능한 다양한 데이터 타입으로 지정할 수 있다. 이는 후술될 모든 예제에 마찬가지로 적용된다.

다음의 <표 4a> 및 <표 4b>은 'AdapatationSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'의 구조를 기술한 스키마(schema)의 구문(syntax)을 정의한 예이다.

<표 4b>는 'AdapatationType'과 'AdaptationTypeValue'를 하나의 필드에 함께 표현한 실시 예이다. 예를 들어 하나의 필드에 함께 표현할 경우, <LASeRHeader....................AdapatationType_Value="DisplaySize LARGE"/>등과 같이 표현할 수도 있다.

'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 사용하여 <표 5a> 및 <표 5b>와 같이 표현할 수 있다.

<표 5a>의 예는, 디스플레이 사이즈(<표 2>를 참조하면, 0X01은 디스플레이 사이즈를 나타내는 값임을 알 수 있다.)가 LARGE로 분류되는 단말들을 위한 데이터임을 나타낸다. 이때, 디스플레이 사이즈가 'LARGE'로 분류되지 않는 단말들은 상기 <표 5a>의 LASeR Header를 Header로 가지는 데이터를 디코딩 또는 렌더링하지 않고 폐기할 수 있다. 상기 예에서는 디스플레이 사이즈를 SMALL, LARGE와 같은 심볼릭 (symbolic)한 값으로 설정하였다. 하지만 'AdaptationTypeValue'는 디스플레이 사이즈를 표현하는 어떤 값으로도 설정 가능하다.

상기 <표 5b>의 예는, 상기 <표 5a>의 예와 동일한 의미를 가지며, 동일한 동작을 수행하는 정보를 다른 방법으로 표현한 것으로, 'AdaptationType' 필드의 속성 값으로 사용될 수 있는 값들, 예를 들어 'DisplaySize', 'CPU status', 'Memory status', 'Battery Size' 등을 새로운 속성으로 'AdaptationType'을 대신하는 새로운 속성 필드로 정의하고, 'AdaptationTypeValue'의 값을 해당 속성 필드의 값으로 하여 표현한 것이다. 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'는 각기 독립적으로 혹은 복합적으로 사용될 수 있다.

상기 신규 속성들이 의미하는 적응 기준을 제시하고 참조할 수 있는 신규 요소 및 속성을 정의하여, 이를 참조하는 방법을 제시할 수도 있다. 예를 들어 레이저 헤더 내부 또는 특정 위치를 참조하여, 적응 기준을 설명하는 적응 기준 리스트를 제공하고, 이를 참조할 수 있는 방법을 신규 속성으로 정의하여 레이저 헤더에서 필터링을 위한 방법으로 사용하는 것이다. 이들 속성 및 필드의 표현에 있어 변형이나 수정이 있다 하더라도, 적응형 데이터 표현을 위한 필터링을 수행하기 위한 수단으로 사용되는 경우, 이는 제안된 범주에 속하는 것임은 자명하다고 할 것이다.

다음은 다른 실시 예로써, LASeR 명령어 단위로 구분되는 장면의 단위로 'Adaptation' 정보가 다를 경우, 즉, 명령어 단위로 'Adaptation' 정보가 제공되는 경우를 위하여, 'adaptive scene component'임을 나타내는 정보 즉, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 표현하는 방법을 설명한다.

하기 <표 6>의 예를 보면, NewScene, Insert등의 LASeR 명령어 장면이 구분된다. 그러므로, 하기 <표 6>의 예는 4개의 장면 명령어로 이루어진 컨텐츠이다.

하기 <표 7>은 명령어 단위로 Adaptation 정보가 제공되는 경우를 위하여, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 LASeR 명령어의 새로운 속성으로 정의하여 표현하는 방법을 나타낸 것이다.

상기 <표 7>을 참조하면, "Dictionary"를 아이디 속성 값으로 가지는 요소에 새로운 장면 구성 요소인 'polyline'을 삽입하기 위한 'Insert' 명령어의 장면은 디스플레이 사이즈 MEDIUM으로 분류되는 단말들을 위한 데이터임을 나타낸다. 그리고, "Shape4"를 아이디 속성 값으로 가지는 요소에 새로운 속성인 'points'을 삽입하기 위한 'Insert' 명령어의 장면은 디스플레이 사이즈 LARGE로 분류되는 단말들을 위한 데이터임을 나타낸다.
상기 <표 7>과 같은 데이터를 수신한 단말은 적응 기준 및 그에 대한 값에 따른 단말 자신과의 특성 및 조건에 따라, 해당 명령어를 수행하거나, 다음 장면을 수신할 때까지 디코딩하거나, 장면을 구성하거나, 렌더링하지 않고 폐기하는 등의 필터링을 수행할 수 있다.

하기 <표 8a>은 LASeR 명령어 앞에 새로운 시그널링 필드를 추가하여, 세그먼트 단위로 Adaptation 정보가 제공되는 경우를 위하여, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 표현하는 방법을 나타낸 것이다.

상기 <표 8a>에서 새로이 추가한 'Adaptation' 필드는, 명령어의 헤더와 같은 개념으로 생각할 수 있다. 상기 예제와 같이, 단말의 성능에 적응 가능한 LASeR 데이터 스트림의 적응 기준 및 그에 대한 값을 알려주기 위한 필드 및 속성은 Adaptation 관련 정보를 제공하는 데이터의 단위에 따라 그 위치를 달리할 수 있다.

예를 들어, LASeR File 단위로 Adaptation 정보를 제공할 경우, LASeR 헤더에 위치할 수 있고, 장면 명령어 단위로 Adaptation 정보를 제공할 경우, 상기 <표 7>과 같이 LASeR 명령어의 속성으로 표현될 수도 있다. 뿐만 아니라 상기 <표 8a>와 같이 장면을 위한 새로운 헤더 역할을 수행할 수 있는 필드를 추가하여 표현할 수도 있으며, 장면 구성 요소 내의 새로운 요소나, 장면 구성 요소 각각을 위한 속성으로도 표현될 수 있다.
따라서, LASeR 데이터 스트림의 적응 기준 및 그에 대한 값을 알려주기 위한 필드 및 속성을 수신한 단말은 자신이 처리할 수 없는 데이터를 수신하였을 경우, 해당 필드 및 속성과 관련된 데이터를 디코딩하지 않고 폐기하거나, 이미 디코딩된 데이터라 할지라도 렌더링하지 않고 메모리에서 삭제하는 등의 폐기 과정을 수행하여 데이터를 필터링한다.

또 다른 실시 예로써, 장면을 표현하기 위한 데이터들의 집합을 필터링의 기준으로 하여 필터링 혹은 스위칭 하는 방법에 대해 설명한다. 상기 장면을 표현하기 위한 데이터들의 집합은 장면 요소 (segment) 등으로 표현할 수도 있다. 이 때, 장면을 표현하기 위한 데이터들의 집합이 헤더 정보를 가진다고 가정하여 설명한다.

먼저, 일정 동안의 장면을 표현하기 위한 데이터들의 집합이 여러 개의 스트림으로 나누어져 전달되는 경우, 즉, 동일한 시간 동안의 장면을 표현하기 위한 데이터들의 집합이 여러 개의 스트림으로 나누어져 전달되어, 그 중 단말 자신의 성능 및 상황에 맞는 스트림만을 골라 장면을 구성하는 데이터로 사용하는 방법에 대해 설명하고자 한다.
단말은 데이터를 수신하여, 헤더 정보를 확인하여, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 정보를 확인하고, 그에 따른 단말의 상태를 확인하여, 자신의 성능 및 상황에 적합한 데이터들의 집합을 포함하는 스트림만을 필터링하여 서비스를 제공할 수 있다. 이 때, 서비스를 제공하는 과정에 수행되어야 하는 디코딩 과정 혹은 장면 구성 과정을 거치지 않고 데이터를 폐기하는 등의 필터링 등이 수행될 수 있다.

또 다른 방법은, 일정 동안의 장면을 표현하기 위한 데이터들의 집합이 순차적인 데이터로 구성되어 하나의 스트림으로 전달되는 경우, 헤더 정보를 확인하여, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 정보를 확인하고, 그에 따른 단말의 상태를 확인하여, 자신의 성능 및 상황에 적합한 데이터들의 집합만을 필터링을 통하여 서비스를 제공할 수 있다.
순차적인 데이터로 구성되는 경우, 동일한 일정 동안의 장면을 표현하기 위한 정보들의 장면 구성 시간 정보는 같은 값을 가질 수 있으며, 이 정보를 활용하여 필터링 및 스위칭에 사용할 수도 있다. 또한, 반드시 위에서 설명한 방법이 아니라 해도, 적응 관련 정보를 이용하여 장면을 표현하기 위한 데이터들의 집합을 필터링의 기준으로 하여 필터링 하는 방법이 가능하다.

LASeR 콘텐츠는 여러 개의 논리적인 미디어 스트림을 하나의 물리적인 스트림으로 다중화하여 서비스할 수 있다. 이때, 각 스트림은 접근 단위(Access Unit) 단위로 처리될 수 있다. 이를 위한 포맷이 통합 포맷(SAF)으로, LASeR 데이터 스트림 (Elementary Stream: ES)을 다중화 및 동기화하기 위해 개발된 기술이다. 상기 접근 단위는 LASeR 콘텐츠 (혹은 스트림)를 다중화하여 서비스하는 경우, 같은 시간에 처리되어야 하는 데이터의 기본 단위이다.

또 다른 실시 예로써, 단위 시간 내에 표현되어야 하는 데이터들을 나타내는 최소 단위인 접근 단위를 이용한 필터링 혹은 스위칭 하는 방법에 대해 설명한다. 하나의 접근 단위에는 여러 개의 명령어가 포함 될 수 있다. 하기 <표 8b>에서는 접근 단위를 표현하기 위한 새로운 필드 혹은 요소를 제안한다.

상기 <표 8b>의 'SceneUnit'에는 하나의 접근 단위에 포함되는 NewScene, Refresh 등의 명령어들이 포함될 수 있다. 또한, 'SceneUnit'은 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 등의 정보를 속성으로 가질 수 있다.

또 다른 사용법으로 SceneUnit은 다른 명령어들과 동일한 레벨로 Adaptation을 위한 새로운 명령어로 정의할 수 있다. 이때, SceneUnit은 하나의 명령어이자 동시에 동일한 적응 기준을 가지는 장면들을 포함하는 것이다. 예를 들어 하기 <표 8c>와 같이 사용할 수 있다.

상기 <표 8c>에서 'adaptationConstraint' 속성은 'AdapatationType', 'AdaptationTypeValue'와 동일한 의미를 가지는 것으로, 'AdapatationType', 'AdaptationTypeValue' 정보를 참조할 수 있는 기능을 한다. 상기 'AdapatationType', 'AdaptationTypeValue'는 리스트 타입으로 여러 가지의 적응 기준을 하나의 SceneUnit을 위하여 제공할 수 있다

이때 단말은 데이터를 수신하여, 'SceneUnit'의 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 정보를 확인하고, 그에 따른 단말의 상태를 확인하여, 자신의 성능 및 상황에 적합한 데이터만을 필터링을 통하여 서비스를 제공할 수 있다.
앞서 설명한 바와 같이 서비스를 제공하는 과정에 수행되어야 하는 디코딩 과정 혹은 장면 구성 과정을 거치지 않고 데이터를 폐기하는 등의 필터링 등이 수행될 수 있다. 하지만 반드시 위에서 설명한 방법이 아니라 해도, 정의한 적응 관련 정보를 이용하여 단위 시간 내에 표현되어야 하는 데이터들을 나타내는 최소 단위인 접근 단위를 이용하여 필터링 하는 방법이 가능하다.

도 3은 본 발명에 따라 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 서비스하는 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 도면이다.

도 3을 참조하면, 단말은 300 단계에서 LASeR 데이터 스트림을 수신한다. 상기 단말은 310 단계에서 수신된 LASeR 데이터 스트림에서 각 AU의 헤더를 확인한다. 상기 단말은 320 단계에서 장면을 구성하는 데이터들에 대한 복호화를 수행한다. 상기 단말은 330 단계에서 복호화된 데이터들을 장면 구성 시간에 맞추어 디스플레이 한다.

도 4는 본 발명의 제 2 실시 예에 따라 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 서비스하는 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 도면이다.

도 4에서는 LASeR 데이터 스트림이 기본적으로 필요한 요소 외에 복잡하거나 많은 장면 구성 요소를 담고 있거나, 기본 장면에 부가되는 데이터인 경우, 혹은 가용 자원이 풍부한 단말을 위한 장면 구성 데이터인 경우, 즉, adaptive scene component임을 나타내는 정보를 이용하여 장면을 구성하는 단말의 동작을 도시한다.
이때 LASeR 데이터 스트림은 각 단말의 특성에 따른 구성 요소를 담고 있는 데이터 스트림도 포함한다. 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 서비스하는 종래의 LASeR 데이터 스트림의 경우, 헤더 정보를 담고 있는 AU와 실제 장면을 구성하는 데이터를 담고 있는 AU는 별개로 구성된다.

도 4를 참조하면, 단말은 400 단계에서 LASeR 데이터 스트림을 수신하고, 410 단계에서 수신한 LASeR 데이터 스트림에서 AU 헤더를 확인한다. 상기 단말은 425 단계에서 수신한 AU가 헤더 정보를 담고 있는 AU인지 확인한다.

상기 단말은 수신한 AU가 헤더정보를 담고 있으면, 430단계에서 AU의 설정 정보를 확인한다. 상기 설정정보는 LASeR 데이터 스트림의 헤더 정보를 포함한다.

상기 단말은 445 단계에서 'AdaptiveSceneIndicator' 필드의 값을 확인한다. 만약 상기 'AdaptiveSceneIndicator' 필드의 값이 FALSE이면, 상기 단말은 440 단계에서 LASeR 데이터 스트림을 폐기하지 않도록 설정하고, 이후 수신될 AU에 대한 복호화를 수행한다. 상기 AU는 상기 수신한 헤더 정보의 실제 데이터 즉, 수신되는 실제 장면을 구성하기 위한 데이터를 담고 있다. 이때, 통합 포맷의 각 AU들은 각 AU의 특징 및 역할에 따라 각자 ISO/IEC 14496-20에 정해진 동작을 수행한다.

하지만 'AdaptiveSceneIndicator' 필드의 값이 TRUE이면, 상기 단말은 450 단계에서 단말의 성능을 확인한다. 상기 단말의 성능이 'adaptive scene component'를 서비스하기에 충분하지 않으면, 상기 단말은 460 단계에서 이후 수신하는 AU를 더 이상 처리하지 않는다. 즉 수신한 AU에 대한 복호화 및 메모리에 기록하거나 랜더링 하지 않고 폐기한다. 상기 폐기되는 AU는 수신한 헤더 정보의 실제 데이터 즉, 수신되는 실제 장면을 구성하기 위한 데이터를 담고 있다. 한편, 단말의 성능이 'adaptive scene component'를 서비스하기에 충분하면, 상기 단말은 440 단계에서 LASeR 데이터 스트림을 폐기하지 않는다.

상기 단말은 수신한 AU가 헤더 정보를 담고 있는 AU가 아니면, 이후 헤더 정보를 담고 있는 새로운 AU가 수신되기 전까지, 465 단계로 진행하여 헤더 정보를 담고 있는 AU의 실제 장면을 구성할 데이터를 담고 있는 AU에 대한 폐기 여부를 확인한다.

상기 단말은 465 단계에서 수신된 AU가 폐기할 데이터가 아니면, 설정된 정보를 확인하여, 480 단계로 진행한다. 상기 단말은 480 단계에서 수신된 데이터에 대한 복호화를 수행하고, 490 단계에서 복호한 데이터를 화면에 디스플레이 한다.
상기 단말은 수신된 AU가 폐기할 데이터이면, 470 단계에서 수신한 AU를 복호화 및 메모리에 구성하거나, 렌더링하지 않고 수신된 LASeR 데이터 스트림을 폐기한다.

상기 제 2 실시 예에서 단말의 스트림을 수신하여(400), AU의 헤더를 확인하고(410), 설정 정보를 확인하여(430), 'AdaptiveSceneIndicator' 필드의 값을 바탕으로(445), 이후 단말이 수신하는 헤더 정보를 담고 있는 AU의 실제 장면을 구성할 데이터를 담고 있는 AU를 복호하여(480) 화면에 디스플레이 하거나(490), 복호화 및 이후의 모든 과정을 거치지 않고 폐기하는 일련의 과정을 제외한 나머지 과정들은 단말에 따라 순서가 바뀔 수도 있고, 생략될 수도 있다. 또한 'AdaptiveSceneIndicator' 및 새로이 정의하는 필드 및 속성을 이용하여, 제안된 바와 동일한 서비스를 제공할 수 있다면, 이는 단말의 수행 절차에 수정이나 변경이 있다 하여도 당업자에 의해 자명한 정도의 것이라 할 것이다.

앞에서 제안된 바와 같이 LASeR 데이터에 상응한 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 제공하는 경우, LASeR 헤더를 헤더 타입의 데이터를 전송하기 위한 통합 포맷(SAF)의 AU로 전송할 수 있다. 이때, 'AdaptiveSceneIndicator' 및 새로이 정의하는 필드 및 속성을 하기 <표 9>와 같이 표현할 수 있다.

하기 <표 10b>는 제안된 또 다른 실시 예로, 하기 <표 10a>와 같이 현재 통합 포맷(SAF)의 패킷 헤더(Packet Header)의 presenceOfDTS field는 0으로 presetting되어 사용되지 않으므로, 해당 필드의 1 비트를 AdaptiveSceneFlag를 위하여 할당하는 방법을 나타낸 것이다. 하기 <표 10b>의 'AdaptiveSceneFlag'가 참인 통합 포맷(SAF) 패킷을 수신한 단말은 AU를 확인하기 전에 패킷 헤더 확인을 통해서 데이터 스트림이 각 단말의 특성에 따른 구성 요소를 담고 있는 적응형 데이터 서비스를 위한 데이터를 포함하고 있음을 알 수 있다.

다음은 제안된 또 다른 실시 예로써, 통합포맷(SAF)의 새로운 AU 타입으로 단말의 특성에 적응 가능한 LASeR 데이터 스트림의 적응 기준 및 그에 대한 값을 알려주기 위한 'SAF_AdaptiveScene_Unit'을 정의한 것이다. 'SAF_Adaptive_Unit'은 이후 수신될 통합포맷(SAF) AU의 적응 기준 및 그에 대한 값을 알려줄 수 있다.
하기 <표 11>은 'SAF_AdaptiveScene_Unit'을 통합포맷(SAF)의 새로운 타입으로 명시한 것이다. 'Stop_AdaptiveScene_Unit'은 앞서 수신한 'SAF_AdaptiveScene_Unit'의 적응 기준 및 그에 대한 값에 따른 데이터를 담고 있는 통합포맷(SAF) AU가 더 이상 수신되지 않음을 나타낸다.

상기 'SAF_AdaptiveScene_Unit'은 하기 <표 12a> 내지 <표 12d>와 같이 표현될 수 있다.

상기 <표 12a> 내지 <표 12d>에서 'adaptiveSceneIndicatorFlag' 필드는 해당 필드에 의해 표현될 수 있는 이후 수신될 통합포맷(SAF) AU 데이터 스트림이 'Adaptive scene component'임을 알려준다. 'adaptiveSceneIndicatorFlag'는 상기 <표 12b> 내지 상기 <표 12d>에서와 같이 필드 값에 따라 이후 표시할 값의 표현 여부를 결정할 수 있다. 'adaptiveSceneIndicatorFlag'는 'SAF_AdaptiveScene_Unit'의 존재 자체가 해당 필드 값이 '참'임을 나타낸다고 할 경우, 사용하지 않을 수 있다.

'AdaptationType' 필드는 데이터 스트림의 적응 기준을 나타낸다. 'AdaptationType'의 속성 값은 속성 값의 타입에 따라, 제 1 실시 예에서 설명한 바와 같이 다양한 방법으로 표현할 수도 있으며, 그에 따라 할당된 비트 값은 달라질 수 있다. 또한 'AdaptationType'을 표현하는 다양한 방법 중 참조하여 표현하는 방법이 사용될 경우, 'url' 타입을 위한 새로운 필드 및 'urlLengh'등이 새로이 추가될 수 있다.

'AdaptationTypeValue'는 데이터 스트림의 적응 기준 값을 표현하는 필드이다. 상기 예제에서 'numOfAdaptationType' 필드는 데이터 스트림에 적용 가능한 적응 기준이 둘 이상일 경우를 위한 것이다. 'adaptationTypeValueLength' 필드는 AdaptationTypeValue의 데이터 노드를 나타내기 위한 길이 정보로 이는 경우에 따라 사용할 수도 있고, 사용하지 않을 수도 있다. 이러한 데이터 노드를 나타내기 위한 길이 정보를 제공하는 필드는 정보의 표현 방법에 따라 'AdaptationType'을 위한 데이터 노드의 길이 정보를 제공하는 필드 등이 추가될 수도 있다.

다음은 또 다른 실시 예로써, 통합포맷(SAF)의 새로운 AU 타입으로 단말의 특성에 적응 가능한 데이터 스트림을 담을 수 있는 통합포맷(SAF)의 AU, 'AdaptiveSceneAU', 'AdaptiveSceneCacheUnit', 'AdaptiveSceneFFU', 'AdaptiveSceneFU'을 정의한 것이다.

'AdaptiveSceneAU'은 단말의 특성에 적응 가능한 데이터 스트림을 담을 수 있는 AU의 타입을 의미하고, 'AdaptiveSceneCacheUnit'은 단말의 특성에 적응 가능한 캐쉬 데이터를 담을 수 있는 AU 타입을 의미한다.
단말의 특성에 적응 가능한 데이터 스트림의 크기가 AU의 크기보다 클 경우, 데이터를 분할 (Fragmentation)하여 제공할 수 있다. 이때, 분할된 데이터의 맨 처음 AU는 'AdaptiveSceneFFU', 나머지 데이터 조각은 'AdaptiveSceneFU'에 담을 수 있다.

하기 <표 13>은 'SAF_AdaptiveScene_Unit'을 통합 포맷 (SAF)의 새로운 타입으로 명시한 것이다.

상기 'AdaptiveSceneAU'은 하기 <표 14a> 및 <표 14b>와 같이 표현될 수 있다. 'AdaptiveSceneAU'은 하기 <표 14b>와 같이 자신이 담고 있는 데이터의 적응 기준 및 그에 대한 값을 표현할 수 있다. 'AdaptiveSceneAU'을 비롯하여 'AdaptiveSceneCacheUnit', 'AdaptiveSceneFFU', 'AdaptiveSceneFU'에서도 자신이 담고 있는 데이터의 적응 기준 및 그에 대한 값을 표현하는 방법은 상기 <표 12a> 내지 상기 <표 12d>의 실시 예에서 설명한 것과 같이 표현할 수 있다.

상기 'AdaptiveSceneCacheUnit'은 하기 <표 15a> 및 <표 15b>와 같이 표현될 수 있다. 'AdaptiveSceneCacheUnit'은 <표 15b>와 같이 자신이 담고 있는 데이터의 적응 기준 및 그에 대한 값을 표현할 수 있다.

상기 'AdaptiveSceneFFU'은 하기 <표 16a> 및 <표 16b>와 같이 표현될 수 있다. 'AdaptiveSceneFFU'은 하기 <표 16b>와 같이 자신이 담고 있는 데이터의 적응 기준 및 그에 대한 값을 표현할 수 있다.

상기 'AdaptiveSceneFU'은 하기 <표 17a> 및 <표 17b>와 같이 표현될 수 있다. 'AdaptiveSceneFU'은 하기 <표 17b>와 같이 자신이 담고 있는 데이터의 적응 기준 및 그에 대한 값을 표현할 수 있다. 'AdaptiveSceneFU'의 경우, 'AdaptiveSceneFFU'에 적용되는 데이터의 적응 기준 및 그에 대한 값을 따르도록 할 수도 있다.

또한, 상기와 같은 방법으로, 새로운 통합 포맷의 Unit 타입을 정의하지 않더라도, Header Unit(0x01, 0x02, 0x07) 타입 및 SAF의 AU 타입 Unit(0x04, 0x06)을 비롯한 기존의 통합포맷의 각 Unit에에 Adaptive Scene Indicator, AdaptiveType, AdaptiveValue 등의 적응 기준을 나타내는 필드들을 추가하여 확장할 수 있다. 그리고, 적응 기준의 각 필드들을 정의하는데 있어 할당되는 데이터의 크기 등의 정보는 정보의 데이터 타입에 따라 다르게 할당되거나 표현될 수 있다

도 5는 본 발명의 실시 예에 따라 LASeR 콘텐츠를 서비스하는 예를 설명한 도면으로, 각 실시 예에 따라 구체적인 동작의 차이는 있을 수 있음은 자명하다.

참조번호 500은 헤더를 담고 있는 AU이다. 참조번호 500 및 530의 AU는 본 발명의 각 실시 예에 따라, 헤더 타입뿐만 아니라, 'SAF_AdaptiveScene_Unit'등 데이터 스트림의 적응 기준 및 그에 대한 값을 알려주기 위한 필드 및 AU가 될 수 있다.
상기 헤더의 참조번호 510과 같이 'AdaptiveSceneIndicator'가 'TRUE'로 설정되어 있으면, 단말은 자신의 현재 상태를 확인한다. 여기서, 단말은 가용 가능한 자원을 확인하거나, 또는 CPU 처리 능력, 메모리나 배터리 등과 같은 조건 및 이벤트 상황을 고려한다. 단말의 현재 상태가 adaptive scene component를 처리하기에 충분하면, 단말은 이후 수신되는 참조번호 520와 같은 데이터를 복호하여, 디스플레이 한다.

이때, 참조번호 520 데이터의 범위는 다음의 적응 데이터의 여부 적응 기준 및 그에 대한 값에 대한 필드를 가지는 데이터나 헤더를 수신할 때까지일 수도 있고, 해당 데이터에 해당하는 적응 기준 및 그에 대한 값이 더 이상 유효하지 않음을 시그널링하는 'stop_AdaptiveScene_Unit'을 수신하였을 경우 참조번호 520의 데이터가 모두 수신되었음을 나타낼 수도 있다.

한편, 그 후 참조번호 530과 같이 헤더를 포함하고 있는 AU를 수신한 단말은, 참조번호 540과 같이 헤더 정보를 확인하여, AdaptiveSceneIndicator가 TRUE인지를 확인한다. 상기 단말이 adaptive scene component를 처리하기에 충분하지 않으면, 이후 수신되는 장면 구성의 실제 데이터를 담고 있는 참조번호 550의 AU들을 모두 복호하지 않고 폐기한다. 앞서 제안된 각 실시 예에 따라 이미 복호화 과정을 거친 데이터라 할지라도 적응 기준 및 그에 대한 값에 따른 필터링 메커니즘에 따라 구성 메모리에서 삭제하는 등의 데이터 폐기를 수행한다.

제안된 방법에 따라 LASeR 콘텐츠를 서비스하고 있는 도중, 단말의 성능이 변화할 경우에도, 특정 조건이나 단말의 성능을 고려하여 보다 유연하게 장면을 구성할 수 있다. 이때 정의한 요소나 속성들이 가지는 의미가 동일한 경우, 상기 요소 및 속성이나 속성 값들의 이름이나 타입은 다른 것으로 사용될 수 있음은 물론이다. 또한 제안된 각 실시 예에서 설명하는 필드나 속성 등은 모두 각기 독립적으로 또는 복합적으로 사용될 수 있음은 물론이다.

도 6은 본 발명의 실시 예에 따른 송신기의 구조를 나타낸 블록도이다.

도 6을 참조하면, 콘텐츠 생성부(600)는 특정 조건이나 단말의 특징 및 성능을 나타내거나 확인할 수 있는 장면 구성 요소 및 속성들을 포함하는 장면 구성 요소들을 생성할 수 있다. 상기 장면 구성 요소들을 작성 시, 이벤트의 사용이나 이벤트 발생에 따른 동작에 대한 내용도 생성할 수 있다. 콘텐츠 생성부(600)는 생성된 LASeR 콘텐츠를 인코더(610)로 전달한다. 상기 인코더(610)는 LASeR 콘텐츠를 부호화하여 다중화부(620)로 전달한다. 상기 다중화부(620)는 상기 부호화한 LASeR 콘텐츠를 여러 논리적 스트림들과 함께 하나의 물리적 스트림으로 다중화한다.

콘텐츠 송신부(630)는 다중화된 스트림을 수신기로 전송한다. 상기 부호화된 LASeR 콘텐츠는 다중화 과정을 거치지 않고 전송 가능하다. 이는 앞서 제안된 제 1 실시 예에서와 같이 생략될 수 있다.

도 7은 본 발명의 실시 예에 따른 수신기의 구조를 나타낸 블록도이다.

도 7을 참조하면, 역다중화부(700)는 수신된 스트림을 각각의 논리 스트림으로 구분한다. 여기서 다중화를 수행하지 않은 스트림의 경우, 상기 역다중화 과정은 생략될 수 있다.

디코더(710)는 역다중화된 스트림을 디코딩하여 렌더러(720)로 전달한다. 상기 렌더러(720)는 디코딩된 데이터를 수신하여, 특정 조건이나 단말의 특징 및 성능을 나타내거나 확인할 수 있는 장면 구성 요소 및 속성 들을 포함하는 장면 구성 요소들을 바탕으로 해당 장면을 렌더링하여 출력한다. 디스플레이부(730)는 단말의 화면에서 각 장면을 디스플레이 한다.

제안된 실시 예들에서 새로이 정의한 요소 및 속성의 위치에 따라 정보를 정의하는 방법은 달라질 수 있다. 그 각각의 데이터 정의 포맷에 따라 새로이 정의한 요소 및 속성 정보들은 헤더 정보 등과 같이 초기 장면 구성을 위한 정보, 장면 갱신 (update), 장면 갱신 정보 그룹 (update data group), 장면 조각 (Scene Segment), 접근단위 (Access Unit) 등을 위한 시그널링 정보로 구성되어 표현될 수 있으며, 시그널링을 위한 장면 구성을 위한 실제 장면 정보와는 별도의 접근 단위 또는 헤더 정보로도 구성될 수 있다. 시그널링을 위한 데이터 포맷으로 구성될 경우 새로이 정의한 요소 및 속성 정보들을 상기 정보를 표현하기 위한 각각의 필드로 구성될 수 있다.

또한 제안된 실시 예들에서 새로이 정의한 속성들의 속성 값으로 사용되는 정보는 LASeR 내/외부의 다른 데이터, 파일, 응용프로그램, 서비스 등을 참조하여 사용하도록 할 수도 있다. 이때 속성을 LASeR 내부에 정의하여, 속성 값만을 참조할 수도 있고, 속성 자체도 다른 데이터, 파일, 응용프로그램, 서비스 등으로 정의되어 있는 것을 참조의 기능을 가진 요소 및 속성을 이용하여 참조할 수도 있다. 참조의 기능을 가진 요소 및 속성을 이용하여 속성 및 속성 값을 참조하는 경우라 하여도, 속성의 기능과 동일한 목적을 위하여 사용된다면 그것은 제안된 실시 예들의 범위에 속하는 것임이 자명하다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명이 적용되는 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 2는 본 발명의 제 1 실시 예에 따라 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 3은 본 발명이 적용되는 LASeR 서비스에서 데이터 스트림을 다중화하여 서비스하는 경우, LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 4는 본 발명의 제2 실시 예에 따라 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 5는 본 발명에 따른 LASeR 콘텐츠를 서비스하는 동작을 도시한 도면,

도 6은 본 발명에 따른 송신기의 구조를 나타낸 블록도,

도 7은 본 발명에 따른 수신기의 구조를 나타낸 블록도.

Claims (30)

1. 리치미디어 서비스를 위해 디코더, 렌더러 및 디스플레이부를 포함하는 무선 단말에서의 사용자 인터페이스 방법에 있어서,

   상기 디코더에서 수신된 스트림의 헤더를 확인하는 과정과,

   상기 확인된 헤더에 적응 정보가 존재하면, 상기 렌더러에서 상기 수신된 스트림의 장면 구성 요소를 이용하여 적응적으로 장면을 구성하는 과정과,

   상기 적응적으로 구성된 장면을 상기 디스플레이 상에 디스플레이 하는 과정을 포함하며,

   상기 적응 정보는 적응 타입 및 적응 타입 값을 포함하고,

   상기 적응 타입은 상기 수신된 스트림의 적응 기준을 나타내고, 상기 적응 타입 값은 상기 수신된 스트림의 적응 기준 값을 나타내고,

   상기 적응 기준은 디스플레이 크기, 연산 능력, 전력 소모량, 메모리 관련 정보, 상기 수신된 스트림을 처리하기 위해 요구되는 장치의 입력/출력 성능 중에서 적어도 하나를 포함함을 특징으로 하는 사용자 인터페이스 방법.
2. 제 1항에 있어서,

   상기 적응 정보는, 적응 제한(constraint)의 속성에 포함됨을 특징으로 하는 사용자 인터페이스 방법.
3. 삭제
4. 삭제
5. 삭제
6. 제 1항에 있어서,

   상기 적응 정보는, 상기 장면 구성 요소의 삽입과 관련된 명령어 단위로 설정됨을 특징으로 하는 사용자 인터페이스 방법.
7. 제 1항에 있어서,

   상기 적응 정보는, 동일 시간 내에서 장면을 구성하기 위한, 적어도 하나의 스트림의 집합인 장면 유닛(Scene Unit) 단위로 설정됨을 특징으로 하는 사용자 인터페이스 방법.
8. 제 1항에 있어서,

   상기 적응 정보는, 단위 시간 내에서 장면을 구성하기 위한, 최소 스트림 단위인 액세스 유닛(Access Unit) 단위로 설정됨을 특징으로 하는 사용자 인터페이스 방법.
9. 제 1항에 있어서,

   상기 적응 정보는, 오디오 스트림과 비디오 스트림을 통합한 통합포맷(SAF)의 액세스 유닛(Access Unit) 단위로 설정됨을 특징으로 하는 사용자 인터페이스 방법.
10. 제 1항에 있어서,

    상기 적응 정보는, 단위 시간 내에서 장면을 구성하기 위한, 분할된 스트림인 장면 세그먼트(Fragment) 단위로 설정됨을 특징으로 하는 사용자 인터페이스 방법.
11. 삭제
12. 삭제
13. 삭제
14. 제 1항에 있어서,

    상기 적응 타입은, 적응적으로 장면을 구성하기 위한, 그래픽 요소를 위한 정보와, 폰트 요소를 위한 정보와, 텍스트 요소를 위한 정보와, 이미지 또는 비디오 영상을 위한 정보 중에서 적어도 하나를 더 포함함을 특징으로 하는 사용자 인터페이스 방법.
15. 제 1항에 있어서, 상기 적응적으로 장면을 구성하는 과정은,

    상기 적응 타입과 상기 적응 타입 값에 따라 단말의 상태를 검사하고, 상기 단말의 상태가 적합하지 않을 시 장면 구성 요소들을 폐기하는 과정을 더 포함함을 특징으로 하는 사용자 인터페이스 방법.
16. 리치미디어 서비스를 위한 무선 단말의 사용자 인터페이스 장치에 있어서,

    수신된 스트림의 디코딩하여 헤더를 확인하는 디코더와,

    상기 디코더로부터 확인된 헤더의 적응 정보에 따라, 상기 수신된 스트림의 장면 구성 요소를 이용하여 적응적으로 장면을 구성하는 렌더러와,

    상기 적응적으로 구성된 장면을 디스플레이 하는 디스플레이부를 포함하고,

    상기 적응 정보는 적응 타입 및 적응 타입 값을 포함하고,

    상기 적응 타입은 상기 수신된 스트림의 적응 기준을 나타내고, 상기 적응 타입 값은 상기 수신된 스트림의 적응 기준 값을 나타내고,

    상기 적응 기준은 디스플레이 크기, 연산 능력, 전력 소모량, 메모리 관련 정보, 상기 수신된 스트림을 처리하기 위해 요구되는 장치의 입력/출력 성능 중에서 적어도 하나를 포함함을 특징으로 하는 사용자 인터페이스 장치.
17. 제 16항에 있어서,

    상기 적응 정보는, 적응 제한(constraint)의 속성에 포함됨을 특징으로 하는 사용자 인터페이스 장치.
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 제 16항에 있어서,

    상기 적응 정보는 상기 장면 구성 요소의 삽입과 관련된 명령어 단위로 설정됨을 특징으로 하는 사용자 인터페이스 장치.
23. 제 16항에 있어서,

    동일 시간 내에서 장면을 구성하기 위한, 적어도 하나의 스트림의 집합인 장면 유닛(Scene Unit) 단위로 설정된 상기 적응 정보를 확인함을 특징으로 하는 사용자 인터페이스 장치.
24. 제 16항에 있어서, 상기 렌더러는,

    단위 시간내에서 장면을 구성하기 위한, 최소 스트림 단위인 액세스 유닛(Access Unit) 단위로 설정된 상기 적응 정보를 확인함을 특징으로 하는 사용자 인터페이스 장치.
25. 제 16항에 있어서, 상기 렌더러는,

    오디오 스트림과 비디오 스트림을 통합한 통합포맷(SAF)의 액세스 유닛(Access Unit) 단위로 설정된 상기 적응 정보를 확인함을 특징으로 하는 사용자 인터페이스 장치.
26. 제 16항에 있어서, 상기 렌더러는,

    단위 시간 내에서 장면을 구성하기 위한, 분할된 스트림인 장면 세그먼트(Fragment) 단위로 설정된 상기 적응 정보를 확인함을 특징으로 하는 사용자 인터페이스 장치.
27. 삭제
28. 삭제
29. 제 16항에 있어서,

    상기 적응 타입은 적응적으로 장면을 구성하기 위한, 그래픽 요소를 위한 정보와, 폰트 요소를 위한 정보와, 텍스트 요소를 위한 정보와, 이미지 또는 비디오 영상을 위한 정보 중에서 적어도 하나를 더 포함함을 특징으로 하는 사용자 인터페이스 장치.
30. 제 16항에 있어서, 상기 렌더러는,

    상기 적응 타입과 상기 적응 타입 값에 따라 단말의 상태를 검사하고, 상기 단말의 상태가 적합하지 않을 시 장면 구성 요소들을 폐기함을 특징으로 하는 사용자 인터페이스 장치.

Images