KR20090111259A - 리치미디어 콘텐츠의 장면 구성을 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 리치미디어 서비스를 제공하기 위한 것으로, 특히, Lightweight Application Scene Representation(이하 'LASeR'라 칭함) 서비스에서 다양한 종류의 단말에 LASeR 콘텐츠를 서비스하는 경우, 필요한 장면을 구성하기 위한 장치 및 방법에 관한 것이다.

따라서, 본 발명은 단말이 LASeR 콘텐츠 수신하고, 단말의 성능을 확인하여, 상기 LASeR 콘텐츠에 포함된 정보를 이용하여 단말의 특정 조건 및 성능에 적합한 장면을 구성하는 과정을 포함함을 특징으로 한다.

LASeR, SAF. 액세스 유닛(AU), 적응형 장면 구성(Adaptive scene component) 정보, MPEG-4, 장면구성

Description

리치미디어 콘텐츠의 장면 구성을 위한 장치 및 방법{APPARATUS AND METHOD FOR COMPOSING SCENE USING RICH-MEDIA CONTENTS}

본 발명은 리치미디어 서비스를 수신하는 단말의 디스플레이 기술에 대한 것으로서, 특히 단말의 특정 조건 및 성능을 고려하여 LASeR 콘텐츠 구성 제어를 위한 장치 및 방법에 관한 것이다.

이동통신 시장은 기존 기술들의 재조합 또는 통합을 통해 새로운 서비스의 생산을 지속적으로 요구 받고 있다. 이와 관련하여 오늘날 통신 및 방송 기술의 발달은 핸드폰, PDA(Personal Digital Assistant) 등 휴대 단말기(이하 '단말'이라 칭함)를 통해 여러 가지 미디어가 혼합하여 제공하는 리치 미디어(Rich-media) 서비스 형태로 발전하고 있다.

리치 미디어 서비스를 제공하기 위한 국제 표준 규격으로 Lightweight Application Scene Representation(이하 'LASeR'라 칭함)를 정의하고 있다. LASeR는 LASeR 장면 기술(LASeR scene description), 비디오(video), 오디오(audio), 이미지(image), 폰트(font), 메타데이터(metadata)와 같은 서로 다른 요소를 이용하여 장면을 구성할 수 있다. 또한 통합포맷(Simple Aggregation Format: SAF) 형태 로 LASeR 스트림(Elementary Stream : ES)을 다중화 및 동기화하고 복잡도 요구사항을 최소화하여 메모리 및 전력의 제한이 있는 휴대 단말에서 다양한 멀티미디어의 자유로운 표현과 사용자와의 상호작용을 위해 개발된 기술이다.

현재 통신 기술의 트랜드에 따라, DVB-CBMS(Convergence of Broadcasting and Mobile Service)나 IPTV와 같이 망의 통합으로, 하나의 망에 여러 종류의 단말이 연결되는 네트워크 모델이 가능하다. 즉, 유선 IPTV에 유무선 통합이 되어 단일 통합 사업자가 망을 운영하는 모델인 경우, 각 단말에 상관없이 동일한 서비스가 제공될 수 있다. 이러한 비즈니스 모델에서, 특히 방송 서비스인 경우, 단일의 방송 스트림이 동시에 다양한 종류의 디스플레이 크기와 다양한 성능 및 특징의 단말로 전송될 수 있다. 그러므로 해당 컨텐츠를 받을 단말의 종류가 다수임에도 불구하고 동일한 멀티미디어 서비스를 제공하는 경우에 LASeR 콘텐츠는 스크린 사이즈가 큰 단말(예를 들면, TV)부터 스크린 사이즈가 작은 휴대 단말까지 하나의 장면구성 서비스가 제공될 것이다. 이때, TV 스크린 사이즈에 최적화된 장면구성을 휴대 단말이 수신할 경우, 수신 단말은 서비스를 위한 가용 자원을 확보하기 어려울 뿐만 아니라, 지나치게 리치한(Rich) 장면을 구성해야 하는 문제점이 있다.

본 발명은 LASeR 서비스에 따른 콘텐츠를 구성하는 장치 및 방법을 제공한다.

또한, 본 발명은 단말의 특정 조건이나 단말의 성능을 고려한 LASeR 장면 구성 장치 및 방법을 제공한다.

본 발명에 따라 서비스될 장면을 구성하는 방법은, 장면 구성 정보의 특성에 관한 정보가 포함된 LASeR 콘텐츠를 송신기에서 생성하여 상기 단말로 전송하는 과정과, 상기 단말이 상기 LASeR 콘텐츠를 수신하고, 상기 단말의 특정 조건이나 특정 이벤트의 발생 및 단말의 성능(capability)을 나타내는 정보를 확인하여 이를 바탕으로, 상기 확인한 단말의 성능과 상기 LASeR 콘텐츠에 포함된 정보를 비교하는 과정과, 상기 단말이 상기 비교 결과에 따라 상기 확인한 단말의 성능에 따른 장면 구성 데이터의 사용 여부를 선택하여, 상기 서비스될 장면을 구성하는 과정을 포함한다.

또한 본 발명에 따라 서비스될 장면을 구성하는 장치는, 장면 구성 정보의 특성에 관한 정보를 포함한 상기 LASeR 콘텐츠를 생성하여 상기 단말로 전송하는 송신기와, 상기 LASeR 콘텐츠를 수신하고, 상기 단말의 특정 조건이나 특정 이벤트의 발생 및 단말의 성능(capability)과 상기 LASeR 콘텐츠에 포함된 정보를 비교하 여 상기 단말이 상기 비교 결과에 따라 상기 확인한 단말의 성능에 따른 장면 구성 데이터의 사용 여부를 선택하여, 상기 서비스될 장면을 구성하는 상기 단말 내의 수신기를 포함한다.

본 발명은 각 단말의 디스플레이 크기, CPU 처리 능력, 메모리나 배터리량 등 적응형 서비스의 제공과 관련하여 단말의 성능과 연관 있는 특정 조건이나 속성, 특정 이벤트에 따라 가용 자원이 부족한 단말에의 부담을 줄이고, 가용 자원이 풍부한 단말에는 보다 리치한(Rich) LASeR 장면 구성 서비스를 제공할 수 있다.

이하 본 발명의 바람직한 실시 예를 도면을 참조하여 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명에서는 리치미디어 엔진(Rich Media Engine, 이하 'RME'라 칭함)중 LASeR 엔진을 기반으로 하는 단말을 일 실시 예로 들어 설명한다. 한편, 그 외의 RME 기반하는 단말은, 상기 LASeR 엔진을 기반으로 하는 단말의 일 실시 예를 동일하게 적용 가능하다. 다만 상기 단말에 적용되는 RME 혹은 시스템이 바뀌는 경우에는, 상기 LASeR 엔진 이외에 각 RME 혹은 시스템에서 고유하게 사용하는 명칭으로의 엔진 및 시스템 및 데이터를 구성하는 각 구성 요소의 전환이 필요하다.

이하, 본 발명은 LASeR 서비스에서 각 단말의 특정 조건이나 단말의 성능에 적합한 LASeR 데이터를 송수신하는 방법 및 장치를 제공한다. 특히, 본 발명은 LASeR 서비스를 수신하는 단말의 장면 표현 및 구성 기술에 대한 것으로서, 적응형 서비스의 제공과 관련하여 단말의 특성과 연관 있는 특정 조건이나 속성, 특정 이벤트의 발생 및 단말의 성능에 따라, 단말의 성능이나 특징에 적합한 LASeR 콘텐츠를 제공하는 방법 및 장치에 대하여 설명하기로 한다.

도 1은 본 발명이 적용되는 일반적인 LASeR 콘텐츠를 수신한 단말의 동작을 도시한 도면이다.

도 1을 참조하면, 100 단계에서 단말은 LASeR 서비스 콘텐츠를 수신하고, 110 단계에서 수신된 LASeR 콘텐츠를 복호화(Decoding)한다. 단말은 120 단계에서는 LASeR 명령어들을 확인하여, 명령어에 따라 실행한다. 이후 단말은 130 단계에서 LASeR 콘텐츠의 모든 이벤트들을 처리하고, 140 단계에서 상기 장면 구성 명령어를 수행하여 장면을 디스플레이한다. 여기서, 상기 LASeR 데이터를 수신한 단말 동작은 'ISO/IEC 14496-20 : MPEG-4 LASeR' 표준 문서의 실행 모델(표준 문서 6.4절 Execution Model)을 따른다.

도 2는 본 발명의 제 1 실시 예에 따른 LASeR 콘텐츠를 수신한 단말의 동작을 도시한 도면이다.

여기서, LASeR 데이터 스트림은, 기본적으로 필요한 요소 외에 복잡하거나 많은 장면 구성 요소를 담고 있거나, 또는 기본 장면에 부가되는 데이터이다. 또한 본 발명에서 설명하는 LASeR 데이터 스트림은 각 단말의 특성에 따른 구성 요소를 담고 있는 데이터 스트림도 포함한다. 상기 특성은 콘텐츠를 수신하는 단말의 특징 및 성능을 포함한다. 특히, 도 2는 LASeR 데이터 스트림이 가용 자원이 풍부한 단말을 위한 혹은 단말의 성능에 적응 가능한 장면 구성 데이터인 경우, 즉, 'adaptive scene component'임을 나타내는 정보를 포함하는 경우, 장면을 구성하는 단말의 동작을 도시한다.

도 2를 참조하면, 200 단계에서 단말은 LASeR 스트림을 수신하고, 210 단계에서 수신한 LASeR 스트림을 복호화한다.

220 단계에서 단말은 상기 복호화된 LASeR 스트림이 헤더(Header)를 가지고 있는지를 확인한다. 이때, LASeR 스트림이 헤더(Header)를 가지고 있으면, 230 단계에서 헤더 정보를 확인한다.

250 단계에서 단말은 확인한 헤더 정보에서 'AdaptiveSceneIndicator' 필드의 값이 'FALSE'이면, 상기 수신한 데이터 스트림을 화면에 디스플레이 한다.

한편, 상기 확인한 'AdaptiveSceneIndicator' 필드의 값이 'TRUE' 이면, 단말은 260 단계로 진행하여 단말의 성능을 확인한다. 260 단계에서 단말의 성능이 'adaptive scene component'를 서비스 하기에 충분하지 않으면, 단말은 265 단계로 진행하여 LASeR 스트림을 폐기하도록(ON) 설정한다. 그리고, 이후 복호화될 LASeR 스트림을 복호화하지 않고 폐기하여 해당 데이터 스트림을 화면에 디스플레이하는 등의 LASeR 서비스를 제공하지 않도록 한다. 만약, LASeR 폐기 대상이 되는 LASeR 스트림이 이미 복호화 되었을 경우에도 단말은 바로 데이터를 메모리에서 삭제하는 등의 폐기 과정을 수행한다.

한편, 260 단계에서 단말의 성능이 'adaptive scene component'를 서비스하기에 충분하면, 단말은 290 단계로 진행하여 LASeR 스트림을 폐기하지 않도록(OFF) 설정한다. 그리고, 280 단계에서 해당 데이터 스트림을 화면에 디스플레이하는 등의 LASeR 서비스를 제공한다.

또한, 상기 220 단계에서 복호화된 LASeR 스트림이 헤더(Header)를 가지고 있지 않으면, 단말은 270 단계에서 단말의 LASeR 스트림의 폐기 여부에 대한 설정정보를 확인한다. 상기 폐기에 대한 설정정보가 설정(ON)되어 있으면, 단말은 275 단계로 진행하여, 단말의 LASeR 스트림을 더 이상 처리하지 않고, 즉, 메모리에 구성하거나 렌더링하지 않고 폐기한다. 반면에, 상기 폐기에 대한 설정정보가 설정되어 있지 않으면(OFF), 단말은 280 단계로 진행하여 화면에 디스플레이한다.

제 1 실시 예에서 단말이, 스트림을 수신하여(200), 복호화하고(210), 'AdaptiveSceneIndicator' 필드의 값을 참조하여(250), 화면에 수신된 스트림을 디스플레이(280)하는 일련의 과정과, 상기 'AdaptiveSceneIndicator' 필드의 값을 참조하여(250), 'AdaptiveSceneIndicator'를 가지는 데이터를 수신하기 전까지, 해당 스트림을 처리하지 않는 일련의 과정을 제외한 나머지 과정들은, 단말에 따라 순서가 바뀔 수도 있고, 또는 생략될 수도 있다. 또한, 'AdaptiveSceneIndicator' 및 본 발명에서 새로이 정의하는 필드 및 속성을 이용하여 본 발명과 동일한 서비스를 제공할 수 있다면, 이는 단말의 수행절차에 수정이나 변경이 있다 하여도 본 발명에 속하는 것임은 자명하다.

하기의 <표 1a>, <표 1b> 및 <표 2>는, 본 발명에 따라 LASeR 헤더(LASeR Header)에 상기 수신한 LASeR 스트림이 'Adaptive scene component'임을 알려주는 필드를 새로이 정의한 예이다. 하기에서는 LASeR를 이용하여 예를 들어 설명하나, 'Adaptive scene component'임을 알려주기 위한 본 발명의 신규 필드 및 속성 등은 헤더 타입의 데이터뿐만 아니라, 각 요소 및 필드, 유닛, 페이로드 등의 데이터의 필드 및 속성으로도 사용할 수 있다.

여기서, <표 1a>, <표 1b>의 'AdaptiveSceneIndicator' 속성을 'true' 혹은 'false'의 불린(Boolean) 값으로 표현하였으나, 이는 <표 2>와 같이, 1,2,3,4 혹은 basic, enhanced 등의 레벨(level), 혹은 다른 방법으로도 표현 가능하다.

상기 속성의 값은 <표 1a>, <표 1b> 및 <표 2>의 방법에 국한되지 않은 방법으로 표현할 수 있음은 물론이다. 다만 불린(Boolean)이 아닌 다른 값으로 표현할 경우, 해당 속성의 특정 값은, 반드시 'adaptive scene component'가 아닌 'base scene component'임을 표현할 수 있어야 한다. 예를 들어, ' AdaptiveSceneIndicator' 의 속성 값을 정수 값으로 표현할 경우, '0'은 'base scene component'를 의미할 경우, 수신한 LASeR 스트림 헤더의 상기 필드의 속성 값이 '0'이면, 'AdaptiveSceneIndicator = "False"'와 같은 의미를 가지므로, 화면에 디스플레이해야 한다.

다음에서는, 본 발명에서 설명하는 단말의 특성에 적응 가능한 LASeR 데이터 스트림의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 알려주기 위한 방법을 설명한다.

<표 1a> 및 <표 1b>은 'LASeR 데이터의 적응(adaptation)의 기준(criteria) 을 나타내기 위한 'AdaptationType' 속성의 구조를 기술한 스키마(schema)의 구문(syntax)을 정의한 예이다. 본 발명의 실시예에서는 상기 속성 및 요소를 정의하기 위해 스키마(schema)를 사용한다.

여기서, 스키마는 데이터의 구조를 정의해 놓은 일종의 모델링 문서를 의미한다. 본 발명의 실시예에서 사용한 스키마는 'XML Schema'문법을 따르고 있으며, 스키마의 요소들을 사용하여 스키마를 정의할 수 있다. 특히, 속성 및 요소의 구조를 정의하는 방법은 다양한 방법이 있을 수 있으며, 따라서 반드시 스키마를 이용한 방법이 아니라 해도 동일한 의미를 담고 있다면 본 발명에 속하는 것이라 할 수 있다. 또한 본 발명의 실시예에서 예를 들어 정의한 각 요소 및 속성의 값은 속성의 값을 하나의 표현 방법으로 제한하도록 기술할 수도 있고, 기존의 타입을 확장하여 정의할 수도 있다.

상기 <표 1a>와 같이 'AdaptationType' 속성의 값은 하나 이상의 다양한 방법을 이용하여 표현할 수 있다.

또한, 'AdaptationType' 속성의 값은 속성의 값을 하나의 표현 방법으로 제한하도록 기술할 수도 있다. 상기 예제에서는 'AdaptationType' 속성의 값 을 'unsignedInt'로 기술하였으나, 'string', 'boolean', 'decimal', 'precisionDecimal', 'float', 'double', 'duration', 'dateTime', 'time', 'date', 'gYearMonth', 'gYear', 'gMonthDay', 'gDay', 'gMonth', 'hexBinary', 'base64Binary', 'anyURI', 'QName', 'NOTATION', 'normalizedString', 'token', 'language', 'NMTOKEN', 'NMTOKENS', 'Name', 'NCName', 'ID', 'IDREF', 'IDREFS', 'ENTITY', 'ENTITIES', 'integer', 'nonPositiveInteger', 'negativeInteger', 'long', 'int', 'short', 'byte', 'nonNegativeInteger', 'unsignedLong', 'unsignedInt', 'unsignedShort', 'unsignedByte', 'positiveInteger', 'yearMonthDuration', 열거형(enumeration) 등의 정수형, 문자열, 소수형, 고정소수형, 부정소수형, 리스트 형 등 해당 리치미디어 컨텐츠에서 활용 가능한 다양한 데이터 타입으로 지정할 수 있다. 이는 본 발명의 모든 예제에 마찬가지로 적용된다.

다음 <표 2>는 'AdaptationType'의 속성 값 즉, 단말의 성능에 적응 가능한 LASeR 데이터 스트림의 적응(adaptation)의 기준(criteria)을 나타낸 것이다. 'AdaptationType'의 속성 값은 <표 1a> 및 <표 1b>에서 설명한 바와 같이, 속성 값의 타입에 따라, <표 2>와 같이 표현할 수도 있고, 문자열로 표현할 수도 있으며, 단말 및 서비스 내/외부의 정보를 참조할 수도 있다. 'AdaptationType'은 특정 조건이나 단말의 상태나 상황 변화에 관련된 다양한 factor들이 추가될 수 있다.

예를 들어, 연산과 관련한 'multiply', 'div', 'sub', 'add' 등의 factor들과, 단말의 메모리 관련한 'GraphicPoints', 'FontDataSize', 'TextDataSize', 'ImageProcessingMemory', 'VideoProcessingMemory' 등의 factor들이 더 추가될 수 있다.

여기서, 상기 'GraphicPoints'는, 그래픽 요소를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보로, 그래픽 요소를 구성하는 점, 선, 메쉬(mesh), 폴리곤(polygon) 등의 정보를 포함할 수도 있고, 각기 그래픽 요소의 특성에 따라 필요한 정보 각각을 'AdaptiveType'으로 사용할 수도 있다

상기 'FontDataSize'는, 해당 폰트를 이용하여 데이터를 구성하기 위한 메모리의 양 등의 정보를 나타내기 위한 정보이다. 이는 폰트 파일의 사이즈 등의 정보를 나타낼 수 있다. 폰트 파일을 로드(load)하기 위한 정보 등, 폰트 파일을 이용하여 데이터를 구성하기 위하여 필요한 메모리 요구량을 더 포함할 수도 있다. 또한 해당 정보 각각을 'AdaptiveType'으로 사용할 수도 있다

상기 'TextDataSize'는, 텍스트 데이터를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보이다. 이는 텍스트 데이터의 사이즈 등의 정보를 나타낼 수 있다. 텍스트 데이터를 구성하기 위하여 필요한 메모리 요구량을 더 포함할 수도 있다. 또한 해당 정보 각각을 'AdaptiveType'으로 사용할 수도 있다

상기 'ImageProcessingMemory'는, 이미지 데이터를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보이다. 이는 이미지 데이터 구성하기 위하여 필요한 메모리 요구량 더 있을 경우, 해당 정보들 각각을 나타내는 속성을 더 정의할 수도 있고, 각 정보들을 포함하는 값으로 표현할 수도 있다.

예를 들어, 이미지 파일을 처리하는데 있어서, 입력영상버퍼, 디코딩을 위한 변수들, 그리고 출력영상버퍼 등을 위한 메모리가 요구된다고 하면, 최소한 이미지 파일의 크기보다 큰 입력영상버퍼의 크기, 영상의 가로길이와 세로길이의 곱에 컬러포맷에 따른 1 픽셀의 데이터가 표현되는데 필요한 바이트(byte)수에, 해당하는 출력영상버퍼 등을 위한 메모리 및 이미지 디코딩을 위한 변수들을 위한 메모리가 요구된다. 따라서, 상기 'ImageProcessingMemory'는, 상기 설명한 입력영상버퍼의 크기를 확인하기 위한 이미지 파일의 크기, 출력영상버퍼의 크기을 확인하기 위한 영상의 가로 길이 및 세로 길이 그리고 컬러포맷 정보 및 코덱 정보, 이미지 디코딩을 위한 변수들을 위한 메모리 등의 정보를 포함한다. 또한 상기 정보 각각을 'AdaptiveType'으로 사용할 수도 있다.

상기 'VideoProcessingMemory'는, 비디오 데이터를 구성하기 위해 필요한 메모리의 양 등을 나타내기 위한 정보이다. 이는 비디오 데이터 구성하기 위하여 필요한 메모리 요구량 더 있을 경우, 해당 정보들 각각을 나타내는 속성을 더 정의할 수도 있고, 각 정보들을 포함하는 값으로 표현할 수도 있다. 예를 들어, 비디오 파일을 처리하는데 있어서, 입력영상버퍼, 디코딩을 위한 변수들, 출력영상버퍼, 디코딩된 영상 버퍼(decoded picture buffer) 등을 위한 메모리가 요구된다고 하면, 최소한 비디오 한 프레임의 크기보다는 큰 입력영상버퍼의 크기, 영상의 가로길이와 세로 길이의 곱에 컬러포맷에 따른 1 픽셀의 데이터가 표현되는데 필요한 바이트(byte)수에 해당하는 출력영상버퍼 등을 위한 메모리 밀 디코딩된 영상 버퍼 그리고 디코딩을 위한 변수들을 위한 메모리가 요구될 수 있다.

그러므로 상기 'VideoProcessingMemory'는, 상기 설명한 입력영상버퍼의 크기를 확인하기 위한 이미지 파일의 크기, 출력영상버퍼 및 디코딩된 영상버퍼의 크기을 확인하기 위한 영상의 가로 길이 및 세로 길이 그리고 컬러포맷 정보 및 코덱 정보, 디코딩을 위한 변수들을 위한 메모리 등의 정보를 포함한다. 또한 상기 정보 각각을 'AdaptiveType'으로 사용할 수도 있다.

또한, 그 외 수신 단말의 성능 및 서비스 상황과 관련 있는 다양한 요소들을 더 사용하여 계산할 수 있다. 복잡도(complexity)를 계산하는데 사용가능한 요소는 상기 언급한 연산량 정보외에 연산과 관련한 특성들이 더 사용될 수 있다. 뿐만 아니라 이미지, 폰트, 비디오, 오디오 등 미디어에 관한 정보 및 텍스트, 그래픽(graphics), 상호작용 관련한 정보 등이 더 사용될 수 있으며, 상기 언급한 요소 외에도 컨텐츠를 구성하는 다양한 요소에 관한 정보들이 포함될 수 있다.

또한, 이미지, 폰트, 비디오, 오디오 등 미디어에 관한 정보 및 텍스트, 그래픽(graphics), 상호작용 관련한 정보는, 각 데이터의 크기, 재생 시간, 프레임 율과 같이 초당 처리되어야하는 데이터 양, 컬러 테이블, 업데이트 비율 등 데이터 자체에 대한 정보가 포함될 수 있다.

또한, 데이터를 처리하기 위하여 단말에 요구되는 해상도, 화면 크기, 서비스 장면 내에서의 활용 빈도, 데이터 처리에 드는 단말 자원에 대한 점유율, 메모리 크기, 전력 소모량, 데이터 전송과 관련하여 요구되는 자원 정보, 서비스 제공을 위하여 요구되는 입력 및 출력 관련 단말의 성능 및 구성 등이 더 포함될 수 있다.

다음의 <표 3>은 'LASeR 데이터의 적응(adaptation)의 기준(criteria)의 값을 표현하는 'AdaptationTypeValue' 속성의 구조를 기술한 스키마(schema)의 구문(syntax)을 정의한 예이다. 'LASeR 데이터의 적응(adaptation)의 기준(criteria)의 값이라는 것은, 예를 들어 디스플레이 사이즈가 적응의 기준이 된다고 했을 때, 해당 장면 세그먼트는 'DisplaySize'가 'LARGE'로 분류되는 단말들을 위한 장면 정보를 담고 있을 경우, 'AdaptationTypeValue="LARGE"' 로 표현할 수 있는 값을 뜻한다.

상기 'AdaptationTypeValue' 속성의 값은, <표 1a>와 같이 하나 이상의 다양한 방법을 이용하여 표현할 수 있다. 즉, 각 'AdaptationType'에 따라 'AdaptationTypeVale'의 기술 방법이 다르다면, 각 'AdaptationType'에 따른 각각의 'AdaptationTypeVale'를 정의하여 기술할 수도 있다. 또한, 상기 'AdaptationType' 및 'AdaptationTypeVale'는 리스트 타입의 속성값을 이용하여, 여러가지 적응 기준을 사용하고 있음을 나타낼 수도 있다. 예를 들어 해당 장면의 적응기준으로 단말의 화면 크기, 단말의 메모리 등 여러 가지가 사용된다면, 리스트로 하나씩 나열하여 표현할 수 있다. 또한, 이들 적응 기준을 알려주는 다른 정보를 참조하여 표시하도록 하는 방법도 본 발명의 예와 동일한 의미를 나타낸다고 할 수 있을 것이다.

또한, 'AdaptationTypeValue' 속성의 값은 상기 <표 3>에서는 'unsignedInt'로 기술하였으나, 상기 AdaptationType의 정보를 표현하는 방법에 따라 값은, 'string', 'boolean', 'decimal', 'precisionDecimal', 'float', 'double', 'duration', 'dateTime', 'time', 'date', 'gYearMonth', 'gYear', 'gMonthDay', 'gDay', 'gMonth', 'hexBinary', 'base64Binary', 'anyURI', 'QName', 'NOTATION', 'normalizedString', 'token', 'language', 'NMTOKEN', 'NMTOKENS', 'Name', 'NCName', 'ID', 'IDREF', 'IDREFS', 'ENTITY', 'ENTITIES', 'integer', 'nonPositiveInteger', 'negativeInteger', 'long', 'int', 'short', 'byte', 'nonNegativeInteger', 'unsignedLong', 'unsignedInt', 'unsignedShort', 'unsignedByte', 'positiveInteger', 'yearMonthDuration', 열거형(enumeration) 등의 정수형, 문자열, 소수형, 고정소수형, 부정소수형, 리스트 형 등 해당 리치미디어 컨텐츠에서 활용 가능한 다양한 데이터 타입으로 지정할 수 있다. 이는 본 발명의 모든 예제에 마찬가지로 적용된다.

다음의 <표 4a> 및 <표 4b>은 본 발명의 'AdapatationSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'의 구조를 기술한 스키마(schema)의 구문(syntax)을 정의한 예이다.

<표 4b>는 'AdapatationType'과 'AdaptationTypeValue'를 하나의 필드에 함께 표현한 실시 예이다. 하나의 필드에 함께 표현할 경우, 예를 들어 <LASeRHeader....................AdapatationType_Value="DisplaySize LARGE"/>등과 같이 표현할 수도 있다.

본 발명의 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 사용하여 <표 5a> 및 <표 5b>와 같이 표현할 수 있다.

<표 5a>의 예는, 디스플레이 사이즈( <표 2>를 참조하면, 0X01은 디스플레이 사이즈를 나타내는 값임을 알 수 있다.)가 LARGE로 분류되는 단말들을 위한 데이터임을 나타낸다. 이때, 디스플레이 사이즈가 'LARGE'로 분류되지 않는 단말들은 상기 <표 5a>의 LASeR Header를 Header로 가지는 데이터를 디코딩이나 렌더링하지 않고 폐기할 수 있다. 상기 예에서는 디스플레이 사이즈를 SMALL, LARGE와 같은 심볼릭(symbolic)한 값으로 설정하였으나, 'AdaptationTypeValue'는 디스플레이 사이즈를 표현하는 어떤 값으로도 설정 가능하다.

<표 5b>의 예는, <표 5a>의 예와 동일한 의미를 가지며, 동일한 동작을 수행하는 정보를 다른 방법으로 표현한 것으로, 'AdaptationType' 필드의 속성 값으로 사용될 수 있는 값들, 예를 들어 'DisplaySize', 'CPU status', 'Memory status', 'Battery Size' 등을 새로운 속성으로 'AdaptationType'을 대신하는 새로운 속성 필드로 정의하고, 'AdaptationTypeValue'의 값을 해당 속성 필드의 값으로 하여 표현한 것이다. 본 발명의 실시 예에서, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'는 각기 독립적으로 혹은 복합적으로 사용될 수 있다.

또한, 상기 신규 속섣들이 의미하는 적응 기준을 제시하고 참조할 수 있는 신규 요소 및 속성을 정의하여, 이를 참조하는 방법을 제시할 수도 있다. 예를 들어 레이저 헤더 내부 또는 특정 위치를 참조하여, 적응 기준을 설명하는 적응 기준 리스트를 제공하고, 이를 참조할 수 있는 방법을 신규 속성으로 정의하여 레이저 헤더에서 필터링을 위한 방법으로 사용한는 것이다. 이들 속성 및 필드의 표현에 있어 변형이나 수정이 있다 하더라도, 본 발명에서 설명하는 적응형 데이터 표현을 위한 필터링을 수행하기 위한 수단으로 사용되는 경우, 이는 본 발명의 범주에 속하는 것임은 자명하다고 할 것이다.

다음은 본 발명의 또 다른 실시 예로써, LASeR 명령어 단위로 구분되는 장면의 단위로 'Adaptation' 정보가 다를 경우, 즉, 명령어 단위로 'Adaptation' 정보가 제공되는 경우를 위하여, 'adaptive scene component'임을 나타내는 정보 즉, 본 발명의 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 표현하는 방법을 설명한다.

다음의 <표 6>의 예를 보면, NewScene, Insert등의 LASeR 명령어 장면이 구분된다. 그러므로, <표 6>의 예는 4개의 장면 명령어로 이루어진 컨텐츠이다.

다음의 <표 7>은 명령어 단위로 Adaptation 정보가 제공되는 경우를 위하여, 본 발명의 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 LASeR 명령어의 새로운 속성으로 정의하여 표현하는 방법을 나타낸 것이다.

상기 <표 7>을 참조하면, "Dictionary"를 아이디 속성 값으로 가지는 엘리먼트에 새로운 장면구성 요소인 'polyline'을 삽입하기 위한 'Insert' 명령어의 장면은 디스플레이 사이즈 MEDIUM으로 분류되는 단말들을 위한 데이터임을 나타낸다. 그리고, "Shape4"를 아이디 속성 값으로 가지는 엘리먼트에 새로운 속성인 'points'을 삽입하기 위한 'Insert' 명령어의 장면은 디스플레이 사이즈 LARGE로 분류되는 단말들을 위한 데이터임을 나타낸다. 상기 <표 7>과 같은 데이터를 수신한 단말은 적응(adaptation)의 기준(criteria) 및 그에 대한 값에 따른 단말 자신과의 특성 및 조건에 따라, 해당 명령어를 수행하거나, 다음 장면을 수신할 때까지 디코딩하거나, 장면을 구성하거나, 렌더링하지 않고 폐기하는 등의 필터링을 수행할 수 있다.

다음의 <표 8a>은 LASeR 명령어 앞에 새로운 시그널링 필드를 추가하여, 세그먼트 단위로 Adaptation 정보가 제공되는 경우를 위하여, 본 발명의 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue'을 표현하는 방법을 나타낸 것이다.

상기 <표 8a>에서 새로이 추가한 'Adaptation' 필드는, 명령어의 헤더와 같은 개념으로 생각할 수 있다. 상기 예제와 같이, 본 발명에서 설명하는 단말의 성능에 적응 가능한 LASeR 데이터 스트림의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 알려주기 위한 필드 및 속성은 Adaptation 관련 정보를 제공하는 데이터의 단위에 따라 그 위치를 달리할 수 있다.

예를 들어, LASeR File 단위로 Adaptation 정보를 제공할 경우, LASeR Header에 위치할 수 있고, 장면 명령어 단위로 Adaptation 정보를 제공할 경우, <표 7>과 같이 LASeR 명령어의 속성으로 표현될 수도 있으며, <표 8a>과 같이 장면을 위한 새로운 헤더 역할을 수행할 수 있는 필드를 추가하여 표현할 수도 있으며, 장면 구성 요소 내의 새로운 요소나, 장면 구성 요소 각각을 위한 속성으로도 표현될 수 있다. 따라서, LASeR 데이터 스트림의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 알려주기 위한 필드 및 속성을 수신한 단말은 자신이 처리할 수 없는 데이터를 수신하였을 경우, 해당 필드 및 속성과 관련된 데이터를 디코딩하지 않고 폐기하거나, 이미 디코딩된 데이터라 할지라도 렌더링하지 않고 메모리에서 삭제하는 등의 폐기 과정을 수행하여 데이터를 필터링한다.

다음은 본 발명의 또 다른 실시 예로써, 장면을 표현하기 위한 데이터들의 집합을 필터링의 기준으로 하여 필터링 혹은 스위칭하기 방법에 대해 설명한다. 상기 장면을 표현하기 위한 데이터들의 집합은 장면 세그먼트(segment)등으로 표현할 수도 있다. 이 때, 장면을 표현하기 위한 데이터들의 집합이 헤더 정보를 가진다고 가정하여 설명한다.

먼저, 일정 동안의 장면을 표현하기 위한 데이터들의 집합이 여러 개의 스트림으로 나누어져 전달되는 경우, 즉, 동일한 시간 동안의 장면을 표현하기 위한 데이터들의 집합이 여러 개의 스트림으로 나누어져 전달되어, 그 중 단말 자신의 성능 및 상황에 맞는 스트림만을 골라 장면을 구성하는 데이터로 사용하는 방법에 대해 설명하고자 한다. 단말은 데이터를 수신하여, 헤더 정보를 확인하여, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 정보를 확인하고, 그에 따른 단말의 상태를 확인하여, 자신의 성능 및 상황에 적합한 데이터들의 집합을 포함하는 스트림만을 필터링하여 서비스를 제공할 수 있다. 이 때, 앞서 설명한 바와 같이 서비스를 제공하는 과정에 수행되어야 하는 디코딩 과정 혹은 장면 구성 과정을 거치지 않고 데이터를 폐기하는 등의 필터링 등이 수행될 수 있다.

또 다른 방법은, 일정 동안의 장면을 표현하기 위한 데이터들의 집합이 순차적인 데이터로 구성되어 하나의 스트림으로 전달되는 경우, 헤더 정보를 확인하여, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 정보를 확인하고, 그에 따른 단말의 상태를 확인하여, 자신의 성능 및 상황에 적합한 데이터들의 집합만을 필터링을 통하여 서비스를 제공할 수 있다. 순차적인 데이터로 구성되는 경우, 동일한 일정 동안의 장면을 표현하기 위한 정보들의 장면 구성 시간 정보는 같은 값을 가질 수 있으며, 이 정보를 활용하여 필터링 및 스위칭에 사용할 수도 있다. 또한, 반드시 위에서 설명한 방법이 아니라 해도, 본 발명에서 정의한 적응 관련 정보를 이용하여 장면을 표현하기 위한 데이터들의 집합을 필터링의 기준으로 하여 필터링 하는 방법이 가능하다.

한편, LASeR 콘텐츠는 여러 개의 논리적인 미디어 스트림을 하나의 물리적인 스트림으로 다중화하여 서비스할 수 있다. 이때, 각 스트림은 접근 단위(Access Unit) 단위로 처리될 수 있다. 이를 위한 포맷이 상기 통합포맷(SAF)으로, LASeR 스트림(Elementary Stream : ES)을 다중화 및 동기화하기 위해 개발된 기술이다. 상기 접근 단위(Access Unit)는 LASeR 콘텐츠(혹은 스트림)를 다중화하여 서비스하는 경우, 같은 시간에 처리되어야 하는 데이터의 기본 단위이다.

따라서, 본 발명의 또 다른 실시예로써, 단위 시간내에 표현되어야 하는 데이터들을 나타내는 최소단위인 접근 단위(Access Unit)를 이용한 필터링 혹은 스위칭 하기 방법에 대해 설명한다. 하나의 접근 단위에는 여러 개의 명령어가 포함 될 수 있다. 본 발명에서는 접근단위를 표현하기 위한 새로운 필드 혹은 요소를 제안한다.

상기 <표 8b>의 'SceneUnit'에는 하나의 접근 단위에 포함되는 NewScene, Refresh등의 명령어들이 포함될 수 있다. 또한, 'SceneUnit'은 본 발명에서 정의한, 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 등의 정보를 속성으로 가질 수 있다.

또 다른 사용법으로 SceneUnit은 다른 명령어들과 동일한 레벨로 Adaptation을 위한 새로운 명령어로 정의할 수 있다. 이때, SceneUnit은 하나의 명령어이자 동시에 동일한 적응 기준을 가지는 장면들을 포함하는 것이다. 예를 들어 다음과 같이 사용할 수 있다.

상기 <표 8c>에서 'adaptationConstraint' 속성은 'AdapatationType', 'AdaptationTypeValue'와 동일한 의미를 가지는 것으로, 'AdapatationType', 'AdaptationTypeValue' 정보를 참조할 수 있는 기능을 한다. 상기 'AdapatationType', 'AdaptationTypeValue'는 리스트 타입으로 여러가지의 적응 기준을 하나의 SceneUnit을 위하여 제공할 수 있다

이때 단말은 데이터를 수신하여, 'SceneUnit'의 'AdaptiveSceneIndicator', 'AdapatationType', 'AdaptationTypeValue' 정보를 확인하고, 그에 따른 단말의 상태를 확인하여, 자신의 성능 및 상황에 적합한 데이터만을 필터링을 통하여 서비스를 제공할 수 있다. 이 때, 앞서 설명한 바와 같이 서비스를 제공하는 과정에 수행되어야 하는 디코딩 과정 혹은 장면 구성 과정을 거치지 않고 데이터를 폐기하는 등의 필터링 등이 수행될 수 있다. 또한, 반드시 위에서 설명한 방법이 아니라 해도, 본 발명에서 정의한 적응 관련 정보를 이용하여 단위 시간내에 표현되어야 하는 데이터들을 나타내는 최소단위인 접근 단위(Access Unit, 이하 'AU'라 칭함) 이용한 필터링 하는 방법이 가능하다.

도 3은 본 발명에 따라 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 서비스하는 LASeR 스트림을 수신한 단말의 동작을 도시한 도면이다.

도 3을 참조하면, 300 단계에서 단말은 LASeR 스트림을 수신한다. 310 단계에서 단말은 상기 수신된 스트림의 각 AU의 헤더(Header)를 확인한다. 320 단계에서 단말은 장면을 구성하는 데이터들을 복호화(Decoding)한다. 330 단계에서는 단말은 상기 데이터들을 장면 구성 시간에 맞추어 디스플레이한다.

도 4는 본 발명의 제 2 실시 예에 따라 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 서비스하는 LASeR 스트림을 수신한 단말의 동작을 도시한 도면이다.

여기서, 도 4는, LASeR 스트림이 기본적으로 필요한 요소 외에 복잡하거나 많은 장면 구성 요소를 담고 있거나, 기본 장면에 부가되는 데이터인 경우, 혹은 가용 자원이 풍부한 단말을 위한 장면 구성 데이터인 경우, 즉, adaptive scene component임을 나타내는 정보를 이용하여 장면을 구성하는 단말의 동작을 도시한다. 또한 본 발명에서 설명하는 LASeR 데이터 스트림은 각 단말의 특성에 따른 구성 요소를 담고 있는 데이터 스트림도 포함한다. 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 서비스하는 종래의 LASeR 스트림의 경우, 헤더정보를 담고 있는 AU와 실제 장면을 구성하는 데이터를 담고 있는 AU는 별개로 구성된다.

도 4를 참조하면, 400 단계에서 단말은 LASeR 스트림을 수신하고, 410 단계에서 수신한 LASeR 스트림의 AU 헤더를 확인한다. 425 단계에서 단말은 수신한 AU가 헤더정보를 담고 있는 AU인지 확인한다.

425 단계에서 수신한 AU가 헤더정보를 담고 있는 AU이면, 단말은 430단계에서 AU의 설정정보를 확인한다. 상기 설정정보는 LASeR 스트림의 헤더 정보를 포함한다.

445 단계에서 단말은 'AdaptiveSceneIndicator' 필드의 값을 확인한다. 만약 상기 'AdaptiveSceneIndicator' 필드의 값이 FALSE이면, 단말은 440 단계로 진행하여 LASeR 스트림을 폐기하지 않도록 설정하고, 이후 수신될, 상기 수신한 헤더정보의 실제 데이터 즉, 수신되는 실제 장면을 구성하기 위한 데이터를 담고 있는 AU를 복호화한다. 이때, 통합포맷의 각 AU들은 각 AU의 특징 및 역할에 따라 각자 ISO/IEC 14496-20에 정해진 동작을 수행한다.

한편, 445 단계에서 'AdaptiveSceneIndicator' 필드의 값이 TRUE이면, 단말은 450 단계로 진행하여 단말의 성능을 확인하도록 한다. 여기서, 단말의 성능이 'adaptive scene component'를 서비스하기에 충분하지 않으면, 단말은 460 단계로 진행하여 단말이 이후 수신하는, 상기 수신한 Header정보의 실제 데이터 즉, 수신되는 실제 장면을 구성하기 위한 데이터를 담고 있는 AU를 더 이상 처리하지 않고, 즉, 복호화 및 메모리에 구성하거나, 렌더링하지 않고 폐기한다. 한편, 단말의 성능이 'adaptive scene component'를 서비스하기에 충분하면, 단말은 440 단계로 진행하여 LASeR 스트림을 폐기하지 않는다.

한편, 상기 425 단계에서 수신한 AU가 헤더정보를 담고 있는 AU가 아니면, 단말은 이후 헤더정보를 담고 있는 새로운 AU가 수신되기 전까지, 상기 도 4에서 설명한 헤더 정보를 담고 있는 AU의 실제 장면을 구성할 데이터를 담고 있는 AU에 대하여 465 단계로 진행하여 폐기 여부를 확인한다.

465 단계에서 단말은 수신된 AU가 폐기할 데이터가 아니면 설정된 정보를 확인하여, 480 단계로 진행한다. 480 단계에서 단말은 수신된 데이터를 복호화하고, 490 단계에서 복호화한 데이터를 화면에 디스플레이한다. 한편, 상기 수신된 AU가 폐기할 데이터이면, 단말은 470 단계로 진행하여 복호화 및 메모리에 구성하거나, 렌더링하지 않고 수신된 LASeR 스트림을 폐기한다.

상기 제 2 실시 예에서 단말의 스트림을 수신하여(400), AU의 헤더를 확인하고(410), 설정정보를 확인하여(430), 'AdaptiveSceneIndicator' 필드의 값을 바탕으로(445), 이후 단말이 수신하는 헤더 정보를 담고 있는 AU의 실제 장면을 구성할 데이터를 담고 있는 AU를 복호화하여(480) 화면에 디스플레이하거나(490), 복호화 및 이후의 모든 과정을 거치지 않고 폐기하는 일련의 과정을 제외한 나머지 과정들은 단말에 따라 순서가 바뀔 수도 있고, 생략될 수도 있다. 또한 'AdaptiveSceneIndicator' 및 본 발명에서 새로이 정의하는 필드 및 속성을 이용하여, 본 발명과 동일한 서비스를 제공할 수 있다면, 이는 단말의 수행 절차에 수정이나 변경이 있다 하여도 본 발명에 속하는 것임은 자명하다.

제 2 실시 예에서 설명한 바와 같이, LASeR 데이터를 여러 개의 논리적인 스트림을 하나의 물리적 스트림으로 다중화하여 제공하는 경우, LASeR 헤더를 헤더 타입의 데이터를 전송하기 위한 통합포맷(SAF)의 AU로 전송할 수 있다. 이때, 'AdaptiveSceneIndicator' 및 본 발명에서 새로이 정의하는 필드 및 속성을 <표 9>와 같이 표현할 수 있다.

다음의 <표 10b>는 본 발명의 또 다른 실시 예로, <표 10a>와 같이 현재 통합포맷(SAF)의 패킷 헤더(Packet Header)의 presenceOfDTS field는 0으로 presetting되어 사용되지 않으므로, 해당 field의 1bit를 본 발명에서 설명하는 AdaptiveSceneFlag를 위하여 할당하는 방법을 나타낸 것이다. 본 실시 예에서 <표 10b>의 'AdaptiveSceneFlag'가 참인 통합포맷(SAF) 패킷을 수신한 단말은 AU를 확인하기 전에 패킷 헤더 확인을 통해서 데이터 스트림이 각 단말의 특성에 따른 구성 요소를 담고 있는 적응형 데이터 서비스를 위한 데이터를 포함하고 있음을 알 수 있다.

다음은 본 발명의 또 다른 실시 예로써, 통합포맷(SAF)의 새로운 AU 타입으로 단말의 특성에 적응 가능한 LASeR 데이터 스트림의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 알려주기 위한 'SAF_AdaptiveScene_Unit'을 정의한 것이다. 'SAF_Adaptive_Unit'은 이후 수신될 통합포맷(SAF) AU의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 알려줄 수 있다. <표 11>은 'SAF_AdaptiveScene_Unit'을 통합포맷(SAF)의 새로운 타입으로 명시한 것이다. 'Stop_AdaptiveScene_Unit'은 앞서 수신한 'SAF_AdaptiveScene_Unit'의 적응(adaptation)의 기준(criteria) 및 그에 대한 값에 따른 데이터를 담고 있는 통합포맷(SAF) AU가 더 이상 수신되지 않음을 나타낸다.

상기 'SAF_AdaptiveScene_Unit'은 하기의 <표 12a> 내지 <표 12d>와 같이 표현될 수 있다.

상기 <표 12a> 내지 <표 12d>에서 'adaptiveSceneIndicatorFlag' 필드는 해당 필드에 의해 표현될 수 있는 이후 수신될 통합포맷(SAF) AU 데이터 스트림이 'Adaptive scene component'임을 알려준다. 'adaptiveSceneIndicatorFlag'는 <표 12b> 내지 <표 12d>에서와 같이 필드 값에 따라 이후 표시할 값의 표현 여부를 결정할 수 있다. 'adaptiveSceneIndicatorFlag'는 'SAF_AdaptiveScene_Unit'의 존재 자체가 해당 필드값이 '참'임을 나타낸다고 할 경우, 사용하지 않을 수 있다.

'AdaptationType' 필드는 데이터 스트림의 적응(adaptation)의 기준(criteria)을 나타낸다. 'AdaptationType'의 속성 값은 속성 값의 타입에 따라, 제 1 실시 예에서 설명한 바와 같이 다양한 방법으로 표현할 수도 있으며, 그에 따라 할당된 비트(bit) 값은 달라질 수 있다. 또한 'AdaptationType'을 표현하는 다양한 방법 중 참조하여 표현하는 방법이 사용될 경우, 'url' 타입을 위한 새로운 필드 및 'urlLengh'등이 새로이 추가될 수 있다.

'AdaptationTypeValue'는 데이터 스트림의 적응(adaptation)의 기준(criteria)의 값을 표현하는 필드이다. 상기 예제에서 'numOfAdaptationType' 필드는 데이터 스트림에 적용 가능한 적응(adaptation)의 기준(criteria)이 둘 이상일 경우를 위한 것이다. 'adaptationTypeValueLength' 필드는 AdaptationTypeValue의 데이터 노드를 나타내기 위한 길이 정보로 이는 경우에 따라 사용할 수도 있고, 사용하지 않을 수도 있으며, 이러한 데이터 노드를 나타내기 위한 길이 정보를 제공하는 필드는 정보의 표현 방법에 따라 'AdaptationType'을 위한 데이터 노드의 길이 정보를 제공하는 필드 등이 추가될 수도 있다.

다음은 본 발명의 또 다른 실시 예로써, 통합포맷(SAF)의 새로운 AU 타입으로 단말의 특성에 적응 가능한 데이터 스트림을 담을 수 있는 통합포맷(SAF)의 AU, 'AdaptiveSceneAU', 'AdaptiveSceneCacheUnit', 'AdaptiveSceneFFU', 'AdaptiveSceneFU'을 정의한 것이다.

'AdaptiveSceneAU'은 단말의 특성에 적응 가능한 데이터 스트림을 담을 수 있는 AU의 타입을 의미하고, 'AdaptiveSceneCacheUnit'은 단말의 특성에 적응 가능한 캐쉬 데이터를 담을 수 있는 AU 타입을 의미한다. 단말의 특성에 적응 가능한 데이터 스트림의 크기가 AU의 크기보다 클 경우, 데이터를 분할(Fragmentation)하여 제공할 수 있다. 이때, 분할된 데이터의 맨 처음 AU는 'AdaptiveSceneFFU', 나머지 데이터 조각은 'AdaptiveSceneFU'에 담을 수 있다.

하기 <표 13>은 'SAF_AdaptiveScene_Unit'을 통합포맷(SAF)의 새로운 타입으로 명시한 것이다.

상기 'AdaptiveSceneAU'은 하기의 <표 14a> 및 <표 14b>와 같이 표현될 수 있다. 'AdaptiveSceneAU'은 <표 14b>와 같이 자신이 담고 있는 데이터의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 표현할 수 있다. 'AdaptiveSceneAU'을 비롯하여 'AdaptiveSceneCacheUnit', 'AdaptiveSceneFFU', 'AdaptiveSceneFU'에서도 자신이 담고 있는 데이터의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 표현하는 방법은 <표 12a> 내지 <표 12d>의 실시 예에서 설명한 것과 같이 표현할 수 있다.

상기 'AdaptiveSceneCacheUnit'은 하기의 <표 15a> 및 <표 15b>와 같이 표현될 수 있다. 'AdaptiveSceneCacheUnit'은 <표 15b>와 같이 자신이 담고 있는 데이터의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 표현할 수 있다.

상기 'AdaptiveSceneFFU'은 하기의 <표 16a> 및 <표 16b>와 같이 표현될 수 있다. 'AdaptiveSceneFFU'은 <표 16b>와 같이 자신이 담고 있는 데이터의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 표현할 수 있다.

상기 'AdaptiveSceneFU'은 하기의 <표 17a> 및 <표 17b>와 같이 표현될 수 있다. 'AdaptiveSceneFU'은 <표 17b>와 같이 자신이 담고 있는 데이터의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 표현할 수 있다. 'AdaptiveSceneFU'의 경우, 'AdaptiveSceneFFU'에 적용되는 데이터의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 따르도록 할 수도 있다.

또한, 상기와 같은 방법으로, 새로운 통합 포맷의 Unit타입을 정의하지 않더라도, Header Unit(0x01, 0x02, 0x07) 타입 및 SAF의 AU 타입 Unit(0x04, 0x06)을 비롯한 기존의 통합포맷의 각 Unit에에 Adaptive Scene Indicator, AdaptiveType, AdaptiveValue 등의 적응기준을 나타내는 필드들을 추가하여 확장할 수 있다. 그리고, 적응기준의 각 필드들을 정의하는데 있어 할당되는 데이터의 크기 등의 정보는 정보의 데이터 타입에 따라 다르게 할당되거나 표현될 수 있다

도 5는 본 발명의 실시 예에 따라 LASeR 콘텐츠를 서비스하는 예를 설명한 도면으로, 본 발명의 각 실시 예에 따라 구체적인 동작의 차이는 있을 수 있음은 자명하다.

참조번호 500은 헤더를 담고 있는 AU이다. 참조번호 500 및 530의 AU는 본 발명의 각 실시 예에 따라, 헤더 타입 뿐만 아니라, 'SAF_AdaptiveScene_Unit'등 데이터 스트림의 적응(adaptation)의 기준(criteria) 및 그에 대한 값을 알려주기 위한 필드 및 AU가 될 수 있다. 상기 헤더의 참조번호 510과 같이 'AdaptiveSceneIndicator'가 'TRUE'로 설정되어 있으면, 단말은 자신의 현재 상태를 확인한다. 여기서, 단말은 가용 가능한 자원을 확인하거나, 또는 CPU 처리 능력, 메모리나 배터리 등과 같은 조건 및 이벤트 상황을 고려한다. 단말의 현재 상태가 adaptive scene component를 처리하기에 충분하면, 단말은 이후 수신되는 참조번호 520와 같은 데이터를 복호화하여, 디스플레이한다.

이때, 본 발명의 실시 예에 따라 참조번호 520 데이터의 범위는 다음의 적응(adaptation) 데이터의 여부 적응 기준(criteria) 및 그에 대한 값에 대한 필드를 가지는 데이터나 헤더를 수신할 때까지일 수도 있고, 해당 데이터에 해당하는 적응(adaptation)의 기준(criteria) 및 그에 대한 값이 더 이상 유효하지 않음을 시그널링하는 'stop_AdaptiveScene_Unit'을 수신하였을 경우 참조번호 520의 데이터가 모두 수신되었음을 나타낼 수도 있다.

한편, 그 후 참조번호 530과 같이 헤더를 포함하고 있는 AU를 수신한 단말은, 참조번호 540과 같이 헤더 정보를 확인하여, AdaptiveSceneIndicator 가 TRUE인지를 확인한다. 그 후, 단말이 adaptive scene component를 처리하기에 충분하지 않으면, 이후 수신되는 장면구성의 실제 데이터를 담고 있는 참조번호 550의 AU들을 모두 복호화하지 않고 폐기한다. 본 발명의 각 실시 예에 따라 이미 복호화 과정을 거친 데이터라 할지라도 본 발명에서 설명하는 적응(adaptation)의 기준(criteria) 및 그에 대한 값에 따른 필터링 메커니즘에 따라 구성 메모리에서 삭제하는 등의 데이터 폐기를 수행한다.

상기 본 발명의 실시 예에서의 방법에 따라 LASeR 콘텐츠를 서비스하고 있는 도중, 단말의 성능이 변화할 경우에도, 특정 조건이나 단말의 성능을 고려하여 보다 유연하게 장면을 구성할 수 있다. 본 발명에서 정의한 요소나 속성들이 가지는 의미가 동일한 경우 상기 요소 및 속성이나 속성 값들의 이름이나 타입은 다른 것으로 사용될 수 있음은 물론이다. 또한 본 발명의 각 실시 예에서 설명하는 필드나 속성 등은 모두 각기 독립적으로 또는 복합적으로 사용될 수 있음은 물론이다.

도 6은 본 발명의 실시 예에 따른 송신기의 구조를 나타낸 블록도이다.

도 6을 참조하면, 콘텐츠 생성부(600)는 본 발명의 실시 예들에서 설명한 특정 조건이나 단말의 특징 및 성능을 나타내거나 확인할 수 있는 장면 구성 요소 및 속성 들을 포함하는 장면 구성 요소들을 생성할 수 있다. 또한, 장면 구성 요소 작성시, 이벤트의 사용이나 이벤트 발생에 따른 동작에 대한 내용도 생성할 수 있다. 콘텐츠 생성부(600)는 생성된 LASeR 콘텐츠를 인코더(610)로 전달한다. 인코더(610)는 LASeR 콘텐츠를 부호화하여 다중화부(620)로 전달한다. 다중화부(620)는 상기 부호화한 LASeR 콘텐츠를 여러 논리적 스트림들과 함께 하나의 물리적 스트림으로 다중화한다.

콘텐츠 송신부(630)는 다중화된 스트림을 수신기로 전송한다. 여기서, 상기 부호화된 LASeR 콘텐츠는 다중화 과정을 거치지 않고 전송 가능하다. 이는 본 발명의 제 1 실시 예에서와 같이 생략될 수 있다.

도 7은 본 발명의 실시 예에 따른 수신기의 구조를 나타낸 블록도이다.

도 7을 참조하면, 역다중화부(700)는 수신된 스트림을 각각의 논리 스트림으로 구분한다. 여기서 다중화를 수행하지 않은 스트림의 경우, 상기 역다중화 과정은 생략될 수 있다.

디코더(710)는 역다중화된 스트림을 디코딩하여 렌더러(720)로 전달한다. 렌더러(720)는 디코딩된 데이터를 수신하여, 본 발명의 실시 예에 따른 특정 조건이나 단말의 특징 및 성능을 나타내거나 확인할 수 있는 장면 구성 요소 및 속성 들을 포함하는 장면 구성 요소들을 바탕으로 해당 장면을 렌더링하여 출력한다. 디스플레이부(730)는 단말의 화면에서 각 장면을 디스플레이한다.

본 발명에서 신규로 정의한 요소 및 속성의 위치에 따라 정보를 정의하는 방법은 달라질 수 있다. 그 각각의 데이터 정의 포맷에 따라 상기 신규로 정의한 요소 및 속성 정보들은 헤더 정보등과 같이 초기 장면 구성을 위한 정보, 장면 갱신(update),장면 갱신 정보 그룹(update data group), 장면 조각(Scene Segment), 접근단위(Access Unit)등을 위한 시그널링 정보로 구성되어 표현될 수 있으며, 시그널링을 위한 장면 구성을 위한 실제 장면 정보와는 별도의 접근단위 또는 헤더 정보로도 구성될 수 있다. 시그널링을 위한 데이터 포맷으로 구성될 경우 상기 신규로 정의한 요소 및 속성 정보들을 상기 정보를 표현하기 위한 각각의 필드로 구성될 수 있다.

본 발명에서 신규로 정의한 상기 속성들의 속성값으로 사용되는 정보는 상기 LASeR 내/외부의 다른 데이터, 파일, 응용프로그램, 서비스 등을 참조하여 사용하도록 할 수도 있다. 이때 속성을 LASeR 내부에 정의하여, 속성값만을 참조할 수도 있고, 속성 자체도 다른 데이터, 파일, 응용프로그램, 서비스 등으로 정의되어 있는 것을 참조의 기능을 가진 요소 및 속성을 이용하여 참조할 수도 있다. 참조의 기능을 가진 요소 및 속성을 이용하여 속성 및 속성값을 참조하는 경우라 하여도, 본 발명에서 설명하는 속성의 기능과 동일한 목적을 위하여 사용된다면 그것은 본 발명의 영역에 속하는 것임이 자명하다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명이 적용되는 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 2는 본 발명의 제 1 실시 예에 따라 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 3은 본 발명이 적용되는 LASeR 서비스에서 데이터 스트림을 다중화하여 서비스하는 경우, LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 4는 본 발명의 제2 실시 예에 따라 LASeR 데이터 스트림을 수신한 단말의 동작을 도시한 흐름도,

도 5는 본 발명에 따른 LASeR 콘텐츠를 서비스하는 동작을 도시한 도면,

도 6은 본 발명에 따른 송신기의 구조를 나타낸 블록도,

도 7은 본 발명에 따른 수신기의 구조를 나타낸 블록도.

Claims (2)

1. 리치미디어 콘텐츠의 장면 구성을 위한 방법에 있어서,

   송신기가 장면 구성 정보의 특성에 관한 정보를 포함하는 리치 미디어 콘텐츠를 생성하여 단말로 전송하는 과정과,

   상기 단말이 상기 리치 미디어 콘텐츠를 수신하는 과정과,

   상기 단말이 상기 리치 미디어 콘텐츠의 헤더에 포함되어 있는 상기 단말의 특정 조건이나 특정 이벤트의 발생 및 단말의 성능(capability)을 나타내는 정보를 확인하는 과정과,

   상기 자신의 단말 성능과 상기 리치 미디어 콘텐츠에 포함되어 있는 상기 정보를 비교하는 과정과,

   상기 단말의 성능에 따른 장면 구성 데이터의 사용 여부를 선택하여, 서비스될 장면을 구성하는 과정을 포함함을 특징으로 하는 리치미디어 콘텐츠의 장면 구성 방법.
2. 리치미디어 콘텐츠의 장면 구성을 위한 장치에 있어서,

   장면 구성 정보의 특성에 관한 정보를 포함한 리치 미디어 콘텐츠를 생성하여 단말로 전송하는 송신기와,

   상기 리치 미디어 콘텐츠를 수신한 후, 상기 단말의 특정 조건이나 특정 이 벤트의 발생 및 단말의 성능(capability)과 상기 리치 미디어 콘텐츠에 포함된 정보를 비교하며, 상기 단말의 성능에 따른 장면 구성 데이터의 사용 여부를 선택한 후, 서비스될 장면을 구성하는 수신기를 포함함을 특징으로 모바일 환경에서 리치미디어 콘텐츠 장면 구성 장치.

Images