KR101804347B1

KR101804347B1 - 적응적 스트리밍 방식의 컨텐트 송수신 방법 및 장치

Info

Publication number: KR101804347B1
Application number: KR1020170094838A
Authority: KR
Inventors: 유성열; 황서영; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2010-07-20
Filing date: 2017-07-26
Publication date: 2017-12-05
Also published as: US20170126769A1; EP3813381A1; EP2596629A4; WO2012011735A2; US9628534B2; US20120023253A1; ES2944705T3; KR20170091066A; WO2012011735A3; EP2596629A2; KR20120015254A; EP3425921B1; US20150334147A1; ES2870552T3; US9871844B2; FI3813381T3; EP3813381B1; EP3425921A1; KR101768222B1; US9060185B2

Abstract

본 발명의 실시 예에 따른 수신기에 의해 적응적 스트리밍 메커니즘(adaptive streaming mechanism)을 이용하여 콘텐트를 수신하는 방법에 있어서, 기간 요소(period element)를 포함하는 미디어 프리젠테이션 디스크립션(media presentation description)을 수신하는 과정과, 여기서 상기 기간 요소는 서브셋의 정보를 포함하고 상기 서브셋은 적어도 하나의 그룹을 포함하고, 상기 서브셋을 확인하는 과정을 포함하며, 상기 적어도 하나의 그룹은 상기 콘텐트에 대한 적어도 하나의 리프리젠테이션(representation)을 포함하고, 상기 서브셋에 포함된 리프리젠테이션들은 상기 콘텐트에 대하여 다른 속성을 가짐을 특징으로 한다.

Description

적응적 스트리밍 방식의 컨텐트 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING/RECEIVING CONTENT OF ADAPTIVE STREAMING MECHANISM}

본 발명은 적응적 스트리밍 서비스에 관한 것으로, 특히 적응 스트리밍 서비스를 통해 방송 컨텐트를 송수신 방법 및 장치에 관한 것이다.

최근에는 온라인 컨텐츠를 이용하는 사용자의 증가로 인하여 컨텐츠의 원활한 전송의 중요성이 대두되고 있다. 이에 가용한 전송 대역폭이나 사용자의 기기 성능의 변화에 따라 컨텐츠의 비트 레이트(Bit Rate)가 부드럽게 바뀌어 전송되는 적응 스트리밍(Adaptive Streaming) 기술이 화두 되고 있다. 이러한 적응 스트리밍 기술은 사용자의 네트워크 환경을 분석해 비트 레이트를 최적화하는 기술이다. 이렇듯 적응 스트리밍과 같은 HTTP(Hyper Text Transfer Protocol) 프로토콜을 기반으로 작게 나누어진 컨텐츠의 단위를 사용자 단말이 상황에 따라 선택하여 재생(play) 함으로써 사용자가 지연(Delay)이나 끊김 현상 없이 컨텐츠를 이용할 수 있도록 하는 전송 기술이 여러 표준 단체에서 논의되고 있는 실정이다.

IP를 기반으로 한 컨버전스 시대에 있어 통신과 방송의 융합은 시장성이 높은 차세대 신규 비즈니스 모델로서 차세대 시장 선도 기술의 하나로 주목받고 있다. 특히, 방통 융합 서비스(Convergence of Broadcasting and Mobile Service : CBMS)의 가장 큰 축인 IPTV(Internet Protocol Television)는 기존의 TV, 음성, 데이터 기술을 하나로 재조합 또는 결합한 서비스 제공뿐 아니라 양방향성을 지원하여 더욱 다양한 비즈니스 모델과 서비스 창출이 가능한 기술이다. 특히, 이러한 IPTV 기술은 기존의 제한된 단말 환경에서 특화된 서비스 제공이 아닌 셋탑박스, PC, TV와 같은 고정형 단말 및 핸드폰, PDA(Personal Digital Assistants)등 이동형 단말 등, 유선 및 무선망 또는 방송 망등 단말 및 네트워크에 상관없이 서비스를 제공함으로써 동일한 서비스를 다양한 환경에서 제공 및 적용 가능할 뿐 아니라 다양한 환경을 고려함으로써 다양한 형태의 서비스 발굴이 가능하다.

본 발명은 디지털 방송 시스템에서 적응 스트리밍 방식의 방송 컨텐트 송수신 방법을 제공한다.

본 발명에 따르면 디지털 방송 시스템에서 적응적으로 스트리밍 방식의 방송 컨텐츠를 전송할 수 있다.

도 1은 본 발명이 적용되는 3GPP HAS 시스템에서 컨텐트를 저장할 시 초기화 세그먼트(initialization segment)의 문제점을 보이는 도면,
도 2는 본 발명의 실시 예에 따라 저장을 고려해 구성된 initialisation segment를 도시한 도면,
도 3은 본 발명의 실시 예에 따라 여러 개의 리프리젠테이션(representation)들에서 가능한 서비스 조합의 예를 도시한 도면,
도 4는 본 발명에 따라 MPD에서 Live content의 세그먼트의 유효 시간을 지시하기 위해 사용하는 timeShiftBufferDepth 시간 이후에는 해당 세그먼트가 CoD 서버를 통해 가용하도록 구성한 도면.

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

또한, 하기 설명에서는 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

후술될 상세한 설명에는 상술한 기술적 과제를 이루기 위한 본 발명에 있어서 대표적인 실시 예를 제시할 것이다. 또한 본 발명의 설명의 편의를 위하여 OIPF(Open IPTV Forum)에서 정의하고 있는 개체들의 명칭들을 동일하게 사용한 것이나, 이러한 표준 및 명칭들이 본 발명의 범위를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 적용 가능함은 물론이다.

먼저, 본 발명을 설명하기에 앞서 본 명세서에서 사용되는 3GPP HAS의 용어들에 대하여 정의하도록 한다.

HAS : HTTP 적응 스트리밍(Adaptive Streaming)

컨텐트(Content) : 영화, 음악, 뉴스 등의 창작물, 그의 저장 형태

컨텐트 컴포넌트(Content component) : 컨텐트를 구성하는 구성 요소; 예: 비디오, 오디오, 자막

리프리젠테이션(Representation) : 일(1) 표현형태. 낮은 화질, 높은 화질의 representation들이 존재 가능하나 context는 동일.

3GPP HAS는 동일한 컨텐트(content), 컨텐트 컴퍼넌트(content component)를 각기 다른 조건(네트워크 대역폭(network bandwidth), 해상도(resolution) 및 코덱(codec) 등)으로 인코딩(encoding)한 리프리젠테이션(representation)들과 전체 길이를 여러 등분의 피리어드(period)로 나누고 다시 period를 충분히 짧은 시간 (예 1초~10초) 정도의 세그먼트로 나누고(세그먼테이션(Segmentation)) 각 세그먼트의 파일명, 시퀀스 번호(sequence number), 시작시간, 길이 등을 명시하고 있는 MPD(Multimedia Presentation Description)(Manifest 파일역할)로 이루어진다.

상기 세그먼트는 해당 리프리젠테이션(representation)을 적절히 디코딩할 수 있도록 디코더 구성(decoder configuration)을 위한 정보를 갖는 초기화 세그먼트(initialisation segment)와 세그먼테이션(segmentation)된 컨텐트 컴퍼넌트(content component)들을 포함하는 미디어 세그먼트(media segment)들로 구성된다.클라이언트는 MPD를 먼저 받고 어떤 리프리젠테이션(representation)이 구비되어있는 지 확인한 후 클라이언트 장치의 성능, 캐패빌러티(capability), 네트워크 속도 등을 판단해 적합한 리프리젠테이션(representation)을 골라 프래그먼트(fragment)를 순서대로 다운로드(download) 하여 재생을 시작한다.

만약 네트워크 대역폭(network bandwidth)과 같이 변경 가능한 변수들이 변화하면, 즉 네트워크 속도가 높아지면 더 높은 bandwidth로 작성된 representation의 fragment를 골라 재생하며 결과적으로 네트워크의 속도에 따라 화질이 달라지지만 재생은 끊어지지 않고 지속되는 효과를 얻을 수 있다.

이러한 특징을 갖는 3GPP HAS 기술에 대한 다음과 같은 요구(requirement)들과 그에 대한 문제점 및 그에 대한 제안(즉, 본 발명의 실시 예)들은 다음과 같다.

Ⅰ. 컨텐트

1) 컨텐트와 컨텐트 컴포넌트의 모음(aggregation)

① 3GPP HAS 컨텐트의 저장

3GPP HAS 컨텐트는 네트워크 속도 등의 조건에 따라 여러 개의 representation에 속한 segment중 적합한 segment들을 선택해서 재생할 수 있다. 그리고 상기 선택된 segment를 순서대로 저장(concatenate)함으로써 컨텐트를 저장하는 것이 가능하다.

하지만, representation 별로 각기 다른 인코딩(encoding) 옵션으로 저작되어 있기 때문에 representation들은 각기 다른 initialisation segment를 갖게 되는 문제점이 있다.

도 1은 본 발명이 적용되는 3GPP HAS 시스템에서 컨텐트를 저장할 시 초기화 세그먼트(initialization segment)의 문제점을 보이는 도면이다.

도 1에서 참조번호 100과 같이 리프리젠테이션(representation)별로 각기 다른 초기 세그먼트(initialisation segment)가 존재하고 여기에 전송받은 미디어 세그먼트(media segment)(110)를 붙여 저장하는 경우 기존의 초기 세그먼트(initialisation segment)들 중 하나만을 저장하는 것은 다른 리프리젠테이션(representation)의 미디어 세그먼트(media segment)를 재생하기 위한 정보를 잃게 되는 것과 같다.

이에 따라, 본 발명의 제1 실시 예에서 상기 3GPP HAS 컨텐트를 저장할 때 발생하는 문제점을 해결하기 위한 방법들을 제안한다.

본 발명의 제1 실시 예에서 서로 다른 representation의 media segment들을 저장하고 나중에 재생(later replay)이 되게 하려면 다음과 같은 2가지 방법이 있다.

첫 번째로 클라이언트 장치가 ISOFF 재구성 기능을 갖는 경우이다.

이러한 경우에는 클라이언트 장치가 새로운 버전의 initialisation segment를 다음과 같은 단계로 재구성한다.

- 모든 initialisation segment, 또는 네트워크 속도 등의 조건에 따라 다운로드 받은 representation에만 해당하는 initialisation segment를 다음과 같은 순서로 병합한다.

- 각 Initialisation segment는 세그먼트임을 나타내는 'styp', 'moov' 등의 박스로 구성되어 있다.

- 병합을 위해 'moov'박스 안에서 'trak' 박스들을 모은다.

- 'trak' 박스의 track ID가 겹치는 경우 겹치지 않도록 새로운 ID와 치환한다.

- 모든 'trak' 박스를 'moov' 박스에 넣어 새로 작성된 'moov' 박스를 이용하여 initialisation segment로 재구성하여 저장한다.

상기 재구성된 initialisation segment와 함께 media segment를 그대로 저장하게 되면 다음과 같은 문제가 발생할 수 있다; 즉, track ID가 겹치는 경우 Initialisation segment의 'moov' 내의 'trak" 내의 track ID를 임의로 치환했기 때문에 1) 해당하는 track ID가 media segment 내에 없거나 2) media segment들의 track ID가 같은 경우 적절한 decoding configuration을 적용할 수 없기 때문에 클라이언트 장치가 정상적인 재생을 할 수 없다.

따라서 클라이언트 장치는 새로운 버전의 media segment도 다음과 같은 단계로 재구성해야 한다.

- Media segment를 다운로드한 후 track ID의 치환 규칙에 따라 변경해야 한다.

- 각 media segment는 세그먼트임을 나타내는 'styp', 'sidx', 'tfad', 'moof', 'mdat' 등의 박스로 구성되어 있다.

- 치환을 위해 'sidx' 박스가 있으면 이를 열어 reference track ID를 치환한다.

- 치환을 위해 'moof' 박스 안에서 'traf' 박스를 열어 track ID를 치환한다.

- 수정된 'sidx', 'moof' 박스를 이용하여 media segment를 저장한다.

상기 재구성된 initialisation segment와 media segment들은 연속하여 저장되면 나중에 재생이 가능하다.

두 번째로 컨텐트 제공자가 컨텐트의 저장을 고려하는 경우이다.

컨텐트 제공자가 클라이언트 장치에서 컨텐트가 저장되는 경우를 고려하여 initialisation segment를 구비하면 클라이언트 장치는 세그먼트들에 대한 별도의 수정없이 그대로 저장하여 나중에 재생하는 것이 가능하다.

컨텐트 제공자는 모든 representation들에 걸쳐 track ID를 겹치지 않도록 구성한다.

컨텐트 제공자는 각 representation의 initialisation segment가 다른 모든 representation내에 존재하는 content component에 대한 decoding configuration을 갖도록 구성한다.

부가적으로 MPD를 구성할 때 각 representation들이 동일한 initialisation segment를 지시하도록 구성할 수도 있다.

도 2는 본 발명의 제1 실시 예에 따라 재구성된 initialisation segment를 도시한 도면이다.

이에 따라 3GPP HAS에는 서술한 동작과 함께 MPD와 파일 포맷(file format)에 다음과 같은 변경이 제안된다:

- MPD

- 모든 representation은 동일한 initialisation segment 파일을 지시한다.

- representation 공통의 initialisation segment를 사용해 어떤 Representation을 선택했을 때 어떤 content component를 재생하는지 서술하기 위해 oipf:component를 사용한다. Representation별로 content component의 ID와 type을 추가 서술하기 위해 사용한다.

- 모든 oipf:component는 기존 optional인 ID 속성을 반드시 사용해야 한다.

- File Format

- Initialisation segment는 모든 representation의 track의 decoding을 위한 정보를 포함해야 한다. 따라서 하나의 'moov'에 모든 'trak' 박스가 포함되게 된다.

- Track ID는 고유해야 한다; 서로 다른 content component간에 track ID가 겹치지 않아야 한다.

② 공통의 content component들을 사용해 복수 개의 서비스들을 제공한다.

3GPP HAS 컨텐트의 구성

3GPP HAS 컨텐트는 representation들이 조합되어 비디오+오디오, 비디오 without 오디오 및 오디오 without 비디오 와 같은 조합의 구성이 가능하다.

하지만 클라이언트 장치가 네트워크 속도 등의 조건에 따라 임의로 best effort하는 경우로, 컨텐트 구성자(creator)가 명시적으로 조합에 대해 서술할 수 있는 방법이 없다.

도 3은 본 발명의 제2 실시 예에 따라 여러 개의 리프리젠테이션(representation)들에서 가능한 서비스 조합의 예를 도시한 도면이다.

도 3에서와 같이, 컨텐트 구성자는 영어로 구성된 여러 bit-rate의 representation들(305)이 존재하고 spanish audio track(310)이 별도 존재할 때, video와 english audio(315), video와 spanish audio(320) 등과 같이 Content component들을 조합하여 여러 가지 서비스가 가능하게 할 수 있다.

이에 따라 본 발명의 제2 실시 예에서 컨텐트 구성자가 Content component들을 조합해 여러 가지 서비스가 가능하게 하는 방법을 제안한다.

본 발명의 제2 실시 예에서 컨텐트 구성자가 Content component들을 조합해 여러 가지 서비스가 가능함을 표현하기 위해, representation과 representation내의 content component와, representation들의 집합인 group들의 조합을 지시하는 service를 다음의 <표 1>과 같이 제안한다.

상기 <표 1>에서 Services는 조합 가능한 service들이 있음을 나타내고, Service는 각 서비스를 나타낸다. 그리고, 상기 <표 1>에서 Service내에서는 representation, group, content component등이 참조되고, Group의 경우 type을 명시하면 해당 group중 video나 audio와 같이 하나의 content component type만을 참조함을 나타낸다.

이에 따라 3GPP HAS에는 다음과 같은 변경이 제안된다:

- MPD

- Period는 services를 element로 가진다.

- Services는 service를 element로 가진다.

- Service는 ID와 description을 속성으로 가진다.

- Service는 representationInfo, groupInfo, componentInfo를 element로 가진다.

- RepresentationInfo는 refID를 속성으로 가지고 참조할 representation을 지시한다.

- GroupInfo는 refID를 속성으로 가지고 참조할 group을 지시한다.

- GroupInfo는 type을 속성으로 가지고 group내에서 참조할 content component 형식을 지시한다.

- Representation은 ID를 속성으로 추가한다.

- Service element가 존재하면, 모든 representation은 ID를 가져야 한다,

이러한 service 정보는 MPD 내 또는 다른 MPD, 다른 세그먼트 파일 등 여러 위치에 존재할 수 있다.

③ 전송 형식과 저장 형식간 변환

- 3GPP HAS 컨텐트의 변환 :

3GPP HAS는 전송을 위해 MPD를 사용하나 저장된 형식에서 MPD로의 변환은 서술하고 있지 않다. 이에 따라, 전송에 관련된 정보는 모두 MPD에 들어 있으므로 저장시 MPD를 저장하지 않으면 전송형식으로 변경하기 위한 정보가 없다. 그리고 3GPP HAS는 MPD나 MPD를 지시하는 link를 initialisation segment에 embed하여 저장할 수 있도록 하고 있으나 이를 강제하고 있지 않다.

이에 본 발명의 제3 실시 예에서는 MPD를 Initialisation segment에 embed하도록 강제하고, MPD가 있을 때 전송 형식으로 변환하는 방법을 아래와 같이 제안한다.

- 전송 형식으로 변환하기 위해, MPD로부터 representation에 대한 정보를 읽고 저장된 파일로부터 track information을 읽어들인다.

- 저장된 파일을 track information에 따라 segment 단위로 분리하여 파일로 저장한다.

- 만약 전송 형식이 self-initialisation segment인 경우시작위치로부터의 offset을 계산하여 MPD를 update한다.

그리고 본 발명의 제3 실시 예에서 3GPP HAS에는 서술한 동작과 함께 다음과 같은 변경이 제안된다:

- MPD

- Initialisation segment는 MPD와 link를 embed해야 한다.

④ 이전에 전송된 content component와 현재 전송되는 content component의 재생

3GPP HAS는 이전에 전송한 content component에 대해 저장 여부, 저장 기한, 또는 저장된 content component를 지시하는 방법 등에 대해 서술하고 있지 않다.

그리고 3GPP HAS는 Period에 명시된 start attribute 값이 Period내 전체 representation(segment들의 집합)에 적용된다, Representation은 별도의 시간 정보를 가지지 않고, segment는 duration 값만을 가지고 있다. 그래서, cache를 한다고 해도, Period 전체를 cache하게 된다. 이는 다시 말하면, content component가 독립적으로 사용되거나, 재사용할 수 없음을 말한다.

이에 본 발명의 제4 실시 예에서는 이전에 전송된 컨텐트와 현재 컨텐트를 같이 재생하기 위해서는 content component가 이전에 전송된 후 나중에 재사용될 수 있도록 저장되어야 한다. 그리고 언제까지 재사용하고 이후에는 재사용하지 않을 것인지 기간 또는 기한이 명시되어야 한다.

또한 로컬에 미리 전송되어 저장되어 있는 component를 현재의 component와 함께 재생되도록 지시하고 만약 저장되어 있지 않은 경우 서버에 available 한 링크를 아래의 <표 2>와 같이 제공하여야 한다.

상기 <표 2>에서 expirationUTC는 절대 시간으로 언제까지 이 representation을 재사용할 지를 나타내고, Identifier는 저장된 representation을 구분하기 위한 식별자로서 사용된다.

위 속성을 사용하여 클라이언트 장치는 다음과 같은 순서로 이전에 전송된 content component를 재사용하거나, 다음에 재사용하기 위해 content component를 저장하거나, 만료된 content component를 삭제하는 등의 관리하는 것이 제안된다.

- MPD에서 Representation, Content component, Group등에 expirationUTC가 속성으로 제시된다.

- 클라이언트 장치는 Identifier 또는 segment의 URL을 식별자로서 사용하여 그러한 content component또는 단일 파일들이 장치에 연결된 저장장치에 저장되어 있는지 확인한다.

- 식별자가 동일하고 세그먼트 파일 이름이 같거나, 세그먼트의 URL의 일부분이 저장된 파일의 경로의 일부분과 동일하거나, 별도의 데이터베이스에 의해 관리되고 있는, 파일의 전체 또는 일부분이 일치하는지 확인하는 단계를 포함한다.

- 저장되어있는 파일의 전체 또는 일부분이 발견되면, 해당 파일을 사용하여 재생한다.

- 만약 저장되어 있는 파일이 없으면, 컨텐트 서버로부터 해당 파일 또는 파일의 일부분을 전송받은 후 클라이언트 장치에 연결된 저장장치에 저장한다.

- 저장은 Identifier, 세그먼트의 base URL 등을 폴더 이름 또는 파일 이름의 일부분으로 사용할 수 있다.

- 저장 기한을 서술하기 위해 별도의 database를 사용하거나 폴더 이름 또는 파일 이름의 일부분으로 저장 기한을 사용할 수 있다.

- 클라이언트 장치는 새로운 content component의 저장의 시기에, 클라이언트 장치에 연결된 저장 장치의 빈 공간이 모자라는 경우 유효기간이 만료된 파일을 삭제하거나, 클라이언트 장치의 동작 개시와 함께 저장 장치의 검색을 통해 유효기간이 만료된 파일을 삭제하거나, 데이터베이스의 확인을 통해 유효기간이 만료되는 시점에 해당하는 파일들을 삭제한다.

- 이에 따라 본 발명의제4 실시 예에서 3GPP HAS에는 서술한 동작과 함께 다음과 같은 변경이 제안된다.

- MPD

- Representation은 나중에 재 사용되는 경우 expirationUTC와 identifier를 가져야 한다.

- ExpirationUTC는 나중에 재 사용되기 위해 저장된 파일이 더 이상 사용되지 않아 삭제되어도 무방한 시점을 나타낸다.

- Identifier는 서로 다른 MPD에서 동일한 content component를 재사용하기 위해 사용하는 식별자를 나타낸다.

2) 컨텐트의 형식

① Timed metadata의 지원

특정 시점 또는 시점부터 일정 기간동안 의미있는 timed metadata의 지원이 고려된다. 3GPP HAS 컨텐트는 ProgramInformation에 title, 저작권 등의 정보를 표시하도록 되어있다.

하지만 ProgramInformation은 MPD 전체에 해당되는 metadata로서, timed metadata가 아니다. 또한 해당 metadata가 적용되는 시점을 특정한다거나, 적용되는 시간 구간을 특정할 수 없다.

이에 본 발명의 제5 실시 예에서는 MPD와 File Format에 모두 timed metadata를 적용하기 위한 방법을 제안한다. 그리고 MPD는 한 개 또는 그 이상의 Period를 서술하므로, timed metadata의 시점을 제안하기 위해서 Period 아래의 <표 3>과 같이 Timed Metadata를 신설하고 시작 시점과 기간과 metadata를 서술한다. 상기 Timed Metadata는 컨텐츠 특징을 확장 해 줄 수 있는 element로 장면, 컨텐츠 특징에 따라 다양한 위치에 삽입되어 다양한 효과를 구현 할 수 있다. 예컨데, Period 레벨에 적용 되어 시간 도메인 상 특정 시간에 적용 되어 미디어를 설명 할 수 있다. 또한, Represetation 레벨에 포함되어 오디오, 비디오 등의 미디어 속성에 따라 다른 특징을 구현 할 수도 있다. 또한, MPD 이외 실제 컨텐츠 데이타를 포함하는 컨테이너 등에도 포함될 수 있다. 상기 Timed Metadata가 구현 코자 하는 특징은 직접 텍스트 등으로 기술 할 수도 있고, URL 이나 상기 MPD 가 구현코자 하는 Media representation 파일 내의 위치를 refer 할 수도 있다.

<표 4>는 본 발명에 따른 MPD내 representation 레벨에서 timedMetadata가 포함된 예이다.

- File Format은 세그먼트내 Movie fragment 단위로 Metadata를 삽입할 수 있는 아래의 <표 5>와 같은 신규 박스를 제안한다. 그리고, <표 6>는 <표 5>에 대한 디스크립션(Description)이다.

Ⅱ. 전송

1) Live 컨텐트의 PVR 기능 (예 pause, time-shifted play)

① 3GPP HAS Live 컨텐트

3GPP HAS 는 컨텐트를 Period단위, segment단위로 쪼개어 이를 서술하는 MPD를 구비하고, 클라이언트 장치가 MPD를 끊임없이 일정 시간마다 update하여 다음 재생할 period의 segment파일 들을 전송하는 것으로 Live streaming을 실현하고 있다.

하지만, 클라이언트 장치가 재생을 일시 중단하는 경우 현재 MPD가 서술하고 있는 segment들의 유효기간은 MPD의 유효기간에 binding되기 때문에 MPD가 새로운 내용으로 update되면 이전에 서술되었던 segment는 더 이상 서버에서 available하지 않다. 그리고 클라이언트 장치가 이전의 시점으로 time-shifted play를 시도하는 경우, MPD에 해당 시간에 대한 segment의 정보가 없으면 클라이언트 장치는 해당 시점의 세그먼트 파일의 이름과 가용여부에 대해 알 수 없다. 또한 Live 컨텐트의 전송을 위한 서버는 real-time performance를 보장하기 위해 현재 방송분량 이외의 지난 세그먼트의 저장은 보장하지 않는다. 반면 CoD(Content on Demand)서버는 real-time보다는 많은 분량의 컨텐트를 제공하는 것이 주요 용도이다.

이에 따라 본 발명의 제6 실시 예에 따라 MPD에서 Live content의 세그먼트의 유효 시간을 지시하기 위해 사용하는 timeShiftBufferDepth 시간 이후에는 해당 세그먼트가 CoD 서버를 통해 가용하도록 구성한 것을 도 4를 통해 도시하고 있다.

도 4는 본 발명의 제6 실시 예에 따라 MPD에서 Live content의 세그먼트의 유효 시간을 지시하기 위해 사용하는 timeShiftBufferDepth 시간 이후에는 해당 세그먼트가 CoD 서버를 통해 가용하도록 구성한 것이다.

도 4와 같이 본 발명에서는 구간을 분리하여 지시하고 구간별 세그먼트를 Live 및 CoD 서버를 통해 전송하는 경우, 참조번호 405의 구간은 Live서버를 통해 전송받을 수 있으며, 참조번호 410의 구간은 CoD 서버를 통해 전송받을 수 있다.

Live 컨텐트는 시간이 흐름에 따라 참조번호 405로 표시된 구간이 이동하게 된다.

클라이언트 장치는 Pause나 time-shift에 의해 참조번호 410으로 표시된 구간으로 재생 시점이 이동하게 되면, CoD 서버를 위한 Url을 사용하여 세그먼트 파일을 전송받는다.

MPD는 아래의 <표 7>과 같이 구성된다:

이에 따라 본 발명의 제6 실시 예에서 3GPP HAS에는 서술한 동작과 함께 다음과 같은 변경이 제안된다:

- MPD

- MPD에는 timeshiftUTC와 basePvrUrl이 속성으로 추가된다.

- timeshiftUTC는 CoD서버로부터 프로그램내 어느 시점부터의 컨텐트가 가용한지 나타낸다.

- basePvrURL은 CoD서버로부터 세그먼트를 전송받기 위해 사용하는 base URL을 나타낸다.

2) 랜덤 액세스(Random Access) 지원

3GPP HAS는 CoD의 경우 ISOFF의 MFRA를 사용해 Random access하는 것이 가능하나, Live 컨텐트의 경우 Random access를 하기 위한 정보를 구비하고 있지 않다. 그리고 3GPP HAS는 representation변경 재생시 세그먼트간 연결재생을 위해 'sidx' 박스를 제안하여 사용하고 있으나 'sidx'는 하나의 movie fragment (보통 2~3초로 구성)당 하나의 Random access point 정보만을 구비하고 있어 Random access를 하기에 부족한 정보만을 가지고 있다.

이에 따라 본 발명의 제7 실시 예에서는 다음과 같은 방법들을 제안한다.

- 'sidx'를 확장하여 movie fragment내 모든 RAP(Random Access Point)를 지시할 수 있도록 한다.

- RAP에 해당하는 sample의 시작 위치와 끝 위치를 명시하여 해당하는 RAP를 'moof'를 parse하지 않고도 요청해서 전송받을 수 있도록 한다.

- 변경에 의해, 클라이언트 장치는 'sidx'를 parse한 후 보다 정확한 random access point부터 재생을 개시할 수 있다.

- 또한 클라이언트 장치는 'sidx'를 trick play용도로 사용할 수 있다. 이를 위해 다음과 같은 방법이 제안된다.

- 클라이언트 장치는 재생하려는 representation의 segment로부터 'sidx' 박스를 전송받는다.

- 'sidx'의 random access point 리스트를 받고, trick mode의 배속에 따라 어떤 random access point를 재생할 것인지 결정한다.

- 결정된 random access point의 sample 시작 위치와 끝 위치를 통해 필요한 샘플만 전송받아 재생한다.

이에 따라 본 발명의 제7 실시 예에서 3GPP HAS에는 서술한 동작과 함께 다음의 <표 8>과 같은 변경이 제안된다.

3) 전송 overhead 감소 및 시작 delay 최소화

3GPP HAS는 Live의 경우 MPD의 일부가 일정시간마다 update되는 형식으로 전체 컨텐트의 일부만을 서술하고 있다. 하지만 CoD의 경우 컨텐트의 모든 부분에 대한 정보를 담고 있어, 재생의 시작을 위해 필요한 1개의 세그먼트를 결정하기 위해 불필요한 정보를 받아야 하는 단점이 있다.

이에 따라 본 발명의 제8 실시 예에서는 다음과 같은 방법들을 제안한다.

- MPD의 내용을 분산하고 이를 지시하는 방법을 제안한다.

- MPD는 최초 실행을 위한 내용을 담는 하나 또는 소량의 segment로 구성된 Period를 서술하는 MPD와 이후 시간을 period들로 나누어 하나 또는 그 이상의 MPD로 구비한다.

- MPD는 별도의 파일 또는 세그먼트 - mpd segment에 embed하여 구비한다.

- MPD segment는 'mfmt' 내에 MP D를 갖는 media segment이다.

- 각 MPD는 다음 MPD의 링크 또는 embed된 세그먼트의 링크를 지시한다.

이에 따라 본 발명의 제8 실시 예에서 3GPP HAS에는 서술한 동작과 함께 다음과 같은 변경이 제안된다.

- MPD

- SegmentInfo에는 MPDSegmentURL이 element로 추가된다.

- MPDSegmentURL은 sourceURL과 range를 속성으로 가진다.

- File Format

- MPD segment는 'mtmt'내에 MPD를 갖는 media segment이다.

4) 멀티 뷰의 뷰 선택과 같은 인터랙티브 셀렉션 지원

- 3GPP HAS의 view 표현

- Interactive selection을 위해 bandwidth, width, height, lang, mimetype, qualityranking 등이 고려되고 있지만 view는 고려되고 있지 않다. Multi-view의 각 view는 bandwidth등의 다른 attribute의 값이 같은 조건에서 view의 위치나 번호만이 다른 경우가 가능하다.　

- multi-view content의 경우, 현재 Representation에서 제공하는 정보만을 가지고는 어떤 view를 제공받는지 알 수 없기 때문에 view selection이 불가능 하다.

- 또한 view에는 여러 가지 관계 종류가 존재한다:

- Multi-view의 경우 View는 그 중 1개 이상이 임의로 선택되어 표시될 수 있는 관계이나,　

- 3D stereoscopic에서 Left와 Right의 View는 같이 재생되어야 하는 관계이다.

- SVC의 경우 base와 enhanced등의 layer관계가 있으며 base가 필수적으로 선택된 후 다른 enhanced layer가 순서대로 선택될 수 있는 관계이다,

- 따라서 view보다 relationship등의 attribute name이 적당하다.

방법 1) 관계를 명시적으로 서술.

- Relationships:

- relationship="stereoscopic/L"

- relationship="stereoscopic/R" or

- relationship="multiview/1"

- relationship="multiview/2"

- relationship="multiview/3" or

- relationship="svc/base"

- relationship="svc/enhanced1"

- relationship="svc/enhnaced2"

방법 2) 관계에 따른 연결 형태를 서술

- Relationships:

- relationship=”one or more” or

- relationship=”all” or

- relationship=”incremental/1”

이에 따라 본 발명의 제9 실시 예에서 3GPP HAS에는 서술한 동작과 함께 다음과 같은 변경이 제안된다.

- MPD

- Representation은 relationship을 속성으로 갖는다.

- Relationship은 위 방법 1) 또는 2) 와 같이 구성된다.

5) 우선 순위 지원

3GPP HAS에서 representation은 "one of the altenative choices of the media content" 이므로 choice의 선택 기준을 제공하는 정보는 Representation의 attribute인 아래의 정보들이다.

1) Bandwidth: Bandwidth attribute

2) Display size: Width and height attribute

3) Language: lang attribute

4) Prioritization: QualityRanking attribute

그러나 이 경우, QualityRanking attribute를 가진 Representation과 QualityRanking attribute를 가지고 있지 않은 Representation의 priority를 확인할 수 있는 방법이 제시되어 있지 않다.

이에 따라 본 발명의 제10 실시 예에서는 다음과 같은 방법들을 제안한다.

- group내 alternate selection에 대해 qualityRanking을 모두 삽입하거나 모두 삽입하지 않는다.

- group간의 우선 순위를 위해 group id가 낮으면 priority가 높도록 지시한다.

- 이러한 우선 순위는 별도의 attribute에 의해 표현이 가능하다.

Ⅲ. Adaptation

1) 초기 선택값 지시

3GPP HAS에서는 representation 별로 차이점을 기술하기 위한 속성들을 제공하고 있으나 초기 선택 값 또는 기본 값 등을 지시하고 있지 않다.

이에 따라 본 발명의 제11 실시 예에서는 다음과 같은 방법들을 제안한다.

- AlternateGroup관계의 Representation들 중 하나에 initial selection임을 표시하거나

- Representation의 속성으로 default를 추가한다.

- Service중 하나에 initial selection임을 표시한다.

- Service의 속성으로 default를 추가한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

수신기에 의해 적응적 스트리밍 메커니즘(adaptive streaming mechanism)을 이용하여 콘텐트를 수신하는 방법에 있어서,
기간 요소(period element)를 포함하는 미디어 프리젠테이션 디스크립션(media presentation description)을 수신하는 과정과, 여기서 상기 기간 요소는 서브셋의 정보를 포함하고 상기 서브셋은 적어도 하나의 그룹을 포함하고,
상기 서브셋을 확인하는 과정을 포함하며,
상기 적어도 하나의 그룹은 상기 콘텐트에 대한 적어도 하나의 리프리젠테이션(representation)을 포함하고,
상기 서브셋에 포함된 리프리젠테이션들은 상기 콘텐트에 대하여 다른 속성을 가짐을 특징으로 하는 수신 방법.
제 1 항에 있어서, 상기 서브셋은 상기 적어도 하나의 그룹에 대한 그룹 정보를 지시하는 지시자를 포함함을 특징으로 하는 수신 방법.
제 1 항에 있어서, 상기 적어도 하나의 그룹에 포함된 각 리프리젠테이션은 상기 콘텐트에 대한 세그먼트의 정보를 포함함을 특징으로 하는 수신 방법.