KR20170110112A - 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용 - Google Patents

멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용 Download PDF

Info

Publication number
KR20170110112A
KR20170110112A KR1020177024204A KR20177024204A KR20170110112A KR 20170110112 A KR20170110112 A KR 20170110112A KR 1020177024204 A KR1020177024204 A KR 1020177024204A KR 20177024204 A KR20177024204 A KR 20177024204A KR 20170110112 A KR20170110112 A KR 20170110112A
Authority
KR
South Korea
Prior art keywords
content
information
mpu
version
presentation
Prior art date
Application number
KR1020177024204A
Other languages
English (en)
Other versions
KR101988454B1 (ko
Inventor
일링 쑤
웬준 쟝
웬지 주
리앙휘 쟝
하오 첸
보 리
준 선
닝 리우
Original Assignee
상하이 지아오통 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510080580.4A external-priority patent/CN105992061B/zh
Priority claimed from CN201510080011.XA external-priority patent/CN105988369B/zh
Priority claimed from CN201510401550.9A external-priority patent/CN106341740B/zh
Priority claimed from CN201510955611.6A external-priority patent/CN106899866B/zh
Priority claimed from CN201610031034.6A external-priority patent/CN106982376B/zh
Application filed by 상하이 지아오통 유니버시티 filed Critical 상하이 지아오통 유니버시티
Priority to KR1020197003889A priority Critical patent/KR102378107B1/ko
Publication of KR20170110112A publication Critical patent/KR20170110112A/ko
Application granted granted Critical
Publication of KR101988454B1 publication Critical patent/KR101988454B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8402—Generation or processing of descriptive data, e.g. content descriptors involving a version number, e.g. version number of EPG data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

본 발명은 일종 멀티미디어 컨텐츠 개성화 프레젠테이션과 관련한 실현 방법 및 응용을 제공하는 바, 전술한 방법은 멀티미디어 컨텐츠 공급사가 멀티미디어 파일 제작시에 통일적으로 완전한 파일 컨텐츠를 완성하고, 동시에 표기 방법을 적용하여 컨텐츠의 중요성 및/또는 관련 정도에 따라 토막에 대해 그레이딩을 통해 다른 버전의 멀티미디어 파일을 생성하면, 유저는 이 버전에 근거하여 선택성 미리보기 및/또는 플레이를 할 수 있다. 본 발명은 일종 인터넷 요구 응답 시스템에서 원활하고 고효율적인 신축 가능한 조직, 저장과 전송 방법을 제공함으로써, 종래의 멀티미디어 프로토콜에서 부족하였던 미디어 컨텐츠 플렉시블 조직 메커니즘을 추가하여 종래의 멀티미디어 시스템의 전송 효율이 낮고, 저장자원을 낭비하며, 유저 경험이 나쁜 문제를 해결한다.

Description

멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용
본 발명은 인터넷 요구 응답 시스템에서 신형 멀티미디어 조직, 저장과 전송 방법에 관한 것으로, 더 구체적으로, 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용에 관한 것이다.
멀티미디어 기술의 빠른 발전과 더불어, 인터넷에서의 멀티미디어 컨텐츠는 폭발적인 성장 현상이 나타나고 있으며, 특히 고선명도, 고해상도 동영상 업무의 광범위한 보급과 함께, 멀티미디어 서비스는 네트워크 대역에 점점 더 큰 압력을 주어 문제가 되고 있다. 동시에 유저 개성화 취미가 서로 다르고 및 네트워크 상황이 수시로 변하는 등 상황 속에서 오늘날의 멀티미디어 서비스에서 취합형의 특징이 나타나고 있고, 멀티미디어 컨텐츠는 데브리화의 추세가 나타나고 있다. 종래의 멀티미디어 프로토콜은 대부분 네트워크 전송과정에서 데이터의 완전성과 안전성에만 중시를 돌려왔고, 네트워크 품질(QoS)을 보장하는 것을 통해 멀티미디어 서비스의 품질을 보장해 왔다. 반면 멀티미디어 컨텐츠에 대한 통합은 아주 적게 고려되었고, 유저의 주관적인 만족도 역시 아주 적게 고려되었다.
현재 일부 멀티미디어 프로토콜은 기본적으로 모두 시그널링을 통한 정보 묘사와 컨트롤 데이터의 전송과 프레젠테이션이지만, 멀티미디어 컨텐츠 조직 레벨과는 관련이 없고, 또한 컨텐츠 조직과 저장, 전송과의 매칭과 전체 멀티미디어 시스템의 데이터 최적화 요소를 고려하지 않았다. 이렇게 하여 초래된 결과는 비록 멀티미디어 제작측에서 컨텐츠가 통일된 완전한 프로그램을 제작하였다 할지라도, 편집 등 후속 제작을 통해 프로그램 발행측과 공급사는 원래 프로그램을 다른 버전으로 분할하고, 매 한가지 버전 사이는 모두 서로 독립되게 하여 단독적인 미디어 컨텐츠로 만들어야 한다. 이렇게 하면 표면적으로는 프로그램 컨텐츠를 풍부히 한 것처럼 보일수 있지만, 실제적으로는 전체 미디어 시스템의 생태환경을 파괴하고, 대량의 중복 데이터를 발생하게 된다. 이 데이터는 미디어 컨텐츠의 자연적인 관련 체계를 파괴하여 미디어 컨텐츠의 관리에 불리할 뿐만 아니라, 저장 원가를 추가시켜, 자원의 막강한 낭비를 초래하고, 로직 상에서 컨텐츠의 동일한 데이터 유닛은 네트워크에서 여러 차례 중복으로 전송됨으로써, 데이터 전송 효율을 크게 떨어뜨린다. 동시에, 다른 버전 프로그램의 컨텐츠 리던던시의 단독적인 존재는 원래는 풍부하던 미디어 자원을 잔뜩 부풀리고 복잡하게 만들어, 디지털 미디어 컨텐츠 모티터링의 난이도를 가중시키고, 많은 해적버전에 의해 침해된 미디어 컨텐츠 역시 이 때문에 더 쉽게 디지털 미디어 시장으로 들어옴으로써, 프로그램 공급사와 소비자 이익을 해치고 있다.
다른 한편으로, 미디어 자원의 풍부성은 어느 정도에서 유저가 디지털 미디어를 사용하는 부담을 가중시키는 바, 유저는 미디어를 소비하는 선택에 더 많은 노력을 기울여야 한다. 전통적인 방법은, 컨텐츠 공급사가 풍부한 미디어 프로그램, 이를테면 각종 유형의 영화 자원을 제공하지만, 이와 같은 프로그램은 일반적으로 모두 완전판으로서, 유저는 일반적으로 어떤 종류의 완전한 버전의 미디어 프로그램을 클릭하여 소비하게 된다. 이 상황에서 만약 유저가 자신이 좋아하는 프로그램을 선택하려면 여러 개 프로그램에 대해 미리보기를 해야 하는데, 이 메커니즘의 데이터 완충 효율이 낮고, 유저는 아주 긴 시간을 기다려야 하므로, 유저 경험이 매우 나쁘다.
더 좋은 방법은, 프로그램 발행측과 공급사는 단지 로직 상에서 원래 프로그램을 다른 버전으로 분할하는 것이다. 미디어 컨텐츠 데브리화 유닛의 광범위한 응용으로 인해 원래 프로그램은 물리적으로 여전히 통일된 그대로의 통합체이다. 미디어 컨텐츠 서버에서 오직 미디어의 완전한 버전만을 저장하고, 동시에 상응하는 시그널링 파일을 제공하여 다른 미디어 버전과 대응하는 데이터 유닛을 묘사한다. 이렇게 할 경우 유저는 자신의 수요에 근거하여 관련 버전의 미디어 데이터를 선택하고, 서버는 시그널링 정보 중 미디어 버전과 데이터 유닛의 맵핑에 근거하여 상응하는 데이터만 유저에 전송한다. 예컨대 유저가 임의의 한 영화에 대해 미리보기 버전만을 원할 때, 유저가 미리보기 버전의 링크를 클릭하기만 하면, 서버는 단지 미리보기 버전의 영화 데이터 유닛만을 클라이언트단에 전송하여 해독과 프레젠테이션을 하게 되어, 유저는 전체 영화 컨텐츠의 완충을 기다릴 필요 없이, 더 좋은 유저 경험을 경험할 수 있다. 그 중 곤란한 점은: 시스템은 다른 버전 사이의 미디어 유닛의 대응관계를 알 수 없고, 또한 관련 시그널링 메커니즘 지도가 결핍하다는 것이다. 각각의 미디어는 길이가 각자 다른 버전이 있을 수 있는 바, 어떻게 하면 이와 같은 버전에 대해 구분하고 관리를 실시하는가 하는 것은 해결해야 할 과제이다.
그 외, 비록 현단계 멀티미디어 시스템은 컨텐츠의 초기 그레이딩을 실현할 수 있지만, 유저는 멀티미디어 컨텐츠의 대응하는 묘사 정보를 알 수 없고, 자주적인 선택을 실현할 수 없다. 심지어 동일한 프로그램에 대해서, 유저는 다른 선택을 필요로 할 수도 있다. 멀티미디어 컨텐츠의 개성화 프레젠테이션을 실현하고, 고효율적으로 미디어 네트워크에서 미디어 자원을 전송하기 위해서는 멀티미디어 컨텐츠 개성화 프레젠테이션 메커니즘이 필요하다. 서버는 멀티미디어 컨텐츠와 미디어 묘사 맵핑 테이블을 유저에 전송하는 것을 통해 즉 유저에 관련성 멀티미디어 컨텐츠의 옵션을 제공하면, 유저는 자신의 수요에 근거하여 동일한 컨텐츠의 다른 버전을 선택하거나, 임의의 한 개의 미디어 자원과 관련한 컨텐츠 등 여러가지 프레젠테이션 형식을 선택하고, 유저의 수요에 근거하여 개성화 설정을 할 수 있다.
이와 같은 멀티미디어 컨텐츠 개성화 프레젠테이션 메커니즘은 새로운 요구를 제출하는 바, 관련 미디어 자원은 다른 edit list(편집 리스트)로 표시하고, 다른 edit list에는 다른 미디어 데이터 유닛을 포함하고 있다. 또한 다른 멀티미디어 컨텐츠에 대해 유저 또한 다른 선택 각도가 있다. 예를 들어 어느 이브닝 파티에서, 유저는 다각도의 동영상을 선택하거나 아니면 다른 가수의 공연을 선택할 수 있다. 따라서 edit list 역시 유저 수요에 근거하여 프로그램 유형 등 개성화로 생성될 수 있어야 한다. 개성화 전송을 하려면 상응하는 메커니즘은 멀티미디어 컨텐츠의 묘사 정보와 edit list 사이의 맵핑관계를 미디어 자원을 접수하는 클라이언트로 전송할 수 있어야 한다.
종래의 기술에서 존재하는 결함과 관련하여 본 발명의 목적은 일종 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법을 제공하여 인터넷 요구 응답 시스템에서 원활하고 고효율적인 신축 가능한 조직, 저장과 전송 방법을 제공함으로써, 종래의 멀티미디어 프로토콜에서 부족하였던 미디어 컨텐츠 플렉시블 조직 메커니즘을 추가하여 종래의 멀티미디어 시스템의 전송 효율이 낮고, 저장자원을 낭비하며, 유저 경험이 나쁜 문제를 해결하는 것이다.
본 발명의 목적1에 근거하여 일종 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 실현 방법을 제공하는 바, 전체 컨텐츠를 포함하는 멀티미디어 파일을 생성하는 단계; 및 컨텐츠의 중요성 및/또는 관련 정도에 따라 표기된 상기 멀티미디어 파일의 토막을 그레이딩하여 다른 버전의 멀티미디어 파일을 생성하는 단계; 를 포함하고 상기 다른 버전의 멀티미디어 파일은 유저에게 선택성 미리보기 및/또는 플레이를 제공한다.
추가적으로, 전술한 방법은,
컨텐츠 그레이딩 버전 관리를 통해 멀티미디어 파일을 여러 개 버전으로 나누는 단계;
상기 멀티미디어 파일의 여러 개 버전에 근거하여 컨텐츠 그레이딩과 서로 대응하는 MPD 파일, 즉, 컨텐츠 그레이딩 버전의 관리 라벨을 생성하여, MPD 파일을 생성하는 단계;
상기 유저가 자신의 수요에 근거하여 상기 다른 버전의 멀티미디어 파일의 컨텐츠를 요청하면, 서버는 상기 MPD 파일을 전송하고, 클라이언트는 MPD를 해석한 후 네트워크 상태, 설비 성능 및 요구 버전의 상황에 근거하여 서버에 상응하는 미디어 샤딩 컨텐츠를 요청하는 단계; 를 포함한다.
추가적으로, 전술한 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법은,
컨텐츠 그레이딩 버전 관리를 통해 멀티미디어 파일을 여러 개 버전으로 나누는 단계;
여러 개 버전에 대응하여 단지 한 개의 대응하는 MPD 파일이 생성되고, MPD 파일의 segment 묘사에 @scaleID 속성, 즉 컨텐츠 그레이딩 버전 관리 라벨을 추가하는 단계;
유저가 자신의 수요에 근거하여 상기 다른 버전의 멀티미디어 파일의 컨텐츠를 요청하면, 서버는 통일된 MPD 파일을 전송하고, 클라이언트는 MPD를 해석한 후 네트워크 상태, 설비 성능 및 요구 버전의 상황에 근거하여 서버에 상응하는 미디어 샤딩 컨텐츠를 요청하는 단계; 를 포함한다.
본 발명에 따른 상술한 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법을 적용하면, 종래의 멀티미디어 프로토콜에서 미디어 컨텐츠 플렉시블 관리가 부족하던 메커니즘에 대해 멀티미디어 시스템에서 전송 효율이 낮고, 저장 자원을 낭비하며, 유저 경험이 나쁜 문제를 초래하는 것과 관련하여 미디어 컨텐츠의 신축가능한 플렉시블 조직, 저장과 전송방법을 추가하는 것을 통해 인터넷에서 미디어 컨텐츠의 최적화 통합을 실현하고, 로직 상에서 동일한 미디어 자원을 통일적으로 저장하여 유저 미디어 버전 수요에 근거하여 차별화 전송을 하는 한편, 클라이언트에서 특정한 미디어 유닛에 대한 완충을 하고 프레젠테이션을 해독하여 풍부화된 미디어 자원이라도 통일적으로 최적화를 실현하여 멀티미디어 컨텐츠의 모니터링 제어에 유리함과 동시에, 네트워크에서 멀티미디어 데이터의 전반적인 전송 효율을 높이고, 저장 공간의 낭비를 줄여서 유저에 더 좋은 서비스 체험을 가져다 줄수 있다.
본 발명의 목적2에 근거하여 종래의 멀티미디어 컨텐츠 그레이딩을 세분화를 할 수 없고 또한 전송 효율, 저장 공간 낭비 문제를 해결하기 위해, 본 발명은 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법을 제공한다: 멀티미디어 파일 제작시에, 멀티미디어 컨텐츠의 중요한 토막에 표기를 하고, 멀티미디어 파일 컨텐츠의 중요 정도에 근거하여 각각의 토막을 다른 레벨로 획분하고, 유저가 상기 다른 레벨에 근거하여 멀티미디어 컨텐츠에 대해 플레이를 선택하도록, 새로운 한 개의 MUR 정보 파일은 멀티미디어 파일과 컨텐츠의 버전, mpu_seq_number, level_list 사이의 대응관계 묘사에 사용되고, mpu_seq_number는 MPU의 표기 필드이고, 상기 level_list는 mpu_seq_number의 집합이고, 다른 버전의 컨텐츠와 일일이 대응관계이다.
우선적으로, 한 개의 멀티미디어 컨텐츠를 여러 개의 MPU 조각으로 자르고, 상기 컨텐츠는 다른 버전으로 그레이딩되어 mpu_seq_number 와 대응하고, 상기 새롭게 정의된 하나의 MUR 정보 파일은 멀티미디어 파일과 상기 컨텐츠의 버전, mpu_seq_number, level_list 사이의 대응관계 묘사에 사용되고, level_list 배열에 의해 다른 버전의 컨텐츠 타임과의 대응규칙은 두가지 유형으로 나눠지고, 상기 두가지 유형은,
다른 버전의 컨텐츠와 level_list 사이는 일일이 대응하는 유형 1,
다른 버전의 컨텐츠는 다른 level_list의 조합인 유형 2이고,
유형1과 유형2에서 상기 MUR 정보 파일에 근거하여 멀티미디어 파일에 대해 차별화 전송을 한다.
본 발명에 따른 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법을 적용하면, 종래의 멀티미디어 프로토콜에서 멀티미디어 컨텐츠 그레이딩 기술 공백으로 인해, 미디어 컨텐츠 전송 효율이 높지 않고, 저장 공간 비용 문제를 초래하는 것과 관련하여 미디어 컨텐츠의 신축 가능한 전송, 저장과 프레젠테이션 메커니즘을 추가하는 것을 통해 인터넷에서 미디어 컨텐츠 다른 버전에 대한 관련 분류를 실현하고, 멀티미디어 서비스에 대한 관리 컨트롤를 추가함과 동시에, 멀티미디어 데이터의 전송 효율을 높이고, 저장 공간 낭비현상을 줄여, 유저에 더 많은 자체적인 미디어 버전을 선택할 수 있는 권리를 제공하여 유저 경험을 추가함과 동시에, 네트워크 운영업체에 더 좋은 멀티미디어 컨텐츠 그레이딩, 전송 및 저장 방안을 제공할 수 있다.
본 발명의 목적3에 근거하여 상술한 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법을 응용하여 컨텐츠로 구동하는 스마트 홈 컨트롤 방법을 제공하는 바, 전술한 방법은 동영상 중 키 프레임에 기반한 이미지 메인 컬러 및/또는 장면 줄거리 특징을 통해 동영상 조각에 대해 표기를 하거나, 음성 데이터 특징에 따라 표기를 한 후 상응하는 라벨을 추가하여 멀티미디어 컨텐츠를 플레이할 때마다, 표기된 라벨은 스마트 홈 설비를 구동하는 단계; 를 포함한다.
우선적으로, 전술한 동영상 중 키 프레임에 기반한 이미지 메인 컬러를 통한 동영상 조각에 대해 표기는 구체적으로, 상기 동영상 MPU는 키 프레임의 메인 컬러가 추출된 후 표기되고, MPUBox에 남겨진 reserved 필드에서 color_tag를 정의하며, 다른 색상에 대해서 같지 않은 color_tag를 사용할 수 있다.
본 발명에 따른 상술한 컨텐츠로 구동하는 스마트 홈 컨트롤 방법을 적용하면, 멀티미디어 컨텐츠를 통해 자동적으로 스마트 홈 컨트롤 시스템을 구동할 수 있다. 현재 대부분 사람들은 인위적으로 멀티미디어 컨텐츠를 평가한 후 다시 수동으로 스마트 시스템을 제어해야 하는데, 본 발명에 따른 컨텐츠를 통해 스마트 홈 시스템을 컨트롤할 경우 인위적인 제어라는 이 복잡한 과정을 피면할 수 있고, 아울러 본 발명은 컨트롤 시스템을 더 원활하게 해준다.
본 발명의 목적4에 근거하여 서비스 업체가 미디어 컨텐츠 종류 또는 그 중요 정도 등의 정보에 근거하여 미디어 컨텐츠에 대해 표기를 하는데, 동일한 표기의 미디어 데이터 유닛의 조합이 바로 다른 edit list이다. 유저의 개성화 수요에 따라 서비스를 제공하려면, 미디어 컨텐츠의 표기 정보에 대해 상응하는 묘사를 함으로써, 유저가 각 edit list의 구체 컨텐츠를 이해하게 하여 차별화 전송 및 프레젠테이션을 실현하여 정확한 서비스를 제공할 수 있다. 유저가 서버에서 제공되는 관련 멀티미디어 컨텐츠를 선택할 수 없고, 다른 유저가 수요하는 개성화 미디어 프레젠테이션을 제공받는 문제를 해결하기 위해, 본 발명은 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법을 제공하는 바, 전술한 방법은: 미디어 자원에 대한 멀티미디어 컨텐츠는 다른 edit list(편집 리스트)로 표시되고, 상기 다른 edit list에 포함된 미디어 데이터 유닛은 보충관계 또는 포함관계이고, 미디어 자원에 대한 특징 정보 또는 관련 정보 묘사는 전송하는 정보에 추가되어, 미디어 자원의 분류 및 묘사 정보의 대응관계를 유저에게 제공함으로써 개성화 프레젠테이션 메커니즘을 실현하는 단계;를 포함한다.
추가적으로, 전술한 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법, 실현 절차는:
동일한 미디어 자원에 포함된 미디어 데이터 유닛의 표시 또는 대응하는 묘사 정보를 정의하여 descriptor 시그널링 정보를 생성하며, 전송되는 미디어 자원은 각종 멀티미디어 컨텐츠 묘사 정보를 포함한다.
클라이언트는 상기 descriptor 시그널링 정보를 해석하고, 상기 유저는 필요에 따라 상응한 표식이나 정보 표시가 있는 멀티미디어 컨텐츠를 선택한 후 상응하는 미디어 데이터 유닛 조합을 대응하는 edit list로 조합하도록 요청을 수신한다.
유저의 요청으로 발송되는 미디어 데이터 유닛은 서버에 의해 해석되고, 클라이언트에 의해 정보가 해석된 후, 개성화 프레젠테이션을 실현한다.
본 발명의 목적5에 근거하여 종래의 멀티미디어 프로토콜중 프레젠테이션 메커니즘이 완비되지 못한 것과 관련하여 요청 서비스가 유저 수요를 기반으로 하는 프레젠테이션 메커니즘과 방송, 실시간 생방송 서비스의 푸시 메커니즘, 및 관련 컨텐츠의 프레젠테이션 서비스인 점을 고려하여 본 발명은 멀티미디어 컨텐츠 개성화 프레젠테이션의 타임라인 컨트롤 방법을 제공하는 바, 전술한 방법은: 상기 프레젠테이션 타임라인은 멀티미디어 자원 프레젠테이션 과정에서 미디어 데이터 유닛의 지속 타임정보와 프레젠테이션의 초기 타임을 이용하여 관련 컨텐츠의 프레젠테이션 타임에 대해 제어함으로써 다른 미디어 자원 또는 동일한 미디어 자원의 다른 관련 버전에 모두 대응한다.
추가적으로, 전술한 방법의 구체 절차는,
유저가 선택한 미디어 자원과 관련된 컨텐츠 버전에 포함된 미디어 데이터 유닛에 대응하는 지속 타임정보를 획득하는 단계(S1);
플레이를 개시하는 타임은 VoD에서 유저가 미디어 자원을 선택할 때의 타임에 근거하여, 방송 서비스의 서비스 공급사에 의해 선택되고, 시그널링 정보에 표시되는 단계(S2);
미디어 데이터 유닛의 절대적 프레젠테이션 타임은 상기 플레이를 개시하는 타임에 관련 컨텐츠 버전의 미디어 데이터 유닛 지속 타임을 더하여 얻어지고, 이에 따라 대응하는 프레젠테이션 타임라인을 유지하여, 미디어 컨텐츠의 프레젠테이션을 실현하는 단계(S3); 를 포함한다.
본 발명에 따른 전술한 멀티미디어 컨텐츠 개성화 프레젠테이션의 타임라인 컨트롤 방법은, 유저 개성화 수요를 만족함과 동시에, 한 세트 프로그램의 관련성을 이용하여 저장 공간을 절약하는 기초상에서 유저의 원활한 감상 체험을 보장할 수 있다. 미디어의 프레젠테이션 타임라인 정보가 시그널링 정보 원활하게 발송되므로, 미디어 자원을 소비하는 과정에서 나타나는 시간 지연 및 분실로 초래되는 유저 경험이 떨어지는 문제와 관련하여 프레젠테이션 타임 이전에 분실 사건을 검측할 경우, 미디어 자원의 재 획득을 기다리거나, 이전의 한 개의 미디어 데이터 유닛의 컨텐츠를 중복으로 프레젠테이션을 하여 플레이가 멈추는 현상을 방지하여 유저 경험을 보장할 수 있다. 프레젠테이션 타임라인의 지시에 따라 계속 프레젠테이션을 하되, 구체 실현 방안은 본 규정에 포함되지 아니한다.
본 발명에 따른 상술한 기술방안을 적용하면, 종래의 멀티미디어 프로토콜에서 관련 멀티미디어 컨텐츠 정보 묘사가 공백이고, 유저가 서버에서 제공한 미디어 자원을 이해하지 못하는 문제와 관련하여 멀티미디어 컨텐츠 특징 정보 또는 관련 정보에 대한 묘사를 추가하는 것을 통해 유저가 이 멀티미디어 컨텐츠에 대해 더 직관적으로 이해하게 하고, 개성화 맵핑관계를 묘사하여 관련 미디어 서비스를 제공함으로써, 최대한 유저가 가장 합리한 멀티미디어 컨텐츠를 선택할 수 있게 해준다. 이 방안은 서버가 제공하는 멀티미디어 컨텐츠 묘사에만 국한되는 것이 아니라, 멀티 소스 또는 각종 분류 방식 등 멀티미디어 자원의 컨텐츠 묘사에도 적용되며, 유저 자체정의 라벨을 통해 묘사를 생성할 수도 있다. 본 발명유저가 서버에서 제공하는 관련 멀티미디어 컨텐츠를 선택할 수 없는 문제를 해결하였고, 다른 유저 수요에 대한 개성화 미디어 프레젠테이션을 실현하였다.
아래 도면을 참고로 비제한성 실시예에 대한 상세한 설명을 통해 본 발명의 기타 특징, 목적과 장점이 더욱 뚜렷해질 것이다:
도 1은 제 5 실시예의 미디어 버전과 미디어 데이터 유닛 맵핑 실시예의 표시도이다.
도 2는 본 발명에 따른 제 1 실시예 중 그레이딩 메커니즘-모식1의 표시도이다.
도 3은 본 발명에 따른 제 1 실시예 중 그레이딩 메커니즘시스템 프레임-모식2의 표시도이다.
도 4는 본 발명에 따른 제 5 실시예의 실현 절차도이다.
도 5는 본 발명에 따른 제 3 실시예 중 MPU로 hue를 제어하는 시스템도이다.
도 6은 본 발명에 따른 제 5 실시예 중 설비의 낮은 전력량 상황에서 차별화 프레젠테이션의 표시도이다.
도 7은 본 발명에 따른 제 5 실시예 중 멀티시각 실시간 생방송의 표시도이다.
도 8은 본 발명에 따른 제 5 실시예 중 관련 컨텐츠의 다른 버전의 프레젠테이션 타임라인의 표시도이다.
아래에 구체 실시예에 근거하여 본 발명에 대해 상세히 설명하기로 한다. 아래의 실시예는 본 영역의 기술자가 본 발명 내용을 추가적으로 이해하는데 도움이 될수 있으나, 임의의 형식으로 본 발명을 제한하는 것이 아니다. 지적해야 할 점은, 본 영역의 보통 기술자라면, 본 발명의 구상을 이탈하지 아니하는 전제하에 일부의 변형과 개선을 할 수 있으며, 이는 모두 본 발명의 보호 범주에 속해야 할것이다.
제 1 실시예
오늘날, 동영상 컨텐츠 프레젠테이션은 폭발적으로 성장하고 있으며, 사람들이 컨텐츠를 이용하는 시간 역시 점점 더 분할되고 있다. 유저가 일련의 새로운 동영상과 접촉하면, 보통 완전한 컨텐츠를 클릭하여 감상하는 것이 아니라, 우선 이 동영상을 미리보기를 한 후 유저 자체의 선호 여부와 이용할 수 있는 시간에 근거하여 어느 동영상을 볼 것인지, 아니면 전부의 전체 동영상 컨텐츠를 볼지를 결정한다.
이 문제에 대해 아래의 방법을 통해 효과적으로 해결하여 유저 경험을 제고할 수 있다. 컨텐츠 공급사는 동영상을 제작할 때 통일적으로 완전한 동영상 컨텐츠를 제작하고, 동시에 표기 방법으로 컨텐츠의 중요성 및 관련 정도에 따라 그 중의 토막에 대해 그레이딩을 하여 다른 버전의 동영상을 형성한다. 물론, 프레젠테이션 인터페이스는 반드시 그레이딩과 관련한 버전의 정보를 제공하여 유저가 컨텐츠를 선택하고 소비하는데 편리하도록 해야 한다. 유저는 동영상을 감상할 때, 이와 같은 버전에 근거하여 선택성 있게 미리보기와 플레이를 하고, 맹목적으로 무작위로 선택하는 것이 아니다.
동영상 컨텐츠를 예로 들면, 컨텐츠 제작사는 완전한 프로그램 컨텐츠를 완성한 후 발행사는 컨텐츠 그레이딩 버전 관리를 통해 동영상을 여러 개 버전으로 나누어, 미디어 서비스 공급사에 제공한다. 버전1 동영상은 프리뷰, 듀레이션은 5분, 컨텐츠는 동영상 중의 다채로운 화면만을 포함하고, 버전2 동영상은 편집판, 듀레이션은 30분, 컨텐츠 동영상 이야기 줄거리와 중요 장면만 포함하며, 버전3 동영상은 완전판, 듀레이션은 120분, 컨텐츠는 동영상의 완전한 스토리 내용을 포함하고, 버전4는 보강판, 듀레이션은 150분, 내용에는 완전한 스토리 내용 외에 예컨대 NG모음 등의 컨텐츠를 확대한다.
아래에 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 기준을 예로 하여 컨텐츠 그레이딩 버전 관리 메커니즘에 대해 설명하기로 한다. 물론, 이 메커니즘은 DASH기준에만 국한되는 것이 아니고, 기타 기준과 방안에도 응용할 수 있다. DASH의 전칭은 HTTP에 기반한 다이내믹 슈어스트림으로, 국제기준팀 MPEG에서 제정하였는 바, HTTP프로토콜을 통해 미디어를 자기적응, 점진적, 다운로드 또는 스트림의 방식으로 컨텐츠를 나누어 발송하여 다른 네트워크 상황에서 여러가지 다른 성능의 단말기에서 자기적응 미디어 소비를 지원한다. 컨텐츠 조직상 DASH는 여러가지 샤딩 전략을 구비하여 대응하는 시그널링 파일로 샤딩 세부사항을 지시하는데, 통용성을 고려하여 아래에 두가지 모식으로 나누어 각각 묘사하기로 한다.
모식1:
버전과 관련한 차별화 MPD 파일 생성
DASH segment 생성시, 상술한 동영상 프로그램 중의 4개 버전에 근거하여 컨텐츠 그레이딩과 서로 대응하는 MPD(Media Presentation Description) 파일을 생성할 수 있다. 설명을 간단하고 알기 쉽게 하기 위해, MPD에서 segment list와 같은 묘사 상황만을 써넣고, 기타 이를테면 segment template 상황의 처리 방식은 유사하다.
상술한 동영상 프로그램 중의 4개 버전과 대응하는 segment 리스트에 근거하여 도1과 같이, 상기 segment 생성시에, 자동으로 4개의 컨텐츠 버전에 매칭되는 MPD 파일을 생성한다. 그 중 MPD 원소는 @scaleID 속성을 추가하는 바, 이 속성은 이 MPD 파일이 묘사한 컨텐츠 그레이딩 레벨을 정의, 컨텐츠 그레이딩 버전대응표는 아래와 같다. 그 외 Representation 원소에서 SegmentList 서브원소 중의 segment 리스트는 더는 단순하게 전부의 샤딩 리스트가 아니고, MPD@scaleID에 대응하는 특정 샤딩 리스트이다.
버전 프리뷰 편집판 완전판 보강판
scaleID 0 1 2 3
도2와 같이, 전체 그레이딩 메커니즘의 프레임 다이어그램은 DASH의 기존의 프레임과 기본적으로 일치하는 바, 미디어 준비 단계에서 미디어 샤딩(segment)의 생성 메커니즘은 불변을 유지하고, 다른 그레이딩 버전에 대응하는 4개 MPD 파일이 생성된다. DASH 클라이언트에서 유저는 자신의 수요에 근거하여 다른 버전의 동영상 컨텐츠를 요청할 경우, 서버는 관련 MPD 파일만을 전송하면 되고, 클라이언트는 해석을 거쳐 다시 서버에 상응하는 미디어 샤딩 컨텐츠를 요청한다.
예컨대 유저가 프리뷰 영화 프로그램을 선택하여 플레이 할 경우, 서버는 MPD@scaleID가 0인 MPD 파일을 발송하고, 클라이언트는 해석을 거쳐 Representation 원소에서 SegmentList 서브원소에 열거된 샤딩, 즉 channel1init.mpchannel11.m4s, channel14.m4s, channel17.m4s, channel19.m4s를 요청한다. 이 MPD파일실예는 아래와 같다(신규 추가 파라미터는 sascleID, 다른 새로운 응용이 있을 수 있음):
<?xml version="1.0"?>
<MPD
xmlns="urn:mpeg:dash:schema:mpd:2011"
minBufferTime="PT1.500000S"
type="static"
scaleID=”0”
mediaPresentationDuration="PT0H26M26.92S"
profiles="urn:mpeg:dash:profile:full:2011">
<Period duration="PT0H26M26.92S">
<AdaptationSetsegmentAlignment="true"maxWidth="1920"maxHeight="1080"
maxFrameRate="30"par="16:9">
<ContentComponent id="1" contentType="video"/>
<ContentComponent id="2" contentType="audio"/>
<Representation id="1"mimeType="video/mp4"
codecs="avc1.640029,mp4a.6b" width="1920" height="1080" frameRate="30"
sar="1:1" audioSamplingRate="44100" startWithSAP="1" bandwidth="29437637"
sacleID="2">
<AudioChannelConfiguration
schemeIdUri="urn:mpeg:dash:23003:3:audio_channel_configuration:2011"value="2"/>
<SegmentList timescale="1000" duration="9754">
<Initialization sourceURL="channel1init.mp4"/>
<SegmentURL media="channel11.m4s"/>
<SegmentURL media="channel14.m4s"/>
<SegmentURL media="channel17.m4s"/>
<SegmentURL media="channel19.m4s"/>
</SegmentList>
</Representation>
</AdaptationSet>
</Period>
</MPD>
모식2:
기존의 DASH 메커니즘에 따라 한 개의 MPD 파일만을 생성하고, 그 중 Representation 원소에서 각각의 샤딩의 @scaleID 속성 추가
DASH segment 생성시, 4가지 컨텐츠 그레이딩 버전에 근거하여 구분하고, 구분 지시는 동시에 생성된 MPD표에 나타난다. 설명을 간단하고 알기 쉽게 하기 위해, MPD에서의 segment list와 같은 묘사 상황만을 써넣고, 기타 segment template와 같은 상황의 처리 방식은 유사하다.
상술한 동영상 프로그램 중의 4개 버전과 대응하는 segment 리스트에 근거하여 도1과 같이, 상기 segment 생성시에, MPD 파일의 Representation 원소의 SegmentList 서브원소 중의 각각의 segment에서 @scaleID 속성을 제공하는 바, 이 속성은 이 segment를 사용하는 최저 버전의 레벨을 표시한다. 컨텐츠 그레이딩 버전 대응표는 모식1과 일치성을 유지한다. 예를 들어 segment: channel13.m4s의 @scaleID가 2이면, 이 segment는 유저가 완전판 동영상을 요청할 때만이 서버에 의해 전송된후 클라이언트에서 소비하게 된다.
도3과 같이, 전체 그레이딩 메커니즘의 시스템프레임 다이어그램은 DASH의 기존의 프레임과 기본적으로 일치하는 바, 미디어 준비 단계에서 미디어 샤딩(segment)의 생성 메커니즘은 불변을 유지하고, 동시에 오직 한 개의 대응하는 MPD 파일이 생성되지만, MPD 파일의 segment 묘사는 @scaleID 속성, 즉 컨텐츠 그레이딩 버전 관리 라벨을 추가한다. DASH 클라이언트에서 유저는 자신의 수요에 근거하여 다른 버전의 동영상 컨텐츠를 요청할 경우, 서버는 통일된 MPD 파일을 전송하고, 클라이언트는 MPD를 해석한 후 네트워크 상태, 설비 성능 및 요구 버전의 상황에 근거하여 서버에 상응하는 미디어 샤딩 컨텐츠를 요청한다.
예컨대 유저가 완전판 영화 프로그램을 선택하여 플레이할 경우, 서버는 통일된MPD 파일을 발송하면, 클라이언트는 해석을 거쳐 Representation 원소에서 SegmentList 서브원소에 열거된 @scaleID 속성값이 2보다 작거나 같은 미디어 샤딩 즉 channel1init.mpchannel11.m4s, channel12.m4s, channel13.m4s, channel14.m4s, channel15.m4s, channel16.m4s, channel17.m4s, channel18.m4s, channel19.m4s, channel110.m4s를 요청하고, 서버는 이와 같은 샤딩 컨텐츠를 발송한 후 클라이언트가 해석을 한 후 유저에 나타낸다. 이 MPD파일 실예는 아래와 같다:
<?xml version="1.0"?>
<MPD
xmlns="urn:mpeg:dash:schema:mpd:2011"
minBufferTime="PT1.500000S"
type="static"
mediaPresentationDuration="PT0H26M26.92S"
profiles="urn:mpeg:dash:profile:full:2011">
<Period duration="PT0H26M26.92S">
<AdaptationSetsegmentAlignment="true"maxWidth="1920"maxHeight="1080"
maxFrameRate="30"par="16:9">
<ContentComponent id="1" contentType="video"/>
<ContentComponent id="2" contentType="audio"/>
<Representation id="1"mimeType="video/mp4"
codecs="avc1.640029,mp4a.6b" width="1920" height="1080" frameRate="30"
sar="1:1" audioSamplingRate="44100" startWithSAP="1" bandwidth="29437637">
<AudioChannelConfiguration
schemeIdUri="urn:mpeg:dash:23003:3:audio_channel_configuration:2011"value="2"/>
<SegmentList timescale="1000" duration="9754">
<Initialization sourceURL="channel1init.mp4"/>
<SegmentURL media="channel11.m4s"scaleID="0"/>
<SegmentURL media="channel12.m4s"scaleID="1"/>
<SegmentURL media="channel13.m4s"scaleID="2"/>
<SegmentURL media="channel14.m4s"scaleID="0"/>
<SegmentURL media="channel15.m4s"scaleID="2"/>
<SegmentURL media="channel16.m4s"scaleID="1"/>
<SegmentURL media="channel17.m4s"scaleID="0"/>
<SegmentURL media="channel18.m4s"scaleID="1"/>
<SegmentURL media="channel19.m4s"scaleID="0"/>
<SegmentURL media="channel110.m4s"scaleID="1"/>
<SegmentURL media="channel111.m4s"scaleID="3"/>
<SegmentURL media="channel112.m4s"scaleID="3"/>
</SegmentList>
</Representation>
</AdaptationSet>
</Period>
</MPD>
상술한 실시예는 인터넷 요구 응답 시스템에서 원활하고 고효율적인 신축 가능한 조직, 저장과 전송 방법을 제공함으로써, 종래의 멀티미디어 프로토콜에서 부족하였던 미디어 컨텐츠 플렉시블 조직 메커니즘을 추가하여 종래의 멀티미디어 시스템의 전송 효율이 낮고, 저장자원을 낭비하며, 유저 경험이 나쁜 문제를 해결한다.
제 2 실시예
유저가 동영상을 감상할 때, 보통 직접 전체 동영상을 연속 플레이하는 것이 아니라, 대부분 상황에서 사전에 빨리 보기 또는 건너 뛰는 방식으로 동영상 구간을 미리보기한 후 자신의 선호도 또는 접수 가능한 동영상 타임 길이에 따라 완전한 플레이를 할지 여부를 결정한다. 유저가 건너 뛰는 방식으로 플레이를 할 경우, 무작위 선택 점프 타임 포인트가 적합하지 않아, 동영상 컨텐츠의 중요 부분을 빠뜨릴 가능성이 아주 크다.
이 문제와 관련하여 아래 방법을 통해 효과적으로 해결하여 유저 경험을 제고할 수 있다. 컨텐츠 공급사는 동영상 제작시 어떤 종류의 방식을 적용하여 동영상 컨텐츠의 중요한 토막에 대해 표기를 하거나, 또는 더 추가적으로 동영상 컨텐츠의 중요 정도에 근거하여 각각의 동영상 토막을 다른 레벨로 획분한다. 유저는 감상시에, 이 레벨에 근거하여 선택적으로 플레이를 하고, 맹목적으로 무작위로 선택하는 것이 아니다.
예컨대 임의의 영화 프로그램에 대해 제작사는 여러 개 다른 버전 동영상을 제공할 수 있다. 동영상 조직 구조에 따라 획분하면, 축소판, 편집판, 완전판과 연장판 등 각자 다른 길이의 동영상 버전으로 나눌 수 있다(제 1 실시예 참고).
임의의 한 개의 멀티미디어 자원에 대해 asset1로 가정한다면, 이를 여러 개의 MPU(media processing units) 조각으로 자른후 컨텐츠를 다른 버전의 동영상으로 그레이딩 후 mpu_seq_number 사이의 대응관계는 도 1과 같다. mpu_seq_number는 MPU 중의 표기 필드이고, 도1과 같다. 가령 임의의 동영상이 나누어진 mpu_seq_number가 각각 0부터 11의 MPU 조각이라고 한다면, 다른 mpu_seq_number 서열은 다른 버전의 동영상으로 조합되는 바, 예를들면 축소판 동영상은 mpu_seq_number가 1과 9인 MPU로 구성된다.
원활한 차별화 전송 및 프레젠테이션을 위해, 새롭게 MUR(Media Unit Relationship)정보 파일을 정의하여 미디어 자원과 다른 버전 동영상, mpu_seq_number, level_list 등 사이의 대응 관계 묘사에 사용한다. 그 중 level_list배열과 다른 버전 동영상 타임에 근거한 대응 규칙은 다르고, 역시 두가지 유형으로 나눌 수 있다. 유형1에서 다른 버전의 동영상과 level_list 사이는 일일이 대응하고, 유형2에서 다른 버전의 동영상은 다른 level_list의 조합이다.
아래에 이상의 실시예에 근거하여 각각 유형1과 유형2중 MUR 정보 파일의 컨텐츠, 및 어떻게 차별화 전송을 하는지에 대해 설명하기로 한다. 그 외 클라이언트가 어떻게 CI 파일 중의 mediaSrc 속성을 이용하여 다른 버전 동영상에 대해 플렉시블 프레젠테이션을 하는지에 대해서도 알아보자.
유형1:
level_list는 다른 MPU 조합으로 구성되고, 다른 동영상 버전 사이와 일일이 대응하며, 그 대응 규칙은 아래표와 같다.
유형1 다른 버전 동영상과 level_list일일이 대응
level_list[] 0 1 2 3
mpu_seq_number집합 1,9 1,4,6,9 0,1,3,4,6,7,9,11 0,1,2,3,4,5,6,7,8,9,10,11
동영상 버전 축소판 편집판 완전판 확충판
이 대응 규칙은 도1과 완전히 매칭되지만, 도1은 한개의 실예에 불과하다. 다른 실예에 대해 대응 규칙 역시 변화할 수 있다. 다음의 유형2 중에서도 마찬가지이다.
전송 효율을 향상시키기 위해, 유저가 더 많은 동영상 토막을 수요할 경우, server는 유저한테 결여된 MPU 만을 전송한다. 예컨대 가령 유저가 level_list[i]와 대응하는 동영상을 감상한 후 계속하여 level_list[j]와 대응하는 동영상을 감상하려 한다면, 그 중 0≤i<j≤3이다. 유저가 로컬에 이미 level_list[i]에 포함된 전부의 MPU를 저장하였으므로, server는 Δij=level_list[j]-level_list[i]에 포함된 MPU 만을 계속 푸시하기만 하면 된다.
클라이언트에서 유저 로컬 level_list[i] 및 접수한 Δij에 근거하여 새롭게 level_list[j]를 구성한다. 따라서 CI 파일중 다른 버전 동영상에 대한 meiaSrc 속성의 값은 아래표와 같다.
유형1 다른 버전 동영상과 level_list일일이 대응
다른 버전 동영상 CI 파일중 mediaSrc 속성값
축소판 mediaSrc="mmt://asset1?level_list=level_list[0]"
편집판 mediaSrc="mmt://asset1?level_list=level_list[1]"
완전판 mediaSrc="mmt://asset1?level_list=level_list[2]"
확충판 mediaSrc="mmt://asset1?level_list=level_list[3]"
유형2:
유형1과 다른점은, level_list는 다른 MPU 조합으로 구성되고, 각각의 level_list[] 사이에는 중첩된 MPU가 나타나지 않는다. 다른 동영상 버전은 다른 level_list 조합으로 구성되고, 그 대응 규칙은 아래표와 같다.
유형2 다른 버전 동영상은 level_list의 조합
level_list[] 0 1 2 3
mpu_seq_number집합 1,9 4,6 0,3,7,11 2,5,8,10
동영상 버전 축소판 편집판-축소판 완전판-편집판 확충판-완전판
위의 표에서 알 수 있듯이, 축소판 동영상은 level_list[0]로 구성되고, 편집판 동영상은 level_list[0]와 level_list[1]로 구성되며, level_list[2]는 완전판과 편집판 동영상의 차이값이고, 확충판은 4개의 level_list로 구성되었다. 따라서 유저가 편집판 동영상을 감상한 후 완전판 동영상을 감상하고 싶을 경우, level_list[2]에 포함된 MPU 조각을 차별화하여 전송하기만 하면 된다. 유형2 중의 CI 파일중 다른 버전 동영상에 대한 meiaSrc 속성의 값은 아래표와 같다.
유형2 다른 버전 동영상은 level_list의 조합
다른 버전 동영상 CI 파일중 mediaSrc 속성값
축소판 mediaSrc="mmt://asset1?level_list=level_list[0]"
편집판 mediaSrc="mmt://asset1?level_list=level_list[0-1]"
완전판 mediaSrc="mmt://asset1?level_list=level_list[0-2]"
확충판 mediaSrc="mmt://asset1?level_list=level_list[0-3]"
MUR 정보 파일은 컨텐츠 그레이딩 중요 정보를 포함하고, 앞서 이미 설명하였다. 이와 같은 중요 정보를 어떻게 전송할 것인가 하는데서, 다른 방법이 있을 수도 있다. 이를테면 새로운 시그널링 유닛, 시그널링 파일, 시그널링 소식, descriptor를 정의하거나 또는 전송패킷에 헤드 정보 등을 추가하는 등, 실현 방법에 따라 다른 방법을 적용할 수 있고, 다른 방식과 방법으로 MUR에서 묘사한 정보를 전송하고 사용할 수도 있다. MUR 정보 파일에 대한 전송방식은 4개 방안을 제출하여 예로 삼고, MUR 정보를 시그널링 정보 중에 추가하는 방법에는 아래 몇가지 방식을 포함하나 이에 국한하지 아니한다:
방식 1: MUR 정보를 종래의 CI 파일에 추가한다
CI 파일의 기능은 미디어 자원의 프레젠테이션을 지도하며, level_list 역시 자원 관련 정보를 분석하기에, level_list 컨텐츠를 종래의 CI 파일에 추가할 수 있다. 수신단은 CI 파일을 해석할 경우 level_list 정보의 해석을 지원해야 한다.
방식 2: 시그널링 정보에 MUR 정보를 묘사한 MUR 파일을 추가한다
방식1과 동일한 구상에 따라 CI 파일과 유사한 MUR 정보를 묘사한 파일을 정의할 수도 있다. 이 방법의 장점은 종래의 프로토콜중의 CI에 대해 고칠 필요가 없는 것이다. 생성된 MUR 파일은 CI와 HTML 파일과 병렬로 전송할 수 있고, 프로토콜중의 전송CI 파일의 방식에 따라 MUR 파일에 비교적 적합한 전송 방식은 MPI table에 포함시켜 시그널링 소식의 일부분으로 하여 전송하는 것이다.
Syntax Value No. of bits Mnemonic
MPI_table() {
table_id
version
length
reserved
PI_mode
reserved
MPIT_descriptors {
MPIT_descriptors_length
for(i=0; i<N2; i++) {
MPIT_descriptors_byte
}
}
PI_content_count
for(i 0; i<N3; i++) {
PI_content_type {
PI_content_type_length
for(j=0; j<N4; j++) {
PI_content_type_length_byte
}
}
PI_content_name_length
for(j=0; j<N5; j++) {
PI_content_name_byte
}
PI_content_descriptors {
PI_content_descriptors_length
for(i=0; i<N6; i++) {
PI_contnent_descriptors_byte
}
}
PI_content_length
for(j=0; j<N7; j++) {
PI_content_byte
}
}
}


N1
’1111'

‘11'

N2




N3


N4




N5




N6




N7
8
8
16
4
2
2

16

8


8


8

8


8

8


16

8


16

8
uimsbf
uimsbf
uimsbf
bslbf
uimsbf
bslbf

uimsbf

uimsbf


uimsbf


uimsbf

uimsbf


uimsbf

uimsbf


uimsbf

uimsbf


uimsbf

uimsbf
MUR 파일을 MPI table에 포함시키고, 고쳐야 할 부분은 PI_content 묘사 부분에서 PI_content_count의 값을 1을 추가하고, PI_content_type필드는 MUR 파일의 유형을 묘사하며, 실제 상황에 근거하여 MUR 정보를 적합하게 묘사하는 파일 포맷을 선택할 수 있는 바, PI_content_type_length값은 파일유형의 길이이고, PI_content_type_length_byte값은 MUR 파일의 유형이다. PI_content_name_length값은 MUR 파일name의 길이이고, PI_content_name_byte값은 MUR 파일의 name의 값이다. PI_content_descriptores_lengtH와 PI_content_descriptors_byte는 각각 MUR 파일의 묘사 정보의 길이와 컨텐츠이고, 현재는 비워두고 있다가 향후 확충할 수 있다. PI_content_lengtH와 PI_content_byte는 각각 MUR 파일의 길이와 컨텐츠이다.
이상의 설명에 근거하여 MUR 파일을 MPI table에 써넣은후 MUR 정보를 전송할 수 있다.
방식3: MUR 정보를 묘사하는 descriptor를 추가한다
종래의 MMT프로토콜이 정의하는 시그널링 소식에서 일부 묘사성 descriptor를 정의하였다. descriptor는 MMT에서 시그널링 부분은 일부 필드 또는 기능을 정의하는 이를테면 dependency descriptor와 MPU_timestamp_descriptor묘사성 정보이다. 따라서, MUR 정보를 묘사하는 descriptor를 정의하여 descriptor에서 mpU의 level정보를 묘사할 수 있다. MP table에는 asset_descriptors 필드가 있고, 수요에 따라 asset_descriptors에 관련 descriptor를 추가한 후 필요시 그널링에서 mpU의 level정보를 묘사할 때, 이 descriptor를 asset_descriptors에 포함시키는 것을 통해 실현할 수 있다.
방식4: 한 개의 MUR 정보를 묘사한 시그널링 테이블을 추가한다
이상의 구상에 따라 시그널링 정보에 종래의 몇개의 시그널링 테이블블 외에 다시 한 개의 table을 추가하여 MUR 정보를 묘사하는데 사용할 수 있다. MUR 정보를 묘사하는 테이블을 생성한 후 특정 헤드를 더하여 MUR 정보를 묘사하는 message를 생성하고, 이 message는 PA message, MPI message, MP messae, CRI message 등과 함께 새로운 시그널링 정보를 구성하여 전송한다. 수신단은 시그널링 소식을 접한 후 해석을 거쳐 관련 level_list정보를 얻을 수 있다.
본 발명에 따른 실현 방법을 더 선명하게 설명하기 위해, 도4는 상기 유형1설명 방법에 따라 MUR 파일을 구성하고, 상기 방식2를 적용하여 MUR 파일을 전송하여 예를 들어 한 개의 구체적인 실현 흐름을 설명하기로 한다. 도4에서 알 수 있듯이, 수신단 VoD 서비스 로그인시, 송신단은 시그널링 정보를 발송하고, 수신단은 MPI표중의 PI_content_type_length_byte필드를 판단하는 것을 통해 MUR, CI와 HTML 파일을 접수하며, 동시에 로컬 보호를 생성한 MPU저장 데이터베이스 MySQL를 갱신한다. 유저가 축소판 동영상을 요청하면, 수신단은 MUR 파일 검사를 통해 축소판을 찾아 level_list[0]와 대응시키고, 대응하는 mpu_seq_number 1,9를 찾는다. 이때 클라이언트는 이 MPU를 요청하고 로컬에서 유저에 플레이하며, 로컬 데이터 베이스를 갱신한다. 유저가 이어서 편집판 동영상을 요청하면, MUR 파일과 로컬 데이터베이스 검사를 통해 송신단에서 로컬 미저장 MPU를 찾는 바, 이 MPU는 level_list[1]- level_list[0]가 획득한 MPU이고, 그 중 mpu_seq_number는 4,6이다. 수신단은 4,6을 접한 후 다시 로컬 저장 1,9를 찾아 편집판 동영상을 재조합한다.
상술한 실시예는 MMT를 예로 하여 언급한 솔루션에 대해 설명을 하였다. 하지만 이 방안은 마찬가지로 기타 파일 패키지, 전송시스템과 프로토콜에 사용할 수도 있다.
제 3 실시예
상술한 제 2 실시예에서 기술한 응용에 기반하여 본 실시예는 컨텐츠 드라이버 스마트 홈 컨트롤 방법을 제공한다.
현재 스마트 홈 설비는 개인 가정집에 점점 더 많이 나타나고 있으며, 필립스 (Philips)사에서 출시한 “세계상에서 제일 스마트한 LED전구” 제품――Philips hue를 예로 하여 동영상과 음성 데이터를 어떻게 표기하여 hue시스템을 구동할 것인가 하는 방법을 설명해 보기로 한다.
필립스 hue소개
필립스 hue는 표면상으로 보면 보통 전구와 다를바 없지만, 브리징 방식으로 집안의 라우터에 연결되어 유저가 조명에 대해 더 개성화 제어를 할 수 있게 만들었다. 필립스 hue는 LED 조명기술과 무선 인터넷 기술을 응용하여 LED 조명을 제공하는 기초상에서 불빛으로 하여금 더 많은 방면에서 인류 생활을 위해 편리를 창조해 주었다――휴대폰 위치고정 기능을 통해 hue는 귀가하거나 외출시에 자동으로 전구를 켜거나 끄거나 전구 색상을 변화시킬 수 있다. 타이머 알람기능 설정을 통해 hue는 매일 생활이 더 규칙적이 될수 있게 해준다: 예를 들면 아침에 집에서 조명 불빛이 자동으로 밝아지게 하고, 저녁이면 잠자리에 들도록 알려주는 등이다. 필립스 hue는 “명암이 다른 화이트 색조를 제공하는 바, 온화한 색상으로부터 찬 색상에 이르기까지 조절이 가능하다”, 동시에 프로그래밍 사전 설정을 통해 1600만가지 색상에 대한 선택(레드 그린 블루 조합)할 수 있음은 물론, 휴식, 열독, 집중 및 활동을 포함한 4가지 각자 다른 사전 설정 모식을 지원한다. 특정 분위기를 연출을 위한 특정 조명 환경 창조, 실내 조명 상황에 대한 원격 통제와 감시, 타이머 설정을 통한 일상 조명 수요 관리, 불빛을 통한 최면 또는 알람서비스 등, 이 모든 것은 필립스 hue가 모두 주인을 도와 도맡는다. 그 외, 유저는 설비 중의 임의의 사진을 조색판으로 하여 색상을 취할 수 있고, 프로그램을 하루 특정 시간대에 특정한 색상을 연출할 수 있도록 설정할 수도 있다.
Hue의 기능은 지속적으로 풍부해 지고 있는 바, 네트워크 플랫폼에서 개발자에 API포트와 소프트웨어 개발 툴 킷 SDK를 개발함으로써, 새로운 응용 방안이 끊임없이 탄생되고 있다. 유저 역시 이 플랫폼에서 개성화 조명 방안을 공유할 수 있으며, 이미 40개를 웃도는 새로운 응용 프로그램이 개발되었다. 이 프로그램은 hue로 하여금 더 많은 설비와 프로그램을 연관시켜 주었다: 일부는 조명 변화로써 심장 박동을 표시하고, 일부는 사람들로 하여금 소리로써 조명 빛을 통제하게 하였으며, 일부는 TV모니터 변화와 동기화를 실현하였다.
본 실시예는 멀티미디어 컨텐츠를 통해 스마트 홈 컨트롤 시스템, 예를들어 상술한 필립스 hue를 자동으로 구동할 수 있게 하였다. 사용중인 멀티미디어 컨텐츠에 상응하는 라벨을 추가하여 매번 이 멀티미디어 컨텐츠를 플레이할 때 상기 라벨은 모두 스마트 설비를 구동하여 작동시킬 수 있다. 구체 설명은 도5와 같다.
미디어 데이터 조각에 대한 표기
이종 네트워크 전송 프로토콜Mpeg media transport(MMT)에서 모든 미디어 데이터에 대해 데브리화 MPU 포맷으로 패키지 하고, 각각의 MPU 타임 길이는 대략 0.5로 하며, 멀티미디어 음성 동영상 데이터의 동영상 video와 음성audio를 각각 패키지한다. 이 미디어 데이터 패키지 포맷에 기반하여 아래 몇가지 방법에 따라 MPU에 대해 표기할 수 있다.
동영상MPU에 대해 키 프레임 메인 컬러에 따라 표기
Philips hue시스템에서 이미지 색상을 통해 전구 색상을 제어할 수 있다. 따라서 동영상 MPU에서 키 프레임의 메인 컬러를 추출한 후 그에 대해 표기를 하고, MPUBox에 남긴 reserved필드 7biT로 color_tag를 정의한 후 다른 색상에 대해서는 같지 않은 color_tag를 사용할 수 있으며 아래 표와 같다.
MMT 정의 수정후
aligned(8) class MPUBox
extends FullBox(‘mmpu’, version, 0){
unsigned int(1) is_complete;
unsigned int(7) reserved;
unsigned int(32) mpu_sequence_number;		 aligned(8) class MPUBox
extends FullBox(‘mmpu’, version, 0){

unsigned int(1) is_complete;
unsigned int(7) color_tag;
unsigned int(32) mpu_sequence_number;
color_tag의 값은, 동영상 MPU에서 키 메인 컬러 분석을 통해 color_tag에 값을 부여하고, MPUBox는 필요한 새 속성을 추가할 수 있다. 또는 알고리즘을 통해 자동으로 MPU의 메인 컬러에 대해 어사인먼트를 추출한다. 현재 본 발명의 부분 실시예에서 reserved의 7bit를 color_tag에 사용하고, 향후 더 많은 bit가 필요하면, 추가를 통해 확충할 수 있다.
동영상MPU에 대해 장면 줄거리에 따라 표기
Philips hue시스템에서 생활속의 다른 분위기에 근거하여 다른 조명 모식을 프레젠테이션 할 수 있다. 따라서 본 실시예는 동영상에서 임의의 토막 장면의 모식을 추출, 예컨대 낭만 또는 격정적인가 하는 등등 모식을 추출하여 추가적으로 MPU에 대해 표기를 할 수 있다. 위의 표를 참고하여 MPUBox 중의 reserved필드에서 scene_tag를 정의하고, 다른 알고리즘을 적용하여 장면 중의 모식을 추출할 수 있다.
MMT 정의 수정후
aligned(8) class MPUBox
extends FullBox(‘mmpu’, version, 0){
unsigned int(1) is_complete;
unsigned int(7) reserved;
unsigned int(32) mpu_sequence_number;		 aligned(8) class MPUBox
extends FullBox(‘mmpu’, version, 0){

unsigned int(1) is_complete;
unsigned int(7) color_tag;
unsigned int(8) scene_tag;
unsigned int(32) mpu_sequence_number;
음성 MPU에 대해 음조에 따라 표기
Philips hue시스템에서 음악 음조의 고저를 이용하여 조명 모식을 제어할 수 있다. 따라서 본 발명 부분의 실시예는 음성 MPU 중의 음조 특징을 추출하여 추가적으로 MPU에 대해 표기를 할 수 있다. 위의 표를 참고하면, MPUBox 중의 reserved필드를 tone_tag로 정의하고, 각종 다른 알고리즘을 샘플링하여 음성 데이터의 음조를 추출할 수 있다.
미디어 컨텐츠에 상응하는 scene_tag, tong_tag를 로딩하였기에, 미디어 컨텐츠가 정상 플레이할 때, 설비는 상응하는 새 속성을 읽어낸후 이 속성정보를 조명 제어설비 포트로 전송하게 된다. 이때, 조명설비는 접수한 속성정보에 근거하여 시스템을 제어하는 지령과 파라미터를 해석하여 미디어 컨텐츠의 플레이에 따라 실시간으로 불빛에 대한 조절과 변화를 실현한다.
여기서 MPUBox를 예로 하여 새로운 속성 추가를 통해 미디어 컨텐츠와 불빛의 결합 프레젠테이션을 실현하는 방법에 대해 설명하였다. 하지만 실제 응용에서 새 속성은 실제 수요에 따라 기타 시그널링 위치에 추가할 수도 있다. 본 발명의 상술한 실시예는 조명을 예로, 전통 멀티미디어와 스마트 홈 결합 방법에 대해 설명하였다. 본 발명을 응용하는 구상과 방법에 대해 기타 스마트 홈, 스마트 도시 시스템으로 그 응용 범위를 확장할 수도 있다.
제 4 실시예
유저가 멀티미디어 컨텐츠 감상시, 전체 프로그램 컨텐츠에 대해 흥미를 가지지는 않고, 오직 프로그램 중의 임의의 인물 또는 임의의 장면에 대해서만 흥미를 가지는 경우도 있다. 스마트 미디어 전송시스템은 멀티미디어 컨텐츠에 대해 다른 각도로 분류할 수 있다. 즉 다른 표식을 하여 유저의 개성화 수요에 가능성을 제공해 준다. 서비스 업체는 각자 다른 라벨에 따라 다른 멀티미디어 컨텐츠 버전과 다른 edit list를 대응시키고, 대응하는 표식이 바로 edit id이다. 유저가 서비스가 제공하는 edit list대응 컨텐츠를 식별하게 하기 위해, 상응하는 묘사 정보를 전송하여 유저의 개성화 수요를 보장해야 한다.
동일한 컨텐츠의 그레이딩 프레젠테이션을 예로 하여 임의의 영화 프로그램에 대해 asset1로 가정하여 제작사는 여러 개 다른 버전 동영상을 제공할 수 있다. 동영상 조직 구조에 따라 획분하면, 축소판, 편집판, 완전판과 연장판 등 각자 다른 길이의 동영상 버전으로 나눌 수 있다.
멀티미디어 컨텐츠의 그레이딩 정보 및 그 묘사 정보의 대응관계를 유저에 프레젠테이션하여 유저 선택에 편리하도록 한다. 본 발명 부분의 실시예는 전송 정보에 묘사 정보(멀티미디어 컨텐츠 특징 정보 또는 동일한 미디어 자원의 각 버전의 관련 정보)를 추가하는 등 방식으로 개성화 프레젠테이션을 실현하는 바, 아래 3가지 방안을 예로 설명한다.
방안1: 이미 있는 CI(Composition Information)정보의 원소MediaSync에 description 속성을 신규로 추가하여 다른 버전 컨텐츠의 묘사 정보 설명에 사용, 아래와 같다:
<mmtci:CI>
<mmtci:view id="View1" style="position:absolute; width:1920px; height:1080px" mmtci:begin="0s" mmtci:end="indefinite">
<mmtci:area id="divL1" style="position:absolute; left:0px; top:0px; width:1920px; height:1080px" mmtci:begin="0s" mmtci:end="indefinite" mmtci:refDiv="Area1"/>
</mmtci:view>
<mmtci:MediaSync refId="Video1" >
<mmtci:Option mmtci:mediaSrc="Package1/asset1?edit_id=00∪01∪10" description="full version"/>
<mmtci:Option mmtci:mediaSrc="Package1/asset1?edit_id=00" description="compact version"/>
</mmtci:MediaSync>
<mmtci:MediaSync refId="Audio1" />
<mmtci:Option mmtci:mediaSrc="Package1/asset2?edit_id=00∪01∪10" description="full version"/>
<mmtci:Option mmtci:mediaSrc="Package1/asset2?edit_id=00" description="compact version"/>
</mmtci:MediaSync>
</mmtci:CI>
CI정보에는 주로 view 원소, area 원소, MediaSync 원소와 Option 원소를 포함한다. 그 중 view 원소는 한 개 시각 구역 배치 변환에 대한 시간영역 제어 정보를 제공한다. area 원소는 view 원소의 서브원소, 즉 한 개의 시각 view의 임의의 한 개의 부분으로서, CI와 함께 구성된 HTML5 파일 중의 임의의 div 원소와 대응된다. MediaSync 원소는 CI와 함께 구성된 HTML5 파일의 임의의 미디어 자원을 가리키는데 사용된다. Option 원소는 이 부분의 CI는 한개의 선택가능한 항목임을 표시한다.
각각의 CI 원소는 일부 다른 속성을 가질수 있고, 위의 표에서 언급한 속성에서 id 속성은 이 원소의 표식이다. style 속성은 이 원소의 CCS양식을 지정하는데 사용된다. begin 속성은 이 CI에 작용을 하기 시작한 타임임을 지시한다. end 속성은 이 CI지령이 작용이 정지되는 타임을 지정한다. refDiv 속성은 이 원소와 대응하는 HTML5 파일 중의 div 원소의 표식을 가리킨다. refId 속성은 이 원소와 대응하는 HTML5 파일 중의 임의의 원소의 표시를 가리킨다. mediaSrc 속성은 미디어 자원의 주소 및 신규 추가 description 속성을 가리킨다.
CI 파일의 기능은 미디어 자원의 프레젠테이션을 지도하는 것이고, edit list는 자원 관련 정보를 분석한다. 따라서, edit list 컨텐츠를 종래의 CI 파일에 추가할 수 있다. 수신단은 CI 파일을 해석할 때 edit list정보의 해석을 지원 받아야 한다. CI 파일중 MediaSync 원소는 미디어 자원 지정에 사용된다. 하기에 미디어 자원을 지정함과 동시에 미디어 자원에 묘사 정보를 추가해야 한다. 따라서 MediaSync 원소에서 description 속성을 추가하여 미디어 자원과 대응하는 컨텐츠 묘사 정보를 묘사하는데 사용해야 한다.
상술한 절차 중의 미디어 자원에는 동영상과 음성을 포함, 각각 asset1과 asset2이다. 서버는 asset 중의 미디어 데이터 유닛의 표식을 식별한 후 이를 다른 edit list로 분류하고, 각각의 edit list는 대응하는 edit id로 식별한 후 상응하는 CI 파일을 생성하고, 그 중에는 전송하는 edit list와 대응하는 미디어 묘사 정보description을 포함한다. 클라이언트는 접수한 CI 파일을 해석한 후 유저 수요에 근거하여 상응하는 description을 선택하여 edit id정보를 해석하고 대응하는 미디어 데이터 유닛을 요구한다.
방안2: CI 파일에 새로운 원소 EditDesp을 추가하여 묘사한다.
<mmtci:CI>
<mmtci:view id="View1" style="position:absolute; width:1920px; height:1080px" mmtci:begin="0s" mmtci:end="indefinite">
<mmtci: area id="divL1" style="position:absolute; left:0px; top:0px; width:1920px; height:1080px" mmtci:begin="0s" mmtci:end="indefinite" mmtci:refDiv="Area1"/>
</mmtci:view>
<mmtci:MediaSync refId="Video1" >
<mmtci:Option mmtci:mediaSrc="Package1/asset1?edit_id=00∪01∪10" />
<mmtci:Option mmtci:mediaSrc="Package1/asset1?edit_id=00" />
</mmtci:MediaSync>
<mmtci:MediaSync refId="Audio1" />
<mmtci:Option mmtci:mediaSrc="Package1/asset2?edit_id=00∪01∪10" />
<mmtci:Option mmtci:mediaSrc="Package1/asset2?edit_id=00" />
</mmtci:MediaSync>
<mmtci: EditDesp>
<mmtci: edit edit_id=00 description="trailer version"/>
<mmtci: edit edit_id=00U01 description="compact version"/>
<mmtci: edit edit_id=00U01U10 description="full version"/>
<mmtci: edit edit_id=00U01U10U11 description="extend version"/>
</mmtci: EditDesp>
</mmtci:CI>
미디어 자원의 정보를 MediaSync에 포함시키고, CI에서 MediaSync과 같은 레벨의 새 원소EditDesp를 새로 추가하여 미디어 자원 중의 모든 관련 컨텐츠의 묘사 정보 지시에 사용한다. edit 원소는 EditDesp 원소의 서브원소이고, 각각의 edit 원소 는 한개 종류의 개성화 프레젠테이션 묘사 정보이다. edit 원소에서 신규로 추가한 edit_id 속성과 description 속성, edit_id 속성은 임의의 한 개의 레벨 또는 임의의 한 개의 부분의 미디어 자원 표시에 사용하고, description 속성은 미디어 자원의 컨텐츠 묘사 정보를 묘사하는데 사용한다.
상술한 절차 중의 EditDesp 원소에서 미디어 자원 중의 4가지 관련 컨텐츠 묘사를 정의하고, 상응하는 edit_id를 써넣는다. 클라이언트는 접수한 CI 파일을 해석한 후 유저 수요에 근거하여 상응하는 description을 선택하여 edit id정보를 해석하고 대응하는 미디어 데이터 유닛을 요구한다. 서버단에서 같은 미디어 자원으로 생성된 CI 파일은 일치하고 완전하여 유저의 개성화 수요를 만족함과 동시에, 서버에 관련 묘사 및 대응하는 edit id가 중복으로 발생하는 것을 감소시킨다.
방안3: 시그널링에서 descriptor 묘사 추가
Synax Value No. of bits Mnemonic
Edit_descriptor() {
descriptor_tag
descriptor_length
edit_list_number
for(i=0; i<N1; i++) {
edit_id
edit_description_length
for(j=0; j<N2; j++) {
edit_description_byte
}
}
}


N1


N2
16
32
8

8
8

8
uimsbf
uimsbf
uimsbf

uimsbf
uimsbf
위의 표에 포함된 대응 원소의 함의는 아래와 같다:
descriptor_tag - 이 descriptor 유형의 라벨을 정의한다.
descriptor_length - 이 descriptor의 길이를 정의한다.
edit_list_number -미디어 자원과 관련한 컨텐츠를 정의, N1는 관련 컨텐츠의 개수를 표시한다.
edit_id - 미디어 자원과 관련한 컨텐츠의 각 버전의 라벨을 정의한다.
edit_description_length - 미디어 자원 레벨 묘사 정보의 길이, 바이트를 단위로 한다.
edit_description_byte - 정보 중의 한개 바이트에 대한 구체 묘사.
서버는 미디어 자원 중의 미디어 데이터 유닛의 표식을 식별한 후 다른 edit list로 분류하고, 각각의 edit list는 대응하는 edit id로 식별한다. 유저와 시스템간 대화를 실현하기 위해, 전송하는 미디어 자원을 식별하고 수요에 근거하여 관련 컨텐츠를 선택하여 프레젠테이션을 하고, 시스템은 descriptor시그널링을 생성한다. 그 중에는 전송하는 edit list와 대응하는 미디어 묘사 정보 description을 포함한다. 클라이언트는 접수한 시그널링 정보를 해석한 후 유저 수요에 근거하여 상응하는 description을 선택하여 edit id정보를 해석한 후 대응하는 미디어 데이터 유닛을 요구한다. 컨텐츠의 관련 정보 묘사시에, 이 descriptor를 asset_descriptors에 포함시키는 것을 통해 실현할 수 있다.
이상을 종합하면, 제 2 실시예는 DASH와 MMT 두가지 전송 프로토콜에서 개성화로 프레젠테이션되는 실현하는 다른 방법으로, 미디어 컨텐츠를 다른 level(즉 본 실시예 중의 edit list)로 그레이딩하여 전송한다. 이에 반해 제 3 실시예는 다른 level의 구체 응용이다. 유저는 다른 edit list를 구분하지 않고, 오직 대응하는 묘사 정보, 예를들면 다른 edit list대응하는 다른 동영상 버전 등을 알기만 하면 되는데, 이 것이 바로 본 실시예가 다른 실시예와 다른 점이다.
본 발명에 따른 실현 방안에 대한 이해를 추가적으로 도움이 되게 하기 위해, 도4와 같이, 상술한 방안2에 따라 방법 구조 CI 파일에 대해 설명을 하기로 한다. 한 개의 구체적인 실현 흐름을 예로 설명하기로 한다: 도4에서 알 수 있듯이, 수신단이 VoD 서비스에 로그인시, 송신단은 시그널링 정보를 발송하고, 수신단은 MPI표중의 PI_content_type_length_byte단을 판단하여 CI와 HTML5 파일을 접수하고, 동시에 로컬 보호를 받는 MPU 저장 데이터베이스 MySQL를 갱신 및 생성후 CI와 HTML5 파일을 해석한다. CI 중의 제어 정보와 신규 추가한 멀티미디어 컨텐츠 묘사 정보description에 근거하여 유저를 위해 개성화 프레젠테이션의 그레이딩 정보를 제공하고, 유저가 그레이딩 정보에 따라 축소판 동영상을 요구할 경우, 수신단은 CI 파일을 통해 축소판을 찾아 내어 edit_list[0]와 대응시키고, 대응하는 mpu_seq_number미디어 데이터를 찾아 내어 1,9로 표시한다. 이때 클라이언트는 이 MPU를 요구하여 로컬에 저장한 후 유저에 플레이하고, 로컬 데이터베이스를 갱신한다. 유저가 이어서 편집판 동영상을 요구하면, CI 파일과 로컬 데이터베이스 검사를 통해 송신단에서 로컬에 미저장된 MPU를 찾아내는데, 이 MPU는 edit_list[1]에 대응하는 MPU이고, 그 중 mpu_seq_number미디어 데이터는 4,6로 표시된다. 수신단은 4,6을 접수한 후 다시 로컬에 저장된 1,9와 편집판 동영상으로 재조합된다.
제 5 실시예
본 실시예는 제 2 실시예의 전제하에, 종래의 멀티미디어 프로토콜중 프레젠테이션 메커니즘의 미완비 상황에 대해 요청 서비스의 유저 선택에 기반한 프레젠테이션 메커니즘과 방송, 실시간 생방송 서비스의 푸시 메커니즘, 및 관련 컨텐츠의 프레젠테이션 서비스를 충분히 고려하였다. 동일한 미디어 자원과 관련한 컨텐츠 버전에 대하여 그 중의 각각의 미디어 데이터 유닛의 프레젠테이션 타임은 모두 같지 않은데, 미디어 데이터 유닛의 지속 타임 추출을 통해 유저가 선택한 버전과 플레이과정 중의 각자 다른 조작에 근거하여 시그널링 정보 중의 개시 타임의 기초상에서 미디어 데이터 유닛의 지속 타임을 추가하여 대응 버전의 미디어 컨텐츠의 프레젠테이션 타임라인을 생성하거나, 또는 시그널링에서 생성과 함께 미디어 데이터 유닛의 절대적 프레젠테이션 타임을 생성하고, 유저 선택에 근거하여 대응하는 프레젠테이션 타임라인 정보를 생성한다.
구체적으로, 서버는 미디어 컨텐츠와 미디어 묘사 맵핑테이블을 유저에 전송하는 것을 통해 즉 유저에 관련성 미디어 컨텐츠의 옵션을 제공한다. 유저는 자신의 수요에 근거하여 동일한 컨텐츠의 다른 버전을 요구하거나, 또는 임의의 한 개의 미디어 자원과 관련한 컨텐츠 등 여러가지 프레젠테이션 형식을 요구할 수 있다. 저장 자원을 아끼기 위해 차별화 전송을 실현하고, 동일한 미디어 자원의 다른 버전에 공용 데이터 유닛을 포함할 수 있다. 하지만 종래의 시스템은 다른 버전의 컨텐츠의 프레젠테이션 타임에 대해 제어가 불가능해, 미디어 플레이에서 텅 빈 토막이 나타날 수도 있어 유저 경험에 영향을 주었다. 종래의 시스템을 이용하여 각각의 데이터 유닛의 지속 타임정보를 제공함에 있어서, 다른 전송 네트워크의 특성을 고려하였다. 예컨대 VoD(Video on Demand)는 유저 선택 프로그램의 타임을 이용하여 미디어 자원의 초기프레젠테이션 타임을 확정하고, 방송과 실시간 생방송은 규정된 타임에서 각 설비에서 프레젠테이션을 동기화 한다. 하지만 여전히 무작위 접속 문제와 실시간 생방송 중의 실시간성 문제도 고려해야 한다. 따라서, 본 실시예에서는 3가지 상황에서의 전송네트워크를 예로 하여 각자 다른 개성화 프레젠테이션 타임라인 컨트롤 메커니즘에 대해 설명하기로 한다.
응용1: VoD
VoD 서비스에서 유저가 임의의 멀티미디어 컨텐츠를 선택한 후 서버는 이 수요에 대해 호응하고, 유저가 선택한 버전에 근거하여 대응하는 미디어 데이터 유닛의 지속 타임을 읽어 내어, 대응하는 프레젠테이션 정보 지도 파일과 시그널링 정보를 생성한다.
동일한 컨텐츠의 그레이딩 프레젠테이션을 예로, 임의의 영화 프로그램에 대해 이를 asset1로 가정한다. 버전1 동영상은 축소판 무비이고, 듀레이션은 5분, 내용에는 영화 중의 다채로운 화면이 포함되고, 버전2 동영상은 편집판, 듀레이션은 30분, 내용에는 영화 스토리 내용과 중요 장면만이 포함되며, 버전3 동영상은 완전판, 듀레이션은 120분, 내용에는 완전한 스토리 내용이 포함되고, 버전4는 확충판, 듀레이션은 150분, 내용에는 완전한 스토리 내용을 포함하는 외에 NG모음과 같은 확충 컨텐츠를 포함한다. 도1 참고.
응용2: 방송 프로그램
방송 서비스에서 서버는 예정 프로그램 리스트에 따라 미디어 데이터 스트림을 전송한다. 유저의 무작위 접속 문제를 고려하여 서버는 프레젠테이션 관련 정보를를 교대로 내보내야 한다. 유저는 접속시에 접수한 현재 프레젠테이션 타임라인에 따라 미디어 컨텐츠를 감상한다. 동시에, 감상 설비 상태에 근거하여 이를테면 배터리량 레벨 등 지표에 근거하여 실시간으로 감상 모식을 교체하여 설비 상태에 적응하는 상황에서 더 좋은 유저 경험을 제공할 수 있다.
방송을 통해 전송하는 축구경기 프로그램을 예로 들면, 유저가 모바일 장치에서 축구경기를 관람하는 경우, 장치의 잔여 배터리량을 고려해야 한다. 미디어 데이터 유닛 생성시, 미디어 데이터 유닛의 중요성에 따라 분류를 한다. 이를 테면 다채로운 순간과 골 등 장면은 이 프로그램의 다른 관련 컨텐츠로 각각 다른 표식을 부여한다. 도6 참고. 유저의 배터리 잔량 상황은 대체로 충분, 중간, 부족 레벨로 나눈다.
단말 장치의 잔여 배터리량이 상응하는 레벨에 도달한 후 상응하는 요구를 서버에 발송하면, 서버는 자동으로 동영상 미디어 컨텐츠와 완전한 음성 컨텐츠로 교체되고, 전송 타임라인에 따라 미디어 컨텐츠의 동기화를 컨트롤한다. 부분 동영상 미디어 컨텐츠를 전송하는 상황에서 동영상 데이터 유닛 내부의 타임정보를 해석할 수 없다. 따라서, 상응하는 타임라인과 관련한 시그널링을 해석하여 타임정보를 얻고, 장치 상황에 적응되는 프로그램 프레젠테이션을 실현한다.
응용3: 실시간 생방송
실시간 생방송 서비스에서 미디어 데이터를 녹화처리한 후 직접 클라이언트로 전송한다. 따라서 실시간성에 대한 요구가 아주 높다. 실시간 생방송에서 유저의 개성화 수요가 실현되는 것을 보장하기 위해, 미디어 자원과 관련한 컨텐츠는 모두 빠르게 단독 타임라인을 생성하여 컨트롤 해야 한다.
예컨대 실시간 생방송 관람시에, 대부분 유저는 다양한 시각의 서비스를 통해 프로그램 컨텐츠(도7 표시)를 감상할 수 있기를 희망한다. 네트워크 대역을 절약하고 안정적인 실시간 멀티시각 서비스를 제공하기 위해, 서비스가 제공하는 컨텐츠는 모두 방송망을 통해 유저에 전송하고, 동시에 이 미디어 자원의 모든 관련 컨텐츠의 프레젠테이션 타임라인 정보를 전송한다. 각 관련 컨텐츠의 총 듀레이션과 포함된 미디어 데이터 유닛의 프레젠테이션 타임이 모두 다르기 때문에, 여러 개의 다른 타임라인을 생성하여 프레젠테이션 컨트롤을 실현해야 한다.
본 발명은 미디어 자원을 단독적인 해석이 가능한 미디어 유닛으로 나누고, 미디어 유닛의 관계를 이용하여 유저가 선택한 다른 동영상 버전에 따라 자동으로 대응하는 프레젠테이션 타임라인을 생성한다. 따라서, 본 발명의 프레젠테이션 메커니즘은 종래의 기술과 비교하여 더욱 원활하다.
아래에 본 발명의 부분적인 구체 실시예에 대해 상세히 설명하기로 한다.
유저가 미디어 컨텐츠를 감상시에, 보통 전체 프로그램 컨텐츠 모두에 흥미를 느끼지 않고, 오직 프로그램 중의 임의의 인물이나 임의의 장면에 대해서만 흥미를 느낄 수 있다. 스마트 미디어 전송시스템은 미디어 컨텐츠에 대해 다른 각도로부터 분류, 즉 다른 라벨을 부여하여 유저의 개성화 수요에 가능성을 제공한다. 개성화 프레젠테이션시에, 다른 버전의 관련 컨텐츠에는 공용 미디어 데이터 유닛을 포함한다. 하지만 이 데이터 유닛은 각 버전 중의 프레젠테이션 타임이 서로 다르기 때문에, 각각의 버전을 상대로 각자 다른 프레젠테이션 타임라인을 생성하여 플레이를 컨트롤 해야 한다.
상술한 예에서 각각의 버전 중의 MPU(media processing units)미디어 데이터 유닛의 프레젠테이션 타임은 도8에 표시하였다. 여기에서 duri는 i번째 MPU의 지속 타임을 표시한다. 도와 같이, 한 개의 미디어 자원에서 동일한 MPU의 프레젠테이션 타임은 서로 다르다. 따라서, 동일한 미디어 자원의 다른 관련 버전 모두 단독 타임라인으로 프레젠테이션을 지도해야 한다.
개성화 서비스에서의 유저 경험을 보장한다. 다른 미디어 자원 또는 동일한 미디어 자원의 다른 버전의 컨텐츠에 대응하는 프레젠테이션 타임라인을 제공하여 미디어 컨텐츠가 타임라인에 따라 유저 선택 컨텐츠를 차례로 프레젠테이션하게 한다. 본 발명은 새로운descriptor을 추가 또는 기타 지도 정보, 이를 테면 message, table 등 시그널링 정보를 새로 추가하는 것을 통해 프레젠테이션 타임라인의 전송을 실현하는 바, 아래 3가지 방안으로 설명하기로 한다.
방안1:
MMT에서 정의한 MPU timestamp descriptor를 적용한다. 이 descriptor에서 MPU의 한 개의 미디어 자원에서 대응하는 라벨 mpu_sequence_number와 대응하는 UTC 절대적 프레젠테이션 타임을 표기한다. 이 descriptor의 어법 구조는 아래 표와 같다.
Syntax No. of bits Mnemonic
MPU_timestamp_descriptor() {
descriptor_tag
descriptor_length
for(i=0; i<N; i++) {
mpu_sequence_number
mpu_presentation_time
}
}
16
8

32
64
uimsbf
uimsbf

uimsbf
uimsbf
descriptor_tag - 이 descriptor 유형의 라벨을 정의한다.
descriptor_length - 이 descriptor의 길이를 정의한다.
mpu_sequence_number - 순서에 따라 대응하는 미디어 자원에 포함된 모든 MPU의 라벨을 열거하였다. N은 MPU의 개수를 표시한다.
mpu_presentation_time - 이 descriptor와 대응하는 미디어 자원에 포함하는 모든 MPU의 UTC 절대적 프레젠테이션 타임을 열거하였다.
미디어 컨텐츠를 전송하는 과정에서 유저가 선택한 미디어 컨텐츠에 근거하여 대응하는 미디어 데이터 유닛 MPU를 선택한 후 그 지속 타임정보 duration을 해석한다. 만약 미디어 자원과 관련한 컨텐츠를 선택하였다면, 각 관련 컨텐츠 버전에 포함된 MPU는 중복이 발생할 수 있다. 즉 동일한 MPU는 다른 관련 컨텐츠 버전에서 다른 절대적 프레젠테이션 타임이 있을 수 있고, 서버는 유저가 선택한 버전에 근거하여 상응하는 MPU의 지속 타임정보를 얻는다. 유저가 선택한 미디어 플레이 타임 또는 시스템에서 규정한 미디어 플레이 타임에 근거하여 MPU을 지정하기 전의 모든 MPU의 지속 타임을 누적하는 것을 통해 각각의 MPU와 대응하는 UTC 절대적 프레젠테이션 타임, 즉 descriptor 중의 mpu_presentation_time을 계산한다.
종래의 MMT프로토콜에서 정의한 시그널링 소식에서는 묘사성 descriptor, 이를 테면 dependency descriptor와 MPU_timestamp_descriptor를 정의하였다. 따라서, 제공되는 미디어 컨텐츠와 대응하는 프레젠테이션과 관련되는 타임 정보의 descriptor를 정의할 수 있다. MP table에는 asset_descriptors 필드가 있어, 수요에 따라 asset_descriptors에 관련 descriptor를 추가할 수 있다. 멀티미디어 서비스 이용시에, 이 descriptor를 asset_descriptors에 포함시키는 것을 통해 프레젠테이션을 실현한다.
하지만, 요청 서비스는 유저의 주도하에 이루어 지기에, 유저의 감상 과정에서의 조작, 이를 테면 일시정지와 빨리 보기 등 조작을 고려해야 한다. 이와 같은 상황에서 만약 서버가 단지 대응하는 각각의 MPU의 UTC 절대적 프레젠테이션 타임만 제공할 경우, 정확하게 계속 플레이가 불가능하는 바, 서버가 새롭게 프레젠테이션 타임라인 정보를 생성하여 재전송을 해야 하고, 비교적 많은 계산 부담과 리던던시 양을 초래할 뿐만 아니라, 일정한 시간 지연을 초래하여 유저 경험에 영향을 줄수 있다. 방송 서비스에서 UTC 절대적 프레젠테이션 타임, 즉 mpu_presentation_time을 적용하는 것은 편리한 방식이다. 선정한 미디어 컨텐츠는 생방송 서비스에서의 플레이 타임이 고정되어 있기 때문이다. 유저가 임의의 한 개의 미디어 자원을 접수하고 관련 서비스를 선택함과 동시에 대응하는 MPU_timestamp_descriptor를 접수하면, 각 관련 부분 컨텐츠의 미디어 데이터 유닛은 그 중의 묘사된 타임정보에 근거하여 고정된 타임 프레젠테이션을 하기만 하면 되는 것이다.
방안2:
MPU timestamp descriptor를 정의한다. 동일한 미디어 자원과 관련한 컨텐츠 및 대응하는 MPU의 집합에 근거하여 edit list를 정의한 후 각 버전의 관련 컨텐츠에 단독 edit id를 부여한다. descriptor에서 각각의 edit list에 포함된 모든 MPU의 mpu_sequence_number와 대응하는 프레젠테이션 타임정보를 묘사한다. 이 descriptor의 어법구조는 아래 표와 같다.
Syntax No. of bits Mnemonic
MPU_timestamp_descriptor() {
descriptor_tag
descriptor_length
edit_list_number
for(i=0; i<N1; i++){
edit_id
for(j=0; j<N; j++) {
mpu_sequence_number
mpu_presentation_time
}
}
}
16
8
N1



32
64
uimsbf
uimsbf




uimsbf
uimsbf
descriptor_tag - 이 descriptor 유형의 라벨을 정의한다.
descriptor_length - 이 descriptor의 길이를 정의한다.
edit_list_number - 미디어 자원과 관련한 컨텐츠를 정의한다. N1은 그 개수를 표시한다.
edit_id - 미디어 자원과 관련한 컨텐츠의 각 버전의 라벨을 정의한다.
mpu_sequence_number - 순서에 따라 대응하는 미디어 자원에 포함된 모든 MPU의 라벨을 열거하였다. N은 MPU의 개수를 표시한다.
mpu_presentation_time - 이 descriptor와 대응하는 미디어 자원에 포함하는 모든 MPU의 UTC 절대적 프레젠테이션 타임을 열거하였다.
미디어 컨텐츠를 전송하는 과정에서 유저가 선택한 미디어 컨텐츠에 근거하여 그가 선택한 미디어 자원의 모든 관련 컨텐츠의 UTC 절대적 프레젠테이션 타임 mpu_presentation_time 모두를 이 descriptor에 써넣는다(타임 획득 방식은 방안1 참고). 미디어 컨텐츠를 소비하는 과정에서 서버는 시그널링 정보에 빠라 상술한 descriptor를 클라이언트에 발송한다. 유저는 임의의 한 개 버전의 관련 컨텐츠를 선택한 후 대응하는 edit_id에 근거하여 그 중의 미디어 데이터 유닛 MPU와 대응하는 절대적 프레젠테이션 타임 mpu_presentation_time을 해석하여 대응버전의 타임라인을 생성하는 것을 통해 프레젠테이션을 제어한다. 이와 같은 방식을 통하면 편리하게 각 관련 버전의 미디어 컨텐츠의 프레젠테이션 타임을 얻을 수 있고, 개성화 유저 수요는 모두 동일한 descriptoR 정보 지도를 통해 프레젠테이션하므로, 컨트롤상 더 편리하다.
방안3:
시그널링에서 임의의 미디어 자원 중의 각각의 MPU의 지속 타임을 묘사하고, CI(Composition Information)에서 이 미디어 자원의 개시 타임을 장악한 후 계산을 통해 각각의 MPU의 UTC 절대적 프레젠테이션 타임을 얻을 수 있다.
Syntax No. of bits Mnemonic
MPU_presentation_descriptor() {
descriptor_tag
descriptor_length
for(i=0; i<N; i++) {
mpu_sequence_number
mpu_duration
}
}
16
8

32
64
uimsbf
uimsbf

uimsbf
uimsbf
descriptor_tag - 이 descriptor 유형의 라벨을 정의한다.
descriptor_length - 이 descriptor의 길이를 정의한다.
mpu_sequence_number - 순서에 따라 대응하는 미디어 자원에 포함된 모든 MPU의 라벨을 열거하였다. N은 MPU의 개수를 표시한다.
mpu_duration - 이 descriptor와 대응하는 미디어 자원에 포함하는 모든 MPU의 UTC 절대적 프레젠테이션 타임을 열거하였다.
미디어 컨텐츠를 전송하는 과정에서 유저가 선택한 미디어 컨텐츠에 근거하여 대응하는 미디어 데이터 유닛 MPU를 선택한 후 지속 타임정보 duration을 해석함과 동시에 프레젠테이션 지도 정보, 즉 MPU의 라벨mpu_sequence_number와 대응하는 duration정보를 생성한다.
각종 다른 네트워크 전송 상황을 고려하여 이 방안은 패키지 미디어 데이터 유닛을 생성함과 동시에, 대응하는 지속 타임duration정보를 얻는다. 따라서 실시간성 수요를 바람직하게 만족할 수 있다. 즉 실시간 생방송의 응용 수요를 만족할 수 있다. duration정보를 전송하는 것을 통해 절대적 프레젠테이션 타임을 대체하여 클라이언트가 더 원활하게 미디어 컨텐츠를 조직할 수 있게 해준다. 동시에, 대역 요청 업무에서 유저가 수시로 입력 조작을 하는 것을 지원하여 유저의 개성화 수요를 만족할 수 있다.
이상 세가지 방안에는 대역망과 방송망, 이종 네트워크 등 여러 개 멀티미디어 전송시스템을 아우르는 바, 우리는 또한 지도 파일CI에서 프레젠테이션을 하는 것을 통거나 또는 전송시그널링 정보의 기타 위치에 대응하는 프레젠테이션 타임라인을 포함시킬 수 있다. 이렇게 할 경우 개성화 프레젠테이션 서비스를 실현할 수 있다.
프레젠테이션을 제어하는 과정에서 방송과 실시간 생방송 서비스 모두 유저 현재의 접속 타임으로부터 플레이가 시작된다. 대역 자원을 절약하고 클라이언트의 저장자원 및 계산 소모를 줄이기 위해, 상술한 descriptor에서 미소비한 MPU의 프레젠테이션 타임정보 또는 duration 정보만을 써넣고(아래 이 두가지 유형의 타임정보를 관련 타임정보로 통칭함), 미디어 자원과 대응하는 모든 MPU의 관련 타임은 전송하지 아니한다. 이와 같은 방식을 통해 비록 시그널링 정보를 생성하는 복잡성이 늘어 나지만, 전송 네트워크 대역과 클라이언트의 제한된 계산 능력을 크게 절약할 수 있다. 그 외, 요청 서비스에서 무작위 접속 문제가 존재하지 않으므로, 유저 서비스가 시작될 때에 상응게 제한된 개수의 MPU 관련 타임정보를 전송하고, 유저의 감상 진도에 따라 제때에 후속 MPU 관련 타임정보를 전송할 수 있다. 김상 속도의 원할성을 보장하기 위해 유저 감상시에 조작에서 전송된는 관련 타임정보에 제때에 호응하고, 프레젠테이션 타임라인을 제때에 갱신해야 한다.
본 발명에 따른 실현 방안을 더 선명하게 설명하기 위해, 아래에 상기 방안3의 설명 방법에 따라 MPU_presentation_descriptor를 생성하고, VoD 서비스에서의 개성화 프레젠테이션 타임라인 메커니즘을 구축하여 예를 들여서 한 개의 구체적인 실현 흐름을 설명하고자 한다:
도4와 같이, 상술한 방안3을 예로 설명하면, 멀티미디어 컨텐츠 개성화 프레젠테이션의 타임라인 컨트롤 방법을 제공하는 바, 이 방법의 흐름은 구체적으로 다음과 같다:
수신단이 VoD 서비스를 요청하면, 송신단은 시그널링 정보를 발송하고, 수신단은 MPI표 중의 PI_content_type_length_byte필드를 판단하는 것을 통해 MUR, CI와 HTML 파일을 접수함과 동시에 로컬 보호를 받는 MPU저장 데이터베이스MySQL를 갱신한다. 유저가 축소판 동영상을 요청하면, 수신단은 관련 미디어 컨텐츠의 edit_list 시그널링 정보를 검색하여 축소판 동영상과 대응하는 edit_list의 표식 edit_id=00을 접수하고, 그 중에 포함된 미디어 유닛의 mpu_seq_number는 1,9이다. 이때 수신단은 edit_id=00의 미디어 컨텐츠를 요청하고, 송신단은 대응하는 mpu_seq_number를 요청하여 획득한 미디어 데이터 유닛MPU을 해석하여 대응하는 지속 타임 duration정보를 획득하여 MPU_presentation_descriptor시그널링을 생성한다. 수신단은 상응한 시그널링을 획득하고, MPU_presentation_descriptor와 CI 중의 시작 타임에 근거하여 각각의 MPU의 절대적 프레젠테이션 타임을 생성하여 프레젠테이션 타임라인을 유지한다. 동시에 미디어 데이터를 로컬에 저장하여 유저에 플레이하고, 로컬 데이터베이스를 갱신한다. 유저가 이어서 편집판 동영상을 요청하면, 편집판 동영상의 edit_id=00U01이다. 이때 관련 미디어 컨텐츠의 edit_list 시그널링과 로컬 데이터베이스에 존재하는 MPU를 검사하는 것을 통해 송신단에 edit_id=01인 미디어 자원을 요청한다. 수신단은 시그널링과 미디어 데이터를 접수한 후 이를 해석하고 자원 중의 미디어 데이터 유닛mpu_seq_number를 획득한 후 MPU_presentation_descriptor 시그널링 중의 duration정보에 근거하여 편집판 동영상에 포함된 MPU의 프레젠테이션 타임을 다시 계산하고, 프레젠테이션 타임라인을 갱신한다. 동시에 mpu_seq_number가 4,6인 MPU를 접수하여 로컬에 저장한다.
본 실시예는 유저 개성화 수요를 만족함과 동시에, 한 세트 프로그램의 관련성을 이용하여 저장 공간을 절약하는 기초상에서 유저의 원활한 감상 체험을 보장할 수 있다. 미디어의 프레젠테이션 타임라인 정보가 시그널링 정보 원활하게 발송되므로, 미디어 자원을 소비하는 과정에서 나타나는 시간 지연 및 분실로 초래되는 유저 경험이 떨어지는 문제와 관련하여 프레젠테이션 타임 이전에 분실 사건을 검측할 경우, 미디어 자원의 재 획득을 기다리거나, 이전의 한 개의 미디어 데이터 유닛의 컨텐츠를 중복으로 프레젠테이션을 하여 플레이가 멈추는 현상을 방지하여 유저 경험을 보장할 수 있다.
본 발명의 상술한 부분의 실시예에서 전술한 내용은 MMT를 예로 하여 제출한 솔루션을 설명하였다. 하지만 이 방안은 마찬가지로 기타 파일 패키지, 전송시스템과 프로토콜에 사용할 수 있다.
이상에서 본 발명에 따른 구체적인 실시예에 대해 설명하였다. 이해해야 할 점은 본 발명은 상술한 특정 실시 방식에만 국한되는 것이 아니고, 본 영역의 기술자라면 청구항의 범위 내에서 각종 변경이나 수정을 할 수 있고, 이는 본 발명의 실질 내용에 영향을 주지 아니한다.

Claims (31)

  1. 전체 컨텐츠를 포함하는 멀티미디어 파일을 생성하는 단계; 및
    컨텐츠의 중요성 및/또는 관련 정도에 따라 표기된 상기 멀티미디어 파일의 토막을 그레이딩하여 다른 버전의 멀티미디어 파일을 생성하는 단계; 를 포함하고
    상기 다른 버전의 멀티미디어 파일은 유저에게 선택성 미리보기 및/또는 플레이를 제공하는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법.
  2. 제1항에 있어서,
    상기 유저가 컨텐츠를 선택하기 편하도록 상기 그레이딩에 관련된 버전의 정보를 제공하는 멀티미디어 파일 프레젠테이션 인터페이스를 제공하는 단계;를 포함하는 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 다른 버전의 멀티미디어 파일을 생성하는 단계는,
    컨텐츠 그레이딩 버전 관리를 통해 멀티미디어 파일을 여러 개 버전으로 나누는 단계;
    상기 멀티미디어 파일의 여러 개 버전에 근거하여 컨텐츠 그레이딩과 서로 대응하는 MPD 파일, 즉, 컨텐츠 그레이딩 버전의 관리 라벨을 생성하여, MPD 파일을 생성하는 단계;
    상기 유저가 자신의 수요에 근거하여 상기 다른 버전의 멀티미디어 파일의 컨텐츠를 요청하면, 서버는 상기 MPD 파일을 전송하고, 클라이언트는 MPD를 해석한 후 네트워크 상태, 설비 성능 및 요구 버전의 상황에 근거하여 서버에 상응하는 미디어 샤딩 컨텐츠를 요청하는 단계; 를 포함하는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법.
  4. 제3항에 있어서,
    상기 멀티미디어 파일의 여러 개 버전은 segment 리스트에 대응하고, 상기 segment 에 대응하는 컨텐츠 버전의 MPD 파일은 자동적으로 생성되고,
    @scaleID 속성은 상기 MPD 파일의 MPD 원소에 추가되고, 상기 @scaleID 속성은 상기 MPD 파일이 묘사한 컨텐츠 그레이딩 레벨을 정의하고,
    Representation 원소의 SegmentList 서브원소의 segment 리스트는 단순한 전체 샤딩 리스트가 아니고, MPD@scaleID에 대응하는 특정한 샤딩 리스트인, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 다른 버전의 멀티미디어 파일을 생성하는 방법은,
    컨텐츠 그레이딩 버전 관리를 통해 멀티미디어 파일을 여러 개 버전으로 나누는 단계;
    여러 개 버전에 대응하여 단지 한 개의 대응하는 MPD 파일이 생성되고, MPD 파일의 segment 묘사에 @scaleID 속성, 즉 컨텐츠 그레이딩 버전 관리 라벨을 추가하는 단계;
    유저가 자신의 수요에 근거하여 상기 다른 버전의 멀티미디어 파일의 컨텐츠를 요청하면, 서버는 통일된 MPD 파일을 전송하고, 클라이언트는 MPD를 해석한 후 네트워크 상태, 설비 성능 및 요구 버전의 상황에 근거하여 서버에 상응하는 미디어 샤딩 컨텐츠를 요청하는 단계; 를 포함하는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법.
  6. 제5항에 있어서,
    상기 다른 버전의 멀티미디어 파일은 MPD 파일의 segment 리스트와 대응하고,
    상기 segment 생성시에, MPD 파일의 Representation 원소에서 SegmentList 서브원소의 각각의 segment에 @scaleID 속성을 제공하고,
    상기 @scaleID 속성은 상기 segment를 사용하는 최저 버전의 레벨을 표시하는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법.
  7. 멀티미디어 파일 제작시에, 멀티미디어 컨텐츠의 중요한 토막에 표기를 하고,
    멀티미디어 파일 컨텐츠의 중요 정도에 근거하여 각각의 토막을 다른 레벨로 획분하고,
    유저가 상기 다른 레벨에 근거하여 멀티미디어 컨텐츠에 대해 플레이를 선택하도록, 새로운 한 개의 MUR 정보 파일은 멀티미디어 파일과 컨텐츠의 버전, mpu_seq_number, level_list 사이의 대응관계 묘사에 사용되고,
    mpu_seq_number는 MPU의 표기 필드이고,
    상기 level_list는 mpu_seq_number의 집합이고, 다른 버전의 컨텐츠와 일일이 대응관계인, 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법.
  8. 제7항에 있어서,
    한 개의 멀티미디어 컨텐츠를 여러 개의 MPU 조각으로 자르고, 상기 컨텐츠는 다른 버전으로 그레이딩되어 mpu_seq_number 와 대응하고,
    상기 새롭게 정의된 하나의 MUR 정보 파일은 멀티미디어 파일과 상기 컨텐츠의 버전, mpu_seq_number, level_list 사이의 대응관계 묘사에 사용되고, level_list 배열에 의해 다른 버전의 컨텐츠 타임과의 대응규칙은 두가지 유형으로 나눠지고, 상기 두가지 유형은,
    다른 버전의 컨텐츠와 level_list 사이는 일일이 대응하는 유형 1,
    다른 버전의 컨텐츠는 다른 level_list의 조합인 유형 2이고,
    유형1과 유형2에서 상기 MUR 정보 파일에 근거하여 멀티미디어 파일에 대해 차별화 전송을 하는, 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법.
  9. 제8항에 있어서,
    상기 유형1에서, level_list는 다른 MPU 조합으로 구성되고, 다른 동영상 버전과 일일이 대응하고, 유저에게 더 많은 토막이 필요할 경우, server에서 유저에게 결여된 MPU 만을 전송하는 단계;
    상기 유형2에서, level_list는 다른 MPU 조합으로 구성되고, 각각의 level_list[ ] 사이에는 중첩된 MPU가 나타나지 않으며, 다른 버전은 다른 level_list 조합으로 구성되고, 상기 유저가 편집판 동영상을 감상한 후 완전판 동영상을 감상하고 싶을 경우, 특정 level_list[ ]에 포함된 MPU 조각을 차별화하여 전송하는 단계; 를 포함하는, 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 MUR 정보 파일은 컨텐츠 그레이딩 중요 정보를 포함하고,
    상기 중요 정보는 MUR 정보를 시그널링 정보에 포함시키는 방법을 통해 전송되는, 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법.
  11. 제10항에 있어서,
    상기 MUR 정보를 시그널링 정보에 포함시키는 방법은,
    MUR 정보를 종래의 CI 파일에 포함시키거나,
    시그널링 정보에 상기 MUR 정보를 묘사한 MUR 파일을 포함시키거나,
    상기 MUR 정보를 묘사하여 MMT에서 시그널링 부분으로 일부 필드 또는 기능을 정의하는 묘사성 정보를 정의하는데 사용되는 descriptor를 추가하거나,
    상기 MUR 정보를 묘사한 시그널링 테이블을 추가하는, 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 따른 멀티미디어 컨텐츠 그레이딩 기술의 실현 방법에 따른 스마트 홈 컨트롤 방법에 있어서,
    동영상 중 키 프레임에 기반한 이미지 메인 컬러 및/또는 장면 줄거리 특징을 통해 동영상 조각에 대해 표기를 하거나, 음성 데이터 특징에 따라 표기를 한 후 상응하는 라벨을 추가하여 멀티미디어 컨텐츠를 플레이할 때마다, 표기된 라벨은 스마트 홈 설비를 구동하는 단계; 를 포함하는 스마트 홈 컨트롤 방법.
  13. 제12항에 있어서,
    상기 동영상 MPU는 키 프레임의 메인 컬러가 추출된 후 표기되고, MPUBox에 남겨진 reserved 필드에서 color_tag를 정의하며, 다른 색상에 대해서 같지 않은 color_tag를 사용할 수 있는, 스마트 홈 컨트롤 방법.
  14. 제13항에 있어서,
    상기 동영상 MPU에서 키 메인 컬러 분석을 통해 상기 color_tag의 값을 부여하여, MPU의 메인 컬러의 어사인먼트를 추가하는 단계; 및
    알고리즘을 통해 상기 MPU의 메인 컬러의 어사인먼트를 추출하는 단계;를 더 포함하는 스마트 홈 컨트롤 방법.
  15. 제13항에 있어서,
    상기 color_tag는 MPUBox 에서 reserved에서 7bit를 사용하고, 상기 bit는 필요에 따라 증가될 수 있는, 스마트 홈 컨트롤 방법.
  16. 제12항 내지 제15항 중 어느 한 항에 있어서,
    상기 동영상 장면의 줄거리 특징에 기반하여 동영상 조각에 대해 표기를 하는 바, 동영상 중 임의의 토막 장면의 모식을 추출하여 MPU에 대해 표기를 하고, MPUBox의 reserved필드에서 scene_tag를 정의하는, 스마트 홈 컨트롤 방법.
  17. 제12항 내지 제15항 중 어느 한 항에 있어서,
    상기 음성 데이터 특징에 따라 표기를 하는 바, 음성 MPU의 음조 특징을 추출하여 MPU에 대해 표기를 하고, MPUBox의 reserved필드에서 tone_tag를 정의하는, 스마트 홈 컨트롤 방법.
  18. 제1항 또는 제7항에 따른 상기 멀티미디어 컨텐츠 그레이딩 후 컨텐츠 전송에 사용되는 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법으로서,
    미디어 자원에 대한 멀티미디어 컨텐츠는 다른 edit list(편집 리스트)로 표시되고, 상기 다른 edit list에 포함된 미디어 데이터 유닛은 보충관계 또는 포함관계이고,
    미디어 자원에 대한 특징 정보 또는 관련 정보 묘사는 전송하는 정보에 추가되어, 미디어 자원의 분류 및 묘사 정보의 대응관계를 유저에게 제공함으로써 개성화 프레젠테이션 메커니즘을 실현하는 단계;를 포함하는 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법.
  19. 제18항에 있어서,
    멀티미디어 컨텐츠에 대한 상기 특징 정보 또는 관련 정보 묘사는 기존의 CI(Composition Information) 원소 MediaSync에 description 속성을 신규로 추가하여 이루어지고, 상기 description은 미디어 자원과 대응하는 컨텐츠 묘사 정보를 묘사하는데 사용되는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법.
  20. 제18항에 있어서,
    멀티미디어 컨텐츠에 대한 상기 특징 정보 또는 관련 정보에 대한 묘사는 CI 파일에 새로운 원소 EditDesp을 추가하여 이루어지고, 상기 EditDesp는 미디어 자원의 다른 관련 컨텐츠의 묘사 정보 소개에 사용되는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법.
  21. 제20항에 있어서,
    MediaSync는 상기 EditDesp와 같은 레벨이며, 멀티미디어 컨텐츠 정보를 포함하여 다른 레벨의 미디어 자원을 나타내는 묘사 정보에 사용되고,
    edit 원소는 상기 EditDesp 원소의 서브원소이고, 상기 각각의 edit 원소는 한 개 레벨의 개성화 프레젠테이션 묘사 정보이고, 상기 edit 원소에 edit_id 속성, description 속성을 추가하고, 상기 edit_id 속성은 임의의 한 개의 레벨 또는 임의의 한 개의 부분의 미디어 자원 표시에 사용되고, 상기 description 속성은 미디어 자원의 다른 관련 컨텐츠의 묘사 정보를 묘사하는데 사용되는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법.
  22. 제18항에 있어서,
    멀티미디어 컨텐츠에 대한 상기 특징 정보 또는 관련 정보에 대한 묘사는 시그널링에서 descriptor 묘사를 추가하고, 상기 description은 미디어 자원의 다른 관련 컨텐츠의 묘사 정보를 묘사하는데 사용되는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법.
  23. 제18항에 있어서,
    MMT 프로토콜에서 정의한 시그널링 정보에 새롭게 한 개의 descriptor를 정의하고,
    상기 descriptor는 관련 멀티미디어 컨텐츠와 대응하는 묘사 정보를 제공하는 단계;를 포함하고,
    asset_descriptors 필드는 MP table에 있고, 임의의 프로그램 컨텐츠와 관련된 정보 묘사시, 상기 descriptor는 상기 asset_descriptors에 포함되는, 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법.
  24. 제18항 내지 제23항 중 어느 한 항에 있어서,
    상기 프레젠테이션 정보의 설명 방법을 실현하는 절차는,
    동일한 미디어 자원에 포함된 미디어 데이터 유닛의 표시 또는 대응하는 묘사 정보를 정의하여 descriptor 시그널링 정보를 생성하며, 전송되는 미디어 자원은 각종 멀티미디어 컨텐츠 묘사 정보를 포함하고,
    클라이언트는 상기 descriptor 시그널링 정보를 해석하고, 상기 유저는 필요에 따라 상응한 표식이나 정보 표시가 있는 멀티미디어 컨텐츠를 선택한 후 상응하는 미디어 데이터 유닛 조합을 대응하는 edit list로 조합하도록 요청을 수신하는 단계;
    유저의 요청으로 발송되는 미디어 데이터 유닛은 서버에 의해 해석되고, 클라이언트에 의해 정보가 해석된 후, 개성화 프레젠테이션을 실현하는 단계; 를 포함하는 관련 멀티미디어 컨텐츠 개성화 프레젠테이션 정보의 설명 방법.
  25. 제1항 또는 제7항에 따른 일종 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법으로서,
    상기 프레젠테이션 타임라인은 멀티미디어 자원 프레젠테이션 과정에서 미디어 데이터 유닛의 지속 타임정보와 프레젠테이션의 초기 타임을 이용하여 관련 컨텐츠의 프레젠테이션 타임에 대해 제어함으로써 다른 미디어 자원 또는 동일한 미디어 자원의 다른 관련 버전에 모두 대응하는, 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법.
  26. 제25항에 있어서,
    유저가 선택한 미디어 자원과 관련된 컨텐츠 버전에 포함된 미디어 데이터 유닛에 대응하는 지속 타임정보를 획득하는 단계(S1);
    플레이를 개시하는 타임은 VoD에서 유저가 미디어 자원을 선택할 때의 타임에 근거하여, 방송 서비스의 서비스 공급사에 의해 선택되고, 시그널링 정보에 표시되는 단계(S2);
    미디어 데이터 유닛의 절대적 프레젠테이션 타임은 상기 플레이를 개시하는 타임에 관련 컨텐츠 버전의 미디어 데이터 유닛 지속 타임을 더하여 얻어지고, 이에 따라 대응하는 프레젠테이션 타임라인을 유지하여, 미디어 컨텐츠의 프레젠테이션을 실현하는 단계(S3); 를 포함하는, 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법.
  27. 제26항에 있어서,
    단계(S1)에서 상기 관련된 컨텐츠 버전은, 유저 수요에 근거하여 미디어 자원에 대해 edit id를 표시하고, 상기 edit id에 대한 edit list를 생성하는, 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법.
  28. 제25항에 있어서,
    상기 프레젠테이션 타임라인은 선택된 미디어 컨텐츠에 포함된 미디어 데이터 유닛의 절대적 프레젠테이션 타임정보의 조합을 의미하는, 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법.
  29. 제25항 내지 제28항 중 어느 한 항에 있어서,
    MPU의 한 개의 미디어 자원에 대응하는 라벨 mpu_sequence_number 및 대응하는 UTC 절대적 프레젠테이션 타임은 MMT에서 정의된 MPU timestamp descriptor에 표기되는 단계;를 포함하고,
    상기 서버는 상기 유저가 요청한 버전에 포함된 미디어 데이터 유닛의 라벨 및 지속 타임정보를 가져와서 descriptor를 생성하는, 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법.
  30. 제25항 내지 제28항 중 어느 한 항에 있어서,
    MPU timestamp descriptor는 정의되고,edit list는 동일한 미디어 자원과 관련한 컨텐츠 및 상기 컨텐츠에 대응하는 MPU의 집합에 근거하여 정의되고, edit id는 각 버전의 관련 컨텐츠에 단독적으로 부여되고,
    상기 각각의 edit list에 포함된 모든 MPU의 mpu_sequence_number와 대응하는 프레젠테이션 타임정보는 상기 descriptor에 표기되는 단계;
    상기 유저가 임의의 한 개 버전의 관련 컨텐츠를 선택하면, 대응하는 edit_id에 근거하여 미디어 데이터 유닛 MPU와 대응하는 절대적 프레젠테이션 타임 mpu_presentation_time을 해석하여 대응버전의 타임라인을 생성하는 것을 통해 프레젠테이션을 제어하는 단계; 를 포함하는, 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법.
  31. 제25항 내지 제28항 중 어느 한 항에 있어서,
    임의의 미디어 자원 중 각각의 MPU의 지속 타임을 시그널링에서 표기하는 단계;
    시그널링 정보에서 미디어 자원의 개시 타임을 알아낸 후, 각각의 MPU의 UTC 절대적 프레젠테이션 타임을 계산하는 단계;
    미디어 컨텐츠를 전송하는 과정에서, 대응하는 미디어 데이터 유닛 MPU는 상기 유저에 의해 선택된 미디어 콘텐츠가 선택되면, 지속 타임정보 duration을 해석하는 단계;
    MPU 라벨 mpu_sequence_number 및 대응하는 duration 정보를 의미하는 프리젠테이션 지도 정보를 생성하는 단계; 를 포함하는 멀티미디어 컨텐츠 개성화 프레젠테이션 타임라인 컨트롤 방법.
KR1020177024204A 2015-02-13 2016-02-02 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용 KR101988454B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020197003889A KR102378107B1 (ko) 2015-02-13 2016-02-02 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
CN201510080580.4 2015-02-13
CN201510080011.X 2015-02-13
CN201510080580.4A CN105992061B (zh) 2015-02-13 2015-02-13 一种自适应动态的多媒体分级传送播放管理方法
CN201510080011.XA CN105988369B (zh) 2015-02-13 2015-02-13 一种内容驱动的智能家居控制方法
CN201510401550.9A CN106341740B (zh) 2015-07-09 2015-07-09 一种多媒体内容分级技术的实现方法
CN201510401550.9 2015-07-09
CN201510955611.6 2015-12-17
CN201510955611.6A CN106899866B (zh) 2015-12-17 2015-12-17 一种关联多媒体内容个性化呈现信息的描述方法
CN201610031034.6A CN106982376B (zh) 2016-01-18 2016-01-18 一种多媒体内容个性化呈现的时间线控制方法
CN201610031034.6 2016-01-18
PCT/CN2016/073167 WO2016127862A1 (zh) 2015-02-13 2016-02-02 一种关联多媒体内容个性化呈现的实现方法及应用

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197003889A Division KR102378107B1 (ko) 2015-02-13 2016-02-02 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용

Publications (2)

Publication Number Publication Date
KR20170110112A true KR20170110112A (ko) 2017-10-10
KR101988454B1 KR101988454B1 (ko) 2019-06-12

Family

ID=56615455

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197003889A KR102378107B1 (ko) 2015-02-13 2016-02-02 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용
KR1020177024204A KR101988454B1 (ko) 2015-02-13 2016-02-02 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197003889A KR102378107B1 (ko) 2015-02-13 2016-02-02 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용

Country Status (5)

Country Link
US (1) US10433029B2 (ko)
JP (1) JP6567064B2 (ko)
KR (2) KR102378107B1 (ko)
CA (1) CA3004644C (ko)
WO (1) WO2016127862A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963892A1 (en) * 2014-06-30 2016-01-06 Thomson Licensing Method and apparatus for transmission and reception of media data
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
EP3446551B1 (en) * 2016-04-22 2019-08-14 Signify Holding B.V. Controlling a lighting system
US20170344523A1 (en) * 2016-05-25 2017-11-30 Samsung Electronics Co., Ltd Method and apparatus for presentation customization and interactivity
GB201714592D0 (en) * 2017-09-11 2017-10-25 Provost Fellows Found Scholars And The Other Members Of Board Of The College Of The Holy And Undivid Determining representative content to be used in representing a video
US10771842B2 (en) * 2018-04-09 2020-09-08 Hulu, LLC Supplemental content insertion using differential media presentation descriptions for video streaming
CN112335340B (zh) * 2018-06-15 2023-10-31 昕诺飞控股有限公司 用于基于照明场景来选择媒体内容的方法和控制器
US10791376B2 (en) * 2018-07-09 2020-09-29 Spotify Ab Media program having selectable content depth
US10419786B1 (en) * 2018-07-20 2019-09-17 Fubotv Inc. Systems and methods for securely generating live previews
CN112740713B (zh) * 2018-09-21 2023-08-22 三星电子株式会社 用于提供多媒体内容中的关键时刻的方法及其电子设备
US10924776B2 (en) * 2019-03-27 2021-02-16 Rovi Guides, Inc. Systems and methods for media content navigation and filtering
US10897642B2 (en) 2019-03-27 2021-01-19 Rovi Guides, Inc. Systems and methods for media content navigation and filtering
CN113114608B (zh) * 2020-01-10 2022-06-10 上海交通大学 点云数据封装方法及传输方法
CN111259257A (zh) * 2020-02-14 2020-06-09 北京达佳互联信息技术有限公司 一种信息展示方法、系统、装置、电子设备及存储介质
US11570517B2 (en) * 2020-06-23 2023-01-31 Tencent America LLC Application intended interactive selection information for interactive playback of dash content
CN114661386A (zh) * 2020-12-22 2022-06-24 腾讯科技（深圳）有限公司 点云视窗的呈现方法、装置、计算机可读介质及电子设备
CN115150368B (zh) * 2021-03-31 2023-11-03 腾讯科技（深圳）有限公司 媒体文件的关联处理方法、装置、介质及电子设备
CN115278326A (zh) * 2021-04-29 2022-11-01 腾讯科技（深圳）有限公司 视频展示方法、装置、计算机可读介质及电子设备
CN114007122B (zh) * 2021-10-13 2024-03-15 深圳Tcl新技术有限公司 一种视频播放方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005527158A (ja) * 2002-05-23 2005-09-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ プレゼンテーションシンセサイザ
KR20080103051A (ko) * 2005-12-29 2008-11-26 유나이티드 비디오 프로퍼티즈, 인크. 다수의 디바이스를 갖는 대화형 매체 안내 시스템
KR20100008777A (ko) * 2008-07-16 2010-01-26 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20140289371A1 (en) * 2013-03-25 2014-09-25 Sony Europe Limited Device, method and system for media distribution

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350182A (ja) * 1999-06-01 2000-12-15 Ricoh Co Ltd 動画配信システム
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
KR100820350B1 (ko) * 2007-02-08 2008-04-08 (주)센텍 다양한 파일 컨테이너 포멧을 지원하기 위한 통합 스트리밍서버 및 스트리밍 구현방법
US8712958B2 (en) * 2008-07-16 2014-04-29 Electronics And Telecommunications Research Institute Method and apparatus for representing sensory effects and computer readable recording medium storing user sensory preference metadata
JP2010225003A (ja) * 2009-03-25 2010-10-07 Kddi Corp コンテンツ受信再生装置、コンテンツ受信再生方法、およびプログラム
KR101180127B1 (ko) * 2009-11-30 2012-09-05 이두한 멀티미디어파일 재생방법 및 멀티미디어 재생기기
JP2011029948A (ja) * 2009-07-27 2011-02-10 Hitachi Consumer Electronics Co Ltd コンテンツ処理装置
US9602849B2 (en) * 2010-09-17 2017-03-21 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
CN102447818A (zh) * 2010-09-30 2012-05-09 上海维阔信息技术有限公司 视频版权保护和分级观看的播放方法
KR20120119790A (ko) * 2011-04-22 2012-10-31 삼성전자주식회사 미디어 데이터 전송 방법 및 장치와 미디어 데이터 수신 방법 및 장치
CN102217313B (zh) * 2011-05-26 2013-10-02 华为技术有限公司 重排、抽取分片中媒体数据的方法、设备及系统
JP5921852B2 (ja) * 2011-10-21 2016-05-24 シャープ株式会社 配信装置
US9380282B2 (en) * 2012-03-26 2016-06-28 Max Abecassis Providing item information during video playing
US8887215B2 (en) * 2012-06-11 2014-11-11 Rgb Networks, Inc. Targeted high-value content in HTTP streaming video on demand
US20140282792A1 (en) * 2013-03-15 2014-09-18 Cygnus Broadband, Inc. Video streaming with buffer occupancy prediction based quality adaptation
KR102080116B1 (ko) * 2013-06-10 2020-02-24 삼성전자 주식회사 이동통신 시스템에서 비디오 비트레이트 할당 방법 및 장치
CN103974147A (zh) * 2014-03-07 2014-08-06 北京邮电大学 一种基于mpeg-dash协议的带有码率切换控制和静态摘要技术的在线视频播控系统
CN104093240B (zh) * 2014-06-30 2016-08-24 广东九联科技股份有限公司 一种智能调节环境灯光的系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005527158A (ja) * 2002-05-23 2005-09-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ プレゼンテーションシンセサイザ
KR20080103051A (ko) * 2005-12-29 2008-11-26 유나이티드 비디오 프로퍼티즈, 인크. 다수의 디바이스를 갖는 대화형 매체 안내 시스템
KR20100008777A (ko) * 2008-07-16 2010-01-26 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20140289371A1 (en) * 2013-03-25 2014-09-25 Sony Europe Limited Device, method and system for media distribution

Also Published As

Publication number Publication date
US20180041820A1 (en) 2018-02-08
US10433029B2 (en) 2019-10-01
CA3004644C (en) 2021-03-16
KR20190016618A (ko) 2019-02-18
JP2018509065A (ja) 2018-03-29
CA3004644A1 (en) 2016-08-18
JP6567064B2 (ja) 2019-08-28
KR101988454B1 (ko) 2019-06-12
KR102378107B1 (ko) 2022-03-25
WO2016127862A1 (zh) 2016-08-18

Similar Documents

Publication Publication Date Title
KR101988454B1 (ko) 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용
US11955116B2 (en) Organizing content for brands in a content management system
US10945048B2 (en) Methods and apparatus for presenting advertisements during playback of recorded television content
US11727924B2 (en) Break state detection for reduced capability devices
US10909975B2 (en) Content segmentation and time reconciliation
US20080183843A1 (en) Video downloading and scrubbing system and method
WO2012096353A1 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
KR20110056476A (ko) 향상된 메타데이터 구조들을 사용하는 멀티미디어 배포 및 재생 시스템들 및 방법들
AU2023274169A1 (en) Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
CN101193200A (zh) 用于关联基本装置和扩展装置的设备和方法
KR100809641B1 (ko) 이종 시스템간의 컨텐츠 교환 방법 및 그 방법을 수행하는컨텐츠 관리 시스템
JP6632550B2 (ja) タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス
CN106982376B (zh) 一种多媒体内容个性化呈现的时间线控制方法
EP3177026B1 (en) Reception device, reception method, transmission device, and transmission method
KR102186790B1 (ko) 멀티미디어 콘텐츠 위젯에 대한 개성화 표현 방법 및 시스템
KR20210022089A (ko) 각각의 미디어에 대한 자동 설정 픽처 모드
CN106899866B (zh) 一种关联多媒体内容个性化呈现信息的描述方法
Bomcke et al. An interactive video streaming architecture for H. 264/AVC compliant players
Kasutani et al. New frontiers in universal multimedia access
KR102426388B1 (ko) 수신 장치, 수신 방법, 송신 장치 및, 송신 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant