KR101464288B1

KR101464288B1 - 온라인 미디어 프리뷰 시스템 및 그 방법

Info

Publication number: KR101464288B1
Application number: KR1020147004427A
Authority: KR
Inventors: 쿠이 린; 지앙핑 펭; 유 후앙; 홍 헤더 유
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2010-02-02
Filing date: 2011-02-01
Publication date: 2014-11-21
Also published as: CN102576248A; KR101387072B1; JP2013543332A; KR20140043817A; KR20120098808A; WO2011097243A1; EP2430509A4; EP2430509A1; US20110191679A1

Abstract

개선된 미디어 프리뷰 유닛은, 프리뷰 생성 프로세스(300)에서, 많은 수의 프리뷰 프레임을 적출하고 프리뷰 미디어 파일을 생성하는 프리뷰 생성 프로세서(300)를 포함한다. 프리뷰 프레임은, 층으로 된 데이터 구조에 저장된다. 부가적으로, 프리뷰 프레임이 더 낮은 해상도로 변경될 수 있어서, 프리뷰 프레임에 의해 형성된 프리뷰 파일의 크기가 감소된다. 프리뷰 미디어 파일은 프리뷰 송달 프로세스(302)를 통해 사용자에게 송달된다. 예를 들어, 송달 스케쥴링 계획은, 스타트업 딜레이 및 재생 지터를 최소화하기 위해 선택된 시간 지점에서 프리뷰 프레임을 송달한다. 사용자 측에서는, 플러그-인 모듈을 통해, 개선된 미디어 프리뷰 유닛은 프리뷰 렌더링 프로세스(304)를 수행한다.

Description

온라인 미디어 프리뷰 시스템 및 그 방법{SYSTEM AND METHOD FOR ONLINE MEDIA PREVIEW}

본 발명은, 일반적으로 온라인 미디어에 대한 시스템 및 방법, 특히 온라인 미디어 프리뷰(online media preview)에 대한 시스템 및 방법에 관련한다.

전형적인 온라인 미디어 플랫폼들 또는 송달 시스템들(delivery systems)에서, 비디오, 오디오, 및 다른 타입의 멀티미디어와 같은 요구되는 미디어(on-demand media)의 컨텐츠(content)는, 비디오 재생(video playback)을 계속하기 위한 어떠한 지점(spot)을 임의로 검색하는 것을 사용자들에게 허용하는, 미디어 플레이어를 통해 표현된다. 미디어 컨텐츠는 대체로, 선형적인 방식(linearly)(예를 들어, 자동적으로, 미디어 플레이어 내에서 플레이 되기 위한 미디어를 유도하는 웹 썸네일(web thumbnail)을 클릭하는 것에 의하는) 또는 임의적인 방식(randomly)(미디어 플레이어의 플레이-헤드(play-head)를 임의의 지점의 앞뒤로 드래그 하는(dragging) 최종 사용자(end user)에 의하는) 중 어느 하나의 방식으로 소비된다. 이러한 형태의 미디어 소비 모델(media consumption model)은, 대체로 최종 사용자에게 미디어 콘텐츠의 효과적인 소비를 제공하지 못한다. 플레이-헤드의 임의적인 드래그 또는 스크럽(scrub)은, 최종 사용자에 대해 광범위한 유연성을 제공할 수 있으나, 그렇게 하나의 지점에 대해 드래그하는 것은 임의적인 추측 작업을 포함하는 것이어서, 사용자들은, 그 지점으로부터 계속할지 또는 미디어 내의 상이한 지점에 위치시키기 위한 또 다른 임의적인 드래그 동작을 수행할지 여부를 결정하기 위해, 자주 짧은 시간 주기로 컨텐츠를 지켜봐야만 한다.

온라인 미디어 프리뷰(online media preview)를 제공하는 본 발명의 실시예들에 의해, 이러한 및 다른 문제점들은 대체로 해결되거나 우회되며, 기술적인 장점들도 대체로 성취된다.

본 발명의 예시적인 실시예에 따라, 온라인 미디어 프리뷰 방법은, 미디어 파일의 세그먼트(segment)로부터 프리뷰 프레임(preview frame)으로서의 하나의 프레임을 적출하는(extracting) 단계, 복수의 레이어(layer) 내로 그러한 복수의 프리뷰 프레임을 저장하는 단계, 및 사용자에게 미디어 파일(media file)과 복수의 프리뷰 프레임을 송달하는 단계를 포함한다. 미디어 파일의 세그먼트는, 픽처(picture)들의 그룹(group), 고정된 길이의 비디오 세그먼트(video segment), 고정된 길이의 미디어 스트림(media stream), 및 비디오의 하나의 샷(shot)으로 구성된 그룹으로부터 선택된다. 프리뷰 프레임은, 프리뷰 윈도우 크기(preview window size), 재생 품질(playback quality), 및 프리뷰 프레임들 사이의 배치 공간, 그리고 이들의 조합으로 구성된 그룹으로부터 선택된 프리뷰 파라미터(preview parameter)에 응하여, 더 낮은 해상도(resolution)로 변경될 수 있다. 나아가, 프리뷰 프레임은 계층적인 데이터 구조(hierarchical data structure) 또는 층으로 된 데이터 구조(layered data structure)로 저장될 수 있다.

온라인 미디어 프리뷰 방법은, 메타데이터(metadata) 파일을 생성하는 단계, 프리뷰 설명 정보를 포함하는 매니페스트(manifest) 파일을 생성하는 단계, 각 프리뷰 프레임의 위치 정보를 포함하는 인덱스 파일(index file)을 생성하는 단계, 및 프리뷰 미디어 스트림(preview media stream)을 생성하는 단계를 더 포함한다. 인덱스 파일은, 미디어 파일 내의 각 프리뷰 프레임의 위치를 포함한다. 나아가, 온라인 미디어 프리뷰 방법은, 스타트업 지연(startup delay) 및 재생 지터(playback jitter)를 감소시키기 위해, 선택된 시점에서 그러한 복수의 프리뷰 프레임을 송달하는 단계를 포함한다.

본 발명의 또 다른 예시적인 실시예에 따라서, 온라인 미디어 프리뷰 시스템은, 미디어 파일 및 각 프레임이 미디어 파일로부터 적출된 복수의 프레임을 포함하는 미디어 파일에 대응하는 프리뷰 파일을 포함한다. 복수의 프레임은 층으로 된 데이터 구조로 저장된다. 필요하다면, 각 프레임은 낮은 비트율 포맷(bitrate format)으로 저장될 수 있다. 온라인 미디어 프리뷰 시스템은, 메타데이터 파일, 매니페스트 파일, 인덱스 파일, 및 프리뷰 미디어 스트림을 더 포함한다. 인덱스 파일은, 미디어 파일 내의 각 프레임의 위치 정보를 포함한다.

본 발명의 또 다른 예시적인 실시에에 따라, 온라인 미디어 프리뷰 방법은, 미디어 파일을 렌더링(rendering)하는 단계, 사용자로부터 프리뷰 요청을 수신하는 단계, 제1-레벨 입자 프리뷰(first-level grain preview)를 생성하기 위해 프리뷰 파일의 제1 레이어를 렌더링 하는 단계, 및 제2-레벨 입자 프리뷰를 생성하기 위해 프리뷰 파일의 제2 레이어를 렌더링 하는 단계를 포함한다.

본 발명의 특징들과 기술적인 이점들을 어느 정도 광범위하게 제시하는 선행하는 내용들이 이후의 발명의 상세한 설명에 따라 더욱 명확하게 이해될 수 있다. 본 발명의 부가적인 특징들 및 이점들은 이후의 발명의 청구범위의 형태로 설명될 것이다. 개시된 개념과 상세한 실시예가, 당해 기술분야의 통상의 기술자에 의해, 본 발명과 동일한 목적을 달성하기 위해 다른 구조들 또는 프로세스들을 수정 또는 설계하기 위한 기초로서 활용될 수 있음은 자명하다. 또한, 당해 기술분야의 통상의 기술자에 의해, 그러한 균등한 구성들이 수반된 청구범위를 통해 표현되는 본 발명의 범위로부터 벗어나지 않는 것으로 인식될 것이다.

본 발명의 더 완전한 이해와 그에 대한 이점들을 위해, 수반되는 도면들과 함께 그에 대한 이하의 설명들이 참조로서 제공된다.
도 1은 미디어를 프리뷰 하는 시스템의 간소화된 다이어그램을 도시한다.
도 2는 샘플 미디어 플레이어 다이어그램을 도시한다.
도 3은 개선된 미디어 프리뷰 유닛의 블록 다이어그램을 도시한다.
도 4는 층으로 된 데이터 구조를 도시한다.
도 5는 프리뷰 스트림 스케쥴링 계획(preview stream scheduling scheme)에 따라 플로우 차트의 일 부분을 도시한다.
도 6은 도 5에서 보여지는 플로우 차트의 다른 부분을 도시한다.
도 7은 인터리브 송달 스케쥴링 계획(interleaved delivery scheduling scheme)을 도시한다.
그리고, 도 8은 실시예에 따라 개선된 미디어 프리뷰 방법을 구현하기 위해 이용될 수 있는 컴퓨터 시스템의 간소화된 블록 다이어그램을 도시한다.

현재 실시예들의 구성 및 이용이 이하에서 명확하게 설명된다. 그러나, 본원 발명이 특정한 문장들로 다양하게 구체화될 수 있는 많은 적용 가능한 진보된 개념들을 제공하는 것으로 인식될 것이다. 설명되는 특정한 실시예들은 발명의 구성 및 이용을 위해 오직 특정한 방법으로만 도시되나, 이것이 본 발명의 범위를 한정하는 것은 아니다.

본 발명이 예시적인 실시예들과 관련하여 온라인 비디오 프리뷰를 생성하는 단계, 분배하는 단계, 및 표시하는 단계로 명명된 특정한 문장들로서 설명될 것이다. 그러나, 발명은 또한 오디오와 같은 다른 형태의 멀티미디어에 대한 프리뷰 및 로컬 또는 온라인이 아닌 컨텐츠와 같은 다른 위치의 컨텐츠에 대해서도 적용될 수 있다.

도 1은 미디어를 프리뷰 하는 시스템의 간소화된 다이어그램을 도시한다. 도 1에서 보이는 실시예 아키텍처(architecture)는, 사용자(100), 네트워크(102), 및 미디어 소스(media source)(104)를 포함한다. 사용자(100)는, 네트워크(102)를 통해 미디어 소스(104)로부터 미디어 컨텐츠를 수신 및 저장할 수 있는 디스플레이 장치가 될 수 있다. 나아가, 사용자(100)는 그 디스플레이를 통해 미디어 컨텐츠를 렌더링할 수 있다.

사용자(100)는, 미디어의 어떠한 부분도 임의로 드래그할 수 있다(예컨대, 계속되기 위한 더 바람직한 지점을 찾기 위해 플레이어 내의 플레이-헤드를 드래그하는). 개선된 미디어 프리뷰 유닛(media preview unit)(도 3에서 도시되는)은 미디어 파일로부터 복수의 프레임을 적출하고, 프리뷰 미디어 스트림을 생성한다. 사용자로부터의 프리뷰 요청에 응하여, 개선된 미디어 프리뷰 유닛은, 사용자(100)가 사용자의 디스플레이의 진행 바(도 2에서 도시되는)에 따라 플레이-헤드를 드래그하는 때, 사용자(100)에게 프리뷰 이미지의 시리즈(또는 훨씬 더 낮은 해상도의 비디오 클립들)를 제공한다. 개선된 미디어 프리뷰 유닛은, 사용자(100)가 미디어 소비를 계속하기 위해 선호되는 지점을 검색 및 찾는 것을 허용하는 것에 의해, 활동적인 미디어 소비 요구를 늘리므로, 최종 사용자의 미디어 소비 체감을 굉장히 향상시킨다.

유튜브(YouTube)와 같은 현재의 일부 시스템들은, 제한된 프리뷰 기능의 어플리케이션을 제공한다. 현재 유튜브 플레이어에서, 프리뷰는, 전체 비디오의 오직 아주 작은 퍼센트가 될 수 있는 비디오의 이미 다운로드 된 부분에 대해 제한된다. 본 발명의 실시예들은, 비디오의 다운로드 된 부분뿐만이 아니라, 전체 비디오에 대해 프리뷰를 확장하는 스크럽 프리뷰 기능(scrub preview function)을 제공하는 것에 의해 프리뷰 능력을 확장한다. 본 개선점은, 비디오의 재생 전, 도중, 및 후의 요구되는 비디오를 탐색하는(browse) 사용자의 능력을 굉장히 향상시킬 수 있다. 실시예들은 온라인 미디어 플레이어를 가지는 네트워크 연결된 미디어 분배 시스템에서 스크럽 프리뷰(scrub preview)를 실현하기 위한 시스템 및 방법을 포함한다. 다른 실시예들은, 최적의 사용자 체감을 위한 확장 가능한 송달 및 확장 가능한 렌더링을 수행하는 층으로 된 데이터 구조, 송달 스케쥴 계획, 및 프레임 정렬 계획을 포함한다.

도 2는 샘플 미디어 플레이어 다이어그램을 도시한다. 도 2에서 보이듯, 샘플 미디어 플레이어(200)는, 전형적인 미디어 플레이어 구성요소들 및 그들의 미디어 플레이어 내의 상대적인 위치를 나타내기 위해 도시된다. 물론, 상이한 실시예에서는 구성요소의 배열, 상대적인 크기, 및 비율이 다양하게 될 수 있다. 일 실시예에 따라, 미디어 플레이어(200)는, 플레이 컨트롤 패널(play control panel)(210)을 포함한다. 플레이 컨트롤 패널(210)은, 그 왼쪽 편에는 재생/정지 버튼(202)을, 오른쪽 편에는 프리뷰 바(preview bar)(208)를 더 포함한다. 다이어그램은, 어플리케이션의 요구에 따라 플레이어 윈도우 사이즈가 작은 것으로부터 큰 것까지 다양할 수 있는 스크럽 프리뷰 윈도우(scrub preview window)(206)의 감소된 사이즈를 보인다. 미디어 플레이어 사용자가 스크럽 프리뷰를 시작한 때, 사용자는 프리뷰 바(208)에 따라 플레이-헤드(204)를 전후로 드래그한다. 이는, 프리뷰 바(208)가 재생 진행 바(playback progress bar) 또는 독립 바(separate bar)가 될 수 있다는 것을 의미한다. 프리뷰의 개개의 입상(granularity)은, 비디오의 길이에 대한 전체적인 크기 내에 있다. 그러나, 특화된(personalized) 체감을 제공하기 위해, 본 발명의 실시예를 이용하여 확장 가능한 프리뷰 렌더링 기능이 실현될 수 있다. 나아가, 국부적으로 확장 가능한 프리뷰 렌더링 능력은, 프리뷰의 확장성이 부분 감도(locality sensitivity)를 가지는 플레이-헤드 드래깅 스피드(play-head dragging speed)에 비례하는 경우에, 성취될 수 있다. 사용자들은 비디오 전체를 시작에서부터 끝까지 또는 왔다갔다하며 쉽게 탐색할 수 있다. 또한, 사용자는 어떠한 프리뷰 위치에서도 즉각 재생을 시작할 수 있고, 그 이후에 비디오 시청을 시작할 수 있다. 프리뷰 스트림 송달 계획(preview stream delivery scheme)은, 비디오 프리뷰의 스타트업 시간을 향상시키며 결함 없는 프리뷰 재생을 제공한다.

도 3은 개선된 미디어 프리뷰 유닛의 블록 다이어그램을 도시한다. 개선된 미디어 프리뷰 유닛은, 미디어 스트림을 수신하자마자 스크럽 프리뷰를 지원하기 위한 이후의 프로세스들을 수행하도록 구성된다. 도 3에서 보이듯, 개선된 미디어 프리뷰 유닛은, 프리뷰 생성 프로세스(300) 내에서, 복수의 프리뷰 프레임을 적출하고, 프리뷰 미디어 파일을 생성한다. 프리뷰 미디어 파일이 생성된 후에, 개선된 미디어 프리뷰 유닛은 프리뷰 미디어 파일을 프리뷰 송달 프로세스(302)를 통해 사용자에게 송달한다. 사용자 측에서는, 플러그-인 모듈(plug-in module)을 통해, 개선된 미디어 프리뷰 유닛이 프리뷰 렌더링 프로세스(304)를 수행한다. 도 3이, 프리뷰 생성, 프리뷰 송달, 및 프리뷰 렌더링으로 명명된 3개의 프리뷰 프로세스들이 가능한 개선된 미디어 프리뷰 유닛을 도시하는 것에 반하여, 미디어 소스에서의 개선된 미디어 프리뷰 유닛은 오직 프리뷰 생성 프로세스 및 프리뷰 송달 프로세스만 포함할 수 있다. 프리뷰 렌더링 프로세스는, 미디어 플레이어 및 개선된 미디어 프리뷰 유닛 사이의 통신을 통해 미디어 플레이어에 의해 실행될 수 있다. 나아가, 미디어 플레이어는, 미디어 플레이어가 개선된 미디어 프리뷰 유닛의 렌더링 기능을 대체할 수 있는, 플러그-인 모듈을 가질 수 있다.

프리뷰 생성 프로세스(300)는, 효과적인 송달 및 렌더링을 위해 이용되는 프리뷰 미디어 데이터 및 메타데이터(metadata)(예컨대, 송달을 수행하기 위한 매니페스트(manifest) 또는 인덱스(index) 파일)를 적출하고 준비하도록 구성된다. 미디어 파일 관리 시스템(media file management system)에서, 흡수 프로세스(ingest process)는, 미디어 파일과 이에 대응하는 메타데이터가 미디어 파일 관리 시스템 내로 획득되고 저장되는 프로세스이다. 프리뷰 생성 프로세스(300)는, 흡수 프로세스 도중 또는 흡수 프로세스 이후 중 어느 하나에서 발생할 수 있으나, 미디어 컨텐츠가 미디어 파일 관리 시스템으로부터 최종 사용자에게 전송되기 전에는 발생할 수 없다. 이는, 프리뷰 생성 프로세스(300)가 미디어 프리뷰 특성을 지원하기 위한 현재 미디어 및 메타데이터를 초과하는 부가적인 미디어 데이터 및 메타데이터를 생성할 수 있다는 것으로 인식될 것이다.

프리뷰 송달 프로세스(302)는, 프리뷰 렌더링을 위해 미디어 데이터 및 메타데이터가 최종 사용자 미디어 플레이어로 송달되는 프로세스를 포함한다. 어떤 프리뷰 데이터 파일(들)을 언제 그리고 어떻게 전송하는지에 관한 상세한 방법들은 도 5, 도 6, 및 도 7과 관련하여 설명될 것이다.

프리뷰 렌더링 프로세스(304)는, 어떠한 송달된 프리뷰 데이터 파일이, 바람직한 포지션을 찾기 위해 드래그 되는 플레이-헤드로서 최종 사용자에게 렌더링 되는지에 관한 프로세스이다. 프리뷰 렌더링 프로세스(304)는 충분히 일반적인 것이기 때문에, 단순한 플러그-인 모듈을 가지는 어떠한 플레이어에 의해서도 쉽게 구현될 수 있다.

도 3을 다시 참조하면, 전형적인 프리뷰 생성 프로세스(300)는, 프리뷰 미디어 데이터를 적출하는 단계, 메타데이터를 생성하는 단계, 매니페스트 파일 및 인덱스 파일들을 생성하는 단계, 및 프리뷰 미디어 스트림을 생성하는 단계를 포함한다.

최적의 비디오 프리뷰 및 빠른 프리뷰 시작을 수행하기 위해서는, 프리뷰 미디어 데이터 스트림의 크기가 작아서, 프리뷰 미디어 데이터 스트림의 송달이 초기 미디어 데이터 스트림의 송달을 심각하게 방해한다거나 초기 미디어 데이터 스트림의 재생 체감에 영향을 미치지 않을 것이 기대된다. 이를 성취하기 위해, 많은 계획들이 채용될 수 있다. 제1 실시예에서, 세그먼트 당 하나의 키프레임(keyframe)이 적출될 수 있다. 세그먼트는, MPEG(Moving Picture Experts Group) 형식의 비디오, 고정된 길이의 미디어 스트림의 비디오 세그먼트, 비디오의 하나의 샷 내의 픽처들의 그룹(group of pictures, GOP) 중 하나가 될 수 있거나, 프리뷰 미디어 데이터 스트림을 생성하기 위해 키프레임의 적출을 수행하는 어떠한 방식으로 정의될 수 있다. 프리뷰 파일 크기와 송달 대역폭 요건(delivery bandwidth requirement)을 더 감소시키기 위해, 키프레임의 크기가 변경된 버전이 적출될 수 있다. 예를 들어, 키프레임의 해상도 및 비트율의 크기 변경은, 프리뷰 윈도우 크기, 재생 품질 요건, 및 프리뷰 키-프레임들 사이의 배치 공간 등에 기초하여 결정될 수 있다. 확장 가능한 프리뷰 렌더링 기능을 지원하기 위해, 키프레임이 계층적인 또는 층으로 된 데이터 구조로 구성될 수 있다. 특화되고 순간적인 프리뷰 체감을 수행하기 위한 층으로 된 데이터 구조 및 패키징(packaging) 계획이 이후 설명된다.

일 실시예에 따라, 최적의 프리뷰 미디어 스트림의 키프레임들의 수는 Nm, 스크롤링 바(scrolling bar)의 길이는 Lm, 그리고 키프레임의 레이어들의 수는 K가 된다. 키프레임의 층으로 된 구조가 다음과 같이 구성된다. 도시의 용이함을 위해, 이하의 예시적 실시예 내의 키프레임들의 수는 대략 동일하다. 이는, k번째 레이어의 키프레임들의 수 Nk가 대략 Nm/K라는 것이다. 제1 세그먼트 S(1)로부터 시작하고, 세그먼트 S(i)의 키프레임은, i 모드(mod) K = k라면, 레이어 k 내로 합쳐진다. 쇄선들이 비디오 내의 키 프레임 위치들에 대응하고, 본 경우에서 각 레이어 내에 8개의 키 프레임들이 있는, 4-레이어 프리뷰 미디어 스트림(four-layer preview media stream)의 예시가 도 4에서 도시된다. 이는, 당해 기술분야의 통상의 기술자가 쉽게 수정할 수 있어서, 각 레이어가 상이한 수의 키프레임들로 정의된다는 것으로 인식될 것이다.

상이한 레이어들의 키프레임은, 상이한 구성 요건에 따라 동일 또는 상이한 파일들 내에 저장될 수 있다. 프리뷰 미디어 데이터가 적출되면, 대응하는 메타데이터, 예를 들어 프리뷰 미디어 데이터를 설명하기 위한 설명 데이터가 동시에 생성될 수 있으며, 스크럽 프리뷰를 수행하기 위한 매니페스트 파일 및 인덱스 파일이 생성된다. 인덱스 파일은, 초기의 미디어 데이터 스트림(original media data stream) 내의 키프레임 위치뿐만 아니라, 프리뷰 미디어 데이터 스트림의 데이터 구조도 기재한다. 프리뷰 미디어 데이터 설명 파일로서의 매니페스트 파일은, 스크럽 프리뷰의 상이한 이용을 수행하기 위한 상이한 설명 및 메타데이터를 포함할 수 있다. 예를 들어, 프리뷰 파일 위치, 제목, 장르, 및 프로듀서 정보와 같은 전체 메타데이터, 및 일부 장면 설명 정보, 주석, 등이 매니페스트 파일 내에 포함될 수 있다. 비록, 일 실시예에서의 매니페스트 파일이 프리뷰 미디어 데이터 파일로부터 독립적으로 패키지 되어도, 또 다른 실시예에서는, 프리뷰 미디어 데이터 파일처럼 동일한 파일 내에 패키지 될 수 있다.

인덱스 파일을 이용하여, 플레이어는, 스크럽 프리뷰 미디어 데이터를 쉽고 빠르게 배분할 수 있다. 일부 경우에는 또한, 대역폭 및 메모리와 같은 리소스들을 보존하는 것을 돕기도 한다. 본 경우에서는, 프리뷰 미디어 데이터 스트림이, 초기의 미디어 스트림으로부터 실제로 적출되지 않거나 독립 파일 내에 실제로 저장되지 않는다. 대신에, 인덱스 파일은, 스크럽 프리뷰를 위한 초기의 미디어 스트림으로부터 동시에 적출하기 위해서, 플레이어에 대한 키프레임들의 위치를 명확하게 나타낸다. 본 실시예는, 동시 적출이 쉽게 성취될 수 있고 비용이 절감되는 특정 어플리케이션 시나리오에 최적으로 적용되는 것을 알 수 있다.

어떠한 프리뷰 지점에서도 결함이 없는 재생을 보증하기 위해, 프리뷰 프레임 정렬(preview frame alignment)이 이용될 수 있다. 이를 위해, 초기의 미디어 데이터 스트림 내의 각 키프레임에 대응하는 위치가 인덱스 파일 내에 등록되고 프리뷰 렌더링을 위해 이용된다.

프리뷰 생성 프로세스(300)에서, 프리뷰 미디어 데이터 파일은 초기 미디어 파일로부터 프레임을 적출하는 것을 통해 생성된다. 최종 사용자로부터 프리뷰 요청을 수신하자마자, 프리뷰 송달 프로세스(302)는 최종 사용자에게 프리뷰 미디어 데이터와 메타데이터를 송달한다. 프리뷰 스트림 스케쥴링 계획에 중점을 둔 프리뷰 송달의 샘플 실시예가 이하에서 설명된다. 프리뷰 체감 품질(quality of experience, QoE)을 보증하기 위해 전술된 패키징 및 스케쥴링 알고리즘을 이용하는 다단계 송달 계획(multi-step delivery scheme) 또한 설명된다.

T0을 비디오 스트림 Vm이 재생을 위해 에지 서버(edge server)로부터 클라이언트로 송달되는 시간으로, △T를 비디오 재생을 시작하기 위한 플레이어에 대한 최소 버퍼 길이(minimum buffer length)로, T(i,k)를 k번째 레이어 프리뷰 키프레임의 i번째 청크(chunk)가 송달되기 시작할 때의 시간으로, 및 T*(i,k)를 k번째 레이어 프리뷰 키프레임의 i번째 청크(chunk) 송달이 종료된 때의 시간으로 각각 가정한다. Bth(t)는 시간 t에서 컨텐츠 송달을 위해 서버와 클라이언트 사이의 이용 가능한 대역폭을, Rp(t)는 시간 t에서 Vm에 대한 미디어 플레이어 재생 비트율을, Rvm(t)는 클라이언트에서 재생 지터(playback jitter)를 방지하기 위한 시간 t에서의 Vm의 최소 송달 비트율을, Rk(t)는 시간 t에서 키프레임 스트림의 송달 비트율을, 및 KF(n,k)는 k번째 레이어 프리뷰 키프레임의 n번째 키프레임을 각각 나타낸다.

이하의 샘플 실시예에 따라, F(k)가 k번째 레이어 프리뷰 파일을 나타내는 경우에, 키프레임들의 상이한 레이어들이 상이한 파일들에 패키지 되는 것으로 가정한다. 당해 기술분야의 통상의 기술자는 실시예를 키프레임들의 상이한 레이어들이 단일 프리뷰 파일에 패키지 되는 것으로 쉽게 수정할 수 있다. 대체로, △T는, 압축된 비디오의 GOP 크기와 같은, 다양한 요소들에 의해 지배된다. 필드 내에서 이용 가능한 다양한 참조들에 기초하여, 당해 기술분야의 통상의 기술자는 특정 어플리케이션의 요건에 기초한 △T를 계산할 수 있다.

도 5는, 프리뷰 스케쥴 계획에 따르는 플로우 차트의 일 부분을 도시한다. 단계 500에서, 비디오 스트림 Vm이 재생을 위해 에지 서버로부터 클라이언트로 송달되며, △T는 비디오 재생을 시작하기 위한 플레이어에 대한 최소 버퍼 길이가 된다. 단계 510에서, Bth(t) > Rvm(t)라면, 알고리즘이 F(1)의 송달을 시작하고, T(0,1) = T0 +△T, Max(Rk(t)) = Bth(t) - Rvm(t),(경우 A)로 설정하는, 단계 520을 실행한다. 반대로, Bth(t) < Rvm(t)라면, 알고리즘이 비트율 조정(bitrate adaption)을 수행하고, 계속해서 F(1)을 송달하는, 단계 530을 실행한다.

도 6은, 도 5에서 도시된 플로우 차트의 다른 부분을 보인다. 단계 600에서, 알고리즘은 제1 레이어 프리뷰 파일의 키프레임 송달을 완료한다. 단계 610에서, Bth(t) > Rvm(t)라면, 알고리즘이 F(k) (k=2,3, …, n)의 송달을 시작하는, 단계 620을 실행한다. 반대로, Bth(t) < Rvm(t)라면, 알고리즘이 비트율 조정(bitrate adaption)을 수행하고, 계속해서 F(k)를 송달하는, 단계 630을 실행한다.

일 실시예에 따라, F(1)은 Vm이 송달되기 시작하자마자 송달될 수 있다. 또 다른 실시예에 따라, F(1)은 Vm이 송달되기 시작하기 전에 송달될 수 있다. 그러나, 대부분의 어플리케이션에서는, Vm이 가능한 한 빨리 송달되기 시작하므로, 스타트업 지연(startup delay)이 최소로 될 수 있다. 또 다른 실시예에 따라, 일부 또는 전체의 F(k) (k=1,2, …)가 상이한 서버 또는 피어(peer) 클라이언트로부터 송달될 수 있다. 초기의 서버 다운 스트림 대역폭(original server down stream bandwidth)이 제한되어 진행이 방해되는(becomes a bottleneck) 때에, 그러한 계획은 서버 부담을 감소시키고 사용자 QoE를 향상시키는 데에 도움을 줄 수 있다.

도 5 및 도 6이 프리뷰 미디어 데이터의 송달에 대한 제어 알고리즘을 도시하고 있으나, 당해 기술분야의 통상의 기술자는 다양한 대안이 존재한다는 것을 인지할 수 있는 것으로 인식될 것이다. 도 7은, 인터리브 송달 스케쥴링 계획을 도시한다. 인터리브 송달 스케쥴링 계획이 채용된 때, 이하의 기준들이 만족된다: T*(0,j=0)= T0일 때, Rp(t) ≤ Rvm(t)*(T*(0,j)-T(0,j))/(T*(0,j+1)-T*(0,j))/.

비록 오직 하나의 프리뷰 레이어 k가 가정되고, F(k)가 상기 기재된 샘플 실시예들 내의 T(0,j) 및 T*(0,j) 사이에서 송달되나, 당해 기술분야의 통상의 기술자는, F(k)가 또한, 다수의 프리뷰 레이어 또는 프리뷰 레이어의 일부 레이어를 가지는 슈퍼 파일(super file)이 될 수 있는 것으로 이해할 것이다. 각 경우에, 동일한 스케쥴링 계획이 이용될 수 있다.

도 5, 도 6, 및 도 7이 프리뷰 미디어 데이터의 송달에 대한 2개의 알고리즘을 도시하나, 도 5, 도 6, 및 도 7의 알고리즘은 오직 도시된 목적인 것으로 인식될 것이다. 당해 기술분야의 통상의 기술자는, 시작을 빠르게 하는 다양한 알고리즘들이 QoE를 희생함이 없이 제안된 계획들과 함께 이용될 수 있음을 인식할 수 있다.

프리뷰 미디어 데이터와 메타데이터가 최종 사용자로 송달된 후에, 프리뷰 뷰 렌더링 프로세스(preview view rendering process)가 최종 사용자에 대해 프리뷰 데이터 파일을 렌더링한다. 이하의 샘플 실시예에서, 프리뷰 키프레임들은 프리뷰 데이터 구조 내의 위치에 기초하여 패키지 된다. 이는, 상이한 레이어의 키프레임들이 상이한 파일들로 패키지 되는 것을 말한다. 다시, 당해 기술분야의 통상의 기술자는, 그러한 키프레임들이 단일 파일 내로 패키지 되거나 키프레임의 하나의 레이어가 다수의 파이들 내로 패키지 되는 것으로 실시예를 쉽게 수정할 수 있다. 제1 단계에서, 미디어 플레이어는 매니페스트 파일을 얻고, 층으로 된 프리뷰 파일들의 위치를 적출한다. 이후, 제2 단계에서, 미디어 플레이어는 제1 레이어 프리뷰 파일을 다운로드 한다. 제3 단계에서, 미디어 플레이어는 제2 레이어 프리뷰 파일을 다운로드 한다. 미디어 플레이어는 미디어 플레이어가 k번째 레이어 프리뷰 파일을 다운로드 할 때까지 동일한 다운로드를 반복한다.

미디어 플레이어가 항상 매니페스트 파일에서 설명되는 모든 프리뷰 파일들을 다운로드 할 필요는 없다. 숫자 k는 프리뷰 스크롤 바의 길이(preview scroll bar)와 비디오 길이에 의해 결정된다. 특정 비디오에 대해, 더 긴 프리뷰 스크롤링 바는 미립자의 마우스 무브먼트(finer grain mouse movement)를 유지할 수 있다. 따라서, 더 많은 프리뷰 키프레임들과 그로써 더 많은 프리뷰 파일들이 확장 가능한 프리뷰 체감을 위해 다운로드 될 수 있다. 단일 미디어 플레이어 세션 내에서, 최종 사용자는, 기존 미디어 플레이어의 전체 스크린 디스플레이 모드 및 일반 스크린 디스플레이 모드 사이에서 왔다 갔다 할 수 있다. 이러한 동작은 스크롤 바 길이를 변경할 것이고, 이러한 모델 변경(예컨대, 전체 스크린 디스플레이 모드로의 변경)을 조절하기 위해 부가적인 프리뷰 미디어 데이터 레이어들(파일들)의 가속된 다운로딩(downloading)을 유발할 수 있다.

제1 레이어 프리뷰 파일을 이용하여, 사용자는 조립자(coarse grain)의 프리뷰 체감을 얻을 수 있다. 프리뷰 파일에 따르는 레이어들을 얻은 후에, 사용자는, 미립자(finer grain)의 프리뷰 체감을 즐길 수 있다. 프리뷰 파일들의 더 많은 레이어들이 다운로드 되고, 개개로서 더 좋은 스크럽 프리뷰가 제공될 것이며, 더 좋은 프리뷰 체감이 성취될 수 있다.

비디오가 재생을 시작하면, 미디어 플레이어는, 프리뷰 파일의 다운로드가 가능한지 여부를 연산하기 위해 이용 가능한 대역폭을 확인하는 동안에, 비디오의 재생을 부드럽게 유지한다. 미디어 플레이어는 필요한 프리뷰 파일들이 모두 다운로드 될 때까지 주기적으로 네트워크 상태를 확인한다. 스크럽 프리뷰 기능은 대체로 적어도 하나의 프리뷰 파일이 다운로드 될 때까지 이네이블(enable) 되지 않을 것이다.

어떠한 스크럽 프리뷰 지점으로부터의 순간적인 재생, 예컨대 어떠한 스크럽 프리뷰 키프레임으로부터의 비디오 재생을 촉진하기 위해, 미디어 플레이어는 인덱스 파일로부터 키프레임들의 초기 미디어 데이터 위치 정보를 획득한다. 이후, 위치와 버퍼를 비교한다. 위치가 버퍼 밖으로 이동하면, 순간적인 스타트업을 촉진하기 위한, 초기 미디어 데이터 스트림으로부터의 대응하는 미디어 세그먼트들을 획득하기 위해 즉시 에지 서버와 통신한다.

도 8은, 실시예에 따라 개선된 미디어 프리뷰 방법을 구현하기 위해 이용될 수 있는 컴퓨터 시스템(800)의 간소화된 블록 다이어그램을 도시한다. 컴퓨터 시스템(800)은, 개선된 미디어 프리뷰 유닛(advanced media preview unit)(810), 메모리(820), 프로세서(830), 저장 유닛(840), 네트워크 인터페이스 입력 장치(850), 네트워크 인터페이스 출력 장치(860), 및 데이터 버스(870)를 포함한다. 본 다이어그램은 단지 개인용 컴퓨터의 예시일 뿐이며, 이것이 청구범위를 부당하게 한정하지는 않는 것으로 인식될 것이다. 개인 컴퓨터의 다수의 다른 구성들은 본 명세서의 범위 내에 포함된다. 또한, 당해 기술분야의 통상의 기술자는 개선된 미디어 프리뷰 방법이, 포터블 컴퓨터(portable computer), 워크스테이션(workstation), 네트워크 컴퓨터 또는 유사한 것들을 포함하는 다른 컴퓨터 시스템에 의해서 수행될 수 있는 것으로 인식할 것이다.

개선된 미디어 프리뷰 유닛(810)은, 물리적인 장치, 소프트웨어 프로그램, 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 소프트웨어와 하드웨어의 조합이 될 수 있다. 실시예에 따라, 컴퓨터가 네트워크 인터페이스 입력 장치(850)를 통해 미디어 파일을 수신한 때, 프로세서(830)는 저장 유닛(840) 내로 미디어 파일을 불러온다. 개선된 미디어 프리뷰 방법이 소프트웨어 프로그램으로서 구현되는 일 실시예에 따라, 프로세서(830)는 저장 유닛(840)으로부터 소프트웨어 프로그램을 불러오고, 이를 메모리(820) 내에서 작동한다. 프로세서(830)가 도 3의 단계들을 수행한 후, 프로세서(830)는 네트워크 출력 장치(860)를 통해 최종 사용자에게 프리뷰 결과들을 전송한다.

비록 본원 발명 및 그 이점들이 상세하게 설명되나, 댜앙한 변경, 대체, 및 수정들이 수반되는 청구범위에 의해 정의된 것인 본 발명의 범위로부터 벗어남이 없이 만들어질 수 있는 것으로 이해될 것이다. 예를 들어, 상기 논의된 다양한 특성들 및 기능들은 소프트웨어, 하드웨어, 펌웨어, 또는 그의 조합으로 구현될 수 있다.

나아가, 본 출원의 범위가 본 명세서에서 설명된 프로세스, 기계, 제조물, 조성물, 수단, 방법, 및 단계들의 특정 실시예들로 제한되는 것으로 의도되지는 않는다. 본 발명의 명세서로부터 당해 기술분야의 통상의 기술자가 즉시 이해할 수 있는 것들로서, 본 명세서에 설명된 대응하는 실시예들과 실질적으로 동일한 기능을 수행하거나 실질적으로 동일한 결과를 도출하는, 현존하거나 앞으로 개발될 프로세스들, 기계들, 제조물, 조성물, 수단, 방법들 또는 단계들이, 본 발명에 따라 활용될 수 있다. 따라서, 수반되는 청구범위는 그러한 프로세스들, 기계들, 제조물, 조성물, 수단, 방법들 또는 단계들의 범위를 포함하도록 의도된다.

Claims

미디어 파일(media file)의 세그먼트(segment)로부터 프리뷰 프레임(preview frame)으로서의 하나의 프레임을 적출하는 단계;
확장 가능한 프리뷰 렌더링(scalable preview rendering)을 지원하는 복수의 레이어 내에 복수의 프리뷰 프레임을 저장하는 단계;
상기 미디어 파일을 송달하는 단계;
사용자가 사용자의 디스플레이의 진행 바를 따라 플레이-헤드를 드래그하는 경우에, 상기 사용자의 프리뷰 요청에 응하여 상기 사용자에게 상기 복수의 프리뷰 프레임을 송달하는 단계;
각각의 프리뷰 프레임의 위치 정보를 포함하는 인덱스 파일로부터 스크럽 프리뷰 포인트에서의 상기 프리뷰 프레임의 최초의 미디어 데이터 위치 정보를 획득하는 단계; 및
상기 최초의 미디어 데이터 위치 정보에 따라 상기 미디어 파일로부터 미디어 세그먼트를 취득하는 단계
를 포함하고,
상기 취득된 미디어 세그먼트는 상기 스크럽 프리뷰 포인트에서부터 상기 미디어 파일의 재생을 개시하기 위해 이용되는, 방법.
제1항에 있어서,
상기 세그먼트는, 픽처(picture)들의 그룹(group), 고정된 길이의 비디오 세그먼트(video segment), 고정된 길이의 미디어 스트림(media stream), 및 비디오의 하나의 샷(shot)으로 구성된 그룹으로부터 선택된 미디어 구성요소인, 방법.
제1항에 있어서,
상기 프리뷰 프레임은, 프리뷰 윈도우 크기(preview window size), 재생 품질, 프리뷰 프레임들 사이의 배치 공간, 및 이들의 조합으로 구성된 그룹으로부터 선택된 프리뷰 파라미터(preview parameter)에 응하여, 더 낮은 해상도(resolution)로 변경되는, 방법.
제1항에 있어서,
상기 프리뷰 프레임은 계층적인 데이터 구조 또는 층으로 된(layered) 데이터 구조로 저장되는, 방법.
제1항에 있어서,
메타데이터 파일(metadata file)을 생성하는 단계;
프리뷰 설명 정보를 포함하는 매니페스트 파일(manifest file)을 생성하는 단계;
상기 각각의 프리뷰 프레임의 위치 정보를 포함하는 인덱스 파일(index file)을 생성하는 단계; 및
프리뷰 미디어 스트림(preview media stream)을 생성하는 단계
를 더 포함하는 방법.
제1항에 있어서,
스타트업 지연(startup delay) 및 재생 지터(playback jitter)를 감소시키기 위해 선택된 시간 지점에서 복수의 상기 프리뷰 프레임을 송달하는 단계를 더 포함하는 방법.
미디어 파일;
상기 미디어 파일을 저장하도록 구성된 저장 유닛; 및
상기 저장 유닛과 연결되고, 대응하는 프리뷰 파일을 생성하도록 구성된 프로세서
를 포함하고,
상기 대응하는 프리뷰 파일은 복수의 프레임을 포함하고, 각각의 프레임은 프리뷰 프레임으로서 상기 미디어 파일로부터 적출된 것이며,
상기 복수의 프리뷰 프레임은 층으로 된 데이터 구조로 저장되고, 사용자가 사용자의 디스플레이의 진행 바를 따라 플레이-헤드를 드래그하는 경우에 상기 사용자의 프리뷰 요청에 응하여 상기 사용자에게 송달되며, 상기 층으로 된 데이터 구조는 확장 가능한 프리뷰 렌더링 기능을 지원하고,
상기 프로세서는, 각각의 프리뷰 프레임의 위치 정보를 포함하는 인덱스 파일로부터 스크럽 프리뷰 포인트에서의 상기 프리뷰 프레임의 최초의 미디어 데이터 위치 정보를 획득하고, 상기 최초의 미디어 데이터 위치 정보에 따라 상기 미디어 파일로부터 미디어 세그먼트를 취득하도록 추가로 구성되며,
상기 취득된 미디어 세그먼트는 상기 스크럽 프리뷰 포인트에서부터 상기 미디어 파일의 재생을 개시하기 위해 이용되는, 시스템.
제7항에 있어서,
메타데이터 파일;
매니페스트 파일;
상기 인덱스 파일; 및
프리뷰 미디어 스트림
을 더 포함하는 시스템.
컴퓨터 프로그램이 구현된 컴퓨터-판독가능 매체(computer-readable medium)로서,
상기 컴퓨터 프로그램이,
미디어 파일(media file)의 세그먼트(segment)로부터 프리뷰 프레임(preview frame)으로서의 하나의 프레임을 적출하기 위한 컴퓨터 프로그램 코드;
확장 가능한 프리뷰 렌더링을 지원하는 복수의 레이어(layer) 내로 복수의 프리뷰 프레임을 저장하기 위한 컴퓨터 프로그램 코드;
상기 미디어 파일을 송달하기 위한 컴퓨터 프로그램 코드;
사용자가 사용자의 디스플레이의 진행 바를 따라 플레이-헤드를 드래그하는 경우에, 상기 사용자의 프리뷰 요청에 응하여 상기 사용자에게 상기 복수의 프리뷰 프레임을 송달하기 위한 컴퓨터 프로그램 코드;
각각의 프리뷰 프레임의 위치 정보를 포함하는 인덱스 파일로부터 스크럽 프리뷰 포인트에서의 상기 프리뷰 프레임의 최초의 미디어 데이터 위치 정보를 획득하기 위한 컴퓨터 프로그램 코드; 및
상기 최초의 미디어 데이터 위치 정보에 따라 상기 미디어 파일로부터 미디어 세그먼트를 취득하기 위한 컴퓨터 프로그램 코드
를 포함하고,
상기 취득된 미디어 세그먼트는 상기 스크럽 프리뷰 포인트에서부터 상기 미디어 파일의 재생을 개시하기 위해 이용되는, 컴퓨터-판독가능 매체.
제9항에 있어서,
미디어 파일을 렌더링 하기 위한 컴퓨터 프로그램 코드;
사용자로부터 프리뷰 요청을 수신하기 위한 컴퓨터 프로그램 코드;
조립자 프리뷰(coarse grain preview)를 생성하기 위해 프리뷰 파일의 제1 레이어를 렌더링 하기 위한 컴퓨터 프로그램 코드; 및
미립자 프리뷰(finer grain preview)를 생성하기 위해 프리뷰 파일의 제2 레이어를 렌더링 하기 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터-판독가능 매체.
제9항에 있어서,
상기 프리뷰 프레임이 상기 사용자에게 송달된 때, 비트율 조정(bit rate adaption)을 수행하기 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터-판독가능 매체.
제9항에 있어서,
상기 미디어 파일로부터 프레임을 적출하고, 층으로 된 데이터 구조로 상기 프레임을 저장하기 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터-판독가능 매체.
삭제