TW201515453A - 數位視訊串流中的特技播放 - Google Patents

數位視訊串流中的特技播放 Download PDF

Info

Publication number
TW201515453A
TW201515453A TW103124018A TW103124018A TW201515453A TW 201515453 A TW201515453 A TW 201515453A TW 103124018 A TW103124018 A TW 103124018A TW 103124018 A TW103124018 A TW 103124018A TW 201515453 A TW201515453 A TW 201515453A
Authority
TW
Taiwan
Prior art keywords
frames
frame
video
identifying
selecting
Prior art date
Application number
TW103124018A
Other languages
English (en)
Other versions
TWI571116B (zh
Inventor
David L Biderman
Xiao-Song Zhou
Douglas Scott Price
Ye-Ping Su
Chris Y Chung
Hsi-Jung Wu
zhen-heng Li
John Su
James D Batson
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201515453A publication Critical patent/TW201515453A/zh
Application granted granted Critical
Publication of TWI571116B publication Critical patent/TWI571116B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

本發明呈現用於一視訊串流之改良播放的系統及方法。識別包括數個相繼圖框之視訊片段以供播放。片段可在視訊串流中在時間上均勻地間隔或可為內容適應性的。接著，可選擇一片段之第一圖框作為一場景之第一圖框或其他適當停止點。場景偵測、物件偵測、運動偵測、視訊後設資料或在視訊串流之編碼或解碼期間產生的其他資訊可輔助進行適當的片段選擇。

Description

數位視訊串流中的特技播放
本發明之態樣大體上係關於視訊顯示器之領域，且更具體言之，係關於最佳化顯示於一終端使用者裝置上之視訊內容的播放。
當導覽顯示裝置上之音訊及視訊內容時，某些播放模式允許使用者以預定速度向前快轉或倒轉視訊內容。關於導覽視訊內容之問題中之一者在於，可能難以精確地在預期時刻按下播放鍵以使得播放將在視訊串流中之所要位置處重新繼續。另外，習知播放模式常常將以與正常播放相同之圖框速率顯示圖框，在此期間向前快轉播放模式可導致產生閃爍且難以查看或理解之視訊序列。替代地，習知播放模式將常常以較慢圖框速率顯示較少圖框從而避免閃爍。然而，在圖框之間的較大跳躍可跳過含有所要停止點之圖框。
因此，在此項技術中需要用於在向前快轉及倒轉播放模式期間以更具使用者友好性之方式顯示視訊資料的系統及方法。
100‧‧‧視訊顯示裝置
105‧‧‧緩衝器
110‧‧‧本端儲存器
115‧‧‧攝影機
125‧‧‧解碼引擎
130‧‧‧控制器
135‧‧‧後處理器
140‧‧‧緩衝器
200‧‧‧視訊通信系統
201‧‧‧源視訊
210‧‧‧編碼器系統
220‧‧‧解碼器系統
230‧‧‧頻道
300‧‧‧編碼器
301‧‧‧輸入源視訊序列
305‧‧‧預處理器
310‧‧‧寫碼引擎
315‧‧‧解碼引擎
320‧‧‧多工器
325‧‧‧控制器
400‧‧‧圖框序列
410‧‧‧視訊序列
420‧‧‧視訊序列
500‧‧‧視訊序列
510‧‧‧視訊序列
520‧‧‧視訊序列
530‧‧‧視訊序列
600‧‧‧視訊序列
610‧‧‧視訊序列
620‧‧‧視訊序列
700‧‧‧序列
710‧‧‧序列
800‧‧‧用於選擇供播放之圖框的例示性方法
本發明之各種實施例的前述及其他態樣將經由結合隨附圖式審查以下【實施方式】而顯而易見，在隨附圖式中，類似參考數字用以指示功能上類似之元件。
圖1為說明根據本發明之實施例的例示性視訊顯示裝置之組件的簡化方塊圖。
圖2為說明根據本發明之實施例的例示性視訊通信系統之組件的 簡化方塊圖。
圖3為說明根據本發明之實施例的例示性編碼器之組件的簡化方塊圖。
圖4(A)至圖4(C)說明用於視訊資料圖框之子集的習知播放模式。
圖5(A)至圖5(D)說明根據本發明之實施例的具有固定播放間隔的例示性播放模式。
圖6(A)至圖6(C)說明根據本發明之實施例的例示性播放模式。
圖7(A)至圖7(B)說明根據本發明之實施例的例示性倒轉播放模式。
圖8說明根據本發明之實施例的用於選擇供播放之圖框的例示性方法。
在所揭示之實施例中，視訊圖框經子取樣以用於改良播放。替代一次播放一個孤立圖框，播放數個相繼或緊密間隔之圖框。接著可在不引起閃爍的情況下以較高圖框速率進行播放。以此方式，檢視者將查看連續運動，其為較合意體驗且使得檢視者較容易辨識內容。
可藉由首先識別用於顯示之片段來判定視訊序列之播放。片段以經選擇以供顯示之第一圖框開始，其後接著為選自視訊串流之在播放次序上處於第一選定圖框之後的若干圖框。該等片段可在視訊串流中均勻地間隔開。
片段選擇亦可為內容適應性的。接著可選擇片段之第一圖框作為場景之第一圖框。場景偵測、物件偵測及/或運動偵測可輔助進行適當的片段選擇。舉例而言，在給定關於節目之間的邊界之後設資料結合數位媒體中的可映射至彼後設資料以選擇適當片段之標記的情況下，可最佳化播放體驗而按允許檢視者選擇恰當停止點之方式顯示視訊資料之內容。
若內容具有不良品質、若場景中之圖框數目低於預定臨限值、若在序列中偵測到之運動過大而無法形成有意義的片段等，則可在播放期間跳過場景或視訊序列。
根據一實施例，可將視訊片段之第一圖框或視訊片段之最後圖框顯示稍長時間量。此情形為使用者提供較廣時間範圍以供使用者點擊播放且停留在其預期之準確播放點上。
圖1為說明根據本發明之實施例的例示性視訊顯示裝置100之組件的簡化方塊圖。如圖1中所展示，顯示裝置100可自頻道、自本端儲存器110(作為由攝影機115俘獲之源視訊)或藉由另一視訊通信方法(例如，經由衛星連接或有線電視(television cable)提供者(未圖示))接收視訊資料。經寫碼視訊資料可根據預測性寫碼技術或其他已知寫碼方法來寫碼。對於自頻道接收之視訊資料，顯示裝置100包括用以接收及儲存頻道資料之緩衝器105。
如圖1中所展示，為了處理視訊資料，顯示裝置100進一步包括：解碼引擎125，其用以接收經寫碼視訊資料且藉由反轉在編碼視訊資料期間執行之寫碼程序來解碼經寫碼視訊資料；控制器130，其用以識別經寫碼視訊資料之特性，選擇用於經寫碼視訊資料之解碼模式且管理視訊顯示；及後處理器135，其進一步處理視訊以將其準備好用於顯示。後處理操作可包括濾波、解交錯、按比例調整或對視訊資料執行可改良所顯示視訊之品質的其他處理操作。接著在螢幕或其他顯示器上顯示視訊資料。
另外，控制器130及/或後處理器135可在向前快轉、倒轉或其他特技播放模式期間準備及管理視訊資料之播放。此類準備可包括產生將在替代播放模式期間顯示之具有選定或經更改圖框的替代串流。顯示裝置100可含有緩衝器140，其用於儲存經更改視訊資料之序列以根據本文中所描述之播放模式來顯示視訊。另外，先前所產生之如本文 中所描述的替代串流可與視訊資料一起儲存於本端儲存器110中或與視訊資料一起經由頻道或其他通信串流接收。
圖2為說明根據本發明之實施例的例示性視訊通信系統200之組件的簡化方塊圖。如圖2中所展示，例示性視訊寫碼系統可包括經由頻道230通信之編碼器系統210及解碼器系統220。編碼器系統210可接受源視訊201且可將源視訊201寫碼為經寫碼視訊。編碼器系統210可將經寫碼視訊資料輸出至頻道230，頻道230可為儲存裝置(諸如，光學、磁性或電儲存裝置)或由電腦網路或通信網路形成之通信頻道。
解碼器系統220可自頻道230擷取經寫碼視訊資料，反轉由編碼器系統210執行之寫碼操作且將經解碼視訊資料輸出至相關聯之顯示裝置。視訊顯示裝置可包括電視、個人電腦(桌上型電腦及膝上型電腦兩者)、平板電腦、手持型計算裝置、媒體播放器、專用視訊會議設備等。如所展示，系統200支援僅在一個方向上之視訊寫碼及解碼。然而，根據一實施例，可在每一終端機處俘獲視訊，且可藉由在每一終端機處實施之編碼器及解碼器達成雙向通信。
圖3為說明根據本發明之實施例的例示性編碼器300之組件的簡化方塊圖。如圖3中所展示，編碼器300可包括預處理器305、寫碼引擎310、解碼引擎315、多工器320及控制器325。編碼器300可自諸如攝影機或視訊儲存器之視訊源接收輸入源視訊序列301。預處理器305可將輸入源視訊序列301處理為一系列圖框，且調節源視訊以達成較有效壓縮。舉例而言，可評估輸入源視訊序列之影像內容以判定用於每一圖框之適當寫碼模式。預處理器305可另外對圖框執行視訊處理操作，包括濾波操作(諸如，去雜訊濾波、雙向濾波)或改良由編碼器300執行之寫碼操作之效率的其他種類之處理操作。
習知編碼器可將源視訊序列301寫碼成具有比源視訊之位元速率小之位元速率的經寫碼表示，且藉此達成資料壓縮。寫碼引擎310可 自預處理器305接收經處理視訊資料，且產生經壓縮視訊。用於資料壓縮之一種常用技術使用預測性寫碼技術(例如，時間/運動預測性編碼)。舉例而言，可獨立地寫碼視訊串流中之一些圖框(I圖框)，且可使用其他圖框作為參考圖框來寫碼一些其他圖框(例如，P圖框或B圖框)。可參考單一先前經寫碼圖框(P圖框)來寫碼P圖框，且可參考一對先前經寫碼圖框(通常為在顯示次序上在B圖框之前出現的圖框及在顯示次序上在B圖框之後出現的另一圖框)來寫碼B圖框。
寫碼引擎310可根據預定多級協定(諸如，H.263、H.264或MPEG-2)操作。因此，經寫碼視訊資料可符合由正使用之協定所指定的語法。寫碼引擎可另外取決於源視訊之內容自多種寫碼模式中進行選擇或被指派有多種寫碼模式中之一者來寫碼視訊資料，其中每一不同寫碼模式產生不同等級之壓縮。舉例而言，寫碼引擎310可根據本文中被稱作「像素區塊」的像素資料之規則陣列(例如，8×8或16×16區塊)來剖析源視訊圖框，且可根據預測殘餘物之區塊預測及計算、量化及熵寫碼來寫碼像素區塊。
編碼器300可進一步包括解碼引擎315，該解碼引擎藉由逆轉經寫碼像素區塊中所執行之寫碼操作來解碼自寫碼引擎310輸出之經寫碼像素區塊。解碼引擎315可產生解碼器系統將產生的源視訊資料之相同經解碼複本，其可用作由寫碼引擎310所執行的預測性寫碼技術之基礎。解碼引擎315可存取參考圖框快取記憶體以擷取參考資料用於解碼，且儲存可表示經輸入至視訊寫碼系統之稍後接收之圖框的預測源的經解碼圖框資料。
經寫碼圖框或像素區塊可接著自寫碼引擎310輸出且由MUX 320儲存，在MUX 320處，該等經寫碼圖框或像素區塊可組合成共同位元串流以由傳輸頻道遞送至解碼器、終端機或資料儲存器。為了恢復視訊資料，可在解碼器處藉由反轉由編碼器所執行之寫碼程序來解壓縮 位元串流，從而產生所接收之經解碼視訊序列。
根據實施例之態樣，在編碼程序期間，編碼器300可識別場景改變或與如本文所描述之調整視訊資料之播放相關的其他資訊。舉例而言，預處理器305或控制器325可在上文所描述之編碼程序期間俘獲此資訊。可接著將由編碼器所俘獲或產生之此類資訊與經編碼視訊一起儲存及/或傳送至解碼器以供解碼及處理。在一實施例中，編碼器300可在由用於頻帶外資料之控管協定所建立的邏輯頻道中傳輸視訊資料序列之播放資訊與經寫碼圖框。作為由H.264協定所使用之一項實例，編碼器300可在由H.264所指定之補充增強資訊(SEI)頻道中傳輸播放資訊。在此實施例中，MUX 320表示用以在對應於SEI頻道之邏輯頻道中引入播放資訊的程序。當本發明將與並不指定此類頻帶外頻道之協定一起使用時，MUX 320可在輸出頻道內建立用於播放資訊之單獨邏輯頻道。
根據實施例之態樣，編碼器300可另外產生含有將在各種播放模式期間顯示之視訊資料之片段的替代串流。可單獨地編碼此替代串流，且將其與源視訊資料之經編碼串流一起傳輸或儲存且在特技播放期間加以存取。
圖4(A)至圖4(C)說明用於視訊資料圖框之子集的習知播放模式。在圖4(A)中，包括圖框1至30之圖框序列400可表示場景、圖框序列、圖像群組或視訊資料串流之其他子集。接著，如圖4(A)中所展示，在正常播放期間，可以例如每秒30個圖框(fps)之播放速率來按次序播放圖框1至30。
習知地，各種向前快轉或倒轉播放速率將以相同播放速率(圖4(B))或以不同播放速率(例如，10fps(圖4(C))對視訊資料圖框進行取樣。如圖4(B)中所展示，在30fps下之4倍向前快轉播放模式可產生閃爍且難以查看或理解之視訊序列410。如圖4(C)中所展示，習知的4倍 向前快轉播放模式可將圖框速率減小至10fps，從而產生視訊序列420，其中所顯示圖框之可見性得到改良，但顯示較少圖框且由此潛在地跳過適當的停止點。
根據一實施例，向前快轉播放模式將在向前跳躍至另一圖框之前顯示多個順序圖框。圖5(A)至圖5(B)說明根據本發明之實施例的例示性播放模式。如圖5(A)中所展示，以4倍播放速度顯示之視訊序列500將在每一跳躍時以播放次序顯示預定數目個順序圖框。舉例而言，如圖5(A)中所展示，最初顯示含有圖框0至2之片段，接著顯示含有圖框12至14之片段，接著顯示圖框24至26，等等。以此方式，該播放模式將在所顯示之30fps下維持4倍播放速度。在每一跳躍時顯示相繼運動允許檢視者獲取對內容之理解，同時避免在以較高播放速率進行之習知播放中成問題的閃爍。
根據實施例之態樣，可將片段之初始圖框顯示較長時間段，藉此確保檢視者有時間看到正顯示新片段且識別片段之內容。
當使用者(例如)藉由遠端或其他輸入裝置指示應停止向前快轉播放時，顯示裝置可顯示在所指示停止點之前的預定數目個圖框，表示在所指示停止點之前，自使用者停止於之場景之開頭處或自使用者指示向前快轉播放應停止於之點的視訊序列之預定時間量的圖框。
將理解，可更改圖框之預定數目以(例如)在每一片段中顯示5或6個順序圖框，或可更改每一跳躍之間的固定間隔。接著，為了維持播放速度(例如，4倍)，可在必要時更改圖框或片段之間的距離或片段中之圖框數目。
類似地，可更改視訊片段之播放圖框速率，例如，可基於視訊資料之內容適應性地更改播放圖框速率。如圖5(B)中所展示，在20FPS速率下以4倍播放速度顯示視訊序列510。替代地，可以標準播放速率(亦即，30fps)顯示順序圖框，其中至待顯示之下一圖框群組的 轉變較長。此替代播放模式說明於視訊序列520中，如圖5(C)中所展示。
根據實施例之態樣，先前所識別之圖框的時間間隔可為內容適應性的。圖5(D)說明將以內容適應性圖框時序顯示之視訊序列530。在圖5(D)中，對於展現低運動之圖框序列，經子取樣之序列將包括緊密間隔、但並非相繼之圖框以供顯示。例示性序列展示於圖5(D)中。可藉由任何習知的運動分析方法(例如，參考區域及/或全域運動提示)來偵測低運動序列。舉例而言，具有基於所儲存參考圖框之最佳預測的圖框可具有極少運動，高運動圖框可具有與所儲存參考圖框之極少相關性。
根據實施例之態樣，在播放期間片段之間的跳躍可能不以固定間隔發生。舉例而言，在播放期間顯示之圖框可基於其內容來加以選擇。如圖6(A)中所展示，在視訊序列600之播放期間，每一片段在場景之開頭開始。在序列600中，場景在陰影圖框(亦即，圖框0及84)中之每一者處開始。接著，可在跳躍至下一場景之前在每一場景之開頭顯示相繼運動。
場景改變可藉由任何習知的場景偵測方法來偵測。舉例而言，在編碼期間，編碼器可輸入旗標或所偵測場景之其他指示符。替代地，場景改變可在偵測到經框內寫碼圖框(I圖框)時在解碼器處加以偵測或藉由另一已知偵測方法加以偵測。
可識別偵測到之場景及其他片段開始圖框且將其組織成階層架構，以輔助產生各種速度下之播放串流。舉例而言，可識別主要場景改變。主要場景改變可包括商業廣告節目與主節目之間的轉變，或視訊內容中之其他可識別改變。接著，可識別不太顯著或次要的場景改變。舉例而言，視訊內容中之說話者或位置之間的改變。一旦識別場景之階層架構，便可將此階層架構與視訊資料一起儲存，且在需要顯 示裝置以替代播放模式顯示視訊內容時存取此階層架構。接著，對於較低速度播放，可識別主要及次要場景改變兩者作為片段開始點。然而，在高速播放中，可僅顯示對應於主要場景之片段。
可基於視訊之內容類型來考慮片段選擇之其他方法。舉例而言，對於電影或電視節目，圖框間隔選擇可係基於如上文所描述之習知場景偵測。然而，對於體育節目，可基於控球權(possession)改變、得分改變、每一局(play)等來選擇間隔。可藉由分析視訊影像內容來偵測此內容。作為一實例，可藉由識別圖框之表示計分板的部分之改變或藉由偵測可表示控球權改變之運動方向之改變來偵測得分改變。類似地，對於新聞節目，可設定片段以在每一新聞區段之間的轉變處開始。
音訊線索可另外輔助識別片段開始點。舉例而言，表示觀眾歡呼之聲音提高可指示得分改變。
習知地隨準備好供顯示之視訊資料一起可用或在編碼或解碼期間產生的其他資訊可用於片段識別。例如，隱藏字幕資訊可指示：會話何時開始或結束，新的人物何時正說話，等等。另外，物件偵測及相關資訊可提供關於場景之內容及/或改變的線索。若片段關於視訊或音訊內容為完整的且被相應地選定，則該等片段可為較佳的。與視訊資料相關聯之其他後設資料亦可提供用於識別片段應在何處開始之相關資訊。舉例而言，視訊之產生時間或其他時戳資訊可指示視訊資料序列係與相鄰序列分離地產生。此類特徵對於識別電影或電視節目視訊串流內之商業廣告可尤其有用。
根據實施例之態樣，在顯示裝置處接收之視訊可包括表示視訊串流之時間線的播放清單或資訊清單。舉例而言，資訊清單可識別視訊資料之完整區段。視訊串流之提供者可已製作資訊清單以識別區段。此類資訊清單在有線電視中常見且可允許在不損害主要內容之情 況下對視訊串流進行高效的更改。舉例而言，該資訊清單允許當地台將當地商業廣告插入至視訊串流中。可接著選擇片段以與在資訊清單中識別之區段一致。
可替代地設定片段以跳過較不顯著的視訊序列。舉例而言，可在向前快轉播放期間跳過不良地拍攝、在不良照明下俘獲或另外具有有限顯著內容之視訊序列，而不顯示來自該序列之任何圖框。此類特徵對於使用者產生之手機視訊或其他使用者俘獲之影像可尤其有用。替代地，可根據序列之大小來識別較不顯著序列。舉例而言，若偵測到具有有限數目個(例如，低於預定臨限值)圖框之場景，則可在播放期間跳過該序列。
根據實施例之態樣，由使用者所俘獲之視訊資料可包括預設定片段。在視訊產生或編輯期間，使用者可將圖框標記為片段開始點。接著，在向前快轉播放期間，片段可在每一經標記圖框處開始。
根據實施例之態樣，可融合在片段轉變處之圖框以產生淡化效應。如圖6(B)中所展示，在視訊序列610之播放期間，可組合在片段開頭之前及之後的多個圖框以產生淡化效應。可類似地在片段之間實施其他效應。舉例而言，藉由使用影像處理，片段或偵測到之場景之間的轉變可經平滑，使得轉變較清晰。另外，可在片段之間的轉變處實施翻頁或其他視覺效應，以使轉變對於檢視者較為可見。此類效應將使得使用者清楚其處於向前快轉模式下，且將使場景轉變較明顯。
根據實施例之態樣，可在延長的時間段中顯示片段轉變處之圖框。如圖6(C)中所展示，在視訊序列620之播放期間，顯示器將在所顯示序列之最後圖框處暫停預定時間段。為了達成此效應，如圖6(C)中所展示，可在延長的時間段中顯示該間隔之最後圖框(亦即，圖框10)。替代地，可重複顯示該最後圖框，直至顯示下一片段處之場景為止。
根據實施例之態樣，用於向前快轉播放之選項可包括直接跳躍至視訊串流中之最後項目或最後片段。該最後項目可為內容適應性的，使得該最後項目可為電影中之最後場景改變、球類比賽中之最後控球權、喜劇節目中之最後一個笑話，等等。
根據實施例之態樣，具有表示如上文所描述之向前快轉播放串流的經更改圖框序列之視訊資料串流可在編碼期間產生且被傳輸及/或與視訊資料一起儲存於視訊顯示裝置處。接著，顯示裝置可僅存取在選定播放模式下顯示如本文所描述之適當片段所需的彼等播放串流而非整個視訊串流。替代地，可在解碼、後處理期間或在播放期間在顯示裝置處產生經變更序列。
儘管主要參考向前快轉功能性來描述，但本文中所描述之播放模式在倒轉期間亦可為適用的。在倒轉期間，可如圖7(A)之序列700中所展示以前向播放次序或如圖7(B)之序列710中所展示以反向播放次序來顯示在播放期間顯示的片段之圖框。
圖8說明根據本發明之實施例的用於選擇供播放之圖框的例示性方法800。如圖8中所展示，為了在向前快轉或倒轉模式下顯示視訊串流，控制器可首先選擇將開始新片段之一或多個圖框(區塊810)。可選擇該等圖框以形成片段，如上文所描述。用於選擇圖框之例示性選項展示於圖8中。舉例而言，可選擇每第N個圖框(區塊811)。或者，若與視訊串流相關聯之資訊清單存在(區塊812)，則可選擇在資訊清單中識別之每一區段開頭處的圖框(區塊813)。或者，若用於場景偵測之方法可用(區塊814)，則可選擇在每一偵測到之場景之開頭處的圖框(區塊815)。可實施與本文中所描述之實施例一致的用於選擇圖框以起始片段的其他選項。
接著，控制器可選擇在每一先前選定之開始圖框之後的圖框來顯示(區塊820)。可選擇該等圖框以形成片段，如上文所描述。用於 選擇圖框以形成片段之例示性選項展示於圖8中。舉例而言，可選擇在每一開始圖框之後的M個相繼圖框(區塊821)。將理解，為了實行向前快轉顯示，M<N，其中N為在兩個相繼片段開頭之圖框之間的距離。或者，若用於視訊序列中之圖框的運動資訊存在，則對於低運動圖框(區塊822)，可選擇間隔中之預定數目個非順序圖框(例如，每X個圖框)(區塊823)。可基於內容特性(例如，何時偵測到低運動場景)適應性地調整間隔X。可實施與本文中所描述之實施例一致的用於選擇圖框以形成片段的其他選項。
根據一實施例，可融合在選定片段結尾處之圖框與在下一片段開頭處之圖框以產生如上文所描述之淡化效應(區塊830)。接著，一旦已選定片段之圖框，便可顯示該片段(區塊840)。
如上文所論述，圖1至圖3說明根據本發明之實施例的例示性系統之功能方塊圖。在實施中，該等系統可體現為硬體，在此狀況下，所說明區塊可對應於系統內之電路子系統。替代地，該等系統之組件可體現為軟體，在此狀況下，所說明之區塊可對應於軟體程式內之程式模組。在又一實施例中，該等系統可為涉及硬體電路系統及軟體程式兩者之混合系統。
此外，並不需要提供本文中所描述之所有功能區塊或需要將其提供為單獨單元。舉例而言，儘管圖1將例示性系統之組件(諸如，控制器、解碼引擎及後處理器)說明為單獨單元，但在一或多項實施例中，可整合該等組件中之一些或全部。除非上文另外提到，否則此類實施細節對本發明之操作不重要。另外，儘管圖8說明例示性方法，但操作次序可被更改或一些操作可被完全跳過。
可使用可儲存指令或指令集之非暫時性電腦可讀儲存媒體或物品來實施一些實施例，該指令或指令集在由處理器執行時可使處理器執行根據所揭示實施例之方法。例示性方法及電腦程式指令可體現於 非暫時性機器可讀儲存媒體上。另外，伺服器或資料庫伺服器可包括經組態以儲存機器可執行程式指令之機器可讀媒體。本發明之實施例的特徵可實施於硬體、軟體、韌體或其組合中，且用於系統、子系統、組件或其子組件中。機器可讀儲存媒體可包括可儲存資訊之任何媒體。機器可讀儲存媒體之實例包括電子電路、半導體記憶體裝置、ROM、快閃記憶體、可抹除ROM(EROM)、軟碟、CD-ROM、光碟、硬碟、光纖媒體或任何電磁或光學儲存裝置。
雖然已參考一些實施例詳細地描述本發明，但在本發明之範疇及精神內之變化對於一般熟習此項技術者將為顯而易見的。因此，應認為本發明僅受附加申請專利範圍之範疇限制。
100‧‧‧視訊顯示裝置
105‧‧‧緩衝器
110‧‧‧本端儲存器
115‧‧‧攝影機
125‧‧‧解碼引擎
130‧‧‧控制器
135‧‧‧後處理器
140‧‧‧緩衝器

Claims (25)

  1. 一種用於顯示一視訊資料串流之方法，其包含：識別該視訊資料串流中之待在向前快轉播放期間顯示的第一複數個圖框；對於該第一複數個中之每一各別圖框，識別在該各別圖框與該第一複數個中之一相繼圖框之間的一間隔中的第二複數個圖框，其中該第二複數個圖框包括數目少於該間隔中之圖框之數目的圖框且該第二複數個圖框在播放次序上緊密間隔；及顯示該第一複數個圖框及該第二複數個圖框。
  2. 如請求項1之方法，其中該第二複數個中之該等圖框為相繼的。
  3. 如請求項1之方法，其中識別該第一複數個包括：選擇該視訊串流中的隔開一恆定距離之圖框。
  4. 如請求項1之方法，其中識別該第二複數個包括：選擇在該第一複數個中之每一圖框之後的預定數目個圖框。
  5. 如請求項1之方法，其中該第一複數個圖框中之每一圖框開始一新場景。
  6. 如請求項5之方法，其進一步包含偵測該視訊串流中之新場景。
  7. 如請求項6之方法，其中識別該第一複數個包括：跳過一偵測到之場景。
  8. 如請求項7之方法，其中當一偵測到之場景中之圖框的數目低於一預定臨限值時，跳過該場景。
  9. 如請求項1之方法，其中識別該第一複數個包括：選擇在與該視訊串流相關聯之一資訊清單中識別的每一區段中之一第一圖框。
  10. 如請求項1之方法，其進一步包含融和經選定以形成一第一片段 之複數個圖框與經選定以形成一第二片段之複數個圖框，其中每一片段係由來自該第一複數個之一圖框及來自該第二複數個之經選定以在該第一複數個中之該圖框之後的圖框形成，且該第一片段及該第二片段在播放次序上為相繼的。
  11. 如請求項1之方法，其中識別該第二複數個包括：為該第二複數個選擇額外圖框，及在圖框經判定為具有低運動時自該第二複數個中丟棄該等圖框。
  12. 如請求項1之方法，其中識別該第一複數個包括：根據在該視訊資料串流之編碼期間俘獲的播放資訊來選擇每一區段中之一第一圖框。
  13. 如請求項1之方法，其中識別該第一複數個包括：根據在該視訊資料串流之解碼期間俘獲的播放資訊來選擇每一區段中之一第一圖框。
  14. 一種視訊顯示裝置，其包含：一記憶體，其用於儲存視訊資料；一控制器，其經組態以接收以一快速播放速率顯示該視訊資料之一請求，且藉由以下操作選擇該視訊資料之一片段；識別該視訊資料中的待顯示之第一複數個圖框；對於該第一複數個中之每一各別圖框，識別在該各別圖框與該第一複數個中之一相繼圖框之間的一間隔中的第二複數個圖框，其中該第二複數個圖框包括數目少於該間隔中之圖框之數目的圖框且該第二複數個圖框在播放次序上為相繼的；及一顯示器，其用以顯示該視訊資料之該選定片段。
  15. 如請求項14之顯示裝置，其中該第二複數個中之該等圖框為相繼的。
  16. 如請求項14之顯示裝置，其中識別該第一複數個包括：選擇該視訊串流中隔開一恆定距離之圖框。
  17. 如請求項14之顯示裝置，其中識別該第二複數個包括：選擇在該第一複數個中之每一圖框之後的預定數目個圖框。
  18. 如請求項14之顯示裝置，其中該第一複數個圖框中之每一圖框開始一新場景。
  19. 如請求項14之顯示裝置，其中識別該第一複數個包括：選擇在與該視訊串流相關聯之一資訊清單中識別的每一區段中之一第一圖框。
  20. 一種非暫時性電腦可讀媒體，其儲存在由一處理裝置執行時使該裝置進行以下操作之程式指令：識別該視訊資料串流中之待在向前快轉播放期間顯示的第一複數個圖框；對於該第一複數個中之每一各別圖框，識別在該各別圖框與該第一複數個中之一相繼圖框之間的一間隔中的第二複數個圖框，其中該第二複數個圖框包括數目少於該間隔中之圖框之數目的圖框且該第二複數個圖框在播放次序上緊密間隔；及顯示該第一複數個圖框及該第二複數個圖框。
  21. 如請求項20之非暫時性電腦可讀媒體，其中該第二複數個中之該等圖框為相繼的。
  22. 如請求項20之非暫時性電腦可讀媒體，其中識別該第一複數個包括：選擇該視訊串流中隔開一恆定距離之圖框。
  23. 如請求項20之非暫時性電腦可讀媒體，其中識別該第二複數個包括：選擇在該第一複數個中之每一圖框之後的預定數目個圖框。
  24. 如請求項20之非暫時性電腦可讀媒體，其中該第一複數個圖框 中之每一圖框開始一新場景。
  25. 如請求項20之非暫時性電腦可讀媒體，其中識別該第一複數個包括：選擇在與該視訊串流相關聯之一資訊清單中識別的每一區段中之一第一圖框。
TW103124018A 2013-07-12 2014-07-11 數位視訊串流中的特技播放 TWI571116B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/941,174 US9508390B2 (en) 2013-07-12 2013-07-12 Trick play in digital video streaming

Publications (2)

Publication Number Publication Date
TW201515453A true TW201515453A (zh) 2015-04-16
TWI571116B TWI571116B (zh) 2017-02-11

Family

ID=51225902

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103124018A TWI571116B (zh) 2013-07-12 2014-07-11 數位視訊串流中的特技播放

Country Status (7)

Country Link
US (2) US9508390B2 (zh)
EP (1) EP3008911B1 (zh)
JP (2) JP6255095B2 (zh)
KR (2) KR101819618B1 (zh)
CN (1) CN105359544B (zh)
TW (1) TWI571116B (zh)
WO (1) WO2015006167A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6217462B2 (ja) * 2014-03-05 2017-10-25 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム
KR102476207B1 (ko) 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
US10182114B2 (en) 2016-07-04 2019-01-15 Novatek Microelectronics Corp. Media content sharing method and server
CN106375875A (zh) * 2016-09-29 2017-02-01 乐视控股（北京）有限公司 视频流的播放方法及装置
EP3337174B1 (en) * 2016-12-14 2021-04-07 Alcatel-Lucent España Method and device for transmission of content
TWI657697B (zh) 2017-12-08 2019-04-21 財團法人工業技術研究院 搜尋視訊事件之方法、裝置、及電腦可讀取記錄媒體
CN110121098B (zh) * 2018-02-05 2021-08-17 腾讯科技（深圳）有限公司 视频播放方法、装置、存储介质和电子装置
US11036996B2 (en) * 2019-07-02 2021-06-15 Baidu Usa Llc Method and apparatus for determining (raw) video materials for news
US11323730B2 (en) 2019-09-05 2022-05-03 Apple Inc. Temporally-overlapped video encoding, video decoding and video rendering techniques therefor
US10923158B1 (en) * 2019-11-25 2021-02-16 International Business Machines Corporation Dynamic sequential image processing
US11997339B2 (en) 2020-01-15 2024-05-28 Dolby International Ab Adaptive streaming of media content with bitrate switching
CN111683272A (zh) * 2020-05-22 2020-09-18 海信视像科技股份有限公司 一种流媒体播放方法及显示设备
CN112559800B (zh) * 2020-12-17 2023-11-14 北京百度网讯科技有限公司 用于处理视频的方法、装置、电子设备、介质和产品
US11785314B2 (en) * 2021-11-04 2023-10-10 Rovi Guides, Inc. Systems and methods to enhance segment during trick play

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3250467B2 (ja) * 1996-10-04 2002-01-28 松下電器産業株式会社 映像要約方法および映像表示方法
US6625383B1 (en) * 1997-07-11 2003-09-23 Mitsubishi Denki Kabushiki Kaisha Moving picture collection and event detection apparatus
US6327418B1 (en) 1997-10-10 2001-12-04 Tivo Inc. Method and apparatus implementing random access and time-based functions on a continuous stream of formatted digital data
AU4185900A (en) 1999-03-30 2000-11-14 Tivo, Inc. System for automatic playback position correction after fast forward or reverse
JP2002010259A (ja) 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
EP1182584A3 (en) * 2000-08-19 2005-12-28 Lg Electronics Inc. Method and apparatus for video skimming
KR100403238B1 (ko) * 2000-09-30 2003-10-30 엘지전자 주식회사 비디오의 지능형 빨리 보기 시스템
JP4099973B2 (ja) 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US20030156824A1 (en) * 2002-02-21 2003-08-21 Koninklijke Philips Electronics N.V. Simultaneous viewing of time divided segments of a tv program
US8155498B2 (en) * 2002-04-26 2012-04-10 The Directv Group, Inc. System and method for indexing commercials in a video presentation
US7106798B1 (en) * 2002-05-23 2006-09-12 Microsoft Corporation Smooth scanning presenter
US20040004599A1 (en) 2002-07-03 2004-01-08 Scott Shepard Systems and methods for facilitating playback of media
KR100555427B1 (ko) * 2002-12-24 2006-02-24 엘지전자 주식회사 비디오 재생 장치 및 지능형 스킵 방법
JP4208634B2 (ja) * 2003-04-23 2009-01-14 キヤノン株式会社 再生装置
KR100991619B1 (ko) 2003-09-17 2010-11-04 엘지전자 주식회사 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템
JP3867695B2 (ja) 2003-09-30 2007-01-10 ヤマハ株式会社 画像再生装置
JP2005286881A (ja) * 2004-03-30 2005-10-13 Nec Corp 映像コンテンツ再生装置および方法
JP4349277B2 (ja) * 2004-12-24 2009-10-21 株式会社日立製作所 動画再生装置
US8018995B2 (en) * 2005-03-09 2011-09-13 Vudu, Inc. System and method for trick play of highly compressed video data
KR100716291B1 (ko) 2005-07-27 2007-05-09 삼성전자주식회사 영상재생장치와 그 제어방법 및 ｐｖｒ
EP1806919A1 (en) * 2006-01-05 2007-07-11 Alcatel Lucent Media delivery system with content-based trick play mode
US7881582B2 (en) 2006-06-12 2011-02-01 International Business Machines Corporation Slowing display of digital video
KR20080047847A (ko) 2006-11-27 2008-05-30 삼성전자주식회사 동적 영상물 재생 장치 및 방법
JP4763589B2 (ja) 2006-12-18 2011-08-31 株式会社日立製作所 再生装置、および、その再生方法
EP3297272A1 (en) * 2007-02-01 2018-03-21 Yissum Research Development Company of the Hebrew University of Jerusalem Ltd. Method and system for video indexing and video synopsis
JP4279318B2 (ja) * 2007-02-02 2009-06-17 三菱電機株式会社 映像表示装置
US8136140B2 (en) 2007-11-20 2012-03-13 Dish Network L.L.C. Methods and apparatus for generating metadata utilized to filter content from a video stream using text data
JP2011514789A (ja) * 2008-03-20 2011-05-06 インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー ビデオ画像の小さな画面サイズへの適合方法
US20100077435A1 (en) 2008-09-24 2010-03-25 Concert Technology System and method for smart trick mode display
JP5213630B2 (ja) * 2008-10-09 2013-06-19 三菱電機株式会社 映像信号再生装置
US8781305B2 (en) * 2008-12-02 2014-07-15 Microsoft Corporation Media streaming with smooth fast-forward and rewind
US9087508B1 (en) * 2012-10-18 2015-07-21 Audible, Inc. Presenting representative content portions during content navigation

Also Published As

Publication number Publication date
JP2018078583A (ja) 2018-05-17
WO2015006167A8 (en) 2015-09-24
JP6562992B2 (ja) 2019-08-21
CN105359544B (zh) 2019-01-11
EP3008911B1 (en) 2020-11-04
WO2015006167A1 (en) 2015-01-15
KR101819618B1 (ko) 2018-01-17
JP2016531471A (ja) 2016-10-06
EP3008911A1 (en) 2016-04-20
US10382830B2 (en) 2019-08-13
JP6255095B2 (ja) 2017-12-27
US20170041681A1 (en) 2017-02-09
TWI571116B (zh) 2017-02-11
KR20180008891A (ko) 2018-01-24
US9508390B2 (en) 2016-11-29
US20150016804A1 (en) 2015-01-15
CN105359544A (zh) 2016-02-24
KR20160019106A (ko) 2016-02-18
KR102232120B1 (ko) 2021-03-25

Similar Documents

Publication Publication Date Title
TWI571116B (zh) 數位視訊串流中的特技播放
US8270819B2 (en) Performing trick play functions in a digital video recorder with efficient use of resources
TWI596933B (zh) 用於快速切換的編碼解碼器技術
TWI571113B (zh) 視訊位元流中之隨機存取
KR20100028156A (ko) 미디어 전송 시스템 및 방법
US20180114545A1 (en) Entertainment device with improved reverse play
US20110135286A1 (en) Apparatus and method for extracting key frames and apparatus and method for recording broadcast signals using the same
WO2016091172A1 (en) Systems and methods to achieve interactive special effects
US20110064391A1 (en) Video-audio playback apparatus
CN115278307A (zh) 一种视频播放方法、装置、设备和介质
JP5682167B2 (ja) 映像音声記録再生装置、および映像音声記録再生方法
KR20150018108A (ko) Iptv 방송에서 화면재생 대기시간 단축을 위한 스트림 재사용 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP2015097426A (ja) デジタル・コンテンツにおける最適な再生位置決めのための方法および装置
EP2548370A1 (en) Method and device for optimal playback positioning in digital content