TW200931980A - Apparatus and method for arranging and playing a multimedia stream - Google Patents

Apparatus and method for arranging and playing a multimedia stream Download PDF

Info

Publication number
TW200931980A
TW200931980A TW097125092A TW97125092A TW200931980A TW 200931980 A TW200931980 A TW 200931980A TW 097125092 A TW097125092 A TW 097125092A TW 97125092 A TW97125092 A TW 97125092A TW 200931980 A TW200931980 A TW 200931980A
Authority
TW
Taiwan
Prior art keywords
audio
stream
image
decoded
video
Prior art date
Application number
TW097125092A
Other languages
English (en)
Inventor
Yang-Chih Shen
Chun-Ching Huang
Original Assignee
Silicon Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Motion Inc filed Critical Silicon Motion Inc
Publication of TW200931980A publication Critical patent/TW200931980A/zh

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4392Processing of audio elementary streams involving audio buffer management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

200931980 九、發明說明: 【發明所屬之技術領域】 本發明係關於一種用於編排及播放一多媒體串流之裝置及方 法。更具體而言,本發明藉由使影像串流(video stream )與音頻 串流(audio stream )相互交錯而編排該多媒體串流,並播放經編 排之多媒體串流。 【先前技術】 由於通訊及多媒體技術之迅速發展,所創建之多媒體檔日趨增 © 多。此外,人們不僅可於傳統電腦上、且亦可於行動裝置上觀看 多媒體串流。一多媒體串流通常同時包含一影像串流與一音頻串 流。當一裝置播放(或存取)多媒體串流時,為得到最佳之效能, 需要使影像串流與音頻串流同步。 第1圖例示一用於儲存一多媒體串流之先前技術檔案結構11。 檔案結構11包含一第一部分111及一第二部分112,其中第一部 分111具有區塊0至區塊η,第二部分112則具有區塊n+1至區塊 ◎ m。各該區塊可係為一扇區或一使用者自定義(user-defined )儲 存單元。第一部分111儲存該多媒體串流之一影像串流,而第二 部分112儲存該多媒體串流之一音頻串流。該影像串流與該音頻 串流係分別儲存於檔案結構11中,乃因二者係為實質不同種類之 多媒體,因而具有不同之編碼及解碼方法。因影像串流與音頻串 流係分別儲存,故試圖存取該二串流之裝置必須具有二存取指針 (accessing pointer),即一影像存取指針121及一音頻存取指針 122 ° 6 200931980 檔案結構11及相應存取方法存在某些缺點。第一缺點係效能大 幅降低。當一裝置播放著儲存於如第1圖所示檔案結構11中之多 媒體串流時,其需要能夠隨機地存取該等串流,以使影像串流與 音頻串流二者同步。然而,吾人已知,隨機存取會消耗裝置之大 量資源。若裝置係為資源有限之行動/可攜式裝置,則其可能無法 流暢地播放多媒體檔案。更有甚者,於播放多媒體檔案期間,行 動/可攜式裝置可能無法處理其他功能。 _ 另一缺點在於,為了於影像串流與音頻串流間達成同步,除一 ❹ 額外定時器或計數器外,尚需要一巨大之緩衝器。現今存在二種 使影像串流與音頻串流達成同步之主要方法,第一種方法係針對 影像串流與音頻串流使用二獨立之觸發器機構(trigger mechanism),其中該等觸發器機構相依於裝置之系統時脈。影像 串流之觸發器機構係於每一預定時間間隔觸發影像串流之一部 分,而音頻串流之觸發器機構則以其預定時間間隔觸發音頻串流 之一部分;第二種方法係因應音頻串流之每一部分而觸發影像串 φ 流之一部分,其中音頻串流之該部分包含不止一個音頻取樣。現 提供一更具體之實例,其中以N表示影像串流之影像畫面速率 (video frame rate )並以Μ表示音頻串流之音頻取樣頻率(audio sampling rate )。於一秒鐘内存在N個影像晝面及Μ個音頻取樣意 味著一個影像晝面對應Μ/Ν個音頻取樣。於一實例中,影像串流 之一部分係為一個影像畫面,而音頻串流之一部分包含Μ/N個音 頻取樣。第二種方法係因應音頻串流之每一部分(即Μ/N個音頻 取樣)而觸發影像串流之一部分(即一個影像晝面)。觸發之前, 200931980 該二方法皆須完全解碼影像晝面及音頻框,並將其儲存於緩衝器 中,以便該裝置可流暢地播放之。 根據上文說明可知,利用傳統檔案結構儲存多媒體串流存在某 些缺點。當一資源有限之裝置試圖播放一多媒體檔案時,該等缺 點變得愈發明顯。因此,仍非常需要提供一種用於儲存一多媒體 檔案之新結構以及一種用於編排該多媒體檔案之所儲存影像及音 頻部分之相應方法。 【發明内容】 本發明之一目的係提供一種用於編排一多媒體串流之方法。該 多媒體串流包含一影像串流及一音頻串流。該方法包含下列步 驟:(a)寫入該影像串流之一第一部分;(b)寫入該音頻串流之一第 一部分,其對應於該影像串流之該第一部分;(c)於步驟(a)及步驟 (b)後,寫入該影像串流之一次一部分;以及(d)於步驟(a)及步驟(b) 後,寫入該音頻串流之一次一部分,其對應於該影像串流之該次 一部分。 本發明之另一目的係提供一種用於編排一多媒體串流之裝置。 該多媒體串流包含一影像串流及一音頻串流。該裝置包含一處理 器。該處理器適以:寫入該影像串流之一第一部分;寫入該音頻 串流之一第一部分,其對應該影像串流之該第一部分;於該影像 串流之該第一部分及該音頻串流之該第一部分寫入後,寫入該影 像串流之一次一部分;以及於該影像串流之該第一部分及該音頻 串流之該第一部分寫入後,寫入該音頻串流之一次一部分,其對 應該影像串流之該次一部分。 200931980 本發明之再一目的係提供一種用於播放一多媒體串流之方法。 該多媒體串流包含一第一影像部分、一次一影像部分、一第一音 頻部分、以及一次一音頻部分。該第一影像部分及該第一音頻部 分較該次一影像部分及該次一音頻部分先到達。該方法包含下列 步驟:(a)解碼該第一影像部分,以取得一第一解碼影像部分;(b) 解碼該第一音頻部分,以取得一第一解碼音頻部分;(c)播放該第 一解碼影像部分及該第一解碼音頻部分;(d)於步驟(a)及步驟(b) ^ 後,解碼該次一影像部分以取得一次一解碼影像部分;(e)於步驟 〇 (a)及步驟(b)後,解碼該次一音頻部分以取得一次一解碼音頻部 分;以及(f)於步驟(c)後,播放該次一解碼影像部分及該次一解碼 音頻部分。 本發明之又一目的係提供一種用於播放一多媒體串流之裝置。 該多媒體串流包含一第一影像部分、一次一影像部分、一第一音 頻部分、以及一次一音頻部分。該第一影像部分及該第一音頻部 分較該次一影像部分及該次一音頻部分先到達。該裝置包含一處 φ 理器。該處理器適以:播放該第一影像部分及該第一音頻部分, 以及於播放該第一影像部分及該第一音頻部分後,播放該次一影 像部分及該次一音頻部分。該裝置可更包含一緩衝器,用於暫時 儲存該第一音頻部分及該次一音頻部分,其中該緩衝器之一容量 小於該第一影像部分之一容量及該次一影像部分之一容量。 對於同時包含一影像串流與一音頻串流之一多媒體串流,本發 明根據下列準則來編排該影像串流之各部分及該音頻串流之各部 分:該等影像及音頻串流之前一部分較該等影像及音頻串流之次 200931980 一部分先到達。換言之,於編排後,該等影像及音頻串流中對應 於前一時間間隔之部分較該等影像及音頻串流中對應於一次一時 間間隔之部分先到達。本發明根據該概念編排多媒體串流;因此, 一試圖播放所編排多媒體串流之裝置可按該次序播放之,而無需 配備緩衝器、計數器或定時器。此意味著該裝置可於解碼影像串 流之一部分及音頻框之一部分之後立即輸出之,即無需緩衝解碼 結果或者僅緩衝解碼結果之一小部分。該特徵尤其適用於資源亡 限之可攜式裝置。 為讓本發明之上述目的、技術特徵和優點能更明顯易懂,下文 將以較佳實施例配合所附圖式進行詳細說明。 【實施方式】 本發明之目的係提供一種藉由使一多媒體串流之一影像串流與 一音頻串流相互交錯而編排該多媒體串流之裝置及方法。此外, 亦提供用於播放所編排多媒體串流之相應裝置及方法。 第2圖例示本發明之一第一實施例,其係為一種用於編排一多 媒體串流201之裝置2。裝置2包含一處理器22,且與一介面21 及一緩衝器23配合運作。於其他實施例中,介面21及緩衝器23 亦可配置於裝置2内。 介面21接收多媒體串流201,其中多媒體串流201包含一影像 串流202及一音頻串流203。第3圖例示多媒體串流201之一檔案 結構31。於介面21接收到多媒體串流201後,處理器22寫入多 媒體串流201之一標頭310至該檔案中,然後寫入影像串流202 之一第一部分311至該檔案中,並接著寫入音頻串流203之一第 200931980 一部分312至該檔案中,該第一部分312係對應於影像串流202 之第一部分311。於影像串流202之第一部分311及音頻串流203 之第一部分312寫入檔案中之後’處理器22寫入影像串流202之 一次一部分313及音頻串流203之一次一部分314至該檔案中, 其中音頻串流203之次一部分314係對應於影像串流202之次一 部分313。對第一部分311、312及次一部分313、314之確定將於 下文予以闡釋。若影像串流202及音頻串流203仍存在某些尚未 寫入之部分,處理器22將繼續將影像串流202及音頻串流203交 錯編排於該檔案中。於上述過程中,緩衝器23可於音頻串流203 之第一部分312及次一部分314被寫入該檔案之前,暫時儲存該 第一部分312及次一部分314。應注意,處理器22可將上述第一 部分311、312及次一部分313、314寫入另一多媒體串流中以供 直接傳送。 根據第3圖所示檔案結構31可以理解,處理器22藉由交錯編 排影像串流202與音頻串流203而將多媒體串流201寫入該檔案 〇 中。根據檔案結構31,標頭310可佔據用於儲存該檔案之一儲存 器之區塊0,影像串流202之第一部分311可佔據用於儲存該檔案 之儲存器之區塊1及2’音頻串流203之第一部分312可佔據用於 儲存該檔案之儲存器之區塊3,影像串流202之次一部分313可佔 據用於儲存該檔案之儲存器之區塊4及5,且音頻串流2〇3之次一 部分314可佔據用於儲存該檔案之儲存器之區塊6。 處理器22於寫入多媒體串流2〇1至該檔案前,決定影像串流2〇2 之-畫面速率以及音頻串流2〇3之—取樣頻率。於該實施例中, 200931980 假定畫面速率係每秒呈現N個晝面,取樣頻率係每秒進行Μ個取 樣。然後,處理器22根據晝面速率Ν將影像串流202編碼為複數 影像晝面,並根據取樣頻率Μ將音頻串流203編碼為複數音頻取 樣。於某些情形中,一多媒體串流201之一影像串流202及一音 頻串流203可能早已編碼為影像畫面及音頻取樣。於此等情形中, 處理器22無需執行決定及編碼,而是僅需根據影像串流202及音 頻串流203來決定晝面速率及取樣頻率。 在下文中將闡釋如何決定第一部分311、312及次一部分313、 314。於該實施例中,影像串流202之各該第一部分311及次一部 分313皆包含該等影像晝面其中之一。類似地,音頻串流203之 各該第一部分312及次一部分314皆包含一音頻取樣計算數目。 於其他實施例中,影像串流202之第一部分311與次一部分313 二者可分別僅包含一個影像畫面之一部分,例如一切面(slice)、 一巨集區塊(macro-block )、一列巨集區塊等等,其中音頻串流 203之第一部分312及次一部分314隨之包含對應部分。 第一部分311、312及次一部分313、314係根據畫面速率N及 取樣頻率Μ加以決定。該實施例能夠處理Μ與N之各種組合以 及其他狀況,例如:(1) Μ係為Ν之倍數,(2) Μ不為Ν之倍數, 以及(3) —音頻框中音頻取樣之數量係為固定。 首先,闡述當Μ係為Ν之倍數時對第一部分311、312及次一 部分313、314之確定。變數Μ及Ν表示於一秒内應存在Ν個影 像晝面及Μ個音頻取樣。亦即,每1/Ν秒應存在一個畫面及Μ/Ν 個音頻取樣,如第4圖所示。於第4圖中,橫軸表示時間(單位: 12 200931980 秒),每一 V〇, Vh V2,…,及νΝ-1表示影像串流之一影像畫面’每 一 A〇, A丨,A2,…,及ΑΝ_1則表示音頻串流203之一音頻框。此外’ 各該Ai包含Μ/Ν個音頻取樣。例如’音頻框Α〇'包含音頻取樣aM, a〇,i,…,及a0,M/N-i。於該實施例中’影像串流2〇2之第一部分311 被確定為第一影像晝面V0,音頻串流203之第一部分312被確定 為第一音頻框A〇 (即前]VI/N個音頻取樣a〇,〇, a〇,i,…,及a〇,M/N-i ) ’ 影像串流202之次一部分313被確定為次一影像畫面乂丨,且音頻 串流203之次一部分314被確定為音頻框A!,等等。根據上述說 ❹ 明,影像串流202之第一部分311及音頻串流203之第一部分312 對應於第一區段時間(即前1/N秒)。類似地,影像串流202之次 一部分313及音頻串流203之次一部分314對應於次一區段時間 (即次一 1/N秒)。 此處提供一具體實例。考量以下情形:音頻取樣頻率係為44100 Hz (即M=44100)且畫面速率係為每秒15個畫面(N=15),由此 計算出每秒有44100個音頻取樣及15個影像晝面。亦即,每1/15 _ 秒存在44100/15=2940個音頻取樣及一個影像畫面。因此,該實 施例將一影像畫面寫入該檔案中,並接著將一音頻框(即294〇個 音頻取樣)寫入該檔案中,依此類推。 第二,闡述當Μ不為N之倍數(即M/N不為整數)時,如何決 定第一部分311、312及次一部分313、314。若μ/Ν不為整數, Μ 則音頻取樣包含至少個音頻取樣。於相除之後,將殘餘音頻 取樣分配至音頻框中。影像串流202之第一部分311被確定為第 一影像畫面,音頻串流203之第一部分312被確定為第一音頻框, 13 200931980 影像串流202之次一部分313被確定為次一影像晝面音頻串流 203之次一部分314被確定為次一音頻框,等等。更具體而言,處 理器22採用下列規則: 最後,闡述當一音頻框内之音頻取樣數目應固定時,如何決定 第-部分3n、312及次-部分313、314。其一實例係為廳規 格,其需要於一個音頻框内具有1152個音頻取樣。假定於一音頻 框内所需音頻取樣之數目係為L。處理器22首先判斷音頻取樣數 目是否係為L之倍數。若不是,則處理器22填充若干額外音頻取 樣至該等音頻取樣,直到所得音頻取樣數目為L之倍數。然後, 處理器22確定影像串流202之第一部分311為第一影像畫面。處 理器22確定音頻串流203之第一部分312包含至少一個音頻框, 其中對應於第一部分312内所包含音頻取樣之一第一時間長度大 到足以覆蓋另一影像晝面之起始邊界。然後,處理器22確定影像 串流202之次一部分313為次一影像畫面。此後,處理器.22確定 音頻串流203之次一部分314包含至少一音頻框,其中對應於次 一部分314中所包含音頻取樣之一第二時間長度大到足以覆蓋另 一影像畫面之起始邊界。更具體而言’處理器22採用下列規則: 若
’則 Ι4=(*)·+ι); 否則,;^為=·
, 200931980 其中k係為音頻框之索引’且左為表示自第〇個至第k個音頻框 1=0 之累積音頻取樣數目。 現提供一如下情形之具體實例:每一音頻框之長度係為固定, 其中M=44100 ’ N=15且L=1152。因M/N=2940,故理想情況下應 每2940個音頻取樣出現一影像畫面。亦即,系統2應每2940個 取樣脈衝出現一影像畫面。為方便起見,將處理器22所確定之影 像晝面及音頻框之順序列於表1中。根據上述規則,處理器22確 定影像串流202之第一部分311為第一影像畫面V〇。處理器22 〇 4定音頻串流203之第一部分312為三個音頻框Α〇、Αι及A2 ’其 中各該音頻框具有1152個音頻取樣。於音頻框A2之後’對應於 所寫入音頻取樣(即第一部分312)之第一時間長度大到足以覆蓋 另一影像畫面之起始邊界,亦即第一部分312之取樣脈衝(即 1152x3=3456)大到足以覆蓋出現於第2940個取樣脈衝處之次一 影像畫面VI之起始邊界。然後,處理器22確定影像串流202之 次一部分313為次一影像晝面V!。此後,處理器22確定音頻串流 參 203之次一部分314為三個音頻框A3 ' A*及As。類似地,於音頻 框A2之後,對應於所寫入音頻取樣(即第一部分312及次一部分 314)之第二時間長度(3456+1152x3=6912)大到足以覆蓋出現於 第5880個取樣脈衝處之另一影像畫面之起始邊界。接著’確定影 像串流202之次一部分為次一影像畫面Vi。此時,處理器22確定 音頻串流203之次一部分314為二音頻框及A?。此乃因一第三 時間長度(3456+3456+1152x2=9216 )大到足以棱蓋出現於第8820 個取樣脈衝處之另一影像畫面之起始邊界。該多媒體串流201之 15 200931980 其餘部分依此類推得到處理。 表1 索引 0 1 2 3 4 5 6 7 8 9 10 11 … 碼框 Vo Aq Αλ α2 Fi α3 A, As v2 M Αη 取樣 0 0 1152 2304 2940 3456 4608 5760 5880 6912 8064 8820 訊號 1151 2303 3455 4607 5759 6911 8063 9215 上文已論述了於三種情形中(基於Μ、N、以及一音頻框之所需 長度),如何決定第一部分311、312、次一部分313、314等等。 於寫入多媒體串流201至檔案之過程中,處理器22實際係根據音 頻取樣之時間次序逐一寫入各音頻取樣至該檔案。更具體而言, 處理器22寫入影像串流202之第一部分311至該檔案。然後,處 理器22將未寫入之音頻取樣逐一寫入至該檔案,計算已寫入音頻 取樣之一累積數目,並重覆該等未寫入音頻取樣之寫入以及累積 數目之計算,直至累積數目等於一第一所需數目且對應於已寫入 音頻取樣之一第一時間長度大於或等於一第一所需時間長度。藉 0 此,寫入音頻串流203之第一部分312至該檔案。接著,處理器 22寫入影像串流202之次一部分313至該檔案。隨後,處理器22 將未寫入之音頻取樣逐一寫入至該檔案,計算已寫入音頻取樣之 累積數目,並重覆該等未寫入音頻取樣之寫入以及累積數目之計 算,直至累積數目等於一第二所需數目且對應於已寫入音頻取樣 之一第二時間長度大於或等於一第二所需時間長度。視Μ、Ν及L 而定,第一所需數目、第二所需數目、第一時間長度、及第二時 16 200931980 間長度有所不同。 此外,於寫入第一部分311、313及第二部分312、314之後, 處理器22將重覆地寫入一次一影像晝面及一音頻框,直至整個多 媒體串流201皆已得到編排為止。 於某些其他情形中,裝置2可於影像串流202之第一部分311 之前寫入音頻串流203之第一部分314,或者於影像串流202之次 一部分之前寫入音頻串流203之次一部分314。對裝置2之唯一要 求係不時地交錯編排影像串流202與音頻串流203。因影像串流 ❹ 202與音頻串流203係交錯編排,故當一裝置試圖播放該多媒體串 流201時,僅需一個存取指針,即一音頻/影像指針。 第5圖例示本發明之一第二實施例,係為一種用於播放一多媒 體串流50之裝置5。多媒體串流50已於第一實施例中由裝置2 加以編排。更具體而言,多媒體串流50包含一第一影像部分、一 次一影像部分、一第一音頻部分、以及一次一音頻部分,其中於 多媒體串流50中,該第一影像部分及該第一音頻部分較該次一影 φ 像部分及該次一音頻部分先到達。該影像串流之第一部分及次一 部分分別係為一已編碼微區塊、一已編碼巨集區塊、一已編碼巨 集區塊列、一已編碼切片、以及一已編碼碼框其中之一。該第一 音頻部分及該次一音頻部分分別包含複數已編碼音頻取樣。 裝置5包含一處理器51及一緩衝器52,其中該緩衝器52之一 容量係小於該第一影像部分之一容量及該次一影像部分之一容 量。處理器51解碼該第一影像部分以得到一第一解碼影像部分, 解碼該第一音頻部分以得到一第一解碼音頻部分,並播放該第一 17 200931980 解碼影像部分及該第一解碼音頻部分。此後,處理器51解碼該第 二影像部分以得到一第二解碼影像部分,解碼該第二音頻部分以 得到一第二解碼音頻部分,並播放該第二解碼影像部分及該第二 解碼音頻部分。 當解碼第一解碼影像部分時,利用該緩衝器52暫時儲存該第一 解碼音頻部分之一部分。更具體而言,該第一音頻部分包含若干 已編碼音頻取樣,而該第一影像部分包含一個已編碼影像畫面, 當該等音頻取樣其中之一(第一音頻部分之一部分)已被解碼為 一音頻取樣時,該影像晝面尚未得到解碼。因此,可將已解碼之 音頻取樣儲存於緩衝器52中。類似地,當播放第二解碼影像部分 時,利用該緩衝器52暫時儲存第二解碼音頻部分。 裝置5可重覆地解碼及播放該多媒體串流50,直到整個多媒體 串流50皆已得到解碼及播放。 藉由第一及第二實施例之配置,可按照時間次序編排多媒體串 流,並可由資源有限之裝置播放所編排之多媒體串流。 第6A及6B圖例示本發明一第三實施例之一流程圖。該多媒體 串流同時包含一影像串流與一音頻串流。首先,該方法執行步驟 601,以決定該影像串流之一晝面速率。然後,該方法執行步驟 602,以決定該音頻串流之一取樣頻率。 於決定晝面速率及取樣頻率後,該方法執行步驟603及604,以 分別根據該晝面速率將該影像串流編碼為複數影像晝面以及根據 該取樣頻率將該音頻串流編碼為複數音頻取樣。爾後,該方法執 行步驟605,以寫入該影像串流之一第一部分至該檔案。此後,該 18 200931980 方法執行步驟606、607、608,以寫入該音頻串流之一第一部分至 該檔案,其中該音頻串流之第一部分對應於該影像串流之第一部 分。更具體而言,步驟606按照時間次序將該等未寫入音頻取樣 其中之一寫入該檔案,而步驟607係計算已寫入音頻取樣之累積 數目。步驟608判斷該累積數目是否等於一第一所需數目以及對 應於已寫入音頻取樣之一第一時間長度是否大於或等於一第一所 需時間長度。若結果為否,則該方法返回步驟606。若結果為是, 則該方法進行至步驟609,以寫入該影像串流之一次一部分。接 著,該方法執行步驟610、611、612,以寫入該音頻串流之一次一 部分至該檔案,其中該音頻串流之次一部分對應於該影像串流之 次一部分。更具體而言,步驟610按照時間次序寫入該等未寫入 音頻取樣其中之一至該檔案,而步驟611係計算已寫入音頻取樣 之累積數目。步驟612判斷該累積數目是否等於一第二所需數目 且對應於已寫入音頻取樣之一第二時間長度是否大於或等於一第 二所需時間長度。若結果為否,則該方法返回步驟610。而若結果 0 為是,則該方法繼續進行至步驟613,以判斷是否整個多媒體串流 皆已得到編排。若結果為否,則返回步驟609。而若結果為是,則 執行步驟614,以結束整個過程。 除上述步驟外,該實施例更可執行在第一實施例中所述之操作 及方法。 第7圖例示本發明第四實施例之一流程圖,該第四實施例係為 一種用於播放一多媒體串流之方法。該多媒體串流包含一第一影 像部分、一次一影像部分、一第一音頻部分、及一次一音頻部分。 19 200931980 於該多媒體串流中,該第一影像部分 影像部分及該次一音頻部分先到達 g頻部分較該次— 首先,執行步驟701,解碼該第—旦 像部分,並解碼該第一音頻A ^刀以件到一第—解碼影 馮口卩分以得到一第—解 步驟701之後,執行步驟7〇2 ,θ頻。卩分。於 从播放該第一解蝎影傻 一解碼音頻部分。然後,執行弗 ’如像。卩分及該第 丁^驟703,解碼該次一影 到一次一解碼影像部分,並觫 知像邛分以得 解碼該第二音頻部分以得到—第_ 碼曰頻部分。此後,執行步驟7 —
υ4以播放該次一解碼影I ❹ 該次一解碼音頻部分。然播,。像口Ρ刀及 、後執行步驟7〇5,以判斷是否 體串流皆已得到播放。若沾要& ^ 正個夕媒 。果為否,則再次執行步驟7〇3。 果為是,則執行步驟706以結束該方法。 右、、、。 除上述步驟外,該實施例 了執灯在第一實施例中所述之操作 及方法。 ' 上述方法可由一電腦程式勃 八執仃。換言之,任何筆記型電腦、基 地台及閘道器(gateway) 白了早獨安裝恰當之電腦程式,該電腦 程式具有用以執行上述方法夕& β _
々在之代碼。該電腦程式可儲存於一電腦 可讀取記錄媒體中。該曾* 電腦可讀取記錄媒體可係為一軟式磁碟 片硬碟、光碟、一快閃磁碟(flash disk)、一磁帶、一可自 一網路存取之資料庫、或 ^者熟習此項技術者可輕易思及的具有相 同功能之一儲存媒體。
根據上文說日月本發明以某種次序交錯編排多媒體串流之影像 申狀與θ頻串肌。任何試圖播放該多媒體串流之裝置皆將以相同 次序解碼及播放該多媒體串流。舉例而言,本發明時時地使M/N 20 200931980 個音頻取樣與一個影像晝面交錯編排。然後,該裝置應每次解碼 及播放M/N個音頻取樣及一個影像晝面。換言之,於對應音頻取 樣得到解碼之前,裝置不能解碼次一影像畫面。該方法能確保以 串流次序播放音頻串流與影像串流,而無需利用額外之同步化機 構。此外,裝置可於解碼後立即輸出影像畫面及音頻框。亦即, 裝置無需緩衝整個影像畫面之解碼結果,此尤其適用於一資源有 限之可攜式裝置。 上述實施例僅用來例舉本發明之實施態樣,以及闡釋本發明之 技術特徵,並非用來限制本發明之保護範疇。任何熟悉本發明所 屬技術領域的通常知識者可輕易完成之改變或均等性之安排均屬 於本發明所主張之範圍,本發明之權利保護範圍應以申請專利範 圍為準。 【圖式簡單說明】 第1圖例示一用於儲存一多媒體串流之先前技術檔案結構; 第2圖例示本發明之一第一實施例; 第3圖例示第一實施例之檔案之一檔案結構; 第4圖例示晝面速率與取樣頻率之間關係之一實例; 第5圖例示本發明之一第二實施例; . 第6A圖例示本發明一第三實施例之流程圖之一部分; 第6B圖例示第三實施例之流程圖之另一部分;以及 第7圖例示本發明一第四實施例之一流程圖。 【主要元件符號說明】 21 200931980 2 :裝置 11 :先前技術檔案結構 22 :處理器 31 :檔案結構 51 :處理器 m :第一部分 121 :影像存取指針 201 :多媒體串流 203 :音頻串流 311 :影像串流之第一部分 313 :影像串流之次一部分 5 :裝置 21 :介面 23 :緩衝器 50 :多媒體串流 52 :緩衝器 112 :第二部分 122 :音頻存取指針 202 :影像串流 310 :標頭 312 :音頻串流之第一部分 314 :音頻串流之次一部分
22

Claims (1)

  1. 200931980 十、申請專利範圍: 1. 一種用於編排一多媒體串流之方法,該多媒體串流包含一影 像串流及一音頻串流,該方法包含下列步驟: (a) 寫入該影像串流之一第一部分; (b) 寫入該音頻串流之一第一部分,其對應於該影像串流 之該第一部分; (c) 於步驟(a)及步驟(b)後,寫入該影像串流之一次一部 赢 分;以及 〇 (d) 於步驟(a)及步驟(b)後,寫入該音頻串流之一次一部 分,其對應於該影像串流之該次一部分。 2. 如請求項1之方法,更包含下列步驟: 重覆步驟(c)及步驟(d),直到該多媒體串流已完全編排。 3. 如請求項1之方法,其中該音頻串流包含複數音頻取樣,該 等音頻取樣具有一時間順序,且該步驟(b)包含以下步驟: (bl)根據該時間順序,寫入該等未寫音頻取樣其中之一; φ (b2)計算該等已寫入音頻取樣之一累積數目;以及 (b3)依次重覆步驟(bl)及步驟(b2),直到該累積數目等於 一第一所需數目,且對應該等已寫入音頻取樣之一第一時間 長度,大於或等於一第一所需時間長度。 4. 如請求項3之方法,其中該步驟(d)包含卞列步驟: (dl)根據該時間順序,寫入該等未寫音頻取樣其中之一; (d2)計算該等已寫入音頻取樣之累積數目;以及 (d3)依序重覆步驟(dl)及步驟(d2),直到該累積數目等於 23 200931980 一第二所需數目,且對應該等已寫入音頻取樣之一第二時間 長度,大於或等於一第二所需時間長度。 5. 如請求項1之方法,更包含以下步驟: 針對該影像串流,決定一畫面速率; 針對該音頻串流’決定一取樣頻率, ;以 ,其 根據該晝面速率,編碼該影像串流為複數影像畫面 及
    根據該取樣頻率,編碼該音頻串流為複數音頻取樣 中該影像串流之各第一部分及該影像_流之各次一部分 含該等影像晝面其中之一,且該音頻串流之各第一部分及該 音頻串流之各次一部分,包含一音頻取樣計算數目。 6. 如請求項5之方法,其中該音頻串流之該第一部分及該音頻 串流之該次一部分,係根據該晝面速率及該取樣頻率所決定。 7. 如請求項1之方法,其中該影像串流之該第一部分及該音頻 串流之該第一部分,對應一第一區段時間,且該影像串流之 該次一部分及該音頻串流之該次一部分,對應一次一區段時 0 間。 8. 如請求項1之方法,於步驟(a)之前,更包含一寫入該多媒體 串流之一標頭之步驟。 9. 如請求項1之方法,其中各該影像串流之第一部分及各該影 像串流之次一部分,係為一微區塊、一巨集區塊、一巨集區 塊列、一切面以及一晝面其中之一。 10. —種用以編排一多媒體串流之裝置,該多媒體串流包含一影 24 200931980 像串流及一音頻串流,該裝置包含: 一處理器’適以寫人該影像串流之_第—部分,及寫入 該音頻串流之—第—部分,其對應該影像串流之該第-部 刀及於3亥衫像串流之該第—部分及該音頻串流之該第—部 分寫入後,寫人該影像串流之―次—部分,以及於該影像串 抓之該弟-部分及該音頻串流之該第_部分寫人後,寫入該 音頻串流之—次—部分,其對應該影像串流之該次-部分。 ❹ m 1.如明求項9之裝置’其中該音頻串流包含複數音頻取樣;該 音頻取樣具有-時間順序,且該處理器藉由下列方式,寫入 該音頻Φ流之該第-部分:㈣該時間順序,寫人該等未寫 音頻取樣其中之一;計算該等已寫入音頻取樣之-累積數 目’以及重覆寫人該等未寫音頻取樣,及重覆計算該等已寫 入音頻取樣之-累積數目,直_累積數目等於—第一所需 數目’以及對應該等已寫人音頻取樣之—第_時間長度,大 於或等於一第一所需時間長度。 12.如請求項10之裝置,其中該處理器藉由下列方式寫入該音 頻串流之該次-部分:根據該時_序,“該等未寫音頻 取樣其中之計算該等已寫人音頻取樣之累積數目;重覆 寫入該等未寫音頻取樣及重覆計算該等已寫人音頻取樣之累 積數目,直到該累積數目等於一第二所需數目,以及對應該 等寫入音頻取樣之一第二時間長度,大於或等於一第二所需 時間長度。 U,如請求項9之裝置’其中該處理器更適以針對該影像串流決 25 200931980 定一晝面速率,及針對該音頻串流決定一取樣頻率,及根據 該畫面速率,編碼該影像串流為複數影像晝面,以及根忙該 取樣頻率,編碼該音頻串流為複數音頻取樣,其中該影像串 流之各第一部分及各次一部分,各包含該等影像畫面其中之 一,且該音頻串流之各第一部分及各次一部分,各包含一音 頻取樣計算數目。 14. 如請求項12之裝置,其中該音頻串流之第一部分及該音^老 流之次一部分,係根據該晝面速率及該取樣頻率所決定。 15. 如請求項9之裝置,其中該影像串流之該第一部分及該音頻 串流之該第一部分對應一第一區段時間,且該影像串流之該 次一部分及該音頻串流之該次一部分對應一次一區段時間。 16. 如請求項9之裝置,其中該處理器更於寫入該影像串流之該 第一部分前,寫入該多媒體串流之一標頭。 17. 如請求項9之裝置,其中該處理器於寫入該影像串流之該先 前部分及該音頻串流之該先前部分後,重覆寫入該影像串流 之一次一部分及該音頻串流之一對應部分。 18. 如請求項9之裝置,其中各該影像串流之第一部分及各該影 像串流之次一部分係為一微區塊、一巨集區塊、一巨集區塊 列、一切面以及一畫面其中之一。 19. 一種用於播放一多媒體串流之方法,該多媒體串流包含一第 一影像部分、一次一影像部分、一第一音頻部分、及一次一 音頻部分,於該多媒體串流中,該第一影像部分及該第一音 頻部分,較該次一影像部分及該次一音頻部分先到達,該方 26 200931980 法包含下列步驟: (a) 解碼該第一影像部分,以取得一第一解碼影像部分; (b) 解碼該第一音頻部分,以取得一第一解碼音頻部分; (c) 播放該第一解碼影像部分及該第一解碼音頻部分; (d) 於步驟(a)及步驟(b)後,解碼該次一影像部分以取得一 次一解碼影像部分; (e) 於步驟(a)及步驟(b)後,解碼該次一音頻部分以取得 一次一解碼音頻部分;以及 ❿ (f) 於步驟(c)後,播放該次一解碼影像部分及該次一解碼 音頻部分。 20. 如請求項19之方法,其中該影像串流之各該第一部分及該影 像串流之各次一部分係為一微區塊、一巨集區塊、一巨集區 塊列、一切面以及一晝面其中之一。 21. —種用於播放一多媒體串流之裝置,該多媒體串流包含一第 一影像部分、一次一影像部分、一第一音頻部分、及一次一 〇 音頻部分,該多媒體串流中該第一影像部分及該第一音頻部 分,較該次一影像部分及該次一音頻部分先達到,該裝置包 含: 一處理器,適以解碼該第一影像部分以取得一第一解碼 影像部分,解碼該第一音頻部分以取得一第一解碼音頻部 分,播放該第一解碼影像部分及該第一解碼音頻部分,於針 對該第一影像部分及該第一音頻部分解碼後,解碼該次一影 像部分以取得一次一解碼影像部分,於解碼該第一影像部分 27 200931980 及該第一音頻部分後,解碼該次一音頻部分以取得一次一解 無音頻部分,以及於播放該第一解碼影像部分及該第一解碼 音頻部分後,播放該次一解碼影像部分及該次一解碼音頻部 分。 22. 如請求項21之裝置,更包含: 一缓衝器,用於暫時儲存該第一解碼音頻部分及該次一 解碼音頻部分,該緩衝器之一容量小於該第一解碼影像部分 之一容量及該次一解碼影像部分之一容量。 23. 如請求項21之裝置,其中各該影像串流之第一部分及次一部 分係為一微區塊、一巨集區塊、一巨集區塊列、一切面以及 一畫面其中之一。
    28
TW097125092A 2008-01-11 2008-07-03 Apparatus and method for arranging and playing a multimedia stream TW200931980A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/972,673 US20090183214A1 (en) 2008-01-11 2008-01-11 Apparatus and Method for Arranging and Playing a Multimedia Stream

Publications (1)

Publication Number Publication Date
TW200931980A true TW200931980A (en) 2009-07-16

Family

ID=40851857

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097125092A TW200931980A (en) 2008-01-11 2008-07-03 Apparatus and method for arranging and playing a multimedia stream

Country Status (3)

Country Link
US (1) US20090183214A1 (zh)
CN (1) CN101483055A (zh)
TW (1) TW200931980A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340658A (zh) * 2010-07-16 2012-02-01 鸿富锦精密工业(深圳)有限公司 加速档案位置搜寻的方法及其电子设备
EP2948949A4 (en) * 2013-01-24 2016-09-21 Telesofia Medical Ltd SYSTEM AND METHOD FOR SOFT VIDEO DESIGN
CN108495036B (zh) * 2018-03-29 2020-07-31 维沃移动通信有限公司 一种图像处理方法及移动终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5874997A (en) * 1994-08-29 1999-02-23 Futuretel, Inc. Measuring and regulating synchronization of merged video and audio data
US7088911B2 (en) * 2000-04-26 2006-08-08 Sony Corporation Recording apparatus and method, playback apparatus and method, and recording medium therefor
US7571244B2 (en) * 2000-07-15 2009-08-04 Filippo Costanzo Audio-video data switching and viewing system

Also Published As

Publication number Publication date
CN101483055A (zh) 2009-07-15
US20090183214A1 (en) 2009-07-16

Similar Documents

Publication Publication Date Title
ES2730894T3 (es) Actualizaciones de archivo de manifiesto para la emisión en continuo de red de datos de vídeo codificados
ES2875428T3 (es) Sistema de distribución de vídeo que incluye reproducción progresiva
JP2002541744A (ja) ストリーミング情報受信機のデータ・フォーマット
JP2002541698A (ja) バッファ・リードおよびライト同期機能を備えたストリーミング情報機器
KR20060059782A (ko) 영상신호의 스케일러블 프로그레시브 다운로딩을 지원하는방법
US20100247066A1 (en) Method and apparatus for reverse playback of encoded multimedia content
WO2013053259A1 (zh) 流媒体数据的处理方法、播放方法以及装置
CN107077873A (zh) 将样本元数据与媒体样本进行耦合
EP2034733A2 (en) Content reproduction
TW200931980A (en) Apparatus and method for arranging and playing a multimedia stream
EP1353508B1 (en) RECORDING APPARATUS AND RECORDING METHOD for a modified QuickTime file format
US7317867B2 (en) Input buffer management for the playback control for MP3 players
JP4322944B2 (ja) 映像再生装置、映像再生方法及び映像再生処理用プログラム
TW200919209A (en) Methods for reserving index memory space in AVI recording
EP1868391A1 (en) Method of and apparatus for reproducing compressed video streams
WO2020107268A1 (zh) Gdr码流编码方法、终端设备、机器可读存储介质
US8259789B2 (en) Methods and systems for picture rate reduction of stored video while under continuous record load
JP4040343B2 (ja) 動画像処理装置
JP4242581B2 (ja) データ変換装置
JP2008072182A (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
US20120123787A1 (en) Audioaudio format converting apparatus and audioaudio format converting method
TWI517682B (zh) 多媒體資料流格式、元數據產生器、編碼及解碼方法與系統
JP3785107B2 (ja) 動画像および音声データの記録再生装置および再生方法
US20230239534A1 (en) Systems and methods for just in time transcoding of video on demand
KR101667050B1 (ko) 인코딩된 멀티미디어 콘텐츠의 역방향 재생을 위한 방법 및 장치와 기계로 읽을 수 있는 저장 장치