TW201347522A - 旨在描繪於第一終端機上的第一多媒體串流和旨在描繪於第二終端機上的第二多媒體串流之同步化方法和系統及裝置 - Google Patents

旨在描繪於第一終端機上的第一多媒體串流和旨在描繪於第二終端機上的第二多媒體串流之同步化方法和系統及裝置 Download PDF

Info

Publication number
TW201347522A
TW201347522A TW102109135A TW102109135A TW201347522A TW 201347522 A TW201347522 A TW 201347522A TW 102109135 A TW102109135 A TW 102109135A TW 102109135 A TW102109135 A TW 102109135A TW 201347522 A TW201347522 A TW 201347522A
Authority
TW
Taiwan
Prior art keywords
sequence
terminal
synchronization
original
multimedia stream
Prior art date
Application number
TW102109135A
Other languages
English (en)
Other versions
TWI563841B (en
Inventor
Quang-Khanh-Ngoc Duong
Yvon Legallais
Christopher Howson
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201347522A publication Critical patent/TW201347522A/zh
Application granted granted Critical
Publication of TWI563841B publication Critical patent/TWI563841B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Abstract

本案提供描繪於第一終端機上的第一多媒體串流和描繪於第二終端機(6)上的第二多媒體串流之同步化方法，包括產生步驟，從第一串流的原聲訊序列，產生原聲訊指紋，又包括步驟為：a)從第一串流的第一序列(52)，產生(56)第一聲訊指紋；b)在第一指紋和原指紋間進行比較(58)，以獲得一或以上之第一同步化位置(P1)；c)使第一序列(52)與位於第一同步化位置(P1)周圍的原序列之一件或多件呈相關性(60)，以獲得第二同步化位置(P2)；d)使用第二同步化位置(P2)，在第二終端機上描繪第二串流。

Description

旨在描繪於第一終端機上的第一多媒體串流和旨在描繪於第二終端機上的第二多媒體串流之同步化方法和系統及裝置
本發明一般係關於處理源自不同多媒體來源和/或使用不同的傳送協定所發送之多媒體串流，並回復到至少一描繪裝置。
更具體而言，本發明處理此等多媒體串流之同步化。發現特別可應用在第二顯示幕電視情況，其中相關內容同時描繪在例如個人終端機和電視機上。
因此，本發明係關於多媒體資料串流之同步化方法、裝置和系統。又涉及實施本發明方法之電腦程式。
本節所述為可以從事之策略，但不一定是以前設想或從事過的策略。所以，除非另有指明，本節所述策略並非本案申請專利範圍之前案技術，也不認為是本節涵蓋之先前技術。
廣播和寬帶IP網路的相輔性質，已打開併合輸送模式之門，其中各網路之強度經平衡，以提供個性化電視服務。此等輸送模式業已由許多演員，在電視橫幅中開拓。消費設備之廠商正提供「連接式電視」，於競逐電視加設寬帶存取，以增進節目介紹和網際網路視訊。
諸如HbbTV(併合廣播寬帶電視)和YouView之開創性，已把廣播電台、內容提供者，和網際網路服務提供者湊在一起，對併合廣播寬帶服務之規定，尋求界定標準化措施。雖然第1 HbbTV服務早在2009年12月即已開播，但目前併合電視服務部署尚未開拓網際網路的完全潛力，以輸送媒體內容，仍留有重大潛力供進一步創新。
使用廣播輸送大量分佈通俗節目，和寬帶輸送長片和應需內容，可適用組合輸送模式，為眾多訂戶提供個性化加值電視服務。
夥伴終端機，諸如圖板或智慧型電話，正充分建立成「電視同類」(TV buddies)，供消費連結到電視廣播之個性化內容。
C.Howson等人在〈第二顯示幕電視同步化〉(2011 IEEE國際消費者電子產品研討會)一文中，構想第二顯示幕使用情況，透過寬帶載送連結於廣播節目之交替聲訊或視訊內容，因而致能個性化，並且減輕對廣播網路帶寬之負擔。
此等服務之一實施例，提供使用者有可能性，可選擇其在手持裝置上之偏愛聲訊音軌，附隨顯示在電視機上之廣播視訊。主要聲訊和視訊組份輸送跨越廣播網路，同時透過網際網路可得應需之數種其他語言。
如此之另一服務，致使用者能選擇寬帶，交替輸送運動或音樂節目之視圖，描繪在其圖反上，與顯示在電視機上的廣播內容聯合。
若使用者對如此第二顯示幕服務的經驗可接受，則分開透過寬帶和廣播網路輸送的媒體組份，需以準確同步化描繪。
雖然現有併合電視服務採用觸發機制，供互應式應用，並不增加技術，例如交替透過網際網路輸送音軌，以便與廣播視訊組份自動且準確同步化。
上引論文擬議一種系統，採用第二顯示幕個性化電視服務，致能描繪內容組份，單獨輸送跨越寬帶和廣播網路，可在使用者裝置內同步化。此文揭示之解決方案，是基於增加輔助組份時間表，與透過廣播網路，有些情況還與透過寬帶網路輸送的各組媒體組份關聯。此時間表組份輸送與各節目相關的同步化資訊，用來對準媒體組份的展現。
總之，上文揭示之解決方案，並非直接解決方案，因其需要訊徵(即時間表組份)，嵌入原媒體內容。
本發明擬議改進情況之解決方案。
因此，本發明提供一種同步化方法，把旨在描繪於第一終端機上的第一多媒體串流，和旨在描繪於第二終端機上的第二多媒體串流同步化，包括初步產生步驟，從第一多媒體串流之原聲訊序列，產生原聲訊指紋，又包括步驟為：a.接收第一多媒體串流之第一序列聲訊資料；b.從第一序列產生第一聲訊指紋；c.在第一聲訊指紋和原聲訊指紋區塊之間進行比較，以獲得在原序列 內的一或以上之第一同步化位置；d.使第一序列與位於第一同步化位置周圍的原序列之一件或多件呈相關性，以獲得原序列內之唯一第二同步化位置；e.使用第二同步化位置，使第一和第二多媒體串流同步化。
本發明兼用指紋術和交互相關技術，提供多媒體串流在很短時間內準確同步化，不需修飾多媒體串流。更準確而言，容許準確識別在第一多媒體串流內之描繪位置，即從描繪開始耗費之時間，故第二終端機可在正確時刻，從內容伺服器要求與第一串流同步化之第二串流。
即使經比較指紋發現良好配合之情況下，指紋術可提供第一同步化位置，在圖幅順序上具有準確性，即粗略同步化位置，而相關性則得以改進樣本順序之準確性，即第二同步化位置比第一同步化位置更準確。
相關性宜使用與相轉換技術之概括化交互相關性。
此項技術亦稱為GCC-PHAT，載於例如M.S. Brandstein和H.F. Silverman的〈在迴音室內語音延時估計之牢靠方法〉一文，刊「IEEE國際聲學、語音和訊號處理研討會」(ICASSP)議事錄，1977年，第375-378頁。
使用此技術，在頻率域內進行概括化交互相關性時，可改進超越雜訊之同步化容量，卻計算上仍然廉價。
方法宜包括捕獲步驟，於第一期限之際，利用第二終端機捕獲第一多媒體串流之第一序列聲訊資料，而該第一序列則描繪在該第一終端機上。
第一期限宜比5秒短，最好在0.5和3秒之間。
使用此短時間記錄，首先在很短時間內進行同步化。因此，在大多數情況下，使用者不必等太久，即可獲得在第二終端機上之描繪服務。
第一和原聲訊指紋之比較，最好利用計算第一序列和原序列的成對指紋間之距離。
例如，所計算距離為Euclidean或Hamming距離。
在步驟d若不得到第二同步化位置，此方法宜又包括新步驟，接收第一多媒體串流之第二序列聲訊資料，其中使用單獨第二序列或 組合第一和第二序列，取代第一序列，重複步驟b至d。
最好是在第二期限之際，利用第二終端機捕獲第二序列。
按照第一具體例，第二終端機和第一終端機相同。
在此情況下，第一和第二多媒體串流二者均描繪在同樣終端機上，例如「圖像中之圖像」服務之脈絡所述。
按照第二具體例，第二終端機與第一終端機不同。
在此情況下，第一和第二多媒體串流描繪在二分開之顯示裝置上，聲音是由第二終端機從第一終端機捕獲，然後視為描繪時間之主裝置。
方法宜又包括一步驟，使用第二同步化位置，把第二多媒體串流描繪在第二終端機上。
本發明亦提供同步化系統，把旨在描繪於第一終端機上的第一多媒體串流，和旨在描繪於第二終端機上的第二多媒體串流同步化，包括該第一和第二終端機，又包括：第一處理器，從第一多媒體串流之原聲訊系列，產生原聲訊指紋；微音器，於第一期限之際，利用第二終端機捕獲第一多媒體串流之第一序列聲訊資料，而該第一序列即描繪於該第一終端機上；第二處理器，從第一聲訊序列產生第一聲訊指紋；比較器，對第一聲訊指紋與原聲訊指紋區塊進行比較，以獲得在原序列內之一或以上第一同步化位置；相關器，使第一序列與位於第一同步化位置周圍的原序列一件或多件相關，以便在原序列內獲得唯一第二同步化位置；同步器，使用第二同步化位置，把第一和第二多媒體串流同步化。
本發明又提供同步化裝置，把旨在描繪於第一終端機上的第一多媒體串流，和旨在描繪於第二終端機上的第二多媒體串流同步化，包括：第一處理器，從第一多媒體串流之原聲訊系列，產生原聲訊指紋；第二處理器，從第一多媒體串流之第一序列聲訊資料，產生第一聲訊指紋；比較器，對第一聲訊指紋與原聲訊指紋區塊進行比較，以獲得在原 序列內之一或以上第一同步化位置；相關器，使第一序列與位於第一同步化位置周圍的原序列一件或多件相關，以便在原序列內獲得唯一第二同步化位置；同步器，使用第二同步化位置，把第一和第二多媒體串流同步化。
同步化裝置宜包含在第二終端機內。
第二終端機可例如為智慧型電話或圖板。
另外，同步化裝置可設在使用者家裡，例如包含在機上盒或閘口內。甚至可包含在第一終端機內。
同步化裝置亦可遠離使用者家裡，例如包含在網路伺服器內。
因此，同步化裝置的組件可整合於同樣罩殼內，無論是遠離使用者家理或就在使用者家裡。
做為替代例，同步化裝置之一部份組件位在使用者家裡，而另一部份遠離使用者家裡。
以同步化裝置至少一部份位在使用者家裡之情況言，此部份能夠存取原聲訊序列，或直接存取於原聲訊指紋，例如通過網際網路連接。
本發明方法可在程式規劃裝置上的軟體內實施。可僅僅在硬體或軟體內實施，或以其組合式進行。
由於本發明可在軟體內實施，本發明可以電腦讀取碼具體化，以便在任何適當載具媒體上，提供給程式規劃裝置。載具媒體包括儲存媒體，諸如翻動磁碟機、CD-ROM、硬碟機、磁帶裝置、固態記憶裝置等。
因此，本發明提供電腦讀取式程式，包括電腦可執行指令，致能電腦進行本發明方法。第3圖表示此等電腦程式之通常演算法例。
2‧‧‧同步化系統
4‧‧‧第一終端機
6‧‧‧第二終端機
8‧‧‧使用者家
10‧‧‧原內容伺服器
11‧‧‧廣播網路
12‧‧‧機上盒
14‧‧‧天線
16‧‧‧網際網路
17‧‧‧當地內容源
18‧‧‧互補內容伺服器
20‧‧‧微音器
22‧‧‧同步化裝置
24‧‧‧記憶器
30‧‧‧第一處理器
32‧‧‧第二處理器
34‧‧‧比較器
36‧‧‧相關器
38‧‧‧同步器
40‧‧‧預備步驟
42‧‧‧原序列
52‧‧‧第一聲訊序列
54‧‧‧音響環境
61‧‧‧原聲訊序列件
P‧‧‧頂峰
P1‧‧‧第一同步化位置
P2‧‧‧第二同步化位置
44‧‧‧所產生原聲訊指紋儲存於記憶器之步驟
50‧‧‧第二終端機使用微音器把第一多媒體串流的第一聲訊系列描繪在第一終端機上之步驟
56‧‧‧第二處理器從第一序列產生第一聲訊指紋區塊之步驟
58‧‧‧比較器對第一聲訊指紋區塊與原聲訊指紋集合的各同樣規模區塊進行比較之步驟
60‧‧‧第一聲訊序列與原聲訊序列交相關聯之步驟
62‧‧‧比較器就所得峰值與第三臨限值比較之步驟
64‧‧‧從第二終端機所記錄資料之第二聲訊序列
第1圖為本發明同步化系統具體例之示意圖；第2圖為本發明同步化裝置具體例之示意圖；第3圖為本發明同步化方法具體例之流程圖；第4圖為第3圖方法之指紋術步驟詳細流程圖； 第5圖為第3圖方法之GCC-PHAT計算步驟詳圖；第6圖為本發明指紋術和GCC-PHAT合併處理實施例；第7圖為本發明方法所得準確同步化位置實施例。
本發明可以附圖為例加以說明，但不限於此，圖中同樣參照號碼指相似元件。
參見第1圖，表示本發明較佳具體例之同步化系統2簡略圖。
同步化系統2包括第一終端機4和第二終端機6，位在使用者家8裡。第一終端機4係例如電視機，構成使用者之主顯示器，而第二終端機6係例如智慧型電話或圖板，被使用者做為第二顯示幕裝置。
第一終端機4上顯示之內容，從原內容伺服器10，通過廣播網路11發送。為接收此等廣播內容，例如DVB-T或DVB-C多媒體串流，把第一終端機4連結到機上盒12，後者連結到天線14。機上盒12亦最好能夠從網際網路16，或從使用者家8裡的家庭網路，接收多媒體串流。
第一終端機4上顯示的內容，亦可由任何當地或遠程來源提供，像來自遠程或當地聲訊和/或視訊伺服器、視訊檔、DVD、藍光碟等。為此，第一終端機4亦連接到當地內容源17，例如DVD和/或藍光碟閱讀機。
第二終端機6是經網際網路16，連接至互補內容伺服器18，所含內容與原內容伺服器10內容相關。存取互補服務是例如由機上盒12提供給第二終端機6，有賴從廣播網路11所接收廣播串流內嵌之資訊。
在另一具體例中，互補內容伺服器18之互補內容，可從使用者容易識別的網址存取於第二終端機6，因其與在第一終端機4上所接收廣播內容緊密耦合。此網址亦可為廣播提供者的網址，或製作由原內容伺服器10所提供主內容之播映室網址。
以使用者家8裡的這些設備，可供使用者接收源自原內容伺服器10的第一多媒體串流，由第一終端機4描繪，和例如源自互補伺服器18的第二多媒體串流，由第二終端機6描繪。
使用者可在二終端機4,6內同時接收相關內容。例如，使用者會想接收運動和音樂節目之選項視圖，描繪在第二終端機6上，同時在 第一終端機4上顯示主內容。
本發明同步化系統2致能二項內容完美同步化，加以同時描繪在終端機4,6上。
因此，同步化系統2包括微音器20，連接至第二終端機6。此微音器20能夠記錄聲訊內容，利用第一終端機4描繪。
此外，同步化系統2包括同步化裝置22，連接到使用家8裡，以及原內容伺服器10和互補內容伺服器18二者。在所示具體例中，同步化裝置22位在遠離使用者家8裡。
另外，同步化裝置22可位在使用者家8裡，例如在機上盒12或第二終端機6內實施。
在另一選項內，同步化裝置22部份可在使用者家裡實施，另外部份在遠方實施。
同步化系統2亦包括記憶器24。
如第2圖所示，同步化裝置22包括第一處理器30和第二處理器32。二處理器30,32能夠按照任何習知適當指紋術演算法，從聲訊序列產生聲訊指紋。處理器30,32可為二分開之處理器，或一獨特處理器。
同步化裝置22亦包括比較器34，可比較聲訊指紋之二集合，藉計算二集合成對指紋間之距離，例如Euclidean或Hamming距離為之。
同步化裝置22又包括相關器36，能夠使用與相轉換之概括交互相關性，亦稱GCC-PHAT技術，使二聲訊序列交互相關。
又包括同步器38能夠使用同步化位置使二多媒體串流同步化，藉要求互補內容伺服器18，從同步化位置開始，發送媒體內容至第二終端機6。
第3和4圖之流程圖，詳示本發明較佳具體例之同步化方法步驟。
實施本方法時，從原內容伺服器10發送之第一多媒體串流，同時描繪在第一終端機4上。
在第4圖之預備步驟40，同步化裝置22之第一處理器30，從原內容伺服器10，復原第一多媒體串流之原聲訊序列42，並從原序列42 產生原聲訊指紋。如第6圖所示，所產生各原指紋Fi-1,Fi,Fi+1,Fi+2，分別相當於原序列42之聲訊圖幅i-1,i,i+1,i+2。
為此項產生，第一處理器30使用任何適當習知指紋術演算法，例如J.Haitsma等人在〈非常耐用聲訊指紋術系統〉所述演算法，發表於Proc.Int.Sym.on Music Information Retrieval(ISMIR)，2002，或A.L-C.Wang在〈工業強度之聲訊搜尋演算法〉所述演算法，發表於Proc.Int.Sym.on Music Information Retrieval(ISMIR)，2003，第1-4頁。
所產生原聲訊指紋最好儲存於記憶器24(步驟44)。
在第3圖所示步驟50，第二終端機6於第一期限，使用微音器20，記錄第一終端機4描繪的第一多媒體串流之第一聲訊序列52。第二終端機6開始此項記錄，是由使用者明顯作動同步化服務，或藉該第二終端機6內提供的應用自動為之。然後，第二終端機6經由網際網路16，把第一聲訊序列52發送至同步化裝置22。
若使用者家8裡和同步化裝置22間的網際網路連結上之帶寬足夠，第一聲訊序列52最好即以原生格式發送。然而，為使輸送時間最適，宜壓縮到某些程度，只要品質仍保留可接受以保證隨後指紋術過程之可靠性。
含有第一聲訊序列52的檔案，即例如使用HTTP POST協定，上載到同步化裝置22。
選擇第一期限比5秒短，最好在0.5和3秒之間。例如等於1秒。
因此，第一聲訊序列52相當於原聲訊序列42之一件，主要因第一終端機4周圍的音響環境54(第4圖)而敗壞。
在步驟56，第二處理器32從第一序列52，使用藉產生原聲訊指紋的第一處理器30實施之同樣指紋術演算法，產生第一聲訊指紋區塊。所產生之各第一指紋F’1,F’2,F’3(第6圖)，相當於第一序列52之聲訊圖幅。
在較佳具體例中，第二終端機6於此處理當中，繼續使用微音器20從第一終端機4記錄，引起可能來自同步化裝置22之額外資料要求。
在步驟58，比較器34就第一聲訊指紋與原聲訊指紋集合各同樣規模區塊進行比較。於此項比較當中，評估二聲訊指紋區塊間之匹配信任，並與第一預定臨限值比較。
為此，比較器34進行類似比較，係計算各對指紋與各區塊間之距離，並累積對二區塊內全部成對指紋比較結果。舉例而言，就第一指紋(F’1,F’2,F’3)區塊與原指紋(F1,F2,F3)同樣規模區塊比較，計算總共距離d(F’1,F1)+d(F’2,F2)+d(F’3,F3)，其中d(F’i,Fi)，1i3表示二指紋間之Euclidean基準或Hamming距離。
若只有最低之計算總共距離(即測量第一指紋與原指紋區塊間之最大相似性)，低於第一臨限值，即宣告指紋匹配可信任，找到獨特之粗略同步化位置P1。此情況即第7圖之下圖所示。
有些情況基本上由於記錄之第一期限很短，或原串流內有類似重複內容，會發現所計算距離有複數局部最小點，其計算距離比第一臨限值小，或比第一臨限值高，但比第二臨限值小。在此等情況時，發現複數粗略同步化位置A,B,C可信度低(見第7圖之中圖)。
為驗證是否有任何初步檢測到的粗略同步化位置A,B,C，為正確同步化位置，相關器36在步驟60，計算第一聲訊序列與在步驟58指紋術找到粗略同步化位置周圍的原聲訊序列件61(第6和7圖)之GCC-PHAT交互相關性。此等交互相關性之計算，是在頻率域內進行。
第5圖表示GCC-PHAT計算之實施例。賦予相當於原聲訊序列件時間域訊號X(t)，及其延時距離d，和相當於第一聲訊序列之畸變版Y(t)，使用分立傅立葉轉換式(DFT)，分別計算頻率表示法X(f)和Y(f)。X(f)和Y(f)之交互相關性，Rxy(f)係按照下式計算： 在此式中，交互相關性是以X(f)和Y(f)乘積幅度常態化，以便只保持相位資訊。
訊號X(t)和Y(t)間之時間落差d(最好是測量過許多樣本)，即以Rxy(t)(係Rxy(f)之反逆分立傅立葉轉換(IDFT))的頂峰P位置特定。
在步驟62，比較器34就所得頂峰P數值與第三臨限值進行比較。此第三臨限值可預定，或由Rxy(t)適應性計算(即考慮Rxy(t)之變數)。
若只有一頂峰值高於第三臨限值，第一和原聲訊序列相對應件之間的匹配可信度，可視為高，而發現獨特準確同步化位置P2。此位置之準確性即為樣本之準確性。
參見第7圖，使用GCC-PHAT交互相關性發現之準確同步化位置P2(上圖)，相當於粗略同步化位置A，而粗略同步化位置B,C(中圖)即被排除。
由於指紋是以聲訊圖幅基礎計算，粗略同步化位置即有圖幅準確性，恐不足以在二終端機4,6上描繪多媒體串流之完美同步化。
因此，本發明利用在原聲訊序列和第一聲訊序列間，實施進一步之概括交互相關性步驟，顯著改進同步化準確性。即使在指紋術步驟中已發現高度可信度的獨特粗略同步化位置P1，亦可實施使用GCC-PHAT之相關性步驟，以獲得樣本準確同步化。
比較器34提供此位置給同步器38，再將傳輸第二多媒體串流至第二終端機6同步化。
此項同步化包含對互補內容伺服器18，指示第二多媒體串流開始傳輸至第二終端機6之時間。
同步化亦包含把相對於該第二終端機6開始描繪已接收第二多媒體串流的時間之資訊，發送給第二終端機6。
若在指紋比較中之全部頂峰數值，均高於第二臨限值(即指紋術不能提供任何同步化位置)，或是交互相關性比較中之全部頂峰數值，均低於第三臨限值(即GCC-PHAT不能夠確保可信的同步化點)，或交互相關性比較中有一頂峰數值以上，高於第三臨限值，可能因為在原串流資料內重複相似內容，則第一和原聲訊序列相對應件間之匹配可信度即低。在此情況下，同步化裝置22在步驟64，向第二終端機6要求所記錄資料之第二聲訊序列。於接收第二序列後，同步化裝置22重複步驟52至62，單獨使用第二序列，或合併第一和第二序列，以取代第一序列。
雖然目前視為本發明較佳具體例已圖示和說明如上，惟技術專家均知可有各種其他修飾，並可以等效物取代，不悖本發明真實範圍。 此外，可進行許多修飾，以適應本發明教示之特別情況，不離所述本發明中心概念。再者，本發明具體例可不包含上述全部特點。所以，本發明無意限於所揭示特別具體例，惟本發明包含在所附申請專利範圍內之所有具體例。
說明書中凡有「包括」、「包含」、「加設」、「含有」、「係」、「具有」等等表意詞，在解釋說明書和關聯之申請專利範圍時，係構成非獨佔方式，亦即容許有尚未明顯界定，但可以展現的其他事項或組件。指涉單數時，亦可構成指涉複數，反之亦然。
凡技術專家均輕易明白說明書揭示之各種參數，均可修飾，而所揭示和/或所請求之各種具體例，均可組合，而不違本發明之範圍。
因此，即使上述使用分開終端機聚焦於第二顯示幕，亦可有利應用於只有一終端機之場景，例如當只有一顯示幕，部份顯示主內容，其餘部份(圖像中之圖像)顯示第二內容。在此情況下，同步化所示第一聲訊序列，不是利用解碼終端機所接收廣播內容而捕獲，便是利用終端機內之微音器直接記錄為之。
再者，同步化裝置可整合於家庭閘口或機上盒，或第二顯示幕終端機內。在此情況下，原聲訊序列及視情況之其關聯指紋，必須儲存或事先送至機上盒或閘口，或第二顯示幕終端機。
此外，雖然上述涉及本發明使用於使用者家裡應用，惟本發明宜用在公共建築物之第二顯示幕應用，例如機場、鐵路車站、醫院等。
6‧‧‧第二終端機
52‧‧‧第一聲訊序列
50‧‧‧第二終端機使用微音器把第一多媒體串流的第一聲訊系列描繪在第一終端機上之步驟
56‧‧‧第二處理器從第一序列產生第一聲訊指紋區塊之步驟
58‧‧‧比較器對第一聲訊指紋區塊與原聲訊指紋集合的各同樣規模區塊進行比較之步驟
60‧‧‧第一聲訊序列與原聲訊序列交相關聯之步驟
62‧‧‧比較器就所得峰值與第三臨限值比較之步驟
64‧‧‧從第二終端機所記錄資料之第二聲訊序列

Claims (15)

  1. 一種旨在描繪於第一終端機(4)上的第一多媒體串流和旨在描繪於第二終端機(6)上的第二多媒體串流之同步化方法，包括初步產生(40)步驟，從第一多媒體串流之原聲訊序列(42)，產生原聲訊指紋，又包括步驟為：a.接收第一多媒體串流之第一序列(52)聲訊資料；b.從第一序列(52)產生(56)第一聲訊指紋；c.在第一聲訊指紋和原聲訊指紋區塊之間進行比較(58)，以獲得在原序列內(42)的一或以上之第一同步化位置(P1；A,B,C)；d.使第一序列(52)與位於第一同步化位置(P1；A,B,C)周圍的原序列(42)之一件或多件(61)呈相關性(60)，以獲得原序列(42)內之唯一第二同步化位置(P2)；e.使用第二同步化位置(P2)，使第一和第二多媒體串流同步化。
  2. 如申請專利範圍第1項之方法，其中相關性(60)使用與相轉換技術之概括交互相關性者。
  3. 如申請專利範圍第2項之方法，其中概括交互相關性係在頻率域內進行者。
  4. 如申請專利範圍第1至3項之任一方法，包括捕獲步驟(50)，於第一期限當中，利用第二終端機(6)捕獲第一多媒體串流聲訊資料之第一序列(52)，而該第一序列(52)則同時描繪在該第一終端機(4)上者。
  5. 如申請專利範圍第4項之方法，其中第一期限短於5秒，最好在0.5和3秒之間者。
  6. 如申請專利範圍第1至5項之任一方法，其中利用計算第一序列(52)和原序列(42)成對指紋間之距離，以比較第一和原聲訊指紋者。
  7. 如申請專利範圍第1至6項之任一方法，其中在步驟d若得不到第二同步化位置，此方法又包括新步驟，接收第一多媒體串流之第二序列聲訊資料，且其中單獨使用第二序列，或兼用第一和第二序列代替第一序列(52)，重複步驟b至d者。
  8. 如申請專利範圍第1至7項之任一方法，其中第二終端機與第一終端機相同者。
  9. 如申請專利範圍第1至8項之任一方法，其中第二終端機(6)與第一 終端機(4)不同者。
  10. 如申請專利範圍第1至9項之任一方法，又包括步驟為，使用第二同步化位置(P2)，把第二多媒體串流描繪於第二終端機(6)上者。
  11. 一種同步化系統(2)，把旨在描繪於第一終端機(4)上的第一多媒體串流和旨在描繪於第二終端機(6)上的第二多媒體串流同步化，包括該第一(4)和第二(6)終端機，又包括：第一處理器(30)，從第一多媒體串流之原聲訊系列(42)，產生原聲訊指紋；微音器(20)，於第一期限之際，利用第二終端機(6)捕獲第一多媒體串流之第一序列(52)聲訊資料，而該第一序列(52)即描繪於該第一終端機(4)上；第二處理器(32)，從第一聲訊序列(52)產生第一聲訊指紋；比較器(34)，對第一聲訊指紋與原聲訊指紋區塊進行比較，以獲得在原序列(42)內之一或以上第一同步化位置(P1；A,B,C)；相關器(36)，使第一序列(52)與位於第一同步化位置(P1；A,B,C)周圍的原序列(42)一件或多件(61)相關，以便在原序列內獲得唯一第二同步化位置(P2)；同步器(38)，使用第二同步化位置(P2)，把第一和第二多媒體串流同步化者。
  12. 一種同步化裝置(22)，把旨在描繪於第一終端機(4)上的第一多媒體串流和旨在描繪於第二終端機(6)上的第二多媒體串流同步化，包括：第一處理器(30)，從第一多媒體串流之原聲訊系列(42)，產生原聲訊指紋；第二處理器(32)，從第一多媒體串流之第一序列(52)聲訊資料，產生第一聲訊指紋；比較器(34)，對第一聲訊指紋與原聲訊指紋區塊進行比較，以獲得在原序列(42)內之一或以上第一同步化位置(P1；A,B,C)；相關器(36)，使第一序列(52)與位於第一同步化位置(P1；A,B,C)周圍的原序列(42)一件或多件(61)相關，以便在原序列(42)內獲得唯一第二同步化位置(P2)； 同步器(38)，使用第二同步化位置(P2)，把第一和第二多媒體串流同步化者。
  13. 如申請專利範圍第12項之同步化裝置(22)，其中該同步化裝置(22)，包含在第二終端機(6)內者。
  14. 如申請專利範圍第12或13項之同步化裝置(22)，其中該同步化裝置(22)，包含在機上盒(12)或閘口內者。
  15. 一種電腦可讀取程式，包括電腦可執行指令，致使電腦能進行申請專利範圍第1至10項之任一方法者。
TW102109135A 2012-04-05 2013-03-15 Synchronization of multimedia streams TWI563841B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP12305405.8A EP2648418A1 (en) 2012-04-05 2012-04-05 Synchronization of multimedia streams

Publications (2)

Publication Number Publication Date
TW201347522A true TW201347522A (zh) 2013-11-16
TWI563841B TWI563841B (en) 2016-12-21

Family

ID=48040252

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102109135A TWI563841B (en) 2012-04-05 2013-03-15 Synchronization of multimedia streams

Country Status (7)

Country Link
US (1) US9877066B2 (zh)
EP (2) EP2648418A1 (zh)
JP (1) JP6167167B2 (zh)
KR (1) KR102043088B1 (zh)
CN (1) CN104205859B (zh)
TW (1) TWI563841B (zh)
WO (1) WO2013149989A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI602146B (zh) * 2013-12-26 2017-10-11 Square Enix Co Ltd Drawing system, control method, program, and recording medium

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2823642B1 (en) 2012-03-09 2024-04-24 InterDigital Madison Patent Holdings, SAS Distributed control of synchronized content
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
US9756288B2 (en) 2013-04-10 2017-09-05 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
KR20160022307A (ko) * 2013-06-20 2016-02-29 톰슨 라이센싱 콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
EP2876890A1 (en) 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9860289B2 (en) 2014-05-23 2018-01-02 Radeeus, Inc. Multimedia digital content retrieval, matching, and syncing systems and methods of using the same
DE102015001622A1 (de) 2015-02-09 2016-08-11 Unify Gmbh & Co. Kg Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System
CN106034262B (zh) 2015-03-13 2021-01-22 中兴通讯股份有限公司 自适应流媒体处理方法及装置
CN106601243B (zh) * 2015-10-20 2020-11-06 阿里巴巴集团控股有限公司 一种视频文件识别方法及装置
US10832689B2 (en) * 2016-03-09 2020-11-10 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for increasing stability of an inter-channel time difference parameter
JP6785486B2 (ja) * 2017-02-21 2020-11-18 日本放送協会 音声データの比較処理プログラム
US10958966B2 (en) * 2017-03-31 2021-03-23 Gracenote, Inc. Synchronizing streaming media content across devices
US20190303400A1 (en) * 2017-09-29 2019-10-03 Axwave, Inc. Using selected groups of users for audio fingerprinting
US20190304483A1 (en) * 2017-09-29 2019-10-03 Axwave, Inc. Using selected groups of users for audio enhancement
CN108769559B (zh) * 2018-05-25 2020-12-01 数据堂（北京）科技股份有限公司 多媒体文件的同步方法及装置
WO2021072558A1 (en) * 2019-10-17 2021-04-22 D-Box Technologies Inc. Method and system for synchronizing a viewer-effect signal of a media content with a media signal of the media content
US11482004B2 (en) * 2020-07-29 2022-10-25 Disney Enterprises, Inc. Fast video content matching

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1002220A (en) 1910-12-09 1911-09-05 Baylus Cade Line-casting and type-composing machine.
US7461002B2 (en) * 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
MXPA03010750A (es) * 2001-05-25 2004-07-01 Dolby Lab Licensing Corp Metodo para la alineacion temporal de senales de audio usando caracterizaciones basadas en eventos auditivos.
KR100820385B1 (ko) * 2002-04-25 2008-04-10 랜드마크 디지털 서비시즈 엘엘씨 확실하고 불변적인 오디오 패턴 매칭방법
CN1742492B (zh) * 2003-02-14 2011-07-20 汤姆森特许公司 媒体内容的基于音频和视频的媒体服务的自动同步
MXPA06013193A (es) * 2004-05-13 2007-02-14 Qualcomm Inc Compresion de encabezado de datos de multimedia transmitidos sobre un sistema de comunicacion inalambrica.
DE102004046746B4 (de) * 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
US8090579B2 (en) * 2005-02-08 2012-01-03 Landmark Digital Services Automatic identification of repeated material in audio signals
KR100733145B1 (ko) * 2005-09-15 2007-06-27 한국과학기술원 정규화된 스펙트럼 부밴드 중심점에 기반한 핑거프린트생성 방법 및 오디오 핑거프린팅 시스템
US8707382B2 (en) * 2008-02-13 2014-04-22 At&T Intellectual Property I, L.P. Synchronizing presentations of multimedia programs
DE102008009025A1 (de) 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines Fingerabdrucks eines Audiosignals, Vorrichtung und Verfahren zum Synchronisieren und Vorrichtung und Verfahren zum Charakterisieren eines Testaudiosignals
US8780982B2 (en) * 2009-07-02 2014-07-15 Qualcomm Incorporated Transmitter quieting and different encoding rates for portions of a set of frames
US9094645B2 (en) * 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
EP2323046A1 (en) * 2009-10-16 2011-05-18 Telefónica, S.A. Method for detecting audio and video copy in multimedia streams
US20110276882A1 (en) * 2010-05-04 2011-11-10 Kai Buehler Automatic grouping for users experiencing a specific broadcast media
US20110307786A1 (en) * 2010-06-11 2011-12-15 Brian Shuster Method and apparatus for bookmarking and retrieval of video content
JP5421316B2 (ja) * 2011-03-22 2014-02-19 パナソニック株式会社 ポータブル端末、ペアリングシステム、ペアリング方法
US20110289532A1 (en) * 2011-08-08 2011-11-24 Lei Yu System and method for interactive second screen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI602146B (zh) * 2013-12-26 2017-10-11 Square Enix Co Ltd Drawing system, control method, program, and recording medium

Also Published As

Publication number Publication date
KR20140147096A (ko) 2014-12-29
EP2648418A1 (en) 2013-10-09
JP2015515818A (ja) 2015-05-28
EP2834986A1 (en) 2015-02-11
KR102043088B1 (ko) 2019-11-11
CN104205859A (zh) 2014-12-10
CN104205859B (zh) 2018-10-30
WO2013149989A1 (en) 2013-10-10
TWI563841B (en) 2016-12-21
JP6167167B2 (ja) 2017-07-19
US20150095931A1 (en) 2015-04-02
US9877066B2 (en) 2018-01-23

Similar Documents

Publication Publication Date Title
TW201347522A (zh) 旨在描繪於第一終端機上的第一多媒體串流和旨在描繪於第二終端機上的第二多媒體串流之同步化方法和系統及裝置
US9832523B2 (en) Commercial detection based on audio fingerprinting
US20170034263A1 (en) Synchronized Playback of Streamed Audio Content by Multiple Internet-Capable Portable Devices
US8869222B2 (en) Second screen content
CN103460128B (zh) 借助智能电话和音频水印的多种语言同步电影配音
US10469907B2 (en) Signal processing method for determining audience rating of media, and additional information inserting apparatus, media reproducing apparatus and audience rating determining apparatus for performing the same method
US10981056B2 (en) Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered
WO2014199357A1 (en) Hybrid video recognition system based on audio and subtitle data
KR101358807B1 (ko) 디지털 워터마크를 이용한 멀티 디바이스간 프로그램 동기화 방법 및 이를 구현하기 위한 시스템
CN106162321A (zh) 一种声纹特征和音频水印相结合的音频信号识别方法
CN105610591B (zh) 多设备之间共享信息的系统和方法
KR20160022307A (ko) 콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법
Duong et al. Fast second screen TV synchronization combining audio fingerprint technique and generalized cross correlation
WO2019073420A1 (en) SYSTEMS AND METHODS FOR PERFORMING READING OF MULTIPLE MULTIMEDIA RECORDINGS BASED ON A SEGMENT CORRECTED THROUGH RECORDINGS
CN107785037A (zh) 使用音频时间码同步媒体内容的方法、系统和介质
CN110741435A (zh) 基于相互关系和起音分析的混合音频信号同步
WO2014043969A1 (zh) 一种信息传送的方法及装置
JP6433273B2 (ja) 端末装置、サーバ装置、及びプログラム
US9223458B1 (en) Techniques for transitioning between playback of media files
EP3129983B1 (en) Method and apparatus for determining in a 2nd screen device whether the presentation of watermarked audio content received via an acoustic path from a 1st screen device has been stopped
KR101961704B1 (ko) 서비스수신장치 및 그 동작 방법
US11277663B2 (en) Systems and methods for providing survey data
CN109040776B (zh) 用于播放内容的识别方法及装置
Nematollahi et al. Interacting video information via speech watermarking for mobile second screen in Android smartphone
KR101403969B1 (ko) 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법