TWI571755B - 分散式多媒體辨識系統、方法與其伺服平台 - Google Patents

分散式多媒體辨識系統、方法與其伺服平台 Download PDF

Info

Publication number
TWI571755B
TWI571755B TW104105014A TW104105014A TWI571755B TW I571755 B TWI571755 B TW I571755B TW 104105014 A TW104105014 A TW 104105014A TW 104105014 A TW104105014 A TW 104105014A TW I571755 B TWI571755 B TW I571755B
Authority
TW
Taiwan
Prior art keywords
identification
multimedia
feature data
user equipment
user
Prior art date
Application number
TW104105014A
Other languages
English (en)
Other versions
TW201629803A (zh
Inventor
黃耀民
劉文山
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW104105014A priority Critical patent/TWI571755B/zh
Priority to CN201510097860.6A priority patent/CN105989172A/zh
Priority to US14/707,426 priority patent/US20160248527A1/en
Publication of TW201629803A publication Critical patent/TW201629803A/zh
Application granted granted Critical
Publication of TWI571755B publication Critical patent/TWI571755B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/66—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on distributors' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/372—Programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/41—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
    • H04H60/42—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/41—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
    • H04H60/44—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/48—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising items expressed in broadcast information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)

Description

分散式多媒體辨識系統、方法與其伺服平台
本發明係關於一種多媒體辨識系統(multimedia recongization system)，且特別是關於一種於用戶設備(user equipment)中進行多媒體辨識的分散式(distributed)多媒體辨識系統、方法與其伺服平台(server platform)。
互動式(interactive)多媒體系統可以讓用戶在觀看或聆聽節目業者所提供多媒體(例如，影音、圖像或聲音)時，透過用戶設備(例如，智慧型手機、平板或其他可以與節目業者設置之伺服平台連線的電子設備)參與節目業者舉辦的活動或事件，例如，電視打卡進行抽獎或即時票選選秀人員等。為了確認用戶目前正在觀看或聆聽此多媒體，一般來說，互動式多媒體系統本身亦會被設計成多媒體辨識系統。
傳統多媒體辨識系統包括用戶設備、多媒體呈現設備(例如，液晶電視或數位廣播收音機等用以呈現多媒體的電子設備)與伺服平台。用戶設備可以經由網際網路或直接地與伺服平台透過一個以上的通訊鏈路(communication link)建立連結(connection)。多媒體呈現設備用以呈現多媒體給用戶觀賞或聆聽。伺服平台具有特徵資料庫(characteristic database)，以記錄不同之多媒體的多筆參考特徵資料(reference characteristic data)。
用戶設備可被用戶使用，以擷取用戶正在觀賞或聆聽之多媒體的特徵資料(characteristic data)。接著，用戶設備將此特徵資料傳送給伺服平台，而伺服平台將特徵資料與特徵資料庫中記錄的多筆參考特徵資料進行比對，以得知用戶目前在觀看或聆聽那一個多媒體。由此可見，傳統多媒體辨識系統是透過伺服平台進行多媒體辨識，因此，伺服平台須進行大量運算，導致節目業者的營運成本(operating cost)增加。
另外一方面，由於特徵資料庫中記錄的多筆參考特徵資料的筆數龐大，故無法儲存於用戶設備中，以透過用戶設備來進行多媒體辨識。即使給予用戶設備龐大的儲存空間來記錄特徵資料庫中記錄的多筆參考特徵資料，用戶設備的運算能力也不足以讓用戶設備比對特徵資料與龐大筆數的參考特徵資料，亦即，用戶設備僅可以比對特徵資料與小量筆數的參考特徵資料。
本發明實施例提供一種分散式多媒體辨識系統，此分散式多媒體辨識系統包括彼此連結的用戶設備與伺服平台。用戶設備傳送辨識請求，以及對多媒體進行特徵擷取，以獲得特徵資料。伺服平台接收辨識請求，並依據辨識請求中的條件自其特徵資料庫中記錄的多筆參考特徵資料篩選出對應於條件的一筆或多筆參考特徵資料，以將一筆或多筆參考特徵資料傳送給用戶設備。用戶設備對特徵資料與一筆或多筆參考特徵資料進行比對，以獲得辨識結果。
另外一方面，本發明實施例還提供一種分散式媒體辨識方法與用於分散式多媒體辨識系統的伺服平台。
綜上所述，本發明實施例所提供的分散式多媒體辨識系統、方法與其伺服平台可以減少伺服平台的運算量，並且降低節目業者的營運成本。
為使能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。
1‧‧‧分散式多媒體辨識系統
10‧‧‧用戶
11‧‧‧多媒體呈現設備
12、3、51、61‧‧‧用戶設備
13‧‧‧網際網路
14、2、52、62‧‧‧伺服平台
21‧‧‧特徵資料庫
22‧‧‧篩選/排序單元
23‧‧‧統計資料庫
24‧‧‧資料蒐集單元
31‧‧‧辨識請求傳送單元
32‧‧‧多媒體擷取單元
33‧‧‧特徵擷取模組
34‧‧‧比對模組
EMD‧‧‧特徵資料
IRD1、IRD2‧‧‧辨識結果
LP1、LP2‧‧‧通訊鏈路
MD‧‧‧多媒體
RQ1、RQ2‧‧‧辨識請求
SD1、SD2‧‧‧參考特徵資料
SS‧‧‧統計資訊
S401~S409、S501~S508、S601~S608‧‧‧步驟流程
圖1是本發明實施例的分散式多媒體辨識系統的示意圖。
圖2A是本發明實施例之分散式多媒體辨識系統中之伺服平台的功能方塊圖。
圖2B是本發明實施例之分散式多媒體辨識系統中之用戶設備的功能方塊圖。
圖3是本發明實施例之分散式多媒體辨識方法執行於伺服平台的流程圖。
圖4A本發明實施例之分散式多媒體辨識方法執行於分散式多媒體辨識系統的示意圖。
圖4B本發明另一實施例之分散式多媒體辨識方法執行於分散式多媒體辨識系統的示意圖。
在下文將參看隨附圖式更充分地描述各種例示性實施例，在隨附圖式中展示一些例示性實施例。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。確切而言，提供此等例示性實施例使得本發明將為詳盡且完整，且將向熟習此項技術者充分傳達本發明概念的範疇。在諸圖式中，可為了清楚而誇示層及區之大小及相對大小。類似數字始終指示類似元件。
本發明實施例提供一種分散式多媒體辨識系統，且所述分散式多媒體辨識系統包括用戶設備與伺服平台，其中伺服平台與用戶設備彼此連結。伺服平台透過用戶設備所傳送的條件 (condition)，篩選出(filter out)對應於條件的一筆或多筆參考特徵資料。在伺服平台篩選出多筆參考特徵資料時，伺服平台還可以依據統計資訊(statistic information)對篩選出的多筆參考特徵資料進行排序，以將此排序後的多筆參考特徵資料傳送給用戶設備。因此，用戶設備僅需要比對其擷取的特徵資料與此單筆參考特徵資料或排序後的多筆參考特徵資料。甚至，當用戶設備比對到排序後的多筆參考特徵資料中的其中一筆與特徵資料的相似度大於門檻值，則可以提前結束多媒體辨識，以增加多媒體辨識的速度與減少用戶設備的運算量。
簡單地說，上述分散式多媒體辨識系統並不在伺服平台上進行多媒體辨識的比對動作，而是利用條件與統計資訊令伺服平台篩選與排序對應於條件的多筆參考特徵資料給用戶設備，並讓用戶設備進行筆數甚少的比對動作，以完成多媒體辨識。因此，伺服平台的運算負擔可以減少，且節目業者的營運成本可以因此降低。
另外，因應本發明實施例所提供的分散式多媒體辨識系統，本發明實施例提供一種分散式多媒體辨識方法與伺服平台。分散式多媒體辨識方法主要執行於伺服平台，以讓伺服平台提供篩選與排序後的多筆參考特徵資料給用戶設備，而讓用戶設備進行多媒體辨識的比對動作。以下將詳細地介紹本發明示範性實施例的多媒體辨識系統、方法、以及其伺服平台與用戶設備的細節，但下述示範性實施例的作法與實現方式非用以限制本發明。
請參照圖1，圖1是本發明實施例的分散式多媒體辨識系統的示意圖。分散式多媒體辨識系統包括多媒體呈現設備11、用戶設備12、網際網路13與伺服平台14。於此實施例中，用戶設備12與網際網路13之間具有一條通訊鏈路LP1，且伺服平台14與網際網路13之間具有一條通訊鏈路LP2，以使用戶設備12透過通訊鏈路LP1、LP2與伺服平台14連結。
多媒體呈現設備11可以是電視、數位無線廣播收音機或其他可以呈現多媒體的電子設備，以接收不同類型的多媒體，例如，影音、圖像或聲音等，且多媒體呈現設備11的類型並非用以限制本發明。節目業者可以透過有線或無線的方式傳送或廣播多媒體給所述多媒體呈現設備11，以使用戶10觀看或聆聽節目業者所製作的多媒體。
用戶設備12可以是智慧型手機、平板或其他具有通訊能力的電子設備，其安裝了特定應用程式，且用戶設備12的類型並非用限制本發明。當用戶10對多媒體呈現設備11所呈現的一段影音、一張圖像或一段聲音感到興趣時，或者，用戶10看到多媒體的附加信息(例如，多媒體呈現設備11所呈現的跑馬燈文字或用戶設備之特定應用程式提醒的資訊)得知有活動或事件可以參與，且用戶10欲參與時，則用戶10可以使用用戶設備12之特定應用程式來擷取多媒體呈現設備11目前或未來將呈現的一段影音、一張圖像或一段聲音。
用戶設備12在擷取多媒體呈現設備11目前或未來所呈現的一段影音、一張圖像或一段聲音後，用戶設備12會對其擷取的此段影音、此張圖像或此段聲音，進行特徵分析，並據此擷取出相應的特徵資料。所述特徵資料相應於多媒體的類型，而可以是聲紋(audio fingerprint)、物件特徵(object characteristic)、圖像鏈碼(image chain code)或特徵頻率(characteristic frequency)等等，總而言之，特徵資料的類型並非用以限制本發明。
用戶設備12並不會將特徵資料傳送給伺服平台14，相反地，用戶設備12的特定應用程式會傳送包括條件與用戶識別碼(identification)的辨識請求給伺服平台14，以向伺服平台14請求對應於條件的一筆或多筆參考特徵資料，其中用戶設備12傳送辨識請求的時間可以是在擷取多媒體之前或之後進行，其時間點並非用以限制本發明。
伺服平台14接收到辨識請求後，會依據條件，自其特徵資料庫中所記錄的多筆參考特徵資料中篩選出對應於條件的一筆或多筆參考特徵資料。若有篩選出多筆的參考特徵資料，則伺服平台14更可以依據統計資訊對篩選出之多筆參考特徵資料進行排序，以將排序後的多筆參考特徵資料送至對應用戶識別碼的用戶設備12。
接著，用戶設備12會對特徵資料與接收到的一筆或多筆參考特徵資料進行比對，以找出相似度超過一門檻值或最大相似度的參考特徵資料，而此相似度超過門檻值或最大相似度的參考特徵資料所對應之多媒體即可能就是用戶10目前所在觀看或聆聽的多媒體。較佳地，用戶設備12在找到相似度超過門檻值的參考特徵資料時，即可以停止比對。用戶設備12會依據辨識結果執行相關的應用(例如，進行節目打卡抽獎或票選選秀人員等)，且辨識結果可被傳送給伺服平台14，以讓伺服平台14依據辨識結果更新統計資訊。
在此請注意，上述條件可以是用戶10的所在區域、播出時間、播出頻道、品牌、節目類別、演員或活動代碼等，且條件的類型並非用以限制本發明。於此實施例中，上述條件係被特定應用程式的開發商所預先定義，這些條件可以定時地或自動地被更新，以配合節目業者最新發表的活動或事件。因此，當用戶10打開用戶設備12安裝的特定應用程式時，用戶10僅需要進行簡單操作，例如，透過手勢或點選虛擬按鍵來指示用戶設備12何時開始擷取多媒體，並且自動地將辨識請求傳送給伺服平台14。
統計資訊是作為排序對應於條件之多筆參考特徵資料的依據。統計資訊的一部份可以相關於用戶識別碼，伺服平台14的統計資料庫可以透過蒐集相應於此用戶識別碼的多筆辨識結果來分析相應用戶10或所屬族群的行為與偏好。統計資訊的另一部份則可以無關於用戶識別碼，而包括整體收視率與評比度等。在其他 實施例中，上述統計資訊可以無關於用戶識別碼，且相應地，辨識請求可以不包括用戶識別碼。
在此請注意，於此實施例中，多媒體呈現設備11本身可以被移除，而透過用戶設備12來呈現多媒體給用戶觀看或聆聽。又或者，用戶設備12本身可以整合到多媒體呈現設備11中，而使多媒體呈現設備11為一個智能多媒體呈現設備。另外，網際網路13亦可以被移除，用戶設備12可以僅透過一條通訊鏈路直接地與伺服平台14連結。
接著，進一步地介紹分散式多媒體辨識系統中之伺服平台的實現細節，但其實現細節並非用以限制本發明。請參照圖2A，圖2A是本發明實施例之分散式多媒體辨識系統中之伺服平台的功能方塊圖。圖2A的伺服平台2透過一個以上的電路(甚至可配合韌體或軟體)來實現，其包括特徵資料庫21、篩選/排序單元22、統計資料庫23與資料蒐集單元24，其中特徵資料庫21電連接篩選/排序單元22，篩選/排序單元22電連接統計資料庫23，且統計資料庫23電連接資料蒐集單元24。
於此實施例中，特徵資料庫21記錄有多個多媒體之多筆參考特徵資料。篩選/排序單元22會接收來自用戶設備的辨識請求RQ1，其中辨識請求RQ1包括條件與用戶識別碼。篩選/排序單元22依據辨識請求RQ1產生包括條件的辨識請求RQ2給特徵資料庫21，以向特徵資料庫21請求對應於條件之一筆或多筆參考特徵資料SD1。辨識請求RQ1的格式可能未必是特徵資料庫21可讀的格式，因此，篩選/排序單元22更可將辨識請求RQ1轉換為特徵資料庫21可讀之辨識請求RQ2。在其他實施例中，辨識請求RQ1也有可能直接相同於辨識請求RQ2。
統計資料庫23記錄有統計資訊，統計資訊的至少一部份可以有關於用戶識別碼，或者，統計資訊可以完全無關於用戶識別碼。於此實施例中，以統計資訊的至少一部份可以有關於用戶識別碼 為例進行說明。統計資料庫23將統計資訊SS傳送給篩選/排序單元22，以使篩選/排序單元22對篩選出的多筆參考特徵資料SD1進行排序，並且將排序後的多筆參考特徵資料SD2傳送用戶設備。在其他實施例中，若僅篩選出一筆參考特徵資料SD1，則參考特徵資料SD1等同於參考特徵資料SD2，且篩選/排序單元22無須依據統計資訊SS對參考特徵資料SD1進行排序。
用戶設備會比對特徵資料與參考特徵資料SD2，並產生辨識結果IRD1。辨識結果IRD1可以由資料蒐集單元24接收，且資料蒐集單元24依據辨識結果IRD1產生辨識結果IRD2給統計資料庫23，以使統計資料庫23依據辨識結果IRD2更新統計資訊SS。辨識結果IRD1可能包括匹配多媒體資訊與用戶識別碼。辨識結果IRD1的格式可能未必是統計資料庫23可讀的格式，因此，資料蒐集單元24更可將辨識結果IRD1轉換為統計資料庫23可讀之辨識結果IRD2。在其他實施例中，辨識結果IRD1也有可能直接相同於辨識結果IRD2。
接著，進一步地介紹分散式多媒體辨識系統中之用戶設備的實現細節，但其實現細節並非用以限制本發明。請參照圖2B，圖2B是本發明實施例之分散式多媒體辨識系統中之用戶設備的功能方塊圖。圖2B的用戶設備3透過一個以上的電路(甚至可配合韌體或軟體)來實現，其包括辨識請求傳送單元31、多媒體擷取單元32、特徵擷取模組33與比對模組34，其中多媒體擷取單元32電連接特徵擷取模組33，且特徵擷取模組33電連接比對模組34。
辨識請求傳送單元31可以在多媒體擷取單元32擷取一段多媒體MD之前或之後，傳送辨識請求RQ1給伺服平台。特徵擷取模組33用以擷取多媒體MD的特徵資料EMD，並將特徵資料EMD送給比對模組34。比對模組34接收來自於伺服平台的參考特徵資料SD2，並且比對特徵資料EMD與參考特徵資料SD2，以產生辨識結果IRD1。
接著，進一步地介紹本發明實施例之分散式多媒體辨識方法。請參照圖3，圖3是本發明實施例之分散式多媒體辨識方法執行於伺服平台的流程圖。分散式多媒體辨識方法可以圖3中的各步驟，但本發明並不以此為限。首先，在步驟S401中，伺服平台獲取來自於用戶設備的辨識請求。接著，在步驟S402中，依據辨識請求中的條件對其特徵資料庫所記錄的多筆參考特徵資料進行篩選，以產生篩選結果。
然後，在步驟S403中，伺服平台判斷篩選結果的筆數(亦即，篩選出的參考特徵資料的筆數)是否大於0。若篩選結果的筆數未大於0，則表示無法找到對應於條件的參考特徵資料，故在步驟S409中，伺服平台會回傳無對應於條件之參考特徵資料的信息給用戶設備。若篩選結果的筆數大於0，則在步驟S404中，伺服平台會進一步地判斷篩選結果的筆數是否大於1。
若篩選結果的筆數為1筆，則表示僅有一筆對應於條件的參考特徵資料，且在步驟S408中，伺服平台將此筆參考特徵資料傳送給用戶設備。若篩選結果的筆數大於1筆，則在步驟S405中，伺服平台依據統計資訊對篩選結果中的多筆參考特徵資料進行排序，並在步驟S406中，回傳排序後的多筆參考特徵資料給用戶設備。之後，在步驟S407中，伺服平台等待用戶設備回傳的辨識結果，並在收到用戶設備回傳的辨識結果後，根據辨識結果更新統計資訊。
本發明實施例之分散式多媒體辨識方法除了包括執行於伺服平台的步驟之外，更可以包括執行於用戶設備的步驟。請參照圖4A，圖4A本發明實施例之分散式多媒體辨識方法執行於分散式多媒體辨識系統的示意圖。首先，在步驟S501中，用戶設備51對多媒體進行特徵擷取，並在步驟S502中，傳送請求參考特徵資料的辨識請求給伺服平台52。接著，在步驟S503中，伺服平台52依據條件篩選出多筆參考特徵資料，並且依據統計資訊排序篩 選出的多筆參考特徵資料後，於步驟S504中，將排序後的多筆參考特徵資料回傳給用戶設備51。
在步驟S505中，用戶設備51依序對擷取出的特徵資料與排序後的多筆參考特徵資料進行比對，且當比對到其中一個參考特徵資料與擷取出的特徵資料的相似度大於一門檻值時，即可以停止比對，以節省用戶設備的運算量與增加比對速度。之後，在步驟S506中，用戶設備51回傳辨識結果給伺服平台52。在步驟S507中，用戶設備51依據辨識結果執行相關應用，以及在步驟S508，伺服平台52依據辨識結果更新統計資訊。另外，步驟S506與步驟507的執行順序並不限制本發明，且上述圖4A中的步驟S501的執行時間並非用以限制本發明。
接著，請參照圖4B，圖4B本發明另一實施例之分散式多媒體辨識方法執行於分散式多媒體辨識系統的示意圖。於此實施例中，步驟S601~S603與圖4A的步驟S502~S504相同，步驟S604與圖4A的步驟S501相同，而步驟S605~S608與圖4A的步驟S505~S508相同。圖4B實施例與圖4A實施例的差異在於，步驟S604執行在步驟S603之後。也就是說，在圖4A實施例中，用戶設備51是在向伺服平台52請求參考特徵資料之前，對多媒體進行特徵擷取，其屬於即時的多媒體辨識應用，而在圖4B實施例中，用戶設備61是在向伺服平台62請求參考特徵資料之後，對多媒體進行特徵擷取，其屬於對未來播放之多媒體進行預錄與多媒體辨識的應用。
在此請注意，本發明並不限制將上述分散式多媒體辨識系統應用在互動式多媒體領域中，且上述分散式多媒體辨識系統甚至可以用於醫學影像辨識的領域中。每一個科別的醫護人員之用戶設備的特定應用程式所攜帶的條件不同，且每一個科別較常用的醫學影像亦有不同。
舉例來說，泌尿科的醫護人員在醫師進行手術前，需要先對 手術部位進行拍照，以確認手術部位是否有誤，而泌尿科外科手術較常見的可能依序是割包皮、高位精索靜脈屈張手術與疝氣手術，其對應手術部位的醫學影像亦不同。在手術前，醫護人員可以使用用戶設備進行拍照，並向伺服平台請求一筆或多筆經排序的參考特徵資料，以比對出手術部位為何，而作進一步的確認。上述條件可以用來描述手術部位，且能先被記錄在患者識別手環的條碼中。在醫護人員拍照前，醫護人員可以使用用戶設備去讀取條碼，將條件帶入用戶設備安裝的特定應用程式中，以進一步地增加比對的正確機率，減低醫師進行錯誤手術的機率。
綜上所述，本發明實施例所提供的分散式多媒體辨識系統、方法與其伺服平台可以使得用戶設備得以進行比對，進而實現多媒體辨識。因此，伺服平台的大量運算可以減少，且節目業者的營運成本可以降低。
以上所述，僅為本發明最佳之具體實施例，惟本發明之特徵並不侷限於此，任何熟悉該項技藝者在本發明之領域內，可輕易思及之變化或修飾，皆可涵蓋在以下本案之專利範圍。
1‧‧‧分散式多媒體辨識系統
10‧‧‧用戶
11‧‧‧多媒體呈現設備
12‧‧‧用戶設備
13‧‧‧網際網路
14‧‧‧伺服平台
LP1、LP2‧‧‧通訊鏈路

Claims (19)

  1. 一種分散式多媒體辨識系統，包括：一用戶設備，用以傳送一辨識請求，以及對一多媒體進行特徵擷取，以獲得一特徵資料；以及一伺服平台，連結所述用戶設備，具有一特徵資料庫，用以接收所述辨識請求，並依據所述辨識請求中的一條件自所述特徵資料庫中的多筆參考特徵資料篩選出對應於所述條件的一筆或多筆參考特徵資料，並將所述一筆或多筆參考特徵資料傳送給所述用戶設備；其中所述用戶設備對所述特徵資料與所述一筆或多筆參考特徵資料進行比對，以獲得一辨識結果。
  2. 如請求項第1項所述的分散式多媒體辨識系統，其中所述伺服平台更具有一統計資料庫，所述伺服平台根據所述統計資料庫的一統計資訊對篩選出的所述多筆參考特徵資料進行排序，以將經排序的所述多筆參考特徵資料傳送給所述用戶設備。
  3. 如請求項第2項所述的分散式多媒體辨識系統，其中所述辨識請求更包括相應於所述用戶設備的一用戶識別碼，其中所述統計資訊的至少一部份相關於所述用戶識別碼。
  4. 如請求項第1項所述的分散式多媒體辨識系統，其中所述用戶設備在傳送所述辨識請求之前，對所述多媒體進行特徵擷取；或者，所述用戶設備在傳送所述辨識請求之後，對所述多媒體進行特徵擷取。
  5. 如請求項第2項所述的分散式多媒體辨識系統，其中所述用戶設備依據所述辨識結果執行一相關應用，並將所述辨識結果回傳給所述伺服平台，且所述伺服平台依據所述辨識結果更新所述統計資訊。
  6. 如請求項第1項所述的分散式多媒體辨識系統，其中所述條件包括一區域、一播出時間、一播出頻道、一品牌、一節目類別、 一演員與一活動代碼的至少其中之一。
  7. 如請求項第3項所述的分散式多媒體辨識系統，其中所述統計資訊包括對應所述用戶識別碼之用戶或所屬族群的一行為與一偏好、一整體收視率與一評比度的至少其中之一。
  8. 如請求項第1項所述的分散式多媒體辨識系統，其中所述多媒體為一影音、一圖像或一聲音。
  9. 一種分散式多媒體辨識方法，包括：在與一用戶設備連結的一伺服平台中：接收來自於所述用戶設備的一辨識請求；依據所述辨識請求中的一條件自所述伺服平台的一特徵資料庫中的多筆參考特徵資料篩選出對應於所述條件的一筆或多筆參考特徵資料；以及根據所述伺服平台的一統計資料庫的一統計資訊對篩選出的所述多筆參考特徵資料進行排序，以將所述一筆或經排序的多筆參考特徵資料傳送給所述用戶設備。
  10. 如請求項第9項所述的分散式多媒體辨識方法，更包括：在所述用戶設備中：傳送所述辨識請求；對一多媒體進行特徵擷取，以獲得一特徵資料；對所述特徵資料與所述一筆或經排序的多筆參考特徵資料進行比對，以獲得一辨識結果；依據所述辨識結果執行一相關應用；以及將所述辨識結果回傳給所述伺服平台。
  11. 如請求項第9項所述的分散式多媒體辨識方法，其中所述辨識請求更包括相應於所述用戶設備的一用戶識別碼，其中所述統計資訊的至少一部份相關於所述用戶識別碼。
  12. 如請求項第10項所述的分散式多媒體辨識方法，其中所述用戶設備在傳送所述辨識請求之前，對所述多媒體進行特徵擷 取；或者，所述用戶設備在傳送所述辨識請求之後，對所述多媒體進行特徵擷取。
  13. 如請求項第10項所述的分散式多媒體辨識方法，更包括：於所述伺服平台：依據所述辨識結果更新所述統計資訊。
  14. 如請求項第11項所述的分散式多媒體辨識方法，其中所述條件包括一區域、一播出時間、一播出頻道、一品牌、一節目類別、一演員與一活動代碼的至少其中之一，所述統計資訊包括對應所述用戶識別碼之用戶或所屬族群的一行為與一偏好、一整體收視率與一評比度的至少其中之一，以及所述多媒體為一影音、一圖像或一聲音。
  15. 一種伺服平台，用於一分散式多媒體辨識系統，且連結所述分散式多媒體辨識系統的一用戶設備，包括：一個以上的電路，以組態執行：接收來自於所述用戶設備的一辨識請求；依據所述辨識請求中的一條件自所述伺服平台的一特徵資料庫中的多筆參考特徵資料篩選出對應於所述條件的一筆或多筆參考特徵資料；以及根據所述伺服平台的一統計資料庫的一統計資訊對篩選出的所述多筆參考特徵資料進行排序，以將所述一筆或經排序的多筆參考特徵資料傳送給所述用戶設備；以及依據來自於所述用戶設備的一辨識結果更新所述統計資訊。
  16. 如請求項第15項所述的伺服平台，其中所述辨識請求更包括相應於所述用戶設備的一用戶識別碼，其中所述統計資訊的至少一部份相關於所述用戶識別碼。
  17. 如請求項第15項所述的伺服平台，其中所述條件包括一區域、一播出時間、一播出頻道、一品牌、一節目類別、一演員與一活動代碼的至少其中之一。
  18. 如請求項第16項所述的伺服平台，其中所述統計資訊包括對應所述用戶識別碼之用戶或所屬族群的一行為與一偏好、一整體收視率與一評比度的至少其中之一。
  19. 如請求項第15項所述的伺服平台，其中所述多媒體為一影音、一圖像或一聲音。
TW104105014A 2015-02-13 2015-02-13 分散式多媒體辨識系統、方法與其伺服平台 TWI571755B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104105014A TWI571755B (zh) 2015-02-13 2015-02-13 分散式多媒體辨識系統、方法與其伺服平台
CN201510097860.6A CN105989172A (zh) 2015-02-13 2015-03-05 分布式多媒体辨识系统、方法与其服务器平台
US14/707,426 US20160248527A1 (en) 2015-02-13 2015-05-08 Distributed multimedia recongization system, method, and server platform thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104105014A TWI571755B (zh) 2015-02-13 2015-02-13 分散式多媒體辨識系統、方法與其伺服平台

Publications (2)

Publication Number Publication Date
TW201629803A TW201629803A (zh) 2016-08-16
TWI571755B true TWI571755B (zh) 2017-02-21

Family

ID=56693201

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104105014A TWI571755B (zh) 2015-02-13 2015-02-13 分散式多媒體辨識系統、方法與其伺服平台

Country Status (3)

Country Link
US (1) US20160248527A1 (zh)
CN (1) CN105989172A (zh)
TW (1) TWI571755B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108400996A (zh) * 2017-02-04 2018-08-14 中兴通讯股份有限公司 一种数据的发送方法、装置及数据网关

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080155114A1 (en) * 2001-12-31 2008-06-26 Change Masters, Incorporated Digital distribution system for dynamic media
US20100240298A1 (en) * 2007-08-31 2010-09-23 Lava Two, Llc Communication network for a multi-media management system with end user feedback
TW201319823A (zh) * 2011-11-08 2013-05-16 Inst Information Industry 提供虛擬桌面之雲端系統、於虛擬桌面播放多媒體之方法以及其電腦可讀取記錄媒體
TW201351973A (zh) * 2012-06-08 2013-12-16 Global Vision System Co Ltd 確認用戶端收視資訊狀況之系統以及方法
US20140143157A1 (en) * 2012-11-21 2014-05-22 Verint Americas Inc. Design and Analysis of Customer Feedback Surveys

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963968A (zh) * 2009-07-24 2011-02-02 艾比尔国际多媒体有限公司 多媒体辨识系统与方法,及其应用的多媒体客制化方法
US20120191231A1 (en) * 2010-05-04 2012-07-26 Shazam Entertainment Ltd. Methods and Systems for Identifying Content in Data Stream by a Client Device
CN102892031A (zh) * 2012-09-26 2013-01-23 西南石油大学 一种手机智能识别电视节目的方法
CN104066009B (zh) * 2013-10-31 2015-10-14 腾讯科技（深圳）有限公司 节目识别方法、装置、终端、服务器及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080155114A1 (en) * 2001-12-31 2008-06-26 Change Masters, Incorporated Digital distribution system for dynamic media
US20100240298A1 (en) * 2007-08-31 2010-09-23 Lava Two, Llc Communication network for a multi-media management system with end user feedback
TW201319823A (zh) * 2011-11-08 2013-05-16 Inst Information Industry 提供虛擬桌面之雲端系統、於虛擬桌面播放多媒體之方法以及其電腦可讀取記錄媒體
TW201351973A (zh) * 2012-06-08 2013-12-16 Global Vision System Co Ltd 確認用戶端收視資訊狀況之系統以及方法
US20140143157A1 (en) * 2012-11-21 2014-05-22 Verint Americas Inc. Design and Analysis of Customer Feedback Surveys

Also Published As

Publication number Publication date
US20160248527A1 (en) 2016-08-25
CN105989172A (zh) 2016-10-05
TW201629803A (zh) 2016-08-16

Similar Documents

Publication Publication Date Title
US20150262066A1 (en) Digital Human Generation Method and System
US9489698B2 (en) Media content recommendations based on social network relationship
US9661605B2 (en) Posting-status notification system, information communication terminal, posting-status notification method, and program
US20150289021A1 (en) System and method for collecting viewer opinion information
US20110209066A1 (en) Viewing terminal apparatus, viewing statistics-gathering apparatus, viewing statistics-processing system, and viewing statistics-processing method
JP5277184B2 (ja) 選択肢生成提示装置及び選択肢生成提示プログラム
US20090175599A1 (en) Digital Life Recorder with Selective Playback of Digital Video
CN108197336B (zh) 一种视频查找的方法及装置
CN107480265B (zh) 数据推荐方法、装置、设备以及存储介质
CN103428541B (zh) 用于整合社交媒体与广播数据的方法和系统
JP2014026614A (ja) 検索・情報表示システム
KR102208822B1 (ko) 음성 인식 장치, 방법 그리고 이를 위한 사용자 인터페이스 표시 방법
CN109348261A (zh) 一种直播中数据统计方法、装置及电子设备
US20190251782A1 (en) Impromptu Community Streamer
TWI571755B (zh) 分散式多媒體辨識系統、方法與其伺服平台
EP2743882A1 (en) Unified social graph
CN102915230B (zh) 一种用户界面生成方法、装置及电子设备
CN109769130A (zh) 基于收视大数据的遥控器个性化设置方法及系统
CN105635171A (zh) 基于身份识别的具有管控功能的共享式设备及其管控方法
CN110673737B (zh) 基于智能家居操作系统的显示内容的调整方法及装置
US20150365728A1 (en) Display system and program selection method thereof
US20190206571A1 (en) Systems and methods for recommending disease-related content based on a disease associated with a user
US20150163554A1 (en) Method, electronic device, and computer program product
CN105657510A (zh) 图像显示装置及其信息提供方法
KR101126526B1 (ko) 자동화된 인터넷 비디오 일기 작성 방법 및 이를 이용하는 시스템