TWI605712B - 互動式媒體系統 - Google Patents

互動式媒體系統 Download PDF

Info

Publication number
TWI605712B
TWI605712B TW101150114A TW101150114A TWI605712B TW I605712 B TWI605712 B TW I605712B TW 101150114 A TW101150114 A TW 101150114A TW 101150114 A TW101150114 A TW 101150114A TW I605712 B TWI605712 B TW I605712B
Authority
TW
Taiwan
Prior art keywords
icon
content
face
viewer
video monitor
Prior art date
Application number
TW101150114A
Other languages
English (en)
Other versions
TW201342892A (zh
Inventor
王濤
宋青見
李建國
杜楊洲
李文龍
張益明
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201342892A publication Critical patent/TW201342892A/zh
Application granted granted Critical
Publication of TWI605712B publication Critical patent/TWI605712B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

互動式媒體系統 發明領域
本揭示案涉及互動式媒體，並且更具體而言涉及互動式媒體之指標以及其用途。
發明背景
傳統上，電視為基於電視列表或在各個頻道中「瀏覽」來選擇頻道/內容的媒體。然而，出現被設計成增強觀看者體驗的新的服務。舉例而言，列印的電視列表現在可由網際網路驅動之應用程式來代替。可呈現在每個頻道上播送之內容的視覺概覽。
依據本發明之一實施例，係特地提出一種系統，其包含：一攝影機，該攝影機係組配成可捕獲一影像；一視訊監視器，該視訊監視器係組配成可顯示至少內容及圖標；以及一或多個儲存媒體，該一或多個儲存媒體係個別地或組合地具有儲存在其上之指令，該等指令在由一或多個處理器執行時，導致以下操作，包含：捕獲一影像；偵測該影像中之至少一面部；決定對應於該至少一面部之一 身份及表情；基於該對應表情來產生該至少一面部之一圖標；以及在該視訊監視器上顯示該圖標。
100、100A、100B、100C、100D、100E、100F、100n‧‧‧系統
102‧‧‧攝影機
104‧‧‧面部偵測/追蹤模組
106‧‧‧觀看者識別模組
108‧‧‧面部特徵提取模組
110‧‧‧圖標產生模組
112‧‧‧圖標增強模組
114‧‧‧外部裝置
116‧‧‧圖標覆蓋模組
118‧‧‧觀看者資料庫
120‧‧‧內容資料庫
122‧‧‧觀看者選擇模組
124‧‧‧內容管理模組
126、126'、126"‧‧‧視訊監視器
128、128'‧‧‧內容
130、130'、130"‧‧‧圖標
132、132'、134、134’‧‧‧指標
136、136'‧‧‧選擇框
138‧‧‧遙控器
200~208、400~410、600~606‧‧‧操作
500‧‧‧網路
隨著以下詳細說明進行，並且參考附圖，所請求標的之各種實施例的特徵及優勢變得顯而易知，在該等附圖中相同數字標示相同部分，其中：圖1例示根據本揭示案之各種實施例的實例系統；圖2A為實例圖標產生及顯示操作之流程圖；圖2B為實例觀看者識別操作之流程圖；圖3例示根據本揭示案之一實施例的互動式媒體系統之實例顯示影像；圖4為對應於圖3之媒體系統實施例的實例操作之流程圖。圖5例示根據本揭示案之另一實施例的互動式媒體系統之另一實例顯示影像；以及圖6為對應於圖5之媒體系統實施例的實例操作之流程圖。
雖然以下詳細說明參考例示性實施例來進行，但是其許多替代方案、修改及變化形式為熟習此項技術者顯而易知。
詳細說明
本揭示案總體上針對互動式媒體系統(及方法)。在一實施例中，提供互動式媒體系統，其被組配成捕 獲視訊監視器之觀看者的視訊影像。互動式媒體系統亦被組配成偵測影像中之觀看者面部並且識別觀看者。識別觀看者可包括將影像中偵測之面部特徵與觀看者設定檔之資料庫比較。互動式媒體系統可基於偵測之面部及特徵來產生圖標並且將圖標顯示於視訊監視器上。在一實施例中，圖標可為卡通或草圖。另外，圖標可與一或多個指標一起顯示於視訊監視器上。指標可識別例如與對應圖標相關之觀看者當前觀看之內容。
在一實施例中顯示在視訊監視器上之內容藉由選擇對應於本地觀看者之圖標來控制。在如上所述識別觀看者並且產生圖標之後，至少一圖標被選擇為主要觀看者。互動式媒體系統決定主要觀看者之內容偏好。舉例而言，互動式媒體系統可存取觀看者之資料庫以便決定偏好。然後，互動式媒體系統基於主要觀看者之偏好來選擇內容。選擇內容可包括將主要觀看者之偏好與可獲得內容之資料庫比較。然後，互動式媒體系統可將所選擇的內容顯示於視訊監視器上。
在一實施例中顯示在視訊監視器上之內容藉由選擇對應於遠程觀看者之圖標來控制。本地觀看者可與多個遠程觀看者一起關聯至定義組中。組中之每個觀看者可加以識別，並且可產生並且顯示每個觀看者之圖標。此外，互動式媒體系統可決定組中之每個用戶收看之內容，並且可顯示組中之所有其他觀看者的圖標。可在每個圖標附近顯示指標，其識別與圖標相關之觀看者正在觀看之內容。 然後，互動式媒體系統可允許選擇圖標，導致與圖標相關之內容顯示於視訊監視器上。
圖1例示與本揭示案之各種實施例一致的系統100。系統100總體上被組配成偵測/追蹤視訊監視器之觀看者、識別觀看者、產生每個觀看者之圖標、將圖標顯示於視訊監視器上，並且將內容顯示於視訊監視器上。系統100包括攝影機102。攝影機102可為用於捕獲代表包括一或多個人之環境的數位影像之任何裝置，並且可具有用於對如本文描述之環境中之一或多個人進行面部分析的足夠解析度。舉例而言，攝影機102可包括靜物攝影機(例如，被組配成捕獲靜止照片之攝影機)或視訊攝影機(例如，被組配成在多個訊框中捕獲多個移動影像之攝影機)。攝影機102可被組配成藉由可見光譜之光或藉由電磁波譜之其他部分，不限於紅外光譜、紫外光譜等來操作。可將攝影機102併入系統100之另一個組件(例如，TV 126)中或可為被組配成經由有線或無線通訊與至少面部偵測模組104通訊之獨立組件。攝影機102可包括例如網路攝影機(其可與個人電腦及/或視訊監視器相關)、手持裝置攝影機(例如，行動電話攝影機、智慧型手機攝影機(例如，與iPhone®、基於Android®之手機，Blackberry®、基於Palm®之手機、基於Symbian®之手機等相關之攝影機))、膝上型電腦攝影機、平板電腦(例如，但是不限於iPad®、Galaxy Tab®及其類似物)等。
面部偵測/追蹤模組104被組配成識別攝影機102提供之影像中之面部及/或面部區域。舉例而言，面部偵測 /追蹤模組104可包括定製、專屬、已知及/或以後開發之面部識別碼(或指令集)、硬體及/或韌體，其總體上經過妥當定義並且可操作以便接收標準格式影像(例如，但是不限於RGB彩色影像)並且至少在一定程度上識別影像中之面部。面部偵測/追蹤模組104亦可被組配成經由一系列影像(例如，24訊框/秒下之視訊訊框)來追蹤偵測之面部。可由面部偵測/追蹤模組104使用之已知追蹤系統可包括粒子濾波、均值漂移、卡爾曼(Kalman)濾波等，其每一者可利用邊緣分析、平方差之和分析、特徵點分析、直方圖分析、皮膚色調分析等。觀看者識別模組106被組配成決定與面部相關之身份，並且可包括定製、專屬、已知及/或以後開發之面部特徵識別碼(或指令集)，其總體上經過妥當定義並且可操作以便自攝影機102接收標準格式影像(例如，但是不限於RGB彩色影像)並且至少在一定程度上識別影像中之一或多個面部特徵。此等已知面部特徵系統包括但不限於科羅拉多州州立大學(Colorado State University)之CSU面部識別評估系統(CSU Face Identification Evaluation System)。
觀看者識別模組106亦可包括定製、專屬、已知及/或以後開發之面部識別碼(或指令集)，者通常經過妥當定義並且可操作以便將面部模式與儲存於資料庫中之對應面部模式匹配。舉例而言，觀看者識別模組106可被組配成將偵測之面部模式與先前儲存於觀看者資料庫118中之面部模式比較。觀看者資料庫118可包含包括用戶之內容偏好的帳戶或記錄。另外，觀看者資料庫118可本地或遠程(例 如，經由網際網路)來存取，並且可與現有在線互動系統(例如，Facebook、MySpace、Google+、Linked In、Yahoo等)相關或可專屬地用於互動式媒體系統。觀看者識別模組106可利用幾何分析(其著眼於有區別的特徵)及/或光度分析(其為自影像中提取出值並且將值與模板比較以便消除偏差的統計方法)來對模式進行比較。一些面部識別技術包括但不限於藉由特徵臉(eigenfaces)(及其衍生技術)來進行之主要成分分析、藉由費歇爾臉(fisherface)(及其衍生技術)來進行之線性判別分析、彈性束圖匹配(及其衍生技術)、隱藏馬爾可夫(Markov)模型(及其衍生技術)及神經元激發動態連結匹配。
面部特徵提取模組108被組配成辨識由面部偵測 /追蹤模組104偵測之面部中之各種特徵(例如，表情)。在識別面部表情(例如，識別是否先前偵測之面部為快樂的、憂愁的、微笑的、皺眉的、驚訝的、激動的等)中，面部特徵提取模組108可進一步包括定製、專屬、已知及/或以後開發之面部表情偵測及/或識別碼(或指令集)，其總體上經過妥當定義並且可操作以便提取及/或識別面部之面部表情。舉例而言，面部特徵識別模組108可決定面部特徵(例如，眼睛、嘴、臉頰、牙齒等)之大小及/或位置並且將此等面部特徵與面部特徵資料庫比較，該資料庫包括具有對應面部特徵分類(例如，微笑的、皺眉的、激動的、憂愁的等)的多個樣本面部特徵。
圖標產生模組110被組配成將由面部偵測模組 104所偵測，並且由面部特徵提取模組108所分析之面部影像轉換成顯示於視訊監視器126上之圖標130。舉例而言，圖標產生模組110可進一步包括定製、專屬、已知及/或以後開發之影像處理碼(或指令集)，其總體上經過妥當定義並且可操作以便將攝影機102捕獲之即時影像轉換成其他格式。在一實施例中，圖標產生模組110可將面部影像轉換成卡通或草圖以便作為圖標130使用。如本文提及，卡通可定義為基於實際對象之奇特影像。舉例而言，卡通可誇張實際對象之一或多個特徵。在與實際對象比較時，一些卡通可包括例如有限清晰度及/或有限調色板顯現(例如，四色顯現、八色顯現等)。如本文提及，草圖可定義為逼真地類似於實際對象的粗糙影像。例如，草圖可包括實際對象在單一顏色(例如，在白色背景中之黑色)中之素描表現。舉例而言，由面部偵測模組104識別之面部影像可被修剪，並且可藉由影像處理來產生卡通/草圖樣圖標，該影像處理使用線圖提取、變形、基於實例之面部草圖產生伴以非參數取樣、面部表現及畫草圖之語法模型等。或者，由面部特徵提取模組108識別之面部特徵(例如，特徵及表情)可應用於預先存在之卡通圖標模型以便產生呈卡通形式之面部表現。與更逼真之圖形影像或2D/3D化身表現相比，使用卡通/草圖樣圖標之優勢為與2D/3D圖形模型建構相比，卡通/草圖更穩健並且更容易產生/更新。另外，對應於圖標之觀看者之真實身份可保持隱藏，使得觀看者可在公眾論壇中匿名地操作並且與先前未知的觀看者互動而不擔憂其實際身份為 人所知。由於在觀看視訊監視器126時，觀看者面部位置及表情不斷地變化，圖標130可為動態的以便代表觀看者最近位置及表情。在實務中，圖標130可被更新以便代表觀看者之當前表情，此更新的方式為即時(例如，如攝影機102所提供，逐個訊框地)、在一定時間間隔下，例如每十秒更新圖標130，或永不更新(例如，圖標130自首次由圖標產生模組110產生時起保持無變化)。更新圖標130之時間間隔可視各種因素而定，例如攝影機102之能力(例如，速度)、系統100中可獲得之圖形處理能力等。
圖標增強模組112可被組配成改變圖標130之外觀。舉例而言，觀看者可能認為圖標產生模組110所產生之圖標130太逼真或不夠逼真。或者，觀看者可希望圖標130看似異想天開的或愚蠢的。在一實施例中，圖標130可由觀看者手動地改變。舉例而言，外部裝置114可為桌上型PC、膝上型PC、平板電腦、蜂巢式手持話機等。外部裝置114可經由本地有線或無線通訊、經由在系統100中本地託管(例如，使用系統100中之伺服器之IP位址)之網路服務或經由在網際網路上之其他位置處託管的網路服務來存取系統100。舉例而言，網路服務可基於儲存於觀看者資料庫118中之觀看者設定檔來提供對於圖標130之存取。網路服務可向觀看者提供允許觀看者觀看並且編輯圖標130之介面。然後，觀看者可根據觀看者之偏好來改變圖標130之各種態樣(例如，眼睛、鼻子、嘴、頭髮等)以便使其更薄、更厚、更誇張等。
圖標覆蓋模組116可被組配成將圖標130顯示於視訊監視器126上之內容128之上。在一實施例中，圖標130可被組配成覆蓋內容128以使得觀看者可同時觀察兩者。圖標130可被配置在視訊監視器126之顯示器上之不同位置處，並且圖標130之位置可組配成不妨礙觀看內容128。當前收看視訊監視器126上之內容128的所有觀看者之圖標130可顯示於內容128之上。具體而言，可產生實體上存在並且收看視訊監視器126之所有觀看者的圖標130。收看其自己TVs的所感興趣的其他人(例如，朋友、親戚、業務同事等)之圖標130亦可顯示在視訊監視器126上之內容128之上。此可提醒觀看視訊監視器126上之內容128的觀看者所感興趣的其他人亦正在收看其自己的視訊顯示器126。在一實施例中，指標132及134亦可顯示於圖標130附近。指標132及134可與TV操作之特徵有關。舉例而言，指標132可識別對應於相鄰圖標130之觀看者正在觀看之頻道，並且指標134可識別所觀看之具體節目。結果，看到圖標130與指標132及134之觀看者可以知道另一個觀看者當前收看之頻道及節目。
觀看者選擇模組122可被組配成提供輸入至內容管理模組124以便控制視訊監視器126。觀看者選擇模組122可被組配成接收輸入(例如來自遙控器138)以便選擇顯示於視訊監視器126上之圖標130。舉例而言，觀看者可移動選擇框136以便選擇所顯示之圖標130。具體圖標130之選擇可導致觀看者選擇模組122接收來自觀看者資料庫122之觀看 者資訊，該資訊包括觀看者特徵及/或偏好。資訊可被提供至內容管理模組124，其可被組配成基於用戶設定檔自內容資料庫120選擇內容。內容資料庫120可包含關於可獲得內容之資訊，諸如但不限於網路及有線電視之當前直播排程、包括先前播出之網路及電纜節目之隨選節目、電影、遊戲等、可自網際網路下載的內容等。內容資料庫120亦可包括對應於可獲得內容之其他特徵資訊，如指示內容之年齡適合程度的分級等。
在系統100之操作期間，與由選擇框136標示的圖標130相關之觀看者可具有儲存於觀看者資料庫118中之設定檔，其指示觀看者為兒童(例如，低於一定年齡)。然後，觀看者選擇模組122可提供年齡資訊至內容管理模組124。內容管理模組124可被組配成存取內容資料庫120以便選擇適合於觀看者之年齡的內容128，並且同樣地限制不適合於觀看者之內容128。亦可基於在觀看者資料庫118中指示之觀看者偏好來播出某些類型之內容128(例如，卡通、新聞、直播體育、電影等)或某些主題之內容128(例如，恐龍、技術等)。將選擇框136移動至對應於另一個觀看者的圖標130可改變觀看者特徵/偏好，並且由此變更內容128。
在一實施例中內容管理模組122亦可被組配成基於觀看者組中之遠程觀看者來選擇內容128。舉例而言，除了他/她自己的圖標130以外，觀看視訊監視器126上之內容128的觀看者可看到對應於所感興趣的組其他觀看者(例如，朋友、親戚、業務同事等)的圖標130。觀看者組之成 員可儲存於觀看者資料庫118中之觀看者設定檔中。當觀看者藉由觀看者識別模組126來識別時，關於觀看者組之資訊可用於顯示對應於當前正在觀看其自己的視訊顯示器126(例如，在其自己的系統100中)的所有組成員的圖標130。指標132及134亦可相鄰於每個圖標130而顯示於內容128之上。指標132及134可通知觀看者每個組成員正在觀看之頻道及/或內容。在觀看圖標130與指標132及134後，觀看者可變得對當前正在由組成員中之一或多者觀看之內容感興趣。在一實施例中，觀看者可藉由啟用系統100中之跟隨功能來「跟隨」另一個觀看者正在收看之內容。跟隨功能可藉由基於碼之觸發(例如，顯示於內容128之上之選單、按鈕、選擇框等，其可使用遙控器128來選擇)或另一種類型之觸發(例如，遙控器138上之實體「跟隨」按鈕)來啟用。在一實施例中，跟隨功能可被組配成導致觀看者選擇模組122存取觀看者資料庫118以便獲得關於當前正在由對應於所選擇的圖標130之組成員觀看之內容的資訊。然後，此資訊可提供至內容管理模組124以便將內容128改變為相鄰於所選擇的圖標130的指標132及134所反映之內容。視系統100之實行方案而定，重複地觸發跟隨功能(例如，重複地按下遙控器138上之跟隨按鈕)可觸發不同操作。舉例而言，重複地按下跟隨按鈕可導致選擇框136自一個顯示圖標130移動下一個圖標，並且同樣地，根據當前選擇之圖標130來改變內容128。或者，重複地按下跟隨按鈕可導致內容128在其圖標130當前被選定之組成員之「最愛」 頻道或內容中遍歷。最愛頻道及/或節目可自觀看者資料庫118中之組成員之設定檔獲得。
用於面部偵測及圖標產生之實例操作之流程圖在圖2A中例示。在操作200中可偵測影像中之至少一面部。舉例而言，系統100中之攝影機102可捕獲當前正在觀看視訊監視器126之觀看者的影像。然後，操作200中偵測之任何面部可在操作202中加以分析以便提取所偵測面部之特徵。舉例而言，面部特徵之提取可包括偵測可用於決定面部之身份及面部之表情(例如，快樂的、憂愁的、生氣的、驚訝的、厭煩的等)的特徵。在操作204中圖標可基於產生之面部特徵來產生，然後顯示於視訊監視器126上。舉例而言，可產生具有類似於所偵測的面部之特徵的卡通或草圖圖標，然後予以顯示。操作202及204可即時或基於一定時間間隔來持續循環以便將外觀圖標更新至與觀看者之當前表情類似。
用於面部偵測及觀看者識別之實例操作之流程圖在圖2B中例示。如圖2A，初始操作200及202包括偵測攝影機102捕獲之影像中之至少一面部，然後提取面部特徵。舉例而言，攝影機102可捕獲收看視訊監視器126之觀看者之影像。可偵測影像中之觀看者之面部，然後可提取可用。於識別面部之特徵。在操作206中影像中之任何觀看者之身份可基於在操作202中提取之特徵來決定。舉例而言，提取的面部特徵可與含有觀看者設定檔之觀看者資料庫118比較。觀看者設定檔可含有觀看者特徵(例如，年齡、性別、 偏好、興趣等)，其可在操作208中用於決定所識別的使用者之內容偏好。舉例而言，觀看者之年齡可指示適合/不適合於觀看者之內容，並且偏好及/或興趣可用於選擇合適內容範圍內之具體內容。
本地觀看者內容控制
圖3例示根據本地觀看者內容控制實施例之實例實行方案。在圖3中視訊監視器126'正在顯示內容128'，其為卡通程式。四個圖標130'亦顯示於內容128'之上。圖標130'為卡通，其可代表當前正在收看視訊監視器126'之觀看者之面部及表情。選擇框136'指示當前選定一個圖標130'。所選擇的圖標130'似乎具有與小孩面部類似的面部。結果，內容128'(例如，TV程式及廣告)可基於適合於作為小孩之觀看者的內容來選擇，其當然包括卡通程式。
圖4例示對應於圖3展示之本地觀看者內容控制實施例的實例操作。在操作400及402中，如例如圖2A及2B中描述，可偵測當前正在收看視訊監視器126'之觀看者之面部、可偵測所偵測的面部之特徵、可識別與所偵測的特徵相關之觀看者並且可顯示每個所識別觀看者之圖標。在操作404中，一圖標可選定為視訊監視器126'之主要觀看者。觀看者之選擇可例如藉由將選擇框136'移動至一個所顯示的圖標130'之上而發生。在操作406中，可例如藉由存取含有所選擇的觀看者之設定檔的觀看者資料庫來決定主要觀看者之內容偏好。在操作408中可視觀看者偏好而定來選擇主要觀看者之內容。舉例而言，例如年齡、偏好及興趣之 資訊可用於自內容資料庫選擇合適內容。在操作410中所選擇的內容可顯示於視訊監視器126'上。在圖3之實例中主要觀看者為兒童，因此內容128'為兒童程式。
基於組之內容控制
圖5揭示根據一實施例之另一個實例實行方案。在圖5中，視訊監視器126"為經由網路500(例如，網際網路)耦接至其他系統100B至100n的系統100A之一部分。視訊監視器126"顯示內容128"，其為直播體育賽事。五個圖標130"亦顯示於視訊監視器126"上。圖標130"為使用系統100A至100n之觀看者之草圖(例如，基於彼等系統中之攝影機102之獲得之影像)。一個圖標130"可對應於收看視訊監視器126"之觀看者，而其他四個圖標可對應於系統100B至100n中之觀看者，其為觀看者組之成員(例如，朋友、親戚、業務同事等)。在所揭示的實例中，指標132'及134'相鄰於圖標130"而顯示。指標132'可為對應於與每個圖標130"相關之觀看者正在觀看之頻道的符號。指標134'可為自與每個圖標130"相關之觀看者正在觀看之內容獲取之影像或快照。在觀看圖標130"與指標120'及122'後，觀看者可注意到其他當前活動成員及其他組成員正在觀看之頻道/程式。若另一個組成員正在觀看之內容似乎為有趣的，則觀看者可選擇跟隨其他組成員來觀看所識別之內容或其他觀看者建議之其他內容。
圖6例示對應於圖5展示之基於組之內容控制實施例的實例操作之流程圖。在操作600中，本地觀看者及一 或多個遠程觀看者可關聯至組中。舉例而言，本地觀看者或遠程觀看者中之至少一者可在其使用者設定檔中定義組之成員。在操作602中，可識別組中之每個觀看者，可產生觀看者之圖標並且可本地顯示圖標，該等操作例如基於圖2A及2B描述之操作。另外，可決定組中之每個觀看者正在觀看之當前內容。在操作604中，對於每個本地觀看者，可顯示組中之所有遠程觀看者之圖標。本地及遠程觀看者圖標可進一步被顯示為具有相鄰於每個圖標的一或多個指標，該等指標對應於每個組成員當前正在觀看之內容。舉例而言，一個指標可代表使用者正在觀看之頻道，而另一個指標可代表實際內容。在操作606中，本地觀看者可選擇與遠程組成員相關之圖標，並且與遠程組成員相關之內容可顯示於本地觀看者之視訊監視器上。
雖然圖2A、2B、4及6例示根據多種實施例之不同操作，但是應瞭解其他實施例並不需要圖2A、2B、4及6描繪之所有操作。事實上，本文完全預期在本揭示案之其他實施例中，圖2A、2B、4及6描繪之操作及/或本文描述之其他操作可以未在任何圖中具體展示之方式來組合，但是仍然與本揭示案完全一致。因此，針對未在一個圖中精確地展示之特徵及/或操作的申請專利範圍被視為在本揭示案之範圍及內容中。
如本文之任何實施例中所使用，「模組」一詞可指被組配成執行任何前述操作之軟體、韌體及/或電路。軟體可體現為記錄於非暫時性電腦可讀儲存媒體上之軟體 包、碼、指令、指令集及/或資料。韌體可體現為在記憶體裝置中硬編碼(例如，具有非依電性)之碼、指令或指令集及/或資料。如在本文之任何實施例中所使用，「電路」可例如單獨地或以任何組合形式包括硬連線的電路、可規劃電路例如包含一或多個個別指令處理核心之電腦處理器、狀態機器電路，及/或儲存可規劃電路所執行之指令的韌體。模組可共同或個別地體現為形成更大系統之一部分的電路，該系統例如積體電路(IC)、單晶片系統(SoC)、桌上型電腦、膝上型電腦、平板電腦、伺服器、智慧型手機等。
本文描述之任何操作可實施於系統中，該系統包括一或多個儲存媒體，該一或多個儲存媒體個別地或組合地具有儲存在其上的指令，該等指令在由一或多個處理器執行時執行方法。在本文中，處理器可包括例如伺服器CPU、行動裝置CPU及/或其他可規劃電路。另外，意圖本文描述之操作可分佈於多個實體裝置，例如一個以上不同實體位置處之處理結構。儲存媒體可包括任何類型之有形媒體，例如，任何類型之碟片，包括硬碟、軟碟、光碟、光碟片唯讀記憶體(CD-ROMs)、可重寫光碟片(CD-RWs)及磁光碟、半導體裝置例如唯讀記憶體(ROMs)、隨機存取記憶體(RAMs)例如動態及靜態RAMs、可抹除可規劃唯讀記憶體(EPROMs)、電子可抹除可規劃唯讀記憶體(EEPROMs)、快閃記憶體、固態磁碟(SSDs)、磁性或光學卡，或適合於儲存電子指令之任何類型之媒體。其他實施例可實施為可規劃控制器執行之軟體模組。儲存媒體可為 非暫時性的。
因此，本揭示案提供用於提供互動式媒體之狀態圖標的方法及系統。系統可被組配成捕獲觀看者之影像、識別觀看者並且產生顯示於TV上之圖標。圖標可與對應於觀看者正在觀看之頻道及/或節目的指標相關。除了系統基於觀看者之身份來控制TV以外，所感興趣的其他人之圖標亦可顯示於TV上，使得觀看者可注意到，並且可能跟隨其他人正在觀看之內容。
根據一個態樣，提供方法。方法可包括捕獲影像、偵測影像中之至少一面部、決定對應於至少一面部的身份及表情、基於對應表情來產生至少一面部之圖標，以及將圖標顯示於視訊監視器上。
根據另一態樣，提供系統。系統可包括被組配成捕獲影像之攝影機、被組配成顯示至少內容及圖標的視訊監視器，及一或多個儲存媒體，該一或多個儲存媒體個別地或組合地具有儲存在其上的指令，該等指令在由一或多個處理器執行時導致以下操作，包括捕獲影像、偵測影像中之至少一面部、決定對應於至少一面部的身份及表情、基於對應表情來產生至少一面部之圖標，以及將圖標顯示於視訊監視器上。
根據另一態樣，提供系統。系統可包括一或多個儲存媒體，該一或多個儲存媒體個別地或組合地具有儲存在其上的指令，該等指令在由一或多個處理器執行時產生以下操作，包括捕獲影像、偵測影像中之至少一面部、決 定對應於至少一面部的身份及表情、基於對應表情來產生至少一面部之圖標，並且將圖標顯示於視訊監視器上。
本文使用之用語及表述作為描述性而非限制性用語來使用，並且在使用此等用語及表述中不意圖排除所展示及描述之特徵的任何均等物(或其一部分)，並且應認識到不同的修改在申請專利範圍之範圍內為可能的。因此，申請專利範圍意圖涵蓋所有此等均等物。
100‧‧‧系統
102‧‧‧攝影機
104‧‧‧面部偵測/追蹤模組
106‧‧‧觀看者識別模組
108‧‧‧面部特徵提取模組
110‧‧‧圖標產生模組
112‧‧‧圖標增強模組
114‧‧‧外部裝置
116‧‧‧圖標覆蓋模組
118‧‧‧觀看者資料庫
120‧‧‧內容資料庫
122‧‧‧觀看者選擇模組
124‧‧‧內容管理模組
126‧‧‧視訊監視器
128‧‧‧內容
130‧‧‧圖標
132、134‧‧‧指標
136‧‧‧選擇框
138‧‧‧遙控器

Claims (15)

  1. 一種系統，其包含：一攝影機，該攝影機係組配成可捕獲一影像；一視訊監視器，該視訊監視器係組配成可顯示至少內容及圖標；以及一或多個儲存媒體，該一或多個儲存媒體係個別地或組合地具有儲存在其上之指令，該等指令在由一或多個處理器執行時，導致以下操作，包含：捕獲一影像；偵測該影像中之至少一面部；決定對應於該至少一面部之一身份及表情；使用經捕獲影像來產生用於該至少一面部之一獨特圖標；藉由比較一經偵測面部圖像與一先前儲存面部圖像來關聯該獨特圖標與對應於該至少一面部之該身份；使用該經決定表情來動態地修改該獨特圖標；在該視訊監視器上顯示該獨特圖標；以及基於該獨特圖標來限制顯示在該視訊監視器上之內容，該經限制內容要基於對應於該獨特圖標之身份來被決定。
  2. 如申請專利範圍第1項之系統，其中該獨特圖標係為該至少一面部之一卡通或草圖。
  3. 如申請專利範圍第1項之系統，其中該等指令在由一或 多個處理器執行時，導致以下額外操作：在該視訊監視器上顯示對應於一遠程觀看者之至少一圖標。
  4. 如申請專利範圍第3項之系統，其中該等指令在由一或多個處理器執行時，導致以下額外操作：在該視訊監視器上相鄰於對應於該遠程觀看者之該至少一圖標來顯示至少一指標，該至少一指標識別該至少一遠程觀看者正在觀看之內容。
  5. 如申請專利範圍第4項之系統，其中該等指令在由一或多個處理器執行時，導致以下額外操作：基於對應於一遠程觀看者之一所選擇的圖標來決定要在該視訊監視器上顯示之內容，該要顯示之內容對應於相鄰於該所選擇的圖標而顯示之該至少一指標。
  6. 一種系統，其包含一或多個儲存媒體，該一或多個儲存媒體係個別地或組合地具有儲存在其上之指令，該等指令在由一或多個處理器執行時，導致以下操作，包含：捕獲一影像；偵測該影像中之至少一面部；決定對應於該至少一面部之一身份及表情；使用經捕獲影像來產生用於該至少一面部之一獨特圖標；藉由比較一經偵測面部圖像與一先前儲存面部圖像來關聯該獨特圖標與對應於該至少一面部之該身份；使用該經決定表情來動態地修改該獨特圖標； 在一視訊監視器上顯示該獨特圖標；以及基於該獨特圖標來限制顯示在該視訊監視器上之內容，該經限制內容要基於對應於該獨特圖標之身份來被決定。
  7. 如申請專利範圍第6項之系統，其中該獨特圖標係為該至少一面部之一卡通或草圖。
  8. 如申請專利範圍第6項之系統，其中該等指令在由一或多個處理器執行時，導致以下額外操作：在該視訊監視器上顯示對應於一遠程觀看者之至少一圖標。
  9. 如申請專利範圍第8項之系統，其中該等指令在由一或多個處理器執行時，導致以下額外操作：在該視訊監視器上相鄰於對應於該遠程觀看者之該至少一圖標來顯示至少一指標，該至少一指標識別該至少一遠程觀看者正在觀看之內容。
  10. 如申請專利範圍第9項之系統，其中該等指令在由一或多個處理器執行時，導致以下額外操作：基於對應於一遠程觀看者之一所選擇的圖標來決定要在該視訊監視器上顯示之內容，該要顯示之內容對應於相鄰於該所選擇的圖標而顯示之該至少一指標。
  11. 一種方法，其包含：捕獲一影像；偵測該影像中之至少一面部；決定對應於該至少一面部之一身份及表情； 使用經捕獲影像來產生用於該至少一面部之一獨特圖標；藉由比較一經偵測面部圖像與一先前儲存面部圖像來關聯該獨特圖標與對應於該至少一面部之該身份；使用該經決定表情來動態地修改該獨特圖標；在一視訊監視器上顯示該獨特圖標；以及基於該獨特圖標來限制顯示在該視訊監視器上之內容，該經限制內容要基於對應於該獨特圖標之身份來被決定。
  12. 如申請專利範圍第11項之方法，其中該獨特圖標係為該至少一面部之一卡通或草圖。
  13. 如申請專利範圍第11項之方法，其進一步包含在該視訊監視器上顯示對應於一遠程觀看者之至少一圖標。
  14. 如申請專利範圍第13項之方法，其進一步包含在該視訊監視器上相鄰於對應於該遠程觀看者之該至少一圖標來顯示至少一指標，該至少一指標識別該至少一遠程觀看者正在觀看之內容。
  15. 如申請專利範圍第14項之方法，其進一步包含基於對應於一遠程觀看者之一所選擇的圖標來決定要在該視訊監視器上顯示之內容，該要顯示之內容對應於相鄰於該所選擇的圖標而顯示之該至少一指標。
TW101150114A 2011-12-30 2012-12-26 互動式媒體系統 TWI605712B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/084970 WO2013097160A1 (en) 2011-12-30 2011-12-30 Interactive media systems

Publications (2)

Publication Number Publication Date
TW201342892A TW201342892A (zh) 2013-10-16
TWI605712B true TWI605712B (zh) 2017-11-11

Family

ID=48696235

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101150114A TWI605712B (zh) 2011-12-30 2012-12-26 互動式媒體系統

Country Status (4)

Country Link
US (1) US20140223474A1 (zh)
EP (1) EP2798853A4 (zh)
TW (1) TWI605712B (zh)
WO (1) WO2013097160A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618918A (zh) * 2013-11-27 2014-03-05 青岛海信电器股份有限公司 一种智能电视的显示控制方法及装置
US10121060B2 (en) * 2014-02-13 2018-11-06 Oath Inc. Automatic group formation and group detection through media recognition
CN106162370B (zh) * 2015-04-27 2019-08-02 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106162303B (zh) * 2015-04-27 2019-07-09 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN105072477A (zh) * 2015-07-27 2015-11-18 天脉聚源（北京）科技有限公司 一种生成互动电视系统互动反馈信息的方法及装置
US9565481B1 (en) * 2015-09-04 2017-02-07 International Business Machines Corporation Event pop-ups for video selection
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
CN105578110B (zh) * 2015-11-19 2019-03-19 掌赢信息科技（上海）有限公司 一种视频通话方法
US10599730B2 (en) * 2016-03-25 2020-03-24 International Business Machines Corporation Guided search via content analytics and ontology
CN106210808B (zh) * 2016-08-08 2019-04-16 腾讯科技（深圳）有限公司 媒体信息投放方法、终端、服务器及系统
CN106803909A (zh) * 2017-02-21 2017-06-06 腾讯科技（深圳）有限公司 一种视频文件的生成方法及终端
CN107992822B (zh) * 2017-11-30 2020-04-10 Oppo广东移动通信有限公司 图像处理方法和装置、计算机设备、计算机可读存储介质
CN110769186A (zh) * 2019-10-28 2020-02-07 维沃移动通信有限公司 一种视频通话方法、第一电子设备及第二电子设备
IT202100018971A1 (it) * 2021-07-19 2023-01-19 Gualtiero Dragotti Metodo e sistema per la marcatura di elementi

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496623B2 (en) * 2004-04-23 2009-02-24 Yahoo! Inc. System and method for enhanced messaging including a displayable status indicator
WO2008091485A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Systems and methods for providing personal video services
JP4539712B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
US20090201297A1 (en) * 2008-02-07 2009-08-13 Johansson Carolina S M Electronic device with animated character and method
US7953255B2 (en) * 2008-05-01 2011-05-31 At&T Intellectual Property I, L.P. Avatars in social interactive television
US9246613B2 (en) * 2008-05-20 2016-01-26 Verizon Patent And Licensing Inc. Method and apparatus for providing online social networking for television viewing
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
CN101998161A (zh) * 2009-08-14 2011-03-30 Tcl集团股份有限公司 一种基于人脸识别的电视节目收看方法
EP2383984B1 (en) * 2010-04-27 2019-03-06 LG Electronics Inc. Image display apparatus and method for operating the same
CN101909085A (zh) * 2010-08-06 2010-12-08 四川长虹电器股份有限公司 电视观感分享方法

Also Published As

Publication number Publication date
US20140223474A1 (en) 2014-08-07
EP2798853A4 (en) 2015-07-15
WO2013097160A1 (en) 2013-07-04
TW201342892A (zh) 2013-10-16
EP2798853A1 (en) 2014-11-05

Similar Documents

Publication Publication Date Title
TWI605712B (zh) 互動式媒體系統
KR101894956B1 (ko) 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
CN109257645B (zh) 视频封面生成方法及装置
KR102490438B1 (ko) 디스플레이 장치 및 그 제어 방법
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
CN107430629A (zh) 计算机呈现中的视觉内容的分优先级显示
US20170118298A1 (en) Method, device, and computer-readable medium for pushing information
US10726443B2 (en) Deep product placement
US11900683B2 (en) Setting ad breakpoints in a video within a messaging system
CN111343512B (zh) 信息获取方法、显示设备及服务器
US11792491B2 (en) Inserting ads into a video within a messaging system
US11856255B2 (en) Selecting ads for a video within a messaging system
KR20160016574A (ko) 영상 제공 방법 및 이를 위한 장치
US20210377454A1 (en) Capturing method and device
CN107908324A (zh) 界面展示方法及装置
US11682210B1 (en) Methods and device for video data analysis
CN114491151A (zh) 视频封面生成方法、装置及存储介质
CN114780180A (zh) 一种对象数据显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees