TW201320747A - 對視訊會議串流之自動化隱私調整技術 - Google Patents
對視訊會議串流之自動化隱私調整技術 Download PDFInfo
- Publication number
- TW201320747A TW201320747A TW101119783A TW101119783A TW201320747A TW 201320747 A TW201320747 A TW 201320747A TW 101119783 A TW101119783 A TW 101119783A TW 101119783 A TW101119783 A TW 101119783A TW 201320747 A TW201320747 A TW 201320747A
- Authority
- TW
- Taiwan
- Prior art keywords
- video stream
- stream data
- attention
- video
- participant
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000002329 infrared spectrum Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
方法及系統可包括基於與一不間斷視訊會議對話中的第一參與者相關聯之視訊串流資料來確定一使用者注意位準。視訊串流資料可基於該使用者注意位準來修改,以獲得自動調整隱私的修改的視訊串流資料。除此之外,該修改的視訊串流資料還可被發送至視訊會議對話中的一或多個其他參與者。
Description
此專利申請案主張美國臨時專利申請案第61/494,034號案的優先權。
本發明係有關於對視訊會議串流之自動化隱私調整技術。
傳統的視訊會議可能要花費設置時間,且不知道參與者分享一視訊影像的意願或可得性。雖然一「不間斷」視訊串流可處理參與者可得性的問題,但不間斷饋送可能會引入新的隱私問題。
依據本發明之一實施例,係特地提出一種系統,其包含:一影像擷取裝置,用以獲得與一視訊會議對話中的一第一參與者相關聯之第一視訊串流資料;及邏輯,用以基於該第一視訊串流資料來確定一使用者注意位準,基於該使用者注意位準來修改該第一視訊串流資料,以獲得修改的視訊串流資料,及發送該修改的視訊串流資料給該視訊會議對話中的一第二參與者。
藉由閱讀以下說明書及所附申請專利範圍,且參照下
列圖式,本發明實施例之各種不同的優勢對熟於此技者將是顯而易見的,其中:第1圖是依據一實施例的一視訊會議環境的一範例的一方塊圖;第2圖是依據一實施例,處理視訊串流資料的一方法的一範例的一流程圖;第3圖是依據一實施例,基於使用者注意位準來修改視訊串流資料的一方法的一範例的一流程圖;第4A及4B圖是依據實施例的視訊會議顯示器之範例的螢幕截圖;及第5圖是依據一實施例的一計算系統的一範例的一方塊圖。
實施例可包括具有一指令集合的一電腦可讀儲存媒體,若該指令集合由一處理器執行,致使一電腦基於與一視訊會議對話中的第一參與者相關聯之視訊串流資料來確定一使用者注意位準。該等指令還可致使一電腦基於使用者注意位準來修改視訊串流資料,以獲得修改的視訊串流資料,並將該修改的視訊串流資料發送至該視訊會議對話中的第二參與者。
現在參見第1圖,一視訊會議環境被繪示,其中第一參與者10與第二參與者12進行一「不間斷」視訊會議對話。在所說明之範例中,一照相機16及麥克風18分別擷取第一
參與者10的視訊及音訊內容,第一參與者10使用一顯示器(例如,具有音訊輸出功能的電視機/監視器)14以查看並聽取第二參與者12的視訊及音訊內容(例如,視訊串流資料)。該音訊內容可嵌入視訊串流資料中。第一參與者10的視訊串流資料在透過網路22被發送至第二參與者之前可由一計算系統20來處理。同樣地,照相機24及麥克風26可擷取第二參與者12的視訊串流資料,第二參與者12可使用一顯示器28來查看並聽取第一參與者10之視訊串流資料。因此,第二參與者12之視訊串流資料在透過網路22被發送至第一參與者之前可由一計算系統30來處理。在所說明之範例中,計算系統30確定第二參與者12並未注意顯示器28,且因此,修改視訊串流資料使第二參與者12從第一參與者10的視角來看可見度較低(例如,模糊)且可聽性較低(例如,聲音變弱)。因此,所說明的方法在不注意期間自動提供更多隱私給第二參與者12。
將更詳細討論的是,照相機16、24可各包括一RGB(紅-綠-藍)影像擷取裝置及一深度影像擷取裝置。RGB影像擷取裝置可以是一標準的2D(二維)裝置,而深度影像擷取裝置可包括,例如,IR(紅外線)裝置,諸如由位於華盛頓州雷德蒙德的微軟公司銷售的Kinect裝置。例如,IR裝置可包括在IR譜中起作用的一結構光發射器及擷取由之可計算深度資訊的一IR影像的一IR照相機。其他技術,諸如,飛行時間照相技術等,可用以識別深度資訊。
此外,計算系統20、30可包括用以自RGB-深度資料中
擷取候選人臉區域的邏輯,以及用以確定是否有一人臉存在於候選人臉區域中的邏輯(例如,人臉辨識軟體)。在一範例中,具有一基於反射對稱的正面人臉訓練集的一哈爾特徵分類器可用於人臉正面檢測。因此,視訊串流資料中一面向前方的人臉可等同於一注意的符徵。其他注意檢測方法也可被使用。與僅基於一RGB影像擷取裝置的系統相比,使用一深度影像擷取裝置可提供更高的效率(例如,較迅速的使用者注意位準確定)。
第2圖繪示處理視訊串流資料的一方法32。方法32可被實施為一可執行邏輯指令集合,該可執行邏輯指令集合以使用電路技術的固定功能硬體,諸如特定應用積體電路(ASIC)、互補金屬氧化物半導體(CMOS)或電晶體-電晶體邏輯(TTL)技術,或其組合被儲存在一機器或電腦可讀儲存媒體中,諸如,隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式ROM(PROM)、快閃記憶體、韌體、微碼等。例如,用以實施方法32中所示之操作的電腦程式碼可以寫成一或多個程式語言,包括物件導向程式語言,諸如C++等,與習知的程序化程式語言,諸如「C」程式語言或類似的程式語言的任一組合。此外,方法32之各種不同層面可被實施為使用任一上述電路技術的一處理器之嵌入式邏輯。在一範例中,方法32在裝置驅動程式層被實施,以允許對視訊會議串流使用任一傳輸機制。
處理方塊34用以接收與一視訊會議對話中的第一參與者相關聯之視訊串流資料。在一範例中,視訊會議對話可
以是一不間斷對話,其中參與者可能有時不注意或甚至不在。第一參與者的使用者注意位準可在方塊36確定。如上文所提到的,一基於反射對稱的哈爾特徵分類器可用以確定使用者注意位準。繪示之方塊38基於使用者注意位準來修改視訊串流及音訊資料。應用於視訊串流資料的修改可以是任一適當的隱私保護濾波器。例如,塊濾波器模糊、高斯模糊、對比度降低(例如,遮暗)法等,可用以增加輸出視訊串流資料的隱私性。
現在參見第3、4A及4B圖,基於使用者注意位準來修改視訊串流資料的一方法40及所產生的視訊內容被繪示。所繪示之方塊42確定視訊串流資料是否反映一或多個參與者正在注意。例如,一人臉分析面板44證明一或多個候選人臉區域46(46a-46f)可基於來自深度影像擷取裝置的資料來識別。特別是,一區域46a可對應於一後壁,而另一區域46c可對應於與影像擷取裝置距離不同的一桌子上的一物件,而另一區域46b可對應於參與者的頭部。在所說明的範例中,一注意(例如,面向前方)人臉區域48在候選人臉區域46中被檢出。
若確定參與者正在注意,如同在第4A圖中的情況,則方塊50可降低輸出視訊資料串流的隱私性。因此,可產生參與者完全可見的一視訊輸出52。除此之外,音訊內容也可增至一相對較高的位準,諸如全音量位準。
另一方面,若確定一或多個候選人臉區域54(54a-54c)不包含一注意人臉區域,則可推斷,參與者未注意或不在
視訊擷取區域中。因此,方塊56可增加輸出視訊資料串流的隱私性,使得一視訊輸出58被模糊化,以防止參與者被完全看到。此外,音訊內容還可被消音或以其他方式降低音量。因此,一注意的人臉被檢出的每一時間間隔,注意測度可能增加某一增益。當看不到人臉時,一注意測度可減少一不同增益。此注意測度接著可用以依據某一傳送函數來設定隱私等級(例如,從0-100%)。對於模糊的情況,與隱私等級成反比的一模糊核半徑可被使用。對於音訊,與隱私等級成反比的一音量設定(例如,從0-100%)可被使用。
將更加詳細討論的是,在方塊56中用以控制隱私性增加的增益可能高於在方塊50中用以控制隱私性減少的增益,以實施計入短暫視線移開等的一可調滯後功能。回參第2圖,繪示之方塊39用以發送修改的視訊串流及音訊資料給視訊會議對話中的第二參與者。
第5圖繪示計算平台60,其具有一處理器62、系統記憶體64、一平台控制器中心(PCH)66、大容量儲存器(例如,硬碟/HDD、光碟、快閃記憶體)68、一網路控制器70、一或多個使用者介面(UI)裝置72及各種不同的其他控制器(圖未示)。平台60可以是一行動平台的一部分,行動平台諸如為膝上型電腦、個人數位助理(PDA)、無線智慧型手機、媒體播放器、成像裝置、行動上網裝置(MID)、任一智慧型裝置,諸如智慧型手機、智慧型平板裝置、智慧型TV等,或其任一組合之類。除此之外,平台60還可以是一固定平台,諸
如個人電腦(PC)、伺服器、工作站等的一部分。實際上,平台60可部分或全部併入一視訊會議顯示器,諸如上文討論過的顯示器14、28(第1圖)。因此,處理器62可包括能夠執行一儲存邏輯指令集合的一或多個處理器核心,及被配置成與系統記憶體64通訊的一整合式記憶體控制器(IMC)74。系統記憶體64可包括,例如,被配置成一記憶體模組,諸如,舉例而言,一雙行記憶體模組(DIMM)、小型DIMM(SODIMM)等的動態隨機存取記憶體(DRAM)。
在所說明的範例中,處理器62被配置成執行接收與一視訊會議對話相關聯之視訊串流資料的邏輯76,基於視訊串流資料來確定使用者注意位準,基於使用者注意位準來修改視訊串流資料,及發送修改的視訊串流資料給視訊會議對話中的其他參與者。因此,邏輯76可實施上文討論過的方法32之一或多個層面(第2圖)。如上文所提到的,邏輯76可在裝置驅動程式層實施。
所說明的PCH 66,有時稱作晶片組的南橋,作用為一主機設備,且可與網路控制器70通訊,網路控制器70可提供多種用途的遠離平台無線通訊功能,諸如,舉例而言,蜂巢式電話(例如,W-CDMA(UMTS)、CDMA2000(IS-856/IS-2000等)、WiFi(例如,IEEE 802.11,1999版,LAN/MAN無線LANS)、低率無線PAN(例如,IEEE 802.15.4-2006,LR-WPAN)、藍芽(例如,IEEE 802.15.1-2005,無線個人區域網路)、WiMax(例如,IEEE 802.16-2004,LAN/MAN寬頻無線LANS)、全球定位系統
(GPS)、展頻(例如,900MHz),及其他射頻(RF)電話目的。網路控制器60還可提供遠離平台有線通訊(例如,RS-232(電子工業協會/EIA)、乙太網路(例如,IEEE 802.3-2005,LAN/MAN CSMA/CD存取方法)、電力線通訊(例如,X10,IEEE P1675)、USB(例如,通用串列匯流排2.0規格)、數位用戶線(DSL)、纜線數據機、T1連接)等功能。UI(例如,觸控螢幕、液晶顯示器/LCD、發光二極體/LED、鍵盤、滑鼠等)裝置72可能能夠允許一使用者與平台60互動並察覺來自平台60的資訊。
上述技術的一虛擬碼實施例如可寫出如下。
MAXPUBLIC=200;//改變此值來增加滯後Publicness(公共性)=MAXPUBLIC;對於每一輸入框(DepthIn,ColourIn){識別DepthIn中頭部候選區域(工作於一跨距分段世界座標空間中,必要時可詳細說明此演算法;基於深度的分段。)將候選區域映射至ColourIn(包括DepthIn及ColourIn影像之校準)k=ColourIn中候選區域中的人臉數目(例如,使用一哈爾級聯分類器)if(k>0)Publicness+=k * GAIN(增益);else Publicness-=LOSS(損失);將Publicness定位至(0,MAXPUBLIC)ColourImageOut=BlurByPercentage(ColourIn,
MAX(0,100-Publicness));SetAudioVolume(MIN(100,Publicness));EmitToVideoConference(ColourImageOut);}
因此,實施例可包括一系統,該系統具有獲得與一視訊會議對話中的第一參與者相關聯之第一視訊串流資料的一影像擷取裝置,及基於第一視訊串流資料來確定一使用者注意位準的邏輯。該邏輯還可基於使用者注意位準來修改第一視訊串流資料,以獲得修改的視訊串流資料,並發送修改的視訊串流資料給視訊會議對話中的第二參與者。
實施例也可包括一電腦實施方法,其中一使用者注意位準是基於與一視訊會議對話中的第一參與者相關聯之視訊串流資料來確定的。該方法也可用以基於使用者注意位準來修改視訊串流資料以獲得修改的視訊串流資料,及發送修改的視訊串流資料給視訊會議系統中的第二參與者。
本發明實施例之某些層面可使用硬體、軟體或其組合來實施,且可在一或多個電腦系統或其他處理系統中實施。程式碼可被應用於使用一輸入裝置所輸入的資料以執行所述功能並產生輸出資訊。輸出資訊可應用於一或多個輸出裝置。熟於此技者可了解的是,實施例可利用各種不同的電腦系統配置來實施,包括多處理器系統、迷你電腦、主機電腦等。實施例還可在分散計算環境中實施,其中任務可由透過一通訊網路連結的遠端處理裝置來執行。
每一程式可以被實施為一高階程序化或物件導向程式
語言與一處理系統通訊。然而,若需要的話,程式可以被實施為組合語言或機器語言。在任一種情況下,語言都可被編譯或解譯。
程式指令可用以致使用指令程式化的一通用或特殊目的處理系統執行本文所述方法。可選擇地,該等方法可由包含用以執行該等方法的固線邏輯的特定硬體組件,或由程式化電腦組件與定制硬體組件之任一組合來執行。本文所述方法可被提供為可包括一機器可讀媒體的電腦程式產品,該機器可讀媒體上儲存有可用以程式化一處理系統或其他電子裝置以執行該等方法之指令。本文中所用的「機器可讀媒體」或「機器可存取媒體」二詞應包括能夠儲存或編碼一序列指令供機器執行並致使機器執行本文所述任一方法的任一媒體。「機器可讀媒體」及「機器可存取媒體」二詞因此可包括,但並不限於,固態記憶體、光碟和磁碟,及編碼一資料信號的一載波。此外,業內常見以採取行動或產生結果中的某一種形式提及軟體(例如,程式、流程、程序、應用、模組、邏輯等)。此種表示只是陳述由一處理系統執行軟體而造成處理器執行一動作或產生一結果的簡略表達方式。
「耦合」一詞在本文中使用可指討論中組件之間直接或間接的任一種類型的關係,且可應用於電氣、機械、流體、光學、電磁、電機或其他連接。除此之外,除非另行指出,否則「第一」、「第二」等詞在本文中使用僅是為了協助討論,且不帶有特定的時間或時序意義。
雖然本發明之各種不同的實施例已在上文中描述,但是應理解的是,它們僅以舉例方式來提出而非限制。熟於此技者將理解的是,在不背離由後附申請專利範圍所定義的本發明之精神及範圍的情況下,在本文中可對形式及細節做各種不同的變化。因此,本發明之廣度及範圍不應受上述任一示範性實施例的限制,而應依據下面的申請專利範圍及它們的相等物被定義。
10‧‧‧第一參與者
12‧‧‧第二參與者
14、28‧‧‧顯示器
16、24‧‧‧照相機
18、26‧‧‧麥克風
20、30‧‧‧計算系統
22‧‧‧網路
32‧‧‧方法
34‧‧‧處理方塊
36、38、39、42、50、56‧‧‧方塊
40‧‧‧方法
44‧‧‧人臉分析面板
46(46a-46f)、54(54a-54c)‧‧‧候選人臉區域
46a、46c‧‧‧區域
48‧‧‧注意人臉區域
52、58‧‧‧視訊輸出
60‧‧‧計算平台/平台/網路控制器
62‧‧‧處理器
64‧‧‧系統記憶體
66‧‧‧平台控制器中心(PCH)/PCH
68‧‧‧大容量儲存器
70‧‧‧網路控制器
72‧‧‧使用者介面(UI)裝置/UI裝置
74‧‧‧整合式記憶體控制器(IMC)
76‧‧‧邏輯
第1圖是依據一實施例的一視訊會議環境的一範例的一方塊圖;第2圖是依據一實施例,處理視訊串流資料的一方法的一範例的一流程圖;第3圖是依據一實施例,基於使用者注意位準來修改視訊串流資料的一方法的一範例的一流程圖;第4A及4B圖是依據實施例的視訊會議顯示器之範例的螢幕截圖;及第5圖是依據一實施例的一計算系統的一範例的一方塊圖。
32‧‧‧方法
34‧‧‧處理方塊
36、38、39‧‧‧方塊
Claims (30)
- 一種系統,其包含:一影像擷取裝置,用以獲得與一視訊會議對話中的一第一參與者相關聯之第一視訊串流資料;及邏輯,用以進行下列動作基於該第一視訊串流資料來確定一使用者注意位準,基於該使用者注意位準來修改該第一視訊串流資料,以獲得修改的視訊串流資料,及發送該修改的視訊串流資料給該視訊會議對話中的一第二參與者。
- 如申請專利範圍第1項所述之系統,其中該影像擷取裝置包括一二維(2D)組件及一深度擷取組件,且該邏輯用以識別該第一視訊串流資料中的2D資訊及深度資訊。
- 如申請專利範圍第2項所述之系統,其中該深度擷取組件包括:一結構光發射器,在IR譜中起作用;及一IR照相機,用以擷取一IR影像,其中該邏輯用以基於該IR影像來識別深度資訊。
- 如申請專利範圍第1-3項中任一項所述之系統,其中該邏輯用以進行下列動作:使用該第一視訊串流深度資料來識別一或多個候選人臉區域,自該第一視訊串流資料中擷取該一或多個候選人 臉區域,及對該一或多個候選人臉區域進行一人臉辨識分析。
- 如申請專利範圍第4項所述之系統,其中該邏輯是使用一面向前方的人臉作為該人臉辨識分析中的一注意符徵。
- 如申請專利範圍第1-5項中任一項所述之系統,其中該邏輯用以進行下列動作:如果該使用者注意位準指示該第一參與者正注意該視訊會議對話則將一注意測度增加一第一增益,及如果該使用者注意位準指示該第一參與者未注意該視訊會議對話則將該注意測度減少一第二增益,其中該第一視訊串流資料是基於該注意測度而被修改。
- 如申請專利範圍第6項所述之系統,其中該第一增益是要大於該第二增益。
- 如申請專利範圍第6或7項所述之系統,其中該邏輯基於該注意測度來修改該第一視訊串流資料之一模糊特徵與一對比度特徵中的至少一者。
- 如申請專利範圍第6-8項中任一項所述之系統,其中該邏輯基於該注意測度來修改該視訊串流資料之一音訊音量。
- 如申請專利範圍第1-9項中任一項所述之系統,其進一步包括一網路控制器,其中該邏輯經由該網路控制器發送該修改的視訊串流資料給該第二參與者。
- 如申請專利範圍第10項所述之系統,其中該網路控制器 發送該修改的視訊串流資料給該視訊會議對話中的複數參與者。
- 如申請專利範圍第1-11項中任一項所述之系統,其進一步包括一顯示器以輸出與該視訊會議對話中的該第二參與者相關聯之第二視訊串流資料。
- 一種電腦實施方法,其包含以下步驟:基於與一視訊會議對話中的一第一參與者相關聯之視訊串流資料來確定一使用者注意位準;基於該使用者注意位準來修改該視訊串流資料,以獲得修改的視訊串流資料;及發送該修改的視訊串流資料給該視訊會議對話中的一第二參與者。
- 如申請專利範圍第13項所述之方法,其進一步包括識別該視訊串流資料中的二維(2D)資訊及深度資訊。
- 如申請專利範圍第14項所述之方法,其中該深度資訊包括紅外線(IR)資訊。
- 如申請專利範圍第13-15項中任一項所述之方法,其中確定該使用者注意位準包括以下步驟:使用該視訊串流深度資料來識別一或多個候選人臉區域;自該視訊串流資料中擷取該一或多個候選人臉區域;及對該一或多個候選人臉區域進行一人臉辨識分析。
- 如申請專利範圍第16項所述之方法,其進一步包括使用 一面向前方的人臉作為該人臉辨識分析中的一注意符徵。
- 如申請專利範圍第13-17項中任一項所述之方法,其進一步包括以下步驟:如果該使用者注意位準指示該第一參與者正注意該視訊會議對話則將一注意測度增加一第一增益;及如果該使用者注意位準指示該第一參與者未注意該視訊會議對話則將該注意測度減少一第二增益,其中該視訊串流資料是基於該注意測度來修改的。
- 如申請專利範圍第18項所述之方法,其中該第一增益係大於該第二增益。
- 如申請專利範圍第18或19項所述之方法,其中修改該視訊串流資料包括基於該注意測度來修改該視訊串流資料之一模糊特徵與一對比度特徵中的至少一者。
- 如申請專利範圍第18-20項中任一項所述之方法,其中修改該視訊串流資料包括基於該注意測度來修改該視訊串流資料之一音訊音量。
- 一種電腦可讀儲存媒體,其包含一指令集合,該指令集合若由一處理器來執行,致使一電腦進行下列動作:基於與一視訊會議對話中的一第一參與者相關聯之視訊串流資料來確定一使用者注意位準;基於該使用者注意位準來修改該視訊串流資料,以獲得修改的視訊串流資料;及發送該修改的視訊串流資料給該視訊會議對話中 的一第二參與者。
- 如申請專利範圍第22項所述之媒體,其中該等指令若被執行,致使一電腦識別該視訊串流資料中的二維(2D)資訊及深度資訊。
- 如申請專利範圍第23項所述之媒體,其中該深度資訊包括紅外線(IR)資訊。
- 如申請專利範圍第22-24項中任一項所述之媒體,其中該等指令若被執行,致使一電腦進行下列動作:使用該視訊串流深度資料來識別一或多個候選人臉區域,自該視訊串流資料中擷取該一或多個候選人臉區域;及對該一或多個候選人臉區域進行一人臉辨識分析。
- 如申請專利範圍第25項所述之媒體,其中該等指令若被執行,致使一電腦使用一面向前方的人臉作為該人臉辨識分析中的一注意符徵。
- 如申請專利範圍第22-26項中任一項所述之媒體,其中該等指令若被執行,致使一電腦進行下列動作:如果該使用者注意位準指示該第一參與者正注意該視訊會議對話則將一注意測度增加一第一增益;及如果該使用者注意位準指示該第一參與者未注意該視訊會議對話則將該注意測度減少一第二增益,其中該視訊串流資料是基於該注意測度而被修改。
- 如申請專利範圍第27項所述之媒體,其中該第一增益是 要大於該第二增益。
- 如申請專利範圍第27或28項所述之媒體,其中該等指令若被執行,致使一電腦基於該注意測度來修改該視訊串流資料之一模糊特徵與一對比度特徵中的至少一者。
- 如申請專利範圍第27-29項中任一項所述之媒體,其中該等指令若被執行,致使一電腦基於該注意測度來修改該視訊串流資料之一音訊音量。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161494034P | 2011-06-07 | 2011-06-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201320747A true TW201320747A (zh) | 2013-05-16 |
TWI575957B TWI575957B (zh) | 2017-03-21 |
Family
ID=46457652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101119783A TWI575957B (zh) | 2011-06-07 | 2012-06-01 | 對視訊會議串流之自動化隱私調整技術 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9313454B2 (zh) |
EP (1) | EP2719170A4 (zh) |
CN (1) | CN103828349B (zh) |
TW (1) | TWI575957B (zh) |
WO (1) | WO2012094042A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI727337B (zh) * | 2019-06-06 | 2021-05-11 | 大陸商鴻富錦精密工業(武漢)有限公司 | 電子裝置及人臉識別方法 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9313454B2 (en) | 2011-06-07 | 2016-04-12 | Intel Corporation | Automated privacy adjustments to video conferencing streams |
US20140096261A1 (en) * | 2012-10-01 | 2014-04-03 | Nokia Corporation | Method and apparatus for providing privacy policy for data stream |
US10547713B2 (en) | 2012-11-20 | 2020-01-28 | Nvidia Corporation | Method and system of transmitting state based input over a network |
US20140195594A1 (en) * | 2013-01-04 | 2014-07-10 | Nvidia Corporation | Method and system for distributed processing, rendering, and displaying of content |
US9407704B2 (en) * | 2013-08-13 | 2016-08-02 | Bank Of America Corporation | Virtual position display and indicators |
EP2854396A1 (en) * | 2013-09-27 | 2015-04-01 | Alcatel Lucent | Method and devices for determining visual attention in multi-location video conferencing |
US9055191B1 (en) | 2013-12-13 | 2015-06-09 | Google Inc. | Synchronous communication |
CN104836977B (zh) | 2014-02-10 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 即时通讯过程中的视频通讯方法及系统 |
US9307200B2 (en) * | 2014-04-10 | 2016-04-05 | Cisco Technology, Inc. | Use of face and motion detection for best view framing in video conference endpoint |
CN105306869A (zh) * | 2014-06-25 | 2016-02-03 | 三亚中兴软件有限责任公司 | 多媒体会议系统中控制多媒体播放的方法、设备及系统 |
US9319633B1 (en) * | 2015-03-19 | 2016-04-19 | Cisco Technology, Inc. | Ultrasonic echo canceler-based technique to detect participant presence at a video conference endpoint |
US10142593B2 (en) * | 2015-03-24 | 2018-11-27 | Sony Corporation | Information processing device, information processing method, client device, server device, and information processing system |
US9628757B2 (en) * | 2015-08-14 | 2017-04-18 | Microsoft Technology Licensing, Llc | Dynamic communication portal between locations |
US9848167B1 (en) * | 2016-06-21 | 2017-12-19 | Amazon Technologies, Inc. | Low bandwidth video |
CN106161985B (zh) * | 2016-07-05 | 2019-08-27 | 宁波菊风系统软件有限公司 | 一种浸入式视频会议的实现方法 |
US10419511B1 (en) * | 2016-10-04 | 2019-09-17 | Zoom Video Communications, Inc. | Unique watermark generation and detection during a conference |
CN109845246B (zh) * | 2016-10-20 | 2021-12-14 | 索尼公司 | 信息处理装置、信息处理方法、程序和通信系统 |
US11128675B2 (en) | 2017-03-20 | 2021-09-21 | At&T Intellectual Property I, L.P. | Automatic ad-hoc multimedia conference generator |
US10834361B2 (en) * | 2017-04-18 | 2020-11-10 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
US10510153B1 (en) | 2017-06-26 | 2019-12-17 | Amazon Technologies, Inc. | Camera-level image processing |
US10580149B1 (en) | 2017-06-26 | 2020-03-03 | Amazon Technologies, Inc. | Camera-level image processing |
JP7056339B2 (ja) * | 2018-04-12 | 2022-04-19 | 富士通株式会社 | ユーザ支援プログラム、ユーザ支援装置及びユーザ支援方法 |
US10902274B2 (en) * | 2018-04-30 | 2021-01-26 | Adobe Inc. | Opting-in or opting-out of visual tracking |
US10666954B2 (en) * | 2018-06-19 | 2020-05-26 | International Business Machines Corporation | Audio and video multimedia modification and presentation |
US10440324B1 (en) * | 2018-09-06 | 2019-10-08 | Amazon Technologies, Inc. | Altering undesirable communication data for communication sessions |
US10785421B2 (en) | 2018-12-08 | 2020-09-22 | Fuji Xerox Co., Ltd. | Systems and methods for implementing personal camera that adapts to its surroundings, both co-located and remote |
US11343412B2 (en) * | 2019-10-22 | 2022-05-24 | Intel Corporation | User detection and user attention detection using multi-zone depth sensing |
CN114667726A (zh) * | 2019-11-18 | 2022-06-24 | 谷歌有限责任公司 | 来自视听流的隐私感知会议室转录 |
EP3923243A1 (en) * | 2020-06-09 | 2021-12-15 | Koninklijke Philips N.V. | Providing augmented image feed |
US11783082B2 (en) | 2020-10-20 | 2023-10-10 | T-Mobile Usa, Inc. | Privacy manager |
TWI757940B (zh) * | 2020-10-29 | 2022-03-11 | 宏碁股份有限公司 | 視訊會議系統及其排除打擾的方法 |
US11838684B2 (en) * | 2021-01-26 | 2023-12-05 | Dell Products, Lp | System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications |
US11669639B2 (en) * | 2021-02-25 | 2023-06-06 | Dell Products L.P. | System and method for multi-user state change |
JP7292343B2 (ja) * | 2021-09-27 | 2023-06-16 | ソフトバンク株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020003310A (ko) | 2001-08-13 | 2002-01-12 | (주)더밸류테크놀로지 | 음성 및 화상의 변조 알고리즘을 이용한 유무선인터넷상의 화상통신시스템 |
US7379560B2 (en) * | 2003-03-05 | 2008-05-27 | Intel Corporation | Method and apparatus for monitoring human attention in dynamic power management |
US20050099492A1 (en) * | 2003-10-30 | 2005-05-12 | Ati Technologies Inc. | Activity controlled multimedia conferencing |
US7564476B1 (en) * | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
US7768543B2 (en) * | 2006-03-09 | 2010-08-03 | Citrix Online, Llc | System and method for dynamically altering videoconference bit rates and layout based on participant activity |
US8044989B2 (en) * | 2006-12-12 | 2011-10-25 | General Instrument Corporation | Mute function for video applications |
TW200844849A (en) * | 2007-05-15 | 2008-11-16 | Chien-Cheng Lee | A collaborative telemedicine system |
US8392503B2 (en) * | 2007-06-19 | 2013-03-05 | Cisco Technology, Inc. | Reporting participant attention level to presenter during a web-based rich-media conference |
US20090041311A1 (en) * | 2007-08-09 | 2009-02-12 | Jon Hundley | Facial recognition based content blocking system |
US20100064010A1 (en) * | 2008-09-05 | 2010-03-11 | International Business Machines Corporation | Encouraging user attention during presentation sessions through interactive participation artifacts |
TWI387292B (zh) * | 2008-09-23 | 2013-02-21 | Univ Chang Gung | Secure video conferencing systems and methods |
US8744121B2 (en) * | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US20110063440A1 (en) * | 2009-09-11 | 2011-03-17 | Neustaedter Carman G | Time shifted video communications |
US8462191B2 (en) * | 2010-12-06 | 2013-06-11 | Cisco Technology, Inc. | Automatic suppression of images of a video feed in a video call or videoconferencing system |
US9313454B2 (en) | 2011-06-07 | 2016-04-12 | Intel Corporation | Automated privacy adjustments to video conferencing streams |
US8976218B2 (en) * | 2011-06-27 | 2015-03-10 | Google Technology Holdings LLC | Apparatus for providing feedback on nonverbal cues of video conference participants |
US8750472B2 (en) * | 2012-03-30 | 2014-06-10 | Cisco Technology, Inc. | Interactive attention monitoring in online conference sessions |
US9118940B2 (en) * | 2012-07-30 | 2015-08-25 | Google Technology Holdings LLC | Video bandwidth allocation in a video conference |
-
2011
- 2011-10-01 US US14/124,522 patent/US9313454B2/en active Active
- 2011-10-01 CN CN201180072739.8A patent/CN103828349B/zh not_active Expired - Fee Related
- 2011-10-01 EP EP11854996.3A patent/EP2719170A4/en not_active Withdrawn
- 2011-10-01 WO PCT/US2011/054488 patent/WO2012094042A1/en active Application Filing
-
2012
- 2012-06-01 TW TW101119783A patent/TWI575957B/zh not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI727337B (zh) * | 2019-06-06 | 2021-05-11 | 大陸商鴻富錦精密工業(武漢)有限公司 | 電子裝置及人臉識別方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2719170A1 (en) | 2014-04-16 |
WO2012094042A1 (en) | 2012-07-12 |
CN103828349A (zh) | 2014-05-28 |
US20140368604A1 (en) | 2014-12-18 |
EP2719170A4 (en) | 2015-06-17 |
WO2012094042A8 (en) | 2014-01-23 |
TWI575957B (zh) | 2017-03-21 |
US9313454B2 (en) | 2016-04-12 |
CN103828349B (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI575957B (zh) | 對視訊會議串流之自動化隱私調整技術 | |
US10789685B2 (en) | Privacy image generation | |
TWI803590B (zh) | 藉由所關注區域之制定的異步時間及空間翹曲 | |
US9898870B2 (en) | Techniques to present location information for social networks using augmented reality | |
CN110100251B (zh) | 用于处理文档的设备、方法和计算机可读存储介质 | |
CN106030503B (zh) | 自适应视频处理 | |
CN109788189B (zh) | 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法 | |
WO2020082902A1 (zh) | 视频的音效处理方法及相关产品 | |
CN107251567B (zh) | 用于生成视频流的注释的方法和装置 | |
US9332167B1 (en) | Multi-directional camera module for an electronic device | |
WO2020155711A1 (zh) | 图像生成方法及装置、电子设备和存储介质 | |
TW201901527A (zh) | 視訊會議裝置與視訊會議管理方法 | |
US20140179380A1 (en) | Method and apparatus for controlling audio signal in portable terminal | |
CN111277893B (zh) | 视频处理方法、装置、可读介质及电子设备 | |
TW202032425A (zh) | 圖像處理方法及裝置、電子設備和儲存介質 | |
WO2021114592A1 (zh) | 视频降噪方法、装置、终端及存储介质 | |
WO2022227394A1 (zh) | 图像处理方法、装置、设备、存储介质及程序 | |
US9445073B2 (en) | Image processing methods and systems in accordance with depth information | |
KR20210010517A (ko) | 자세 교정 | |
CN109302563B (zh) | 防抖处理方法、装置、存储介质及移动终端 | |
EP3048524B1 (en) | Document display support device, terminal, document display method, and computer-readable storage medium for computer program | |
US9292906B1 (en) | Two-dimensional image processing based on third dimension data | |
WO2021068729A1 (zh) | 图像合成方法、装置、电子设备及计算机可读存储介质 | |
US11765460B2 (en) | Digital zoom based on remote user instructions of live video | |
JP2023540021A (ja) | ブラウザにおけるリアルタイム仮想テレポーテーション |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |