TW202245440A - 透過修改音訊和視訊介面來廣播情境資訊 - Google Patents

透過修改音訊和視訊介面來廣播情境資訊 Download PDF

Info

Publication number
TW202245440A
TW202245440A TW111111132A TW111111132A TW202245440A TW 202245440 A TW202245440 A TW 202245440A TW 111111132 A TW111111132 A TW 111111132A TW 111111132 A TW111111132 A TW 111111132A TW 202245440 A TW202245440 A TW 202245440A
Authority
TW
Taiwan
Prior art keywords
signal
electronic device
information
video
recipient
Prior art date
Application number
TW111111132A
Other languages
English (en)
Inventor
哈瑞 克洛寧
珍 伯格
克里斯多夫 萊特
大衛 杜菲
菲爾 卡登
Original Assignee
日商Jvc建伍股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Jvc建伍股份有限公司 filed Critical 日商Jvc建伍股份有限公司
Publication of TW202245440A publication Critical patent/TW202245440A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65Arrangements characterised by transmission systems for broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/78Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by source locations or destination locations
    • H04H60/80Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by source locations or destination locations characterised by transmission among terminal devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B11/00Transmission systems employing sonic, ultrasonic or infrasonic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/53Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers
    • H04H20/61Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers for local area broadcast, e.g. instore broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/63Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for services of sales
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H04H20/31Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/50Aspects of broadcast communication characterised by the use of watermarks

Abstract

這裡介紹的是從當前輸出介面訊號的第一電子裝置(也稱為「源電子裝置」)傳輸相關資訊的方法,所述介面訊號可由第二電子裝置(也稱為「接收方電子裝置」)透過修改介面訊號來檢測。這種修改致使相關資訊被添加到介面訊號,接著被傳送到接收方電子裝置。這可以透過將代表相關資訊的另一個訊號疊加到介面訊號上來實現。因此,可以透過將訊號疊加到由源電子裝置輸出的介面訊號上來將相關資訊從源電子裝置傳送到接收方電子裝置。

Description

透過修改音訊和視訊介面來廣播情境資訊
本揭露涉及資訊的無線通訊,並且更具體地,涉及透過修改可聽覺上或視覺上可檢測的內容在電子裝置之間無線傳遞資訊的方法。 相關申請案的交叉參照
本申請案請求於2021年3月29日提交的標題為「Contextual Data Broadcasts Via Audio-Visual Interface Modifications」的美國臨時申請案第63/167,461號的優先權,所述申請案的全部內容透過參照併入本文。
隨著電子裝置不斷地用於發展中的物聯網(IoT),個人希望在大部分時間都連接到網際網路、電子裝置和彼此。從歷史上看,這是透過統稱為「Wi-Fi」的無線網路協定實現的。這些無線網路協定允許附近的電子裝置使用無線電波交換資料。
對更好連接性的需求增加了對幾乎所有電子裝置能夠即時處理音訊或視訊接著在局部執行數位訊號處理的期待。考慮到這些功能,許多公司已經開始開發新技術來促進電子裝置之間的無線互動。這些技術的其中一項是聲音上的資料。聲音上的資料支援在包括音訊輸出部件的第一電子裝置(也稱為「源電子裝置」)和包括音訊輸入機制的第二電子裝置(也稱為「接收方電子裝置」)之間交換資料。
在高階層上,聲音上的資料的功能類似於快速響應(QR)碼,只是資料是透過聲學頻道傳輸的。在實踐中,第一電子裝置將資料編碼為聲音訊號,例如,作為形成「聲音條碼」的一系列音調。接著,第一電子裝置發出聲音訊號以供第二電子裝置接收。在接收到時,第二電子裝置解調聲學訊號以解碼其中編碼的資料。
透過聲音傳輸資料有幾個好處,這個概念通常被稱為「聲學資料傳輸」或「聲音資料傳輸」。通常,聲學資料傳輸是使用聽不見的聲音訊號(也稱為「超音波聲音訊號」)完成的,儘管聲學資料傳輸可以使用聽得見的聲音訊號來完成。因此,聲學資料傳輸可能在很大程度上(如果不是完全的話)對於附近的個人來說是感覺不到的。此外,由於聲學連接取決於音訊輸出和輸入部件,因此當前使用的許多電子裝置都能夠參與聲音資料傳輸。簡而言之,聲學資料傳輸與不同外形、架構等的電子裝置相容。例如,超音波聲音訊號可以由給定的電子裝置作為「廣告cookie」廣播,附近電子裝置的「始終開啟」音訊輸入部件可以收集和檢查所述「廣告cookie」。聲音資料傳輸也是安全的,因為未經授權的存取將要求負責的個人(也稱為「駭客」)位於發出聲音訊號的電子裝置附近,以便存取其中編碼的資料。
然而,聲學資料傳輸確實有幾個缺點。
例如,雖然聲學資料傳輸不需要如網際網路的任何網路,但實現必要的框架通常確實需要連接到網路。例如,假設資料要透過聲音從源電子裝置傳輸到接收方電子裝置。在這種情景下,源電子裝置可能需要一個框架,所述框架例如指示何時或如何將資料傳輸到接收方電子裝置。用語「框架」可以指控制或影響聲學資料傳輸如何由源電子裝置實現的演算法、啟發法或規則的集合。通常,所述框架是透過軟體實現的。
然而,許多電子裝置無法啟動與網路的連接。例如,儘管聯網銷售點系統(也稱為「支付系統」)的採用速度相對較快,但許多傳統支付系統仍在配置。事實上,研究指出,2020年美國境內配置的支付系統中約有93%不是「雲端相容」。類似地,絕大多數傳統廣告系統不是「雲端相容」的。然而,這些傳統支付系統和廣告系統通常確實包括音訊輸出部件或視訊輸出部件。
作為另一個範例,聲學資料傳輸在某些情況下可能是不切實際的或不可能的。特別是,聲學資料傳輸歷來不適合用流式傳輸到一或多個接收方電子裝置的可聽內容來實現。這使得聲學資料傳輸難以在時間敏感的情況下實現,如傳輸支付交易的收據和投放廣告,因為傳輸的資料與給定的時間點相關(因此,及時性是必不可少的)。
因此,這裡介紹的是透過修改介面訊號將相關資訊從當前正在輸出介面訊號的源電子裝置傳送到接收方電子裝置的方法。這種修改致使相關資訊被添加到介面訊號,接著被傳送到接收方電子裝置。這可以透過將代表相關資訊的另一個訊號疊加到介面訊號上來實現。因此,可以透過將訊號疊加到由源電子裝置輸出的介面訊號上來將相關資訊從源電子裝置傳送到接收方電子裝置。
如以下進一步討論的,介面訊號的性質(以及因此代表相關資訊的疊加訊號)可以取決於源電子裝置和接收方電子裝置的能力。例如,假設源電子裝置包括(i)能夠輸出音訊訊號的音訊輸出部件和(ii)能夠輸出視訊訊號的視訊輸出部件。在這種情景下,介面訊號可以表示由音訊輸出部件發出的音訊訊號,或者介面訊號可以表示由視訊輸出部件顯示的視訊訊號。
因此,可以用取決於介面訊號的情境和內容、源電子裝置的性質或接收方電子裝置的性質的方式包括疊加訊號。在一些實施例中,透過設計超音波聲音訊號來傳達相關資訊,所述超音波訊號以接收方電子裝置可聽覺上檢測但與接收方電子裝置相關的個人不可聽覺上檢測的方式對相關資訊進行編碼。在其它實施例中,透過設計視訊修改來傳輸相關資訊,所述視訊修改以接收方電子裝置可(視覺上或其它方式)檢測但對應個人不可視覺上檢測的方式對相關資訊進行編碼。例如,視訊修改可以被設計和實現為可被包括在接收方電子裝置中的雷達系統檢測到。雷達系統的一個範例是毫米波(mmWave)雷達系統,其包括(i)能夠產生毫米(mm)範圍內的電磁波的發射器,(ii)能夠發射毫米(mm)範圍內的電磁波的第一天線,以及(iii)能夠接收毫米範圍內的電磁波的第二天線。通常,用語「毫米範圍」和「毫米波範圍」是指24千兆赫(GHz)和300 GHz之間的電磁頻譜部分。相關的第二種檢測方法是光學相機通訊(OCC),其中視訊修改是根據本領域已知的方案之一設計為可被包括在對於顯示視訊修改的顯示器具有視覺視線的電子裝置中的影像感測器檢測到。
在一些實施例中,疊加訊號的內容是基於對介面訊號的內容的即時分析來確定的。例如,疊加訊號可以包括關於介面訊號中提到或顯示的產品的資訊,或者疊加訊號可以包括使用介面訊號促進或完成的支付交易的數位收據。額外地或替代地,疊加訊號的時序可以基於對介面訊號的內容的即時分析來確定。換句話說,疊加訊號所覆蓋的介面訊號部分可以取決於介面訊號的內容。例如,如果疊加訊號包括在一段時間間隔內在介面訊號中提及或顯示的產品的資訊,則疊加訊號可以在時間間隔內與介面訊號組合,以使資訊可存取為正被提及或顯示的產品。作為另一範例,如果疊加訊號包括使用介面訊號促成或完成的支付交易的數位收據,則疊加訊號可以響應於基於介面訊號分析來確定支付交易完成而與介面訊號組合。
疊加的訊號也可以唯一地鏈結到接收方電子裝置(因此,與接收方電子裝置相關的個人)。疊加的訊號可以透過時間、內容和諸如位置的其它特徵(例如,基於全球定位系統座標、網際網路協定位址等確定的)唯一地鏈結到接收方電子裝置。因此,(i)第一訊號的內容,(ii)第二訊號的內容,或(iii)第二訊號疊加在第一訊號上的方式致使第二訊號唯一地與接收方電子裝置相關。例如,假設源電子裝置的任務是向多個接收方電子裝置傳輸資訊。在這種情景下,與每個接收方電子裝置相關的資訊可以疊加在介面訊號的不同部分上。這允許源電子裝置將資訊依序地傳送給多個接收裝置。
接收方電子裝置接收介面訊號和隨後解碼疊加訊號也可以允許其它功能。例如,可以使接收方電子裝置上的某些使用者介面(UI)特徵可存取以互動一段時間(例如,只要接收方電子裝置可檢測到疊加訊號)。如此,疊加訊號可以充當允許基於位置提供情境化資料的信標。
為了說明的目的,可以在給定情境中傳輸相關資訊的情境中描述實施例。例如,可以在用相關資訊補充廣告或為支付交易提供數位收據的情境中描述實施例。然而,本文描述的方法可以類似地適用於將受益於從一個電子裝置到另一電子裝置的資料無線傳輸的其它情境。
儘管不是必需的,但以下在可由電子裝置執行的指令的情境中描述實現。用語「電子裝置」通常與用語「計算裝置」互換使用,因此可用於指代電腦伺服器、支付系統、廣告系統、平板電腦、行動電話、可穿戴裝置(例如,健身追蹤器和手錶)等。
儘管可以將諸如某些模組之類的技術的態樣描述為由單一電子裝置排他地或主要地執行,但是一些實現在分佈式環境中實施,其中模組在透過網路鏈結的多個電子裝置之間共享。例如,個人可以指示需要關於由廣告系統顯示的產品的額外資訊。在這種情景下,廣告系統可以從可透過網路(例如,網際網路)存取的電腦伺服器檢索資訊,接著將資訊傳送到與個人相關的行動電話,如上所述。或者,資訊可以儲存在廣告系統上,因此廣告系統可能不需要連接到網路。 用語
在本說明書中對「一實施例」或「一個實施例」的參照意味著所描述的特徵、功能、結構或特性包括在本技術的至少一個實施例中。這些短語的出現不一定指同一實施例,也不一定指相互排斥的替代實施例。
除非情境另有明確要求,否則用語「包括」、「包含」和「由...組成」應理解為包容性的含義,而不是排他性或窮舉性的含義(也就是說,「包括但不限於」)。用語「基於」也應被解釋為包容性的含義,而不是排他性或窮舉性的含義。因此,除非另有說明,否則用語「基於」意於表示「至少部分基於」。
用語「連接的」、「耦接的」及其變體意於包括兩個或更多個元件之間的任何連接或耦接,無論是直接或間接的。連接/耦接可以是實體的、邏輯的或其組合。例如,儘管不共享實體連接,但物件可以彼此電耦接或通訊耦接。
用語「模組」可以指軟體部件、韌體部件或硬體部件。模組通常是基於一或多個輸入生成一或多個輸出的功能部件。舉例而言,電腦程式可以包括負責完成不同任務的多個模組或負責完成所有任務的單一模組。
當使用多個項目的列表的參照時,用語「或」意於涵蓋以下所有解釋:列表中的任何項目、列表中的所有項目以及列表中的項目的任何組合。
本文描述的任何程序中執行的步驟序列是範例性的。然而,除非與實體可能性相反地,這些步驟可以用各種順序和組合來執行。例如,可以在本文描述的程序中添加或刪除步驟。類似地,步驟可以被替換或重新排序。因此,任何程序的描述都是開放式的。 透過訊號操縱傳達資訊的簡介
圖1包括顯示相關資訊可以如何覆蓋在源電子裝置102輸出的介面訊號上的高階圖示。如上所述,介面訊號可以是由音訊輸出部件106輸出的音訊訊號104,或者介面訊號可以是由視訊輸出部件110輸出的視訊訊號108。
在高階層,這裡介紹的方法允許相關資訊覆蓋在介面訊號上,以便傳輸到接收方電子裝置112。雖然源電子裝置102和接收方電子裝置112可以具有網路連接(例如,透過各自的天線),這些裝置可能無法直接相互連接。額外地或替代地,源電子裝置102可能不能夠確定哪些電子裝置(如果有的話)位於給定鄰近範圍內以允許經由無線通訊頻道進行鏈結。即使在這些情景下,這裡介紹的方法也允許相關資訊從源電子裝置102傳送到接收方電子裝置112。
如以下進一步討論的,情境檢測演算法114(或簡稱為「檢測演算法」)可以負責檢測介面訊號的內容的情境。基於情境,接著可以識別要向接收方電子裝置112廣播的相關資訊。通常,檢測演算法114在局部(也就是說,在源電子裝置102上)分析內容,儘管內容可以由其它地方的檢測演算法114檢查。例如,在一些實施例中,檢測演算法114可以由源電子裝置通訊連接到的另一電子裝置(例如,電腦伺服器)執行。
此後,被設計用於傳輸相關資訊的適當修改可以由覆蓋生成系統116識別。如下文參考圖2進一步討論的,覆蓋生成系統116可以包括修改演算法、疊加演算法、訊號資料庫,或其任意組合。可以將適當的修改設計為覆蓋在介面訊號上,以便允許將相關資訊廣播到附近的電子裝置,諸如接收方電子裝置112。例如,可以透過對音訊訊號104的修改來廣播相關資訊,使得修改可由音訊輸入部件檢測到。作為另一個範例,可以透過視訊訊號108的修改來廣播相關資訊,使得所述修改可由視訊輸入部件或一些其它感測器(例如,毫米波雷達系統)檢測到。
出於說明的目的,修改顯示為二進制字串,即0101001101,其可以覆蓋在介面訊號上,以便產生操縱訊號。透過將修改覆蓋在音訊訊號104上,覆蓋生成系統116可以產生可被廣播以供接收方電子裝置112檢測的操縱音訊訊號118。類似地,透過將修改覆蓋在視訊訊號108上,覆蓋生成系統116可以產生可以廣播以供接收方電子裝置112檢測的操縱視訊訊號120。
通常,覆蓋生成系統116僅操縱音訊訊號104和視訊訊號108之一。然而,可能存在覆蓋生成系統116操縱音訊訊號104和視訊訊號108的情景。例如,如果檢測演算法114和覆蓋生成系統116是其一部分的操縱平台不確定接收方電子裝置112將能夠檢測那些訊號中的哪些訊號,則可以廣播操縱的音訊訊號118和操縱的視訊訊號120以供接收方電子裝置112檢測。作為另一個範例,如果操縱平台對劃分相關資訊感興趣(例如,出於隱私目的,由於這些頻道的帶寬或延遲等),則可以廣播操縱的音訊訊號118和操縱的視訊訊號120以供接收方電子裝置112檢測。在廣播操縱的音訊訊號118和操縱的視訊訊號120以供檢測的實施例中,那些訊號可以包括相同的資訊或不同的資訊。
如圖1所示,接收方電子裝置112可以檢測由源電子裝置102廣播的操縱訊號。如果操縱的訊號為操縱的音訊訊號118,則接收方電子裝置112可以透過音訊輸入部件來檢測操縱訊號。如果操縱的訊號為操縱的視訊訊號120,則接收方電子裝置112可以透過視訊輸入部件或一些其它感測器(例如,能夠感測視訊螢幕狀態的毫米波雷達系統)來檢測操縱訊號。接著可以由接收方電子裝置從操縱的訊號中解碼資料。基於此資料和其它特徵(例如,時間和位置),可以將相關資訊提供給接收方電子裝置112的使用者。相關資訊的範例包括針對品牌、產品和商家的個性化報價、用於支付交易的數位收據等等。 訊號操縱平台的概述
圖2包括系統200的高階表示,系統200可用於將機器可解釋的編碼資料從電子裝置204廣播到一或多個其它電子裝置(未顯示)。出於說明的目的,電子裝置204可以被稱為「源電子裝置」,而其它電子裝置可以被稱為「接收方電子裝置」。為了廣播機器可解釋的編碼資料,訊號操縱平台202(或簡稱為「操縱平台」)可以操縱由電子裝置204輸出的介面訊號。例如,操縱平台204可以操縱由電子裝置204的視訊輸出部件206顯示的視訊訊號,或者操縱平台204可以操縱由電子裝置204的音訊輸出部件208發出的音訊訊號。這些操縱可以用下列方式設計和實現:由此生成的視訊訊號或音訊訊號的變化對於與接收方電子裝置相關的個人來說可能在很大程度上(如果不是完全的話)是感官上不可察覺的。這些個人可以被稱為接收方電子裝置的「使用者」。
請注意,用語「感官上可察覺」可以指可以透過通常人類的感官看到、注意到或以其它方式檢測到的刺激。刺激可以是視覺可感知的、聽覺可感知的、觸覺可感知的等。視覺刺激的範例包括靜態圖片和動態圖片,聽覺刺激的範例包括有聲書、播客、無線電廣播。一些刺激可能被一種以上的感官所感知(例如,視訊訊號可能是視覺和聽覺上可感知的)。因此,用語「感官上不可察覺」可用於指不能透過通常人類的感官看到、注意到或以其它方式檢測到的刺激。
例如,假設個人訪問正在發出可聽內容的零售機構。當個人穿過零售機構時,可以操縱底層音訊訊號以包括關於由零售機構提供的產品或零售機構本身的資訊。例如,所述資訊可以是指向網站的超鏈結(或簡稱「鏈結」),其中包括關於零售機構提供的產品或促銷活動的詳細資訊。雖然這將致使底層音訊訊號被操縱,但人耳可能無法檢測到所述操縱。因此,個人可能不知道底層音訊訊號已被操縱,儘管她的電子裝置可以檢測到所述操縱。透過解碼被操縱的音訊訊號,電子裝置可以「發現」資訊。當個人在她家中收聽播客、在她的車中收聽廣播、在諸如購物中心或機場等公共環境中行走時,可以執行透過修改可聽內容來傳輸資訊的類似程序。
作為另一個範例,假設個人在佩戴擴增實境耳機(也稱為「混合實境耳機」)時穿越公共或私人環境。當個人穿越所述環境時,她可能會觀察到顯示面板,這些顯示面板在視覺上呈現與產品、人員、事件等相關的內容。如下文進一步討論的,可以操縱在這些顯示面板上顯示的視覺內容以包括關於那些產品、人、事件等的資訊。例如,如果內容與給定藝術家的音樂表演相關,則所述資訊可以是指向所述網站的鏈結,透過所述網站可以購買音樂表演的門票。作為另一範例,如果內容與正在電影院放映的電影相關,則所述資訊可以是指向所述電影的預告片的鏈結。再一次,操縱將致使底層視訊訊號發生變化;然而,人眼可能無法檢測到所述操縱。因此,個人可能不知道底層視訊訊號已被操縱,儘管她的混合實境耳機可能會檢測到所述操縱。透過對被操縱的視訊訊號進行解碼,混合實境耳機可以「發現」資訊。可以由包括能夠視覺監測環境的感測器(例如,影像感測器)的其它類型的電子裝置執行類似的程序。此類電子裝置的範例包括行動電話、可穿戴相機以及一些手錶和健身配件。作為具體範例,當行動電話圍繞包括顯示面板的環境平移時,行動電話可能能夠檢測視覺內容的修改。
如圖2所示,系統200包括可以存取視訊輸出部件206、音訊輸出部件208、處理器210或其任何組合的操縱平台202。本領域的技術人員將認識到,所有這些部件不一定必須包括在電子裝置204中。例如,在一些實施例中,電子裝置204可以包括音訊輸出部件208但不包括視訊輸出部件206。在其它實施例中,電子裝置204可以包括視訊輸出部件206但不包括音訊輸出部件208。電子裝置204還可以包括除了圖2中所示的部件之外的其它部件。例如,電子裝置204可以包括除了音訊輸出部件208之外的音訊輸入部件,以便允許電子裝置204與接收方電子裝置或那些裝置的使用者之間的可聽互動。音訊輸入部件的一個範例是麥克風,其被設計為將聲音轉換為電脈衝以形成可由電子裝置204的其它部件處理的訊號。
視訊輸出部件206可以是可操作以將視訊訊號的內容可視地傳送給個人和對應的接收方電子裝置的任何機構。例如,視訊輸出部件206可以是包括發光二極體(LED)、有機LED、液晶元件或電泳元件的顯示面板。
音訊輸出部件208可以是可操作以將音訊訊號的內容可聽地傳送到個人和對應的接收方電子裝置的任何機構。例如,音訊輸出部件208可以是設計成將電脈衝轉換為聲音的揚聲器(loudspeaker)(或簡稱為「揚聲器(speaker)」)。
所述電子裝置204可以被稱為「音訊-視訊裝置」或「視聽裝置」,因為它能夠利用音訊輸出部件208輸出音訊訊號並且能夠利用視訊輸出部件206輸出視訊訊號。如上所述,在操作中,所述電子裝置204可以輸出使用者可檢測到的介面訊號。在介面訊號表示音訊訊號的實施例中,所述電子裝置204可以被描述為生成或支援使用者可以與之互動的「音訊介面」。在介面訊號表示視訊訊號的實施例中,所述電子裝置204可以被描述為生成或支援使用者可以與之互動的「視訊介面」或「視覺介面」。在一些情景下,所述電子裝置204可以輸出多個介面訊號,例如,由音訊輸出部件208輸出的音訊訊號和由視訊輸出部件206輸出的視訊訊號。在這種實施例中,所述電子裝置204可以被描述為生成或支援使用者可以與之互動的「音訊-視訊介面」或「視聽介面」。如下文進一步討論的,操縱平台202可以操縱這些介面訊號中之一或兩者。
如圖2所示,操縱平台202可以包括訊號修改演算法212(或簡稱為「修改演算法」)、訊號疊加演算法214(或簡稱為「疊加演算法」)和訊號資料庫216。訊號資料庫216可以儲存代表可以與接收方電子裝置共享的資訊的各種訊號。換句話說,訊號資料庫216可以儲存可以疊加在由電子裝置204輸出的介面訊號上的各種訊號。如下文進一步討論的,訊號資料庫216中的訊號可以根據透過電子裝置204、電子裝置204的部件或接收方電子裝置的部件輸出的介面訊號的性質而變化。因此,訊號資料庫216可以包括聲音訊號、視訊訊號或其組合。訊號資料庫216中的訊號可以被加密、散列或以其它方式混淆以防止未經授權的存取。
在一些實施例中,操縱平台202被配置成近乎即時地生成將疊加在介面訊號上的訊號。例如,操縱平台202可以基於對介面訊號的內容的即時分析來建立要疊加在介面訊號上的訊號。作為另一範例,操縱平台202可以基於接收方電子裝置的一或多個特性(例如,以一或多個資料封包的形式透過分析從接收方電子裝置發送到電子裝置204的通訊而獲知),建立將疊加在介面訊號上的訊號。在訊號由操縱平台近乎即時地生成的實施例中,訊號可能根本不儲存在訊號資料庫216中,或者訊號可能僅在訊號資料庫216中儲存很短的時間量(例如,幾秒鐘或更短),直到資訊傳輸完成。
當由處理器210執行時,在操縱平台202中實現的演算法允許透過操縱可以聽覺或視覺感知的介面訊號將資訊從電子裝置204傳送到接收方電子裝置。為了實現這一點,操縱平台202可以完成兩個階段,每個階段可以對應於不同的演算法,如圖2所示。
在第一階段(也稱為「修改階段」或「建立階段」),修改演算法212可以建立表示要與接收方電子裝置共享的資訊的訊號。這可以用各種方式發生。在一些實施例中,修改演算法212基於介面訊號的內容或接收方電子裝置或其使用者的特性從訊號資料庫216獲得訊號。所述訊號可以在沒有任何修改的情況下使用(也就是說,以其「原始形式」),或者所述訊號可以由修改演算法212修改,以便為介面訊號、接收方電子裝置或接收方電子裝置的使用者量身定制。在其它實施例中,修改演算法212基於對訊號將被疊加在其上的介面訊號的分析來近乎即時地生成訊號。
在第二階段(也稱為「疊加階段」或「傳輸階段」),疊加演算法214可以將訊號疊加在介面訊號上,從而要傳輸到接收方電子裝置的資訊可以「攜帶」介面訊號。可以執行疊加以使介面訊號僅遭受最小的劣化。因此,由於訊號疊加到介面訊號上而致使的修改對於接收方電子裝置的使用者來說可能在很大程度上(如果不是完全)感覺不到,但接收方電子裝置本身仍然可以容易地檢測到。
如上所述,在一些實施例中,介面訊號可以代表音訊訊號。因此,可以透過將第二音訊訊號(例如,超音波音訊訊號)疊加到用作介面訊號的音訊訊號上,將資訊從電子裝置204傳送到接收方電子裝置。在這種實施例中,可以基於對包括在介面訊號中的內容(例如,口語、非詞彙話語等)的分析來最佳化資訊傳輸的時序。換句話說,可以基於對介面訊號的內容的分析來確定介面訊號中要疊加第二音訊訊號的部分。額外地或替代地,介面訊號的部分可以由指示將被傳送的資訊的操縱平台202接收的輸入指定(或基於其確定)。本領域技術人員將認識到,在某些情況下,所述介面訊號可能伴隨有另一個介面訊號。例如,電子裝置204可以輸出包括與產品或服務相關的語音內容的第一介面訊號和包括與產品或服務相關的視覺內容的第二介面訊號。在這種情景下,可以基於第一介面訊號的內容、第二介面訊號的內容或其組合來最佳化資訊傳輸的時序。
在其它實施例中,介面訊號代表視訊訊號。在這種實施例中,將第二音訊訊號疊加到用作介面訊號的視訊訊號上可以致使內容的視覺修改。這種視覺修改可以是人眼可見的,或者這種視覺修改對於人眼來說可能是不可察覺的,但可以被接收方電子裝置檢測到。視覺修改的範例包括浮水印、閃爍圖案和配色方案的變化。在介面訊號代表視訊訊號的實施例中,資訊傳輸的時序可以基於對介面訊號的內容的分析。例如,響應於確定由視訊輸出部件206輸出的介面訊號包括特定訊息(例如,「感謝您的購買」)、內容(例如,確認支付交易已完成的網站)等,資訊可以從電子裝置204傳輸到接收方電子裝置。如下文進一步討論的,接收方電子裝置中包括的各種感測器可用於檢測、解析或以其它方式理解疊加在介面訊號上的第二視訊訊號。例如,操縱平台202可用於設計合適的視訊訊號修改,以透過毫米波雷達系統以針對可檢測性最佳化的方式來傳輸資訊。
圖3顯示了能夠實現操縱平台310的電子裝置300的範例,所述操縱平台310被設計為操縱介面訊號以將資訊傳送到接收方電子裝置。如上所述,介面訊號可以代表音訊訊號或視訊訊號,當另一個訊號疊加在其上時所述音訊訊號或視訊訊號被修改。雖然資訊將被傳送到的接收方電子裝置可檢測到修改,但其使用者不一定可檢測到修改。
在一些實施例中,操縱平台310體現為由電子裝置300執行的電腦程式。例如,操縱平台310可以駐留在支付系統上,在這種情況下,引入對介面訊號的修改可以是代表傳送給使用對應接收方電子裝置完成支付交易的個人的數位收據。作為另一個範例,操縱平台310可以駐留在廣告系統上,在這種情況下,引入對介面訊號的修改可以代表與廣告系統上顯示的產品或服務有關的額外資訊的鏈結。本領域技術人員將認識到操縱平台310的各態樣也可以分佈在多個電子裝置中。舉例而言,操縱平台310可以駐留在第一電子裝置(例如,支付系統、廣告系統等)上,而訊號資料庫312可以駐留在第二電子裝置(例如,電腦伺服器)上。
電子裝置300可以包括處理器302、記憶體304、UI輸出機構306和通訊模組308。
處理器302可以具有類似於通用處理器的通用特性,或者處理器302可以是為電子裝置300提供控制功能的特殊應用積體電路(ASIC)。如圖3所示,處理器302可以是為了通訊目的,直接或間接地耦接到電子裝置300的所有部件。在操縱平台310被體現為電腦程式的實施例中,底層指令可以由處理器302執行以允許電子裝置300執行本文描述的操作。
記憶體304可以包含任何合適類型的儲存媒體,諸如靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或暫存器。除了儲存可以由處理器302執行的指令之外,記憶體304還可以儲存(i)由UI輸出機制306輸出的資料和(ii)由處理器302生成的資料(例如,當執行操縱平台310的演算法、啟發法或規則)。注意,記憶體304僅僅是儲存環境的摘要表示。記憶體304可以由實際的積體電路(也稱為「晶片」)或模組組成。
通訊模組308可以負責管理電子裝置300的部件之間的通訊。額外地或替代地,通訊模組308可以負責管理與其它電子裝置(例如,接收方電子裝置314a-n)的通訊。因此,在一些實施例中,電子裝置300能夠透過網路與接收方電子裝置314a-n通訊,而在其它實施例中,電子裝置300不能透過網路與接收方電子裝置314a-n通訊。相反地,電子裝置300可以透過如上討論的介面訊號與接收方電子裝置314a-n通訊。接收方電子裝置314a-n的範例包括行動電話、平板電腦、個人電腦、可穿戴裝置等。同時,電子裝置300可以是手機、平板電腦、個人電腦、可穿戴裝置、支付系統、廣告系統等。舉例而言,電子裝置300可以是支付系統,而接收方電子裝置314a-n可以是與使用支付系統完成支付交易的各個使用者相關的行動電話。
在通訊模組308能夠促進與電子裝置300外部的目的地(例如,接收方電子裝置314a-n)的通訊的實施例中,通訊模組308可以是被設計成與目的地建立通訊頻道的無線通訊電路。無線通訊電路的範例包括配置用於藍牙、Wi-Fi、近場通訊(NFC)等的晶片。
為方便起見,操縱平台310可以被稱為駐留在記憶體304中的電腦程式。然而,操縱平台310可以包括在電子裝置300中實現或可存取的軟體、韌體或硬體。根據本文描述的實施例,操縱平台310可以包括如上面參考圖1-2所討論的各種演算法。通常,這些演算法由可單獨定址的操縱平台310的單獨模組執行(因此可以獨立執行而不干擾其它模組)。這些模組可以是操縱平台310的不可分割的一部分。或者,這些模組可以在邏輯上與操縱平台310分離,但是「並肩」操作。這些演算法一起可以使操縱平台310能夠修改介面訊號以便將資訊傳送到目的地。
例如,假設一個人在用作支付系統的電子裝置300上完成了支付交易。傳統上,當在複雜的支付系統上完成支付交易時,數位收據會以簡訊、電子郵件或推送通知的形式提供,而基礎資訊則透過網路從這些複雜的支付系統中傳輸出去。然而,某些支付系統無法連接到網際網路等網路。本文描述的方法允許這些支付系統透過修改聽覺或視覺訊號將資訊(例如,數位收據)傳送到附近的接收方電子裝置。除了允許不太複雜的支付系統以很少的計算資源消耗快速傳輸資訊之外,所述方法也是安全的。因此,即使電子裝置能夠連接到諸如網際網路之類的網路,所述方法也可以被電子裝置採用。舉例而言,操縱平台310可以透過修改聽覺或視覺訊號來將資訊(例如,數位收據)傳送到附近的接收方電子,而不是透過網路傳送資訊,或者除了透過網路傳送資訊之外,操縱平台310還可以透過修改聽覺或視覺訊號來將資訊(例如,數位收據)傳送到附近的接收方電子。
也可以包括其它元件作為操縱平台310的一部分。這些其它元件的性質可以取決於電子裝置300和操縱平台310的預期應用。例如,UI模組可以負責生成內容以由UI輸出機制306輸出以呈現給一或多個接收方電子裝置314a-n。通常,UI輸出機制306輸出的內容是為每個使用者或每個接收方電子裝置量身定制的。因此,UI輸出機制306可以輸出第一介面訊號供接收方電子裝置314a檢測、第二介面訊號供接收方電子裝置314b檢測等。
內容的形式可以取決於UI輸出機制306的性質。例如,如果UI輸出機制306是揚聲器,則介面訊號的內容可以屬於事件的可聽確認(例如,支付交易的完成)、項目(例如,商品或服務)的可聽描述等。作為另一個範例,如果UI輸出機制306是顯示面板,則介面訊號的內容可以屬於事件的視覺確認(例如,支付交易的完成)、項目(例如,商品或服務)的視覺描述等。如下文進一步討論的,UI輸出機制306還可以負責輸出(例如,發射或顯示)已疊加另一個訊號的介面訊號,以便在聽覺或視覺上修改介面訊號。
在操作中,操縱平台310,與電子裝置300的其它部件結合,可以代表能夠分析介面訊號的聽覺上或視覺上內容的系統,以將相關資料封包(例如,鏈結或報價)嵌入在與介面訊號的基礎內容相關的時刻。在一些實施例中,操縱平台310近乎即時地操作,以使其能夠用於實況媒體內容。實況媒體內容的範例包括廣播節目、實況電視節目、實況流媒體事件等。
舉例而言,可以設計或訓練提取演算法以識別語音中潛在的口語特徵(也稱為「聲音標籤」),例如對品牌、產品的參照或對品牌或產品屬性的參照,接著將標籤分配給音訊以表示聲音標籤。因此,可以「標籤」或「標記」音訊內容的不同部分以指示其內容。當檢測演算法檢測到相關聲音標籤時,可以將關於每個聲音標籤的資訊傳送到位於附近的一或多個接收方電子裝置。例如,如果檢測演算法發現與給定產品相關的聲音標籤,則操縱平台310(並且更具體地,其修改演算法和疊加演算法)可以將與給定產品相關的網站的鏈結發送到一或多個接收方電子裝置。
或者,可以在靜態模式下「預先分析」介面訊號的聽覺或視覺內容。在這種情景下,操縱平台310可以用類似的方式檢查介面訊號,儘管所述檢查不是在運行時執行的(例如,當輸出介面訊號以供一或多個接收方電子裝置314a-n檢測時)。「預先分析」介面訊號的一個優勢在於,使用聲音標籤進行標記所需的計算資源更少,因為不是那麼關注及時性。「預先分析」介面訊號的另一個優點是可以使用更穩健的檢測演算法,所述演算法無法在沒有延遲的情況下近乎即時地實現。類似地,「預先分析」介面訊號可以允許操縱平台202執行多階段分析(例如,使用一種快速識別聲音標籤但準確度相對較低的檢測演算法和緩慢識別聲音標籤但準確度相對較高的另一種檢測演算法)。
如下文進一步討論的,操縱平台310可以被程式化以設計並隨後輸出視覺修改,作為聽覺修改的補充或替代。例如,操縱平台310可能能夠設計並且接著輸出針對毫米波雷達系統檢測而最佳化的視覺修改。可以設計視覺修改,使得這些修改致使視訊輸出部件(例如,顯示面板)的大狀態變化,而不會被人眼注意到。合適的視覺修改的一個範例是閃爍模式,其中顯示面板的相鄰列或行在不同顏色狀態之間循環,並且資訊透過合適的頻率調變方案進行編碼。儘管接收方電子裝置可以容易地檢測到視覺修改,儘管不一定透過視覺檢測(例如,在透過毫米波雷達系統進行檢測的情況下),但是可以透過選擇人類視覺的閃爍融合頻率之上的載波頻率來最小化對應使用者的可見性。或者,視覺修改可能對使用者來說是明顯的,但可能只影響介面訊號的一部分。例如,視覺修改可以覆蓋視訊訊號的較不關鍵的部分,諸如上角落或下角落。因此,修改可能僅影響包括在其上疊加訊號的介面訊號的部分中的每個訊框的一部分。
作為資訊傳輸程序的一部分,操縱平台310可以識別電子裝置300的一或多個特性。特性的範例包括顯示器尺寸、顯示器類型(例如,LCD、OLED等)、型號、距離接收方電子裝置所需的檢測距離、本文描述的方法的預期應用、附近的雜訊源(例如,射頻雜訊)等。基於這些特性,操縱平台310可以識別調變方案。調變方案可以控制資訊如何傳輸到接收方電子裝置。調變方案可以指定要疊加在介面訊號上的訊號的性質。例如,調變方案可以指定訊號的特性,如訊號為音訊訊號還是視訊訊號、訊號是否為超音波、視訊訊號是否擬用於被某個感測器(例如毫米波雷達系統)檢測到等等。雖然可以根據調變方案來執行每個資訊傳輸,但是調變方案不必對每個接收方電子裝置施加相同的約束(例如,在封包大小方面)。
如上所述,電子裝置300的任務可以是同時或依序地向多於一個接收方電子裝置314a-n傳送資訊。由於資訊傳輸涉及聽覺或視覺訊號,因此可以將相同的資訊傳輸到同時「收聽」或「查看」介面訊號的每個接收方電子裝置。為了向每個接收方電子裝置傳送不同的資訊,接收方電子裝置314a-n可以透過時序、內容和其它特徵來消除傳輸的歧義。例如,假設電子裝置300用作支付系統,不同的個人透過所述支付系統完成支付交易。這些支付交易的數位收據可以由電子裝置300不加選擇地廣播。在這種情景下,接收方電子裝置314a-n可以「聽到」這些傳輸中的許多傳輸。對於「聽到」的每個傳輸,每個接收方電子裝置可以搜索在所述接收方電子裝置上執行的電腦程式(例如,支付應用程式),以找到其中資訊與傳輸之一匹配的交易。這允許接收方電子裝置將接收到的資料(例如,購買的物品和相關的費用)與對應的使用者相關並提供數位收據。一旦接收到不相關的剩餘傳輸,則可以忽略或刪除。在一些實施例中,可以基於時序來區分傳輸。例如,接收方電子裝置可以僅在基於可從電腦程式(例如,支付應用程式)獲得的資訊確定交易已經完成之後的某個時間間隔內「搜索」傳輸。
接收方電子裝置接收和隨後解碼介面訊號可以允許各種功能。例如,可以使接收方電子裝置上的某些UI特徵可用於互動一段時間(例如,只要在介面訊號中可檢測到疊加訊號)。如此,疊加訊號可以充當允許基於位置提供情境化資料的信標。作為另一個範例,可以基於接收方電子裝置在資訊傳輸期間的移動在接收方電子裝置上啟用某些UI特徵。例如,UI可以採取相對於電子裝置300在接收方電子裝置上的物理運動的形式,使得疊加另一個訊號的介面訊號由於其方向性和強度而改變。某些動作可能與UI功能相關,諸如接受或拒絕建議的行動方案(例如,傳輸資訊、完成支付交易等)。 訊號操縱方法
圖4包括用於透過修改聽覺或視覺訊號將資訊從第一電子裝置(也稱為「源電子裝置」)傳輸到第二電子裝置(也稱為「接收方電子裝置」)的程序400的示意圖。所述聽覺或視覺訊號可以被稱為源電子裝置的使用者可檢測到的「介面訊號」或「第一訊號」。如上所述,使用者可以與接收方電子裝置相關。
在一些實施例中,第一訊號可由接收方電子裝置檢測到。例如,如果第一訊號包括人類可聽到的音訊內容,則接收方電子裝置可能能夠使用音訊輸入部件來檢測第一訊號。然而,第一訊號不一定需要由接收方電子裝置檢測。例如,假設支付系統將包含與支付交易相關的資訊的資料傳輸到客戶的行動電話。在這種情景下,支付系統代表源電子裝置,而行動電話代表接收方電子裝置。第一訊號可以是支付系統顯示的人類可讀視訊內容。為了將資料(例如,指定購買的物品和相關成本)傳輸到行動電話,在支付系統上執行的訊號操縱平台可以調變第一訊號,使得調變可以被包括在行動電話中的感測器檢測到,即使手機目前可能無法直觀地觀察支付系統。例如,人類可讀視訊內容的調變可以被包含在行動電話中的毫米波雷達系統檢測到。所述範例還說明源電子裝置的使用者(例如,收銀員)不必是與接收方電子裝置的使用者(例如,客戶)相同的人。
最初,操縱平台可以獲得第一訊號。在一些實施例中,第一訊號近乎即時地獲得(例如,結合UI輸出機構412的輸出)。在其它實施例中,如上文所討論的,第一訊號在由UI輸出機制412輸出之前被「預先檢查」。操縱平台接著可以將第一訊號提供給提取演算法402作為輸入,以獲得一系列標籤。如果第一訊號代表音訊訊號,則這些標籤可以代表「聲音標籤」。如果第一訊號代表視訊訊號,則這些標籤可以代表「視訊標籤」。不管其性質如何,這些標籤都可以代表指示第一訊號內容的標記。
接著,操縱平台可以將第一訊號和伴隨標籤提供給檢測演算法404。當檢測演算法404檢測到相關標籤時,可以將關於這些標籤的資訊傳送到附近的接收方電子裝置。因此,檢測演算法404可以解析由提取演算法402生成的標籤,以便識別將資訊傳送到接收方電子裝置的適當機會。作為輸出,檢測演算法404可以產生相關標籤的指示。例如,檢測演算法404可以出於廣告目的維護代表感興趣產品或與感興趣產品相關的標籤的有序列表。
相關標籤的指示可以作為輸入由操縱平台提供給修改演算法406。如上所述,修改演算法406可以負責基於由檢測演算法404檢測到的相關標籤來確定要傳送到接收方電子裝置的資訊。所述資訊可以表示為第二訊號。在一些實施例中,如圖4所示,第二訊號由修改演算法406從訊號資料庫408中檢索。或者,修改演算法406可以基於檢測演算法404認為相關的標籤生成第二訊號。
此後,操縱平台可以將第一訊號和第二訊號提供給疊加演算法410作為輸入。如上所述,疊加演算法410能夠將第二訊號疊加在第一訊號上,以便生成可以經由UI輸出機制412輸出的第三訊號,以供接收方電子裝置檢測。在高階層,所述第三訊號可以代表與第一訊號組合的第二訊號。通常,第二訊號僅疊加在第一訊號的一部分上。例如,如果第一訊號代表對應於記錄或流式傳輸的音訊內容的音訊訊號,則第二訊號可以僅疊加在幾秒鐘時間的音訊訊號上。作為另一範例,如果第一訊號表示對應於記錄或流式傳輸的視訊內容的視訊訊號,則第二訊號可以僅疊加在幾秒鐘時間的視訊訊號上。因此,UI輸出機構412僅在有限的時間量(例如,幾秒或幾分鐘)內輸出第三訊號,並且可以在有限的時間量之前和之後輸出第一訊號。
圖5包括源電子裝置500和接收方電子裝置550之間的通訊的高階層圖示。源電子裝置500可以是圖2的電子裝置204或圖3的電子裝置300。最初,源電子裝置500可以輸出(i)接收方電子裝置550可檢測和/或(ii)源電子裝置500的使用者可檢測的第一訊號(步驟501)。如上所述,源電子裝置500的使用者可以與接收方電子裝置550相關,或者源電子裝置500的使用者可以與接收方電子裝置550無關。在一些實施例中,第一訊號表示由源電子裝置500的音訊輸出部件發射的音訊訊號。在其它實施例中,第一訊號表示由源電子裝置500的視訊輸出部件顯示的視訊訊號。
此後,源電子裝置500可以接收指示向接收方電子裝置550傳送資訊的指令的輸入(步驟502)。通常,所述輸入由如上參考圖1和4所討論的檢測演算法生成或檢測。當源電子裝置500輸出的第一訊號的情境被確定為匹配多個預定類別(也稱為「情境類別」)中的任何一個時,檢測演算法可以指示訊號操縱平台開始傳輸。舉例而言,如果源電子裝置500是支付系統,則指示應該發生轉移的一個情境類別可以到達結帳螢幕。作為另一範例,如果源電子裝置500是廣告系統,則指示應該發生轉移的一個情境類別可以是討論可提供報價的品牌、產品或商家的內容的顯示。所述輸入還可以表示如上討論的感興趣標籤的發現。例如,所述輸入可以表示已檢測到的與感興趣品牌、產品或商家相關的聲音標籤的確定。或者,源電子裝置500可以從接收方電子裝置550接收需要所述資訊的通訊。例如,接收方電子裝置550可以響應於需要來自源電子裝置500的資訊的確定(例如,基於第一訊號的分析、使用者提供的輸入等),而對源電子裝置500「發送回顯訊息(ping)」。
源電子裝置500可以獲得表示所述資訊的第二訊號(步驟503),接著將第二訊號疊加在第一訊號上,以生成第三訊號(步驟504)。如上所述,第二訊號通常疊加在第一訊號的一部分上。因此,源電子裝置500可以如上面參考步驟501所討論的那樣輸出第一訊號,輸出第三訊號以供接收方電子裝置檢測(步驟505),接著當第二訊號不再疊加在其上時,再次輸出第一訊號。
第二訊號如何疊加到第一訊號上可以取決於第一訊號的性質,以及源電子裝置500或接收方電子裝置550的特性。
在第一訊號表示音訊訊號的實施例中,第二訊號可以表示接收方電子裝置550可聽到但其使用者不能聽到的超音波訊號。在這種情景下,可以透過在由輸入指定或基於輸入確定的第一訊號的部分中對第二訊號進行編碼來將第二訊號疊加到第一訊號上。例如,可以執行疊加,使得第二訊號(例如,代表數位收據)以時間感知方式編碼在第一訊號(例如,代表透過其完成支付交易的UI)中,使得在第二訊號中編碼的資訊被提供給適當的人。
在第一訊號代表視訊訊號的實施例中,疊加可以包括將第一和第二訊號編碼成使得編碼的第二訊號可以被包括在接收方電子裝置550中的感測器檢測到的形式。感測器可以是,例如,設計用於24 GHz以上電磁波的毫米波雷達系統。
如上所述,第二訊號可以僅在一段時間間隔內疊加在第一訊號上。操縱平台可以基於對第一訊號的內容的分析來識別將第二訊號疊加在第一訊號上的時間間隔。接著,操縱平台可以結合第一和第二訊號,使得代表要傳輸的資訊的第二訊號與時間間隔一致。
總之,源電子裝置500可以輸出第一訊號,所述第一訊號可由接收方電子裝置550和/或源電子裝置500的使用者在聽覺或視覺上檢測到;接收表示將資訊傳送到接收方電子裝置550的指令的輸入;在第一訊號上疊加表示資訊的第二訊號,以生成第三訊號;以及輸出第三訊號以供接收方電子裝置550檢測。
如上所述,在一些情景中,源電子裝置500可以與多於一個的接收方電子裝置進行通訊。因此,程序500的各態樣可以由源電子裝置500同時或依序地執行,以便與這些接收方電子裝置中之各者進行通訊。例如,可以連續執行步驟502-505以將資訊傳送到這些接收方電子裝置中之各者。請注意,傳送到這些接收方電子裝置中之各者的資訊不需要相同。因此,疊加在第一訊號上的第二訊號對於每個接收方電子裝置可能是不同的。
圖6包括由源電子裝置執行以向接收方電子裝置傳送資訊的程序600的流程圖。最初,源電子裝置可以輸出使用者聽覺上或視覺上可檢測到的第一編碼資料流(步驟601)。接著,源電子裝置可以確定它可存取的資訊將與接收方電子裝置共享(步驟602)。例如,源電子裝置可以響應於確定發生了涉及使用者或接收方電子裝置的事件(例如,支付交易的完成、產品的提及等),確立所述資訊應該與接收方電子裝置共享。作為特定範例,源電子裝置可以實現機器學習(ML)演算法,所述機器學習演算法被訓練以檢測預定列表中包括的品牌名稱、產品名稱或人名的話語。所述檢測演算法可以產生作為輸出的指示,即品牌名稱、產品名稱或人名之一在第一編碼資料流中被說出或顯示。在這種實施例中,源電子裝置可以響應於檢測演算法確定給定品牌、產品或人在第一編碼資料流中說出或顯示,而確定關於給定品牌、產品或人的資訊應傳輸到接收方電子裝置。
源電子裝置接著可以生成或檢索表示要共享的資訊的第二編碼資料流(步驟603)。例如,假設要共享的資訊與使用源電子裝置完成的支付交易有關。在這種情景下,可以透過訊號操縱平台提取與支付交易相關的資訊,例如,透過從源電子裝置的處理器獲取直接數值,根據合適的編碼方案進行編碼,接著將計算的修改疊加在代表原始介面訊號的第一編碼資料流上。關於編碼方案的更多資訊可以在下面找到。但是請注意,使用哪種編碼方案通常並不重要,只要接收方電子裝置「知道」要查找的內容即可。
接著,源電子裝置可以透過將第二編碼資料流與第一編碼資料流組合來將資訊傳送到接收方電子裝置,以便建立第三編碼資料流(步驟604)。更具體地,源電子裝置可以將第二編碼資料流疊加到第一編碼資料流的一部分上。接著可以輸出所述第三編碼資料流以供接收方電子裝置檢測(步驟605)。
從接收方電子裝置的角度來看,廣播的存在或可能存在可基於其當前位置、其當前使用或由其使用者提供的輸入來直接檢測或間接推斷。例如,接收方電子裝置可以響應於確定它位於給定位置的預定鄰近範圍內而啟動音訊輸入部件。音訊輸入部件的一個範例是麥克風。作為另一範例,接收方電子裝置可以響應於從其使用者接收到指示請求的輸入來啟動視訊輸入部件。視訊輸入部件的一個範例是能夠生成例如數位影像形式的影像資料的影像感測器。影像感測器可以是接收方電子裝置的相機模組(或簡稱為「相機」)的一部分。
通常,源電子裝置和接收方電子裝置分別使用的編碼和解碼方案是特定於實現的,因此不再詳細討論。然而,舉例來說,電子和電機工程師協會(IEEE)802.15系列標準定義了用於個人區域網路的編碼、解碼、調變、媒體存取、實體層等方案。這些標準之一可用於實現上述毫米波和OCC實施例。對於取決於聲學資料傳輸的實施例,可以使用的一種協定是Beeping,一種被設計為透過超音波在電子裝置之間傳輸資料的通訊協定。也可以開發專有標準來實現這些實施例。
圖7A-D包括說明提取演算法、檢測演算法、修改演算法和疊加演算法如何可以協同工作以實現本文描述的方法的示意圖。這些演算法可以與圖4的提取演算法402、檢測演算法404、修改演算法406和疊加演算法410相當。下面更詳細地討論這些演算法中之各者。
圖7A包括說明提取演算法702可以如何處理介面訊號以便識別將資訊傳送到接收方電子裝置的適當機會的示意圖。介面訊號最初可以作為輸入提供給提取演算法702。如圖7A所示,提取演算法702可能能夠透過數種不同的方法來檢測情境。
在一種方法(也稱為「基於內容的檢測」)中,提取演算法702可以檢查介面訊號的內容(例如,語音音訊或顯示的視訊),從所述內容提取語義含義(例如,數字、字母、單詞、和短語的含義),接著確定語義是否與相關主題匹配以進行資料傳輸。可以使用機器學習方法提取語義。同時,可以例如透過將語義含義與品牌、產品、商家等的列表進行比較來確定相關主題。如果語義含義與相關主題匹配,則提取演算法702可以輸出表示底層內容的情境標籤。例如,情境標籤可以指示從中提取語義含義的顯著數字、字母、單詞或短語。如果語義不匹配相關主題,則提取演算法702可以繼續檢查介面訊號的內容。
在其它方法(也稱為「基於狀態的檢測」)中,提取演算法702可以提取機器狀態,接著確定機器狀態是否與資料傳輸的相關狀態匹配。相關狀態的一個範例是到達給定介面(例如,結帳介面)。相關狀態的另一個範例是與源電子裝置互動至少預定時間量。如果機器狀態與相關狀態匹配,則提取演算法702可以輸出表示機器狀態的情境標籤。例如,情境標籤可以包括或暗示關於機器狀態的資訊。如果機器狀態與相關狀態不匹配,則提取演算法可以繼續檢查機器狀態。
圖7B包括說明檢測演算法704如何檢查提取演算法702產生的輸出以確定是否適合啟動從源電子裝置到接收方電子裝置的資訊傳輸的示意圖。由提取演算法702產生的作為輸出的情境標籤最初可以作為輸入提供給檢測演算法704。接著檢測演算法704可以檢查情境標籤。例如,檢測演算法704可以將每個情境標籤與預定的情境標籤列表進行比較以確定是否存在匹配。預定列表可以包括當前可用的相關資訊(如廣告、促銷優惠等)的那些情境標籤。如果情境標籤與預定列表中的條目匹配,則檢測演算法704可以輸出匹配的情境標籤。透過輸出匹配的情境標籤,檢測演算法704可以啟動資料傳輸程序,如下面進一步討論的。相反地,如果情境標籤不匹配預定列表中的任何條目,則檢測演算法704可以丟棄情境標籤並使用新的情境標籤開始匹配程序。
圖7C包括說明修改演算法706如何可以修改介面訊號以便在其上覆蓋相關資訊的示意圖。為了說明的目的,介面訊號可以被描述為「第一訊號」。由檢測演算法704產生的作為輸出的情境標籤最初可以作為輸入提供給修改演算法706。對於每個情境標籤,修改演算法706可以確定代表要為所述情境標籤傳輸的資料的第二訊號是否位於訊號資料庫中。包括在訊號資料庫中的每個訊號可以代表一或多個資料封包,所述資料封包傳送關於對應的情境標籤的資訊。訊號資料庫可以是圖2的訊號資料庫216、圖3的訊號資料庫312或圖4的訊號資料庫408。如果第二訊號位於訊號資料庫中,則修改演算法706可以從訊號資料庫獲取或提取第二訊號。然而,如果第二訊號不在訊號資料庫中,則修改演算法706可以生成代表要傳輸的資料的第二訊號。
接著,修改演算法706可以確定第一訊號的性質。例如,修改演算法706可以基於對其內容、元資料或格式的分析來確立第一訊號為音訊訊號還是視訊訊號。如果第一訊號為音訊訊號,則修改演算法706可以生成適當的音訊修改,其將對應於情境標籤的第二訊號的內容進行編碼。可以基於如上所述的聲學資料傳輸方案生成音訊修改。如果第一訊號為視訊訊號,則修改演算法706可以生成適當的視訊修改,其將對應於情境標籤的第二訊號的內容進行編碼。可以根據現有調變方案(例如,IEEE 802.15)或專有調變方案生成視訊修改。在一些實施例中,這些視訊修改由修改演算法706轉置到毫米波域,使得這些視訊修改可由毫米波雷達系統檢測到。作為輸出,修改演算法可以產生包括要傳輸的資料的第二訊號,所述第二訊號根據合適的調變方案進行調變。
圖7D包括說明疊加演算法708如何能夠將由修改演算法706輸出的第二訊號疊加在要由源電子裝置廣播的第一訊號上的示意圖。作為輸入,疊加演算法708可以採用(i)要由源電子裝置廣播的第一訊號和(ii)包括要傳送到接收方電子裝置的資訊的第二訊號。如上面參考圖7C所討論的,可以根據基於第一訊號的性質的合適調變方案來調變第二訊號。
最初,疊加演算法708可以從資料庫中提取裝置屬性。這些裝置屬性可以與源電子裝置、接收方電子裝置或這兩個電子裝置有關。透過檢查設備屬性,疊加演算法708可以能夠確定或推斷接收方電子裝置是否能夠檢測到由源電子裝置廣播的音訊訊號或視訊訊號。此外,疊加演算法708可以從資料庫中提取使用情境屬性。使用情境屬性的範例包括源電子裝置和接收方電子裝置之間的通常距離、接收方電子裝置在源電子裝置附近花費的通常持續時間等。在一些實施例中,資料庫在源電子裝置上被維護,而在其它實施例中,資料庫在源電子裝置通訊連接到的另一個電子裝置(例如,電腦伺服器)上被維護。
疊加演算法708接著可以組合第一和第二訊號以形成第三訊號。在一些實施例中,所述第三訊號被進一步操縱,因此許多被稱為「原型第三訊號」。在形成原型第三訊號之後,疊加演算法708可以基於從資料庫中提取的設備屬性和使用情境屬性來估計第二訊號的可檢測性。可檢測性可能取決於(i)源電子裝置的參數,諸如顯示尺寸和音訊音量,(ii)接收方電子裝置的參數,以及(iii)環境因素,諸如分離、背景雜訊等。如果第二訊號的可檢測性被確定為低,則疊加演算法可以修改第一和第二訊號以增加可檢測性。此外,疊加演算法708可以在給定裝置屬性和使用情境屬性的情況下確定第二訊號在原型第三訊號內的可感知程度。如果確定可感知的可能性很高,則疊加演算法708可以修改第二訊號以降低可察覺性。例如,可以透過減少可聽範圍內頻率的存在或幅度、減少視覺內容的對比度差異或增加可見範圍以上的閃爍率來降低第二訊號的可察覺性。如圖7D所示,疊加演算法708接著可以確定原型第三訊號是否仍然滿足可檢測性要求。如果原型第三訊號仍然滿足可檢測性要求,則疊加演算法708可以輸出其最終形式的第三訊號,以準備由源電子裝置廣播。所述第三訊號不僅包含關於對應情境標籤的資料,而且可以與第一訊號一起以這種方式呈現,即它可以被接收方電子裝置檢測到但最低限度地被源電子裝置的使用者檢測到,或者根本檢測不到。如果原型第三訊號不滿足可檢測性要求,則疊加演算法708可以繼續修改程序,如圖7D所示。 範例性用例
圖8-9顯示了可以實現本文描述的方法以透過修改聽覺或視覺訊號將相關資訊傳送給個人(並且更具體地,她的電子裝置)的兩種不同情景。
圖8說明如何基於對其中包含的語音的分析,將鏈結智慧地嵌入到音訊訊號中。本文描述的方法的一種可能實現涉及在充當「支付鏈結」的語音中建立音訊嵌入。透過識別相關單詞(例如,「金額」、「元」等)和短語(例如,「交易完成」、「已接受付款」等),支付相關資訊可以即時嵌入到使用者的語音中,接著將與這些「治愈」相關的支付相關資訊作為每個相關單詞的元資料進行廣播。透過識別構成行銷或廣告機會的單詞和短語,這使得廣告能夠近乎即時地生成到個人的語音中。
如圖8所示,系統800可以包括介面訊號(這裡是直播錄製802、關於諸如廣告的行銷機會的資訊的資料庫804和檢測演算法806。在這種情景下,檢測演算法806可以負責轉錄、建立或其它理解直播錄製802的內容。因此,檢測演算法806可以稱為「轉錄演算法」。接著,檢測演算法806可以確定包括在資料庫中的任何行銷機會是否為合適的或適當的給定直播錄製802的內容。換句話說,檢測演算法806可以確定內容是否與資料庫中包括的任何行銷機會「匹配」。所述匹配可以基於例如,單詞和短語的屬性或含義、使用者偏好、潛在觀眾的屬性等。當存在匹配時,可以將適當的資訊傳送到負責輸出直播錄製802的廣播系統。
下面提供了幾個額外的範例情景,以幫助說明本文描述的方法的延展性。作為一種範例情景,假設有影響力的人當前參與直播。在這種情景下,系統800可以檢測有影響力的人正在討論的產品。當系統800檢測到「目標字詞」時,系統800可以將具有關於產品的資訊的超音波資料封包疊加到下一個字詞或短語上。每當有人錄製直播時,此人就可以獲得相關的付款明細。此外,每次打開鏈結或透過鏈結購買產品時,有影響力的人都可能獲得補償。作為另一範例,在播客中,系統800可以將各種廣告疊加在與使用者選擇的類別中的行銷機會相匹配的字詞或短語上。在先前錄製的播客中,更新的行銷機會可用於在直播中嵌入較新的廣告。
圖9說明如何使用本文描述的方法來促進敏感資訊的安全傳輸。更具體地,圖9顯示如何透過修改視覺訊號來視覺傳達與支付交易相關的(例如,必要的)資訊。本文描述的方法的一個令人感興趣的應用涉及數位收據。然而,本文描述的方法也可以用於促進支付信標、特別優惠和促銷、廣告等。
例如,假設個人已經使用諸如廣告系統或支付系統之類的傳統系統完成了支付交易。所述傳統系統可以與接收方電子裝置無縫地傳送與支付相關但不會過於敏感的資料。這可以透過在其顯示器上嵌入視覺碼來實現。這些視覺碼可以由接收方電子裝置中的感測器(例如毫米波雷達系統)檢查、解析或以其它方式檢測。接收到的資訊可以由在接收方電子裝置上執行的另一個電腦程式使用,以提供諸如數位收據、產品資訊、廣告和特別優惠之類的特徵。
這些視覺碼可以用隔行掃描的形式嵌入到底層視訊訊號中,其頻率對資料進行編碼,但是這可能太快而無法被觀看顯示內容的人注意到。總體來說,這種方法對傳統系統的要求很低。因此,本文描述的方法可以簡單地透過改變韌體或管理內容顯示的軟體來實現。
注意,接收方電子裝置可以識別這些視覺碼可能存在的時刻(例如,基於位置),接著開啟其檢測。在使用毫米波雷達系統完成檢測的實施例中,使用者可能不需要從她的口袋、包包等中取出接收方電子裝置。相反地,毫米波雷達系統可能能夠穿透衣服檢測這些視覺碼。UI功能也可以基於存在的視覺碼進行管理。例如,可以透過碼訊號的角度依賴性和接收方電子裝置與源電子裝置的合作來啟用UI特徵。
如圖9所示,源電子裝置902a-b最初可以顯示一或多個數位影像。在內部或外部實現的演算法可以例如生成「快閃記憶體碼(flash codes)」,將喜歡的資訊攜帶到這些數位影像的內容中。如果接收方電子裝置904a-d檢測到可能存在快閃記憶體碼的情況(例如,基於使用者位於源電子裝置附近),則打開其毫米波雷達系統。或者,接收方電子裝置可以用預定頻率主動掃描附近的視覺碼。接收方電子裝置可以透過毫米波雷達系統讀取由快閃記憶體碼表示的資料。此後,向與接收方電子裝置相關的個人呈現資料擷取的結果(例如,數位收據或廣告)。
在圖9中,顯示了兩個不同的用例。第一個用例涉及透過廣告介面(也稱為「廣告螢幕」)提供的特別優惠。例如,假設個人在公共交通工具(例如,地鐵或公車)的例行旅程期間經過廣告螢幕902a。所述廣告螢幕902a可以代表源電子裝置。與個人相關的接收方電子裝置904a可以每隔幾秒主動掃描周圍環境以識別視覺碼的存在。在公共交通工具上,源電子裝置902a的內容已被修改,使得與顯示的廣告相關的快閃記憶體碼可以嵌入到視訊訊號中。廣告可以提示附近的個人檢查他們各自的接收方電子裝置904a-c,以獲得所提供產品的意外折扣或促銷。如上所述,感測器(如毫米波雷達感測器)無需從褲子、夾克等中取出即可檢測視訊訊號的修改。因此,無需從口袋中取出,接收方電子裝置904a即可檢測來自快閃記憶體碼,接著儲存資訊以供後續使用(例如,如果資訊與優惠或促銷關於)。稍後,個人可以檢查在接收方電子裝置上執行的電腦程式(例如,支付應用程式),以便查看所述資訊是否仍然可以使用。
第二個用例與傳統支付系統上的數位收據有關。例如,假設有權存取行動電話904d的個人在商店購物。接著,假設正在行動電話904d上執行並允許以數位方式進行支付的電腦程式啟用了讀取能力。所述電腦程式可以稱為「支付應用程式」。在這種情景下,當確定個人靠近支付系統時,支付應用程式可以啟動由包括在行動電話904d中的毫米波雷達感測器支援的檢測功能。當個人的交易由支付系統處理時,修改後的韌體可以使其嵌入代表所購買物品、交易金額和時間戳記的碼。個人可以使用以程式化方式與支付應用程式相關的支付卡(例如,信用卡或借記卡)來完成交易。源電子裝置902b輸出的視覺碼可以被接收方電子裝置904b讀取。此外,支付應用程式可能能夠將他們的支付與項目列表和時間碼相匹配。即使接收方電子裝置在支付系統附近的時間期間檢測到多個不同的資料封包,這也可能是真的。因此可以向個人提供數位收據。 處理系統
圖10是說明處理系統1000的範例的方塊圖,其中可以實現本文描述的至少一些操作。例如,處理系統1000的部件可以託管在包括視訊輸出部件或音訊輸出部件的電子裝置上。作為另一範例,處理系統1000的部件可以託管在包括操縱平台的電子裝置上,所述操縱平台能夠操縱可被另一電子裝置在聽覺或視覺上檢測到用於資訊傳輸目的介面訊號。
處理系統1000可以包括處理器1002、主記憶體1006、非揮發性記憶體1010、網路適配器1012(例如,網路介面)、視訊顯示器1018、輸入/輸出裝置1020、控制裝置1022(例如,鍵盤、指向裝置或諸如按鈕的機械輸入)、包括儲存媒體1026的驅動單元1024或通訊地連接到匯流排1016的訊號生成裝置1030。匯流排1016被說明為表示一或多個實體匯流排的抽象化和/或透過適當的橋接器、適配器或控制器連接的點對點連接。因此,匯流排1016可以包括系統匯流排、周邊部件互連(PCI)匯流排、PCI-Express匯流排、HyperTransport匯流排、工業標準架構(ISA)匯流排、小型電腦系統介面(SCSI)匯流排、通用串列匯流排(USB)、內部積體電路(I 2C)匯流排或符合IEEE標準1394的匯流排。
處理系統1000可以共享與電腦伺服器、路由器、桌上電腦、平板電腦、行動電話、視訊遊戲控制台、可穿戴電子裝置(例如,手錶或健身追蹤器)、網路連接(「智慧」)裝置(例如,電視或家庭助理裝置)、增強或虛擬實境系統(例如,頭戴式顯示器),或能夠執行由處理系統1000獲取的指定動作的一組指令(順序或其它)的其它電子裝置類似的電腦處理器架構。
雖然主記憶體1006、非揮發性記憶體1010和儲存媒體1024被顯示為單一媒體,但用語「儲存媒體」和「機器可讀取媒體」應理解為包括儲存一組或多組指令1026的單一媒體或多個媒體。用語「儲存媒體」和「機器可讀取媒體」還應理解為包括能夠儲存、編碼或攜帶一組指令以供處理系統1000執行的任何媒體。
通常,為實現本揭露的實施例而執行的例程可以被實現為作業系統或特定應用程式、部件、程式、物件、模組或指令序列(統稱為「電腦程式」)的一部分。電腦程式通常包含在不同時間設置在計算裝置中的各種記憶體和儲存裝置中的一或多個指令(例如,指令1004、1008、1028)。當由處理器1002讀取和執行時,指令使處理系統1000執行操作以執行本揭露的各種態樣。
儘管已經在全功能計算裝置的情境中描述了實施例,但是本領域技術人員將理解各種實施例能夠以各種形式作為程式產品來分佈。無論用於實際致使分佈的機器或電腦可讀取媒體的特定類型如何,本揭露都適用。機器和電腦可讀取媒體的進一步範例包括可記錄類型媒體,諸如揮發性記憶體裝置、非揮發性記憶體裝置1010、可移除磁碟、硬碟、光碟(例如,壓縮碟唯讀記憶體(CD-ROMS)和數位多功能磁碟(DVD)、基於雲端的儲存和傳輸型媒體,諸如數位和類比通訊鏈路。
網路適配器1012使處理系統1000能夠透過處理系統1000和外部實體所支援的任何通訊協定來調解網路1014中的資料與處理系統1000外部的實體。網路適配器1012可以包括網路適配器卡、無線網路介面卡、交換機、協定轉換器、閘道器、橋接器、集線器、接收器、中繼器或包括晶片的收發器(例如,致使透過藍牙、Wi-Fi或NFC進行通訊)。 評論
為了說明和描述的目的,提供了要求保護之申請標的的各種實施例的前述描述。其不意於窮舉或將要求保護之申請標的限制為所揭露的精確形式。對於本領域技術人員來說,許多修改和變化將是顯而易見的。選擇和描述實施例是為了最好地描述本發明的原理及其實際應用,從而使相關領域的技術人員能夠理解要求保護之申請標的、各種實施例以及適合設想的特定用途的各種修改。
儘管實施方式描述了某些實施例和設想的最佳模式,但是無論實施方式出現地多麼詳細,都可以用多種方式實施所述技術。實施例在其實現細節上可能有很大不同,但仍被說明書所涵蓋。在描述各種實施例的某些特徵或態樣時使用的特定用語不應被理解為暗示所述用語在本文中被重新定義為限於與所述用語相關的技術的任何特定特性、特徵或態樣。通常,以下申請專利範圍中使用的用語不應被解釋為將技術限制於說明書中揭露的特定實施例,除非這些用語在本文中明確定義。因此,本技術的實際範圍不僅包括所揭露的實施例,還包括實施或實現實施例的所有等效方式。
說明書中使用的語言主要是出於可讀性和教學目的而選擇的。可能沒有被選擇來劃定或限定申請標的。因此,所述技術的範圍不打算由所述實施方式限制,而是由基於本發明的申請所發布的任何請求項來限制。因此,各種實施例的揭露意於說明而非限制如以下請求項中闡述的技術範圍。
102:源電子裝置 104:音訊訊號 106:音訊輸出部件 108:視訊訊號 110:視訊輸出部件 112:接收方電子裝置 114:情境檢測演算法 116:覆蓋生成系統 118:音訊訊號 120:操縱視訊訊號 200:系統 202:訊號操縱平台 204:電子裝置 206:視訊輸出部件 208:音訊輸出部件 210:處理器 212:訊號修改演算法 214:訊號疊加演算法 216:訊號資料庫 300:電子裝置 302:處理器 304:記憶體 306:UI輸出機構 308:通訊模組 310:操縱平台 312:訊號資料庫 314a:接收方電子裝置 314b:接收方電子裝置 314n:接收方電子裝置 400:程序 402:提取演算法 404:檢測演算法 406:修改演算法 408:訊號資料庫 410:疊加演算法 412:UI輸出機構 500:源電子裝置 501:步驟 502:步驟 503:步驟 504:步驟 505:步驟 550:接收方電子裝置 600:程序 601:步驟 602:步驟 603:步驟 604:步驟 605:步驟 702:提取演算法 704:檢測演算法 706:修改演算法 708:疊加演算法 800:系統 802:直播錄製 804:資料庫 806:檢測演算法 902a:源電子裝置 902b:源電子裝置 904a:接收方電子裝置 904b:接收方電子裝置 904c:接收方電子裝置 904d:接收方電子裝置 1000:處理系統 1002:處理器 1004:指令 1006:主記憶體 1008:指令 1010:非揮發性記憶體裝置 1012:網路適配器 1014:網路 1016:匯流排 1018:視訊顯示器 1020:輸入/輸出裝置 1022:控制裝置 1024:驅動單元 1026:儲存媒體 1028:指令 1030:訊號生成裝置
[圖1]包括顯示如何將相關資訊覆蓋在源電子裝置輸出的介面訊號上的高階說明。
[圖2]包括系統的高階表示,所述系統可用於將機器可解釋的編碼資料從電子裝置廣播到一或多個其它電子裝置。
[圖3]說明能夠實現操縱平台的電子裝置的範例,所述操縱平台被設計為操縱介面訊號以將資訊傳輸到接收方電子裝置。
[圖4]包括透過修改聽覺或視覺訊號將資訊從第一電子裝置(也稱為「源電子裝置」)傳輸到第二電子裝置(也稱為「接收方電子裝置」)的程序的示意圖。
[圖5]包括源電子裝置和接收方電子裝置之間的通訊的高階說明。
[圖6]包括由源電子裝置執行以將資訊傳送到接收方電子裝置的程序的流程圖。
[圖7A]包括說明提取演算法可以如何處理介面訊號以便識別將資訊傳送到接收方電子裝置的適當機會的示意圖。
[圖7B]包括說明檢測演算法如何檢查由提取演算法產生的輸出以確定是否適合啟動從源電子裝置到接收方電子裝置的資訊傳輸的示意圖。
[圖7C]包括說明修改演算法如何修改介面訊號以便在其上覆蓋相關資訊的示意圖。
[圖7D]包括說明疊加演算法如何能夠將由修改演算法輸出的第二訊號疊加在要由源電子裝置廣播的第一訊號上的示意圖。
[圖8]說明如何基於對其中包含的語音的分析,將鏈結智慧地嵌入到音訊訊號中。
[圖9]說明如何使用本文描述的方法來促進敏感資訊的安全傳輸。
[圖10]為說明能夠實現本文描述的至少一些操作的處理系統的範例的方塊圖。
透過結合附圖對實施方式的研究,對於本領域技術人員來說,本文描述的技術的各種特徵將變得更加明顯。實施例在附圖中以範例而非限制的方式來說明。儘管出於說明的目的,附圖描繪了各種實施例,但本領域技術人員將認識到可以採用替代實施例而不背離技術原理。因此,雖然在附圖中顯示了特定實施例,但所述技術可以進行各種修改。
102:源電子裝置
104:音訊訊號
106:音訊輸出部件
108:視訊訊號
110:視訊輸出部件
112:接收方電子裝置
114:情境檢測演算法
116:覆蓋生成系統
118:音訊訊號
120:操縱視訊訊號

Claims (20)

  1. 一種方法,包含: 透過第一電子裝置輸出使用者可感知的第一訊號; 透過所述第一電子裝置接收表示將關於所述第一訊號的內容的資訊傳達到位於所述第一電子裝置附近的第二電子裝置的指令的輸入; 透過所述第一電子裝置在所述第一訊號上疊加表示所述資訊的第二訊號,以生成第三訊號;以及 透過所述第一電子裝置輸出所述第三訊號以供所述第二電子裝置檢測。
  2. 如請求項1的方法,其中所述第二訊號以對於所述使用者來說感覺不到所述第一訊號的修改的方式疊加在所述第一訊號上。
  3. 如請求項1的方法,其中所述第一訊號表示由所述第一電子裝置的音訊輸出部件發出的音訊訊號。
  4. 如請求項3的方法, 其中所述第二訊號代表所述使用者聽不見的超音波訊號,以及 其中所述疊加包含在由所述輸入指定或基於所述輸入確定的所述第一訊號的一部分中對所述第二訊號進行編碼。
  5. 如請求項1的方法,其中所述第一訊號表示由所述第一電子裝置的視訊輸出部件顯示的視訊訊號。
  6. 如請求項5的方法, 其中所述疊加包含將所述第一訊號和所述第二訊號編碼成一種形式,使得編碼後的第二訊號可被包括在所述第二電子裝置中的雷達系統檢測到,以及 其中所述雷達系統包括(i)能夠產生高於24 GHz的電磁波的發射器,(ii)能夠發射高於24 GHz的電磁波的第一天線,以及(iii)能夠接收高於24 GHz的電磁波的第二天線。
  7. 如請求項1的方法,其中所述疊加包含: 基於對所述第一訊號的內容的分析識別疊加所述第二訊號的時間間隔,以及 組合所述第一訊號和所述第二訊號,使得所述第二訊號與所述時間間隔重合。
  8. 如請求項1的方法,其中(i)所述第二訊號的內容或(ii)以所述第二訊號疊加在所述第一訊號上的方式使得所述第二訊號唯一地與所述第二電子裝置相關。
  9. 一種其上儲存有指令的非暫態媒體,當由電子裝置的處理器執行時,使得所述電子裝置執行以下操作,包含: 輸出可由使用者聽覺或視覺檢測到的第一訊號; 接收指示向另一電子裝置傳達資訊的指令的輸入; 在所述第一訊號上疊加表示所述資訊的第二訊號,以生成第三訊號;以及 輸出所述第三訊號以供其它電子裝置檢測。
  10. 如請求項9的非暫態媒體,其中所述操作還包含: 透過即時檢查所述第一訊號的內容來識別在其上疊加所述第二訊號的所述第一訊號的部分。
  11. 如請求項9的非暫態媒體,其中所述操作還包含: 基於對所述第一訊號的內容的分析識別疊加所述第二訊號的時間間隔;以及 組合所述第一訊號和所述第二訊號,使得所述第二訊號與所述時間間隔重合。
  12. 如請求項9的非暫態媒體, 其中所述第一訊號表示由所述第一電子裝置的視訊輸出部件顯示的視訊訊號, 其中所述疊加致使在一段時間間隔內將視覺修改引入所述視訊訊號,以及 其中所述視覺修改僅影響包含在所述時間間隔中的所述視訊訊號的每一訊框的一部分。
  13. 如請求項9的非暫態媒體,其中所述操作還包含: 基於所述電子裝置的特性,識別用於將所述資訊傳達給其它電子裝置的調變方案; 其中所述疊加係根據所述調變方案執行。
  14. 如請求項13的非暫態媒體,其中所述特性係顯示尺寸、顯示類型、型號或預期應用。
  15. 如請求項13的非暫態媒體,其中所述調變方案指定所述第二訊號的至少一個特性。
  16. 如請求項9的非暫態媒體,其中所述第二訊號為疊加在所述第一訊號上的多個訊號之一,因此被包括在所述第三訊號中。
  17. 如請求項16的非暫態媒體,其中所述多個訊號中的每個訊號對應於輸出所述第三訊號以供其它電子裝置檢測的不同時間間隔。
  18. 一種方法,包含: 透過第一電子裝置輸出使用者可聽覺或視覺檢測到的第一編碼資料流; 透過所述第一電子裝置確定所述第一電子裝置可存取的資訊將與第二電子裝置共享; 透過所述第一電子裝置生成指示所述資訊的第二編碼資料流;以及 透過將所述第二編碼資料流覆蓋在所述第一編碼資料流的一部分上,透過所述第一電子裝置將所述資訊傳送到所述第二電子裝置。
  19. 如請求項18的方法, 其中所述第一編碼資料流代表由所述第一電子裝置的視訊輸出部件顯示的視訊訊號,以及 其中所述資訊透過引入人眼無法察覺的所述視訊訊號的閃爍模式或顏色方案傳輸。
  20. 如請求項18的方法,還包含: 透過所述第一電子裝置實現檢測預定列表中包括的品牌名稱、產品名稱或人名的演算法; 透過所述第一電子裝置基於所述演算法產生的輸出檢測所述品牌名稱、產品名稱或人名中的一個在所述第一編碼資料流中被說出或顯示; 其中所述確定係響應於所述檢測執行;以及 其中所述資訊係與檢測到的品牌名稱、產品名稱或人名相關。
TW111111132A 2021-03-29 2022-03-24 透過修改音訊和視訊介面來廣播情境資訊 TW202245440A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163167461P 2021-03-29 2021-03-29
US63/167,461 2021-03-29
US17/655,534 2022-03-18
US17/655,534 US20220311527A1 (en) 2021-03-29 2022-03-18 Broadcasting contextual information through modification of audio and video interfaces

Publications (1)

Publication Number Publication Date
TW202245440A true TW202245440A (zh) 2022-11-16

Family

ID=83363810

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111111132A TW202245440A (zh) 2021-03-29 2022-03-24 透過修改音訊和視訊介面來廣播情境資訊

Country Status (5)

Country Link
US (1) US20220311527A1 (zh)
EP (1) EP4315663A2 (zh)
JP (1) JP2024514476A (zh)
CN (1) CN117121406A (zh)
TW (1) TW202245440A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210406855A1 (en) * 2020-06-29 2021-12-30 Nicholas-Alexander LLC Systems and methods for providing a tone-based kiosk service

Also Published As

Publication number Publication date
EP4315663A2 (en) 2024-02-07
US20220311527A1 (en) 2022-09-29
CN117121406A (zh) 2023-11-24
JP2024514476A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
US10971171B2 (en) Smartphone-based methods and systems
US10658007B2 (en) Smartphone-based methods and systems
US9354778B2 (en) Smartphone-based methods and systems
US9648197B2 (en) Salient point-based arrangements
US9547873B2 (en) Smartphone-based methods and systems
US9225822B2 (en) Channelized audio watermarks
US9240021B2 (en) Smartphone-based methods and systems
US8878955B2 (en) Tagging camera
US8762852B2 (en) Smartphone-based methods and systems
US20150286873A1 (en) Smartphone-based methods and systems
US20120116559A1 (en) Smartphone-Based Methods and Systems
US20100114344A1 (en) Communication system incorporating ambient sound pattern detection and method of operation thereof
WO2020051357A1 (en) Communicating context to a device using an imperceptible audio identifier
TW202245440A (zh) 透過修改音訊和視訊介面來廣播情境資訊
WO2022210336A2 (en) Broadcasting contextual information through modification of audio and video interfaces
KR20170066065A (ko) 사용자 맞춤형 정보를 제공하는 방법 및 장치
JP2021101285A (ja) 情報提供装置、情報提供システム、情報提供方法、及びプログラム
JP2007101587A (ja) 携帯端末機、情報処理方法およびプログラム