JP2024514476A - 音声および映像インタフェースの変調によるコンテキスト情報のブロードキャスト - Google Patents

Abstract

【解決手段】ここで紹介されるのは、第２の電子デバイス（「受信者電子デバイス」とも呼ばれる）により検出可能なインタフェース信号を現在出力している第１の電子デバイス（「ソース電子デバイス」とも呼ばれる）から、インタフェース信号の変調を介して関連情報を転送するアプローチである。このような変調により、関連情報がインタフェース信号に付加され、次に受信者電子デバイスに転送される。これは、関連情報を表す別の信号をインタフェース信号に重畳することにより実現できる。したがって、ソース電子デバイスにより出力されるインタフェース信号に信号を重畳することにより、関連情報は、ソース電子デバイスから受信者電子デバイスに転送され得る。【選択図】図５

Description

（関連出願の相互参照）
本出願は、「Contextual Data Broadcasts Via Audio-Visual Interface Modifications」と題され、２０２１年３月２９日に出願された米国仮出願第６３／１６７，４６１号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

（技術分野）
本開示は、情報の無線通信に関し、より具体的には、聴覚的または視覚的に検出可能なコンテンツの変調を通じて電子デバイス間で情報を無線通信するアプローチに関する。

モノのインターネット（ＩｏＴ）の発展に伴い、電子デバイスが絶えず利用可能になり、個人は、インターネット、電子デバイス、および互いに、常に接続されることを期待している。歴史的に、これは「Ｗｉ－Ｆｉ（登録商標）」と総称される無線ネットワークプロトコルにより実現されてきた。これらの無線ネットワークプロトコルは、近くの複数の電子デバイスが電波を使ってデータを交換することを可能にする。

より優れた接続性への要求により、ほぼすべての電子デバイスが、音声または映像をリアルタイムで処理し、ローカルでデジタル信号処理を実行する機能を持つことへの期待が高まっている。このような機能を念頭に、企業は、電子デバイス間のワイヤレス相互作用を促進する新技術の開発に着手した。これらの技術の一つは、データ・オーバー・サウンド（data-over-sound）である。データ・オーバー・サウンドは、音声出力コンポーネントを含む第１の電子デバイス（「ソース電子デバイス」とも呼ばれる）と、音声入力メカニズムを含む第２の電子デバイス（「受信者電子デバイス（recipient electronic device）」とも呼ばれる）との間でのデータ交換を可能にする。

高レベルでは、データ・オーバー・サウンドは、データが音響チャネルを介して転送されることを除き、クイック・レスポンス（ＱＲ）コードと同様に機能する。実際には、データは、第１の電子デバイスにより、例えば一連のトーンとして、音響信号に符号化されて「音響バーコード」を形成する。次に、第１の電子デバイスは、第２の電子デバイスによる受信のために音響信号を発する。受信すると、第２の電子デバイスは、そこに符号化されているデータを復号するように音響信号を復調する。

図１は、ソース電子デバイスにより出力されるインタフェース信号に関連情報がどのように重ねられ得るかを示す高レベルの図を含む。

図２は、機械解釈可能な符号化されたデータを電子デバイスから１つまたは複数の他の電子デバイスにブロードキャストするために使用できるシステムの高レベル表現を含む。

図３は、受信者電子デバイスに情報を転送するためにインタフェース信号を操作するように設計された操作プラットフォームを実装できる電子デバイスの例を示す。

図４は、可聴信号または視覚信号の変調を通じて、第１の電子デバイス（「ソース電子デバイス」とも呼ばれる）から第２の電子デバイス（「受信者電子デバイス」とも呼ばれる）に情報を転送する手順の概略図を含む。

図５は、ソース電子デバイスと受信者電子デバイスとの間の通信の高レベルの図を含む。

図６は、受信者電子デバイスに情報を転送するためにソース電子デバイスにより実行されるプロセスのフロー図を含む。

図７Ａは、受信者電子デバイスに情報を転送する適切な機会を識別するように、抽出アルゴリズムがインタフェース信号をどのように処理できるかを示す概略図を含む。

図７Ｂは、ソース電子デバイスから受信者電子デバイスへの情報の転送を開始することが適切であるか否か決定するように、検出アルゴリズムが、抽出アルゴリズムにより生成された出力をどのように調査できるかを示す概略図を含む。

図７Ｃは、変調アルゴリズムが、関連情報をそこに重ねるように、インタフェース信号をどのように変調できるかを示す概略図を含む。

図７Ｄは、重畳アルゴリズムが、変調アルゴリズムにより出力された第２の信号を、ソース電子デバイスによりブロードキャストされる第１の信号にどのように重畳できるかを示す概略図を含む。

図８は、音声信号に含まれる音声の分析に基づいて、どのようにリンクがインテリジェントに音声信号に埋め込まれ得るかを示す図である。

図９は、本明細書で説明されるアプローチが、機密情報の安全な転送を容易にするためにどのように使用され得るかを示す。

図１０は、本明細書で説明される動作の少なくとも一部を実装できる処理システムの一例を示すブロック図である。

本明細書に記載された技術の様々な特徴は、図面と共に詳細な説明を検討することから、当業者にとってより明らかになるであろう。実施形態は、例として、限定されずに図面に示される。図面は例示の目的で様々な実施形態を描いているが、当業者は、技術の原理から逸脱することなく代替の実施形態が採用され得ることを認識するであろう。従って、図面に特定の実施形態が示されているが、本技術は様々な変更が可能である。

一般に「音響データ伝送」または「データ・オーバー・サウンド」と呼ばれる概念である、データを音で転送することのいくつかの利点がある。音響データ伝送は、可聴音信号を使用して達成できるが、通常、音響データ伝送は、不可聴音信号（「超音波信号」とも呼ばれる）を使用して達成される。そのため、音響データ伝送は、完全にではないとしても、近くにいる人にはほとんど感覚的に知覚できないかもしれない。さらに、音響接続は音声出力および入力コンポーネントに依存しているので、現在使用されている多くの電子デバイスがデータ・オーバー・サウンドに参加できる。簡単に言えば、音響データ伝送は、さまざまなフォームファクタ、アーキテクチャなどの電子デバイスと互換性がある。一例として、超音波信号は、「広告クッキー」として所定の電子デバイスによりブロードキャストされ、それは、近くの電子デバイスの「常時オン」の音声入力コンポーネントにより収集され、かつ調べられ得る。不正アクセスは、そこに符号化されたデータにアクセスするために、責任者（「ハッカー」とも呼ばれる）が、音響信号が発せられる電子デバイスの近くに位置することを必要とするので、音響データ伝送も安全である。

しかし、音響データ伝送にはいくつかの欠点がある。

一例として、音響データ伝送は、インターネットのようなネットワークを必要としないが、必要なフレームワークの実装には一般にネットワークへの接続が必要である。例えば、データがソース電子デバイスから受信者電子デバイスに音で転送されることを仮定する。このようなシナリオでは、ソース電子デバイスは、例えば、いつ又はどのようにデータを受信者電子デバイスに転送するかを示すフレームワークを必要とし得る。「フレームワーク」という用語は、ソース電子デバイスによりどのように音響データ伝送が行われるかを制御するか又は影響を及ぼすアルゴリズム、ヒューリスティック、またはルールの集合を指し得る。一般的に、フレームワークはソフトウェアにより実装される。

しかし、多くの電子デバイスはネットワークとの接続を開始できない。一例として、ネットワーク接続されたＰＯＳシステム（「決済システム」とも呼ばれる）の比較的急速な採用にもかかわらず、多くのレガシー決済システムが配置されたままである。実際、調査は、２０２０年に米国内で導入された決済システムのおよそ９３％は「クラウド対応」ではないことを示す。同様に、レガシー広告システムの大部分は「クラウド対応」ではない。しかし、これらのレガシー決済システムと広告システムは、通常、音声出力コンポーネントまたは映像出力コンポーネントのいずれかを含む。

別の例として、音響データ伝送は、いくつかの状況では実用的でないか、または、不可能であるかもしれない。特に、音響データ伝送は、歴史的に、１つまたは複数の受信者電子デバイスにストリーミングする可聴コンテンツでの実装には適していない。このため、音響データ伝送は、転送されるデータが所定の時点に関連する（したがって、適時性が不可欠である）ので、決済取引の領収書の送信および広告の配信のような時間に敏感な状況での実装が困難である。

したがって、ここで紹介するのは、インタフェース信号を現在出力しているソース電子デバイスから、インタフェース信号の変調を介して受信者電子デバイスに関連情報を転送するアプローチである。このような変調により、関連情報は、インタフェース信号に付加され、次に受信者電子デバイスに転送される。これは、関連情報を表す別の信号をインタフェース信号に重畳することで達成できる。したがって、ソース電子デバイスにより出力されるインタフェース信号に信号を重畳することにより、関連情報は、ソース電子デバイスから受信者電子デバイスに転送され得る。

さらに後述するように、インタフェース信号（したがって、関連情報を表す重畳信号）の性質は、ソース電子デバイスおよび受信者電子デバイスの性能に依存し得る。例えば、ソース電子デバイスが（ｉ）音声信号を出力できる音声出力コンポーネントと、（ｉｉ）映像信号を出力できる映像出力コンポーネントとを含むと仮定する。このようなシナリオでは、インタフェース信号は、音声出力コンポーネントにより発せられる音声信号を表すことができ、または、インタフェース信号は、映像出力コンポーネントにより表示される映像信号を表すことができる。

したがって、重畳信号は、インタフェース信号のコンテキストおよびコンテンツ、ソース電子デバイスの性質、または受信者電子デバイスの性質に依存する方法で含まれ得る。いくつかの実施形態では、受信者電子デバイスにより可聴的に検出可能であるが、受信者電子デバイスに関連する個人により可聴的に検出可能ではない方法で関連情報を符号化する超音波信号の設計により、関連情報は転送される。他の実施形態では、受信者電子デバイスにより視覚的またはその他の方法で検出可能であるが、対応する個人により視覚的に検出可能ではない方法で関連情報を符号化する映像変調（video modification）の設計により、関連情報は転送される。例えば、受信者電子デバイスに含まれるレーダーシステムにより検出可能なように、映像変調は設計および実装され得る。レーダーシステムの一例は、ミリ波（ｍｍ波）レーダーシステムであり、それは、（ｉ）ミリメートル（ｍｍ）レンジの電磁波を生成できる送信機、（ｉｉ）ｍｍレンジの電磁波を送信できる第１のアンテナ、および（ｉｉｉ）ｍｍレンジの電磁波を受信できる第２のアンテナを含む。一般に、「ｍｍレンジ」および「ミリ波レンジ」という用語は、２４ギガヘルツ（ＧＨｚ）と３００ＧＨｚの間の電磁スペクトルの部分を指す。関連性のある第２の検出方法は、光カメラ通信（ＯＣＣ）であり、この場合、映像変調は、映像変調が提示されるディスプレイに対して視覚的な視線を有する電子デバイスに含まれる画像センサに検出可能であるように、当該技術分野で公知の方式の１つに従って設計される。

いくつかの実施形態では、重畳信号のコンテンツ（内容）は、インタフェース信号のコンテンツのリアルタイム分析に基づいて決定される。例えば、重畳信号は、インタフェース信号において言及または示された製品に関する情報を含み得るか、または、重畳信号は、インタフェース信号を使用して促進または完了された決済取引のデジタル領収書を含み得る。加えてまたは代替的に、重畳信号のタイミングは、インタフェース信号のコンテンツのリアルタイム分析に基づいて決定され得る。別の言い方をすれば、重畳信号が重畳されるインタフェース信号の部分は、インタフェース信号のコンテンツに依存し得る。例えば、重畳信号が、ある時間間隔にわたってインタフェース信号において言及または示された製品に関する情報を含む場合、重畳信号は、インタフェース信号とその時間間隔にわたって結合されてもよく、製品が言及または示されたときに情報にアクセスできるようにする。別の例として、重畳信号が、インタフェース信号を使用して促進または完了された決済取引のデジタル領収書を含む場合、重畳信号は、インタフェース信号の分析に基づき、決済取引が完了したという決定に応答して、インタフェース信号と結合されてもよい。

重畳信号はまた、受信者電子デバイス（したがって受信者電子デバイスに関連する個人）に一意にリンクされ得る。重畳信号は、タイミング、コンテンツ、および、位置（例えば、グローバル・ポジショニング・システムの座標、インターネット・プロトコル・アドレスなどに基づいて決定される）などの他の特徴を介して、受信者電子デバイスに一意にリンクされ得る。したがって、（ｉ）第１の信号のコンテンツ、（ｉｉ）第２の信号のコンテンツ、または（ｉｉｉ）第２の信号が第１の信号に重畳される方法が、第２の信号を受信者電子デバイスに一意に関連付ける。例えば、ソース電子デバイスが複数の受信者電子デバイスに情報を転送するタスクが課せられていると仮定する。このようなシナリオでは、各受信者電子デバイスに関連する情報は、インタフェース信号の異なる部分に重畳され得る。これにより、ソース電子デバイスは、複数の受信者デバイスに順次情報を伝達できる。

受信者電子デバイスによるインタフェース信号の受信とそれに続く重畳信号の復号は、他の機能性も可能にできる。例えば、一定の時間（例えば、重畳信号が受信者電子デバイスにより検出可能である限り）、特定のユーザインタフェース（ＵＩ）機能が受信者電子デバイス上で相互作用のためにアクセス可能にされ得る。このように、重畳信号は、場所に基づいてコンテキスト化されたデータを提供することを可能にするビーコンとして機能できる。

説明のために、実施形態は、所定のコンテキストで関連情報を転送する文脈で説明され得る。例えば、実施形態は、広告を関連情報で補うか、または、決済取引のためのデジタル領収書を提供する文脈で説明され得る。しかしながら、本明細書で説明するアプローチは、ある電子デバイスから別の電子デバイスへのデータの無線転送から利益を得る他の文脈にも同様に適用され得る。

必須ではないが、実装は、電子デバイスにより実行可能な命令の文脈で以下に説明される。「電子デバイス」という用語は、一般に「コンピューティングデバイス」という用語と互換的に使用され、したがって、コンピュータサーバ、決済システム、広告システム、タブレットコンピュータ、携帯電話、ウェアラブルデバイス（例えばフィットネストラッカおよび腕時計）などを指すために使用され得る。

特定のモジュールなどの本技術の態様は、単一の電子デバイスにより排他的または主体的に実行されると説明され得るが、いくつかの実装は、ネットワークを通じてリンクされた複数の電子デバイス間でモジュールが共有される分散環境で実行される。例えば、個人は、広告システムにより表示された製品に関する追加情報が必要であることを示し得る。このようなシナリオでは、広告システムは、ネットワーク（例えばインターネット）を介してアクセス可能なコンピュータサーバから情報を取得し、次に、上述したように個人に関連する携帯電話に情報を転送し得る。あるいは、情報は広告システム上に保存されてもよく、そのため広告システムはネットワークに接続される必要がなくてもよい。
［用語］

本明細書における「一実施形態」または「１つの実施形態」への言及は、説明される特徴、機能、構造、または特性が、技術の少なくとも１つの実施形態に含まれることを意味する。このようなフレーズの出現は、必ずしも同じ実施形態を指すものではなく、また、必ずしも互いに排他的である代替の実施形態を指すものでもない。

文脈が明らかにそうでないことを要求しない限り、用語「備える」、「備えている」、および「構成される」は、排他的または網羅的な意味ではなく、包括的な意味で（すなわち、「含むがこれに限定されない」という意味で）解釈されるものとする。また、「基づく」という用語も、排他的または網羅的な意味ではなく、包含的な意味で解釈されるものとする。したがって、特に断らない限り、用語「基づく」は、「少なくとも部分的に基づく」を意味することが意図される。

用語「接続された」、「結合された」、およびその変形は、直接的または間接的に、２つ以上の要素間の任意の接続または結合を含むことを意図している。接続／結合は、物理的、論理的、またはそれらの組み合わせであり得る。例えば、オブジェクトは、物理的な接続を共有していないにもかかわらず、互いに電気的または通信可能に結合され得る。

「モジュール」という用語は、ソフトウェアコンポーネント、ファームウェアコンポーネント、またはハードウェアコンポーネントを指し得る。モジュールは、典型的には、１つまたは複数の入力に基づいて１つまたは複数の出力を生成する機能コンポーネントである。一例として、コンピュータプログラムは、異なるタスクの完了を担当する複数のモジュール、またはすべてのタスクの完了を担当する単一のモジュールを含み得る。

複数の項目のリストに関して使用される場合、用語「または」は、リスト内の項目のいずれか、リスト内の項目のすべて、およびリスト内の項目の任意の組み合わせ、という解釈のすべてをカバーすることが意図される。

ここに記載されたプロセスのいずれかにおいて実行されるステップの順序は、例示的なものである。しかし、物理的な実現性に反しない限り、ステップは、様々な順序と組み合わせで実行され得る。例えば、ステップは、ここで説明したプロセスに追加されるか、または、そこから削除され得る。同様に、ステップは、置き換えられるか、または、順序を変更され得る。このように、任意のプロセスの記載は、オープンエンドであることが意図されている。
［信号操作による情報伝達の紹介］

図１は、ソース電子デバイス１０２により出力されたインタフェース信号に関連情報がどのように重ねられ得るかを示す高レベルの図を含む。上述したように、インタフェース信号は、音声出力コンポーネント１０６により出力される音声信号１０４であり得るか、または、インタフェース信号は、映像出力コンポーネント１１０により出力される映像信号１０８であり得る。

高レベルでは、ここで導入されたアプローチは、受信者電子デバイス１１２に転送されるように、関連情報がインタフェース信号に重ねられることを可能にする。ソース電子デバイス１０２および受信者電子デバイス１１２は、（例えばそれぞれのアンテナを介して）ネットワーク接続を有してもよいが、これらのデバイスが互いに直接接続することは不可能であってもよい。加えてまたは代替的に、ソース電子デバイス１０２は、無線通信チャネルを介したリンクを可能にするための所定の近接範囲内に、もしあっても、どの電子デバイスが位置するかを決定できなくてもよい。ここで紹介するアプローチは、このようなシナリオであっても、関連情報がソース電子デバイス１０２から受信者電子デバイス１１２に転送されることを可能にする。

さらに後述するように、コンテキスト検出アルゴリズム１１４（または単に「検出アルゴリズム」）は、インタフェース信号のコンテンツのコンテキストを検出する役割を担い得る。コンテキストに基づいて、次に、受信者電子デバイス１１２にブロードキャストされる関連情報が識別され得る。一般に、コンテンツは、検出アルゴリズム１１４によりローカルに（すなわちソース電子デバイス１０２上で）分析されるが、コンテンツは、検出アルゴリズム１１４により他の場所で調べられてもよい。例えば、検出アルゴリズム１１４は、いくつかの実施形態において、ソース電子デバイスが通信可能に接続されている別の電子デバイス（例えばコンピュータサーバ）により実行され得る。

その後、関連情報を送信するように設計された適切な変調が、重畳生成システム１１６により識別され得る。図２を参照して後述するように、重畳生成システム１１６は、変調アルゴリズム、重畳アルゴリズム、信号データベース、またはそれらの任意の組み合わせを含むことができる。受信者電子デバイス１１２などの近くの電子デバイスに関連情報がブロードキャストされるように、適切な変調は、インタフェース信号に重ねられるように設計され得る。例えば、変調が音声入力コンポーネントにより検出可能であるように、関連情報は、音声信号１０４の変調を介してブロードキャストされ得る。別の例として、映像入力コンポーネントまたは他のセンサ（例えばミリ波レーダーシステム）により変調が検出可能であるように、関連情報は、映像信号１０８の変調を介してブロードキャストされ得る。

説明の便宜上、変調は、操作された信号を生成するようにインタフェース信号に重ねられ得るバイナリ文字列、すなわち０１０１００１１０１として示される。音声信号１０４に変調を重ねることにより、重畳生成システム１１６は、受信者電子デバイス１１２による検出のためにブロードキャストされ得る操作された音声信号１１８を生成できる。同様に、映像信号１０８に変調を重ねることにより、重畳生成システム１１６は、受信者電子デバイス１１２による検出のためにブロードキャストされ得る操作された映像信号１２０を生成できる。

通常、重畳生成システム１１６は、音声信号１０４および映像信号１０８の一方のみを操作する。しかし、重畳生成システム１１６が音声信号１０４および映像信号１０８を操作するシナリオもあり得る。例えば、検出アルゴリズム１１４および重畳生成システム１１６がそれの一部である操作プラットフォームが、受信者電子デバイス１１２がこれらの信号のいずれを検出できるか確信できない場合、操作された音声信号１１８および操作された映像信号１２０が、受信者電子デバイス１１２による検出のためにブロードキャストされ得る。別の例として、操作プラットフォームが関連情報を分割することに関心がある場合（例えば、プライバシー目的のため、それらのチャネルの帯域幅または遅延のためなど）、操作された音声信号１１８および操作された映像信号１２０が、受信者電子デバイス１１２による検出のためにブロードキャストされ得る。操作された音声信号１１８および操作された映像信号１２０が検出のためにブロードキャストされる実施形態では、それらの信号は、同じ情報または異なる情報を含み得る。

図１に示すように、受信者電子デバイス１１２は、ソース電子デバイス１０２によりブロードキャストされる操作された信号を検出できる。操作された信号が操作された音声信号１１８である場合、受信者電子デバイス１１２は、音声入力コンポーネントを介して操作された信号を検出し得る。操作された信号が操作された映像信号１２０である場合、受信者電子デバイス１１２は、映像入力コンポーネントまたは他のセンサ（例えば、映像画面の状態を感知できるミリ波レーダーシステム）を介して、操作された信号を検出し得る。その後、データは、受信者電子デバイスにより、操作された信号から復号され得る。このデータおよび他の特徴（例えばタイミングおよび位置）に基づいて、関連情報は、受信者電子デバイス１１２のユーザに提供され得る。関連情報の例は、ブランド、製品、および加盟店のパーソナライズされたオファー、決済取引のデジタル領収書などを含む。
［信号操作プラットフォームの概要］

図２は、機械解釈可能な符号化されたデータを電子デバイス２０４から１つまたは複数の他の電子デバイス（図示せず）にブロードキャストするために使用できるシステム２００の高レベル表現を含む。説明のために、電子デバイス２０４は「ソース電子デバイス」と呼ばれ得るし、他の電子デバイスは「受信者電子デバイス」と呼ばれ得る。機械解釈可能な符号化されたデータをブロードキャストするために、信号操作プラットフォーム２０２（または単に「操作プラットフォーム」）は、電子デバイス２０４により出力されるインタフェース信号を操作できる。例えば、操作プラットフォーム２０４は、電子デバイス２０４の映像出力コンポーネント２０６により表示される映像信号を操作してもよく、または、操作プラットフォーム２０４は、電子デバイス２０４の音声出力コンポーネント２０８により発せられる音声信号を操作してもよい。これらの操作は、結果として生じる映像信号または音声信号の変化が、受信者電子デバイスに関連する個人にとって、完全にではないにしても、ほとんど感覚的に知覚できないように設計および実装され得る。これらの個人は、受信者電子デバイスの「ユーザ」と呼ばれ得る。

「感覚的に知覚可能」という用語は、典型的な人間の感覚により見ることができ、気付くことができ、または検出できる刺激を指し得ることに留意されたい。刺激は、視覚的に知覚可能、聴覚的に知覚可能、触覚的に知覚可能などであり得る。視覚的な刺激の例は、静止画像と動的画像を含み、可聴的な刺激の例は、オーディオブック、ポッドキャスト、ラジオ放送を含む。いくつかの刺激は、複数の感覚により知覚可能であり得る（例えば、映像信号は視覚的および聴覚的に知覚可能であり得る）。したがって、「感覚的に知覚できない」という用語は、典型的な人間の感覚により見ることができない、気付くことができない、または検出できない刺激を指すために使用され得る。

例えば、ある個人が、可聴コンテンツが発せられている小売施設を訪れたと仮定する。個人が小売施設を横切るとき、基礎となる音声信号は、小売施設により提供される製品または小売施設自体に関する情報を含むように操作され得る。例えば、情報は、小売施設により提供される製品または販売促進キャンペーンに関する詳細を含むウェブサイトへのハイパーリンク（または単に「リンク」）であり得る。これにより、基礎となる音声信号が操作されることになるが、操作は人間の耳により検出可能ではないかもしれない。そのため、電子デバイスは操作を検出し得るが、個人は基礎となる音声信号が操作されたことに気付かないかもしれない。操作された音声信号を復号することで、電子デバイスは情報を「発見」できる。個人が自宅でポッドキャストを聴いているとき、自動車でラジオを聴いているとき、ショッピングセンターまたは空港などの公共の環境を歩いているときなどにも、可聴コンテンツの変調を介して情報を転送するための同様のプロセスが実行され得る。

別の例として、ある個人が拡張現実ヘッドセット（「複合現実ヘッドセット」とも呼ばれる）を装着しながら、公共または私的な環境を横切っていると仮定する。個人が環境を横切るとき、その人は、製品、人、イベントなどに関連するコンテンツを視覚的に提示するディスプレイパネルを観察し得る。さらに後述するように、これらのディスプレイパネルに表示される視覚的コンテンツは、それらの製品、人、イベントなどに関する情報を含むように操作され得る。例えば、コンテンツがあるアーティストの音楽公演に関する場合、情報は、その音楽公演のチケットを購入できるウェブサイトへのリンクであってもよい。別の例として、コンテンツが映画館で上映される映画に関する場合、情報は、その映画の予告編へのリンクであってもよい。繰り返すと、操作は、基礎となる映像信号に変化を生じさせるが、操作は、人間の目により検出可能ではないかもしれない。従って、複合現実ヘッドセットは操作を検出し得るが、個人は、基礎となる映像信号が操作されたことに気付かないかもしれない。操作された映像信号を復号することで、複合現実ヘッドセットは、情報を「発見」できる。同等の処理は、環境を視覚的に監視できるセンサ（例えば画像センサ）を含む他のタイプの電子デバイスにより実行され得る。そのような電子デバイスの例は、携帯電話、ウェアラブルカメラ、および一部の時計とフィットネスアクセサリなどを含む。具体的な例として、携帯電話は、ディスプレイパネルを含む環境についてパンされると、視覚的コンテンツの変調を検出でき得る。

図２に示すように、システム２００は、映像出力コンポーネント２０６、音声出力コンポーネント２０８、プロセッサ２１０、またはそれらの任意の組み合わせにアクセスし得る操作プラットフォーム２０２を含む。当業者は、これらの構成要素のすべてが必ずしも電子デバイス２０４に含まれる必要はないことを認識するであろう。例えば、電子デバイス２０４は、いくつかの実施形態において、音声出力コンポーネント２０８を含み得るが、映像出力コンポーネント２０６を含まなくてもよい。他の実施形態では、電子デバイス２０４は、映像出力コンポーネント２０６を含み得るが、音声出力コンポーネント２０８を含まなくてもよい。電子デバイス２０４は、図２に示す構成要素に加えて、他の構成要素も含み得る。例えば、電子デバイス２０４は、音声出力コンポーネント２０８に加えて音声入力コンポーネントを含むことができ、電子デバイス２０４と受信者電子デバイスまたはそれらのデバイスのユーザとの間の音声による相互作用を可能にする。音声入力コンポーネントの一例は、音を電気インパルスに変換して電子デバイス２０４の他のコンポーネントにより処理できる信号を作るように設計されたマイクロホンである。

映像出力コンポーネント２０６は、映像信号のコンテンツを個人および対応する受信者電子デバイスに視覚的に伝えるように動作可能な任意の機構であり得る。例えば、映像出力コンポーネント２０６は、発光ダイオード（ＬＥＤ）、有機ＬＥＤ、液晶素子、または電気泳動素子を含むディスプレイパネルであり得る。

音声出力コンポーネント２０８は、音声信号のコンテンツを個人および対応する受信者電子デバイスに聴覚的に伝えるように動作可能な任意の機構であり得る。例えば、音声出力コンポーネント２０８は、電気インパルスを音に変換するように設計されたラウドスピーカー（または単に「スピーカー」）であり得る。

この電子デバイス２０４は、音声出力コンポーネント２０８で音声信号を出力し、かつ、映像出力コンポーネント２０６で映像信号を出力できるので、「オーディオ・ビデオ・デバイス」または「オーディオ・ビジュアル・デバイス」と呼ばれ得る。上述したように、動作中、この電子デバイス２０４は、ユーザにより検出可能なインタフェース信号を出力し得る。インタフェース信号が音声信号を表す実施形態では、この電子デバイス２０４は、ユーザが相互作用できる「オーディオインタフェース」を生成またはサポートするとして説明され得る。インタフェース信号が映像信号を表す実施形態では、この電子デバイス２０４は、ユーザが相互作用できる「ビデオインタフェース」または「ビジュアルインタフェース」を生成またはサポートするとして説明され得る。いくつかのシナリオでは、この電子デバイス２０４は、複数のインタフェース信号、例えば音声出力コンポーネント２０８により出力される音声信号、および、映像出力コンポーネント２０６により出力される映像信号を出力し得る。このような実施形態では、この電子デバイス２０４は、ユーザが相互作用できる「オーディオ・ビデオ・インタフェース」または「オーディオ・ビジュアル・インタフェース」を生成またはサポートするとして説明され得る。さらに後述するように、操作プラットフォーム２０２は、これらのインタフェース信号の一方または両方を操作できる。

図２に示すように、操作プラットフォーム２０２は、信号変調アルゴリズム２１２（または単に「変調アルゴリズム」）、信号重畳アルゴリズム２１４（または単に「重畳アルゴリズム」）、および信号データベース２１６を含み得る。信号データベース２１６は、受信者電子デバイスと共有できる情報を表す様々な信号を記憶し得る。別の言い方をすれば、信号データベース２１６は、電子デバイス２０４により出力されるインタフェース信号に重畳され得る様々な信号を記憶し得る。さらに後述するように、信号データベース２１６内の信号は、電子デバイス２０４により出力されるインタフェース信号の性質、電子デバイス２０４の構成要素、または受信者電子デバイスの構成要素に応じて変化し得る。したがって、信号データベース２１６は、音響信号、映像信号、またはそれらの組み合わせを含むことができる。信号データベース２１６内の信号は、不正アクセスを防止するために、暗号化され、ハッシュ化され、または難読化され（obfuscated）得る。

いくつかの実施形態では、操作プラットフォーム２０２は、インタフェース信号に重畳される信号をほぼリアルタイムに生成するように構成される。例えば、操作プラットフォーム２０２は、インタフェース信号のコンテンツのリアルタイム分析に基づいて、インタフェース信号に重畳される信号を生成し得る。別の例として、操作プラットフォーム２０２は、受信者電子デバイスの１つまたは複数の特性（例えば、１つまたは複数のデータパケットの形態で受信者電子デバイスから電子デバイス２０４に送信された通信の分析を通じて学習された）に基づいて、インタフェース信号に重畳される信号を生成し得る。信号が操作プラットフォームによりほぼリアルタイムで生成される実施形態では、信号は信号データベース２１６に全く記憶されなくてもよく、または、信号は、情報の転送が完了するまでの短い時間（例えば数秒以下）のみ信号データベース２１６に記憶されてもよい。

プロセッサ２１０により実行されると、操作プラットフォーム２０２に実装されたアルゴリズムは、聴覚的または視覚的に感知可能なインタフェース信号の操作を介して、電子デバイス２０４から受信者電子デバイスに情報が転送されることを可能にする。これを達成するために、操作プラットフォーム２０２は、図２に示すように、それぞれが異なるアルゴリズムに対応し得る２つのフェーズを完了し得る。

第１のフェーズ（「変調フェーズ」または「作成フェーズ」とも呼ばれる）において、変調アルゴリズム２１２は、受信者電子デバイスと共有される情報を表す信号を作成できる。これは、様々な方法で起こり得る。いくつかの実施形態では、変調アルゴリズム２１２は、インタフェース信号のコンテンツ、または、受信者電子デバイスもしくはそのユーザの特性に基づいて、信号データベース２１６から信号を取得する。この信号は、何ら変調されることなく（すなわち、その「生の形態」で）使用され得るか、または、この信号は、インタフェース信号、受信者電子デバイス、または受信者電子デバイスのユーザに合わせて調整されるように、変調アルゴリズム２１２により変調され得る。他の実施形態では、変調アルゴリズム２１２は、信号が重畳されるインタフェース信号の分析に基づいて、ほぼリアルタイムで信号を生成する。

第２のフェーズ（「重畳フェーズ」または「転送フェーズ」とも呼ばれる）において、重畳アルゴリズム２１４は、受信者電子デバイスに転送される情報がインタフェース信号と「共に搬送」できるように、信号をインタフェース信号に重畳できる。重畳は、インタフェース信号が最小限の劣化だけ受けるように実行できる。そのため、インタフェース信号への信号の重畳から生じる変調は、受信者電子デバイスのユーザには、完全にではないとしても、ほとんど感覚的に知覚できないかもしれないが、受信者電子デバイス自体により容易に検出可能である。

上述したように、いくつかの実施形態では、インタフェース信号は音声信号を表してもよい。したがって、インタフェース信号として機能する音声信号に第２の音声信号（例えば超音波音声信号）を重畳することにより、情報は、電子デバイス２０４から受信者電子デバイスに転送され得る。このような実施形態では、情報転送のタイミングは、インタフェース信号に含まれるコンテンツ（例えば、話し言葉、非文字（非レキシカル）発話など）の分析に基づいて最適化されてもよい。別の言い方をすれば、第２の音声信号が重畳されるインタフェース信号の部分は、インタフェース信号のコンテンツの分析に基づいて決定できる。加えてまたは代替的に、インタフェース信号の部分は、情報が転送されることを示す操作プラットフォーム２０２により受信された入力により指定され得るか、またはそれに基づいて決定され得る。当業者は、いくつかの状況において、インタフェース信号が別のインタフェース信号を伴い得ることを認識するであろう。例えば、電子デバイス２０４は、製品またはサービスに関連する音声コンテンツを含む第１のインタフェース信号と、製品またはサービスに関連する視覚的コンテンツを含む第２のインタフェース信号とを出力し得る。そのようなシナリオでは、情報転送のタイミングは、第１のインタフェース信号のコンテンツ、第２のインタフェース信号のコンテンツ、またはそれらの組み合わせに基づいて最適化され得る。

他の実施形態では、インタフェース信号は映像信号を表す。このような実施形態では、インタフェース信号として機能する映像信号への第２の音声信号の重畳は、コンテンツの視覚的な変調になり得る。この視覚的変調は、人間の目に見えるかもしれないし、または、この視覚的変調は、人間の目に知覚できないかもしれないが、受信者電子デバイスにより検出可能であり得る。視覚的変調の例は、透かし、フリッカーパターン、および配色の変更を含む。インタフェース信号が映像信号を表す実施形態では、情報転送のタイミングは、インタフェース信号のコンテンツの分析に基づいてもよい。例えば、映像出力コンポーネント２０６により出力されたインタフェース信号が特定のメッセージ（例えば「お買い上げありがとうございます」）、コンテンツ（例えば、決済取引が完了したことを確認するウェブサイト）などを含むという決定に応答して、情報は、電子デバイス２０４から受信者電子デバイスに転送されてもよい。さらに後述するように、受信者電子デバイスに含まれる様々なセンサは、インタフェース信号に重畳される第２の映像信号を検出し、解析し、または理解するために使用できる。例えば、操作プラットフォーム２０２は、ミリ波レーダーシステムを介した検出可能性に最適化された方法で情報を転送するために、適切な映像信号の変調を設計するように使用され得る。

図３は、受信者電子デバイスに情報を転送するためにインタフェース信号を操作するように設計された操作プラットフォーム３１０を実装できる電子デバイス３００の例を示す。上述したように、インタフェース信号は、別の信号がそこに重畳されたときに変調される音声信号または映像信号を表し得る。変調は、情報が転送される受信者電子デバイスにより検出可能であるが、変調は、そのユーザにより必ずしも検出可能でなくてもよい。

いくつかの実施形態では、操作プラットフォーム３１０は、電子デバイス３００により実行されるコンピュータプログラムとして具現化される。例えば、操作プラットフォーム３１０は、決済システム上に存在してもよく、この場合、インタフェース信号に導入される変調は、それぞれの受信者電子デバイスを使用して決済取引を完了した個人に通信されるデジタル領収書を表し得る。別の例として、操作プラットフォーム３１０は、広告システム上に存在してもよく、この場合、インタフェース信号に導入される変調は、広告システム上に表示される製品またはサービスに関する追加情報へのリンクを表し得る。当業者は、操作プラットフォーム３１０の態様が複数の電子デバイスの間で分散され得ることを認識するであろう。一例として、操作プラットフォーム３１０は、第１の電子デバイス（例えば、決済システム、広告システム等）上に存在してもよく、一方、信号データベース３１２は、第２の電子デバイス（例えばコンピュータサーバ）上に存在してもよい。

電子デバイス３００は、プロセッサ３０２、メモリ３０４、ＵＩ出力機構３０６、および通信モジュール３０８を含むことができる。

プロセッサ３０２は、汎用プロセッサと同様の汎用特性を有することができ、または、プロセッサ３０２は、電子デバイス３００に制御機能を提供する特定用途向け集積回路（ＡＳＩＣ）であってもよい。図３に示すように、プロセッサ３０２は、通信目的で、直接的または間接的に、電子デバイス３００の全ての構成要素に結合され得る。操作プラットフォーム３１０がコンピュータプログラムとして具現化される実施形態では、電子デバイス３００が本明細書で説明される動作を実行できるように、基礎となる命令がプロセッサ３０２により実行され得る。

メモリ３０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、またはレジスタなどの任意の適切なタイプの記憶媒体で構成され得る。プロセッサ３０２により実行され得る命令を記憶することに加えて、メモリ３０４は、（ｉ）ＵＩ出力機構３０６により出力されるデータ、および（ｉｉ）プロセッサ３０２により生成されるデータ（例えば、操作プラットフォーム３１０のアルゴリズム、ヒューリスティック、またはルールを実行するとき）も記憶できる。メモリ３０４は、単に記憶環境の抽象的な表現に過ぎないことに留意されたい。メモリ３０４は、実際の集積回路（「チップ」とも呼ばれる）またはモジュールで構成され得る。

通信モジュール３０８は、電子デバイス３００の構成要素間の通信を管理する役割を担い得る。加えてまたは代替的に、通信モジュール３０８は、他の電子デバイス（例えば受信者電子デバイス３１４ａ－ｎ）との通信を管理する役割を担い得る。したがって、いくつかの実施形態では、電子デバイス３００は、ネットワークを介して受信者電子デバイス３１４ａ－ｎと通信できるが、他の実施形態では、電子デバイス３００は、ネットワークを介して受信者電子デバイス３１４ａ－ｎと通信できない。代わりに、電子デバイス３００は、上述したように、インタフェース信号を介して受信者電子デバイス３１４ａ－ｎと通信し得る。受信者電子デバイス３１４ａ－ｎの例は、携帯電話、タブレットコンピュータ、パーソナルコンピュータ、ウェアラブルデバイスなどを含む。一方、電子デバイス３００は、携帯電話、タブレットコンピュータ、パーソナルコンピュータ、ウェアラブルデバイス、決済システム、広告システムなどであり得る。一例として、電子デバイス３００は決済システムであることができ、一方、受信者電子デバイス３１４ａ－ｎは、決済システムを使用して決済取引を完了するそれぞれのユーザに関連付けられた携帯電話であり得る。

通信モジュール３０８が電子デバイス３００の外部の宛先（例えば受信者電子デバイス３１４ａ－ｎ）との通信を促進できる実施形態では、通信モジュール３０８は、宛先との通信チャネルを確立するように設計された無線通信回路であり得る。無線通信回路の例は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、近距離無線通信（ＮＦＣ）等のために構成されたチップを含む。

便宜上、操作プラットフォーム３１０は、メモリ３０４に存在するコンピュータプログラムと呼ばれ得る。しかし、操作プラットフォーム３１０は、電子デバイス３００に実装された、またはそれにアクセス可能なソフトウェア、ファームウェア、またはハードウェアで構成され得る。本明細書に記載の実施形態に従って、操作プラットフォーム３１０は、図１－２を参照して上述したような様々なアルゴリズムを含み得る。通常、これらのアルゴリズムは、別々にアドレス指定可能な（したがって、他のモジュールを妨害することなく独立して実行可能な）操作プラットフォーム３１０の別々のモジュールにより実行される。これらのモジュールは、操作プラットフォーム３１０の不可欠な部分であり得る。あるいは、これらのモジュールは、操作プラットフォーム３１０とは論理的に別個であり得るが、それと「並行して」動作できる。一緒に、これらのアルゴリズムは、操作プラットフォーム３１０が、情報を宛先に転送するようにインタフェース信号を変調することを可能にし得る。

例えば、ある人が決済システムとして機能する電子デバイス３００で決済取引を完了したと仮定する。従来、高性能の決済システムで決済取引が完了すると、デジタル領収書がテキストメッセージ、電子メールメッセージ、またはプッシュ通知の形で提供され、かつ、基礎となる情報は、これらの高性能の決済システムからネットワークを介して送信される。しかし、一部の決済システムは、インターネットのようなネットワークに接続できない。本明細書で説明するアプローチは、これらの決済システムが、可聴信号または視覚信号の変調を通じて、近くの受信者電子デバイスに情報（例えばデジタル領収書）を転送できるようにする。高性能でない決済システムが、計算リソースをほとんど消費せずに情報を迅速に転送できるようにすることに加え、このアプローチは安全でもある。したがって、このアプローチは、電子デバイスがインターネットのようなネットワークに接続できる場合でも、電子デバイスにより採用され得る。一例として、操作プラットフォーム３１０は、ネットワークを介して情報を転送する代わりに、またはそれに加えて、可聴信号または視覚信号の変調を通じて、近くの受信者電子デバイスに情報（例えばデジタル領収書）を転送し得る。

他の要素も操作プラットフォーム３１０の一部として含まれ得る。これらの他の要素の性質は、電子デバイス３００および操作プラットフォーム３１０の意図される用途に依存し得る。例えば、ＵＩモジュールは、１つまたは複数の受信者電子デバイス３１４ａ－ｎに提示するためのＵＩ出力機構３０６により出力されるコンテンツの生成を担当し得る。一般に、ＵＩ出力機構３０６により出力されるコンテンツは、各ユーザまたは各受信者電子デバイスに合わせて調整される。したがって、ＵＩ出力機構３０６は、受信者電子デバイス３１４ａによる検出のための第１のインタフェース信号、受信者電子デバイス３１４ｂによる検出のための第２のインタフェース信号などを出力し得る。

コンテンツの形態は、ＵＩ出力機構３０６の性質に依存し得る。例えば、ＵＩ出力機構３０６がスピーカーである場合、インタフェース信号のコンテンツは、イベント（例えば決済取引の完了）の可聴の確認、アイテム（例えば商品またはサービス）の可聴の説明などに関連し得る。別の例として、ＵＩ出力機構３０６がディスプレイパネルである場合、インタフェース信号のコンテンツは、イベント（例えば決済取引の完了）の視覚的確認、アイテム（例えば商品またはサービス）の視覚的説明などに関連し得る。さらに後述するように、ＵＩ出力機構３０６は、インタフェース信号を聴覚的または視覚的に変調するために、別の信号が重畳されたインタフェース信号を出力する（例えば、発するまたは表示する）役割も担い得る。

動作中、操作プラットフォーム３１０は、電子デバイス３００の他の構成要素と組み合わせて、インタフェース信号の可聴または視覚的コンテンツを分析してインタフェース信号の基礎となるコンテンツに関連する瞬間に関連データパケット（例えばリンクまたはオファー）を埋め込むことができるシステムを表し得る。いくつかの実施形態では、操作プラットフォーム３１０は、ライブメディアコンテンツでの使用を可能にするように、ほぼリアルタイムで動作する。ライブメディアコンテンツの例は、ラジオ番組、ライブテレビ番組、ライブストリーミングイベントなどを含む。

一例として、抽出アルゴリズムは、ブランド、製品、またはブランドもしくは製品の属性への言及など、音声における潜在的な音声特徴（「サウンドタグ」とも呼ばれる）を認識し、サウンドタグを示すようにラベルを音声に割り当てるように設計または訓練され得る。従って、音声コンテンツの異なる部分は、そのコンテンツを示すように「タグ付けられ」または「ラベル付けられ」得る。検出アルゴリズムにより関連するサウンドタグが検出されると、各サウンドタグに関する情報が、近くに位置した１つまたは複数の受信者電子デバイスに転送され得る。例えば、検出アルゴリズムが所定の製品に関連したサウンドタグを見つけた場合、操作プラットフォーム３１０（より具体的には、その変調アルゴリズムおよび重畳アルゴリズム）は、所定の製品に関連するウェブサイトへのリンクを１つまたは複数の受信者電子デバイスに送信し得る。

あるいは、インタフェース信号の可聴または視覚的コンテンツは、静的モードで「事前分析」され得る。このシナリオでは、操作プラットフォーム３１０は、同様の方法でインタフェース信号を調査できるが、この調査は、実行時（例えば、インタフェース信号が１つまたは複数の受信者電子デバイス３１４ａ－ｎによる検出のために出力される間）に実行されない。インタフェース信号を「事前分析」することの１つの利点は、適時性があまり懸念されないため、サウンドタグによるラベリングに必要な計算リソースが少なくて済むことである。インタフェース信号を「事前分析」する別の利点は、遅延なくほぼリアルタイムでは実装できない、より堅牢な検出アルゴリズムが使用できることである。同様に、インタフェース信号を「事前分析」することは、操作プラットフォーム２０２が（例えば、サウンドタグを迅速だが比較的低い精度で識別する検出アルゴリズムと、サウンドタグを遅いが比較的高い精度で識別する別の検出アルゴリズムとで）多段階分析を実行できるようにし得る。

さらに後述するように、操作プラットフォーム３１０は、可聴の変調に加えて、または可聴の変調の代わりに、視覚的変調を設計し、次に出力するようにプログラムされ得る。例えば、操作プラットフォーム３１０は、ミリ波レーダーシステムによる検出に最適化された視覚的変調を設計し、次に出力できてもよい。視覚的変調は、それらの変調が人間の目に気付かれることなく映像出力コンポーネント（例えばディスプレイパネル）に大きな状態変化を引き起こすように設計できる。適切な視覚的変調の一例はフリッカーパターンであり、ディスプレイパネルの隣接する行または列が異なる色状態の間で循環し、かつ、情報が適切な周波数変調方式を介して符号化される。視覚的変調は、必ずしも視覚的検出（例えばミリ波レーダーシステムによる検出）である必要はないが、受信者電子デバイスにより容易に検出可能であり得るが、対応するユーザによる可視性は、人間の視覚のためのフリッカー融合周波数（flicker fusion frequency）を超える搬送周波数を選択することにより最小化され得る。あるいは、視覚的変調は、ユーザには目立ち得るが、インタフェース信号の一部のみに影響し得る。例えば、視覚的変調は、上部または下部の角のような映像信号のあまり重要でない部分に重ね得る。従って、変調は、信号が重畳されるインタフェース信号の一部分に含まれる各フレームの一部のみに影響し得る。

情報転送プロセスの一部として、操作プラットフォーム３１０は、電子デバイス３００の１つまたは複数の特性を特定し得る。特性の例は、ディスプレイサイズ、ディスプレイタイプ（例えばＬＣＤ、ＯＬＥＤなど）、モデル、受信者電子デバイスからの所望の検出距離、本明細書に記載のアプローチの意図される用途、近傍のノイズ源（例えば無線周波数ノイズ）などを含む。これらの特性に基づいて、操作プラットフォーム３１０は変調方式を特定できる。変調方式は、どのように情報が受信者電子デバイスに転送されるかを支配し得る。変調方式は、インタフェース信号に重畳される信号の性質を指定し得る。例えば、変調方式は、信号が音声信号であるか映像信号であるか、信号が超音波であるか否か、映像信号が特定のセンサ（例えばミリ波レーダーシステム）により検出可能なことを意図されているか否かなどのような、信号の特性を指定し得る。各々の情報転送は、変調方式に従って実行され得るが、変調方式は必ずしも各受信者電子デバイスに同じ制約（例えばパケットサイズに関する）を課す必要はない。

上述したように、電子デバイス３００は、同時にまたは順次に複数の受信者電子デバイス３１４ａ－ｎに情報を伝達するタスクが課せられ得る。情報転送は可聴信号または視覚信号を含むので、インタフェース信号を同時に「聞く」または「見る」各受信者電子デバイスに同じ情報が転送され得る。各受信者電子デバイスに異なる情報を転送するために、受信者電子デバイス３１４ａ－ｎは、タイミング、コンテンツ、および他の特徴を介して送信の曖昧さを無くし得る。例えば、電子デバイス３００は、異なる個人が決済取引を完了する決済システムとして機能すると仮定する。これらの決済取引のデジタル領収書は、電子デバイス３００により無差別にブロードキャストされ得る。このようなシナリオでは、受信者電子デバイス３１４ａ－ｎは、これらの送信の多くを「聞く」かもしれない。「聞いた」各送信について、各受信者電子デバイスは、その受信者電子デバイス上で実行しているコンピュータプログラム（例えば決済アプリケーション）を検索して、情報が送信のうちの１つと一致する取引を見つけ得る。このことは、受信者電子デバイスが、受信データ（例えば購入品目および関連費用）を対応するユーザに関連付け、かつ、デジタル領収書を提供できるようにする。残りの送信は、無関係であるとして受信されると、無視されるか、または削除され得る。いくつかの実施形態では、送信は、タイミングに基づいて区別され得る。例えば、受信者電子デバイスは、コンピュータプログラム（例えば決済アプリケーション）から利用可能な情報に基づいて、取引が完了したと判断した後、一定の時間間隔だけ送信を「検索」し得る。

受信者電子デバイスによるインタフェース信号の受信および続く復号は、さまざまな機能性を可能にし得る。例えば、一定の時間（例えば、重畳信号がインタフェース信号において検出可能である限り）、特定のＵＩ機能は、受信者電子デバイス上で相互作用のためにアクセス可能にされ得る。このように、重畳信号は、場所に基づいてコンテキスト化されたデータを提供することを可能にするビーコンとして機能できる。別の例として、特定のＵＩ機能は、情報転送の期間中のその動きに基づいて、受信者電子デバイスで有効化され得る。例えば、ＵＩは、別の信号が重畳されるインタフェース信号がその指向性および強度により変更されるように、電子デバイス３００に対する受信者電子デバイス上の物理的な動きの形態を取り得る。特定の動作は、提案された行動方針（例えば、情報を転送する、決済取引を完了する等）を受け入れるか、または拒否する等のＵＩ機能と関連付けられ得る。
［信号操作の方法論］

図４は、可聴信号または視覚信号の変調を通じて、第１の電子デバイス（「ソース電子デバイス」とも呼ばれる）から第２の電子デバイス（「受信者電子デバイス」とも呼ばれる）に情報を転送するための手順４００の概略図を含む。この可聴信号または視覚信号は、ソース電子デバイスのユーザにより検出可能な「インタフェース信号」または「第１の信号」と呼ばれ得る。上述したように、ユーザは、受信者電子デバイスに関連付けられ得る。

いくつかの実施形態では、第１の信号は、受信者電子デバイスにより検出可能である。例えば、第１の信号が人間が聴取可能な音声コンテンツを含む場合、受信者電子デバイスは、音声入力コンポーネントを使用して第１の信号を検出でき得る。しかし、第１の信号は、必ずしも受信者電子デバイスにより検出される必要はない。例えば、決済システムが、決済取引に関連する情報を含むデータを顧客の携帯電話に転送すると仮定する。このようなシナリオでは、決済システムはソース電子デバイスを表し、一方、携帯電話は受信者電子デバイスを表す。第１の信号は、決済システムにより表示される人間が読める映像コンテンツであり得る。携帯電話にデータ（例えば、購入品目および関連費用を指定する）を転送するために、決済システム上で実行される信号操作プラットフォームは、携帯電話が現時点で決済システムを視覚的に観察していないかもしれなくても、携帯電話に含まれるセンサにより変調が検出可能であるように第１の信号を変調できる。例えば、人間が読める映像コンテンツの変調は、携帯電話に含まれるミリ波レーダーシステムにより検出可能であり得る。また、この例は、ソース電子デバイスのユーザ（例えばレジ係）が、受信者電子デバイスのユーザ（例えば顧客）と同一人物である必要はないことを示す。

最初に、操作プラットフォームは、第１の信号を取得できる。いくつかの実施形態では、第１の信号は、ほぼリアルタイムで（例えば、ＵＩ出力機構４１２による出力と連動して）取得される。他の実施形態では、第１の信号は、上述したように、ＵＩ出力機構４１２により出力される前に「事前調査」される。次に、操作プラットフォームは、一連のタグを取得するように、入力として、第１の信号を抽出アルゴリズム４０２に提供できる。第１の信号が音声信号を表す場合、これらのタグは、「サウンドタグ」を表し得る。第１の信号が映像信号を表す場合、これらのタグは、「ビデオタグ」を表し得る。その性質に関係なく、これらのタグは、第１の信号のコンテンツを示すラベルを表してもよい。

次に、操作プラットフォームは、第１の信号および付随するタグを検出アルゴリズム４０４に提供できる。関連するタグが検出アルゴリズム４０４により検出されると、それらのタグに関する情報は、近くの受信者電子デバイスに転送され得る。したがって、検出アルゴリズム４０４は、受信者電子デバイスに情報を転送する適切な機会を特定するように、抽出アルゴリズム４０２により生成されたタグを解析し得る。出力として、検出アルゴリズム４０４は、関連するタグの表示を生成し得る。例えば、検出アルゴリズム４０４は、広告目的で関心のある製品を表すか、または、それに関連するタグの順序付けられたリストを維持し得る。

関連するタグの表示は、入力として、操作プラットフォームにより変調アルゴリズム４０６に提供され得る。上述したように、変調アルゴリズム４０６は、検出アルゴリズム４０４により検出された関連するタグに基づいて、受信者電子デバイスに転送される情報を決定する役割を担い得る。この情報は、第２の信号として表され得る。いくつかの実施形態では、第２の信号は、図４に示すように、変調アルゴリズム４０６により信号データベース４０８から検索される。あるいは、変調アルゴリズム４０６は、検出アルゴリズム４０４により関連性があるとみなされたタグに基づいて、第２の信号を生成できる。

その後、操作プラットフォームは、第１の信号および第２の信号を入力として重畳アルゴリズム４１０に提供できる。上述したように、重畳アルゴリズム４１０は、受信者電子デバイスによる検出のためにＵＩ出力機構４１２を介して出力され得る第３の信号を生成するように、第２の信号を第１の信号に重畳でき得る。高レベルでは、この第３の信号は、第１の信号と組み合わされた第２の信号を表し得る。一般に、第２の信号は第１の信号の一部に重畳されるだけである。例えば、第１の信号が、録音またはストリーミングされた音声コンテンツに対応する音声信号を表す場合、第２の信号は、音声信号の数秒分に重畳されるだけであり得る。別の例として、第１の信号が、記録またはストリーミングされた映像コンテンツに対応する映像信号を表す場合、第２の信号は、映像信号の数秒分に重畳されるだけであり得る。したがって、ＵＩ出力機構４１２は、限定された時間（たとえば数秒または数分）だけ第３の信号を出力し、第１の信号は、限定された時間の前と後に出力され得る。

図５は、ソース電子デバイス５００と受信者電子デバイス５５０との間の通信の高レベルの図を含む。ソース電子デバイス５００は、図２の電子デバイス２０４または図３の電子デバイス３００であり得る。最初に、ソース電子デバイス５００は、（ｉ）受信者電子デバイス５５０により検出可能である、および／または（ｉｉ）ソース電子デバイス５００のユーザにより検出可能である第１の信号を出力できる（ステップ５０１）。上述したように、ソース電子デバイス５００のユーザは、受信者電子デバイス５５０と関連し得るか、または、ソース電子デバイス５００のユーザは、受信者電子デバイス５５０と無関係であり得る。いくつかの実施形態では、第１の信号は、ソース電子デバイス５００の音声出力コンポーネントにより発せられる音声信号を表す。他の実施形態では、第１の信号は、ソース電子デバイス５００の映像出力コンポーネントにより表示される映像信号を表す。

その後、ソース電子デバイス５００は、受信者電子デバイス５５０に情報を伝達する指示を示す入力を受信し得る（ステップ５０２）。一般に、この入力は、図１と図４を参照して上述したように、検出アルゴリズムにより生成または検出される。ソース電子デバイス５００により出力された第１の信号のコンテキストが、多数の事前決定クラス（「コンテキストカテゴリ」とも呼ばれる）のいずれかと一致すると判定された場合、検出アルゴリズムは、信号操作プラットフォームに対して、送信を開始するように指示し得る。一例として、ソース電子デバイス５００が決済システムである場合、転送が起こるべきであることを示す１つのコンテキストカテゴリは、チェックアウト画面に到達することでもよい。別の例として、ソース電子デバイス５００が広告システムである場合、転送が起こるべきであることを示す１つのコンテキストカテゴリは、オファーが利用可能であるブランド、製品、または加盟店について論じるコンテンツの表示でもよい。入力はまた、上述したように、関心のあるタグの発見を表してもよい。例えば、入力は、関心のあるブランド、製品、または加盟店に関連するサウンドタグが検出されたという決定を表してもよい。あるいは、ソース電子デバイス５００は、受信者電子デバイス５５０から、情報が望まれるという通信を受信してもよい。例えば、受信者電子デバイス５５０は、ソース電子デバイス５００からの情報が望まれるという決定（例えば、第１の信号の分析、ユーザにより提供された入力などに基づく）に応答して、ソース電子デバイス５００を「ｐｉｎｇ」し得る。

ソース電子デバイス５００は、情報を示す第２の信号を取得でき（ステップ５０３）、次に、第３の信号を生成するように、第２の信号を第１の信号に重畳できる（ステップ５０４）。上述したように、第２の信号は、通常、第１の信号の一部に重畳される。このように、ソース電子デバイス５００は、ステップ５０１を参照して上述したように第１の信号を出力し、受信者電子デバイスによる検出のために第３の信号を出力し（ステップ５０５）、次に、第２の信号がそこに重畳されなくなったときに第１の信号を再び出力し得る。

第２の信号が第１の信号にどのように重畳されるかは、ソース電子デバイス５００または受信者電子デバイス５５０の特性と同様に、第１の信号の性質に依存し得る。

第１の信号が音声信号を表す実施形態では、第２の信号は、受信者電子デバイス５５０には聞こえるが、そのユーザには聞こえない超音波信号を表し得る。このようなシナリオでは、入力により指定されるか、または入力に基づいて決定される第１の信号の一部分に第２の信号を符号化することにより、第２の信号は第１の信号に重畳され得る。例えば、第２の信号に符号化された情報が適切な人に提供されるように、第２の信号（例えばデジタル領収書を表す）が、時間を意識した（time-aware）方法で第１の信号（例えば、決済取引が完了したＵＩを表す）に符号化されるように、重畳は実行され得る。

第１の信号が映像信号を表す実施形態では、重畳は、符号化された第２の信号が受信者電子デバイス５５０に含まれるセンサにより検出可能であるような形態に第１および第２の信号を符号化することを含み得る。センサは、例えば、２４ＧＨｚを超える電磁波用に設計されたミリ波レーダーシステムであり得る。

上述したように、第２の信号は、ある時間間隔の間だけ第１の信号に重畳され得る。操作プラットフォームは、第１の信号のコンテンツの分析に基づいて、第２の信号を第１の信号に重畳させる時間間隔を特定し得る。次に、操作プラットフォームは、転送される情報を表す第２の信号が時間間隔と一致するように、第１および第２の信号を結合できる。

まとめると、ソース電子デバイス５００は、受信者電子デバイス５５０および／またはソース電子デバイス５００のユーザにより聴覚的または視覚的に検出可能な第１の信号を出力でき、受信者電子デバイス５５０に情報を伝達する指示を示す入力を受信でき、第３の信号を生成するように、情報を示す第２の信号を第１の信号に重畳でき、かつ、受信者電子デバイス５５０による検出のために第３の信号を出力できる。

上述したように、ソース電子デバイス５００は、いくつかのシナリオにおいて、複数の受信者電子デバイスと通信し得る。したがって、手順５００の態様は、これらの受信者電子デバイスのそれぞれと通信するように、ソース電子デバイス５００により同時にまたは順次実行され得る。例えば、ステップ５０２－５０５は、これらの受信者電子デバイスのそれぞれに情報を転送するために連続して実行され得る。これらの受信者電子デバイスの各々に転送される情報は、同じである必要はないことに留意されたい。そのため、第１の信号に重畳される第２の信号は、受信者電子デバイスの各々に対して異なり得る。

図６は、受信者電子デバイスに情報を転送するためにソース電子デバイスにより実行されるプロセス６００のフロー図を含む。最初、ソース電子デバイスは、ユーザにより聴覚的または視覚的に検出可能な符号化されたデータの第１のストリームを出力できる（ステップ６０１）。次に、ソース電子デバイスは、それにアクセス可能な情報が受信者電子デバイスと共有されることを決定できる（ステップ６０２）。例えば、ソース電子デバイスは、ユーザまたは受信者電子デバイスが関与するイベント（例えば、決済取引の完了、製品の言及など）が発生したという決定に応答して、情報が受信者電子デバイスと共有されるべきであると確定し得る。具体例として、ソース電子デバイスは、所定のリストに含まれるブランド名、製品名、または人名の発話を検出するように訓練された機械学習（ＭＬ）アルゴリズムを実装できる。この検出アルゴリズムは、ブランド名、製品名、または人名のうちの１つが符号化されたデータの第１のストリームにおいて発話されたか、または表示されたという表示を出力として生成し得る。このような実施形態では、ソース電子デバイスは、所定のブランド、製品、または人物が符号化されたデータの第１のストリームにおいて発話されたか、または表示されたという検出アルゴリズムによる決定に応答して、所定のブランド、製品、または人物に関する情報が受信者電子デバイスに転送されるべきであると決定し得る。

次に、ソース電子デバイスは、共有される情報を示す符号化されたデータの第２のストリームを生成または取得できる（ステップ６０３）。例えば、共有される情報は、ソース電子デバイスを使用して完了される決済取引に関連すると仮定する。このシナリオでは、例えば、ソース電子デバイスのプロセッサから直接数値を取り出し、適切な符号化方式に従って符号化し、次に、計算された変調を、元のインタフェース信号を表す符号化されたデータの第１のストリームに重ねることにより、決済取引に関連する情報は、信号操作プラットフォームにより抽出され得る。符号化方式に関するさらなる情報は、以下に記載され得る。しかし、一般に、受信者電子デバイスが何を探すべきかを「知っている」限り、どの符号化方式が使用されるかは重要ではないことに留意されたい。

次に、符号化されたデータの第３のストリームを作成するように、符号化されたデータの第２のストリームを符号化されたデータの第１のストリームと組み合わせることにより、ソース電子デバイスにより受信者電子デバイスに情報が転送され得る（ステップ６０４）。より具体的には、ソース電子デバイスは、符号化されたデータの第２のストリームを符号化されたデータの第１のストリームの一部分に重畳できる。符号化されたデータのこの第３のストリームは、次に、受信者電子デバイスによる検出のために出力され得る（ステップ６０５）。

受信者電子デバイスの観点から、ブロードキャストの存在または存在の可能性は、それの現在の位置、それの現在の使用、または、それのユーザにより提供された入力に基づいて、直接的に検出されるか、または間接的に推論され得る。例えば、受信者電子デバイスは、それが所定の場所の所定の近さ内に位置しているという決定に応答して、音声入力コンポーネントを始動し得る。音声入力コンポーネントの一例は、マイクロホンである。別の例として、受信者電子デバイスは、それのユーザからのそうするような要求を示す入力を受信したことに応答して、映像入力コンポーネントを始動し得る。映像入力コンポーネントの一例は、例えばデジタル画像の形で画像データを生成できる画像センサである。画像センサは、受信者電子デバイスのカメラモジュール（または単に「カメラ」）の一部であってもよい。

一般に、ソース電子デバイスおよび受信者電子デバイスによりそれぞれ使用される符号化方式および復号化方式は、実装に固有のものであり、したがって詳細には説明されない。しかし、一例を挙げると、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１５シリーズの規格は、パーソナル・エリア・ネットワークの符号化、復号化、変調、メディアアクセス、物理層などの方式を定義している。上述したミリ波およびＯＣＣの実施形態を実装するために、これらの規格のいずれかが使用され得る。音響データ伝送に依存する実施形態の場合、使用可能なプロトコルの１つは、超音波を介して電子デバイス間でデータを伝送するために設計された通信プロトコルであるＢｅｅｐｉｎｇである。これらの実施形態を実装するために、独自の規格を開発することも可能である。

図７Ａ－Ｄは、抽出アルゴリズム、検出アルゴリズム、変調アルゴリズム、および重畳アルゴリズムが、本明細書で説明するアプローチを実施するためにどのように協働できるかを示す概略図を含む。これらのアルゴリズムは、図４の抽出アルゴリズム４０２、検出アルゴリズム４０４、変調アルゴリズム４０６、および重畳アルゴリズム４１０と同等であり得る。これらのアルゴリズムの各々は、以下により詳細に説明される。

図７Ａは、受信者電子デバイスに情報を転送する適切な機会を識別するように、抽出アルゴリズム７０２がインタフェース信号をどのように処理できるかを示す概略図を含む。インタフェース信号は、最初、入力として抽出アルゴリズム７０２に提供され得る。図７Ａに示すように、抽出アルゴリズム７０２は、いくつかの異なるアプローチを介してコンテキストを検出でき得る。

１つのアプローチ（「コンテンツベースの検出」とも呼ばれる）では、抽出アルゴリズム７０２は、インタフェース信号のコンテンツ（たとえば、話された音声または表示された映像）を調べ、コンテンツから意味論的意味（semantic meaning）（たとえば、数字、文字、単語、およびフレーズの意味）を抽出し、次に、意味論的意味がデータ転送のための関連するトピックに一致するかどうかを判定できる。意味論的意味は、機械学習アプローチを使用して抽出され得る。一方、関連するトピックは、例えば、意味論的意味と、ブランド、製品、加盟店などのリストとの比較を通じて決定され得る。意味論的意味が関連するトピックと一致する場合、抽出アルゴリズム７０２は、基礎となるコンテンツを表すコンテキストタグを出力し得る。たとえば、コンテキストタグは、意味論的意味が抽出された顕著な数字、文字、単語、またはフレーズを示し得る。意味論的意味が関連するトピックに一致しない場合、抽出アルゴリズム７０２は、インタフェース信号のコンテンツの調査を継続できる。

他のアプローチ（「状態ベースの検出」とも呼ばれる）では、抽出アルゴリズム７０２は、マシン状態を抽出し、次に、マシン状態がデータ転送の関連状態に一致するか否かを決定できる。関連状態の一例は、所定のインタフェース（例えば、チェックアウトインタフェース）に到達することである。関連状態の別の例は、少なくとも所定の時間、ソース電子デバイスと相互作用することである。マシン状態が関連状態に一致する場合、抽出アルゴリズム７０２は、マシン状態を表すコンテキストタグを出力し得る。例えば、コンテキストタグは、マシン状態に関する情報を含み得るか、または、それを暗示し得る。マシン状態が関連状態に一致しない場合、抽出アルゴリズムは、マシン状態の調査を継続できる。

図７Ｂは、ソース電子デバイスから受信者電子デバイスへの情報の転送を開始することが適切であるか否かを決定するように、検出アルゴリズム７０４が、抽出アルゴリズム７０２により生成された出力をどのように調査できるかを示す概略図を含む。出力として抽出アルゴリズム７０２により生成されたコンテキストタグは、最初、入力として検出アルゴリズム７０４に提供され得る。次に、検出アルゴリズム７０４は、コンテキストタグを調査できる。たとえば、検出アルゴリズム７０４は、各コンテキストタグをコンテキストタグの所定のリストと比較して、一致するか否かを決定し得る。所定のリストは、広告、販売促進オファーなどの関連情報が現在利用可能である、それらのコンテキストタグを含み得る。コンテキストタグが所定のリストのエントリに一致する場合、検出アルゴリズム７０４は、一致するコンテキストタグを出力し得る。一致するコンテキストタグを出力することにより、検出アルゴリズム７０４は、さらに後述するように、データ転送プロセスを開始できる。逆に、コンテキストタグが所定のリストのどのエントリとも一致しない場合、検出アルゴリズム７０４は、コンテキストタグを破棄し、新しいコンテキストタグでマッチングプロセスを開始し得る。

図７Ｃは、変調アルゴリズム７０６が、関連情報をそこに重ねるようにインタフェース信号をどのように変調できるかを示す概略図を含む。説明のために、インタフェース信号は、「第１の信号」として記載され得る。出力として検出アルゴリズム７０４により生成されたコンテキストタグは、最初、入力として変調アルゴリズム７０６に提供され得る。各コンテキストタグについて、変調アルゴリズム７０６は、そのコンテキストタグについて転送されるデータを表す第２の信号が信号データベース内にあるか否かを決定できる。信号データベースに含まれる各信号は、対応するコンテキストタグに関する情報を伝達する１つまたは複数のデータパケットを表し得る。信号データベースは、図２の信号データベース２１６、図３の信号データベース３１２、または図４の信号データベース４０８であり得る。第２の信号が信号データベース内にある場合、変調アルゴリズム７０６は、信号データベースから第２の信号を取得または抽出できる。しかし、第２の信号が信号データベース内にない場合、変調アルゴリズム７０６は、転送されるデータを表す第２の信号を生成し得る。

次に、変調アルゴリズム７０６は、第１の信号の性質を確認できる。たとえば、変調アルゴリズム７０６は、そのコンテンツ、メタデータ、またはフォーマットの分析に基づいて、第１の信号が音声信号であるか映像信号であるかを確定し得る。第１の信号が音声信号である場合、変調アルゴリズム７０６は、コンテキストタグに対応する第２の信号のコンテンツを符号化する適切な音声変調（audio modification）を生成できる。音声変調は、上述したように、音響データ伝送方式に基づいて生成され得る。第１の信号が映像信号である場合、変調アルゴリズム７０６は、コンテキストタグに対応する第２の信号のコンテンツを符号化する適切な映像変調を生成できる。映像変調は、既存の変調方式（例えば、ＩＥＥＥ ８０２．１５）または独自の変調方式に従って生成され得る。いくつかの実施形態では、これらの映像変調は、これらの映像変調がミリ波レーダーシステムにより検出可能であるように、変調アルゴリズム７０６によりミリ波ドメインに置き換えられる。出力として、変調アルゴリズムは、適切な変調方式に従って変調された、転送されるデータを含む第２の信号を生成できる。

図７Ｄは、重畳アルゴリズム７０８が、変調アルゴリズム７０６により出力された第２の信号を、ソース電子デバイスによりブロードキャストされる第１の信号にどのように重畳できるかを示す概略図を含む。入力として、重畳アルゴリズム７０８は、（ｉ）ソース電子デバイスによりブロードキャストされる第１の信号と、（ｉｉ）受信者電子デバイスに伝達される情報を含む第２の信号と、を取り込むことができる。図７Ｃを参照して上述したように、第２の信号は、第１の信号の性質に基づいて適切な変調方式に従って変調され得る。

最初、重畳アルゴリズム７０８は、データベースから機器プロパティを抽出できる。これらの機器プロパティは、ソース電子デバイス、受信者電子デバイス、または両方の電子デバイスに関連し得る。機器プロパティを調べることにより、重畳アルゴリズム７０８は、受信者電子デバイスがソース電子デバイスによりブロードキャストされた音声信号または映像信号を検出できるか否かを決定または推論でき得る。さらに、重畳アルゴリズム７０８は、データベースから使用コンテキストプロパティを抽出し得る。使用コンテキストプロパティの例は、ソース電子デバイスと受信者電子デバイスとの間の典型的な距離、受信者電子デバイスがソース電子デバイスに近接して費やした時間の典型的な持続時間などを含む。いくつかの実施形態では、データベースはソース電子デバイス上に維持されるが、他の実施形態では、データベースは、ソース電子デバイスが通信可能に接続される別の電子デバイス（例えばコンピュータサーバ）上に維持される。

重畳アルゴリズム７０８は、次に、第１および第２の信号を結合して第３の信号を形成できる。いくつかの実施形態では、この第３の信号はさらに操作され、したがって「プロトタイプの第３の信号」と呼ばれることが多い。プロトタイプの第３の信号を形成した後、重畳アルゴリズム７０８は、データベースから抽出された機器プロパティおよび使用コンテキストプロパティに基づいて、第２の信号の検出可能性を推定し得る。検出可能性は、（ｉ）ディスプレイサイズと音声音量などのソース電子デバイスのパラメータ、（ｉｉ）受信者電子デバイスのパラメータ、および（ｉｉｉ）距離、バックグラウンドノイズなどの環境要因に依存し得る。第２の信号の検出可能性が低いと決定された場合、重畳アルゴリズムは、検出可能性を高めるために第１および第２の信号を変調し得る。さらに、重畳アルゴリズム７０８は、機器プロパティおよび使用コンテキストプロパティを考慮して、第２の信号がプロトタイプの第３の信号内で感覚的に知覚される程度を決定し得る。感覚的に知覚可能である可能性が高いと決定された場合、重畳アルゴリズム７０８は、目立ちやすさ（noticeability）を低減するように第２の信号を変調し得る。第２の信号の目立ちやすさは、例えば、可聴範囲の周波数の存在または大きさを低減すること、視覚的コンテンツのコントラスト差を低減すること、または可視範囲より大きくフリッカー率を増加させることにより低減できる。図７Ｄに示すように、重畳アルゴリズム７０８は、次に、プロトタイプの第３の信号が依然として検出可能性の要件を満たしているか否かを決定できる。プロトタイプの第３の信号が依然として検出可能性の要件を満たす場合、重畳アルゴリズム７０８は、ソース電子デバイスによるブロードキャストに備えて、第３の信号を最終化された形態で出力できる。この第３の信号は、対応するコンテキストタグに関するデータを含むだけでなく、受信者電子デバイスにより検出可能であるがソース電子デバイスのユーザにより最小限に検出可能である（または全く検出可能でない）ような方法で、第１の信号と並んで提示され得る。プロトタイプの第３の信号が検出可能性の要件を満たさない場合、重畳アルゴリズム７０８は、図７Ｄに示すように変調プロセスを継続できる。
［例示的な使用例］

図８－９は、可聴信号または視覚信号の変調を通じて個人（より具体的には、その電子デバイス）に関連情報を転送するために、本明細書に記載のアプローチが実装され得る２つの異なるシナリオを示す。

図８は、音声信号に含まれる音声の分析に基づいて、どのようにリンクがインテリジェントに音声信号に埋め込まれ得るかを示す図である。本明細書で説明するアプローチの１つの可能な実装は、「決済リンク」として機能する音声埋め込みを音声内に作成することを含む。関連する単語（例えば、「金額」、「ドル」など）とフレーズ（例えば、「取引完了」、「支払いを受け付けました」など）を認識し、次にそれらの「対策（cures）」に関連する決済関連情報を関連する単語ごとにメタデータとしてブロードキャストすることにより、決済関連情報は、場合によりリアルタイムで、ユーザの音声に埋め込まれ得る。これは、マーケティングまたは広告の機会を構成する語句を認識することにより、個人の発話内に広告がほぼリアルタイムに生成されることを可能にする。

図８に示すように、システム８００は、インタフェース信号（ここでは、ライブブロードキャスト録画８０２、広告などのマーケティング機会に関する情報のデータベース８０４、および検出アルゴリズム８０６を含むことができる。このシナリオでは、検出アルゴリズム８０６は、ライブブロードキャスト録画８０２のコンテンツを転写すること（transcribing）、確立すること、または理解することを担当し得る。このように、検出アルゴリズム８０６は、「転写（transcription）アルゴリズム」と呼ばれ得る。次に、検出アルゴリズム８０６は、ライブブロードキャスト録画のコンテンツを考慮して、データベースに含まれる任意のマーケティング機会が適当または適切であるか否かを決定し得る。別の言い方をすれば、検出アルゴリズム８０６は、データベースに含まれる任意のマーケティング機会にコンテンツが「適合」するか否かを決定できる。適合は、例えば、語句の特性または意味、ユーザの好み、潜在的な視聴者の属性などに基づいて判断され得る。適合すると、適切な情報が、ライブブロードキャスト録画８０２の出力を担当するブロードキャストシステムに転送され得る。

本明細書で説明するアプローチの順応性を説明するのに役立つように、いくつかの追加のシナリオ例が以下に提供される。１つのシナリオ例として、インフルエンサーが現在ライブブロードキャストに関与していると仮定する。このようなシナリオでは、システム８００は、インフルエンサーが話している製品を検出できる。「ターゲットワード」がシステム８００により検出されると、システム８００は、製品に関する情報を有する超音波データパケットを次の単語またはフレーズに重畳できる。誰かがライブブロードキャストを録画するたびに、その人は関連する決済の詳細を得ることができる。さらに、リンクが開かれるか、またはリンク経由で製品が購入されるたびに、インフルエンサーは報酬を受け取り得る。別の例として、ポッドキャストにおいて、システム８００は、ユーザにより選択されたカテゴリにおけるマーケティング機会にマッチする単語またはフレーズに、さまざまな広告を重畳し得る。以前に録画されたポッドキャストでは、より新しい広告をライブブロードキャストに埋め込むために更新されたマーケティング機会が使用され得る。

図９は、本明細書で説明されるアプローチが、機密情報の安全な転送を容易にするためにどのように使用され得るかを示す。より具体的には、図９は、決済取引に関連する（例えば決済取引に必要な）情報が、視覚信号の変調を通じてどのように視覚的に伝達され得るかを示す。本明細書で説明するアプローチの興味深い応用例は、デジタル領収書を含む。しかし、本明細書で説明するアプローチは、決済ビーコン、特別なオファーおよびプロモーション、広告などを容易にするためにも使用され得る。

例えば、ある個人が広告システムまたは決済システムなどのレガシーシステムを使用して決済取引を完了したと仮定する。このレガシーシステムは、決済に関連するが過度に機密ではないデータを、受信者電子デバイスとシームレスに通信し得る。これは、そのディスプレイに視覚コード（visual codes）を埋め込むことで実現できる。これらの視覚コードは、受信者電子デバイスに内蔵されたセンサ（例えばミリ波レーダーシステム）により調査され、解析され、または検出され得る。受信された情報は、受信者電子デバイス上で実行される別のコンピュータプログラムにより使用され、デジタル領収書、製品情報、広告、および特別オファーなどの機能を提供し得る。

これらの視覚コードは、その周波数がデータを符号化するインターレースされた行の形で基礎となる映像信号に埋め込まれ得るが、それは速すぎてディスプレイのコンテンツを見る人に気付かれないかもしれない。全体として、このアプローチは、レガシーシステムに対する要求が低い。そのため、本明細書で説明するアプローチは、単にコンテンツの表示を管理するファームウェアまたはソフトウェアの変更により実現できる。

受信者電子デバイスは、これらの視覚コードが存在し得る瞬間を（例えば場所に基づいて）特定し、次にその検出をスイッチオンし得ることに留意されたい。ミリ波レーダーシステムを使用して検出が達成される実施形態では、ユーザは、受信者電子デバイスを自身のポケット、バッグなどから取り出す必要がないかもしれない。その代わりに、ミリ波レーダーシステムは、衣服を通してこれらの視覚コードを検出でき得る。ＵＩ機能も、存在する視覚コードに基づいて管理され得る。例えば、ＵＩ機能は、コード信号の角度依存性および受信者電子デバイスとソース電子デバイスとの位置合わせを介して有効にされ得る。

図９に示すように、ソース電子デバイス９０２ａ－ｂは、最初に１つまたは複数のデジタル画像を表示できる。内部または外部のいずれかに実装されるアルゴリズムは、たとえば、これらのデジタル画像のコンテンツに好適な情報を搬送する「フラッシュコード」を生成できる。受信者電子デバイス９０４ａ－ｄが、フラッシュコードが存在し得る状況を検出すると（例えば、ユーザがソース電子デバイスの近くに位置していることに基づいて）、そのミリ波レーダーシステムのスイッチをオンにする。あるいは、受信者電子デバイスは、所定の周波数で近くの視覚コードを積極的にスキャンし得る。フラッシュコードにより表されるデータは、ミリ波レーダーシステムを介して受信者電子デバイスにより読み取られ得る。その後、受信者電子デバイスに関連する個人は、データキャプチャの結果（例えば、デジタル領収書または広告）を提示される。

図９では、２つの異なるユースケースが示される。第１のユースケースは、広告インタフェース（「広告画面」とも呼ばれる）を介した特別オファーに関する。例えば、個人が公共交通機関（例えば地下鉄またはバス）での日常的な移動中に広告画面９０２ａを通過すると仮定する。この広告画面９０２ａは、ソース電子デバイスを表し得る。個人に関連する受信者電子デバイス９０４ａは、数秒ごとに周囲環境を積極的にスキャンして視覚コードの存在を識別し得る。公共交通機関では、ソース電子デバイス９０２ａのコンテンツは、表示された広告に関連するフラッシュコードが映像信号に埋め込まれることができるように変調されている。広告は、提供される製品のサプライズ割引またはプロモーションのために、近くの個人に彼らのそれぞれの受信者電子デバイス９０４ａ－ｃをチェックするよう促し得る。上述したように、ミリ波レーダーセンサのようなセンサは、ズボン、ジャケットなどから取り出すことなく映像信号の変調を検出できる。したがって、ポケットから取り出す必要なく、受信者電子デバイス９０４ａは、フラッシュコードから情報を検出し、その後の使用のために情報を保存できる（例えば、情報がオファーまたはプロモーションに関連する場合）。その後、個人は、情報がまだ使用できるか否かを確認するために、受信者電子デバイス上で実行されているコンピュータプログラム（たとえば決済アプリケーション）を確認し得る。

第２のユースケースは、レガシー決済システムのデジタル領収書に関する。例えば、携帯電話９０４ｄにアクセスできる個人が店舗で買い物をすると仮定する。そして、携帯電話９０４ｄ上で実行され、かつ、デジタルで決済を行うことを許可するコンピュータプログラムが、読み取り機能を有効にしていると仮定する。このコンピュータプログラムは、「決済アプリケーション」と呼ばれ得る。このようなシナリオでは、個人が決済システムに近接していると判断されると、決済アプリケーションは、携帯電話９０４ｄに含まれるミリ波レーダーセンサによりサポートされる検出機能を開始し得る。個人の取引が決済システムにより処理されるとき、変更されたファームウェアは、購入された品目、取引金額、およびタイムスタンプを表すコードをそれに埋め込ませることができる。個人は、決済アプリケーションにプログラム的に関連付けられた決済カード（例えばクレジットカードまたはデビットカード）を使用して取引を完了し得る。ソース電子デバイス９０２ｂにより出力された視覚コードは、受信者電子デバイス９０４ｂにより読み取ることができる。さらに、決済アプリケーションは、それらの支出の決済をアイテムリストおよびタイムコードに一致させることができ得る。これは、受信者電子デバイスが、決済システムの近くにいる間に複数の異なるデータパケットを検出した場合であっても同様である。したがって、個人は、デジタル領収書を提供され得る。
［処理システム］

図１０は、本明細書で説明される動作の少なくとも一部を実装できる処理システム１０００の一例を示すブロック図である。例えば、処理システム１０００の構成要素は、映像出力コンポーネントまたは音声出力コンポーネントを含む電子デバイス上にホストされ得る。別の例として、処理システム１０００の構成要素は、情報転送の目的で別の電子デバイスにより聴覚的または視覚的に検出可能なインタフェース信号を操作可能な操作プラットフォームを含む電子デバイス上にホストされ得る。

処理システム１０００は、バス１０１６に通信可能に接続された、プロセッサ１００２、メインメモリ１００６、不揮発性メモリ１０１０、ネットワークアダプタ１０１２（例えば、ネットワークインタフェース）、映像ディスプレイ１０１８、入力／出力装置１０２０、制御装置１０２２（例えば、キーボード、ポインティングデバイス、またはボタンなどの機械的入力）、記録媒体１０２６を含む駆動ユニット１０２４、または信号生成装置１０３０を含み得る。バス１０１６は、適切なブリッジ、アダプタ、またはコントローラにより接続される１つまたは複数の物理的なバスおよび／またはポイントツーポイント接続を表す抽象的なものとして図示されている。したがって、バス１２１６は、システムバス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、ＨｙｐｅｒＴｒａｎｓｐｏｒｔバス、ＩＳＡ（Industry Standard Architecture）バス、ＳＣＳＩ（Small Computer System Interface）バス、ＵＳＢ（Universal Serial Bus）、Ｉ^２Ｃ（Inter Integrated Circuit）バス、またはＩＥＥＥ標準１３９４に準拠するバスを含み得る。

処理システム１０００は、コンピュータサーバ、ルータ、デスクトップコンピュータ、タブレットコンピュータ、携帯電話、ビデオゲーム機、ウェアラブル電子デバイス（例えば、時計またはフィットネストラッカ）、ネットワーク接続（「スマート」）デバイス（例えば、テレビまたはホームアシスタント装置）、拡張または仮想現実システム（例えば、ヘッドマウントディスプレイ）、または処理システム１０００により実行されるアクション（複数可）を指定する命令セットを（順次または別の方法で）実行可能な別の電子デバイスのものと同様のコンピュータプロセッサ・アーキテクチャを共有してもよい。

メインメモリ１００６、不揮発性メモリ１０１０、および記録媒体１０２４は、単一の媒体であるように示されているが、「記録媒体」および「機械可読媒体」という用語は、１つまたは複数組の命令１０２６を記憶する単一の媒体または複数の媒体を含むように解釈されるべきである。また、「記録媒体」および「機械可読媒体」という用語は、処理システム１０００による実行のための命令セットを記憶し、符号化し、または運ぶことが可能な任意の媒体を含むと解釈されるべきである。

一般に、本開示の実施形態を実装するために実行されるルーチンは、オペレーティングシステムまたは特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュール、または命令のシーケンス（「コンピュータプログラム」と総称される）の一部として実装され得る。コンピュータプログラムは、典型的には、コンピューティングデバイス内の様々なメモリおよび記憶装置に様々なタイミングで設定された１つまたは複数の命令（例えば、命令１００４、１００８、１０２８）を備える。プロセッサ１００２により読み出され、実行されると、命令は、処理システム１０００に、本開示の様々な態様を実行するための動作を実行させる。

実施形態は、完全に機能するコンピューティングデバイスの文脈で説明されてきたが、当業者は、様々な実施形態が様々な形態のプログラム製品として配布可能であることを理解するであろう。本開示は、実際に配布を実現するために使用される機械またはコンピュータ可読媒体の特定のタイプに関係なく適用される。機械およびコンピュータ可読媒体のさらなる例は、揮発性メモリ装置、不揮発性メモリ装置１０１０、リムーバブルディスク、ハードディスクドライブ、光ディスク（例えば、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）およびデジタル多用途ディスク（ＤＶＤ））等の記録可能タイプ媒体、クラウドベースのストレージ、デジタルおよびアナログ通信リンクなどの伝送タイプ媒体を含む。

ネットワークアダプタ１０１２は、処理システム１０００が、処理システム１０００および外部エンティティによりサポートされる任意の通信プロトコルを通じて、処理システム１０００の外部であるエンティティとネットワーク１０１４内のデータを仲介することを可能にする。ネットワークアダプタ１０１２は、ネットワークアダプタカード、ワイヤレスネットワークインタフェースカード、スイッチ、プロトコル変換器、ゲートウェイ、ブリッジ、ハブ、受信機、リピータ、またはチップを含むトランシーバ（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、またはＮＦＣを介した通信を可能にする）を含むことができる。
［備考］

請求された主題の様々な実施形態の前述の説明は、例示および説明の目的で提供されたものである。それは、網羅的であること、または請求された主題を開示された正確な形態に限定することを意図していない。多くの修正および変形が当業者には明らかであろう。実施形態は、本発明の原理およびその実用的用途を最もよく説明するために選択および説明され、それにより、関連する技術の当業者は、請求された主題、種々の実施形態、および企図された特定の用途に適する種々の改変を理解できるようになる。

詳細な説明は、特定の実施形態および企図される最良の態様を説明しているが、詳細な説明がいかに詳細に見えても、本技術は多くの方法で実施することが可能である。実施形態は、本明細書に包含されながら、その実装の詳細においてかなり異なる場合がある。様々な実施形態の特定の特徴または側面を説明するときに使用される特定の用語は、その用語が関連付けられる技術の任意の特定の特性、特徴、または側面に限定されるように、本明細書で再定義されることを意味するものと解釈されるべきではない。一般に、以下の特許請求の範囲で使用される用語は、それらの用語が本明細書で明示的に定義されない限り、本明細書に開示される特定の実施形態に技術を限定するように解釈されるべきではない。したがって、本技術の実際の範囲は、開示された実施形態だけでなく、実施形態を実施または実装するすべての等価な方法も包含する。

本明細書で使用される用語は、主として、読みやすさと説明のために選択されたものである。それは、主題を画定または囲い込むために選択されたものではない。したがって、本技術の範囲は、この詳細な説明によってではなく、むしろ、これに基づく出願で発行される任意の請求項により限定されることが意図される。したがって、様々な実施形態の開示は、以下の特許請求の範囲に規定される技術の範囲を例示するものであるが、限定するものではないことを意図している。

本開示は、情報の無線通信に適用できる。

Claims (20)

1. 第１の電子デバイスにより、ユーザにより感覚的に知覚可能な第１の信号を出力すること、
   前記第１の電子デバイスにより、前記第１の電子デバイスに近接して配置される第２の電子デバイスに前記第１の信号のコンテンツに関する情報を通信する指示を示す入力を受信すること、
   前記第１の電子デバイスにより、第３の信号を生成するように、情報を示す第２の信号を前記第１の信号に重畳すること、および、
   前記第１の電子デバイスにより、前記第２の電子デバイスによる検出のために前記第３の信号を出力すること、
   を備える方法。
2. 前記第１の信号の変調が前記ユーザに感覚的に知覚されないような方法で、前記第２の信号は前記第１の信号に重畳される、請求項１に記載の方法。
3. 前記第１の信号は、前記第１の電子デバイスの音声出力コンポーネントにより発せられる音声信号を表す、請求項１に記載の方法。
4. 前記第２の信号は、前記ユーザに聞こえない超音波信号を表し、
   前記重畳することは、前記入力により指定されるか、または前記入力に基づいて決定される前記第１の信号の一部において前記第２の信号を符号化することを備える、請求項３に記載の方法。
5. 前記第１の信号は、前記第１の電子デバイスの映像出力コンポーネントにより表示される映像信号を表す、請求項１に記載の方法。
6. 前記重畳することは、符号化された第２の信号が前記第２の電子デバイスに含まれるレーダーシステムにより検出可能であるような形態に前記第１および第２の信号を符号化することを備え、
   前記レーダーシステムは、（ｉ）２４ギガヘルツ（ＧＨｚ）を超える電磁波を発生できる送信機と、（ｉｉ）２４ＧＨｚを超える電磁波を送信できる第１のアンテナと、（ｉｉｉ）２４ＧＨｚを超える電磁波を受信できる第２のアンテナと、を含む、請求項５に記載の方法。
7. 前記重畳することは、
   前記第１の信号のコンテンツの分析に基づいて、前記第２の信号を重畳する時間間隔を特定することと、
   前記第２の信号が前記時間間隔と一致するように、前記第１の信号と前記第２の信号を結合することと、
   を備える、請求項１に記載の方法。
8. （ｉ）前記第２の信号のコンテンツ、または（ｉｉ）前記第２の信号が前記第１の信号に重畳される方法が、前記第２の信号を前記第２の電子デバイスに一意に関連付ける、請求項１に記載の方法。
9. 電子デバイスのプロセッサにより実行されたとき、前記電子デバイスに、
   ユーザにより聴覚的または視覚的に検出可能な第１の信号を出力すること、
   他の電子デバイスに情報を伝達する指示を示す入力を受信すること、
   第３の信号を生成するように、情報を示す第２の信号を前記第１の信号に重畳すること、および、
   前記他の電子デバイスによる検出のために前記第３の信号を出力すること、
   を備える動作を実行させる命令が記憶された、非一時的媒体。
10. 前記動作は、
    前記第１の信号のコンテンツをリアルタイムに調べることにより、前記第２の信号を重畳する前記第１の信号の一部を特定することをさらに備える、請求項９に記載の非一時的媒体。
11. 前記動作は、
    前記第１の信号のコンテンツの分析に基づいて、前記第２の信号を重畳する時間間隔を特定すること、および、
    前記第２の信号が前記時間間隔と一致するように、前記第１の信号と前記第２の信号を結合すること、をさらに備える、請求項９に記載の非一時的媒体。
12. 前記第１の信号は、第１の電子デバイスの映像出力コンポーネントにより表示される映像信号を表し、
    前記重畳することは、時間間隔にわたって前記映像信号に視覚的変調を導入させ、
    前記視覚的変調は、前記時間間隔に含まれる前記映像信号の各フレームの一部にのみ影響する、
    請求項９に記載の非一時的媒体。
13. 前記動作は、
    前記電子デバイスの特性に基づいて、前記情報を前記他の電子デバイスに通信するための変調方式を特定することをさらに備え、
    前記重畳することは、前記変調方式に従って実行される、請求項９に記載の非一時的媒体。
14. 前記特性は、ディスプレイサイズ、ディスプレイタイプ、モデル、または意図されたアプリケーションである、請求項１３に記載の非一時的媒体。
15. 前記変調方式は、前記第２の信号の少なくとも１つの特性を指定する、請求項１３に記載の非一時的媒体。
16. 前記第２の信号は、前記第１の信号に重畳される複数の信号のうちの１つであり、したがって前記第３の信号に含まれる、請求項９に記載の非一時的媒体。
17. 前記複数の信号の各信号は、前記第３の信号が前記他の電子デバイスによる検出のために出力される異なる時間間隔に対応する、請求項１６に記載の非一時的媒体。
18. 第１の電子デバイスにより、ユーザにより聴覚的または視覚的に検出可能な符号化されたデータの第１のストリームを出力すること、
    前記第１の電子デバイスにより、前記第１の電子デバイスにアクセス可能な情報が第２の電子デバイスと共有されることを決定すること、
    前記第１の電子デバイスにより、前記情報を示す符号化されたデータの第２のストリームを生成すること、および、
    前記第１の電子デバイスにより、符号化されたデータの前記第２のストリームを符号化されたデータの前記第１のストリームの一部に重ねることにより、前記情報を前記第２の電子デバイスに転送すること、
    を備える方法。
19. 符号化されたデータの前記第１のストリームは、前記第１の電子デバイスの映像出力コンポーネントにより表示される映像信号を表し、
    前記情報は、人間の目には知覚できない、前記映像信号に導入されたフリッカーパターンまたは配色を通じて転送される、請求項１８に記載の方法。
20. 前記第１の電子デバイスにより、所定のリストに含まれるブランド名、製品名、または人名を検出するアルゴリズムを実装すること、および、
    前記アルゴリズムにより生成された出力に基づいて、前記第１の電子デバイスにより、前記ブランド名、前記製品名、または前記人名のうちの１つが、符号化されたデータの前記第１のストリームにおいて発声されたこと、または、表示されたことを検出すること、をさらに備え、
    前記決定することは、前記検出することに応答して実行され、
    前記情報は、検出されたブランド名、製品名、または人名に関連付けられる、請求項１８に記載の方法。

Images