JP5937202B2 - モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること - Google Patents

モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること Download PDF

Info

Publication number
JP5937202B2
JP5937202B2 JP2014512870A JP2014512870A JP5937202B2 JP 5937202 B2 JP5937202 B2 JP 5937202B2 JP 2014512870 A JP2014512870 A JP 2014512870A JP 2014512870 A JP2014512870 A JP 2014512870A JP 5937202 B2 JP5937202 B2 JP 5937202B2
Authority
JP
Japan
Prior art keywords
audio
audio data
subset
continuous
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014512870A
Other languages
English (en)
Other versions
JP2014517939A (ja
Inventor
グロコップ、レオナルド・エイチ．
ナラヤナン、ビドゥヤ
ドルター、ジェームズ・ダブリュ．
ナンダ、サンジブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014517939A publication Critical patent/JP2014517939A/ja
Application granted granted Critical
Publication of JP5937202B2 publication Critical patent/JP5937202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Description

関連出願の相互参照
本出願は、そのすべてがすべての目的のために参照により本明細書に組み込まれる、２０１１年５月２３日に出願された「PRESERVING AUDIO DATA COLLECTION PRIVACY IN MOBILE DEVICES」と題する米国仮特許出願第６１／４８８，９２７号、代理人整理番号第１１１１７４Ｐ１号の優先権を主張する。本出願はまた、そのすべてがすべての目的のために参照により本明細書に組み込まれる、２０１１年８月１９日に出願された「PRESERVING AUDIO DATA COLLECTION PRIVACY IN MOBILE DEVICES」と題する米国特許出願第１３／２１３，２９４号、代理人整理番号第１１１１７４号の優先権を主張する。
モバイルデバイスは、今日の社会において信じられないほど普及している。たとえば、人々は、セルラーフォン、スマートフォン、携帯情報端末、ラップトップコンピュータ、ページャ、タブレットコンピュータなどを使用して、無数のロケーションからデータをワイヤレスに送信および受信する。さらに、ワイヤレス通信技術の進歩は、今日のモバイルデバイスの汎用性を大幅に高め、ユーザは、従来は複数のデバイスまたはより大きい非ポータブル機器のいずれかを必要とした広範囲のタスクを単一のポータブルデバイスから実行することが可能になった。
たとえば、モバイルデバイスは、コンテキスト判断と呼ばれるプロセスを通して、モバイルデバイスユーザがどんな環境（たとえば、レストラン、車、公園、空港など）にあり得るかを判断するように構成され得る。そのようなコンテキスト判断を実行するコンテキストアウェアネスアプリケーションは、ＧＰＳ、ＷｉＦｉおよびＢｌｕｅＴｏｏｔｈ（登録商標）など、モバイルデバイスのセンサー入力からの情報を利用することによってモバイルデバイスの環境を判断しようとする。多くのシナリオでは、モバイルデバイスのマイクロフォンからのオーディオを分類することは、コンテキスト判断を行う際に極めて有益であるが、音声を含み得るオーディオを収集するプロセスはプライバシー問題を引き起こすことがある。
本明細書で開示する技法は、オーディオデータを使用したコンテキストアウェアネスアプリケーションによってコンテキスト判断が行われる前に、オーディオデータ中の音声を不明瞭にするためにモバイルデバイスのハードウェアおよび／またはソフトウェアを使用することを提供する。特に、収集されたオーディオから音声（単語、句および文）が確実に再構成され得ないように、連続オーディオストリームのサブセットがキャプチャされる。サブセットはオーディオ特性について分析され、周囲環境に関する判断が行われ得る。
いくつかの実施形態では、プライバシー敏感オーディオ分析の方法を提示する。本方法は、連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることを含み得る。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。本方法は、オーディオ特性についてオーディオデータのサブセットを分析することを含み得る。本方法は、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことを含み得る。
そのような方法の実施形態は、以下のうちの１つまたは複数を含み得る。オーディオデータのサブセットは、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数を備え得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。本方法は、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことを含み得る。複数のオーディオデータセグメントは、３０ｍｓ〜１００ｍｓの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓであり得る。本方法は、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更することを含み得る。複数のオーディオデータセグメントの順序をランダムに変更することは、地球測位システム（ＧＰＳ）デバイスと、モバイルデバイス内の回路からの信号雑音と、マイクロフォンからの信号雑音と、アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づき得る。
いくつかの実施形態では、プライバシー敏感オーディオを不明瞭にするためのデバイスを提示する。本デバイスはマイクロフォンを含み得る。本デバイスは、マイクロフォンに通信可能に結合された処理ユニットを含み得る。処理ユニットは、マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするように構成され得る。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。処理ユニットは、オーディオ特性についてオーディオデータのサブセットを分析するように構成され得る。処理ユニットは、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うように構成され得る。
そのようなデバイスの実施形態は、以下のうちの１つまたは複数を含み得る。オーディオデータのサブセットは、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数を備え得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。処理ユニットは、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成され得る。複数のオーディオデータセグメントの各々は、３０ｍｓ〜１００ｍｓの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓであり得る。処理ユニットは、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更するようにさらに構成される。複数のオーディオデータセグメントの順序をランダムに変更することは、地球測位システム（ＧＰＳ）デバイスと、モバイルデバイス内の回路からの信号雑音と、マイクロフォンからの信号雑音と、アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づき得る。
いくつかの実施形態では、モバイルデバイスに関連する環境を判断するためのシステムを提示する。本システムは、連続オーディオストリームを受信するように構成されたオーディオセンサーを含み得る。本システムは、オーディオセンサーに結合された少なくとも１つの処理ユニットを含み得る。処理ユニットは、オーディオデータのサブセットが連続オーディオストリーム中に含まれる人間音声の成分を不明瞭にするように、連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするように構成され得る。処理ユニットは、オーディオ特性についてオーディオデータのサブセットを分析するように構成され得る。処理ユニットは、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うように構成され得る。
そのようなシステムの実施形態は、以下のうちの１つまたは複数を含み得る。本システムは、モバイルデバイスからリモートにあるロケーションに、ネットワークを介してオーディオデータのサブセットを表す情報を送るように構成されたネットワークインターフェースを含み得る。少なくとも１つの処理ユニットは、モバイルデバイスからリモートにあるロケーションにおいて周囲環境の判断を行うように構成され得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。少なくとも１つの処理ユニットは、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成され得る。複数のオーディオデータセグメントの各々は、３０ｍｓ〜１００ｍｓの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓであり得る。処理ユニットは、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更するようにさらに構成され得る。
いくつかの実施形態では、非一時的プロセッサ可読媒体上に常駐するコンピュータプログラム製品を提示する。非一時的プロセッサ可読媒体は、連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることをプロセッサに行わせるように構成されたプロセッサ可読命令を含む。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。プロセッサ可読命令は、オーディオ特性についてオーディオデータのサブセットを分析することをプロセッサに行わせるように構成され得る。プロセッサ可読命令は、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことをプロセッサに行わせるように構成され得る。
そのようなコンピュータプログラム製品の実施形態は、以下のうちの１つまたは複数を含み得る。オーディオデータのサブセットは、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数を備え得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。プロセッサ可読命令は、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことをプロセッサに行わせるように構成され得る。複数のオーディオデータセグメントの各々は、３０ｍｓ〜１００ｍｓの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓであり得る。プロセッサ可読命令は、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更するように構成され得る。複数のオーディオデータセグメントの順序をランダムに変更するためのプロセッサ可読命令は、地球測位システム（ＧＰＳ）デバイスと、モバイルデバイス内の回路からの信号雑音と、マイクロフォンからの信号雑音と、アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づく。
いくつかの実施形態では、プライバシー敏感オーディオを不明瞭にするためのデバイスを提示する。本デバイスは、マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするための手段を含み得る。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。本デバイスは、オーディオ特性についてオーディオデータのサブセットを分析するための手段を含み得る。本デバイスは、オーディオ特性に少なくとも部分的に基づいて周囲環境を判断するための手段を含み得る。
そのようなデバイスの実施形態は、以下のうちの１つまたは複数を含み得る。オーディオデータのサブセットをキャプチャするための手段は、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数に従ってオーディオデータのサブセットをキャプチャするように構成され得る。オーディオデータのサブセットをキャプチャするための手段は、オーディオデータのサブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、連続オーディオストリームの異なる時間成分からのデータを備えるように、オーディオデータのサブセットをキャプチャするように構成され得る。周囲環境を判断するための手段は、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成され得る。オーディオデータのサブセットをキャプチャするための手段は、複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備えるように、オーディオデータのサブセットをキャプチャするように構成され得る。
本明細書で説明するアイテムおよび／または技法は、以下の機能、ならびに言及しない他の機能のうちの１つまたは複数を提供し得る。コンテキスト判断の精度にほとんどまたはまったく影響を与えることなしに、コンテキスト判断のために使用されるオーディオストリーム中に含まれ得る音声の成分を不明瞭にすること。最小処理リソースを使用して、リアルタイムで実行され得る比較的単純な方法を利用すること。コンテキスト判断において使用されるモデルの精度を改善するのを助けるために、（不明瞭にされた音声を有する）オーディオデータのサブセットをアップロードする能力を含むこと。少なくとも１つのアイテム／技法効果ペアについて説明したが、言及した効果は、言及した手段以外の手段によって実現されることが可能であり得、言及したアイテム／技法は、必ずしも言及した効果を生じ得るとは限らない。
以下の図を参照すれば、様々な実施形態の性質および利点の理解が促進され得る。添付の図において、同様の構成要素または特徴は同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、それらの同様の構成要素同士を区別する第２のラベルとを続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、その説明は、第２の参照ラベルにかかわらず、同じ第１の参照ラベルを有する同様の構成要素のうちのいずれか１つに適用可能である。
一実施形態による、コンテキストアウェアネスアプリケーションをサポートするように構成されたモバイルデバイスの基本構成要素の簡略ブロック図。 音声のプライバシーを保証するのを助けると同時に、性能劣化のないモバイルデバイスの周囲環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスの可視化を示す図。 音声のプライバシーを保証するのを助けると同時に、性能劣化のないモバイルデバイスの周囲環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスの可視化を示す図。 音声のプライバシーを保証するのを助けると同時に、性能劣化のないモバイルデバイスの周囲環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスの可視化を示す図。 図２ｂおよび図２ｃに示した機能を提供するための方法の流れ図。 図２ｂおよび図２ｃに示した機能を提供するための方法の流れ図。 本明細書で説明するいくつかの処理方法から生じるオーディオデータから、音声認識器が単語のｎ字列（n-gram）を再構成する確率に対する上限を計算する分析の結果を示すグラフ。
図面を参照しながら以下の説明を行う。図面全体にわたって、同様の要素を指すのに同様の参照番号を使用する。本明細書では、１つまたは複数の技法の様々な詳細について説明するが、他の技法も可能である。いくつかの例では、様々な技法の説明を円滑にするために、よく知られている構造およびデバイスをブロック図の形態で示す。
携帯情報端末（ＰＤＡ）、モバイルフォン、タブレットコンピュータ、および他のパーソナル電子機器など、モバイルデバイスは、コンテキストアウェアネスアプリケーションが使用可能であり得る。これらのコンテキストアウェアネスアプリケーションは、たとえば、モバイルデバイスのユーザがどこにいるか、特に、そのユーザが何をしている可能性があるかを判断することができる。そのようなコンテキスト判断は、モバイルデバイスが、ユーザが車中にいると判断した後に自動車モードに入ること、またはユーザが映画館に入ったと判断したときにサイレントモードに入ることなど、追加の機能をユーザに与えることを可能にするのを助けることができる。
本明細書では、モバイルデバイスのコンテキスト判断のために使用されるオーディオ中でキャプチャされ得る音声におけるプライバシーを保護するための技法について説明する。より詳細には、オーディオデータのサブセットが、音声を含んでいることがある連続オーディオストリームからキャプチャされ得、それにより、サンプリングの性質は、連続オーディオストリーム中に含まれていることがある音声を不明瞭にする。しかしながら、サンプリングの性質はまた、モバイルデバイスの特定の周囲環境に関する判断などのコンテキスト判断が精度の低減をほとんどまたはまったく受けないように、連続オーディオストリームのいくつかのオーディオ特性を保護する。これらおよび他の技法について以下でさらに詳細に説明する。
図１は、一実施形態による、コンテキストアウェアネスを提供することができるモバイルデバイス１００のいくつかの構成要素を示す簡略ブロック図である。この図は一例であり、限定的なものではない。たとえば、モバイルデバイス１００は、簡単のために図１から省略される追加の構成要素（たとえば、ユーザインターフェース、アンテナ、ディスプレイなど）を含み得る。さらに、図示された構成要素は、モバイルデバイス１００の機能に応じて、組み合わせられるか、分離されるか、または省略され得る。
この実施形態では、モバイルデバイス１００はモバイルネットワークインターフェース１２０を含む。そのようなインターフェースは、モバイルキャリアと通信するためのハードウェア、ソフトウェア、および／またはファームウェアを含むことができる。モバイルネットワークインターフェース１２０は、高速パケットアクセス（ＨＳＰＡ：High Speed Packet Access）、Ｅｎｈａｎｃｅｄ ＨＳＰＡ（ＨＳＰＡ＋）、３ＧＰＰ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）、および／またはモバイル通信のための他の規格を利用することができる。モバイルネットワークインターフェース１２０はまた、コンテキストアウェアネスアプリケーションにおいて有用であり得る、ロケーションデータなどのある情報を与えることができる。
さらに、モバイルデバイス１００は他の（１つまたは複数の）ワイヤレスインターフェース１７０を含むことができる。そのようなインターフェースは、ＩＥＥＥ８０２．１１（ＷｉＦｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、および／または他のワイヤレス技術を含むことができる。これらの（１つまたは複数の）ワイヤレスインターフェース１７０は、コンテキスト判断において使用され得るモバイルデバイス１００に情報を与えることができる。たとえば、（１つまたは複数の）ワイヤレスインターフェース１７０は、（１つまたは複数の）ワイヤレスインターフェース１７０のうちの１つまたは複数が接続されるワイヤレスネットワークの近似ロケーションを判断することによってロケーションに関する情報を与えることができる。追加または代替として、（１つまたは複数の）ワイヤレスインターフェース１７０は、モバイルデバイス１００が、モバイルデバイス１００のコンテキストを判断する際に有用な情報を与え得る、ワイヤレスヘッドセットおよび／またはマイクロフォンなど、他のデバイスと通信することを可能にすることができる。
モバイルデバイス１００はまた、全地球測位システム（ＧＰＳ）ユニット１６０、（１つまたは複数の）加速度計１３０、および／または他の（１つまたは複数の）センサー１５０を含むことができる。これらの追加の特徴は、ロケーション、配向、動き、温度、近接度などの情報を与えることができる。（１つまたは複数の）ワイヤレスインターフェース１７０の場合と同様に、これらの構成要素からの情報は、コンテキストアウェアネスアプリケーションがモバイルデバイス１００のコンテキストに関するコンテキスト判断を行うのを助けることができる。
モバイルデバイス１００はさらに（１つまたは複数の）分析／判断モジュール１１０を含むことができる。特に、（１つまたは複数の）分析／判断モジュール１１０は、それが通信可能に結合される様々な構成要素からセンサー情報を受信することができる。（１つまたは複数の）分析／判断モジュール１１０はまた、（１つまたは複数の）分析／判断モジュール１１０とは別個であり、および／または（１つまたは複数の）分析／判断モジュール１１０に組み込まれ得る、メモリ１８０に記憶された（コンテキストアウェアネスアプリケーションを含む）ソフトウェアを実行することができる。さらに、（１つまたは複数の）分析／判断モジュール１１０は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、および／または、特に、オーディオデータを分析し、その分析に基づいて判断を行うことが可能な手段を有する構成要素を含む、１つのまたは多数の処理デバイスを備えることができる。
ワイヤレスインターフェース１７０、ＧＰＳユニット１６０、（１つまたは複数の）加速度計１３０、および／または他の（１つまたは複数の）センサー１５０からの情報は、ユーザが、屋外にいるとき、識別可能なＷｉＦｉまたはＢｌｕｅＴｏｏｔｈアクセスポイントの近くにいるとき、歩行しているときなどのロケーションを判断するのを大いに支援することができるが、これらの構成要素には限界がある。多くのシナリオでは、それらは、環境および状況を判断するためにあまり有用でない。たとえば、これらの構成要素からの情報は、ユーザが会議中であるのか、自分のオフィスにいるのか、またはユーザが食品雑貨品店にいるのか、そのすぐ隣のジムにいるのかを区別する際にあまり有用でない。これらのシナリオなどでは、モバイルデバイス１００のオーディオキャプチャモジュール１４０（たとえば、（１つまたは複数の）マイクロフォンおよび／または他のオーディオキャプチャ手段）からの情報は、環境を分類するのを助けるために使用され得る極めて有益なオーディオデータを与え、ならびに音声が存在するかどうか、複数の話者が存在するかどうか、話者の識別情報などを判断することができる。
コンテキスト判断のためにモバイルデバイス１００によってオーディオデータをキャプチャするプロセスは、電話のメモリ１８０にオーディオデータを一時的におよび／または永続的に記憶することを含むことができる。しかしながら、明瞭な音声を含むオーディオデータのキャプチャはプライバシー問題を引き起こすことがある。事実上、モバイルデバイス１００が、承諾なしに、モバイルデバイス１００のユーザまたは別の人間からの音声をキャプチャする場合、連邦法、州法、および／または地域法が関係していることがある。これらの問題は、音声（単語、句および文）が、キャプチャされたオーディオデータから確実に再構成され得ないように、音声がキャプチャされる前にオーディオデータを前処理するために、モバイルデバイス１００のハードウェアおよび／またはソフトウェアを使用することによって緩和され得る。その上、前処理は、さらに、（たとえば、背景雑音からの）周囲環境、および／または音声、音楽、タイピング音などの存在など、オーディオデータの他のオーディオ特性の判断を可能にすることができる。
図２ａは、性能劣化のないモバイルデバイスおよび／またはユーザの状況／環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスを可視化したものである。さらに、そのプロセスはまた、キャプチャされた情報から音声（単語、句および文）が確実に再構成され得ないことを保証するのを助けることができる。このプロセスは、入力オーディオストリームの次元数を低減することを伴う。言い換えれば、連続オーディオの入力ストリームのビット（すなわち、デジタルデータ）は、得られたオーディオストリームが、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有するように低減される。したがって、次元数を低減することは、音声が再生不可能であることを保証するように設計された、計算された関数であり得る。
たとえば、連続オーディオストリームは、Ｔwindow秒持続するオーディオデータのウィンドウ２１０を備えることができる。ウィンドウ２１０は、複数のオーディオデータセグメントを有するものと見なされ得る。より詳細には、ウィンドウ２１０は、Ｎ個の時間成分、またはブロック２２０を備えることができ、各ブロック２２０は、Ｔblock秒持続し、それぞれＴframe秒の複数のフレーム２３０を備える。マイクロフォン信号は、（データのＴframe秒をもつ）ただ１つのフレーム２３０がＴblock秒のあらゆるブロック中で収集されるようにサンプリングされ得る。
ＴframeおよびＴblockの値は、所望の機能に応じて変動することができる。一実施形態では、たとえば、Ｔframe＝５０ｍｓおよびＴblock＝５００ｍｓであるが、これらの設定は、得られたオーディオ情報２４０ａを使用するコンテキスト判断の精度への影響がほとんどなしに大幅に変動することができる。たとえば、Ｔframeは３０ｍｓ未満から１００ｍｓ以上にわたることができ、Ｔblockは２５０ｍｓ未満から２０００ｍｓ（２ｓ）以上までにわたることができ、Ｔwindowは、単一のブロックと同じくらい短く（たとえば、ウィンドウ当たり１つのブロック）、最高１分以上になり得る。異なるフレーム長、ブロック長、およびウィンドウ長は、ブロック２２０当たりのフレーム２３０の数とウィンドウ２１０当たりのブロック２２０の数とに影響を及ぼすことがある。
フレーム２３０のキャプチャは異なる方法で達成され得る。たとえば、（１つまたは複数の）分析／判断モジュール１１０は、連続オーディオのウィンドウ２１０中のマイクロフォン信号を連続的にサンプリングし、不要なフレーム２３０を廃棄する（すなわち、記憶しない）ことがある。したがって、上記の例では、Ｔframe＝５０ｍｓおよびＴblock＝５００ｍｓである場合、処理ユニットは、サンプリングされた５００ｍｓごとに４５０ｍｓを単に廃棄することができる。追加または代替として、（１つまたは複数の）分析／判断モジュール１１０は、不要なフレーム２３０の間にオーディオキャプチャモジュール１４０をオフにし（たとえば、５００ｍｓごとに４５０ｍｓの間オーディオキャプチャジュール１４０をオフにし）、それにより、コンテキスト判断において使用される、得られたオーディオ情報２４０ａ中に挿入されるフレーム２３０のみを収集することができる。
得られたオーディオ情報２４０ａは、ウィンドウ２１０中の連続オーディオストリームのサブセットのみを備えるフレーム２３０の収集である。たとえそうでも、この得られたオーディオ情報２４０ａは、判断の精度への著しい影響なしに、周囲環境を判断することなどのコンテキスト判断を可能にするのを助けることができるオーディオ特性を含むことができる。したがって、得られたオーディオ情報２４０ａは、コンテキスト分類のためのアプリケーションにリアルタイムで与えられ、ならびに／あるいは後の分析のために、および／またはモバイルデバイス１００に通信可能に結合されたサーバにアップロードするためにメモリ１８０に１つまたは複数の波形として記憶され得る。
図２ｂおよび図２ｃは、図２ａに示したプロセスと同様に、オーディオ情報をキャプチャするためのプロセスを可視化したものである。ただし、図２ｂおよび図２ｃでは、キャプチャされ得る音声のさらなるプライバシーを保証するのを助けるために追加のステップをとる。
図２ｂを参照すると、Ｔwindow秒のウィンドウ２１０ごとに、各ブロック２２０の第１のフレーム２３０がどのようにキャプチャされ得るかを示す可視化が与えられている。ウィンドウ２１０の最終ブロック２２０のフレーム２３０−１がキャプチャされた後、ウィンドウ２１０のすべてのキャプチャされたフレームは、得られたオーディオ情報２４０ｂを与えるためにランダムに置換（すなわち、ランダムにシャッフル）され得る。したがって、得られたオーディオ情報２４０ｂは、図２ａの得られたオーディオ情報２４０ａと同様であるが、得られたオーディオ情報２４０ｂがそれから構成されるフレームがランダム化される追加の特徴をもち、それにより、得られたオーディオ情報２４０ｂ中に含まれ得る音声が了解性忠実度をもって再生され得る可能性がさらに低下する。
図２ｃは、図２ｂに示したプロセスと同様であるが、各ブロック２２０についてキャプチャされたフレーム２３０をさらにランダム化するプロセスを示す。より詳細には、図２ａおよび図２ｂに示したようにウィンドウ２１０の各ブロック２２０の第１のフレーム２３０をキャプチャするのではなく、図２ｃに示すプロセスは、代わりに各ブロック２２０からのランダムフレーム２３０が選択され得ることを示す。ウィンドウ２１０のフレーム２３０のキャプチャと得られたオーディオ情報２４０ｃ中のフレーム２３０の順序付けの両方のランダム化は、ウィンドウ２１０内の連続オーディオストリーム中に含まれている音声が不明瞭にされ、再生不可能であることをさらに保証するのを助ける。
図２ｂおよび図２ｃに示したプロセスにおいて使用されるランダム化は、多数の方法で生成されるシードを使用して計算され得る。たとえば、シードは、ＧＰＳユニット１６０によって与えられるＧＰＳ時間、モバイルデバイス１００内の回路からの雑音、オーディオキャプチャモジュール１４０からの雑音（または他の信号）、アンテナからの雑音などに基づき得る。さらに、置換は、シャフリング効果が逆転させられ得ないことを保証するのを助けるために廃棄され得る（たとえば、記憶され得ない）。
図２ａ、図２ｂ、および図２ｃに示したプロセスは、例として与えたものであり、限定的なものではない。他の実施形態が企図される。たとえば、ブロック２２０は、フレーム２３０がキャプチャされる前にランダムに置換され得る。代替的に、フレーム２３０は、ブロック２２０当たり１つのフレーム２３０をキャプチャするのではなく、ウィンドウ２１０全体にわたってランダムにキャプチャされ得る。
図３ａは、図２ｂおよび図２ｃに示した機能を提供するための方法３００−１の実施形態を示す流れ図である。方法３００−１は段階３１０において開始し、そこで、連続オーディオストリームからオーディオデータのブロック２２０を受信する。連続オーディオストリームは、たとえば、モバイルデバイス１００のオーディオキャプチャモジュール１４０が露出される時間のウィンドウ２１０内のオーディオであり得る。
段階３２０において、オーディオデータのブロック２２０のフレーム２３０をキャプチャする。前に説明したように、フレーム２３０はオーディオデータの各ブロック２２０の所定のフレーム（たとえば、第１のフレーム）であり得るか、またはそれはランダムに選択され得る。フレーム２３０は、たとえば、モバイルデバイス１００のメモリ１８０に（一時的にまたは永続的に）記憶されることによってキャプチャされる。前に説明したように、フレーム２３０のキャプチャは、オーディオキャプチャモジュール１４０をオンおよびオフにすることおよび／または連続オーディオストリームを表すオーディオキャプチャモジュール１４０からの信号のいくつかの部分をサンプリングすることを含むことができる。
段階３３０において、現在のウィンドウ２１０中に追加のブロック２２０があるかどうかを判断する。追加のブロック２２０がある場合、ブロック２２０からのフレーム２３０をキャプチャするプロセスが繰り返される。これは、所望の機能に応じて、何度でも繰り返され得る。たとえば、Ｔblock＝５００ｍｓおよびＴwindow＝１０秒である場合、フレーム２３０をキャプチャするプロセスは２０回繰り返され、その結果、フレーム２３０が２０個キャプチャされることになる。
現在のウィンドウ２１０中のすべてのブロック２２０からのフレーム２３０がキャプチャされた場合、プロセスは段階３４０に移動し、そこで、キャプチャされたフレームの順序をランダム化する。これらのランダム化されたフレームは、たとえば、コンテキストアウェアネスアプリケーションによる分析のために使用されるオーディオファイルに記憶され得る。最後に、段階３５０において、ランダム化されたフレームのオーディオ特性に少なくとも部分的に基づいて周囲環境の判断（または他のコンテキスト判断）を行う。
方法３００−１の異なる段階は、モバイルデバイス１００の１つまたは複数の異なる構成要素および／またはモバイルデバイス１００に通信可能に結合された他のシステムによって実行され得る。さらに、段階は、ハードウェア、ソフトウェア、および／またはファームウェアの任意の組合せによって実行され得る。たとえば、オーディオストリーム全体（たとえば、認識可能な音声を有し得るオーディオストリーム）が、モバイルデバイス１００によって実行されるソフトウェアアプリケーションにアクセス不可能であることを保証するのを助けるために、段階３２０〜３４０などのいくつかの段階は、（（１つまたは複数の）分析／判断モジュール１１０などの）ハードウェアによって実行され、キャプチャされたフレームをメモリ１８０に記憶するおよび／またはそれらをソフトウェアアプリケーションに与える前に、たとえば、バッファ上でそれらをランダム化し得る。追加または代替として、いくつかの実施形態は、いくつかのパラメータ（たとえば、Ｔwindow、Ｔblock、および／またはＴframe）がソフトウェアによって少なくとも部分的に構成可能であることを可能にし得る。
さらに他の実施形態では、モバイルデバイス１００は、キャプチャされたフレームを含む、得られたオーディオ情報２４０をリモートサーバにアップロードし得る。この場合、リモートサーバは、段階３５０の周囲環境の判断を行うことができる。代替的に、モバイルデバイス１００は、モバイルデバイス１００によって行われた周囲環境の判断とともに、得られたオーディオ情報２４０をアップロードすることができる。いずれの場合も、リモートサーバは、その判断と得られたオーディオ情報２４０とを使用して、周囲環境判断を行うために使用される既存のモデルを変更することができる。これにより、サーバは、モバイルデバイス１００によって受信された入力から「学習する」ことが可能であるモデルを維持することが可能になる。次いで、修正および／または更新されたモデルは、モバイルデバイス１００によって行われた周囲環境判断の精度を改善するのを助けるためにモバイルデバイス１００にダウンロードされ得る。したがって、周囲環境判断（または他のコンテキスト判断）は継続的に改善され得る。
上記のように、本明細書で説明する技法は、周囲環境および／または他のコンテキスト判断だけでなく、オーディオデータの他のオーディオ特性の判断をも可能にすることができる。これらのオーディオ特性は、音声、音楽、タイピング音などの存在を含むことができる。オーディオ特性に応じて、異なる判断が行われ得る。
図３ｂは、図３の方法３００−１と同様の段階を含む、方法３００−１の一例を示す流れ図である。ただし、図３ｂの方法３００−２は、周囲環境の判断を行うために使用されるキャプチャされたフレーム中に音声が含まれる（１人または複数の）話者の識別情報に関する判断を行う追加の段階３６０を含む。段階３５０の場合と同様に、段階３６０の判断は、モバイルデバイス１００、および／またはキャプチャされたフレームがアップロードされるリモートサーバによって行われ得る。さらに、識別情報に関する判断は、話者の年齢、性別などを判断するのを助けるためのモデル、および特定の人間の音声のオーディオ特性に関する記憶された情報など、他の情報および／またはモデル、ならびに他のデータの使用を含むことができる。
上記で説明したプロセスによって生成された、キャプチャされたオーディオファイルをリッスンすることは、単語がこの方式から確実に再構成され得ないことを明確に示す。ただし、この概念は、商用音声認識器を開発するための公開されているソースからの収集されたオーディオデータが与えられれば、音声認識器が単語のｎ字列を再構成する確率に対する上限を計算するための分析を実行することによって数学的に示され得、単語のｎ字列はｎ個の連続する単語の集合である。
図４は、収集されたオーディオが与えられれば、ｎ字列を正しく推測する確率に対する上限を示す、そのような分析の結果を示すグラフである。１字列４１０と２字列４２０とを正しく再構成するための結果を示し、Ｔblockの可変長について、Ｔframe＝５０ｍｓである。直観的にｎ字列を再構成する確率はｎの増加とともに減少する。これは図４からわかり得、Ｔblock＝５００ｍｓの場合、１字列４１０を正しく再構成する確率は１４％であり、２字列４２０を正しく再構成する確率は８％である。（この分析は、言語をなお一層不明瞭にし得る、本明細書で説明するフレームの置換を含まず、おおよそ（Ｔwindow／Ｔblock）だけ確率を低減することに留意されたい。）
音声を再構成する確率の低減にもかかわらず、本明細書で説明する技法は、ユーザの環境を見分けるための、分類器（たとえば、コンテキストアウェアネスアプリケーションにおいて使用される確率的分類器）の能力に著しい影響を与えない。これは、１つの混合成分と２つの混合成分とを有する統計的モデルを用いた、コンテキストアウェアネス分類器の精度および再現率（recall）を示す表１に示されており、Ｔframe＝５０ｍｓであり、Ｔblockは可変である。使用されたデータは、コンテキストアウェアネスアプリケーション間で共通の（たとえば、公園内、街路上、マーケット内、車中、空港内などの）環境のセットの環境音の商業的に収集されたオーディオデータセットであった。
Figure 0005937202
Ｔframe＝５０ｍｓであるので、Ｔblock＝５０ｍｓについて表１に示した精度および再現率は連続オーディオである。したがって、表１は、連続オーディオストリームのサブセットのみをサンプリングすることによってオーディオデータの次元数を低減することが、Ｔblockが２秒に近づく（すなわち、マイクロフォンが、２秒ごとに５０ｍｓのみ、またはその時間の２．５％の間オンである）まで、周囲環境の分類器の判断の精度にほとんど影響を与えないことがあることを示す。分類器ごとに結果が異なり得る。
上記で説明した方法、システム、デバイス、グラフ、および表は例である。様々な構成は、適宜に様々なプロシージャまたは構成要素を省略、置換、または追加し得る。たとえば、代替構成では、本方法は、説明した順序とは異なる順序で実行され得、ならびに／あるいは様々な段階が追加、省略、および／または組み合わせられ得る。また、いくつかの構成に関して説明した特徴は、様々な他の構成において組み合わせられ得る。構成の異なる態様および要素が、同様の方法で組み合わせられ得る。また、技術は発展し、したがって、要素の多くは例であり、本開示または特許請求の範囲を限定しない。さらに、本明細書で説明した技法は、異なるタイプのコンテキストアウェアネス分類器を用いて異なる結果を与え得る。
説明では、（実装形態を含む）例示的な実施形態の完全な理解が得られるように具体的な詳細を与えた。ただし、実施形態は、これらの具体的な詳細なしに実施され得る。たとえば、構成を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法を不要な詳細なしに示した。この説明は、例示的な構成を与えるにすぎず、特許請求の範囲の範囲、適用性、または構成を限定しない。そうではなく、構成の上記の説明は、説明した技法を実装することを可能にする説明を当業者に与えるものである。本開示の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得る。
また、構成は、流れ図またはブロック図として示されるプロセスとして説明されることがある。各々は動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実行され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、図中に含まれない追加のステップを有し得る。
本発明の様々な特徴を組み込んだコンピュータプログラムは、様々な非一時的コンピュータ可読記憶媒体および／または非一時的プロセッサ可読記憶媒体上で符号化され得、好適な媒体は、磁気媒体と、光学媒体と、フラッシュメモリと、他の非一時的媒体とを含む。プログラムコードで符号化された非一時的プロセッサ可読記憶媒体は、互換デバイスとともにパッケージングされるか、または他のデバイスから別々に与えられ得る。さらに、プログラムコードは、インターネットを含む、様々なプロトコルに準拠するワイヤード、光、および／またはワイヤレスネットワークを介して符号化され、送信され、それにより、たとえば、インターネットダウンロードを介した配信が可能になり得る。
いくつかの例示的な構成を説明したが、本開示の趣旨から逸脱することなく、様々な変更形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、他のルールが、本発明の適用よりも優先するかまたは他の方法で本発明の適用を変更し得る。また、上記の要素が考慮される前に、考慮されている間に、または考慮された後に、いくつかのステップが行われ得る。したがって、上記の説明は特許請求の範囲を限定しない。
以下に、本願の出願当初請求項に記載された発明を付記する。
［Ｃ１］
連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
前記連続オーディオストリームが人間音声を含んでおり、
オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
キャプチャすることと、
オーディオ特性についてオーディオデータの前記サブセットを分析することと、
前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うこととを備える、プライバシー敏感オーディオ分析の方法。
［Ｃ２］
オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、上記Ｃ１に記載のプライバシー敏感オーディオ分析の方法。
［Ｃ３］
オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、上記Ｃ１に記載のプライバシー敏感オーディオ分析の方法。
［Ｃ４］
前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことをさらに備える、上記Ｃ３に記載のプライバシー敏感オーディオ分析の方法。
［Ｃ５］
前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、上記Ｃ３に記載のプライバシー敏感オーディオ分析の方法。
［Ｃ６］
前記連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓである、上記Ｃ３に記載のプライバシー敏感オーディオ分析の方法。
［Ｃ７］
オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更することをさらに備える、上記Ｃ３に記載のプライバシー敏感オーディオ分析の方法。
［Ｃ８］
前記複数のオーディオデータセグメントの前記順序をランダムに変更することが、
全地球測位システム（ＧＰＳ）デバイスと、
モバイルデバイス内の回路からの信号雑音と、
マイクロフォンからの信号雑音と、
アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づく、上記Ｃ７に記載のプライバシー敏感オーディオ分析の方法。
［Ｃ９］
マイクロフォンと、
前記マイクロフォンに通信可能に結合された処理ユニットであって、
前記マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
前記連続オーディオストリームが人間音声を含んでおり、
オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
キャプチャすることと、
オーディオ特性についてオーディオデータの前記サブセットを分析することと、
前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
を行うように構成された処理ユニットとを備える、プライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１０］
オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、上記Ｃ９に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１１］
オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、上記Ｃ９に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１２］
前記処理ユニットが、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、上記Ｃ１１に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１３］
前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、上記Ｃ１１に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１４］
前記連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓである、上記Ｃ１１に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１５］
前記処理ユニットが、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更するように構成された、上記Ｃ１１に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１６］
前記処理ユニットが、
全地球測位システム（ＧＰＳ）デバイスと、
モバイルデバイス内の回路からの信号雑音と、
前記マイクロフォンからの信号雑音と、
アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づいて、前記複数のオーディオデータセグメントの前記順序をランダムに変更するように構成された、上記Ｃ１５に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ１７］
連続オーディオストリームを受信するように構成されたオーディオセンサーと、
前記オーディオセンサーに結合された少なくとも１つの処理ユニットであって、
オーディオデータのサブセットが前記連続オーディオストリーム中に含まれる人間音声の成分を不明瞭にするように、前記連続オーディオストリーム中に含まれているオーディオデータの前記サブセットをキャプチャすることと、
オーディオ特性についてオーディオデータの前記サブセットを分析することと、
前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
を行うように構成された少なくとも１つの処理ユニットとを備える、モバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ１８］
前記モバイルデバイスからリモートにあるロケーションに、ネットワークを介してオーディオデータの前記サブセットを表す情報を送るように構成されたネットワークインターフェースをさらに備える、上記Ｃ１７に記載のモバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ１９］
前記少なくとも１つの処理ユニットが、前記モバイルデバイスからリモートにある前記ロケーションにおいて前記周囲環境の前記判断を行うように構成された、上記Ｃ１８に記載のモバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ２０］
オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、上記Ｃ１８に記載のモバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ２１］
前記少なくとも１つの処理ユニットが、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、上記Ｃ２０に記載のモバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ２２］
前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、上記Ｃ２０に記載のモバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ２３］
前記連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓである、上記Ｃ２０に記載のモバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ２４］
前記少なくとも１つの処理ユニットが、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更するように構成された、上記Ｃ２０に記載のモバイルデバイスに関連する環境を判断するためのシステム。
［Ｃ２５］
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラム製品であって、
連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
前記連続オーディオストリームが人間音声を含んでおり、
オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
キャプチャすることと、
オーディオ特性についてオーディオデータの前記サブセットを分析することと、
前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うこととをプロセッサに行わせるように構成されたプロセッサ可読命令を備えるコンピュータプログラム製品。
［Ｃ２６］
オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、上記Ｃ２５に記載のコンピュータプログラム製品。
［Ｃ２７］
オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、上記Ｃ２５に記載のコンピュータプログラム製品。
［Ｃ２８］
前記プロセッサ可読命令が、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことを前記プロセッサに行わせるように構成された、上記Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ２９］
前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、上記Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ３０］
前記連続オーディオストリームの各時間成分は、長さが２５０ｍｓ〜２ｓである、上記Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ３１］
前記プロセッサ可読命令が、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更することを前記プロセッサに行わせるように構成された、上記Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ３２］
前記プロセッサ可読命令が、
全地球測位システム（ＧＰＳ）デバイスと、
モバイルデバイス内の回路からの信号雑音と、
マイクロフォンからの信号雑音と、
アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づいて、前記複数のオーディオデータセグメントの前記順序をランダムに変更することを前記プロセッサに行わせるように構成された、上記Ｃ３１に記載のコンピュータプログラム製品。
［Ｃ３３］
マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするための手段であって、
前記連続オーディオストリームが人間音声を含んでおり、
オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
キャプチャするための手段と、
オーディオ特性についてオーディオデータの前記サブセットを分析するための手段と、
前記オーディオ特性に少なくとも部分的に基づいて周囲環境を判断するための手段とを備える、プライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ３４］
オーディオデータの前記サブセットをキャプチャするための前記手段が、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数に従ってオーディオデータの前記サブセットをキャプチャするように構成された、上記Ｃ３３に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ３５］
オーディオデータの前記サブセットをキャプチャするための前記手段は、オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備えるように、オーディオデータの前記サブセットをキャプチャするように構成された、上記Ｃ３３に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ３６］
前記周囲環境を判断するための前記手段が、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、上記Ｃ３５に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
［Ｃ３７］
オーディオデータの前記サブセットをキャプチャするための前記手段は、前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備えるように、オーディオデータの前記サブセットをキャプチャするように構成された、上記Ｃ３５に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。

Claims (32)

  1. デバイスが、連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にし、
    オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、
    前記複数のオーディオデータセグメントの各々のオーディオデータセグメントは、前記連続オーディオストリームの複数の時間ブロックの異なる時間ブロック内でキャプチャされ、前記複数の時間ブロックの各々の時間ブロックは、各オーディオセグメントよりも時間的に長い、
    キャプチャすることと、
    前記デバイスが、オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記デバイスが、前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うこととを備える、プライバシー敏感オーディオ分析の方法。
  2. オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、請求項１に記載のプライバシー敏感オーディオ分析の方法。
  3. 前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことをさらに備える、請求項１に記載のプライバシー敏感オーディオ分析の方法。
  4. 前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、請求項１に記載のプライバシー敏感オーディオ分析の方法。
  5. 前記連続オーディオストリームの各時間ブロックは、長さが２５０ｍｓ〜２ｓである、請求項１に記載のプライバシー敏感オーディオ分析の方法。
  6. オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更することをさらに備える、請求項１に記載のプライバシー敏感オーディオ分析の方法。
  7. 前記複数のオーディオデータセグメントの前記順序をランダムに変更することが、
    全地球測位システム（ＧＰＳ）デバイスと、
    モバイルデバイス内の回路からの信号雑音と、
    マイクロフォンからの信号雑音と、
    アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づく、請求項６に記載のプライバシー敏感オーディオ分析の方法。
  8. マイクロフォンと、
    前記マイクロフォンに通信可能に結合された処理ユニットであって、
    前記マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にし、
    オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、
    前記複数のオーディオデータセグメントの各々のオーディオデータセグメントは、前記連続オーディオストリームの複数の時間ブロックの異なる時間ブロック内でキャプチャされ、前記複数の時間ブロックの各々の時間ブロックは、各オーディオセグメントよりも時間的に長い、
    キャプチャすることと、
    オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
    を行うように構成された処理ユニットとを備える、プライバシー敏感オーディオを不明瞭にするためのデバイス。
  9. オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、請求項８に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  10. 前記処理ユニットが、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、請求項８に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  11. 前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、請求項８に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  12. 前記連続オーディオストリームの各時間ブロックは、長さが２５０ｍｓ〜２ｓである、請求項８に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  13. 前記処理ユニットが、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更するように構成された、請求項８に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  14. 前記処理ユニットが、
    全地球測位システム（ＧＰＳ）デバイスと、
    モバイルデバイス内の回路からの信号雑音と、
    前記マイクロフォンからの信号雑音と、
    アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づいて、前記複数のオーディオデータセグメントの前記順序をランダムに変更するように構成された、請求項１３に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  15. 連続オーディオストリームを受信するように構成されたオーディオセンサーと、
    前記オーディオセンサーに結合された少なくとも１つの処理ユニットであって、
    オーディオデータのサブセットが前記連続オーディオストリーム中に含まれる人間音声の成分を不明瞭にするように、前記連続オーディオストリーム中に含まれているオーディオデータの前記サブセットをキャプチャすることであって、
    オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、
    前記複数のオーディオデータセグメントの各々のオーディオデータセグメントは、前記連続オーディオストリームの複数の時間ブロックの異なる時間ブロック内でキャプチャされ、前記複数の時間ブロックの各々の時間ブロックは、各オーディオセグメントよりも時間的に長い、
    キャプチャすることと、
    オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
    を行うように構成された少なくとも１つの処理ユニットとを備える、モバイルデバイスに関連する環境を判断するためのシステム。
  16. 前記モバイルデバイスからリモートにあるロケーションに、ネットワークを介してオーディオデータの前記サブセットを表す情報を送るように構成されたネットワークインターフェースをさらに備える、請求項１５に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  17. 前記少なくとも１つの処理ユニットが、前記モバイルデバイスからリモートにある前記ロケーションにおいて前記周囲環境の前記判断を行うように構成された、請求項１６に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  18. 前記少なくとも１つの処理ユニットが、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、請求項１５に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  19. 前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、請求項１５に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  20. 前記連続オーディオストリームの各時間ブロックは、長さが２５０ｍｓ〜２ｓである、請求項１５に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  21. 前記少なくとも１つの処理ユニットが、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更するように構成された、請求項１５に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  22. 連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にし、
    オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、
    前記複数のオーディオデータセグメントの各々のオーディオデータセグメントは、前記連続オーディオストリームの複数の時間ブロックの異なる時間ブロック内でキャプチャされ、前記複数の時間ブロックの各々の時間ブロックは、各オーディオセグメントよりも時間的に長い、
    キャプチャすることと、
    オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うこととをプロセッサに行わせるためのコンピュータプログラム。
  23. オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、請求項２２に記載のコンピュータプログラム。
  24. 前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことを前記プロセッサにさらに行わせる、請求項２２に記載のコンピュータプログラム。
  25. 前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備える、請求項２２に記載のコンピュータプログラム。
  26. 前記連続オーディオストリームの各時間ブロックは、長さが２５０ｍｓ〜２ｓである、請求項２２に記載のコンピュータプログラム。
  27. オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更することを前記プロセッサにさらに行わせる、請求項２２に記載のコンピュータプログラム。
  28. 全地球測位システム（ＧＰＳ）デバイスと、
    モバイルデバイス内の回路からの信号雑音と、
    マイクロフォンからの信号雑音と、
    アンテナからの信号雑音とのうちの１つからの情報に少なくとも部分的に基づいて、前記複数のオーディオデータセグメントの前記順序をランダムに変更することを前記プロセッサにさらに行わせる、請求項２７に記載のコンピュータプログラム。
  29. マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするための手段であって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にし、
    オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、
    前記複数のオーディオデータセグメントの各々のオーディオデータセグメントは、前記連続オーディオストリームの複数の時間ブロックの異なる時間ブロック内でキャプチャされ、前記複数の時間ブロックの各々の時間ブロックは、各オーディオセグメントよりも時間的に長い、
    キャプチャするための手段と、
    オーディオ特性についてオーディオデータの前記サブセットを分析するための手段と、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境を判断するための手段とを備える、プライバシー敏感オーディオを不明瞭にするためのデバイス。
  30. オーディオデータの前記サブセットをキャプチャするための前記手段が、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数に従ってオーディオデータの前記サブセットをキャプチャするように構成された、請求項２９に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  31. 前記周囲環境を判断するための前記手段が、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、請求項２９に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  32. オーディオデータの前記サブセットをキャプチャするための前記手段は、前記複数のオーディオデータセグメントの各々が、３０ｍｓ〜１００ｍｓの記録されたオーディオを備えるように、オーディオデータの前記サブセットをキャプチャするように構成された、請求項２９に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
JP2014512870A 2011-05-23 2012-05-14 モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること Active JP5937202B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161488927P 2011-05-23 2011-05-23
US61/488,927 2011-05-23
US13/213,294 2011-08-19
US13/213,294 US8700406B2 (en) 2011-05-23 2011-08-19 Preserving audio data collection privacy in mobile devices
PCT/US2012/037783 WO2012162009A1 (en) 2011-05-23 2012-05-14 Preserving audio data collection privacy in mobile devices

Publications (2)

Publication Number Publication Date
JP2014517939A JP2014517939A (ja) 2014-07-24
JP5937202B2 true JP5937202B2 (ja) 2016-06-22

Family

ID=46178795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014512870A Active JP5937202B2 (ja) 2011-05-23 2012-05-14 モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること

Country Status (6)

Country Link
US (2) US8700406B2 (ja)
EP (1) EP2715722B1 (ja)
JP (1) JP5937202B2 (ja)
KR (1) KR101580510B1 (ja)
CN (1) CN103620680B (ja)
WO (1) WO2012162009A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection
ES2767097T3 (es) * 2011-09-30 2020-06-16 Orange Método, aparatos y aplicaciones para los atributos de oscurecimiento contextual de un perfil de usuario
US8925037B2 (en) * 2013-01-02 2014-12-30 Symantec Corporation Systems and methods for enforcing data-loss-prevention policies using mobile sensors
US9300266B2 (en) 2013-02-12 2016-03-29 Qualcomm Incorporated Speaker equalization for mobile devices
US9076459B2 (en) * 2013-03-12 2015-07-07 Intermec Ip, Corp. Apparatus and method to classify sound to detect speech
KR102149266B1 (ko) * 2013-05-21 2020-08-28 삼성전자 주식회사 전자 기기의 오디오 데이터의 관리 방법 및 장치
WO2015061712A1 (en) 2013-10-24 2015-04-30 Tourmaline Labs, Inc. Systems and methods for collecting and transmitting telematics data from a mobile device
US10057764B2 (en) * 2014-01-18 2018-08-21 Microsoft Technology Licensing, Llc Privacy preserving sensor apparatus
JP6215129B2 (ja) * 2014-04-25 2017-10-18 京セラ株式会社 携帯電子機器、制御方法及び制御プログラム
US10404697B1 (en) 2015-12-28 2019-09-03 Symantec Corporation Systems and methods for using vehicles as information sources for knowledge-based authentication
US10326733B2 (en) 2015-12-30 2019-06-18 Symantec Corporation Systems and methods for facilitating single sign-on for multiple devices
US10116513B1 (en) 2016-02-10 2018-10-30 Symantec Corporation Systems and methods for managing smart building systems
US10375114B1 (en) 2016-06-27 2019-08-06 Symantec Corporation Systems and methods for enforcing access-control policies
US10462184B1 (en) 2016-06-28 2019-10-29 Symantec Corporation Systems and methods for enforcing access-control policies in an arbitrary physical space
US10469457B1 (en) 2016-09-26 2019-11-05 Symantec Corporation Systems and methods for securely sharing cloud-service credentials within a network of computing devices
US10812981B1 (en) 2017-03-22 2020-10-20 NortonLifeLock, Inc. Systems and methods for certifying geolocation coordinates of computing devices
US10540521B2 (en) 2017-08-24 2020-01-21 International Business Machines Corporation Selective enforcement of privacy and confidentiality for optimization of voice applications
GB2567703B (en) * 2017-10-20 2022-07-13 Cirrus Logic Int Semiconductor Ltd Secure voice biometric authentication
DE102019108178B3 (de) * 2019-03-29 2020-06-18 Tribe Technologies Gmbh Verfahren und Vorrichtung zur automatischen Überwachung von Telefonaten
US11354085B2 (en) 2019-07-03 2022-06-07 Qualcomm Incorporated Privacy zoning and authorization for audio rendering
US11580213B2 (en) * 2019-07-03 2023-02-14 Qualcomm Incorporated Password-based authorization for audio rendering
WO2021107218A1 (ko) * 2019-11-29 2021-06-03 주식회사 공훈 음성 데이터의 프라이버시 보호를 위한 방법 및 디바이스
KR20210100368A (ko) 2020-02-06 2021-08-17 삼성전자주식회사 전자장치 및 그 제어방법

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4221931A (en) * 1977-10-17 1980-09-09 Harris Corporation Time division multiplied speech scrambler
JPS59111441A (ja) * 1982-12-17 1984-06-27 Sony Corp 音声信号の秘話方式
US5267312A (en) * 1990-08-06 1993-11-30 Nec Home Electronics, Ltd. Audio signal cryptographic system
JP2655046B2 (ja) * 1993-09-13 1997-09-17 日本電気株式会社 ベクトル量子化装置
WO1997027578A1 (en) * 1996-01-26 1997-07-31 Motorola Inc. Very low bit rate time domain speech analyzer for voice messaging
US7930546B2 (en) * 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US6078666A (en) * 1996-10-25 2000-06-20 Matsushita Electric Industrial Co., Ltd. Audio signal processing method and related device with block order switching
US7809138B2 (en) * 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
US6119086A (en) * 1998-04-28 2000-09-12 International Business Machines Corporation Speech coding via speech recognition and synthesis based on pre-enrolled phonetic tokens
JP3180762B2 (ja) * 1998-05-11 2001-06-25 日本電気株式会社 音声符号化装置及び音声復号化装置
US7457415B2 (en) * 1998-08-20 2008-11-25 Akikaze Technologies, Llc Secure information distribution system utilizing information segment scrambling
US7263489B2 (en) * 1998-12-01 2007-08-28 Nuance Communications, Inc. Detection of characteristics of human-machine interactions for dialog customization and analysis
US6937730B1 (en) * 2000-02-16 2005-08-30 Intel Corporation Method and system for providing content-specific conditional access to digital content
US8677505B2 (en) * 2000-11-13 2014-03-18 Digital Doors, Inc. Security system with extraction, reconstruction and secure recovery and storage of data
US7177808B2 (en) * 2000-11-29 2007-02-13 The United States Of America As Represented By The Secretary Of The Air Force Method for improving speaker identification by determining usable speech
US20040059918A1 (en) * 2000-12-15 2004-03-25 Changsheng Xu Method and system of digital watermarking for compressed audio
US7350228B2 (en) * 2001-01-23 2008-03-25 Portauthority Technologies Inc. Method for securing digital content
JP3946965B2 (ja) * 2001-04-09 2007-07-18 ソニー株式会社 無体財産権を保護する情報を記録する記録装置、記録方法、記録媒体、およびプログラム
DE10138650A1 (de) * 2001-08-07 2003-02-27 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschlüsseln eines diskreten Signals sowie Verfahren und Vorrichtung zur Entschlüsselung
US7143028B2 (en) * 2002-07-24 2006-11-28 Applied Minds, Inc. Method and system for masking speech
GB2392807A (en) * 2002-09-06 2004-03-10 Sony Uk Ltd Processing digital data
FR2846179B1 (fr) * 2002-10-21 2005-02-04 Medialive Embrouillage adaptatif et progressif de flux audio
FR2846178B1 (fr) * 2002-10-21 2005-03-11 Medialive Desembrouillage adaptatif et progressif de flux audio
JP4206876B2 (ja) * 2003-09-10 2009-01-14 ヤマハ株式会社 遠隔地の様子を伝達する通信装置およびプログラム
US7564906B2 (en) * 2004-02-17 2009-07-21 Nokia Siemens Networks Oy OFDM transceiver structure with time-domain scrambling
US7720012B1 (en) * 2004-07-09 2010-05-18 Arrowhead Center, Inc. Speaker identification in the presence of packet losses
JP2006238110A (ja) * 2005-02-25 2006-09-07 Matsushita Electric Ind Co Ltd 監視システム
EP1725056B1 (en) * 2005-05-16 2013-01-09 Sony Ericsson Mobile Communications AB Method for disabling a mobile device
US8781967B2 (en) * 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US8214516B2 (en) * 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
JP2009534713A (ja) * 2006-04-24 2009-09-24 ネロ アーゲー 低減ビットレートを有するデジタル音声データを符号化するための装置および方法
US8433915B2 (en) * 2006-06-28 2013-04-30 Intellisist, Inc. Selective security masking within recorded speech
US20080243492A1 (en) * 2006-09-07 2008-10-02 Yamaha Corporation Voice-scrambling-signal creation method and apparatus, and computer-readable storage medium therefor
CN101669308B (zh) * 2007-02-20 2013-03-20 尼尔森（美国）有限公司 表征媒体的方法和装置
JP4245060B2 (ja) * 2007-03-22 2009-03-25 ヤマハ株式会社 サウンドマスキングシステム、マスキングサウンド生成方法およびプログラム
US8243924B2 (en) * 2007-06-29 2012-08-14 Google Inc. Progressive download or streaming of digital media securely through a localized container and communication protocol proxy
JP4914319B2 (ja) * 2007-09-18 2012-04-11 日本電信電話株式会社 コミュニケーション音声処理方法とその装置、及びそのプログラム
US8379854B2 (en) * 2007-10-09 2013-02-19 Alcatel Lucent Secure wireless communication
KR101444099B1 (ko) * 2007-11-13 2014-09-26 삼성전자주식회사 음성 구간 검출 방법 및 장치
US8140326B2 (en) * 2008-06-06 2012-03-20 Fuji Xerox Co., Ltd. Systems and methods for reducing speech intelligibility while preserving environmental sounds
CA2731732A1 (en) * 2008-07-21 2010-01-28 Auraya Pty Ltd Voice authentication system and methods
US8515747B2 (en) * 2008-09-06 2013-08-20 Huawei Technologies Co., Ltd. Spectrum harmonic/noise sharpness control
JP5222680B2 (ja) * 2008-09-26 2013-06-26 セコム株式会社 端末利用者監視装置およびシステム
US8244531B2 (en) * 2008-09-28 2012-08-14 Avaya Inc. Method of retaining a media stream without its private audio content
US20100114568A1 (en) * 2008-10-24 2010-05-06 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
US20100114344A1 (en) * 2008-10-31 2010-05-06 France Telecom Communication system incorporating ambient sound pattern detection and method of operation thereof
WO2010054373A2 (en) * 2008-11-10 2010-05-14 Google Inc. Multisensory speech detection
EP2221803A2 (en) * 2009-02-19 2010-08-25 Yamaha Corporation Masking sound generating apparatus, masking system, masking sound generating method, and program
KR101581883B1 (ko) * 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
US8200480B2 (en) * 2009-09-30 2012-06-12 International Business Machines Corporation Deriving geographic distribution of physiological or psychological conditions of human speakers while preserving personal privacy
US8861742B2 (en) * 2010-01-26 2014-10-14 Yamaha Corporation Masker sound generation apparatus and program
US20110184740A1 (en) * 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
US8423351B2 (en) * 2010-02-19 2013-04-16 Google Inc. Speech correction for typed input
US20110218798A1 (en) * 2010-03-05 2011-09-08 Nexdia Inc. Obfuscating sensitive content in audio sources
US20110216905A1 (en) * 2010-03-05 2011-09-08 Nexidia Inc. Channel compression
US8965545B2 (en) * 2010-09-30 2015-02-24 Google Inc. Progressive encoding of audio
US20120136658A1 (en) * 2010-11-30 2012-05-31 Cox Communications, Inc. Systems and methods for customizing broadband content based upon passive presence detection of users
US8938619B2 (en) * 2010-12-29 2015-01-20 Adobe Systems Incorporated System and method for decrypting content samples including distinct encryption chains
US20120203491A1 (en) * 2011-02-03 2012-08-09 Nokia Corporation Method and apparatus for providing context-aware control of sensors and sensor data
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9407706B2 (en) * 2011-03-31 2016-08-02 Qualcomm Incorporated Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features
US20130006633A1 (en) * 2011-07-01 2013-01-03 Qualcomm Incorporated Learning speech models for mobile device users
US9159324B2 (en) * 2011-07-01 2015-10-13 Qualcomm Incorporated Identifying people that are proximate to a mobile device user via social graphs, speech models, and user context
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection

Also Published As

Publication number Publication date
CN103620680A (zh) 2014-03-05
WO2012162009A1 (en) 2012-11-29
US20120303360A1 (en) 2012-11-29
US20140172424A1 (en) 2014-06-19
KR101580510B1 (ko) 2015-12-28
US8700406B2 (en) 2014-04-15
KR20140021681A (ko) 2014-02-20
JP2014517939A (ja) 2014-07-24
EP2715722A1 (en) 2014-04-09
EP2715722B1 (en) 2018-06-13
CN103620680B (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
JP5937202B2 (ja) モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること
WO2020029906A1 (zh) 一种多人语音的分离方法和装置
KR102132888B1 (ko) 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답
EP2994911B1 (en) Adaptive audio frame processing for keyword detection
JP6812604B2 (ja) オーディオアクティビティ追跡および要約
JP5819435B2 (ja) モバイルデバイスのロケーションを決定するための方法および装置
JP5905494B2 (ja) 類似のサウンド環境においてモバイルデバイスを識別するための方法および装置
US10433256B2 (en) Application control method and application control device
US20130006633A1 (en) Learning speech models for mobile device users
CN110995933A (zh) 移动终端的音量调节方法、装置、移动终端及存储介质
WO2013040414A1 (en) Mobile device context information using speech detection
JP2017509009A (ja) オーディオストリームの中の音楽の追跡
EP3039579A1 (en) Method and apparatus for classifying data items based on sound tags
CN111385688A (zh) 一种基于深度学习的主动降噪方法、装置及系统
CN115804099A (zh) 场景描述的再现控制
KR20240100384A (ko) 신호 부호화/복호화 방법, 장치, 사용자 기기, 네트워크측 기기 및 저장 매체
CN117711420B (zh) 目标人声提取方法、电子设备及存储介质
CN109686359A (zh) 语音输出方法、终端及计算机可读存储介质
CN112926623A (zh) 识别合成视频的方法、装置、介质及电子设备
CN109815806A (zh) 人脸识别方法及装置、计算机设备、计算机存储介质
WO2023160515A1 (zh) 视频处理方法、装置、设备及介质
CN115841812A (zh) 语音激活检测模型的训练方法及电子设备和存储介质
CN115662457A (zh) 语音降噪方法、电子设备和存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160511

R150 Certificate of patent or registration of utility model

Ref document number: 5937202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250