JP5699749B2 - 携帯端末装置の位置判定システムおよび携帯端末装置 - Google Patents
携帯端末装置の位置判定システムおよび携帯端末装置 Download PDFInfo
- Publication number
- JP5699749B2 JP5699749B2 JP2011078564A JP2011078564A JP5699749B2 JP 5699749 B2 JP5699749 B2 JP 5699749B2 JP 2011078564 A JP2011078564 A JP 2011078564A JP 2011078564 A JP2011078564 A JP 2011078564A JP 5699749 B2 JP5699749 B2 JP 5699749B2
- Authority
- JP
- Japan
- Prior art keywords
- mobile terminal
- terminal device
- sound
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
Description
一方、携帯端末装置が他のどの携帯端末装置と同じ部屋、すなわち同じ空間内に位置しているかの情報を保持することにより、例えば、同じ空間内にいる特定の人と情報を交換することができ、さらに、携帯端末装置が、同じ空間内に位置した他の携帯端末装置のID情報等を行動ログとして記録しておくことができ、後で携帯端末装置のID情報から誰と同じ空間内で行動をともにしたのかを知ることができる。
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の解析結果を、他の携帯端末装置から受信する通信部と、
前記通信部が受信した解析結果と、前記解析部で得られた解析結果とを比較し、比較結果に応じて、比較に用いた解析結果を送信した携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有する。
位置判定システム10は、複数の携帯端末装置12と、携帯端末装置12同士を通信可能に接続する通信システム13と、を有する。通信システム13には、複数の基地局が設けられた公知の通信ネットワークシステムが用いられる。図1に示す実施形態では、携帯端末装置12は、携帯端末装置12A〜12Dを含む。以降の説明では、携帯端末装置12A〜12Dをまとめて説明する場合、携帯端末装置12として説明する。携帯端末装置12は、他の携帯端末装置12と音声による通話機能やメールの送受信機能を行う通常モードの他に、携帯端末装置12が他の携帯端末装置12と同一空間内に位置するか否かを判定する位置判定モードを有する。
したがって、位置判定システムは10における携帯端末装置12は、従来のように、位置特定を実行するシステムのための音源を設置することなく、集音した環境音の周波数成分解析を行い、その解析結果を携帯端末装置12同士で交換することにより、どの携帯端末装置12と同じ空間内に位置するかを容易に判定することができる。この判定を、以降において位置判定という。
図2(a),(b)は、携帯端末装置12のブロック構成図、機能ブロック図である。
携帯端末装置12は、通信システム13を通して携帯端末装置12同士で通信を行うことができる。携帯端末装置12は、CPU18、メモリ20、クロック22、マイク24、および通信部26を有する。この他、携帯端末装置12は、加速度センサを用いた移動感知機能、無線LANによる移動感知機能、あるいは、GPSによる測位機能等を有する。
携帯端末装置12は、例えば、通常モードから位置判定モードに切り替わるとき、メモリ20に記憶されているプログラムを呼び出して実行し、図2(b)に示すようなソフトウェアモジュールを構成する。具体的には、携帯端末装置12は、位置側テーモードにおいて、通信部26の他に、音声集音部28、音声解析部30、比較判定部32、および情報管理部34を有する。音声集音部28、音声解析部30、比較判定部32、および情報管理部34の処理は、実質的にCPU18が担う。
音声解析部30は、情報管理部34の指示に従ったタイミングで、音声信号を一定時間間隔毎に切り出して周波数成分解析を行う。周波数成分解析では、音声解析部30は、例えばFFT(Fast Fourier Transformation)を用いてピーク周波数を、大きいピーク値を有するピーク周波数から順番に、複数個、例えば5つ求める。ピーク周波数を求めるのは、ビーク周波数は音声信号の特徴量、すなわち、音声の特徴量であり、他の携帯端末装置12で収集した音声と同一か否かを判定し易いからである。音声の大きさはマイク24の特性や携帯端末装置12をユーザが身につける場所によって異なり、他の携帯端末装置12で収集した音声と同一か否かを判定することは難しい。
本実施形態の音声解析部30は、周波数成分解析を行うが、周波数成分解析に代えて音声内容を音声信号から同定して単語解析を行ってもよい。音声解析部30は、音声解析部30の解析により得られた解析結果に、音声信号に付随した時刻情報を付随させて比較判定部32および通信部26に送る。このような解析は、情報管理部34の指示に従ったタイミングで、すなわち定められた時間間隔毎に、複数のピーク周波数が求められ、ピーク周波数の情報が比較判定部32および通信部26に順次送られる。通信部26に送られた時刻情報が付随した複数のピーク周波数は、通信部26から他の携帯端末装置12に送信される。したがって、他の携帯端末装置12の通信部26も同様に、時刻情報の付随した複数のピーク周波数を送信するので絵、通信部26は他の携帯端末装置12から時刻情報の付随した複数のピーク周波数の情報を受信する。
具体的には、比較判定部32は、同じ時刻における複数のピーク周波数について比較する。すなわち、比較判定部32は、携帯端末装置12において解析して得られた複数のピーク周波数と、他の携帯端末装置12から送信された同じ時刻における複数のピーク周波数とを、比較する。より具体的には、比較判定部32は、定められた時間間隔毎に得られる複数のピーク周波数を設定時間内において順次取得し、複数のピーク周波数が一定の数以上で一致する頻度が設定時間内で閾値以上であるか否かを調べることにより、判定を行う。すなわち、比較判定部32は、時間間隔毎に求められる音声の特徴量である複数のピーク周波数を設定時間内において順次取得し、音声の特徴量(複数のピーク周波数)と、他の携帯端末装置12から得た比較対象の音声の特徴量との間の類似度(一致する程度)を求め、この類似度が類似度比較用の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べる。比較判定部32は、例えば、同じ時刻における5つのピーク周波数同士に関してピーク周波数が一致する数を求め、この数を5で割った値を類似度とする。この類似度が予め定められた類似度比較用の閾値以上となる頻度が、頻度評価用の閾値と比較される。例えば、同じ時刻における5つのピーク周波数のうち3つ以上のピーク周波数が一致する回数(類似度0.6以上の回数)が10回のうち8回以上である場合、比較に用いた周波数ピークの情報を送信した携帯端末装置12と同一空間内に位置する、と判定する。
なお、同じ時刻における複数のピーク周波数は、複数のピーク周波数に付随した時刻情報に基いて取り出される。なお、他の携帯端末装置12が送信する複数のピーク周波数に付随した時刻情報は、他の携帯端末装置12における集音時の時刻であるが、この時刻は、携帯端末装置12間で時刻ずれをしている場合もある。このため、後述する情報管理部34は、この時刻ずれの情報を予め取得しておき、各携帯端末装置12に時刻ずれを見込んで、各携帯端末装置12に集音のタイミングの指示を送信する。
情報管理部34は、位置判定モードに移行した他の携帯端末装置12のうち、どの携帯端末装置が同一の空間内に位置するかに関する情報を記録し、管理する。
なお、本実施形態では、携帯端末装置12A〜12Dが位置判定モードの対象となっているので、1つの携帯端末装置12に対して、他の携帯端末装置から3つの解析結果が順次送信される。このため、携帯端末装置12のそれぞれは、他の携帯端末装置12から送信される3つの解析結果を、自らの解析結果と順次比較し判定を行う。
したがって、以降では、携帯端末装置12間で送受信により交換する音声の解析結果あるいは音声信号の情報を総称して音声信号情報という。
本実施携帯では音声の周波数成分解析を行い、ピーク周波数をもって特徴量としたが、それ以外の音声特徴量を使用してもよい。たとえば周波数パワースペクトル密度を音声特徴量としてもよいし、音声を言語として認識した結果の文字列を特徴量としてもよい。
図3は、本実施形態の位置判定方法のフローを示す図である。
位置判定モードに移行する携帯端末装置12では、まず、音声集音部28が、音源14Aまたは16Aの音声を情報管理部34により定められたタイミングで集音する(ステップS10)。なお、音源14A,16Aの環境音である音声は、一定時間継続的に発しているのが好ましい。
次に、携帯端末装置12は、音声信号情報(音声の解析結果または音声信号)を他の携帯端末装置12と送受信により交換する(ステップS20)。図1(a)に示すように、4つの携帯端末装置12A〜12Dの間で音声信号情報を交換する場合、各携帯端末装置12が他の3つの携帯端末装置から順次音声信号情報を受信する。携帯端末装置12のそれぞれは同じ処理を実行するので、携帯端末装置12が他の携帯端末装置12に音声信号情報を送信したとき、携帯端末装置12は他の携帯端末装置12から、音声信号情報を受信する。
一方、交換する音声信号情報が音声信号である場合、通信部26は、音声集音部28が自ら集音した音声の音声信号を、通信部26を通して他の携帯端末装置12に送信し、通信部26は、他の携帯端末装置12が受信した音声信号を音声解析部30に送る。したがって、この場合、音声解析部30は、自ら集音した音声の音声信号の他に、通信部26が受信した他の携帯端末装置12が集音した音声の音声信号を解析し、解析結果を比較判定部32に送る。
また、音声解析部30は、音信号の周波数成分解析を行うことにより、複数のピーク周波数を前記解析結果として求め、比較判定部32は、複数のピーク周波数について比較するので、精度高く、集音した音声の類似度の判定をすることができる。
図4(a)〜(c)は、位置判定システムにおける複数の携帯端末装置12が位置判定モードに移行する変形例1を説明する図である。
本変形例では、図1(a)に示す形態と同様に、部屋14内に携帯端末装置12A,12B,12Cが位置し、部屋16内に携帯端末装置12Dが位置する状態から、携帯端末装置12Cが、ユーザの部屋16への移動に伴って移動する例である。
この場合、携帯端末装置12Cは、図示されない加速度センサ、無線LANによるアクセスポイントの変化、あるいはGPSを用いた測位等によって移動を感知して、携帯端末装置12Cは位置判定モードに移行するトリガ信号を発生する。これによって、携帯端末装置12Cおよび携帯端末装置12A,12B,12Dは、位置判定モードに移行する。位置判定モードでは、図2に示すフローに従って携帯端末装置12A〜12Dの間で、ステップS10〜S60を繰り返す。これにより、図4(b)に示すように、携帯端末装置12Aの情報管理部34には、1月18日12時0分の情報に加えて、今回の携帯端末装置12Cの移動によって変化した1月18日12時10分の情報が記録される。12時10分から12時18分の間で、携帯端末装置12Cが携帯端末装置12Aと同一の空間内から携帯端末装置12Dと同一の空間内に移動したことが記録されている。
一方、図4(c)に示すように、携帯端末装置12Cの情報管理部34には、1月18日12時0分の状態で同一空間内にいた携帯端末装置12A,12Bは、1月18日12時10分の時点で、違う空間内にいることが記録され、1月18日12時0分の状態で違う空間内にいた携帯端末装置12Dは、1月18日12時10分の時点で、同一の空間内にいることが記録される。
図5において、図2に示すステップと同じステップには同じ番号を付している。従って、同じ番号のステップについては説明を省略する。以下、図4(a)に示すように、携帯端末装置12A〜12Dのグループのうち、携帯端末装置12Cが移動する場合を例に説明をする。
図6は、位置判定システムの変形例2における携帯端末装置12の機能ブロック図である。変形例2では、集音する環境音は不定期的な音であるため、位置判定モードに移行しても、所定の強度以上の音声信号を常に取得することができない場合がある。このような位置判定モードに移行した携帯端末装置12すべてについて、不定期的に発する環境音を集音するために、位置判定モードを継続するのは、消費電力の浪費に繋がり易い。このため複数の携帯端末装置12のうち1つの携帯端末装置が、音声集音部28が集音する音の音声信号を監視端末装置としてモニタリングし、その他の携帯端末装置は待機端末装置として音声集音部28の動作をスリープ状態に設定する。監視端末装置の音声集音部28が、所定の強度以上の音声信号を得たとき、監視端末装置は、待機端末装置に集音を開始するように指示する。
集音スケジューリング部36は、位置判定モードに移行すると、音声集音部28が集音する音の音声信号を常時モニタリングする。音声信号が所定の強度以上になると、他の携帯端末装置12をスリープ状態から集音を開始するように、通信部26を通して指示するとともに音声の集音を開始する。これにより、各携帯端末装置12は、位置判定モードの実行を開始する。
あるいは、監視端末装置に適する条件に優先順位を定めて、監視端末装置が割り当てられることも可能である。例えば、携帯端末装置12は外部電源を使用しているか否かを条件とし、外部電源で起動している携帯端末装置12があれば、この携帯端末装置12を監視端末装置とする。もし、外部電源を使用している携帯端末装置12がなければ、バッテリ残量あるいは推定稼働時間の最も大きい携帯端末装置12が監視端末装置として割り当てられる。なお、監視端末装置における音声信号のモニタリングする監視時間は、監視端末装置の割り当ての際に設定される。
まず、図5に示すステップS2〜S8と同様の処理が行われる。この後、位置判定モードに移行する携帯端末装置12の間で、外部電源の使用、バッテリ残量あるいは推定稼動時間等の各携帯端末装置12の情報が交換される。これにより、監視端末装置として求められる条件を最も満足する装置を監視端末装置として割り当てて決定する(ステップS80)。このような割り当ては、各携帯端末装置12の情報管理部34で行われるが、情報管理部34が保持する上記条件はいずれも同一であるので、各携帯端末装置12において同じ監視端末装置が決定される。
次に、各携帯端末装置12は、自らが監視端末装置に割り当てられたか否かを判定する(ステップS90)。携帯端末装置12は、自らが監視端末装置に割り当てられている場合(ステップS90においてYesの場合)、音声の監視(モニタリング)を行う(ステップS100)。一方、携帯端末装置12は、自らが監視端末装置に割り当てられていない場合(ステップS90においてNoの場合)、位置判定モードの実行をスリープ状態にする(ステップS110)。
図9は、変形例3の位置判定システム10を説明する図である。
変形例3では、通信システム13にサーバ40が接続されている。変形例3では、各携帯端末装置12が解析結果の比較判定を行わない。その代わり、通信システム13を介して接続されたサーバ40が、携帯端末装置12から送信された音声の解析結果を用いて比較判定を行う。
このように、図2(b)に示す携帯端末装置12の比較判定部の機能をサーバ40に移して、各携帯端末装置12の位置判定の判定結果を一括して管理することができる。
変形例4は、変形例3におけるサーバ40が、携帯端末装置12が有する音声解析部30の代わりに音声解析部43を備えた、位置判定システムである。したがって、変形例4も、図9に示す位置判定システムである。図11(a),(b)は、変形例4の位置判定システムに用いる携帯端末装置12とサーバ40の機能ブロック図である。
携帯端末装置12は、図2(b)に示す携帯端末装置12と同様に、通信部26、音声集音部28および情報管理部34を有する。通信部26、音声集音部28および情報管理部34の機能は、図2(b)に示す通信部26、音声集音部28および情報管理部34と同様であるので、その機能の説明は省略する。通信部26は、集音した音声の音声信号をサーバ40に送信する。
このように、変形例4においても、変形例3と同様に、図2(b)に示す携帯端末装置12の比較判定部の機能をサーバ40に移して、携帯端末装置12の位置判定の判定結果を一括して管理することができる。
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の解析結果を、他の携帯端末装置から受信する通信部と、
前記通信部が受信した解析結果と、前記解析部で得られた解析結果とを比較し、比較結果に応じて、比較に用いた解析結果を送信した携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を他の携帯端末装置に送信するとともに、他の携帯端末装置から音信号を受信する通信部と、
前記集音部で集音した音の音信号および前記通信部で受信した音信号を解析する解析部と、
前記解析部で解析した両方の解析結果を比較し、比較結果に応じて、音信号を送信した他の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
前記解析部は、定められた時間間隔毎に音声解析を行って、前記解析結果として音声の特徴量を前記時間間隔毎に求め、前記比較判定部は、同じ時刻における音声の特徴量について比較する、付記1または2に記載の携帯端末装置の位置判定システム。
前記比較判定部は、前記時間間隔毎に求められる音声の特徴量を設定時間内において順次取得し、前記音声の特徴量と、比較する音声の特徴量との間の類似度が類似度比較用の閾値以上となる頻度が、前記設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、前記判定を行う、付記3に記載の携帯端末装置の位置判定システム。
前記携帯端末装置それぞれの前記通信部は、他の携帯端末装置に対して、現在示す時刻情報を送信するとともに、他の携帯端末装置が示す時刻情報を受信することにより、他の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記携帯端末装置それぞれの前記集音部は、前記時刻ずれに基いて、お互いに同じ時刻における音を集音する、付記1〜4のいずれか1項に記載の携帯端末装置の位置判定システム。
前記携帯端末装置の前記解析部は、前記解析部に送られた音信号の周波数成分解析を行うことにより、複数のピーク周波数を前記解析結果として求め、前記比較判定部は、前記複数のピーク周波数について比較する、付記1〜5のいずれか1項に記載の携帯端末装置の位置判定システム。
前記複数の携帯端末装置のうち、いずれか1つの装置が、監視端末装置として前記集音部が集音する音の音声信号のモニタリングをし、その他の携帯端末装置は待機端末装置として前記集音部の動作をスリープ状態に設定し、
前記監視端末装置の前記集音部が、所定の強度以上の音信号を得たとき、前記監視端末装置は、前記待機端末装置に集音を開始するように指示する、付記1〜6のいずれか1項に記載の携帯端末装置の位置判定システム。
前記監視端末装置は、携帯端末装置の外部電源の使用の有無、携帯端末装置のバッテリ残量、推定稼働時間およびマイク利用状況の有無の情報のうち、少なくともいずれか1つを用いて、前記複数の携帯端末装置の中から定められる、付記7に記載の携帯端末装置の位置判定システム。
通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集音した音声の解析結果を前記通信先の携帯端末装置から受信する通信部と、
前記通信部が受信した解析結果と、前記解析部で得られた解析結果とを比較し、比較結果に応じて、前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置。
通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集周した音の音信号を、前記通信先の携帯端末装置から受信する通信部と、
前記集音部で集音した音の音声信号および前記通信部で受信した音信号を解析する音声解析部と、
前記解析部で解析した両方の解析結果を比較し、比較結果に応じて、音信号を送信した前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置。
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定方法であって、
複数の携帯端末装置のそれぞれが、
集音して音信号を取得し、
取得した前記音信号を解析し、
前記音信号の解析で得られた解析結果を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の音信号の解析結果を、他の携帯端末装置から受信し、
前記受信した解析結果と、前記集音した音の音信号の解析で得られた解析結果とを比較し、比較結果に応じて、比較した解析結果を送信した携帯端末装置と同一空間内に位置すると判定を行う、ことを特徴とする携帯端末装置の位置判定方法。
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定方法であって、
複数の携帯端末装置のそれぞれが、
集音して音信号を取得し、
取得した前記音信号を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の音信号を受信し、
前記集音した音の音信号および他の携帯端末装置から受信した音信号を解析し、
解析した両方の音信号の解析結果を比較し、比較結果に応じて、音信号を送信した他の携帯端末装置と同一空間内に位置するか否かの判定を行う、ことを特徴とする携帯端末装置の位置判定方法。
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
前記位置判定システムは、複数の携帯端末装置とサーバを有し、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を前記サーバに送信する通信部と、を有し、
前記サーバは、
前記複数の携帯端末装置と通信を行う通信部と、
前記通信部が受信した複数の携帯端末装置それぞれの解析結果をお互いに比較し、比較結果に応じて、比較した解析結果を送信した携帯端末装置同士が同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
前記位置判定システムは、複数の携帯端末装置とサーバを有し、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
取得した前記音信号を前記サーバに送信する通信部と、を有し、
前記サーバは、
前記複数の携帯端末装置と通信を行う通信部と、
前記通信部が受信した複数の携帯端末装置それぞれからの音信号を解析する解析部と、
前記音声解析部で得られた複数の携帯端末装置それぞれから送信された音信号の解析結果をお互いに比較し、比較結果に応じて、比較した解析結果を送信した携帯端末装置同士が同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
12,12A,12B,12C,12D 携帯端末装置
13 通信システム
14,16 部屋
14A,16A 音源
18,42 CPU
20,44 メモリ
22 クロック
24 マイク
26,45 通信部
28 音声集音部
30,43 音声解析部
32,44 比較判定部
34,46 情報管理部
36 集音スケジューリング部
40 サーバ
Claims (6)
- 複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
複数の携帯端末装置のそれぞれは、
定められた時間間隔毎に集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める解析部と、
前記解析部で得られた複数のピーク周波数の情報を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の複数のピーク周波数の情報を、他の携帯端末装置から受信する通信部と、
前記通信部が受信した複数のピーク周波数の情報と、前記解析部で得られた複数のピーク周波数の情報とを順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、比較に用いた複数のピーク周波数の情報を送信した携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有し、
前記携帯端末装置それぞれの前記通信部は、他の携帯端末装置に対して、現在示す時刻情報を送信するとともに、他の携帯端末装置が示す時刻情報を受信することにより、他の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記携帯端末装置それぞれの前記集音部は、前記時刻ずれに基いて、お互いに同じ時刻における音を集音することを特徴とする携帯端末装置の位置判定システム。 - 複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
複数の携帯端末装置のそれぞれは、
定められた時間間隔毎に集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を他の携帯端末装置に送信するとともに、他の携帯端末装置から音信号を受信する通信部と、
前記集音部で集音した音の音信号および前記通信部で受信した音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める解析部と、
前記解析部で解析した両方の複数のピーク周波数の情報を順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、音信号を送信した他の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有し、
前記携帯端末装置それぞれの前記通信部は、他の携帯端末装置に対して、現在示す時刻情報を送信するとともに、他の携帯端末装置が示す時刻情報を受信することにより、他の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記携帯端末装置それぞれの前記集音部は、前記時刻ずれに基いて、お互いに同じ時刻における音を集音することを特徴とする携帯端末装置の位置判定システム。 - 前記複数の携帯端末装置のうち、いずれか1つの装置が、監視端末装置として前記集音部が集音する音の音声信号のモニタリングをし、その他の携帯端末装置は待機端末装置として前記集音部の動作をスリープ状態に設定し、
前記監視端末装置の前記集音部が、所定の強度以上の音信号を得たとき、前記監視端末装置は、前記待機端末装置に集音を開始するように指示する、請求項1又は2に記載の携帯端末装置の位置判定システム。 - 前記監視端末装置は、携帯端末装置の外部電源の使用の有無、携帯端末装置のバッテリ残量、推定稼働時間およびマイク利用状況の有無の情報のうち、少なくともいずれか1つを用いて、前記複数の携帯端末装置の中から定められる、請求項3に記載の携帯端末装置の位置判定システム。
- 通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
定められた時間間隔毎に集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める解析部と、
前記解析部で得られた複数のピーク周波数の情報を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集音した音声の複数のピーク周波数の情報を前記通信先の携帯端末装置から受信する通信部と、
前記通信部が受信した複数のピーク周波数の情報と、前記解析部で得られた複数のピーク周波数の情報とを順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有し、
前記通信部は、前記通信先の携帯端末装置に対して、現在示す時刻情報を送信するとともに、前記通信先の携帯端末装置が示す時刻情報を受信することにより、前記通信先の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記集音部は、前記時刻ずれに基いて、前記通信先の携帯端末装置と同じ時刻における音を集音することを特徴とする携帯端末装置。 - 通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
定められた時間間隔毎に集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集周した音の音信号を、前記通信先の携帯端末装置から受信する通信部と、
前記集音部で集音した音の音声信号および前記通信部で受信した音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める音声解析部と、
前記解析部で解析した両方の複数のピーク周波数の情報を順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、音信号を送信した前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を
有し、
前記通信部は、前記通信先の携帯端末装置に対して、現在示す時刻情報を送信するとともに、前記通信先の携帯端末装置が示す時刻情報を受信することにより、前記通信先の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記集音部は、前記時刻ずれに基いて、前記通信先の携帯端末装置と同じ時刻における音を集音することを特徴とする携帯端末装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011078564A JP5699749B2 (ja) | 2011-03-31 | 2011-03-31 | 携帯端末装置の位置判定システムおよび携帯端末装置 |
US13/429,561 US9026437B2 (en) | 2011-03-31 | 2012-03-26 | Location determination system and mobile terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011078564A JP5699749B2 (ja) | 2011-03-31 | 2011-03-31 | 携帯端末装置の位置判定システムおよび携帯端末装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012211874A JP2012211874A (ja) | 2012-11-01 |
JP5699749B2 true JP5699749B2 (ja) | 2015-04-15 |
Family
ID=46928425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011078564A Expired - Fee Related JP5699749B2 (ja) | 2011-03-31 | 2011-03-31 | 携帯端末装置の位置判定システムおよび携帯端末装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9026437B2 (ja) |
JP (1) | JP5699749B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002370B2 (en) * | 2012-06-20 | 2015-04-07 | Palo Alto Research Center Incorporated | Method and system for dynamic meeting detection using multiple physical features from mobile devices |
JP6062251B2 (ja) * | 2013-01-11 | 2017-01-18 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、携帯端末、およびサーバ |
JP6580362B2 (ja) * | 2014-04-24 | 2019-09-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 会議決定方法およびサーバ装置 |
US9756438B2 (en) * | 2014-06-24 | 2017-09-05 | Microsoft Technology Licensing, Llc | Proximity discovery using audio signals |
US9641576B2 (en) * | 2014-07-11 | 2017-05-02 | Amazon Technologies, Inc. | Dynamic locale based aggregation of full duplex media streams |
US9736782B2 (en) * | 2015-04-13 | 2017-08-15 | Sony Corporation | Mobile device environment detection using an audio sensor and a reference signal |
EP3093846A1 (en) * | 2015-05-12 | 2016-11-16 | Nxp B.V. | Accoustic context recognition using local binary pattern method and apparatus |
JP6985714B2 (ja) * | 2017-04-21 | 2021-12-22 | 株式会社マトリックス | 移動検知システム |
KR102125742B1 (ko) * | 2018-11-28 | 2020-06-23 | 고려대학교 산학협력단 | 기본 음성 주파수 대역 아래의 저주파 대역을 이용한 단말 간의 공존 판단 서버 및 그 판단 방법 |
JP6689421B1 (ja) * | 2019-01-25 | 2020-04-28 | 株式会社インタラクティブソリューションズ | 音声解析システム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01187478A (ja) | 1988-01-21 | 1989-07-26 | Nec Corp | 音の発生移動表示方法と音の発生移動監視装置並びにその収音部 |
US6130949A (en) * | 1996-09-18 | 2000-10-10 | Nippon Telegraph And Telephone Corporation | Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor |
US20030182113A1 (en) * | 1999-11-22 | 2003-09-25 | Xuedong Huang | Distributed speech recognition for mobile communication devices |
US7747338B2 (en) * | 2006-08-18 | 2010-06-29 | Xerox Corporation | Audio system employing multiple mobile devices in concert |
JP2004328308A (ja) | 2003-04-24 | 2004-11-18 | Nippon Telegr & Teleph Corp <Ntt> | ユビキタスマッチングシステム及び方法 |
US7035757B2 (en) * | 2003-05-09 | 2006-04-25 | Intel Corporation | Three-dimensional position calibration of audio sensors and actuators on a distributed computing platform |
US7593740B2 (en) * | 2004-05-12 | 2009-09-22 | Google, Inc. | Location-based social software for mobile devices |
JP2006058164A (ja) * | 2004-08-20 | 2006-03-02 | Mitsubishi Electric Corp | 超音波式位置情報送信装置、超音波式位置情報受信装置および超音波式位置情報検出装置 |
US8699944B2 (en) * | 2005-06-10 | 2014-04-15 | The Invention Science Fund I, Llc | Device pairing using device generated sound |
JP4835911B2 (ja) * | 2005-07-28 | 2011-12-14 | 日本電気株式会社 | 音声入力装置、方法、プログラム及び無線通信装置 |
US20070137462A1 (en) * | 2005-12-16 | 2007-06-21 | Motorola, Inc. | Wireless communications device with audio-visual effect generator |
JP4672611B2 (ja) * | 2006-07-28 | 2011-04-20 | 株式会社神戸製鋼所 | 音源分離装置、音源分離方法及び音源分離プログラム |
JP4364251B2 (ja) * | 2007-03-28 | 2009-11-11 | 株式会社東芝 | 対話を検出する装置、方法およびプログラム |
JP2008271465A (ja) * | 2007-04-25 | 2008-11-06 | Sanyo Electric Co Ltd | 携帯通信端末、位置特定システム、位置特定サーバ |
US20100067708A1 (en) * | 2008-09-16 | 2010-03-18 | Sony Ericsson Mobile Communications Ab | System and method for automatically updating presence information based on sound detection |
JP2010230380A (ja) * | 2009-03-26 | 2010-10-14 | Ntt Docomo Inc | 位置推定装置及び位置推定方法 |
CN102713664B (zh) * | 2010-01-12 | 2016-03-16 | 诺基亚技术有限公司 | 协作式位置/方位估计 |
US8626498B2 (en) * | 2010-02-24 | 2014-01-07 | Qualcomm Incorporated | Voice activity detection based on plural voice activity detectors |
US8831761B2 (en) * | 2010-06-02 | 2014-09-09 | Sony Corporation | Method for determining a processed audio signal and a handheld device |
US8447329B2 (en) * | 2011-02-08 | 2013-05-21 | Longsand Limited | Method for spatially-accurate location of a device using audio-visual information |
US8830792B2 (en) * | 2011-04-18 | 2014-09-09 | Microsoft Corporation | Mobile device localization using audio signals |
US9313336B2 (en) * | 2011-07-21 | 2016-04-12 | Nuance Communications, Inc. | Systems and methods for processing audio signals captured using microphones of multiple devices |
US9082413B2 (en) * | 2012-11-02 | 2015-07-14 | International Business Machines Corporation | Electronic transaction authentication based on sound proximity |
-
2011
- 2011-03-31 JP JP2011078564A patent/JP5699749B2/ja not_active Expired - Fee Related
-
2012
- 2012-03-26 US US13/429,561 patent/US9026437B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20120253819A1 (en) | 2012-10-04 |
US9026437B2 (en) | 2015-05-05 |
JP2012211874A (ja) | 2012-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5699749B2 (ja) | 携帯端末装置の位置判定システムおよび携帯端末装置 | |
KR101599169B1 (ko) | 관련 장소들 사이의 관계들 이용 | |
KR101795765B1 (ko) | 층간 소음 및 실내 소음의 자가 인지 모니터링시스템 | |
CN105699936B (zh) | 一种智能家庭室内定位方法 | |
CN101569093A (zh) | 响应于不同的噪声环境经由用户优选的音频设置来动态地获悉用户的响应 | |
CN109151697B (zh) | 麦克风堵孔检测方法及相关产品 | |
Chen et al. | Hearing is believing: Detecting wireless microphone emulation attacks in white space | |
KR101983659B1 (ko) | 무선 양이 청각 기기의 저전력 운용 방법 및 장치 | |
US10257621B2 (en) | Method of operating a hearing system, and hearing system | |
US10863287B2 (en) | Scene and state augmented signal shaping and separation | |
JP2017192091A (ja) | 音声制御機能付きiotシステム及びその情報処理方法 | |
JP2013050331A (ja) | 位置推定装置、位置推定方法、プログラムおよび位置推定システム | |
KR20200134609A (ko) | IoT 센서 기반 시설의 진동 분석 모니터링 시스템 및 그 방법 | |
US9733714B2 (en) | Computing system with command-sense mechanism and method of operation thereof | |
WO2013117964A1 (en) | Estimating distances between devices | |
JP2007172423A (ja) | 発話状態検出装置および方法 | |
JP2018142755A (ja) | 位置情報管理システム、出力装置、音波の出力制御方法、及びプログラム | |
JP5267994B2 (ja) | 音データラベル付与装置、音データラベル付与方法、及びプログラム | |
JPWO2017221968A1 (ja) | 処理装置、信号処理システム、処理方法、および記憶媒体 | |
KR101312365B1 (ko) | 모바일 단말 모드 자동 전환 제어 장치 및 방법 | |
Wang et al. | Ambient rendezvous: Energy-efficient neighbor discovery via acoustic sensing | |
EP2891957B1 (en) | Computing system with command-sense mechanism and method of operation thereof | |
Cavalcante et al. | Audio beacon providing location-aware content for low-end mobile devices | |
US9532155B1 (en) | Real time monitoring of acoustic environments using ultrasound | |
JP2007274360A (ja) | 情報収集装置の探知システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5699749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |