JP5699749B2 - 携帯端末装置の位置判定システムおよび携帯端末装置 - Google Patents

携帯端末装置の位置判定システムおよび携帯端末装置 Download PDF

Info

Publication number
JP5699749B2
JP5699749B2 JP2011078564A JP2011078564A JP5699749B2 JP 5699749 B2 JP5699749 B2 JP 5699749B2 JP 2011078564 A JP2011078564 A JP 2011078564A JP 2011078564 A JP2011078564 A JP 2011078564A JP 5699749 B2 JP5699749 B2 JP 5699749B2
Authority
JP
Japan
Prior art keywords
mobile terminal
terminal device
sound
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011078564A
Other languages
English (en)
Other versions
JP2012211874A (ja
Inventor
長谷川 英司
英司 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011078564A priority Critical patent/JP5699749B2/ja
Priority to US13/429,561 priority patent/US9026437B2/en
Publication of JP2012211874A publication Critical patent/JP2012211874A/ja
Application granted granted Critical
Publication of JP5699749B2 publication Critical patent/JP5699749B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/028Voice signal separating using properties of sound source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/0308Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location

Description

本発明は、複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムおよび通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置に関する。
現在、大多数の人が所有する携帯端末装置やカーナビゲーション装置は、GPS(Global Positioning System)による測位機能をもつものが多い。これらの装置は、装置の現在の位置を把握し、把握結果を利用者に提示し、あるいは、把握結果を種々の情報と対応付けることを行っている。
一方、携帯端末装置が他のどの携帯端末装置と同じ部屋、すなわち同じ空間内に位置しているかの情報を保持することにより、例えば、同じ空間内にいる特定の人と情報を交換することができ、さらに、携帯端末装置が、同じ空間内に位置した他の携帯端末装置のID情報等を行動ログとして記録しておくことができ、後で携帯端末装置のID情報から誰と同じ空間内で行動をともにしたのかを知ることができる。
しかし、GPSによる測位機能では、屋内で位置を判定することは難しい。また、無線LANやBluetooth等の無線を利用して、近い位置にある携帯端末装置のID情報を取得することができる。しかし、この場合、無線帯域の電波は部屋を仕切る壁を回り込みあるいは壁や窓を透過するため、壁で区切られた隣接する部屋間で電波の信号強度に差が生じにくく、携帯端末装置が同じ空間内に位置するか否かを判定することは難しい。
これに対して、GPS衛星からの電波が届かない地下、建物内等において、簡易なシステムで所在位置を特定することができる装置が知られている。当該装置は、具体的には、設置場所あるいはその周辺に関する位置情報を送信する情報提供装置と、この情報提供装置から前記位置情報を受信する受信部と、この受信部が受信した前記位置情報を超音波で送信する超音波送信部とを備える。すなわち、当該装置は、地下、建物内等において、超音波を用いた位置情報の通信を行うことにより、所在位置を特定することができる。
また、屋内環境において位置を簡易に特定する携帯端末装置、位置特定システム、および位置特定サーバが知られている。具体的には、携帯端末装置は、音源が設置される位置の情報と、この音源から出力される音声の内容の情報とを対応付けて記憶する記憶部と、音源からの音声信号を取得する取得部と、取得した音声信号の音声の内容をもとに、前記記憶部を参照することによって、前記音声信号を出力した音源と、その音源の位置とを特定する特定部と、この特定部により特定された位置を通知する通知部とを備える。すなわち、携帯端末装置は、外部の音源からの音声信号を取得して、現在の携帯端末装置の位置を特定する。
特開2006−58164号公報 特開2008−271465号公報
上述の超音波を用い、また外部の音源からの音声信号を用いるシステムでは、屋内の壁を超音波や音源からの音声信号は透過しにくく、窓や壁を回り込んで部屋に進入することは少ないので、屋内の壁で間仕切りされた空間毎に区別することは可能である。しかし、これらのシステムでは、超音波の音源や音声信号を発する音源装置を各部屋に設置することになるため、設置コストがかかり、システムも複雑になる。音源装置による超音波や音声信号の発信に代えて、壁を透過にしにくく、窓や壁を回り込んで部屋に進入することが殆どない可視光を発信させることにより、携帯端末装置の位置を特定することができるが、この場合においても、可視光を発信する光源装置を設置することになるため、設置コストがかかり、システムも複雑になる。
そこで、本発明は、従来の技術の問題を解決するために、コストをかけることなく、簡易な方式を用いて、携帯端末装置同士が、部屋等の同一空間内に位置するか否かを判定することができる携帯端末装置の位置判定システムおよび携帯端末装置を提供することを目的とする。
本発明の一態様は、複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムである。当該システムの複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の解析結果を、他の携帯端末装置から受信する通信部と、
前記通信部が受信した解析結果と、前記解析部で得られた解析結果とを比較し、比較結果に応じて、比較に用いた解析結果を送信した携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有する。
上述の態様の携帯端末装置の位置判定システムおよび携帯端末装置は、コストをかけることなく、簡易な方式を用いて、携帯端末装置同士が、部屋等の同一空間内に位置するか否かを判定することができる。
本実施形態の位置判定システムを説明する図である。 (a),(b)は、図1に示す携帯端末装置のブロック構成図および機能ブロック図である。 本実施形態の位置判定方法のフローを示す図である。 (a)〜(c)は、位置判定システムにおける複数の携帯端末装置が位置判定モードに移行する変形例1を説明する図である。 図4(a)に示す変形例1における位置判定方法のフローを示す図である。 本実施形態の変形例2における携帯端末装置12の機能ブロック図である。 本実施形態の変形例2におけるフローの一部分を示す図である。 本実施形態の変形例2におけるフローの一部分を示す図である。 本実施形態の変形例3における位置判定システムを説明する図である。 (a)は、変形例3における携帯端末装置の位置判定モードにおける機能ブロック図であり、(b)は、変形例3におけるサーバの位置判定モードにおける機能ブロック図である。 (a),(b)は、変形例4における携帯端末装置とサーバの機能ブロック図である。
以下、本発明の携帯端末装置の位置判定システムおよび携帯端末装置を実施形態に基づいて説明する。図1は、本実施形態の位置判定システム10を説明する図である。
(位置判定システム)
位置判定システム10は、複数の携帯端末装置12と、携帯端末装置12同士を通信可能に接続する通信システム13と、を有する。通信システム13には、複数の基地局が設けられた公知の通信ネットワークシステムが用いられる。図1に示す実施形態では、携帯端末装置12は、携帯端末装置12A〜12Dを含む。以降の説明では、携帯端末装置12A〜12Dをまとめて説明する場合、携帯端末装置12として説明する。携帯端末装置12は、他の携帯端末装置12と音声による通話機能やメールの送受信機能を行う通常モードの他に、携帯端末装置12が他の携帯端末装置12と同一空間内に位置するか否かを判定する位置判定モードを有する。
図1に示す例では、携帯端末装置12A〜12Dのうち、携帯端末装置12A〜12Cは部屋14に位置し、携帯端末装置12Dは部屋16に位置する。部屋14と部屋16は、壁によって間仕切りされて隔てられ、音が伝達され難い。部屋14,16には、音源14A,16Aがあるが、この音源14A,16Aは、位置検出のために設置された音源ではなく、例えば、部屋14,16に集まった聴衆に対して話をする話者等である。すなわち、部屋14,16における環境音源が音源14A,16Aとして表されている。なお、環境音は、携帯端末装置12A〜12Dが保持するユーザの発する音声であってもよい。本実施形態の集音する対象は音声であるが、音声でなくてもよい。音源14A,16Aの音は、例えば、ある目的のために部屋14,16に集まった聴衆に聞かせる音、例えば音楽等を発する音源装置であてもよい。以降では、音源14A,16Aの音は音声であるとして説明をする。
携帯端末装置12A〜12Dのそれぞれは、音源14Aあるいは音源14Bが発する音声を集音して音声信号を取得し、取得した音声信号の特徴量の解析、例えば周波数成分解析を行う。さらに、携帯端末装置12A〜12Dのそれぞれは、周波数成分解析によって得られた解析結果、すなわち、音声の特徴量を携帯端末装置12A〜12D間でお互いに交換し、解析結果の類似度を求め、この類似度が高い場合、各携帯端末装置12は、解析結果を交換した他の携帯端末装置12と同じ空間内、すなわち部屋14または部屋16内に位置していると判定する。
したがって、位置判定システムは10における携帯端末装置12は、従来のように、位置特定を実行するシステムのための音源を設置することなく、集音した環境音の周波数成分解析を行い、その解析結果を携帯端末装置12同士で交換することにより、どの携帯端末装置12と同じ空間内に位置するかを容易に判定することができる。この判定を、以降において位置判定という。
(携帯端末装置)
図2(a),(b)は、携帯端末装置12のブロック構成図、機能ブロック図である。
携帯端末装置12は、通信システム13を通して携帯端末装置12同士で通信を行うことができる。携帯端末装置12は、CPU18、メモリ20、クロック22、マイク24、および通信部26を有する。この他、携帯端末装置12は、加速度センサを用いた移動感知機能、無線LANによる移動感知機能、あるいは、GPSによる測位機能等を有する。
CPU18は、携帯端末装置12の各部分の動作を制御し、管理する。メモリ20は、携帯端末装置12の各部分で動作して得られた処理結果を記憶するとともに、後述する位置検出方法を実施するプログラムを記録している。クロック22は、現在の時刻情報をCPU18の指示により出力する。通信部26は、通信システム13を通して、他の携帯端末装置12の通信部26と通信することができる。マイク24は、ユーザが発する音声を収集する他、人が発する音声を収集して、音信号を取得する。
携帯端末装置12は、例えば、通常モードから位置判定モードに切り替わるとき、メモリ20に記憶されているプログラムを呼び出して実行し、図2(b)に示すようなソフトウェアモジュールを構成する。具体的には、携帯端末装置12は、位置側テーモードにおいて、通信部26の他に、音声集音部28、音声解析部30、比較判定部32、および情報管理部34を有する。音声集音部28、音声解析部30、比較判定部32、および情報管理部34の処理は、実質的にCPU18が担う。
音声集音部28は、情報管理部34の指示に従ったタイミングで、部屋14,16内の音声を、マイク24を通して集音し音声信号を取得する。音声集音部28は、取得した音声信号に、クロック22の示す集音時の時刻情報を付随させる。音声の集音は、定められた時間間隔毎に行われ、順次音声信号が音声解析部30に送られる。
音声解析部30は、情報管理部34の指示に従ったタイミングで、音声信号を一定時間間隔毎に切り出して周波数成分解析を行う。周波数成分解析では、音声解析部30は、例えばFFT(Fast Fourier Transformation)を用いてピーク周波数を、大きいピーク値を有するピーク周波数から順番に、複数個、例えば5つ求める。ピーク周波数を求めるのは、ビーク周波数は音声信号の特徴量、すなわち、音声の特徴量であり、他の携帯端末装置12で収集した音声と同一か否かを判定し易いからである。音声の大きさはマイク24の特性や携帯端末装置12をユーザが身につける場所によって異なり、他の携帯端末装置12で収集した音声と同一か否かを判定することは難しい。
本実施形態の音声解析部30は、周波数成分解析を行うが、周波数成分解析に代えて音声内容を音声信号から同定して単語解析を行ってもよい。音声解析部30は、音声解析部30の解析により得られた解析結果に、音声信号に付随した時刻情報を付随させて比較判定部32および通信部26に送る。このような解析は、情報管理部34の指示に従ったタイミングで、すなわち定められた時間間隔毎に、複数のピーク周波数が求められ、ピーク周波数の情報が比較判定部32および通信部26に順次送られる。通信部26に送られた時刻情報が付随した複数のピーク周波数は、通信部26から他の携帯端末装置12に送信される。したがって、他の携帯端末装置12の通信部26も同様に、時刻情報の付随した複数のピーク周波数を送信するので絵、通信部26は他の携帯端末装置12から時刻情報の付随した複数のピーク周波数の情報を受信する。
比較判定部32は、音声解析部30から送られた時刻情報が付随した複数のピーク周波数の情報を、通信部26で受信した他の携帯端末装置12における時刻情報が付随した複数のピーク周波数と比較し、比較結果に応じて、比較に用いた周波数ピークの情報を送信した携帯端末装置12と同一空間内に位置するか否かの判定を行う。比較判定部32は、上記比較をするとき、同じ時刻における複数のピーク周波数を比較に用いる。
具体的には、比較判定部32は、同じ時刻における複数のピーク周波数について比較する。すなわち、比較判定部32は、携帯端末装置12において解析して得られた複数のピーク周波数と、他の携帯端末装置12から送信された同じ時刻における複数のピーク周波数とを、比較する。より具体的には、比較判定部32は、定められた時間間隔毎に得られる複数のピーク周波数を設定時間内において順次取得し、複数のピーク周波数が一定の数以上で一致する頻度が設定時間内で閾値以上であるか否かを調べることにより、判定を行う。すなわち、比較判定部32は、時間間隔毎に求められる音声の特徴量である複数のピーク周波数を設定時間内において順次取得し、音声の特徴量(複数のピーク周波数)と、他の携帯端末装置12から得た比較対象の音声の特徴量との間の類似度(一致する程度)を求め、この類似度が類似度比較用の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べる。比較判定部32は、例えば、同じ時刻における5つのピーク周波数同士に関してピーク周波数が一致する数を求め、この数を5で割った値を類似度とする。この類似度が予め定められた類似度比較用の閾値以上となる頻度が、頻度評価用の閾値と比較される。例えば、同じ時刻における5つのピーク周波数のうち3つ以上のピーク周波数が一致する回数(類似度0.6以上の回数)が10回のうち8回以上である場合、比較に用いた周波数ピークの情報を送信した携帯端末装置12と同一空間内に位置する、と判定する。
なお、同じ時刻における複数のピーク周波数は、複数のピーク周波数に付随した時刻情報に基いて取り出される。なお、他の携帯端末装置12が送信する複数のピーク周波数に付随した時刻情報は、他の携帯端末装置12における集音時の時刻であるが、この時刻は、携帯端末装置12間で時刻ずれをしている場合もある。このため、後述する情報管理部34は、この時刻ずれの情報を予め取得しておき、各携帯端末装置12に時刻ずれを見込んで、各携帯端末装置12に集音のタイミングの指示を送信する。
情報管理部34は、位置判定モードに移行したとき、音声の集音、音声解析、及び解析結果の送信の前に、位置判定モードに移行する携帯端末装置12間で、各携帯端末装置12の識別情報と各携帯端末装置12が現在示す時刻情報を交換するために、識別情報と時刻情報の送受信を行う。情報管理部34は、他の携帯端末装置12の識別情報を取得することにより、今から位置判定を行う対象の携帯端末装置12の情報を取得し、管理する。また、他の携帯端末装置12の時刻情報を取得することにより、今から位置判定を行う対象の各携帯端末装置12の時刻ずれを設定する。具体的には、情報管理部34は、他の携帯端末装置12から送信された時刻情報と自らが示す現在の時刻情報との差分を求め、この差分を時刻ずれとして定める。この時刻ずれは、他の携帯端末装置12に音声の集音のタイミングを指示するために用いられる。すなわち、情報管理部34は、位置判定モードに移行すると、自らの装置において、所定のタイミングで集音、音声解析および解析結果の送信を行うように各部分を制御する。また、他の携帯端末装置12の音声の集音のタイミングを、携帯端末装置12が音声を集音するタイミングに合わせるように、携帯端末装置12は他の携帯端末装置12に集音のタイミングを指示をする。
情報管理部34は、位置判定モードに移行した他の携帯端末装置12のうち、どの携帯端末装置が同一の空間内に位置するかに関する情報を記録し、管理する。
なお、本実施形態では、携帯端末装置12A〜12Dが位置判定モードの対象となっているので、1つの携帯端末装置12に対して、他の携帯端末装置から3つの解析結果が順次送信される。このため、携帯端末装置12のそれぞれは、他の携帯端末装置12から送信される3つの解析結果を、自らの解析結果と順次比較し判定を行う。
本実施形態では、携帯端末装置12のそれぞれが集音した音声を音声解析部30で解析して得られた解析結果の送受信が行われるが、解析結果を携帯端末装置12間における送受信の対象とせず、解析前の音声信号を送受信の対象としてよい。この場合、通信部26で受信した音声信号には、他の携帯端末装置12の集音時の時刻情報が付随し、音声解析部30は、この音声信号を、音声集音部28において自ら集音した音声の音声信号とともに解析し、比較判定部32が、2つの音声信号の解析結果を比較し判定を行う。
したがって、以降では、携帯端末装置12間で送受信により交換する音声の解析結果あるいは音声信号の情報を総称して音声信号情報という。
本実施携帯では音声の周波数成分解析を行い、ピーク周波数をもって特徴量としたが、それ以外の音声特徴量を使用してもよい。たとえば周波数パワースペクトル密度を音声特徴量としてもよいし、音声を言語として認識した結果の文字列を特徴量としてもよい。
(位置判定方法)
図3は、本実施形態の位置判定方法のフローを示す図である。
位置判定モードに移行する携帯端末装置12では、まず、音声集音部28が、音源14Aまたは16Aの音声を情報管理部34により定められたタイミングで集音する(ステップS10)。なお、音源14A,16Aの環境音である音声は、一定時間継続的に発しているのが好ましい。
次に、携帯端末装置12は、音声信号情報(音声の解析結果または音声信号)を他の携帯端末装置12と送受信により交換する(ステップS20)。図1(a)に示すように、4つの携帯端末装置12A〜12Dの間で音声信号情報を交換する場合、各携帯端末装置12が他の3つの携帯端末装置から順次音声信号情報を受信する。携帯端末装置12のそれぞれは同じ処理を実行するので、携帯端末装置12が他の携帯端末装置12に音声信号情報を送信したとき、携帯端末装置12は他の携帯端末装置12から、音声信号情報を受信する。
交換する音声信号情報が音声の解析結果である場合、携帯端末装置12の音声集音部28が自ら集音した音声を音声解析部30は解析し、このときの解析結果を比較判定部32に送る。通信部26は、通信部26が他の携帯端末装置12から受信した音声の解析結果比較判定部32に送る。
一方、交換する音声信号情報が音声信号である場合、通信部26は、音声集音部28が自ら集音した音声の音声信号を、通信部26を通して他の携帯端末装置12に送信し、通信部26は、他の携帯端末装置12が受信した音声信号を音声解析部30に送る。したがって、この場合、音声解析部30は、自ら集音した音声の音声信号の他に、通信部26が受信した他の携帯端末装置12が集音した音声の音声信号を解析し、解析結果を比較判定部32に送る。
次に、比較判定部32は、解析結果の比較を行う(ステップS30)。解析結果は、例えば、周波数成分解析を行って得られた複数のピーク周波数であり、比較判定部32には、集音して順次得られる複数のピーク周波数と、通信部26で順次受信することによって得られる複数のピーク周波数が送られる。このため、比較判定部32は、比較する複数のピーク周波数が一定の数以上において一致する頻度が設定時間内で閾値以上であるか否かを調べることにより、複数のピーク周波数を送信した他の携帯端末装置12が同一空間内に位置するか否かの判定を行う。音声は、音量は異なってもあるいは部屋内の音響効果が生じても、同じ空間で集音すればピーク周波数は大きく変化しない。このため、ピーク周波数の一致の度合いを音声の類似度として判定に用いることができる。
比較判定部32は、上記類似度の有無、すなわち、比較する複数のピーク周波数が一定の数以上において一致する頻度が設定時間内で定められた閾値以上であるか否かを判定する(ステップS40)。判定の結果、類似度有り(ピーク周波数の一致の度合いが高い)と判定した場合(ステップS40においてYesの場合)、携帯端末装置12は、音声信号情報の送信を受けた他の携帯端末装置12と同一の空間内に位置する、すなわち、音源が同一の空間内に位置すると判定する(ステップS50)。判定の結果、類似度は無い(ピーク周波数の一致の度合いが低い)と判定した場合(ステップS40においてNoの場合)、携帯端末装置12は、音声信号情報の送信を受けた他の携帯端末装置12と同一の空間内に位置しない、すなわち、音源が異なる空間内に位置すると判定する(ステップS60)。
このように、携帯端末装置12は、各部屋の環境音である音声の解析結果の比較に応じて、他の携帯端末装置と同一空間内に位置するか否かの判定を行うので、コストをかけることなく、簡易な方式を用いて、携帯端末装置同士が部屋等の同一空間内に位置するか否かを判定することができる。
また、音声解析部30は、音信号の周波数成分解析を行うことにより、複数のピーク周波数を前記解析結果として求め、比較判定部32は、複数のピーク周波数について比較するので、精度高く、集音した音声の類似度の判定をすることができる。
また、音声解析部30は、定められた時間間隔毎に周波数成分解析を行って、複数のピーク周波数を時間間隔毎に求め、比較判定部32は、同じ時刻における複数のピーク周波数について比較する。このため、比較判定部32は、音声の類似度の判定をより正確にすることができる。また、比較判定部32は、時間間隔毎に求められる前記複数のピーク周波数を設定時間内において順次取得し、複数のピーク周波数が一定の数以上において一致する頻度が設定時間内において、閾値以上であるか否かを調べるので、比較判定部32は、音声の類似度の判定をより正確にすることができる。
(位置判定システムの変形例1)
図4(a)〜(c)は、位置判定システムにおける複数の携帯端末装置12が位置判定モードに移行する変形例1を説明する図である。
本変形例では、図1(a)に示す形態と同様に、部屋14内に携帯端末装置12A,12B,12Cが位置し、部屋16内に携帯端末装置12Dが位置する状態から、携帯端末装置12Cが、ユーザの部屋16への移動に伴って移動する例である。
この場合、携帯端末装置12Cは、図示されない加速度センサ、無線LANによるアクセスポイントの変化、あるいはGPSを用いた測位等によって移動を感知して、携帯端末装置12Cは位置判定モードに移行するトリガ信号を発生する。これによって、携帯端末装置12Cおよび携帯端末装置12A,12B,12Dは、位置判定モードに移行する。位置判定モードでは、図2に示すフローに従って携帯端末装置12A〜12Dの間で、ステップS10〜S60を繰り返す。これにより、図4(b)に示すように、携帯端末装置12Aの情報管理部34には、1月18日12時0分の情報に加えて、今回の携帯端末装置12Cの移動によって変化した1月18日12時10分の情報が記録される。12時10分から12時18分の間で、携帯端末装置12Cが携帯端末装置12Aと同一の空間内から携帯端末装置12Dと同一の空間内に移動したことが記録されている。
一方、図4(c)に示すように、携帯端末装置12Cの情報管理部34には、1月18日12時0分の状態で同一空間内にいた携帯端末装置12A,12Bは、1月18日12時10分の時点で、違う空間内にいることが記録され、1月18日12時0分の状態で違う空間内にいた携帯端末装置12Dは、1月18日12時10分の時点で、同一の空間内にいることが記録される。
図5は、携帯端末装置12Cが移動する場合の位置判定方法のフローを示す図である。
図5において、図2に示すステップと同じステップには同じ番号を付している。従って、同じ番号のステップについては説明を省略する。以下、図4(a)に示すように、携帯端末装置12A〜12Dのグループのうち、携帯端末装置12Cが移動する場合を例に説明をする。
まず、携帯端末装置12Cは、携帯端末装置12Cに内蔵する加速度センサ、無線LANを用いた位置検出機能、あるいはGPSを用いた測位機能により、の移動を感知すると、位置判定モードに移行するトリガ信号を情報管理部34は発生する(ステップS2)。このトリガ信号により、情報管理部34は、携帯端末装置12の近接位置(略同じ位置)に位置する他の携帯端末装置12をリストアップする(ステップS4)。情報管理部34は、例えば、無線LANの同じアクセスポイントを持つ携帯端末装置を、あるいはGPSによる位置検出機能を用いて略同じ位置に位置する携帯端末装置を、近接位置に位置する携帯端末装置12として定める。情報管理部34は、具体的には、携帯端末装置12A,12B,12Dをリストアップする。この場合、情報管理部34は、予めグループとして設定登録された多数の携帯端末装置の中から、略同じ位置に位置する携帯端末装置12A,12B,12Dに限定してリストアップしてもよい。
次に、情報管理部34は、リストアップされた携帯端末装置12A,12B,12Dに対してトリガ信号を送信するように通信部26に指示をする。これにより、携帯端末装置12Cは、リストアップされた略同じ位置にいる携帯端末装置(以降、この携帯端末装置を近接候補という)にトリガ信号を送信する(ステップS6)。近接候補は、携帯端末装置12Cからトリガ信号の受信をする(ステップS7)と、近接候補である携帯端末装置12A,12B,12Dと、携帯端末装置12Cは、情報管理部34に記録されている管理情報をお互いに交換する(ステップS8)。管理情報は、例えば、携帯端末装置12のID情報および現在示す時刻情報を含む。ID情報をお互いに交換することにより、携帯端末装置12はお互いに他の携帯端末装置を識別することができる。また、現在の時刻情報を交換することにより、どの携帯端末装置12の時刻情報が、自らの現在の時刻情報との間でずれがあるか、すなわち時刻ずれの情報を定めることができる。この時刻ずれの情報は、他の携帯端末装置12の音声の集音のタイミングを定めて指示するために用いられる。
この後、情報管理部34の指示に従って、図2に示すステップS10、S20と同様の処理が進行する。ステップS20の後、情報管理部34は、携帯端末装置12同士が同一空間内に位置するか否かの判定を行うのに十分な音声信号情報(音声信号または解析結果)を交換したか否かを判定する(ステップS22)。この判定で否定された場合、ステップS10に戻る。一方、音声信号情報を十分に交換した場合、音声解析部30を通して得られる解析結果の比較が行われる。この場合、音声信号情報が音声信号の解析結果である場合、通信部26が受信した解析結果が比較判定部32に送られ、自ら集音して音声解析部30で解析された音声の解析結果とともに比較される。一方、音声信号情報が音声信号である場合、通信部26が受信した音声信号が音声解析部30に送られ、自らの集音した音声の音声信号とともに音声解析部30で解析が行われ、解析結果が比較判定部32に送られる。以降、ステップS30〜60を経た後、情報管理部34は、リストアップされた全ての近接候補について比較、判定を行ったか否かを判定する(ステップS70)。全ての近接候補について比較、判定を行った場合(ステップS70においてYesの場合)、位置判定は終了する。全ての近接候補について比較、判定を行っていない場合(ステップS70においてNoの場合)、ステップS10に戻り、ステップS10〜70を繰り返す。
以上のように、各携帯端末装置12の通信部26は、他の携帯端末装置12に対して、現在示す時刻情報を送信するとともに、他の携帯端末装置12が示す時刻情報を受信し、情報管理部34は、他の携帯端末装置12が示す時刻情報との間の時刻ずれを取得する。これにより、携帯端末装置12それぞれの音声集音部28は、取得した時刻ずれに基いて、お互いに同じ時刻における音を集音するように集音することができる。
(位置判定システムの変形例2)
図6は、位置判定システムの変形例2における携帯端末装置12の機能ブロック図である。変形例2では、集音する環境音は不定期的な音であるため、位置判定モードに移行しても、所定の強度以上の音声信号を常に取得することができない場合がある。このような位置判定モードに移行した携帯端末装置12すべてについて、不定期的に発する環境音を集音するために、位置判定モードを継続するのは、消費電力の浪費に繋がり易い。このため複数の携帯端末装置12のうち1つの携帯端末装置が、音声集音部28が集音する音の音声信号を監視端末装置としてモニタリングし、その他の携帯端末装置は待機端末装置として音声集音部28の動作をスリープ状態に設定する。監視端末装置の音声集音部28が、所定の強度以上の音声信号を得たとき、監視端末装置は、待機端末装置に集音を開始するように指示する。
各携帯端末装置12は、監視端末装置になることができるように、図6に示すように、集音スケジューリング部36が、図2(b)に示す携帯端末装置12に追加されている。この他の部分は、図2(b)に示す携帯端末装置12の各部分と同じ構成及び機能を有するので、その説明は省略する。
集音スケジューリング部36は、位置判定モードに移行すると、音声集音部28が集音する音の音声信号を常時モニタリングする。音声信号が所定の強度以上になると、他の携帯端末装置12をスリープ状態から集音を開始するように、通信部26を通して指示するとともに音声の集音を開始する。これにより、各携帯端末装置12は、位置判定モードの実行を開始する。
このような監視端末装置は、位置判定モードに移行する全ての携帯端末装置12のうち監視端末装置として求められる条件を満足する装置が割り当てられる。例えば、位置判定モードに移行する全ての携帯端末装置12の情報管理部34間で監視端末装置として求められる条件を満足するか否かの情報を交換し、その中で最適に条件を満足する携帯端末装置が1つ割り当てられる。監視端末装置として求められる条件は、例えば、携帯端末装置12の外部電源の使用の有無、携帯端末装置のバッテリ残量、推定稼働時間およびマイク利用状況の有無の情報のうち、いすれか1つを含むことが好ましい。
携帯端末装置12が外部電源を使用している場合、バッテリ残量を気にしなくてよいので監視端末装置として最適である。携帯端末装置12のバッテリ残量は多いほど監視端末装置に適している。また、バッテリ残量に基いて定まる推定稼働時間が多いほど監視端末装置に適している。また、音声集音部28に含まれるマイクが、位置判定モードとは別の目的で利用するために音声の集音状態になっている等のマイクが利用状態にあるものは監視端末装置に適している。
あるいは、監視端末装置に適する条件に優先順位を定めて、監視端末装置が割り当てられることも可能である。例えば、携帯端末装置12は外部電源を使用しているか否かを条件とし、外部電源で起動している携帯端末装置12があれば、この携帯端末装置12を監視端末装置とする。もし、外部電源を使用している携帯端末装置12がなければ、バッテリ残量あるいは推定稼働時間の最も大きい携帯端末装置12が監視端末装置として割り当てられる。なお、監視端末装置における音声信号のモニタリングする監視時間は、監視端末装置の割り当ての際に設定される。
図7および図8(a),(b)は、変形例2におけるフローを示す図である。
まず、図5に示すステップS2〜S8と同様の処理が行われる。この後、位置判定モードに移行する携帯端末装置12の間で、外部電源の使用、バッテリ残量あるいは推定稼動時間等の各携帯端末装置12の情報が交換される。これにより、監視端末装置として求められる条件を最も満足する装置を監視端末装置として割り当てて決定する(ステップS80)。このような割り当ては、各携帯端末装置12の情報管理部34で行われるが、情報管理部34が保持する上記条件はいずれも同一であるので、各携帯端末装置12において同じ監視端末装置が決定される。
次に、各携帯端末装置12は、自らが監視端末装置に割り当てられたか否かを判定する(ステップS90)。携帯端末装置12は、自らが監視端末装置に割り当てられている場合(ステップS90においてYesの場合)、音声の監視(モニタリング)を行う(ステップS100)。一方、携帯端末装置12は、自らが監視端末装置に割り当てられていない場合(ステップS90においてNoの場合)、位置判定モードの実行をスリープ状態にする(ステップS110)。
監視端末装置に割り当てられた携帯端末装置12の音声集音部28は、図8(a)に示すように、まず集音した音声の音声信号から環境ノイズをフィルタリングにより除去する(ステップS120)。環境ノイズは、定常的に発生する背景音であり、低周波成分である。したがって、音声信号から環境ノイズを除去するために、ローパスフィルタが用いられる。次に、集音により得られる音声信号の強度が閾値以上であるか否かを、集音スケジューリング部36は判定する(ステップS130)。音声信号が所定の強度以上でない場合(ステップS130においてNoの場合)、ステップS120に戻り、音声の監視を続ける。音声信号が所定の強度以上である場合(ステップS130においてYesの場合)、集音スケジューリング部36は、音声の集音を開始するために、スリープ状態にある待機端末装置に音声の集音開始の指示を、通信部26を通して行う(ステップS140)。これにより、監視端末装置は、図5に示すステップS20〜S70と同様の処理を行う。
一方、待機端末装置は、音声の集音開始の指示を受ける前、図8(b)に示すように、スリープ状態を維持する(ステップS150)。このとき、集音スケジューリング部36は、通信部26を通して、音声の集音開始の指示を受けたか否かを判定する(ステップS160)。音声の集音開始の指示を依然として受けていない場合、待機端末装置はスリープ状態を維持する。一方、音声の集音開始の指示を受けた場合、集音スケジューリング部36は、情報管理部34に位置判定モードの実行を開始するように指示を出すように、指示をする。これにより、音声集音部28、音声解析部30および比較判定部32は動作を開始し、待機端末装置は、図5に示すステップS20〜S70と同様の処理を行う。
以上のように、変形例2における携帯端末装置12のうち、いずれか1つの装置が、監視端末装置として音声信号のモニタリングをし、その他の待機端末装置は集音の動作をスリープ状態に設定する。監視端末装置の音声集音部28が、所定の強度以上の音声信号を得たとき、監視端末装置は、待機端末装置に集音を開始するように指示する。このため、携帯端末装置12は、電力の浪費を抑制して位置判定を行うことができる。
(位置判定システムの変形例3)
図9は、変形例3の位置判定システム10を説明する図である。
変形例3では、通信システム13にサーバ40が接続されている。変形例3では、各携帯端末装置12が解析結果の比較判定を行わない。その代わり、通信システム13を介して接続されたサーバ40が、携帯端末装置12から送信された音声の解析結果を用いて比較判定を行う。
図10(a)は、携帯端末装置12の位置判定モードにおける機能ブロック図である。図10(a)に示す携帯端末装置12は、図2(b)に示す携帯端末装置12と同様に、通信部26、音声集音部28、音声解析部30、および情報管理部34を有する。通信部26、音声集音部28、音声解析部30、および情報管理部34の機能は、図2(b)に示す通信部26、音声集音部28、音声解析部30、および情報管理部34と同様であるので機能の説明は省略する。通信部26は、音声の解析結果をサーバ40に送信する。
図10(b)は、サーバ40のブロック構成図であり、図10(c)は、サーバ40の機能ブロック図である。サーバ40は、CPU42、メモリ44、および通信部45を有する。通信部45は、通信システム13を通して携帯端末装置12と接続されている。位置判定モードに移行する指示が携帯端末装置12の1つから通知されると、メモリ44に記憶されたプログラムが呼び出されて、サーバ40は、比較判定部44および情報管理部46をソフトウェアモジュールとして生成する。すなわち、位置判定モードでは、サーバ40は、比較判定部44、通信部45、および情報管理部46を有する。比較判定部44は、携帯端末装置12における比較判定部32と同じ機能を有するのでその機能の説明は省略する。情報管理部46は、携帯端末装置12から送信される集音した音声の解析結果の情報を記録し、さらに、比較判定部44において判定した判定結果を携帯端末装置12毎にまとめて記憶する。すなわち、情報管理部46は、図4(b),(c)に示すような情報を携帯端末装置毎に記録保持する。このような情報は、通信システム13を通して携帯端末装置12に送信され得る。
このように、図2(b)に示す携帯端末装置12の比較判定部の機能をサーバ40に移して、各携帯端末装置12の位置判定の判定結果を一括して管理することができる。
(位置判定システムの変形例4)
変形例4は、変形例3におけるサーバ40が、携帯端末装置12が有する音声解析部30の代わりに音声解析部43を備えた、位置判定システムである。したがって、変形例4も、図9に示す位置判定システムである。図11(a),(b)は、変形例4の位置判定システムに用いる携帯端末装置12とサーバ40の機能ブロック図である。
変形例4では、各携帯端末装置12は音声の解析および音声の解析結果の比較判定を行わず、通信システム13を介して接続されたサーバ40が、携帯端末装置12から送信された音声信号を受信して音声解析および比較判定を行う。
携帯端末装置12は、図2(b)に示す携帯端末装置12と同様に、通信部26、音声集音部28および情報管理部34を有する。通信部26、音声集音部28および情報管理部34の機能は、図2(b)に示す通信部26、音声集音部28および情報管理部34と同様であるので、その機能の説明は省略する。通信部26は、集音した音声の音声信号をサーバ40に送信する。
サーバ40は、図10(b)に示すサーバ40と同様に、CPU42、メモリ44、および通信部46を有する。通信部46は、通信システム13を通して携帯端末装置12と接続されている。位置判定モードに移行する指示が携帯端末装置12の1つから通知されると、メモリ44に記憶されたプログラムが呼び出されて、サーバ40は、比較判定部44および情報管理部46をソフトウェアモジュールとして生成する。すなわち、位置判定モードでは、サーバ40は、通信部45、音声解析部43、比較判定部44、および情報管理部46を有する。音声解析部43は、図2(b)に示す音声解析部43と同じ機能を有するのでその機能の説明は省略する。また、比較判定部44は、携帯端末装置12における比較判定部32と同じ機能を有するのでその機能の説明は省略する。情報管理部46は、通信部45で受信した音声信号および音声解析部43で得られた解析結果の情報を記録し、さらに、比較判定部44において判定した判定結果を携帯端末装置12毎にまとめて記憶する。すなわち、情報管理部46は、図4(b),(c)に示すような情報を携帯端末装置毎に記録保持する。このような情報は、通信システム13を通して携帯端末装置12に送信され得る。
このように、変形例4においても、変形例3と同様に、図2(b)に示す携帯端末装置12の比較判定部の機能をサーバ40に移して、携帯端末装置12の位置判定の判定結果を一括して管理することができる。
上記実施形態及び変形例は、以下に示す内容を開示する。
(付記1)
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の解析結果を、他の携帯端末装置から受信する通信部と、
前記通信部が受信した解析結果と、前記解析部で得られた解析結果とを比較し、比較結果に応じて、比較に用いた解析結果を送信した携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
(付記2)
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を他の携帯端末装置に送信するとともに、他の携帯端末装置から音信号を受信する通信部と、
前記集音部で集音した音の音信号および前記通信部で受信した音信号を解析する解析部と、
前記解析部で解析した両方の解析結果を比較し、比較結果に応じて、音信号を送信した他の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
(付記3)
前記解析部は、定められた時間間隔毎に音声解析を行って、前記解析結果として音声の特徴量を前記時間間隔毎に求め、前記比較判定部は、同じ時刻における音声の特徴量について比較する、付記1または2に記載の携帯端末装置の位置判定システム。
(付記4)
前記比較判定部は、前記時間間隔毎に求められる音声の特徴量を設定時間内において順次取得し、前記音声の特徴量と、比較する音声の特徴量との間の類似度が類似度比較用の閾値以上となる頻度が、前記設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、前記判定を行う、付記3に記載の携帯端末装置の位置判定システム。
(付記5)
前記携帯端末装置それぞれの前記通信部は、他の携帯端末装置に対して、現在示す時刻情報を送信するとともに、他の携帯端末装置が示す時刻情報を受信することにより、他の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記携帯端末装置それぞれの前記集音部は、前記時刻ずれに基いて、お互いに同じ時刻における音を集音する、付記1〜4のいずれか1項に記載の携帯端末装置の位置判定システム。
(付記6)
前記携帯端末装置の前記解析部は、前記解析部に送られた音信号の周波数成分解析を行うことにより、複数のピーク周波数を前記解析結果として求め、前記比較判定部は、前記複数のピーク周波数について比較する、付記1〜5のいずれか1項に記載の携帯端末装置の位置判定システム。
(付記7)
前記複数の携帯端末装置のうち、いずれか1つの装置が、監視端末装置として前記集音部が集音する音の音声信号のモニタリングをし、その他の携帯端末装置は待機端末装置として前記集音部の動作をスリープ状態に設定し、
前記監視端末装置の前記集音部が、所定の強度以上の音信号を得たとき、前記監視端末装置は、前記待機端末装置に集音を開始するように指示する、付記1〜6のいずれか1項に記載の携帯端末装置の位置判定システム。
(付記8)
前記監視端末装置は、携帯端末装置の外部電源の使用の有無、携帯端末装置のバッテリ残量、推定稼働時間およびマイク利用状況の有無の情報のうち、少なくともいずれか1つを用いて、前記複数の携帯端末装置の中から定められる、付記7に記載の携帯端末装置の位置判定システム。
(付記9)
通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集音した音声の解析結果を前記通信先の携帯端末装置から受信する通信部と、
前記通信部が受信した解析結果と、前記解析部で得られた解析結果とを比較し、比較結果に応じて、前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置。
(付記10)
通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集周した音の音信号を、前記通信先の携帯端末装置から受信する通信部と、
前記集音部で集音した音の音声信号および前記通信部で受信した音信号を解析する音声解析部と、
前記解析部で解析した両方の解析結果を比較し、比較結果に応じて、音信号を送信した前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置。
(付記11)
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定方法であって、
複数の携帯端末装置のそれぞれが、
集音して音信号を取得し、
取得した前記音信号を解析し、
前記音信号の解析で得られた解析結果を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の音信号の解析結果を、他の携帯端末装置から受信し、
前記受信した解析結果と、前記集音した音の音信号の解析で得られた解析結果とを比較し、比較結果に応じて、比較した解析結果を送信した携帯端末装置と同一空間内に位置すると判定を行う、ことを特徴とする携帯端末装置の位置判定方法。
(付記12)
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定方法であって、
複数の携帯端末装置のそれぞれが、
集音して音信号を取得し、
取得した前記音信号を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の音信号を受信し、
前記集音した音の音信号および他の携帯端末装置から受信した音信号を解析し、
解析した両方の音信号の解析結果を比較し、比較結果に応じて、音信号を送信した他の携帯端末装置と同一空間内に位置するか否かの判定を行う、ことを特徴とする携帯端末装置の位置判定方法。
(付記13)
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
前記位置判定システムは、複数の携帯端末装置とサーバを有し、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
前記集音部で取得した前記音信号を解析する解析部と、
前記解析部で得られた解析結果を前記サーバに送信する通信部と、を有し、
前記サーバは、
前記複数の携帯端末装置と通信を行う通信部と、
前記通信部が受信した複数の携帯端末装置それぞれの解析結果をお互いに比較し、比較結果に応じて、比較した解析結果を送信した携帯端末装置同士が同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
(付記14)
複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
前記位置判定システムは、複数の携帯端末装置とサーバを有し、
複数の携帯端末装置のそれぞれは、
集音して音信号を取得する集音部と、
取得した前記音信号を前記サーバに送信する通信部と、を有し、
前記サーバは、
前記複数の携帯端末装置と通信を行う通信部と、
前記通信部が受信した複数の携帯端末装置それぞれからの音信号を解析する解析部と、
前記音声解析部で得られた複数の携帯端末装置それぞれから送信された音信号の解析結果をお互いに比較し、比較結果に応じて、比較した解析結果を送信した携帯端末装置同士が同一空間内に位置するか否かの判定を行う比較判定部と、を有することを特徴とする携帯端末装置の位置判定システム。
以上、本発明の携帯端末装置の位置判定システムおよび携帯端末装置について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 位置判定システム
12,12A,12B,12C,12D 携帯端末装置
13 通信システム
14,16 部屋
14A,16A 音源
18,42 CPU
20,44 メモリ
22 クロック
24 マイク
26,45 通信部
28 音声集音部
30,43 音声解析部
32,44 比較判定部
34,46 情報管理部
36 集音スケジューリング部
40 サーバ

Claims (6)

  1. 複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
    複数の携帯端末装置のそれぞれは、
    定められた時間間隔毎に集音して音信号を取得する集音部と、
    前記集音部で取得した前記音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める解析部と、
    前記解析部で得られた複数のピーク周波数の情報を他の携帯端末装置に送信するとともに、他の携帯端末装置が集音した音の複数のピーク周波数の情報を、他の携帯端末装置から受信する通信部と、
    前記通信部が受信した複数のピーク周波数の情報と、前記解析部で得られた複数のピーク周波数の情報とを順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、比較に用いた複数のピーク周波数の情報を送信した携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有し、
    前記携帯端末装置それぞれの前記通信部は、他の携帯端末装置に対して、現在示す時刻情報を送信するとともに、他の携帯端末装置が示す時刻情報を受信することにより、他の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記携帯端末装置それぞれの前記集音部は、前記時刻ずれに基いて、お互いに同じ時刻における音を集音することを特徴とする携帯端末装置の位置判定システム。
  2. 複数の携帯端末装置同士が同一空間内に位置するか否かを判定する携帯端末装置の位置判定システムであって、
    複数の携帯端末装置のそれぞれは、
    定められた時間間隔毎に集音して音信号を取得する集音部と、
    前記集音部で取得した前記音信号を他の携帯端末装置に送信するとともに、他の携帯端末装置から音信号を受信する通信部と、
    前記集音部で集音した音の音信号および前記通信部で受信した音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める解析部と、
    前記解析部で解析した両方の複数のピーク周波数の情報順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、音信号を送信した他の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有し、
    前記携帯端末装置それぞれの前記通信部は、他の携帯端末装置に対して、現在示す時刻情報を送信するとともに、他の携帯端末装置が示す時刻情報を受信することにより、他の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記携帯端末装置それぞれの前記集音部は、前記時刻ずれに基いて、お互いに同じ時刻における音を集音することを特徴とする携帯端末装置の位置判定システム。
  3. 前記複数の携帯端末装置のうち、いずれか1つの装置が、監視端末装置として前記集音部が集音する音の音声信号のモニタリングをし、その他の携帯端末装置は待機端末装置として前記集音部の動作をスリープ状態に設定し、
    前記監視端末装置の前記集音部が、所定の強度以上の音信号を得たとき、前記監視端末装置は、前記待機端末装置に集音を開始するように指示する、請求項1又は2に記載の携帯端末装置の位置判定システム。
  4. 前記監視端末装置は、携帯端末装置の外部電源の使用の有無、携帯端末装置のバッテリ残量、推定稼働時間およびマイク利用状況の有無の情報のうち、少なくともいずれか1つを用いて、前記複数の携帯端末装置の中から定められる、請求項に記載の携帯端末装置の位置判定システム。
  5. 通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
    定められた時間間隔毎に集音して音信号を取得する集音部と、
    前記集音部で取得した前記音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める解析部と、
    前記解析部で得られた複数のピーク周波数の情報を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集音した音声の複数のピーク周波数の情報を前記通信先の携帯端末装置から受信する通信部と、
    前記通信部が受信した複数のピーク周波数の情報と、前記解析部で得られた複数のピーク周波数の情報とを順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を有し、
    前記通信部は、前記通信先の携帯端末装置に対して、現在示す時刻情報を送信するとともに、前記通信先の携帯端末装置が示す時刻情報を受信することにより、前記通信先の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記集音部は、前記時刻ずれに基いて、前記通信先の携帯端末装置と同じ時刻における音を集音することを特徴とする携帯端末装置。
  6. 通信先の携帯端末装置と同一空間内に位置するか否かを判定する携帯端末装置であって、
    定められた時間間隔毎に集音して音信号を取得する集音部と、
    前記集音部で取得した前記音信号を前記通信先の携帯端末装置に送信するとともに、通信先の携帯端末装置が集周した音の音信号を、前記通信先の携帯端末装置から受信する通信部と、
    前記集音部で集音した音の音声信号および前記通信部で受信した音信号の周波数成分解析を行い、大きいピーク値を有するピーク周波数から順に複数のピーク周波数を求める音声解析部と、
    前記解析部で解析した両方の複数のピーク周波数の情報順次取得し、両者を比較して一致するピーク周波数の割合が所定の閾値以上となる頻度が、設定時間内で頻度評価用の閾値以上であるか否かを調べることにより、音信号を送信した前記通信先の携帯端末装置と同一空間内に位置するか否かの判定を行う比較判定部と、を
    し、
    前記通信部は、前記通信先の携帯端末装置に対して、現在示す時刻情報を送信するとともに、前記通信先の携帯端末装置が示す時刻情報を受信することにより、前記通信先の携帯端末装置が示す時刻情報との間の時刻ずれを取得し、前記集音部は、前記時刻ずれに基いて、前記通信先の携帯端末装置と同じ時刻における音を集音することを特徴とする携帯端末装置。
JP2011078564A 2011-03-31 2011-03-31 携帯端末装置の位置判定システムおよび携帯端末装置 Expired - Fee Related JP5699749B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011078564A JP5699749B2 (ja) 2011-03-31 2011-03-31 携帯端末装置の位置判定システムおよび携帯端末装置
US13/429,561 US9026437B2 (en) 2011-03-31 2012-03-26 Location determination system and mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011078564A JP5699749B2 (ja) 2011-03-31 2011-03-31 携帯端末装置の位置判定システムおよび携帯端末装置

Publications (2)

Publication Number Publication Date
JP2012211874A JP2012211874A (ja) 2012-11-01
JP5699749B2 true JP5699749B2 (ja) 2015-04-15

Family

ID=46928425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011078564A Expired - Fee Related JP5699749B2 (ja) 2011-03-31 2011-03-31 携帯端末装置の位置判定システムおよび携帯端末装置

Country Status (2)

Country Link
US (1) US9026437B2 (ja)
JP (1) JP5699749B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002370B2 (en) * 2012-06-20 2015-04-07 Palo Alto Research Center Incorporated Method and system for dynamic meeting detection using multiple physical features from mobile devices
JP6062251B2 (ja) * 2013-01-11 2017-01-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、携帯端末、およびサーバ
JP6580362B2 (ja) * 2014-04-24 2019-09-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 会議決定方法およびサーバ装置
US9756438B2 (en) * 2014-06-24 2017-09-05 Microsoft Technology Licensing, Llc Proximity discovery using audio signals
US9641576B2 (en) * 2014-07-11 2017-05-02 Amazon Technologies, Inc. Dynamic locale based aggregation of full duplex media streams
US9736782B2 (en) * 2015-04-13 2017-08-15 Sony Corporation Mobile device environment detection using an audio sensor and a reference signal
EP3093846A1 (en) * 2015-05-12 2016-11-16 Nxp B.V. Accoustic context recognition using local binary pattern method and apparatus
JP6985714B2 (ja) * 2017-04-21 2021-12-22 株式会社マトリックス 移動検知システム
KR102125742B1 (ko) * 2018-11-28 2020-06-23 고려대학교 산학협력단 기본 음성 주파수 대역 아래의 저주파 대역을 이용한 단말 간의 공존 판단 서버 및 그 판단 방법
JP6689421B1 (ja) * 2019-01-25 2020-04-28 株式会社インタラクティブソリューションズ 音声解析システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01187478A (ja) 1988-01-21 1989-07-26 Nec Corp 音の発生移動表示方法と音の発生移動監視装置並びにその収音部
US6130949A (en) * 1996-09-18 2000-10-10 Nippon Telegraph And Telephone Corporation Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor
US20030182113A1 (en) * 1999-11-22 2003-09-25 Xuedong Huang Distributed speech recognition for mobile communication devices
US7747338B2 (en) * 2006-08-18 2010-06-29 Xerox Corporation Audio system employing multiple mobile devices in concert
JP2004328308A (ja) 2003-04-24 2004-11-18 Nippon Telegr & Teleph Corp <Ntt> ユビキタスマッチングシステム及び方法
US7035757B2 (en) * 2003-05-09 2006-04-25 Intel Corporation Three-dimensional position calibration of audio sensors and actuators on a distributed computing platform
US7593740B2 (en) * 2004-05-12 2009-09-22 Google, Inc. Location-based social software for mobile devices
JP2006058164A (ja) * 2004-08-20 2006-03-02 Mitsubishi Electric Corp 超音波式位置情報送信装置、超音波式位置情報受信装置および超音波式位置情報検出装置
US8699944B2 (en) * 2005-06-10 2014-04-15 The Invention Science Fund I, Llc Device pairing using device generated sound
JP4835911B2 (ja) * 2005-07-28 2011-12-14 日本電気株式会社 音声入力装置、方法、プログラム及び無線通信装置
US20070137462A1 (en) * 2005-12-16 2007-06-21 Motorola, Inc. Wireless communications device with audio-visual effect generator
JP4672611B2 (ja) * 2006-07-28 2011-04-20 株式会社神戸製鋼所 音源分離装置、音源分離方法及び音源分離プログラム
JP4364251B2 (ja) * 2007-03-28 2009-11-11 株式会社東芝 対話を検出する装置、方法およびプログラム
JP2008271465A (ja) * 2007-04-25 2008-11-06 Sanyo Electric Co Ltd 携帯通信端末、位置特定システム、位置特定サーバ
US20100067708A1 (en) * 2008-09-16 2010-03-18 Sony Ericsson Mobile Communications Ab System and method for automatically updating presence information based on sound detection
JP2010230380A (ja) * 2009-03-26 2010-10-14 Ntt Docomo Inc 位置推定装置及び位置推定方法
CN102713664B (zh) * 2010-01-12 2016-03-16 诺基亚技术有限公司 协作式位置/方位估计
US8626498B2 (en) * 2010-02-24 2014-01-07 Qualcomm Incorporated Voice activity detection based on plural voice activity detectors
US8831761B2 (en) * 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
US8447329B2 (en) * 2011-02-08 2013-05-21 Longsand Limited Method for spatially-accurate location of a device using audio-visual information
US8830792B2 (en) * 2011-04-18 2014-09-09 Microsoft Corporation Mobile device localization using audio signals
US9313336B2 (en) * 2011-07-21 2016-04-12 Nuance Communications, Inc. Systems and methods for processing audio signals captured using microphones of multiple devices
US9082413B2 (en) * 2012-11-02 2015-07-14 International Business Machines Corporation Electronic transaction authentication based on sound proximity

Also Published As

Publication number Publication date
US20120253819A1 (en) 2012-10-04
US9026437B2 (en) 2015-05-05
JP2012211874A (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
JP5699749B2 (ja) 携帯端末装置の位置判定システムおよび携帯端末装置
KR101599169B1 (ko) 관련 장소들 사이의 관계들 이용
KR101795765B1 (ko) 층간 소음 및 실내 소음의 자가 인지 모니터링시스템
CN105699936B (zh) 一种智能家庭室内定位方法
CN101569093A (zh) 响应于不同的噪声环境经由用户优选的音频设置来动态地获悉用户的响应
CN109151697B (zh) 麦克风堵孔检测方法及相关产品
Chen et al. Hearing is believing: Detecting wireless microphone emulation attacks in white space
KR101983659B1 (ko) 무선 양이 청각 기기의 저전력 운용 방법 및 장치
US10257621B2 (en) Method of operating a hearing system, and hearing system
US10863287B2 (en) Scene and state augmented signal shaping and separation
JP2017192091A (ja) 音声制御機能付きiotシステム及びその情報処理方法
JP2013050331A (ja) 位置推定装置、位置推定方法、プログラムおよび位置推定システム
KR20200134609A (ko) IoT 센서 기반 시설의 진동 분석 모니터링 시스템 및 그 방법
US9733714B2 (en) Computing system with command-sense mechanism and method of operation thereof
WO2013117964A1 (en) Estimating distances between devices
JP2007172423A (ja) 発話状態検出装置および方法
JP2018142755A (ja) 位置情報管理システム、出力装置、音波の出力制御方法、及びプログラム
JP5267994B2 (ja) 音データラベル付与装置、音データラベル付与方法、及びプログラム
JPWO2017221968A1 (ja) 処理装置、信号処理システム、処理方法、および記憶媒体
KR101312365B1 (ko) 모바일 단말 모드 자동 전환 제어 장치 및 방법
Wang et al. Ambient rendezvous: Energy-efficient neighbor discovery via acoustic sensing
EP2891957B1 (en) Computing system with command-sense mechanism and method of operation thereof
Cavalcante et al. Audio beacon providing location-aware content for low-end mobile devices
US9532155B1 (en) Real time monitoring of acoustic environments using ultrasound
JP2007274360A (ja) 情報収集装置の探知システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150202

R150 Certificate of patent or registration of utility model

Ref document number: 5699749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees