JP7237255B2 - 音源方向推定装置、プログラム及び音源方向推定方法 - Google Patents

音源方向推定装置、プログラム及び音源方向推定方法 Download PDF

Info

Publication number
JP7237255B2
JP7237255B2 JP2022564726A JP2022564726A JP7237255B2 JP 7237255 B2 JP7237255 B2 JP 7237255B2 JP 2022564726 A JP2022564726 A JP 2022564726A JP 2022564726 A JP2022564726 A JP 2022564726A JP 7237255 B2 JP7237255 B2 JP 7237255B2
Authority
JP
Japan
Prior art keywords
sound
scores
sound source
score
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022564726A
Other languages
English (en)
Other versions
JPWO2022118367A1 (ja
Inventor
英明 寺島
雅哉 安部
武 藤田
礼司 山佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Mitsubishi Electric Building Solutions Corp
Original Assignee
Mitsubishi Electric Corp
Mitsubishi Electric Building Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, Mitsubishi Electric Building Solutions Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022118367A1 publication Critical patent/JPWO2022118367A1/ja
Application granted granted Critical
Publication of JP7237255B2 publication Critical patent/JP7237255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00Applications of devices for indicating or signalling operating conditions of elevators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

本開示は、音源方向推定装置、プログラム及び音源方向推定方法に関する。
従来から、エレベータの昇降路内において2ch(channel)マイクロホンアレイを用いて異常音の音源方向を推定する技術がある(例えば、特許文献1を参照)。しかしながら、2chマイクロホンアレイでは基本的に水平方向180度の範囲までしか音源方向を推定することしかできない。
このため、マイクアレイの方向を変更することで、音源方向を推定する技術がある。例えば、1往復目と、2往復目とで、2chマイクロホンアレイの向きを変更して、一往復目の音源推定結果と、2往復目の音源推定結果とを統合する技術がある。
特開2013-060295号公報
しかしながら、エレベータ昇降路のような音の反射が多く発生し、音源方向推定の誤差が発生しやすい環境にて2chマイクロホンアレイを用いて音源位置を推定する場合、音源方向推定の誤差によって、1往復目の音源方向推定結果と、2往復目の音源方向推定結果とを統合できない場合がある。
そこで、本開示の一又は複数の態様は、1往復目の音源方向推定結果と、2往復目の音源方向推定結果とを確実に統合できるようにすることを目的とする。
本開示の一態様に係る音源方向推定装置は、エレベータのかごが一回目に移動する昇降路内の音を、予め定められた平面における第1の方向に向けられた集音部で取得した第1の音データと、前記かごが二回目に移動する前記昇降路内の音を、前記平面における第2の方向に向けられた前記集音部で取得した第2の音データとを取得する取得部と、前記昇降路内において前記かごが特定の位置にある場合に、前記平面における前記第1の方向に対する角度毎に、前記第1の音データで示される音である第1の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第1のスコアを、前記第1の音から算出し、前記平面における前記第2の方向に対する角度毎に、前記第2の音データで示される音である第2の音に含まれている前記対象音の前記音源方向である可能性を示す複数のスコアである複数の第2のスコアを、前記第2の音から算出するスコア算出部と、前記音源方向を、前記第1のスコア及び前記第2のスコアを用いて推定する音源方向推定部と、を備え、前記音源方向推定部は、前記平面において前記複数の第1のスコアから選択された1つのスコアである第1の選択スコアに対応する角度で前記集音部から伸びる直線である第1の直線を、前記平面において前記第1の方向に直交する軸を中心に回転させることで、前記第1の直線が前記集音部を中心とする単位球と接触する点が移動する第1の軌跡と、前記平面において前記複数の第2のスコアから選択された1つのスコアである第2の選択スコアに対応する角度で前記集音部から伸びる直線である第2の直線を、前記平面において前記第2の方向に直交する軸を中心に回転させることで、前記第2の直線が前記単位球と接触する点が移動する第2の軌跡との交点を、前記音源方向とすることを特徴とする。
本開示の一態様に係るプログラムは、コンピュータを、エレベータのかごが一回目に移動する昇降路内の音を、予め定められた平面における第1の方向に向けられた集音部で取得した第1の音データと、前記かごが二回目に移動する前記昇降路内の音を、前記平面における第2の方向に向けられた前記集音部で取得した第2の音データとを取得する取得部、前記昇降路内において前記かごが特定の位置にある場合に、前記平面における前記第1の方向に対する角度毎に、前記第1の音データで示される音である第1の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第1のスコアを、前記第1の音から算出し、前記平面における前記第2の方向に対する角度毎に、前記第2の音データで示される音である第2の音に含まれている前記対象音の前記音源方向である可能性を示す複数のスコアである複数の第2のスコアを、前記第2の音から算出するスコア算出部、及び、前記音源方向を、前記第1のスコア及び前記第2のスコアを用いて推定する音源方向推定部、として機能させ、前記音源方向推定部は、前記平面において前記複数の第1のスコアから選択された1つのスコアである第1の選択スコアに対応する角度で前記集音部から伸びる直線である第1の直線を、前記平面において前記第1の方向に直交する軸を中心に回転させることで、前記第1の直線が前記集音部を中心とする単位球と接触する点が移動する第1の軌跡と、前記平面において前記複数の第2のスコアから選択された1つのスコアである第2の選択スコアに対応する角度で前記集音部から伸びる直線である第2の直線を、前記平面において前記第2の方向に直交する軸を中心に回転させることで、前記第2の直線が前記単位球と接触する点が移動する第2の軌跡との交点を、前記音源方向とすることを特徴とする。
本開示の一態様に係る音源方向推定方法は、エレベータのかごが一回目に移動する昇降路内の音を、予め定められた平面における第1の方向に向けられた集音部で取得した第1の音データと、前記かごが二回目に移動する前記昇降路内の音を、前記平面における第2の方向に向けられた前記集音部で取得した第2の音データとを取得し、前記昇降路内において前記かごが特定の位置にある場合に、前記平面における前記第1の方向に対する角度毎に、前記第1の音データで示される音である第1の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第1のスコアを、前記第1の音から算出し、前記平面における前記第2の方向に対する角度毎に、前記第2の音データで示される音である第2の音に含まれている前記対象音の前記音源方向である可能性を示す複数のスコアである複数の第2のスコアを、前記第2の音から算出し、前記音源方向を、前記第1のスコア及び前記第2のスコアを用いて推定する音源方向推定方法であって、前記平面において前記複数の第1のスコアから選択された1つのスコアである第1の選択スコアに対応する角度で前記集音部から伸びる直線である第1の直線を、前記平面において前記第1の方向に直交する軸を中心に回転させることで、前記第1の直線が前記集音部を中心とする単位球と接触する点が移動する第1の軌跡と、前記平面において前記複数の第2のスコアから選択された1つのスコアである第2の選択スコアに対応する角度で前記集音部から伸びる直線である第2の直線を、前記平面において前記第2の方向に直交する軸を中心に回転させることで、前記第2の直線が前記単位球と接触する点が移動する第2の軌跡との交点を、前記音源方向とすることを特徴とする。
本開示の一又は複数の態様によれば、1往復目の音源方向推定結果と、2往復目の音源方向推定結果とを確実に統合することができる。
実施の形態1~4における音源方向推定システムの構成を概略的に示すブロック図である。 マイクアレイの設置例を示す概略図である。 実施の形態1における音源方向推定装置の一例を示すブロック図である。 マイクアレイを、エレベータのかごの上に乗せた第1の例を示す上面図である。 マイクアレイを、エレベータのかごの上に乗せた第2の例を示す上面図である。 スコアと、角度との関係を示す第1のグラフである。 スコアと、角度との関係を示す第2のグラフである。 マイクアレイと、マイクアレイの中心点を中心とした単位球と、スコアとの関係を示す第1の斜視図である。 マイクアレイと、マイクアレイの中心点を中心とした単位球と、スコアとの関係を示す第2の斜視図である。 マイクアレイと、マイクアレイの中心点を中心とした単位球と、スコアとの関係を示す第3の斜視図である。 マイクアレイと、マイクアレイの中心点を中心とした単位球と、スコアとの関係を示す第4の斜視図である。 音源方向推定システムにおいて、音データを取得する際の処理を示すフローチャートである。 実施の形態1において音源方向推定装置が音源方向を推定する処理を示すフローチャートである。 実施の形態2における音源方向推定装置の一例を示すブロック図である。 1往復目のスコアを反転させた様子を概略的に示す斜視図である。 2往復目のスコアを反転させた様子を概略的に示す斜視図である。 2往復目のスコアにおける角度をシフトした例を示す斜視図である。 (A)~(E)は、角度と、スコアとの関係を示す表である。 実施の形態3における音源方向推定装置の一例を示すブロック図である。 実施の形態3において音源方向推定装置が音源方向を推定する処理を示すフローチャートである。 実施の形態4における音源方向推定装置の一例を示すブロック図である。
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
実施の形態1.
図1は、実施の形態1における音源方向推定システム100の構成を概略的に示すブロック図である。
音源方向推定システム100は、音源方向推定装置として機能するコンピュータ101と、マイクアレイ110と、入力装置111と、出力装置112と、センサ113とを備える。
コンピュータ101により実現される音源方向推定装置は、音源方向推定方法を実行する装置である。例えば、コンピュータ101は、スマートフォン等の携帯型端末装置であってもよい。
マイクアレイ110は、複数のマイクロホンを含む装置である。マイクアレイ110では、複数のマイクロホンのそれぞれから出力された音データが完全に同期した状態で出力される。
マイクアレイ110は、コンピュータ101と分離していても、コンピュータ101に組み込まれて一体型となっていてもよい。また、マイクアレイ110は、加速度センサ又はイメージセンサを搭載してもよい。これらのセンサは、マイクアレイ110の付近に設置されてもよい。
入力装置111は、ユーザからの入力を受け付ける装置である。入力装置111は、コンピュータ101と分離していても、コンピュータ101に組み込まれて一体型となっていてもよい。
出力装置112は、コンピュータ101での処理結果を出力する装置である。出力装置112は、コンピュータ101と分離していても、コンピュータ101に組み込まれて一体型となっていてもよい。例えば、出力装置112は、ディスプレイであるが、スピーカでもよい。
入力装置111及び出力装置112は、例えば、タッチパネルにより構成されてもよい。
センサ113は、マイクアレイ110で取得される音データの同期をとるための同期信号を取得するセンサである。例えば、センサ113は、加速度センサ又はイメージセンサである。
図1に示されているように、コンピュータ101は、プロセッサ102と、主記憶装置103と、補助記憶装置104と、通信装置105と、インタフェース(I/F)106とを備える。
プロセッサ102は、コンピュータ101の全体を制御する。例えば、プロセッサ102は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)又はFPGA(Field Programmable Gate Array)等である。プロセッサ102は、マルチプロセッサでもよい。コンピュータ101は、プロセッサ102に変えて、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。言い換えると、コンピュータは、処理回路網により構成することができる。
主記憶装置103は、例えば、RAM(Random Access Memory)である。
補助記憶装置104は、例えば、ROM(Read Only Memory)、HDD(Hard Disk Drive)又はSSD(Solid State Drive)である。
主記憶装置103及び補助記憶装置104は、コンピュータ101での処理に必要な、様々なデータ及びプログラムを記憶する。
通信装置105は、ネットワークを介した通信を実行する。通信装置105は、例えば、有線LAN(Local Area Network)アダプター、無線LANアダプター又はBluetooth(登録商標)アダプターである。なお、通信装置105は、通信インタフェースと呼んでもよい。通信装置105は、外部装置と通信する。
マイクアレイ110は、エレベータの昇降路に設置される集音部として機能する集音装置である。例えば、マイクアレイ110は、かごの上、かごの下、カウンターウェイトの上又はカウンターウェイトの下に設置される。
なお、マイクアレイ110がかごの上に設置されている場合、マイクアレイ110は、かごと連動する。ここで、かごは、エレベータかごと呼んでもよい。昇降路は、エレベータ昇降路と呼んでもよい。
また、マイクアレイ110は、ピット部分、巻き上げ機付近又はエレベータの昇降運転によって位置が変わらない場所に設置されてもよい。マイクアレイ110は、昇降路に固定されてもよい。また、ユーザが持参したマイクアレイ110が、ユーザによって、昇降路に設置されてもよい。
図2は、マイクアレイ110の設置例を示す概略図である。
図2は、実施の形態1において、マイクアレイ110がかごの上に設置されている場合を示している。
図2には、壁面120と、かごガイドレール121と、かご122と、かご上ガイドシュー123と、かご下ガイドシュー124と、カウンターウェイトガイドレール125と、カウンターウェイト126と、カウンターウェイト上ガイドシュー127と、カウンターウェイト下ガイドシュー128とが示されている。
壁面120は、コンクリートの壁面である。
かごガイドレール121は、かご122を上下に移動させるためのレールである。かご122は、かごガイドレール121を沿って、上下に移動する。このため、かごガイドレール121が、エレベータの昇降路となる。
かご上ガイドシュー123及びかご下ガイドシュー124は、かごガイドレール121と、かご122との接合部である。
カウンターウェイトガイドレール125は、カウンターウェイト126を上下に移動させるためのレールである。
カウンターウェイト上ガイドシュー127及びカウンターウェイト下ガイドシュー128は、カウンターウェイトガイドレール125と、カウンターウェイト126との接合部である。
図3は、実施の形態1における音源方向推定装置の一例を示すブロック図である。
図3に示されているように、音源方向推定装置130は、取得部131と、同期部132と、データ記憶部133と、スコア算出部134と、音源方向推定部135と、入力部140と、出力部141とを備える。
取得部131は、音データを取得する。例えば、取得部131は、音データをマイクアレイ110から取得する。また、例えば、取得部131は、音データが記録されている記録媒体からその音データを取得してもよい。
なお、音データは、エレベータのかご122が移動する昇降路内の音を示すデータである。また、音データは、複数チャンネルの音データである。
具体的には、取得部131は、エレベータのかご122が一回目に移動する昇降路内の音を、予め定められた平面における第1の方向に向けられた集音部であるマイクアレイ110で取得された音データである第1の音データと、かご122が二回目に移動する昇降路内の音を、その平面における第2の方向に向けられたマイクアレイ110で取得された音データである第2の音データとを取得する。本実施の形態では、予め定められた平面は、水平面であるが、このような例に限定されない。
また、取得部131は、同期部132にて実施する同期処理向けの信号等を示す同期用データを取得する。同期用データは、例えば、加速度センサ又はイメージセンサ等のセンサ113から取得する。
なお、マイクアレイ110及びセンサ113は、例えばエレベータのかご122の上に搭載され、エレベータのかご122を複数回往復させた場合に、音データ及び同期用データを出力する。
図4及び図5は、マイクアレイ110を、エレベータのかご122の上に乗せて2往復した場合の例を示す上面図を示す。
図4において、マイクアレイ110からドア129に向かう方向をドア方向という。図4に示されているように、マイクアレイ110は、一回目の移動である1往復目でドア方向に向けられている。
また、図5に示されているように、二回目の移動である2往復目では、マイクアレイ110は、カウンターウェイト126が存在する右方向に向けられている。
以上のように、マイクアレイ110の向きは、1往復目と2往復目とで90度回転している。このようにエレベータのかご122を往復させるごとにマイクアレイ110の水平面における向きが変更される。
図3に戻り、同期部132は、マイクアレイ110をエレベータのかご122に載せた状態で昇降路内を複数回往復した場合に、それぞれの音データの開始地点をそろえる同期処理を行う。ここでの同期処理では、加速度センサから得られた加速度データ、又は、イメージセンサから得られたイメージデータ若しくは動画データが用いられる。
例えば、エレベータのかご122を2往復させた場合、同期部132は、1往復目と2往復目とのそれぞれで取得された加速度データで相互相関係数を求める。その相互相関係数が最も高くなるシフト量を音データにも適用することで、音データ間でも同期をとることができる。
また、動画データの場合、同期部132は、例えば、オプティカルフローを求める。そして、同期部132は、オプティカルフローの時間変化について、1往復目と2往復目とで相互相関係数を求め、その相互相関係数が最も高くなるシフト量を音データに適用することで、音データ間でも同期をとることができる。
なお、同期部132は、音データで直接相互相関係数を算出し、相互相関係数が最も高くなるシフト量にて片方の音データをシフトすることで同期をとってもよい。
また、同期部132は、入力装置111を介してユーザから2往復分の音データが同期するように音データのシフト量の入力を受けてもよい。
なお、同期部132での同期精度については、1往復目と2往復目の音データが完全に同期する必要はない。同期の精度の目安は、音源方向を推定する対象となる音である対象音の継続時間程度となる。例えば、対象音の継続時間が0.1秒の場合、この対象音が1往復目と2往復目の音データで同タイミングに発生するように、同期をとる必要がある。この場合、0.01~0.05秒程度の精度で1往復目と2往復目の音データを同期する必要がある。
データ記憶部133は、音源方向推定装置130での処理に必要なデータを記憶する。例えば、データ記憶部133は、エレベータのかご122が複数回昇降路内を往復したときに取得された音データ、センサ113からの加速度データ又はイメージデータ、及び、マイクアレイ110の向きを示す向き情報を記憶する。
また、データ記憶部133は、スコア算出部134でのスコア算出処理に必要な各マイク位置の関係等のパラメーターを記憶する。
スコア算出部134は、マイクアレイ110で取得された対象音の対象方向におけるスコアを算出する。例えば、スコア算出部134は、マイクアレイ110が配置されている水平面上に、複数の方向である対象方向を特定し、その複数の対象方向の各々が対象音の音源である可能性を示すスコアを算出する。具体的には、マイクアレイ110が取得する音の水平角の範囲が180度であり、水平方向の分解能が10度である場合、スコア算出部134は、19方向のスコアを算出する。このように、スコア算出部134は、複数の対象方向のスコアを算出する。水平角は、マイクアレイ110が向いている方向に対する水平面における角度である。
本実施の形態では、スコア算出部134は、昇降路内においてかご122が特定の位置にある場合に、1往復目で、水平面においてマイクアレイ110が向いている方向である第1の方向に対する角度毎に、第1の音データで示される音である第1の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第1のスコアを、第1の音データで示される第1の音から算出する。
また、スコア算出部134は、2往復目で、水平面においてマイクアレイ110が向いている方向である第2の方向に対する角度毎に、第2の音データで示される音である第2の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第2のスコアを算出する。
スコアの算出には、ビームフォーミング、遅延和法、最尤(Maximum Likelihood)法、最小分散(Minimum Variance)法、MUSIC(MUltiple SIgnal Classification)法、root-MUSIC法、最小ノルム法、CSP(Cross-Power Spectrum Phase Analysis)法又は学習済モデルが使用されればよい。これらの手法にて算出された値は、そのままスコアとして用いられてもよく、19方向のスコアの合計値が1.0となるように確率密度に変換されてもよい。算出されたスコアは、データ記憶部133に記憶される。
音源方向推定部135は、昇降路内においてかご122が特定の位置にある場合に、第1の音データで示される音である第1の音に含まれている対象音、及び、第2の音データで示される第2の音に含まれている対象音の音源方向を推定する。
例えば、音源方向推定部135は、水平面において複数の第1のスコアから選択された1つのスコアである第1の選択スコアに対応する角度でマイクアレイ110から伸びる直線である第1の直線を、水平面において第1の方向に直交する軸を中心に回転させることで、第1の直線がマイクアレイ110を中心とする単位球と接触する点が移動する第1の軌跡と、水平面において複数の第2のスコアから選択された1つのスコアである第2の選択スコアに対応する角度でマイクアレイ110から伸びる直線である第2の直線を、水平面において第2の方向に直交する軸を中心に回転させることで、第2の直線が単位球と接触する点が移動する第2の軌跡との交点を、音源方向とする。
ここで、音源方向推定部135は、複数の第1のスコアの最大値を第1の選択スコアとして選択し、複数の第2のスコアの最大値を第2の選択スコアとして選択すればよい。
但し、音源方向推定部135は、複数の第1のスコアの最大値を第1の選択スコアとして選択し、複数の第2のスコアの最大値を第2の選択スコアとして選択した場合に、第1の軌跡と、第2の軌跡とが交わらないときには、第1の軌跡と、第2の軌跡とが交わるまで、複数の第1のスコアの大きいものから順に第1の選択スコアとして選択してもよい。
また、音源方向推定部135は、複数の第1のスコアの最大値を第1の選択スコアとして選択し、複数の第2のスコアの最大値を第2の選択スコアとして選択した場合に、第1の軌跡と、第2の軌跡とが交わらないときには、第1の軌跡と、第2の軌跡とが交わるまで、複数の第2のスコアの大きいものから順に第2の選択スコアとして選択してもよい。
ここで、音源方向推定部135は、交点算出部136と、変更部137とを備える。
交点算出部136は、エレベータのかご122が複数回昇降路内を往復した際に算出されたスコアから特定される音源方向候補を統合することで、音源方向を推定する。ここでは、エレベータのかご122の上にマイクアレイ110を設置し、2往復した場合の統合方法について説明する。
マイクアレイ110は、1往復目では図4に示されているようにドア方向を向き、2往復目では図5に示されているようにカウンターウェイト126が存在する右方向を向いていたとする。
2往復分の音データは、同期部132によって同期されているため、例えば、2往復分それぞれでエレベータのかご122が昇降路内の特定個所を通過する際に何らかの音である対象音が発生していた場合、2往復分それぞれの音データ上でも同時刻に対象音が記録されている。
この対象音が記録されているタイミングで、スコア算出部134がスコア算出処理を実施した場合、それぞれの音データにおいて対象音が存在する方向におけるスコアが図6及び図7のように出力される。
図6及び図7の横軸は、マイクアレイ110の正面を0度とし、その右方向を-90度、その左方向を90度としている。
図6及び図7に示されているように、スコア算出部134で推定されたスコアは、マイクアレイ110が向いている方向が異なるため、異なる推移を示している。
図8及び図9は、マイクアレイ110の中心点150を中心とした単位球を示す斜視図である。
図8は、1往復目におけるマイクアレイ110の向きと、音源方向候補を示す実線の矢印151とを示している。
交点算出部136は、複数の対象方向の内、1往復目の特定の時刻におけるマイクアレイ110で取得された音から推定されたスコアが最も高い対象方向を、音源方向候補とする。
図9は、2往復目におけるマイクアレイ110の向きと、音源方向候補を示す実線の矢印152とを示している。
交点算出部136は、複数の対象方向の内、2往復目の特定の時刻におけるマイクアレイ110で取得された音から推定されたスコアが最も高い対象方向を、音源方向候補とする。
図8において、音源方向候補を示す矢印151を、マイクアレイ110を構成する2つのマイクを通る直線L1を軸として360度回転させると、その軌跡153が求められる。図8に示されているように、直線L1は、マイクアレイ110が向いている方向に、水平面において直交する直線である。
同様に、図9において、音源方向候補を示す矢印152を、マイクアレイ110を構成する2つのマイクを通る直線L2を軸として360度回転させると、その軌跡154が求められる。図9に示されているように、直線L2は、マイクアレイ110が向いている方向に、水平面において直交する直線である。
軌跡153及び軌跡154は、実際の音源が存在し得る方向となる。
スコア算出部134では、マイクアレイ110のそれぞれのマイクロホンと、実際の音源位置との距離の差をもとに音源方向の推定する際に用いられるスコアを算出する。軌跡153と、軌跡154とは、マイクロホンと、音源位置との距離の差が等しくなる、音源位置候補の軌跡となる。
このため、図10に示されているように、軌跡153と、軌跡154との交点155が、音源位置となる。即ち、交点155により示される音源位置の方向が、音源方向として推定される。
ここで、図8に示されているように、軌跡153を、マイクアレイ110を含む単位球の水平面にその水平面に垂直な方向から投影すると、線分156が求まる。
また、図9に示されているように、軌跡154を、マイクアレイ110を含む単位球の水平面にその水平面に垂直な方向から投影すると、線分157が求まる。
中心点150を原点とする3次元直交座標を考えるとき、線分156と、線分157との交点158とする。
交点158の座標を(x、y)とするとき、実際の音源位置となる交点155の水平角θ及び仰角φは、下記(1)式及び(2)式にて求められる。
Figure 0007237255000001
(1)
Figure 0007237255000002
(2)
ここで、arctan2は、tan関数の逆関数tan-1をもとにした下記の(3)式で表され、arccosは、cos関数の逆関数を示す。
Figure 0007237255000003
(3)
中心点150から見た水平角θ及び仰角φが示す方向は、音源方向であり、軌跡153及び軌跡154の交点155の方向となる。
ここで、交点算出部136は、線分156及び線分157が交差する場合は、水平角θ及び仰角φの算出結果を音源方向として出力部141に与える。一方、交点算出部136は、線分156及び線分157が交差しない場合は、交差しないという情報を変更部137に与える。
変更部137は、交点算出部136で線分156及び線分157が交差しない場合において、音源方向候補を変更する。
図11は、線分156及び線分157が交差しない例を示す概略図である。
昇降路内は残響があり、スコア算出部134で正確なスコアを算出することができない可能性がある。1往復目若しくは2往復目、又は、それらの両方でスコアの算出が正しく行われなかった場合、図11に示されているように、線分156及び線分157が交差しない可能性がある。この場合、交点算出部136では、音源方向を推定することができない。そこで、変更部137では音源方向候補を変更し、交点算出部136が音源方向を推定できるようにする。
変更部137は、1往復目及び2往復目のそれぞれで算出された複数個のスコアを高い順に抽出し、抽出したスコアに対応する角度を新たな音源方向候補として交点算出部136に与える。交点算出部136は、新たな音源方向候補にて交点を算出する。
具体的には、変更部137は、1往復目のスコアについてのみ、スコアが高い順に対応する角度を新たな音源方向候補としてもよい。この場合、2往復目については、最も高いスコアに対応する角度が音源方向候補として固定される。
また、変更部137は、2往復目のスコアについてのみ、スコアが高い順に対応する角度を新たな音源方向候補としてもよい。この場合、1往復目については、最も高いスコアに対応する角度が音源方向候補として固定される。
さらに、変更部137は、1往復目のスコア及び2往復目のスコアの両方について、スコアが高い順に、対応する角度を新たな音源方向候補としてもよい。
以上のように、変更部137で特定される新たな音源方向候補を用いて交点算出部136が交点を算出する処理を繰り返すことにより、スコア算出部134が算出した1往復目のスコアと、2往復目のスコアとに基づいて、確実に水平角度0~360度、仰角0~90度の範囲で音源方向を推定することができる。
入力部140は、音源方向推定装置130での処理に必要な情報の入力を、入力装置111を介して、受け付ける。
入力される情報は、例えば、2往復目でどの方向にマイクアレイ110を90度回転させたか、又は、マイクアレイ110の回転角度等である。入力部140で入力された情報はデータ記憶部133に記憶される。
出力部141は、音源方向を示す情報を出力装置112に出力する。例えば、出力装置112がディスプレイである場合、出力部141は、音源方向を示す情報をディスプレイに出力する。これにより、ディスプレイは、音源方向を示す情報を表示する。また、例えば、出力装置112がスピーカである場合、出力部141は、音源方向を示す情報をスピーカに出力する。これにより、スピーカは、音源方向を示す情報を音声で出力する。
以上に記載された音源方向推定装置130は、図1に示されているコンピュータ101により実現することができる。
例えば、取得部131は、I/F106により実現することができる。
また、データ記憶部133は、主記憶装置103又は補助記憶装置104により実現することができる。
同期部132、スコア算出部134、交点算出部136、変更部137、入力部140、出力部141の一部又は全部は、補助記憶装置104に記憶されているプログラムを主記憶装置103に読み出して、プロセッサ102によりそのプログラムを実行することで実現することができる。
例えば、プロセッサ102が実行するプログラムは、音源特定プログラムとも言う。例えば、音源特定プログラムは、記録媒体に記録されている。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
なお、同期部132、スコア算出部134、交点算出部136、変更部137、入力部140、出力部141の一部又は全部は、図示されていない処理回路によって実現されてもよい。
即ち、これらは、処理回路網により実現されてもよい。
図12は、音源方向推定システム100において、音データを取得する際の処理を示すフローチャートである。
ここでのフローチャートは、ユーザがマイクアレイ110をかご122の上に設置していることを前提とする。
まず、マイクアレイ110は、1往復目の音データの収録を開始する(S10)。
そして、かご122が昇降路を移動している間、マイクアレイ110は、音データを取得する(S11)。ここで、かご122は、上昇の後に降下、又は、下降の後に上昇することで、昇降路を往復する。そして、マイクアレイ110には、昇降路内の音が入力される。
マイクアレイ110は、1往復目の音データの収録を終了する(S12)。収録された音データは、取得部131を介して音源方向推定装置130に入力されて、データ記憶部133に記憶される。
次に、ユーザは、マイクアレイ110を水平方向に90度回転させる(S13)。なお、ユーザが回転角を入力する場合、ユーザは、マイクアレイ110を回転させた向き及び回転角(ここでは、90度)を、入力装置111を介して入力する。このような情報は、入力部140が取得して、データ記憶部133に記憶させる。
マイクアレイ110は、2往復目の音データの収録を開始する(S14)。
そして、かご122が昇降路を移動している間、マイクアレイ110は、音データを取得する(S15)。かご122は、上記のステップS11と同じ方向に、同程度の速度で移動する。
マイクアレイ110は、2往復目の音データの収録を終了する(S16)。収録された音データは、取得部131を介して音源方向推定装置130に入力されて、データ記憶部133に記憶される。
図13は、実施の形態1において音源方向推定装置130が音源方向を推定する処理を示すフローチャートである。
なお、ここでのフローチャートは、2往復分の音データがデータ記憶部133に記憶されていることを前提とする。
まず、同期部132は、2往復分の音データの同期をとる(S20)。
次に、スコア算出部134は、同期された2往復分の音データのそれぞれからスコアを算出する(S21)。
次に、交点算出部136は、スコア算出部134で算出されたスコアを用いて音源方向候補を特定する(S22)。ここでは、交点算出部136は、1往復目の複数の対象方向に対して算出された複数のスコアから最も値の高いスコアに対応する対象方向を音源方向候補とするとともに、2往復目の複数の対象方向に対して算出された複数のスコアから最も値の高いスコアに対応する対象方向を音源方向候補とする。
次に、交点算出部136は、マイクアレイ110の中心点150を中心とした単位球において、二つの音源方向候補から特定される二つの音源位置候補の軌跡から、マイクアレイの110の水平面に対して投影された二つの線分を特定する(S23)。
次に、交点算出部136は、ステップS23で特定された二つの線分に交点があるか否かを判断する(S24)。その二つの線分に交点がある場合(S24でYes)には、処理はステップS25に進み、その二つの線分に交点がない場合(S24でNo)には、処理はステップS27に進む。
ステップS25では、交点算出部136は、その二つの線分の交点から音源方向を推定する。このようにして推定された音源方向を示す情報は、出力部141に与えられる。
そして、出力部141は、与えられた情報に基づいて、音源方向を出力する処理を行う(S26)。
ステップS27では、変更部137は、二つの音源方向候補の内、少なくとも一つの音源方向候補を変更する。そして、処理はステップS23に戻る。ステップS23では、交点算出部136は、変更された音源方向候補を用いて、二つの線分を特定する。
実施の形態1によれば、音源方向推定装置130は、2chのマイクアレイ110を用いて昇降路内の音を示す音データから水平方向0~360度、仰角方向0~90度の範囲の音源方向を確実に推定することができる。
また、1往復目若しくは2往復目、又は、1往復目及び2往復目の両方のスコアの算出に誤差が生じている場合でも、音源方向候補を変更し、1往復目と2往復目との音源方向候補を統合して、最終的な音源方向を推定することができる。
実施の形態2.
次に、実施の形態2を説明する。実施の形態2では、実施の形態1と相違する事項を主に説明する。そして、実施の形態2では、実施の形態1と共通する事項の説明を省略する。
実施の形態1では、交点算出部136において、2往復分のスコアから、図10に示されているような交点158が求まらない場合に、変更部137にて音源方向候補を変更している。実施の形態2では、実施の形態1とは異なる方法で音源方向を推定する方法について述べる。
図1に示されているように、実施の形態2における音源方向推定システム200は、音源方向推定装置として機能するコンピュータ101と、マイクアレイ110と、入力装置111と、出力装置112と、センサ113とを備える。
実施の形態2における音源方向推定システム200は、コンピュータ101での処理が、実施の形態1における音源方向推定システム100とは異なっている。
図14は、実施の形態2における音源方向推定装置の一例を示すブロック図である。
図14に示されているように、音源方向推定装置230は、取得部131と、同期部132と、データ記憶部133と、スコア算出部134と、音源方向推定部235と、入力部140と、出力部141とを備える。
実施の形態2における音源方向推定装置230の取得部131、同期部132、データ記憶部133、スコア算出部134、入力部140及び出力部141は、実施の形態1における音源方向推定装置130の取得部131、同期部132、データ記憶部133、スコア算出部134、入力部140及び出力部141と同様である。
音源方向推定部235は、昇降路内においてかご122が特定の位置にある場合に、第1の音データで示される音である第1の音に含まれている対象音、及び、第2の音データで示される第2の音に含まれている対象音の音源方向を推定する。
音源方向推定部235は、複数の第1のスコアの最大値を第1の選択スコアとして選択し、複数の第2のスコアの最大値を第2の選択スコアとして選択した場合に、第1の軌跡と、第2の軌跡とが交わらないときには、水平面において第1の方向から第1の方向に対する360°までの範囲で、複数の第1のスコアが算出されていない範囲における角度毎に、複数の第1のスコアから補完することで、複数の第1の補完スコアを算出する。また、音源方向推定部235は、水平面において第2の方向から第2の方向に対して360°までの範囲で、複数の第2のスコアが算出されていない範囲における角度毎に、複数の第2のスコアから補完することで、複数の第2の補完スコアを算出する。そして、音源方向推定部235は、第2の方向に対する角度が、第1の方向に対する角度と一致するように、第2の方向に対する角度を修正し、複数の第1のスコア及び複数の第1の補完スコアと、複数の第2のスコア及び複数の第2の補完スコアとを、修正された角度毎に平均した値が最も大きい角度に対応する、水平面における方向を、音源方向とする。
音源方向推定部235は、交点算出部136と、推定部238とを備える。
実施の形態2における音源方向推定部235の交点算出部136は、実施の形態1における音源方向推定部135の交点算出部136と同様である。
但し、交点算出部136は、図11に示されているように、線分156及び線分157が交差しない場合は、交差しないという情報を推定部238に与える。
推定部238は、交点算出部136において、図10に示されているような交点158が求まらない場合に、音源方向を推定する。
具体的には、1往復目のスコアを[A-90,A-80,・・・,A-10,A,A10,・・・,A80,A90]、2往復目のスコアを[B-90,B-80,・・・,B-10,B,B10,・・・,B80,B90]とする。ここで、例えば、「A」は、1往復目の水平角0度のスコアを示す。また、「B」は、2往復目の水平角0度のスコアを示す。
このようなスコアに対して、推定部238は、1往復目のスコアを、[A,A-10,A-20,・・・,A-60,A-70,A-80,A-90,A-80,・・・,A-10,A, A10,・・・,A80,A90,A80,A70,A60,・・・,A20,A10,A]といったように、A-90及びA90のそれぞれで折り返されるように、[A-180,A-170,A-160,・・・,A-130,A-120,A-110,A-100]のスコアとして、[A,A-10,A-20,・・・,A-60,A-70,A-80]のスコアを割り当て、[A100,A110,A120,・・・,A160,A170,A180]のスコアとして、[A80,A70,A60,・・・,A20,A10,A]のスコアを割り当てる。これにより、推定部238は、-90度から90度までのスコアを、-180度から180度までのスコアに拡張する。つまり、推定部238は、2つのマイクを通る直線で対称となるようにスコアを反転させることで、補完を行っている。
図15は、以上のようにして1往復目のスコアを反転させた様子を概略的に示す斜視図である。
図15に示されているように、90度~-90度のスコアを示す線SL1が、マイクアレイ110を構成する2つのマイクを通る直線L1に対して対称となるように、-90°~90°のスコアを示す線SL2のように拡張されている。
また、推定部238は、2往復目のスコアについても、[B,B-10,B-20,・・・,B-60,B-70,B-80,B-90,B-80,・・・,B-10,B,B10,・・・,B80,B90,B80,B70,B60,・・・,B20,B10,B]といったように、-90度から90度までのスコアを、-180度から180度までのスコアに拡張することで、補完を行う。
図16は、以上のようにして二往復目のスコアを反転させた様子を概略的に示す斜視図である。
図16に示されているように、90度~-90度のスコアを示す線SL3が、マイクアレイ110を構成する2つのマイクを通る直線L2に対して対称となるように、-90度~90度のスコアを示す線SL4のように拡張されている。
さらに、推定部238は、2往復目のスコアについては、その水平角が1往復目のスコアの水平角と一致するように、2往復目の角度を90度分シフトさせる。図15及び図16では、角度の配置が異なっているが、このような処理を行うことで、図17に示されているように、2往復目のスコアに対応する角度の配置が、図15に示されている角度の配置と一致する。
図18(A)~(E)は、以上のようにして処理された角度とスコアとの関係を示す表である。
図18(A)は、推定部238により反転された1往復目のスコアと角度との関係を示す表である。図18(A)に示されているように、1往復目の水平角90度~-90度のスコアが、水平角-180度から170度に拡張されている。
図18(B)は、推定部238により反転された2往復目のスコアと角度との関係を示す表である。図18(B)に示されているように、2往復目の水平角90度~-90度のスコアが、水平角-180度から170度に拡張されている。
図18(C)は、図18(B)に示されている角度を90度分シフトした際の、二往復目のスコアと角度との関係を示す表である。
そして、図18(D)は、図18(C)に示されている角度とスコアとの関係を、図18(A)の角度の配置と同様となるように並べ替えた表である。
さらに、図18(E)は、図18(A)に示されている角度と1往復目のスコアとの関係を示す表と、図18(C)に示されている角度と2往復目のスコアとの関係を示す表とをまとめた表である。
ここで、推定部238は、図18(E)において、1往復目のスコアと、2往復目のスコアとを、対応する角度毎に平均する。例えば、推定部238は、相乗平均又は相加平均により、平均値を算出し、平均値が最も高い水平角を、音源方向の水平角とし、音源方向の仰角を0度とする。
以上により、推定部238は、音源方向を推定する。音源方向の推定結果については、出力部141に与えられる。
なお、この例では、水平角は、10度毎に分割されているが、分割する角度が異なる場合でも同様に-90度及び90度で折り返すことにより、水平角の範囲を拡張することができる。
実施の形態2では仰角を0度に固定することで、実施の形態1と同様に1往復目、2往復目、又は、1往復目及び2往復目の両方の何れかに、スコアを算出する際に誤差が生じていても、音源方向を推定することができる。
実施の形態3.
次に、実施の形態3を説明する。実施の形態3では、実施の形態1及び2と相違する事項を主に説明する。そして、実施の形態3では、実施の形態1及び2と共通する事項の説明を省略する。
実施の形態1では、交点算出部136にて2往復分のスコアから図10における交点158が求まらない場合に、変更部137にて音源方向候補を変更している。一方、実施の形態2では、そのような場合に、2往復分のスコアを処理することで、音源方向を推定している。言い換えると、実施の形態1及び2では、交点算出部136にて2往復分のスコアから図10における交点158が求まらない場合において、音源方向を推定する方法が異なっている。ここで、実施の形態3では、そのような場合に、実施の形態1及び実施の形態2で述べた方法で算出された音源方向の何れを選択するかを決定する方法について説明する。
図1に示されているように、実施の形態3における音源方向推定システム300は、音源方向推定装置として機能するコンピュータ101と、マイクアレイ110と、入力装置111と、出力装置112と、センサ113とを備える。
実施の形態3における音源方向推定システム300は、コンピュータ101での処理が、実施の形態1における音源方向推定システム100とは異なっている。
図19は、実施の形態3における音源方向推定装置の一例を示すブロック図である。
図19に示されているように、音源方向推定装置330は、取得部131と、同期部132と、データ記憶部133と、スコア算出部334と、音源方向推定部335と、入力部140と、出力部341と、かご位置推定部342と、優先順位特定部343とを備える。
実施の形態3における音源方向推定装置330の取得部131、同期部132、データ記憶部133及び入力部140は、実施の形態1における音源方向推定装置130の取得部131、同期部132、データ記憶部133及び入力部140と同様である。
スコア算出部334は、同期部132で同期された2往復分の音データから、音源方向推定を実施する区間を切り出す。この際に、スコア算出部334は、区間を切り出す開始時刻、終了時刻及び切り出し長を含む区間情報を特定して、その区間の音データである区間音データを切り出す。
スコア算出部334は、切り出された区間音データ毎に、マイクアレイ110で取得された音の対象方向のスコアを算出する。ここで算出されたスコアは、データ記憶部133に記憶される。
音源方向推定部335は、マイクアレイ110がエレベータのかご122の1往復目に取得した音データから特定される音源方向候補と、マイクアレイ110がエレベータのかご122の1往復目に取得した音データから特定される音源方向候補とを結合する。例えば、音源方向推定部335は、マイクアレイ110がエレベータのかご122の1往復目に取得した音データから算出されたスコアから特定される音源方向候補と、マイクアレイ110がエレベータのかご122の2往復目に取得した音データから算出されたスコアから特定される音源方向候補とを統合することで、音源方向を推定する。
実施の形態3における音源方向推定部335は、実施の形態1における音源方向の推定と、実施の形態2における音源方向の推定との両方を行う。このため、音源方向推定部335は、実施の形態1の交点算出部136と同様の処理を行う交点算出部136と、実施の形態1の変更部137と同様の処理を行う変更部137と、実施の形態2の推定部238と同様の処理を行う推定部238とを備える。
具体的には、交点算出部136にて2往復分のスコアから図10における交点158が求まらない場合に、変更部137にて音源方向候補を変更して、交点算出部136が変更された音源方向候補から音源方向を推定する。また、交点算出部136にて2往復分のスコアから図10における交点158が求まらない場合に、推定部238は、2往復分のスコアを処理することで、音源方向を推定している。
これによって、同一の区間において、音源方向の推定結果が2つ得られる。2つの音源方向推定結果は、データ記憶部133に記録される。
かご位置推定部342は、取得部131にて取得されたセンサ113からのデータに基づいて、昇降路におけるかご122の位置であるかご位置を推定する。
例えば、センサ113が加速度センサである場合には、垂直方向の加速度を2回積分することでかご位置を求めることができる。
また、センサ113がイメージセンサである場合には、各時刻におけるイメージデータの変化量からかご位置を推定することができる。
なお、これらの計算には既存の方法を用いればよい。
優先順位特定部343は、ある区間において、音源方向推定部335が2つの音源方向を推定した場合に、その2つの音源方向に優先順位を特定する。ここでは、優先順位特定部343は、かご122が進んでいる方向と、実施の形態1と同様の方法で求められた第1の音源方向とを比較することで、実施の形態1と同様の方法で求められた第1の音源方向と、実施の形態2と同様の方法で求められた第2の音源方向との優先順位を特定する。
例えば、優先順位特定部343は、2つの音源方向が推定された区間における音源方向と、かご位置とを比較することで、優先順位を特定する。
まず、優先順位特定部343は、かご位置推定部342から得られるかご位置より、2つの音源方向が推定された区間におけるかごの移動方向であるかご移動方向を特定する。そして、実施の形態1と同様の方法で求められた音源方向では、音源の仰角方向が求まっているため、優先順位特定部343は、その仰角方向から、2つの音源方向が推定された区間における仰角方向が変化する方向である仰角変化方向を特定する。
そして、優先順位特定部343は、かご移動方向と、仰角変化方向とを比較する。具体的には、かご移動方向が、上向きである場合に、仰角変化方向も上向きである場合、かごよりも速く上方向に移動する物体はないため、実施の形態1と同様の方法で推定された音源方向では矛盾が生じる。この場合は、優先順位特定部343は、実施の形態2と同様の方法で推定された音源方向の優先順位を、実施の形態1と同様の方法で推定された音源方向の優先順位よりも上にする。
同様に、優先順位特定部343は、かご移動方向及び仰角変化方向がともに下向きである場合にも、実施の形態2と同様の方法で推定された音源方向の優先順位を、実施の形態1と同様の方法で推定された音源方向の優先順位よりも上にする。
一方、優先順位特定部343は、かご移動方向と、仰角変化方向とが異なっている場合、言い換えると、かご移動方向が上向きで、仰角変化方向が下向きである場合、又は、かご移動方向が下向きで、仰角変化方向が上向きである場合には、実施の形態1と同様の方法で推定された音源方向の優先順位を、実施の形態2と同様の方法で推定された音源方向の優先順位よりも上にする。
そして、優先順位特定部343は、以上のようにして特定された優先順位を示す優先順位情報を出力部341に与える。
出力部341は、音源方向を示す情報を出力装置112に出力する。
実施の形態3では、音源方向推定部335が、ある区間において2つの音源方向を推定した場合には、優先順位特定部343で特定された優先順位が上の音源方向がわかるように、音源方向を示す情報を出力装置112に出力する。ユーザは、これによってどちらの音源方向の優先順位が上かを知ることができる。
図20は、実施の形態3において音源方向推定装置330が音源方向を推定する処理を示すフローチャートである。
なお、ここでのフローチャートは、2往復分の音データがデータ記憶部133に記憶されていることを前提とする。
まず、同期部132は、2往復分の音データの同期をとる(S30)。
次に、スコア算出部334は、同期された2往復分の音データの最初から順に、処理を行う区間音データを切り出す(S31)。
次に、スコア算出部334は、区間音データからスコアを算出する(S32)。
そして、音源方向推定部335は、スコア算出部334で算出されたスコアを用いて、音源方向を推定する(S33)。ここで、音源方向推定部335は、交点算出部136にて2往復分のスコアから図10における交点158が求まらない場合に、実施の形態1と同様の方法で音源方向を推定するととともに、実施の形態2と同様の方法で音源方向を推定する。なお、実施の形態1と同様の方法で推定された音源方向を第1の音源方向ともいい、実施の形態2と同様の方法で推定された音源方向を第2の音源方向ともいう。
次に、かご位置推定部342は、かご位置を推定する(S34)。
そして、スコア算出部334は、音源方向が推定された区間が最後の区間であるか否かを判断する(S35)。例えば、スコア算出部334は、区間音データが終了時刻に達しているか否かにより、このような判断を行えばよい。そして、音源方向が推定された区間が最後の区間である場合(S35でYes)には、処理はステップS36に進む。一方、音源方向が推定された区間が最後の区間ではない場合(S35でNo)には、処理はステップS31に戻り、スコア算出部334は、次の区間の音データを区間音データとして切り出して、スコアを算出する。
ステップS36では、優先順位特定部343は、第1の音源方向及び第2の音源方向が推定されている区間毎に、第1の音源方向及び第2の音源方向の優先順位を特定する。
そして、出力部341は、推定された音源方向を示す情報を出力する(S37)。ここで、優先順位が特定されている区間については、出力部341は、第1の音源方向及び第2の音源方向の優先順位がわかるように、出力を行う。
以上のように、実施の形態3によれば、複数の方法で推定された音源方向に優先順位を特定することにより、より信頼性の高い音源方向推定結果をユーザに提示することができる。
実施の形態4.
次に、実施の形態4を説明する。実施の形態4では、実施の形態1及び2と相違する事項を主に説明する。そして、実施の形態4では、実施の形態1及び2と共通する事項の説明を省略する。
実施の形態1~3では、マイクアレイ110を回転させた角度及び方向をユーザが入力部140に入力している。実施の形態4では、マイクアレイ110の向きを推定することで、ユーザの入力を省略できるようにする。
図1に示されているように、実施の形態4における音源方向推定システム400は、音源方向推定装置として機能するコンピュータ101と、マイクアレイ110と、入力装置111と、出力装置112と、センサ413とを備える。
実施の形態4における音源方向推定システム400のコンピュータ101、マイクアレイ110、入力装置111及び出力装置112は、実施の形態1における音源方向推定システム100のコンピュータ101、マイクアレイ110、入力装置111及び出力装置112と同様である。
但し、実施の形態4における音源方向推定システム400は、コンピュータ101での処理が、実施の形態1における音源方向推定システム100とは異なっている。
また、実施の形態4におけるセンサ413は、地磁気センサ又は角速度センサを含む場合がある。
図21は、実施の形態4における音源方向推定装置の一例を示すブロック図である。
図21に示されているように、音源方向推定装置430は、取得部431と、同期部132と、データ記憶部133と、スコア算出部134と、音源方向推定部135と、入力部140と、出力部141と、マイクアレイ方向推定部444とを備える。
実施の形態4における音源方向推定装置430の同期部132、データ記憶部133、スコア算出部134、音源方向推定部135、入力部140及び出力部141は、実施の形態1における音源方向推定装置130の同期部132、データ記憶部133、スコア算出部134、音源方向推定部135、入力部140及び出力部141と同様である。
但し、音源方向推定部135では、入力部140で入力されたマイクアレイ110を回転させた角度及び方向の代わりに、マイクアレイ方向推定部444で推定されたマイクアレイ110の向きを用いて音源方向の推定を行う。
取得部431は、実施の形態1と同様に、音データ及び同期用データを取得する。
また、取得部431は、マイクアレイ110の方向を推定するための推定用データを取得する。例えば、取得部431は、推定用データとして、センサ413に含まれている地磁気センサ、角加速度センサ及びイメージセンサの少なくとも1つからデータを取得すればよい。そして、取得された推定用データは、データ記憶部133に記憶される。なお、推定用データの取得は、かごを昇降路に沿って往復させる毎に行われる。
マイクアレイ方向推定部444は、集音部としてのマイクアレイ110が向いている方向を推定する方向推定部である。
例えば、マイクアレイ方向推定部444は、推定用データを用いてマイクアレイの向きを推定する。
まず、センサ413がイメージセンサである場合のマイクアレイ110の向きの推定方法について説明する。
マイクアレイ110を設置する際に、イメージセンサは、例えば、昇降路の上方向を向くようにマイクアレイ110に固定して設置される。この状態で1往復目でのイメージデータが取得される。2往復目ではユーザがマイクアレイ110を手動にて90度を目安に回転させる。この状態で2往復目でのイメージデータが取得される。
マイクアレイ方向推定部444は、1往復目のイメージデータで示される画像と、2往復目のイメージデータで示される画像との相互相関関数等を用いて、1往復目のイメージデータで示される画像と、2往復目のイメージデータで示される画像との回転角を求めることができる。これによって、マイクアレイ方向推定部444は、2往復目が1往復目に対してどの方向にどれだけ回転したかを求めることができる。
また、センサ413が角加速度センサである場合には、角加速度センサが固定されたマイクアレイ110をユーザが回転して設置した際の角加速度を2回積分することで実際の角度を算出することができる。これによって、マイクアレイ方向推定部444は、1往復目と2往復目の角度及び回転方向を求めることができる。
さらに、センサ413が地磁気センサである場合には、マイクアレイ方向推定部444は、地磁気センサから出力されるX軸の磁気及びY軸の磁気からマイクアレイ110の向きを下記の(4)式から求めることができる。
Figure 0007237255000004
(4)
ここで、Yは、Y軸の磁気の値であり、Xは、X軸の磁気の値である。
なお、交点算出部136では実施の形態1で説明した同様の処理を実施する。但し、1往復目のマイクアレイの角度と、2往復目のマイクアレイ110の角度との差を90度とするのではなく、マイクアレイ方向推定部444で推定した角度差とする。
また、実施の形態1の交点算出部136では、1往復目のマイクアレイ110から見て2往復目のマイクアレイ110の回転方向は時計回りであったが、実施の形態4ではマイクアレイ110の回転方向についても、マイクアレイ方向推定部444で推定した回転方向と一致するようにする。
以上のように、実施の形態4によれば、ユーザがマイクアレイ110の回転角度を入力する必要がなくなり、より容易に音源方向を推定できるようになる。
また、マイクアレイ方向推定部444にてマイクアレイ110の回転角度を算出することで、人手でマイクアレイ110を回転させたときの実際の回転角度を正確に交点算出部136に反映できるようになり、より正確に音源方向を推定できるようになる。
なお、実施の形態4では、実施の形態1における音源方向推定装置130にマイクアレイ方向推定部444を設ける例を示したが、実施の形態4は、このような例に限定されない。
例えば、実施の形態2における音源方向推定装置230又は実施の形態3における音源方向推定装置330にマイクアレイ方向推定部444が設けられてもよい。
なお、以上に記載された実施の形態1~4では、角度φは、仰角であるものとして説明したが、角度φは、俯角であってもよい。
このため、音源方向推定部135~335は、上記のようにして算出された角度φを、仰角及び俯角として扱い、上下の二つの方向を音源方向として推定してもよい。
また、音源方向推定部135~335は、角度φを俯角として扱い、音源方向を推定してもよい。
100,200,300,400 音源方向推定システム、 101 コンピュータ、 110 マイクアレイ、 111 入力装置、 112 出力装置、 113 センサ、 120 壁面、 121 かごガイドレール、 122 かご、 123 かご上ガイドシュー、 124 かご下ガイドシュー、 125 カウンターウェイトガイドレール、 126 カウンターウェイト、 127 カウンターウェイト上ガイドシュー、 128 カウンターウェイト下ガイドシュー、 130,230,330,430 音源方向推定装置、 131,431 取得部、 132 同期部、 133 データ記憶部、 134,334 スコア算出部、 135,235,335 音源方向推定部、 136 交点算出部、 137 変更部、 238 推定部、 140 入力部、 141 出力部、 342 かご位置推定部、 343 優先順位特定部、 444 マイクアレイ方向推定部。

Claims (9)

  1. エレベータのかごが一回目に移動する昇降路内の音を、予め定められた平面における第1の方向に向けられた集音部で取得した第1の音データと、前記かごが二回目に移動する前記昇降路内の音を、前記平面における第2の方向に向けられた前記集音部で取得した第2の音データとを取得する取得部と、
    前記昇降路内において前記かごが特定の位置にある場合に、前記平面における前記第1の方向に対する角度毎に、前記第1の音データで示される音である第1の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第1のスコアを、前記第1の音から算出し、前記平面における前記第2の方向に対する角度毎に、前記第2の音データで示される音である第2の音に含まれている前記対象音の前記音源方向である可能性を示す複数のスコアである複数の第2のスコアを、前記第2の音から算出するスコア算出部と、
    前記音源方向を、前記第1のスコア及び前記第2のスコアを用いて推定する音源方向推定部と、を備え、
    前記音源方向推定部は、前記平面において前記複数の第1のスコアから選択された1つのスコアである第1の選択スコアに対応する角度で前記集音部から伸びる直線である第1の直線を、前記平面において前記第1の方向に直交する軸を中心に回転させることで、前記第1の直線が前記集音部を中心とする単位球と接触する点が移動する第1の軌跡と、前記平面において前記複数の第2のスコアから選択された1つのスコアである第2の選択スコアに対応する角度で前記集音部から伸びる直線である第2の直線を、前記平面において前記第2の方向に直交する軸を中心に回転させることで、前記第2の直線が前記単位球と接触する点が移動する第2の軌跡との交点を、前記音源方向とすること
    を特徴とする音源方向推定装置。
  2. 前記音源方向推定部は、前記複数の第1のスコアの最大値を前記第1の選択スコアとして選択し、前記複数の第2のスコアの最大値を前記第2の選択スコアとして選択すること
    を特徴とする請求項1に記載の音源方向推定装置。
  3. 前記音源方向推定部は、前記複数の第1のスコアの最大値を前記第1の選択スコアとして選択し、前記複数の第2のスコアの最大値を前記第2の選択スコアとして選択した場合に、前記第1の軌跡と、前記第2の軌跡とが交わらないときには、前記第1の軌跡と、前記第2の軌跡とが交わるまで、前記複数の第1のスコアの大きいものから順に前記第1の選択スコアとして選択すること
    を特徴とする請求項2に記載の音源方向推定装置。
  4. 前記音源方向推定部は、前記複数の第1のスコアの最大値を前記第1の選択スコアとして選択し、前記複数の第2のスコアの最大値を前記第2の選択スコアとして選択した場合に、前記第1の軌跡と、前記第2の軌跡とが交わらないときには、前記第1の軌跡と、前記第2の軌跡とが交わるまで、前記複数の第2のスコアの大きいものから順に前記第2の選択スコアとして選択すること
    を特徴とする請求項2に記載の音源方向推定装置。
  5. 前記音源方向推定部は、前記複数の第1のスコアの最大値を前記第1の選択スコアとして選択し、前記複数の第2のスコアの最大値を前記第2の選択スコアとして選択した場合に、前記第1の軌跡と、前記第2の軌跡とが交わらないときには、前記平面において前記第1の方向から前記第1の方向に対する360°までの範囲で、前記複数の第1のスコアが算出されていない範囲における角度毎に、前記複数の第1のスコアから補完することで、複数の第1の補完スコアを算出し、前記平面において前記第2の方向から前記第2の方向に対して360°までの範囲で、前記複数の第2のスコアが算出されていない範囲における角度毎に、前記複数の第2のスコアから補完することで、複数の第2の補完スコアを算出し、前記第2の方向に対する角度が、前記第1の方向に対する角度と一致するように、前記第2の方向に対する角度を修正し、前記複数の第1のスコア及び前記複数の第1の補完スコアと、前記複数の第2のスコア及び前記複数の第2の補完スコアとを、前記修正された角度毎に平均した値が最も大きい角度に対応する、前記平面における方向を、前記音源方向とすること
    を特徴とする請求項2に記載の音源方向推定装置。
  6. 前記昇降路における前記かごの位置であるかご位置を推定するかご位置推定部をさらに備え、
    前記音源方向推定部は、前記複数の第1のスコアの最大値を前記第1の選択スコアとして選択し、前記複数の第2のスコアの最大値を前記第2の選択スコアとして選択した場合に、前記第1の軌跡と、前記第2の軌跡とが交わらないときには、前記第1の軌跡と、前記第2の軌跡とが交わるようになるまで、前記複数の第1のスコアの大きいものから順に前記第1の選択スコアとして選択すること、及び、前記複数の第2のスコアの大きいものから順に前記第2の選択スコアとして選択することの少なくとも何れか一方を行うことで推定される前記音源方向である第1の音源方向を特定するとともに、前記平面において前記第1の方向から前記第1の方向に対する360°までの範囲で、前記複数の第1のスコアが算出されていない範囲における角度毎に、前記複数の第1のスコアから補完することで、複数の第1の補完スコアを算出し、前記平面において前記第2の方向から前記第2の方向に対して360°までの範囲で、前記複数の第2のスコアが算出されていない範囲における角度毎に、前記複数の第2のスコアから補完することで、複数の第2の補完スコアを算出し、前記第2の方向に対する角度が、前記第1の方向に対する角度と一致するように、前記第2の方向に対する角度を修正し、前記複数の第1のスコア及び前記複数の第1の補完スコアと、前記複数の第2のスコア及び前記複数の第2の補完スコアとを、前記修正された角度毎に平均した値が最も大きい角度に対応する、前記平面における方向により推定される前記音源方向である第2の音源方向を特定し、
    前記かご位置により特定される前記かごが進んでいる方向と、前記第1の音源方向とを比較することで、前記第1の音源方向と、前記第2の音源方向との間の優先順位を特定する優先順位特定部をさらに備えること
    を特徴とする請求項2に記載の音源方向推定装置。
  7. 前記集音部が向いている方向を推定する方向推定部をさらに備えること
    を特徴とする請求項1から6の何れか一項に記載の音源方向推定装置。
  8. コンピュータを、
    エレベータのかごが一回目に移動する昇降路内の音を、予め定められた平面における第1の方向に向けられた集音部で取得した第1の音データと、前記かごが二回目に移動する前記昇降路内の音を、前記平面における第2の方向に向けられた前記集音部で取得した第2の音データとを取得する取得部、
    前記昇降路内において前記かごが特定の位置にある場合に、前記平面における前記第1の方向に対する角度毎に、前記第1の音データで示される音である第1の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第1のスコアを、前記第1の音から算出し、前記平面における前記第2の方向に対する角度毎に、前記第2の音データで示される音である第2の音に含まれている前記対象音の前記音源方向である可能性を示す複数のスコアである複数の第2のスコアを、前記第2の音から算出するスコア算出部、及び、
    前記音源方向を、前記第1のスコア及び前記第2のスコアを用いて推定する音源方向推定部、として機能させ、
    前記音源方向推定部は、前記平面において前記複数の第1のスコアから選択された1つのスコアである第1の選択スコアに対応する角度で前記集音部から伸びる直線である第1の直線を、前記平面において前記第1の方向に直交する軸を中心に回転させることで、前記第1の直線が前記集音部を中心とする単位球と接触する点が移動する第1の軌跡と、前記平面において前記複数の第2のスコアから選択された1つのスコアである第2の選択スコアに対応する角度で前記集音部から伸びる直線である第2の直線を、前記平面において前記第2の方向に直交する軸を中心に回転させることで、前記第2の直線が前記単位球と接触する点が移動する第2の軌跡との交点を、前記音源方向とすること
    を特徴とするプログラム。
  9. エレベータのかごが一回目に移動する昇降路内の音を、予め定められた平面における第1の方向に向けられた集音部で取得した第1の音データと、前記かごが二回目に移動する前記昇降路内の音を、前記平面における第2の方向に向けられた前記集音部で取得した第2の音データとを取得し、
    前記昇降路内において前記かごが特定の位置にある場合に、前記平面における前記第1の方向に対する角度毎に、前記第1の音データで示される音である第1の音に含まれている対象音の音源方向である可能性を示す複数のスコアである複数の第1のスコアを、前記第1の音から算出し、
    前記平面における前記第2の方向に対する角度毎に、前記第2の音データで示される音である第2の音に含まれている前記対象音の前記音源方向である可能性を示す複数のスコアである複数の第2のスコアを、前記第2の音から算出し、
    前記音源方向を、前記第1のスコア及び前記第2のスコアを用いて推定する音源方向推定方法であって、
    前記平面において前記複数の第1のスコアから選択された1つのスコアである第1の選択スコアに対応する角度で前記集音部から伸びる直線である第1の直線を、前記平面において前記第1の方向に直交する軸を中心に回転させることで、前記第1の直線が前記集音部を中心とする単位球と接触する点が移動する第1の軌跡と、前記平面において前記複数の第2のスコアから選択された1つのスコアである第2の選択スコアに対応する角度で前記集音部から伸びる直線である第2の直線を、前記平面において前記第2の方向に直交する軸を中心に回転させることで、前記第2の直線が前記単位球と接触する点が移動する第2の軌跡との交点を、前記音源方向とすること
    を特徴とする音源方向推定方法。
JP2022564726A 2020-12-01 2020-12-01 音源方向推定装置、プログラム及び音源方向推定方法 Active JP7237255B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/044623 WO2022118367A1 (ja) 2020-12-01 2020-12-01 音源方向推定装置、プログラム及び音源方向推定方法

Publications (2)

Publication Number Publication Date
JPWO2022118367A1 JPWO2022118367A1 (ja) 2022-06-09
JP7237255B2 true JP7237255B2 (ja) 2023-03-10

Family

ID=81852999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022564726A Active JP7237255B2 (ja) 2020-12-01 2020-12-01 音源方向推定装置、プログラム及び音源方向推定方法

Country Status (3)

Country Link
JP (1) JP7237255B2 (ja)
CN (1) CN116490451B (ja)
WO (1) WO2022118367A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054599A1 (ja) 2004-11-16 2006-05-26 Nihon University 音源方向判定装置及び方法
JP2009236688A (ja) 2008-03-27 2009-10-15 Nec Corp 音源方向検出方法、装置及びプログラム
JP2013060295A (ja) 2011-09-15 2013-04-04 Hitachi Ltd エレベータの異常診断装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09208149A (ja) * 1996-02-06 1997-08-12 Hitachi Building Syst Co Ltd エレベータの昇降路内機器の異常検出装置
CN103832905A (zh) * 2012-11-20 2014-06-04 日立电梯(中国)有限公司 一种电梯轿厢位置检测装置
CN104777450B (zh) * 2015-04-29 2017-03-08 西安电子科技大学 一种两级music麦克风阵列测向方法
JP6419392B1 (ja) * 2017-12-22 2018-11-07 三菱電機株式会社 音響計測システム及びパラメータ生成装置
CN110861988A (zh) * 2019-12-23 2020-03-06 江苏省特种设备安全监督检验研究院 一种电梯异常的声纹识别及故障诊断监控报警系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054599A1 (ja) 2004-11-16 2006-05-26 Nihon University 音源方向判定装置及び方法
JP2009236688A (ja) 2008-03-27 2009-10-15 Nec Corp 音源方向検出方法、装置及びプログラム
JP2013060295A (ja) 2011-09-15 2013-04-04 Hitachi Ltd エレベータの異常診断装置および方法

Also Published As

Publication number Publication date
WO2022118367A1 (ja) 2022-06-09
CN116490451A (zh) 2023-07-25
CN116490451B (zh) 2023-11-03
JPWO2022118367A1 (ja) 2022-06-09

Similar Documents

Publication Publication Date Title
US20220283261A1 (en) Mobile device locator
US7969913B2 (en) Localization apparatus for recognizing location of node in sensor network and method thereof
RU2397619C2 (ru) Способ и система для определения местоположения с использованием множества выбранных начальных оценок местоположения
CN109782763A (zh) 一种动态环境下的移动机器人路径规划方法
US20200311963A1 (en) Point cloud data processing method and point cloud data processing device
JP5717875B2 (ja) 位置決定方法
WO2018200334A1 (en) Bluetooth device locator
US9292963B2 (en) Three-dimensional object model determination using a beacon
JP7237255B2 (ja) 音源方向推定装置、プログラム及び音源方向推定方法
US20130245935A1 (en) Information processing device displaying current location and storage medium
US9684824B2 (en) Motion estimation device, robot, and method to estimate reaction of a person
CN115388887A (zh) 一种行人航位推算模型的参数估计方法、装置及电子设备
JP6676785B2 (ja) バーチャル環境表示における視方向の設定方法
JPWO2020236819A5 (ja)
Zeng et al. Detection of the LOS/NLOS state change based on the CIR features
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
KR20200052751A (ko) 차량용 측위 장치 및 그의 측위 방법과 그를 포함하는 차량
JP5973499B2 (ja) 高反射環境における歩行者の位置決め
JP7204998B2 (ja) 音源特定装置、音源特定方法、及び音源特定プログラム
JP2013024687A (ja) ターゲット識別システム
US10802126B2 (en) Electronic device and positioning method
TWI838587B (zh) 音源定位裝置、音源定位方法及記錄媒體
JP5679909B2 (ja) 障害物検出装置
JP7334538B2 (ja) 位置推定装置および位置推定方法
JP5609095B2 (ja) 目標相関処理装置、目標相関処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221024

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230228

R150 Certificate of patent or registration of utility model

Ref document number: 7237255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150