JP6157598B2 - 移動ロボット、及び、音源位置推定システム - Google Patents

移動ロボット、及び、音源位置推定システム Download PDF

Info

Publication number
JP6157598B2
JP6157598B2 JP2015511040A JP2015511040A JP6157598B2 JP 6157598 B2 JP6157598 B2 JP 6157598B2 JP 2015511040 A JP2015511040 A JP 2015511040A JP 2015511040 A JP2015511040 A JP 2015511040A JP 6157598 B2 JP6157598 B2 JP 6157598B2
Authority
JP
Japan
Prior art keywords
sound source
estimated
position estimation
sound
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015511040A
Other languages
English (en)
Other versions
JPWO2014167700A1 (ja
Inventor
貴志 住吉
貴志 住吉
康成 大淵
康成 大淵
直之 神田
直之 神田
龍 武田
龍 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2014167700A1 publication Critical patent/JPWO2014167700A1/ja
Application granted granted Critical
Publication of JP6157598B2 publication Critical patent/JP6157598B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source

Description

本発明は、空間内を移動するロボットに搭載したマイクを用いて、空間内に存在する音源の位置を高精度に推定する方法に関する。
近年、人間と同じ空間に存在し、移動しながら様々なサービスを提供するサービスロボットが広く開発されている。そのようなロボットには、人間とのコミュニケーション手段としてマイクが搭載されており、音声認識技術などを用いて対話を行えるものもある。また、建物内を巡回し、搭載したカメラやマイクにより異常を検出すると即座に報告する、警備用途のロボットなども開発が進められている。さらに、サービス機能と警備機能を1台でこなし、昼間はサービスを、夜間は警備を行うことで多目的かつ効率的な活用が可能なタイプのロボットも考えられている。
警備機能を持つロボットが検出すべき異常の種類は、人の警備員と同等以上のものが求められる。したがって、警備中に発生した異音を検出することも当然期待されている。音の異常を検出するためには、観測した音が異常であるかを判断する機能と、音の種類、音が発生した時刻、及び、音の位置を伝達する機能との2種類が不可欠である。
音の位置を伝達する技術として、マイクを備えた移動ロボットが観測した音声波形から、音源の位置を特定する技術が開発されている。
特許文献1には、三角測量の原理を用いて音源の位置を正確に計測する方法が開示されている。
特開2011−149782
しかしながら、三角測量の原理を用いて音源の位置を正確に計測するためには、ロボット自身の位置と、ロボットからみた音源到来方向を、正確に計測する必要がある。ロボット自身の位置を推定する方法は、オドメトリ(odometry)やスキャンマッチングを組み合わせた方法などが考えられている。しかしながら、高速に移動するため車輪すべりの誤差など外乱の影響を受けてオドメトリ情報が正しく得られない場合や、周辺の環境情報が乏しく地図とのマッチングが成功しない場合など、ロボットの位置を正しく推定できない場合が存在する。
このように移動ロボットにより音源の位置を正確に計測しようとすると、音源到来方向が正しく得られたとしても、ロボットの自己位置が正しく推定できていないと、音源位置は不正確となる問題がある。
また、ロボットの自己位置の観測と、音源到来方向の観測との同期が十分にとれない場合も、音源位置は正確に推定出来ない。
上記課題を解決するために、移動ロボットは、ロボットの自己位置を推定する自己位置推定部と、観測した音源の方向情報を取得する音源情報取得部と、前記推定した自己位置と前記音源の方向情報から音源の位置を推定する音源位置推定部と、を備えることを特徴とする。
本発明によれば、移動ロボットにより音源の位置を正確に計測できる。さらに、ロボットの自己位置の推定精度を向上させることができる。
実施例1の音源位置推定ロボットの構成図の例である。 実施例1の記憶装置130に格納された、自己位置推定プログラム131の動作を示すフローチャートである。 実施例1の記憶装置130に格納された、音源情報取得プログラム132の動作を示すフローチャートである。 実施例1の記憶装置130に格納された、音源位置推定プログラム133の動作を示すフローチャートである。 実施例2の音源位置推定システムの構成図である。 実施例2の音源位置推定ロボット11の構成図である。 実施例2の記憶装置130に格納された、音源情報取得プログラム132の動作を示すフローチャートである。 実施例2の記憶装置130に格納された、センサデータ受信プログラム135の動作を示すフローチャートである。 実施例2のセンサ21の構成図である。 実施例2のタブレット端末31の構成図である。 実施例2のタブレット端末31のタッチパネル321の表示例である。 実施例1の音源位置推定プログラムのアルゴリズムを説明する図である。 実施例1の音源位置推定プログラムのアルゴリズムを説明する図である。
以下、図面を用いて実施例を説明する。
本実施例では、音源位置推定ロボット11の例を説明する。
図1は、本実施例の音源位置推定ロボットの構成図の例である。
音源位置推定ロボット1は、バス110、CPU120、マイク121、LIDAR122、移動装置123、記憶装置130からなる。
バス110はCPU120、マイク121、LIDAR122、移動装置123、記憶装置130を相互に接続しデータ信号を中継するもので、汎用のPCで用いられる規格(PCIなど)を用いることができる。
CPU120はプログラムに従い、マイク121、LIDAR122、移動装置123、記憶装置130に制御コマンドを送り制御するもので、汎用のCPU(例えばSHー4プロセッサ)やチップコントローラを用いることができる。
マイク121はロボット周辺の音声を収録するもので、例えば市販のコンデンサマイクとA/Dコンバータを用いることができる。
LIDAR122は可視光線などの電磁波を放射し、その反射波を計測することで、観測平面上の各方向の障害物までの距離を測定する装置である。本実施例では、観測平面は地面と平行であり、方向分解能は1度のものを用いるが、本発明はこの仕様に限定されるものではない。
記憶装置130はプログラムやデータを格納するもので、例えば市販のDRAMやHDDを用いることができる。記憶装置130は、自己位置推定プログラム131、音源情報取得プログラム132、音源位置推定プログラム133、移動制御プログラム134、自己位置バッファ141、音源情報バッファ142、地図データ143、音源位置バッファ144、及び、経路データ146を格納する。
図2は、記憶装置130に格納された、自己位置推定プログラム131の動作を示すフローチャートである。
自己位置推定プログラム131は、本システムの利用時に常に動作させる(S101)。
まず、自己位置推定プログラム131は、観測平面上の各方向の障害物までの距離を示す距離データL----t(θ)をLIDAR122から取得する(S102)。次に、移動装置130からオドメトリデータOt={Oxt,Oyt,Oθt}を取得する(S103)。次に、取得した距離データ、オドメトリデータと、自己位置バッファ141に記録された過去の自己位置データPt-1、地図データ143M(x,y)を用いて、現在の自己位置を推定する(S104)。
推定方法は、オドメトリ情報を用いたスキャンマッチングによる自己位置推定方式として既知の方法を用いて良い。自己位置Pを仮定したとき、距離データLが示す観測地形と地図データMの自己位置Pでの地形の一致度を示す関数F(P|M,L)を用いて、推定自己位置Pt=argmaxpF(P|M,Lt(θ)) を、PをPt-1+Otを中心とし一定のx,y,θの幅で探索して決定する。
このように推定した推定自己位置Ptを、自己位置バッファ141に格納する (S105)。
図3は、記憶装置130に格納された、音源情報取得プログラム132の動作を示すフローチャートである。
音源情報取得プログラム132は、本システムの利用時に常に動作させる(S201)。まず、音源情報取得プログラム132は、マイク121から音声データwt(c)を取得する(S202)。次に、取得した音声データwt(c)を分析し、音源方向Atを取得する (S203)。音声データwt(c)は、時刻tにおいてマイクチャネルcから受信した波形のサンプル集合である。Atは、音源が存在すると考えられる方向の集合である。音声データwt(c)から音源が存在すると考えられる方向の集合Atを求めるには、マイクロホンアレイから音源方向を推定する既知の音源方向推定手法を用いることができる。例えばビームフォーミングを用いて、下記に示す数1として求める。
Figure 0006157598
ここでa(θ)は予め測定した方向θからの音声の伝達関数を表すベクトル、*は畳み込み演算記号、Tは音源が存在すると判定するパワー閾値である。このように推定した音源方向Atを、音源情報バッファ142に格納する (S204)。
図4は、記憶装置130に格納された、音源位置推定プログラム133の動作を示すフローチャートである。
音源位置推定プログラム133は、本システムの利用時に常に動作させる(S301)。まず、音源位置推定プログラム133は、音源位置推定を行う区間[t1,t2]を決定し、区間[t1,t2]の自己位置データPt1,…,Pt2と音源方向At1,…,At2を自己位置バッファ、音源情報バッファからそれぞれ取得する(S302)。例えば、現在時刻tから10フレーム前までの情報を用いる場合、[t1,t2]=[t-10,t]である。
次に、音源位置推定プログラム133は、予め定めたロボットの移動モデルのパラメータΘを適切に定め、以下の処理を実行する(S303)。まず、パラメータΘにおける音源位置S(Θ)を、自己位置データPt1,…,Pt2と音源方向At1,…,At2から求める(S304)。音源位置を求める具体例を示す。ここでは、パラメータΘは、自己位置データPt1,…,Pt2と音源方向At1,…,At2の観測時刻のずれをtp=αtA+βとして補正するパラメータα,βとする。事前に定めた時間間隔δを用いて、観測データ列Di=(Qi,Bi)(i=1,…,N)を作成する。ここで、Qi=Pαiσ+β、Bi=Aである。P,Aの添字がデータとして存在しない場合は、近隣のデータから線形補間した値を用いる。観測データDiは、集合Biの各要素bi,mごとに、座標(Qi x,Qi y)を始点とし、方向Qi θ+bi,mへ伸びる半直線を考えると、それらの半直線の集合を表す。次に、求めた観測データ列の任意の組み合わせDi,Djに対する交点集合を求め、その全体を集めて交点集合T={T1,…,TN}を作成する。交点集合Tの平均から音源位置S(Θ)を下記に示す数2として推定する。
Figure 0006157598
推定方法は、例えば混合ガウス分布を仮定して推定を行い、各ガウス分布の平均値を音源位置とみなしてもよい。
次に、音源位置の推定誤差から得られるスコアR(Θ)を計算する(S305)。具体的には、音源位置の推定誤差から得られるスコアR(Θ)は、上記交点全体Tの分散×-1を用いて、下記に示す数3として求める。
Figure 0006157598
本発明はここで定義したスコア計算方法に限定されるものではなく、音源位置の推定誤差から得られる任意のスコアを用いてよい。例えば、音源位置が複数の場合、それぞれの交点が属する音源位置からの分散の和と考えることができる。最後に、まだ探索すべきΘが残っていれば、S303に戻る(S306)。探索すべきすべてのΘについて音源位置S(Θ),音源位置の推定誤差から得られるスコアR(Θ)の計算を終えたら、スコアR(Θ)を最大とするΘ^が与える音源位置S(Θ^)を、最も確からしい音源位置と推定し、推定した音源位置S(Θ^)を音源位置バッファ144に格納する (S307)。音源位置S(Θ^)は、パラメータΘにおける音源位置S(Θ)に対して、パラメータΘ(すなわち、α,β)をパラメータΘ^に補正することにより得られる。
例として、パラメータΘ=(α=1,β=0)のときと、パラメータΘ=(α=1,β=1)のときの観測データ列Di=(Qi,Bi),交点集合T={T1,…,TN}をそれぞれ図12、図13に示す。Tの分散からスコアR(Θ)を比較すると、R(α=1,β=1)>R(α=1,β=0)となる。
最後に、音源位置の推定誤差から得られるスコアを最大とするΘ^, スコアを最大とするΘ^が与える音源位置S(Θ^)から補正自己位置P^を計算し、S105で格納した自己位置バッファ141の区間[t1,t2]の自己位置Pを補正自己位置P^で上書きする(S308)。これは、空間内の音源位置を不変と仮定して現在位置を補正することに相当する。
記憶装置130に格納された、移動制御プログラム134の動作を説明する。移動制御プログラム134は本システムの利用時に常に動作させ、経路データ145の内容に従い、移動装置123に移動命令を送信することで、ロボット11全体を移動させる。本発明はここで定義した経路データ145を用いる方法に限定されるものではなく、例えばロボット11に別途通信手段を設け、外部からの指示にしたがい移動装置123に移動命令を送信する方法でもよい。
また、S308にて推定した補正自己位置P^を用いて、自己位置の補正量が一定内に収まるまで再度S301以降のプロセスを実行してもよい。このとき、計算量は増加するが、音源位置と自己位置を交互に繰り返し推定することにより、それぞれの精度が改善されることがある。
以上により説明した内容で音源位置推定ロボット11を構成すれば、移動ロボットにより音源の位置を正確に計測でき、さらに自己位置の推定精度を向上させることができる。
本実施例では、音源位置推定システム1の例を説明する。
図5は、本実施例の音源位置推定システムの構成図の例である。
音源位置推定システム1は、ネットワーク2、ロボット11、センサ21、22、23、タブレット端末31から構成される。ロボット11、センサ21、22、23、タブレット端末31は、それぞれがTCP/IP網であるネットワーク2に接続しており、IPアドレスが割り当てられ、相互に通信可能な状態にある。本発明はここで定義したネットワーク構成やセンサ数に限定されるものではなく、任意の通信ネットワークやセンサ数で実現することが可能である。
図6は、本実施例の音源位置推定ロボット11の構成図の例である。
音源位置推定ロボット1は、実施例1で示した構成に加え、さらにカメラ124、NIF125、センサ設置装置126を備え、それぞれバス120に接続されている。カメラ1254は、ロボット11の前方を撮影できるように備え付けられ、撮影命令を受けると撮影した画像データをCPU220に送信する。NIF125はネットワーク2に直接接続され、ネットワーク2の他の機器との通信を担う。センサ設置装置126は、センサ21,22,23を備え、環境内に設置するための装置である。記憶装置130に格納された、自己位置推定プログラム131、移動制御プログラム134の動作は、実施例1と同様であるので、詳細の説明は省略する。
図7は、記憶装置130に格納された、音源情報取得プログラム132の動作を示すフローチャートである。
音源情報取得プログラム132は、本システムの利用時に常に動作させる(S201)。まず、音源情報取得プログラム132は、マイク121から音声データwt(c)を取得する(S202)。次に、取得した音声データwt(c)を分析し、音源方向Atを取得する (S203)。音声データwt(c)は、時刻tにおいてマイクチャネルcから受信した波形のサンプル集合である。Atは、音源が存在すると考えられる方向の集合である。音声データwt(c)から音源が存在すると考えられる方向の集合Atを求めるには、マイクロホンアレイから音源方向を推定する既知の音源方向推定手法を用いることができる。例えばビームフォーミングを用いて、下記に示す数4として求める。
Figure 0006157598
ここでa(θ)は予め測定した方向θからの音声の伝達関数を表すベクトル、*は畳み込み演算記号、Tは音源が存在すると判定するパワー閾値である。
さらに、音源情報取得プログラム132は、音源方向θからの音声のみを音源方向音声データとして取得する(S204)。このためには、既知の多チャンネル音源分離手法を用いることができる。また、音源方向θに相当する位置の画像データを取得するため、カメラに撮影命令を送信し、カメラから画像データを受信する(S205)。カメラの画角から、受信画像データの切り出し範囲を計算しトリミングすることは容易である。音源方向θがカメラの死角にあたる場合は、画像データに関する以下の処理を無視する。
次に、音源情報取得プログラム132は、このように取得した音源方向音声データと画像データを用いて、音源種別判別データベースのエントリと比較を行い、音源種別を推定する(S206)。音源種別判別データベースは、複数のエントリから構成される。各エントリは代表的な音源をあらわし、当該音源が発する音声データを統計モデル化した音源波形モデル、当該音源の外観をテンプレートとして保存した音源画像テンプレート、音源種別を示す音源種別識別子、音源が移動しうるものか不動のものかを表す音源移動情報が登録されている。音源情報取得プログラム132は、音源方向音声データと音源波形モデルの一致度、および画像データと音源画像テンプレートとの一致度を計算し、一致度が最大のエントリが示す音源種別識別子、音源移動情報を選択する。音源方向音声データと音源波形モデルの一致度は、例えばHMMを用いた既知の音声マッチング方法により計算できる。また、画像データと音源画像テンプレートの一致度は、例えば画像特徴量を用いたマッチング方法により計算できる。
音源情報取得プログラム132は、このように推定した音源方向At、音源種別識別子、音源移動情報を、音源情報バッファ142に格納する (S207)。さらに、新規音源を検出した場合、その近辺にセンサを設置する指示をセンサ設置装置に送信する。音源情報取得プログラム132は、音源位置バッファを参照し、推定した音源位置が音源位置バッファに格納されていない場合に新規音源を検出したと判断する。
記憶装置130に格納された、音源位置推定プログラム133の動作を説明する。
音源位置推定プログラム133の動作は、実施例1とほぼ同じであるが、実施例2の音源位置推定プログラム133は、S304において、音源情報として記録されたデータの音源移動情報が不動であるものに限定して、音源位置の推定を行う。これにより、移動すると推定された音源の位置を、不動と仮定して推定することで誤った音源位置推定が行われ、それにより自己位置推定が狂うことを防ぐことが可能となる。
図8は、記憶装置130に格納された、センサデータ受信プログラム135の動作を示すフローチャートである。
センサデータ受信プログラム135は、本システムの利用時に常に動作させる(S501)。まず、センサデータ受信プログラム135は、受信したセンサデータ内の音声データを、音源種別判別データベースの各エントリと比較し、音源種別識別子、音源移動情報を推定する(S502)。この方法は、音源情報取得プログラム132のS206で説明した方法と同様のものを利用可能である。次に、推定した音源種別識別子、音源移動情報を音源情報として音源情報バッファに格納する(S503)。
これにより、音源に設置したセンサによる音声情報を用いて、音源情報バッファの音源種別識別子、音源移動情報を、ロボットが音源から離れた場合にも更新しつづけることが可能となる。
記憶装置130に格納された、音源情報送信プログラム136の動作を説明する。音源情報送信プログラム136は、音源位置推定プログラム133で推定した音源位置に関する情報をネットワーク2を介してタブレット端末31に送信する。音源情報送信プログラム136は、推定した音源種別識別子、音源移動情報、交点集合の分布分散から定められる推定位置範囲、音源画像データ、音源の観測時刻、及び、観測した音声データを音源情報として音源位置に関する情報とともに同時に送信してもよい。また、音源情報送信プログラム136は、地図データ143や経路データ146を音源情報として音源位置に関する情報とともに同時に送信してもよい。地図データや経路データは、推定された音源位置付近のデータのみを送信してもよい。
図9は、本実施例のセンサ21の構成図の例である。なおセンサ22,センサ23の構成はセンサ21と同様である。
センサ21は、バス210、CPU220、マイク221、NIF222、記憶装置230からなる。バス210はCPU220、マイク221、NIF222、記憶装置230を相互に接続しデータ信号を中継するもので、汎用のPCで用いられる規格(PCIなど)を用いることができる。CPU220はプログラムに従い、マイク221、NIF222、記憶装置230に制御コマンドを送り制御するもので、汎用のCPU(例えばSHー4プロセッサ)やチップコントローラを用いることができる。マイク221はセンサ周辺の音声を収録するもので、例えば市販のコンデンサマイクとA/Dコンバータを用いることができる。NIF222はネットワーク2に無線で接続され、ネットワーク2の他の機器との通信を担う。本発明はここで定義した無線による接続に限定されるものではなく、有線でも実現可能である。記憶装置230はプログラムやデータを格納するもので、例えば市販のDRAMやHDDを用いることができる。
記憶装置230に格納された、音声取得送信プログラム231の動作を説明する。
音声取得送信プログラム231は、センサ21が設置された直後から動作させ、マイク221で観測した音声データを、NIF222を通して、ロボット11に送信する。
図10は、本実施例のタブレット端末31の構成図の例である。
タブレット端末31は、バス310、CPU320、タッチパネル321、NIF322、記憶装置330からなる。 バス310はCPU320、タッチパネル321、NIF322、記憶装置330を相互に接続しデータ信号を中継するもので、汎用のPCで用いられる規格(PCIなど)を用いることができる。 CPU320はプログラムに従い、タッチパネル321、NIF322、記憶装置330に制御コマンドを送り制御するもので、汎用のCPU(例えばSHー4プロセッサ)やチップコントローラを用いることができる。 タッチパネル321はCPU320からの表示命令に従い利用者に視覚的情報を表示し、さらに利用者のタッチを検出してCPU320にその位置を伝えることが可能な装置である。NIF322はネットワーク2に直接接続され、ネットワーク2の他の機器との通信を担う。記憶装置330はプログラムやデータを格納するもので、例えば市販のDRAMやHDDを用いることができる。
記憶装置330に格納された、ユーザ・インタフェースプログラム331の動作を説明する。
ユーザ・インタフェースプログラム331はタブレット端末31の起動中に常に動作させ、ロボット11から音源情報を受信すると、タッチパネル321に表示する。また、利用者によるタッチパネル321へのタッチが検出され、タッチパネル321からタッチ情報を受信すると、当該位置に表示されたシンボルに対応する音声を情報バッファ332から取得し、スピーカ323に送信し、再生する。
図11は、本実施例のタブレット端末31のタッチパネル321の表示例である。
環境地図710を表示し、その上に音源ごとに音源情報を重ねて表示する。音源情報は、音源の位置に音源を示す音源種別識別子のシンボル画像720,721,722を表示し、交点集合の分布分散から定められる推定位置範囲730,731、音源種別識別子と音源画像データ740を表示する。また、音源の観測時刻701,702,703を時間軸700上に表示する。
以上により説明した内容で音源位置推定システム1を構成すれば、移動ロボットにより音源の位置を正確に計測でき、さらに自己位置の推定精度を向上させることができる。さらに、タブレット端末を用いて利用者がロボットにより取得した音源に関する情報に容易にアクセスすることが可能となる。
11 ロボット
21 センサ
22 センサ
23 センサ
31 タブレット端末
120 CPU
121 マイク
122 LIDAR
123 移動装置
125 NIF
126 センサ設置装置
130 記憶装置
220 CPU
221 マイク
222 NIF
230 記憶装置
320 CPU
321 タッチパネル
322 NIF
323 スピーカ
330 記憶装置

Claims (10)

  1. 移動ロボットであって、
    ロボットの自己位置を推定する自己位置推定部と、
    観測した音源の方向情報を取得する音源情報取得部と、
    前記推定した自己位置と前記音源の方向情報から音源の位置を推定する音源位置推定部と、を備え
    前記音源情報取得部は、前記音源の種別に基づいて、前記音源が移動し得るものか不動のものかを推定し、
    前記音源位置推定部は、不動の音源に限定して音源の位置を推定し、推定した音源の位置を音源位置バッファに格納することを特徴とする移動ロボット。
  2. 請求項1に記載の移動ロボットであって、
    音源種別毎に音源波形モデルを保持する音源種別判別データベースを備え、
    前記音源情報取得部は、前記観測した音源と前記音源種別判別データベースの音源波形モデルの一致度が最大の源波形モデルの音源種別を前記観測した音源の音源種別と推定することを特徴とする移動ロボット。
  3. 請求項2に記載の移動ロボットであって、
    該移動ロボットは、カメラを備え、
    前記音源種別判別データベースは、さらに、前記音源波形モデル毎に音源画像テンプレートを保持し、
    前記音源情報取得部は、前記カメラで撮影した画像と前記音源画像テンプレートとの画像特徴量の一致度に基づいて、前記音源の音源種別を特定することを特徴とする移動ロボット。
  4. 請求項1に記載の移動ロボットであって、
    空間内にセンサ装置を設置するセンサ設置部を備え、
    前記音源情報取得部は、
    前記音源位置バッファを参照し、推定された音源の位置が格納されていない音源を新規音源と判定し、前記新規音源の近辺にセンサ装置を設置する指示を、前記センサ設置部に送信することを特徴とする移動ロボット。
  5. 移動ロボットと、端末上で動作するプログラムと、を含む音源位置推定システムであって、
    前記移動ロボットは、
    ロボットの自己位置を推定する自己位置推定部と、観測した音源の方向情報を取得する音源情報取得部と、
    前記推定した自己位置と前記音源の方向情報から音源の位置を推定する音源位置推定部と、
    前記推定した音源位置を送信する音源情報送信部と、
    空間内にセンサ装置を設置するセンサ設置部と、
    を備え、
    前記音源情報取得部は、前記音源の種別に基づいて、前記音源が移動し得るものか不動のものかを推定し、
    前記音源位置推定部は、不動の音源に限定して音源の位置を推定し、推定した音源の位置を音源位置バッファに格納し、
    前記音源情報取得部は、前記音源位置バッファを参照し、推定された音源の位置が格納されていない音源を新規音源と判定し、前記新規音源の近辺にセンサ装置を設置する指示を、前記センサ設置部に送信し、
    前記端末上で動作するプログラムは、前記音源位置を地図データとともに該端末に表示させることを特徴とする音源位置推定システム。
  6. 請求項5に記載の音源位置推定システムであって、
    前記音源情報送信部は、推定した音源位置とともに音源の種別を送信し、
    前記プログラムは、前記音源位置を前記音源の種別とともに該端末に表示させることを特徴とする音源位置推定システム。
  7. 請求項5に記載の音源位置推定システムであって、
    前記音源情報送信部は、音源の存在可能性が高い領域を示す推定位置範囲を送信し、
    前記プログラムは、前記推定位置範囲を該端末に表示させることを特徴とする音源位置推定システム。
  8. 請求項7に記載の音源位置推定システムであって、
    前記音源情報送信部は、前記推定した音源位置の音源の音源種別識別子を送信し、
    前記プログラムは、前記音源種別識別子に対応するシンボル画像を前記音源位置に表示させることを特徴とする音源位置推定システム。
  9. 請求項5に記載の音源位置推定システムであって、
    前記音源情報送信部は、観測した音源の音声データ、撮影された画像データを送信し、
    前記プログラムは、前記音源の音声データの音声を該端末から出力させる、または、前記画像データの画像を前記端末に表示させることを特徴とする音源位置推定システム。
  10. 請求項1に記載の移動ロボットであって、
    前記音源位置推定部は、複数の音源観測データ及び複数の自己位置推定結果に基づいて推定した複数の音源位置を推定し、該推定した音源位置の分散が最小となる位置を音源位置と推定することを特徴とする移動ロボット。
JP2015511040A 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム Expired - Fee Related JP6157598B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/061008 WO2014167700A1 (ja) 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム

Publications (2)

Publication Number Publication Date
JPWO2014167700A1 JPWO2014167700A1 (ja) 2017-02-16
JP6157598B2 true JP6157598B2 (ja) 2017-07-05

Family

ID=51689133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015511040A Expired - Fee Related JP6157598B2 (ja) 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム

Country Status (4)

Country Link
US (1) US9989626B2 (ja)
JP (1) JP6157598B2 (ja)
CN (1) CN105283775B (ja)
WO (1) WO2014167700A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145688A1 (en) * 2019-01-10 2020-07-16 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145183B2 (en) 2014-06-10 2021-10-12 PB, Inc Tracking device programs, systems and methods
US10937286B2 (en) 2014-06-10 2021-03-02 Pb Inc. Radiobeacon data sharing by forwarding low energy transmissions to a cloud host
US10979862B2 (en) 2014-06-10 2021-04-13 Pb Inc. Tracking device system
US11792605B2 (en) 2014-06-10 2023-10-17 PB, Inc. Tracking device systems
US10379534B2 (en) * 2016-01-28 2019-08-13 Qualcomm Incorporated Drone flight control
DE112017004363T5 (de) * 2016-08-29 2019-06-19 Groove X, Inc. Autonom agierender roboter, der die richtung einer geräuschquelle erkennt
US10453473B2 (en) * 2016-12-22 2019-10-22 AIRSHARE, Inc. Noise-reduction system for UAVs
JP6673276B2 (ja) * 2017-03-28 2020-03-25 カシオ計算機株式会社 音声検出装置、音声検出方法、及びプログラム
CN109257558A (zh) * 2017-07-12 2019-01-22 中兴通讯股份有限公司 会议电视的音视频采集方法、装置和终端设备
JP6859235B2 (ja) * 2017-09-07 2021-04-14 本田技研工業株式会社 音響処理装置、音響処理方法及びプログラム
CN107972042A (zh) * 2017-11-24 2018-05-01 合肥博焱智能科技有限公司 基于人工智能的泳池救援机器人救援方法及装置
CN111527461B (zh) * 2018-01-09 2024-03-22 索尼公司 信息处理装置、信息处理方法和程序
KR102115222B1 (ko) 2018-01-24 2020-05-27 삼성전자주식회사 사운드를 제어하는 전자 장치 및 그 동작 방법
JP7225763B2 (ja) * 2018-03-07 2023-02-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US11571814B2 (en) 2018-09-13 2023-02-07 The Charles Stark Draper Laboratory, Inc. Determining how to assemble a meal
US11184858B2 (en) 2018-09-18 2021-11-23 PB, Inc. Bluecell devices and methods
US11678141B2 (en) 2018-09-18 2023-06-13 Pb Inc. Hybrid cellular Bluetooth tracking devices, methods and systems
KR20190089125A (ko) * 2019-07-09 2019-07-30 엘지전자 주식회사 커뮤니케이션 로봇 및 그의 구동 방법
KR102227489B1 (ko) * 2019-07-10 2021-03-15 김영언 음원 시각화 장치 및 방법
WO2021053949A1 (ja) 2019-09-17 2021-03-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN111489753B (zh) * 2020-06-24 2020-11-03 深圳市友杰智新科技有限公司 抗噪声的声源定位方法、装置和计算机设备
CN112420083B (zh) * 2020-10-23 2022-07-22 东风汽车股份有限公司 一种车载影音12v、24v电源通用控制系统及方法
CN112671622B (zh) * 2020-12-24 2022-06-14 珠海格力电器股份有限公司 基于智能移动设备的安全监控方法、装置和智能移动设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54106183A (en) * 1978-02-08 1979-08-20 Tech Res & Dev Inst Of Japan Def Agency Orientating device for radiation source position
KR100763901B1 (ko) * 2005-01-26 2007-10-05 삼성전자주식회사 이동체 제어 장치 및 방법
US20060245601A1 (en) * 2005-04-27 2006-11-02 Francois Michaud Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering
JP2007152470A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 自己診断機能付きロボット
JP4675811B2 (ja) * 2006-03-29 2011-04-27 株式会社東芝 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム
DE602006007806D1 (de) * 2006-03-31 2009-08-27 Mitsubishi Electric Corp Verfahren und Vorrichtung zur Objektortung aus mehrere Peillinien
JP5170440B2 (ja) * 2006-05-10 2013-03-27 本田技研工業株式会社 音源追跡システム、方法、およびロボット
JP4996453B2 (ja) * 2007-12-28 2012-08-08 株式会社Ihi 狙撃手検知装置
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
JP2011149782A (ja) 2010-01-20 2011-08-04 National Institute Of Advanced Industrial Science & Technology パーティクルフィルタリングによる移動ロボットからの2次元音源地図作成方法
JP2012073088A (ja) * 2010-09-28 2012-04-12 Sony Corp 位置情報提供装置、位置情報提供方法、位置情報提供システム、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145688A1 (en) * 2019-01-10 2020-07-16 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
US11216655B2 (en) 2019-01-10 2022-01-04 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof

Also Published As

Publication number Publication date
CN105283775A (zh) 2016-01-27
US9989626B2 (en) 2018-06-05
JPWO2014167700A1 (ja) 2017-02-16
CN105283775B (zh) 2018-04-06
WO2014167700A1 (ja) 2014-10-16
US20160103202A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
JP6157598B2 (ja) 移動ロボット、及び、音源位置推定システム
EP3118705B1 (en) Map production method, mobile robot, and map production system
US20180154901A1 (en) Method and system for localizing a vehicle
KR101286169B1 (ko) 무선 통신 단말의 위치 측정 장치, 위치 측정 방법 및 핑거프린트 정보 수집 방법, 핑거프린트 서버 및 그의 위치 제공 방법
US10262533B2 (en) Moving object and driving support system for moving object
KR20110134228A (ko) 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
US10955518B2 (en) Method for generating an indoor environment model and a method for determining position data for a location in an indoor environment
JP7113611B2 (ja) 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法
KR20190029463A (ko) 엘리베이터 시스템의 유지 보수 과정의 추적
JP2015219089A (ja) 無線測位装置、無線測位用地図データベース
JPWO2013145025A1 (ja) ステレオカメラシステム及び移動体
JP2020143901A (ja) 移動体の位置測定システム
CN106200654A (zh) 无人机飞行速度的控制方法和装置
KR101711156B1 (ko) 단말 식별자를 이용한 영상 보안 시스템 및 방법
CN113556680B (zh) 指纹数据的处理方法、介质和移动机器人
KR101168743B1 (ko) 마이크로폰 모듈, 이를 이용한 음원 위치 측정 장치 및 그 방법
JP7160257B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101775510B1 (ko) 실내 위치 측정 장치 및 방법
JP2007333616A (ja) レーダ計測システム
KR101255024B1 (ko) 초음파 센서를 이용한 상대적 위치 추정 시스템 및 방법
KR20200052751A (ko) 차량용 측위 장치 및 그의 측위 방법과 그를 포함하는 차량
KR20150124658A (ko) 실내 위치 추정 방법 및 장치
JP7375304B2 (ja) 電波センサ状態の評価装置、電波センサシステム、電波センサの評価方法、コンピュータプログラム、及び電波センサの調整方法
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices
KR20180119344A (ko) 영역 감시 장치 및 이에 의한 영역 감시 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170606

R150 Certificate of patent or registration of utility model

Ref document number: 6157598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees