WO2014167700A1 - 移動ロボット、及び、音源位置推定システム - Google Patents

移動ロボット、及び、音源位置推定システム Download PDF

Info

Publication number
WO2014167700A1
WO2014167700A1 PCT/JP2013/061008 JP2013061008W WO2014167700A1 WO 2014167700 A1 WO2014167700 A1 WO 2014167700A1 JP 2013061008 W JP2013061008 W JP 2013061008W WO 2014167700 A1 WO2014167700 A1 WO 2014167700A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
mobile robot
self
estimated
position estimation
Prior art date
Application number
PCT/JP2013/061008
Other languages
English (en)
French (fr)
Inventor
貴志 住吉
康成 大淵
直之 神田
龍 武田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201380077331.9A priority Critical patent/CN105283775B/zh
Priority to JP2015511040A priority patent/JP6157598B2/ja
Priority to US14/783,008 priority patent/US9989626B2/en
Priority to PCT/JP2013/061008 priority patent/WO2014167700A1/ja
Publication of WO2014167700A1 publication Critical patent/WO2014167700A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source

Definitions

  • the present invention relates to a method for accurately estimating the position of a sound source existing in a space using a microphone mounted on a robot moving in the space.
  • the type of abnormality that should be detected by a robot with a security function is required to be equal to or greater than that of a human security guard. Therefore, it is naturally expected to detect an abnormal sound generated during security.
  • two functions are necessary: a function for judging whether the observed sound is abnormal, and a function for transmitting the type of sound, the time when the sound occurred, and the position of the sound. is there.
  • Patent Document 1 discloses a method for accurately measuring the position of a sound source using the principle of triangulation.
  • the sound source position cannot be accurately estimated when the observation of the robot's own position and the observation of the sound source arrival direction cannot be sufficiently synchronized.
  • a mobile robot includes a self-position estimation unit that estimates the self-position of the robot, a sound source information acquisition unit that acquires direction information of the observed sound source, the estimated self-position and the direction of the sound source. And a sound source position estimating unit that estimates the position of the sound source from the information.
  • the position of the sound source can be accurately measured by the mobile robot. Furthermore, the estimation accuracy of the robot's self-position can be improved.
  • FIG. 6 is a flowchart illustrating an operation of a self-position estimation program 131 stored in the storage device 130 according to the first embodiment.
  • 7 is a flowchart illustrating an operation of a sound source information acquisition program 132 stored in the storage device 130 according to the first embodiment.
  • 6 is a flowchart illustrating an operation of a sound source position estimation program 133 stored in the storage device 130 according to the first embodiment.
  • It is a block diagram of the sound source position estimation system of Example 2.
  • 10 is a flowchart illustrating an operation of a sound source information acquisition program 132 stored in the storage device 130 according to the second embodiment.
  • FIG. 10 is a flowchart illustrating an operation of a sensor data reception program 135 stored in the storage device 130 according to the second embodiment. It is a block diagram of the sensor 21 of Example 2. FIG. It is a block diagram of the tablet terminal 31 of Example 2. FIG. It is an example of a display of the touch panel 321 of the tablet terminal 31 of Example 2. FIG. It is a figure explaining the algorithm of the sound source position estimation program of Example 1. FIG. It is a figure explaining the algorithm of the sound source position estimation program of Example 1. FIG.
  • FIG. 1 is an example of a configuration diagram of the sound source position estimation robot of the present embodiment.
  • the sound source position estimation robot 1 includes a bus 110, a CPU 120, a microphone 121, a LIDAR 122, a moving device 123, and a storage device 130.
  • the bus 110 connects the CPU 120, the microphone 121, the LIDAR 122, the mobile device 123, and the storage device 130 to each other and relays data signals, and can use a standard (such as PCI) used in a general-purpose PC.
  • the CPU 120 sends control commands to the microphone 121, the LIDAR 122, the moving device 123, and the storage device 130 according to the program, and can use a general-purpose CPU (for example, SH-4 processor) or a chip controller.
  • the microphone 121 records sounds around the robot.
  • the LIDAR 122 is a device that measures the distance to an obstacle in each direction on the observation plane by radiating electromagnetic waves such as visible light and measuring the reflected waves.
  • the observation plane is parallel to the ground and the direction resolution is 1 degree, but the present invention is not limited to this specification.
  • the storage device 130 stores programs and data. For example, a commercially available DRAM or HDD can be used.
  • the storage device 130 includes a self-position estimation program 131, a sound source information acquisition program 132, a sound source position estimation program 133, a movement control program 134, a self-position buffer 141, a sound source information buffer 142, map data 143, a sound source position buffer 144, and a route.
  • Data 146 is stored.
  • FIG. 2 is a flowchart showing the operation of the self-position estimation program 131 stored in the storage device 130.
  • the self-position estimation program 131 is always operated when using this system (S101).
  • the self-position estimation program 131 acquires distance data L ---- t ( ⁇ ) indicating the distance to the obstacle in each direction on the observation plane from the LIDAR 122 (S102).
  • odometry data O t ⁇ O xt , O yt , O ⁇ t ⁇ is acquired from the mobile device 130 (S103).
  • the present self position is estimated using the acquired distance data, odometry data, past self position data P t-1 recorded in the self position buffer 141, and map data 143M (x, y) ( S104).
  • a known method may be used as a self-position estimation method by scan matching using odometry information. Assuming the self-location P, using the function F (P
  • M, L) indicating the degree of coincidence between the observed topography indicated by the distance data L and the topography P at the self-location P of the map data M, the estimated self-location P t argmax p F (P
  • the estimated estimated self-position P t stores in its position buffer 141 (S105).
  • FIG. 3 is a flowchart showing the operation of the sound source information acquisition program 132 stored in the storage device 130.
  • the sound source information acquisition program 132 is always operated when the system is used (S201). First, the sound source information acquisition program 132 acquires audio data w t (c) from the microphone 121 (S202). Then, to analyze the acquired speech data w t (c), to obtain the sound source direction A t (S203).
  • the audio data w t (c) is a sample set of waveforms received from the microphone channel c at time t.
  • a t is a set of directions that are considered sound source is present.
  • DOA estimation method for estimating the sound source direction from the microphone array For example, using beam forming, the following formula 1 is obtained.
  • a ( ⁇ ) is a vector representing a transfer function of speech from the direction ⁇ measured in advance
  • * is a convolution calculation symbol
  • T is a power threshold value for determining that a sound source exists.
  • FIG. 4 is a flowchart showing the operation of the sound source position estimation program 133 stored in the storage device 130.
  • the sound source position estimation program 133 appropriately determines a parameter ⁇ of a predetermined robot movement model, and executes the following processing (S303).
  • the sound source position S (theta) in the parameter theta, location data P t1, ..., P t2 and the sound source direction A t1, ..., obtained from A t2 S304.
  • a specific example of obtaining the sound source position will be shown.
  • the parameter theta, location data P t1, ..., P t2 and the sound source direction A t1, ..., parameters for correcting the deviation of the observation time of the A t2 as t p ⁇ t A + ⁇ ⁇ , and beta.
  • a Q i P ⁇ i ⁇ + ⁇
  • B i A i ⁇ .
  • the observation data D i is a half line starting from the coordinates (Q i x , Q i y ) and extending in the direction Q i ⁇ + b i, m for each element b i, m of the set B i . It represents a set of those half lines.
  • the sound source position S ( ⁇ ) is estimated as Equation 2 below.
  • estimation may be performed assuming a mixed Gaussian distribution, and an average value of each Gaussian distribution may be regarded as a sound source position.
  • the score R ( ⁇ ) obtained from the estimation error of the sound source position is calculated (S305). Specifically, the score R ( ⁇ ) obtained from the estimation error of the sound source position is obtained as Equation 3 shown below using the variance of the entire intersection T ⁇ ⁇ 1.
  • the present invention is not limited to the score calculation method defined here, and any score obtained from the estimation error of the sound source position may be used. For example, when there are a plurality of sound source positions, it can be considered as the sum of dispersion from the sound source positions to which the respective intersections belong. Finally, if there remains ⁇ to be searched, the process returns to S303 (S306).
  • the sound source position S ( ⁇ ) When calculation of the sound source position S ( ⁇ ) and the score R ( ⁇ ) obtained from the estimation error of the sound source position is finished for all ⁇ to be searched, the sound source position S (() given by ⁇ ⁇ maximizing the score R ( ⁇ ) ⁇ ⁇ ) is estimated as the most probable sound source position, and the estimated sound source position S ( ⁇ ⁇ ) is stored in the sound source position buffer 144 (S307).
  • the sound source position S ( ⁇ ⁇ ) is obtained by correcting the parameter ⁇ (that is, ⁇ , ⁇ ) to the parameter ⁇ ⁇ with respect to the sound source position S ( ⁇ ) at the parameter ⁇ .
  • the corrected self-position P ⁇ is calculated from the sound source position S ( ⁇ ⁇ ) given by ⁇ ⁇ maximizing the score obtained from the estimation error of the sound source position and ⁇ ⁇ maximizing the score, and stored in S105.
  • the self position P in the section [t 1 , t 2 ] of the position buffer 141 is overwritten with the corrected self position P ⁇ (S308). This corresponds to correcting the current position on the assumption that the sound source position in the space is unchanged.
  • the operation of the movement control program 134 stored in the storage device 130 will be described.
  • the movement control program 134 is always operated when the system is used, and moves the entire robot 11 by transmitting a movement command to the moving device 123 according to the contents of the route data 145.
  • the present invention is not limited to the method using the route data 145 defined here.
  • a separate communication unit may be provided in the robot 11 and a movement command may be transmitted to the movement device 123 according to an instruction from the outside.
  • the processes after S301 may be executed again until the self-position correction amount falls within a certain range. At this time, although the amount of calculation increases, the accuracy of each may be improved by alternately estimating the sound source position and the self position.
  • the sound source position estimation robot 11 is configured with the contents described above, the position of the sound source can be accurately measured by the mobile robot, and the self-position estimation accuracy can be further improved.
  • FIG. 5 is an example of a configuration diagram of the sound source position estimation system of the present embodiment.
  • the sound source position estimation system 1 includes a network 2, a robot 11, sensors 21, 22, 23, and a tablet terminal 31.
  • Each of the robot 11, the sensors 21, 22, 23, and the tablet terminal 31 is connected to the network 2 that is a TCP / IP network, is assigned an IP address, and is communicable with each other.
  • the present invention is not limited to the network configuration and the number of sensors defined here, and can be realized with an arbitrary communication network and the number of sensors.
  • FIG. 6 is an example of a configuration diagram of the sound source position estimation robot 11 of the present embodiment.
  • the sound source position estimation robot 1 further includes a camera 124, a NIF 125, and a sensor installation device 126 in addition to the configuration shown in the first embodiment, and each is connected to the bus 120.
  • the camera 1254 is provided so that the front of the robot 11 can be photographed, and when the photographing command is received, the photographed image data is transmitted to the CPU 220.
  • the NIF 125 is directly connected to the network 2 and is responsible for communication with other devices in the network 2.
  • the sensor installation device 126 includes the sensors 21, 22 and 23 and is a device for installing in the environment. Since the operations of the self-position estimation program 131 and the movement control program 134 stored in the storage device 130 are the same as those in the first embodiment, detailed description thereof is omitted.
  • FIG. 7 is a flowchart showing the operation of the sound source information acquisition program 132 stored in the storage device 130.
  • the sound source information acquisition program 132 is always operated when the system is used (S201). First, the sound source information acquisition program 132 acquires audio data w t (c) from the microphone 121 (S202). Then, to analyze the acquired speech data w t (c), to obtain the sound source direction A t (S203).
  • the audio data w t (c) is a sample set of waveforms received from the microphone channel c at time t.
  • a t is a set of directions that are considered sound source is present.
  • DOA estimation method for estimating the sound source direction from the microphone array For example, using beam forming, the following equation 4 is obtained.
  • a ( ⁇ ) is a vector representing a transfer function of speech from the direction ⁇ measured in advance
  • * is a convolution calculation symbol
  • T is a power threshold value for determining that a sound source exists.
  • the sound source information acquisition program 132 acquires only sound from the sound source direction ⁇ as sound source direction sound data (S204). For this purpose, a known multi-channel sound source separation method can be used. Further, in order to acquire image data at a position corresponding to the sound source direction ⁇ , a shooting command is transmitted to the camera, and image data is received from the camera (S205). It is easy to calculate and trim the cutout range of received image data from the angle of view of the camera. When the sound source direction ⁇ corresponds to the blind spot of the camera, the following processing regarding image data is ignored.
  • the sound source information acquisition program 132 compares the sound source direction audio data and image data acquired in this way with the entries in the sound source type determination database to estimate the sound source type (S206).
  • the sound source type discrimination database is composed of a plurality of entries. Each entry represents a typical sound source, a sound source waveform model obtained by statistically modeling the sound data emitted by the sound source, a sound source image template storing the appearance of the sound source as a template, a sound source type identifier indicating the sound source type, and the sound source moving Sound source movement information indicating whether the object is movable or immovable is registered.
  • the sound source information acquisition program 132 calculates the degree of coincidence between the sound source direction sound data and the sound source waveform model, and the degree of coincidence between the image data and the sound source image template, and obtains the sound source type identifier and sound source movement information indicated by the entry having the highest degree of coincidence. select.
  • the degree of coincidence between the sound source direction sound data and the sound source waveform model can be calculated by, for example, a known sound matching method using an HMM. Further, the degree of coincidence between the image data and the sound source image template can be calculated by a matching method using, for example, an image feature amount.
  • Sound source information acquisition program 132 is thus estimated sound source direction A t, sound source type identifier, the sound source movement information, and stores the sound source information buffer 142 (S207). Further, when a new sound source is detected, an instruction to install a sensor in the vicinity thereof is transmitted to the sensor installation device.
  • the sound source information acquisition program 132 refers to the sound source position buffer and determines that a new sound source has been detected when the estimated sound source position is not stored in the sound source position buffer.
  • the operation of the sound source position estimation program 133 is substantially the same as that of the first embodiment, but the sound source position estimation program 133 of the second embodiment is such that the sound source movement information of the data recorded as the sound source information in S304 is immobile.
  • the sound source position is estimated.
  • FIG. 8 is a flowchart showing the operation of the sensor data reception program 135 stored in the storage device 130.
  • the sensor data reception program 135 is always operated when this system is used (S501). First, the sensor data reception program 135 compares the audio data in the received sensor data with each entry in the sound source type determination database, and estimates a sound source type identifier and sound source movement information (S502). As this method, the same method as that described in S206 of the sound source information acquisition program 132 can be used. Next, the estimated sound source type identifier and sound source movement information are stored in the sound source information buffer as sound source information (S503).
  • the sound source information transmission program 136 transmits information on the sound source position estimated by the sound source position estimation program 133 to the tablet terminal 31 via the network 2.
  • the sound source information transmission program 136 uses the estimated sound source type identifier, the sound source movement information, the estimated position range determined from the distribution of the intersection set distribution, the sound source image data, the sound source observation time, and the observed sound data as sound source information. You may transmit simultaneously with the information regarding.
  • the sound source information transmission program 136 may simultaneously transmit the map data 143 and the route data 146 as sound source information together with information on the sound source position. As map data and route data, only data near the estimated sound source position may be transmitted.
  • FIG. 9 is an example of a configuration diagram of the sensor 21 of the present embodiment.
  • the configurations of the sensors 22 and 23 are the same as those of the sensor 21.
  • the sensor 21 includes a bus 210, a CPU 220, a microphone 221, a NIF 222, and a storage device 230.
  • the bus 210 connects the CPU 220, the microphone 221, the NIF 222, and the storage device 230 to each other and relays data signals, and can use a standard (such as PCI) used in a general-purpose PC.
  • the CPU 220 sends control commands to the microphone 221, the NIF 222, and the storage device 230 according to the program and controls them, and a general-purpose CPU (for example, SH-4 processor) or a chip controller can be used.
  • the microphone 221 records audio around the sensor. For example, a commercially available condenser microphone and an A / D converter can be used.
  • the NIF 222 is wirelessly connected to the network 2 and is responsible for communication with other devices in the network 2.
  • the present invention is not limited to the wireless connection defined here, and can also be realized by wire.
  • the storage device 230 stores programs and data. For example, a commercially available DRAM or HDD can be used.
  • the voice acquisition / transmission program 231 is operated immediately after the sensor 21 is installed, and transmits the voice data observed by the microphone 221 to the robot 11 through the NIF 222.
  • FIG. 10 is an example of a configuration diagram of the tablet terminal 31 of the present embodiment.
  • the tablet terminal 31 includes a bus 310, a CPU 320, a touch panel 321, a NIF 322, and a storage device 330.
  • the bus 310 connects the CPU 320, the touch panel 321, the NIF 322, and the storage device 330 to each other and relays data signals, and can use a standard (such as PCI) used in a general-purpose PC.
  • the CPU 320 sends control commands to the touch panel 321, NIF 322, and storage device 330 according to the program for control, and a general-purpose CPU (for example, SH-4 processor) or a chip controller can be used.
  • the touch panel 321 is a device that can display visual information to the user in accordance with a display command from the CPU 320, can detect the user's touch, and can inform the CPU 320 of its position.
  • the NIF 322 is directly connected to the network 2 and is responsible for communication with other devices in the network 2.
  • the storage device 330 stores programs and data. For example, a commercially available DRAM or HDD can be used.
  • the user interface program 331 is always operated while the tablet terminal 31 is being activated, and when the sound source information is received from the robot 11, it is displayed on the touch panel 321.
  • the touch panel 321 by the user is detected and touch information is received from the touch panel 321, sound corresponding to the symbol displayed at the position is acquired from the information buffer 332, transmitted to the speaker 323, and reproduced. .
  • FIG. 11 is a display example of the touch panel 321 of the tablet terminal 31 of the present embodiment.
  • the environment map 710 is displayed, and the sound source information is superimposed on each sound source.
  • sound source information symbol images 720, 721, and 722 of sound source type identifiers indicating sound sources are displayed at the positions of the sound sources, and estimated position ranges 730 and 731 determined from the distribution of the intersection set, sound source type identifiers and sound source image data 740 are displayed. indicate.
  • sound source observation times 701, 702, and 703 are displayed on the time axis 700.
  • the sound source position estimation system 1 is configured with the contents described above, the position of the sound source can be accurately measured by the mobile robot, and the self-position estimation accuracy can be further improved. Furthermore, it becomes possible to easily access information about the sound source acquired by the user using the tablet terminal.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Manipulator (AREA)

Abstract

本発明は、空間内を移動するロボットに搭載したマイクを用いて、空間内に存在する音源の位置を、高精度に推定する方法に関する。移動ロボットは、移動ロボットの自己位置を推定する自己位置推定部と、観測した音源の方向情報を取得する音源情報取得部と、前記推定した自己位置と前記音源の方向情報から音源の位置を推定する音源位置推定部と、を備える。

Description

移動ロボット、及び、音源位置推定システム
　本発明は、空間内を移動するロボットに搭載したマイクを用いて、空間内に存在する音源の位置を高精度に推定する方法に関する。
　近年、人間と同じ空間に存在し、移動しながら様々なサービスを提供するサービスロボットが広く開発されている。そのようなロボットには、人間とのコミュニケーション手段としてマイクが搭載されており、音声認識技術などを用いて対話を行えるものもある。また、建物内を巡回し、搭載したカメラやマイクにより異常を検出すると即座に報告する、警備用途のロボットなども開発が進められている。さらに、サービス機能と警備機能を１台でこなし、昼間はサービスを、夜間は警備を行うことで多目的かつ効率的な活用が可能なタイプのロボットも考えられている。
　警備機能を持つロボットが検出すべき異常の種類は、人の警備員と同等以上のものが求められる。したがって、警備中に発生した異音を検出することも当然期待されている。音の異常を検出するためには、観測した音が異常であるかを判断する機能と、音の種類、音が発生した時刻、及び、音の位置を伝達する機能との２種類が不可欠である。
　音の位置を伝達する技術として、マイクを備えた移動ロボットが観測した音声波形から、音源の位置を特定する技術が開発されている。
　特許文献１には、三角測量の原理を用いて音源の位置を正確に計測する方法が開示されている。
特開２０１１－１４９７８２
　しかしながら、三角測量の原理を用いて音源の位置を正確に計測するためには、ロボット自身の位置と、ロボットからみた音源到来方向を、正確に計測する必要がある。ロボット自身の位置を推定する方法は、オドメトリ（odometry）やスキャンマッチングを組み合わせた方法などが考えられている。しかしながら、高速に移動するため車輪すべりの誤差など外乱の影響を受けてオドメトリ情報が正しく得られない場合や、周辺の環境情報が乏しく地図とのマッチングが成功しない場合など、ロボットの位置を正しく推定できない場合が存在する。
　このように移動ロボットにより音源の位置を正確に計測しようとすると、音源到来方向が正しく得られたとしても、ロボットの自己位置が正しく推定できていないと、音源位置は不正確となる問題がある。
　また、ロボットの自己位置の観測と、音源到来方向の観測との同期が十分にとれない場合も、音源位置は正確に推定出来ない。
　上記課題を解決するために、移動ロボットは、ロボットの自己位置を推定する自己位置推定部と、観測した音源の方向情報を取得する音源情報取得部と、前記推定した自己位置と前記音源の方向情報から音源の位置を推定する音源位置推定部と、を備えることを特徴とする。
　本発明によれば、移動ロボットにより音源の位置を正確に計測できる。さらに、ロボットの自己位置の推定精度を向上させることができる。
実施例１の音源位置推定ロボットの構成図の例である。 実施例１の記憶装置１３０に格納された、自己位置推定プログラム１３１の動作を示すフローチャートである。 実施例１の記憶装置１３０に格納された、音源情報取得プログラム１３２の動作を示すフローチャートである。 実施例１の記憶装置１３０に格納された、音源位置推定プログラム１３３の動作を示すフローチャートである。 実施例２の音源位置推定システムの構成図である。 実施例２の音源位置推定ロボット１１の構成図である。 実施例２の記憶装置１３０に格納された、音源情報取得プログラム１３２の動作を示すフローチャートである。 実施例２の記憶装置１３０に格納された、センサデータ受信プログラム１３５の動作を示すフローチャートである。 実施例２のセンサ２１の構成図である。 実施例２のタブレット端末３１の構成図である。 実施例２のタブレット端末３１のタッチパネル３２１の表示例である。 実施例１の音源位置推定プログラムのアルゴリズムを説明する図である。 実施例１の音源位置推定プログラムのアルゴリズムを説明する図である。
　以下、図面を用いて実施例を説明する。
　本実施例では、音源位置推定ロボット１１の例を説明する。
　図１は、本実施例の音源位置推定ロボットの構成図の例である。
　音源位置推定ロボット１は、バス１１０、CPU１２０、マイク１２１、LIDAR１２２、移動装置１２３、記憶装置１３０からなる。 
　バス１１０はCPU１２０、マイク１２１、LIDAR１２２、移動装置１２３、記憶装置１３０を相互に接続しデータ信号を中継するもので、汎用のPCで用いられる規格（PCIなど）を用いることができる。 
　CPU１２０はプログラムに従い、マイク１２１、LIDAR１２２、移動装置１２３、記憶装置１３０に制御コマンドを送り制御するもので、汎用のCPU（例えばSHー４プロセッサ）やチップコントローラを用いることができる。 
　マイク１２１はロボット周辺の音声を収録するもので、例えば市販のコンデンサマイクとA/Dコンバータを用いることができる。 
　LIDAR１２２は可視光線などの電磁波を放射し、その反射波を計測することで、観測平面上の各方向の障害物までの距離を測定する装置である。本実施例では、観測平面は地面と平行であり、方向分解能は１度のものを用いるが、本発明はこの仕様に限定されるものではない。
　記憶装置１３０はプログラムやデータを格納するもので、例えば市販のDRAMやHDDを用いることができる。記憶装置１３０は、自己位置推定プログラム１３１、音源情報取得プログラム１３２、音源位置推定プログラム１３３、移動制御プログラム１３４、自己位置バッファ１４１、音源情報バッファ１４２、地図データ１４３、音源位置バッファ１４４、及び、経路データ１４６を格納する。
　図２は、記憶装置１３０に格納された、自己位置推定プログラム１３１の動作を示すフローチャートである。
　自己位置推定プログラム１３１は、本システムの利用時に常に動作させる(S101)。
　まず、自己位置推定プログラム１３１は、観測平面上の各方向の障害物までの距離を示す距離データL----t(θ)をLIDAR１２２から取得する(S102)。次に、移動装置１３０からオドメトリデータOt={Oxt,Oyt,Oθt}を取得する(S103)。次に、取得した距離データ、オドメトリデータと、自己位置バッファ１４１に記録された過去の自己位置データPt-1、地図データ１４３M(x,y)を用いて、現在の自己位置を推定する(S104)。
　推定方法は、オドメトリ情報を用いたスキャンマッチングによる自己位置推定方式として既知の方法を用いて良い。自己位置Pを仮定したとき、距離データLが示す観測地形と地図データMの自己位置Pでの地形の一致度を示す関数F(P|M,L)を用いて、推定自己位置Pt=argmaxpF(P|M,Lt(θ)) を、PをPt-1+Otを中心とし一定のx,y,θの幅で探索して決定する。
　このように推定した推定自己位置Ptを、自己位置バッファ１４１に格納する (S105)。
　図３は、記憶装置１３０に格納された、音源情報取得プログラム１３２の動作を示すフローチャートである。
　音源情報取得プログラム１３２は、本システムの利用時に常に動作させる(S201)。まず、音源情報取得プログラム１３２は、マイク１２１から音声データwt(c)を取得する(S202)。次に、取得した音声データwt(c)を分析し、音源方向Atを取得する (S203)。音声データwt(c)は、時刻tにおいてマイクチャネルcから受信した波形のサンプル集合である。Atは、音源が存在すると考えられる方向の集合である。音声データwt(c)から音源が存在すると考えられる方向の集合Atを求めるには、マイクロホンアレイから音源方向を推定する既知の音源方向推定手法を用いることができる。例えばビームフォーミングを用いて、下記に示す数１として求める。
Figure JPOXMLDOC01-appb-M000001
ここでa(θ)は予め測定した方向θからの音声の伝達関数を表すベクトル、*は畳み込み演算記号、Tは音源が存在すると判定するパワー閾値である。このように推定した音源方向Atを、音源情報バッファ１４２に格納する (S204)。
　図４は、記憶装置１３０に格納された、音源位置推定プログラム１３３の動作を示すフローチャートである。
　音源位置推定プログラム１３３は、本システムの利用時に常に動作させる(S301)。まず、音源位置推定プログラム１３３は、音源位置推定を行う区間[t1,t2]を決定し、区間[t1,t2]の自己位置データPt1,…,Pt2と音源方向At1,…,At2を自己位置バッファ、音源情報バッファからそれぞれ取得する(S302)。例えば、現在時刻tから10フレーム前までの情報を用いる場合、[t1,t2]=[t-10,t]である。
　次に、音源位置推定プログラム１３３は、予め定めたロボットの移動モデルのパラメータΘを適切に定め、以下の処理を実行する(S303)。まず、パラメータΘにおける音源位置S(Θ)を、自己位置データPt1,…,Pt2と音源方向At1,…,At2から求める(S304)。音源位置を求める具体例を示す。ここでは、パラメータΘは、自己位置データPt1,…,Pt2と音源方向At1,…,At2の観測時刻のずれをtp=αtA+βとして補正するパラメータα,βとする。事前に定めた時間間隔δを用いて、観測データ列Di=(Qi,Bi)(i=1,…,N)を作成する。ここで、Qi=Pαiσ+β、Bi=Aiδである。P,Aの添字がデータとして存在しない場合は、近隣のデータから線形補間した値を用いる。観測データDiは、集合Biの各要素bi,mごとに、座標(Qi x,Qi y)を始点とし、方向Qi θ+bi,mへ伸びる半直線を考えると、それらの半直線の集合を表す。次に、求めた観測データ列の任意の組み合わせDi,Djに対する交点集合を求め、その全体を集めて交点集合T={T1,…,TN}を作成する。交点集合Tの平均から音源位置S(Θ)を下記に示す数２として推定する。
Figure JPOXMLDOC01-appb-M000002
推定方法は、例えば混合ガウス分布を仮定して推定を行い、各ガウス分布の平均値を音源位置とみなしてもよい。
　次に、音源位置の推定誤差から得られるスコアＲ（Θ）を計算する(S305)。具体的には、音源位置の推定誤差から得られるスコアＲ（Θ）は、上記交点全体Tの分散×-1を用いて、下記に示す数３として求める。
Figure JPOXMLDOC01-appb-M000003
本発明はここで定義したスコア計算方法に限定されるものではなく、音源位置の推定誤差から得られる任意のスコアを用いてよい。例えば、音源位置が複数の場合、それぞれの交点が属する音源位置からの分散の和と考えることができる。最後に、まだ探索すべきΘが残っていれば、S303に戻る(S306)。探索すべきすべてのΘについて音源位置S(Θ),音源位置の推定誤差から得られるスコアＲ（Θ）の計算を終えたら、スコアＲ（Θ）を最大とするΘ^が与える音源位置S(Θ^)を、最も確からしい音源位置と推定し、推定した音源位置S(Θ^)を音源位置バッファ１４４に格納する (S307)。音源位置S(Θ^)は、パラメータΘにおける音源位置S(Θ)に対して、パラメータΘ（すなわち、α,β）をパラメータΘ^に補正することにより得られる。
　例として、パラメータΘ=(α=1,β=0)のときと、パラメータΘ=(α=1,β=1)のときの観測データ列Di=(Qi,Bi),交点集合T={T1,…,TN}をそれぞれ図１２、図１３に示す。Tの分散からスコアＲ（Θ）を比較すると、R(α=1,β=1)>R(α=1,β=0)となる。
　最後に、音源位置の推定誤差から得られるスコアを最大とするΘ^, スコアを最大とするΘ^が与える音源位置S(Θ^)から補正自己位置P^を計算し、Ｓ１０５で格納した自己位置バッファ１４１の区間[t1,t2]の自己位置Pを補正自己位置P^で上書きする(S308)。これは、空間内の音源位置を不変と仮定して現在位置を補正することに相当する。
　記憶装置１３０に格納された、移動制御プログラム１３４の動作を説明する。移動制御プログラム１３４は本システムの利用時に常に動作させ、経路データ１４５の内容に従い、移動装置１２３に移動命令を送信することで、ロボット１１全体を移動させる。本発明はここで定義した経路データ１４５を用いる方法に限定されるものではなく、例えばロボット１１に別途通信手段を設け、外部からの指示にしたがい移動装置１２３に移動命令を送信する方法でもよい。
　また、S308にて推定した補正自己位置P^を用いて、自己位置の補正量が一定内に収まるまで再度S301以降のプロセスを実行してもよい。このとき、計算量は増加するが、音源位置と自己位置を交互に繰り返し推定することにより、それぞれの精度が改善されることがある。
　以上により説明した内容で音源位置推定ロボット１１を構成すれば、移動ロボットにより音源の位置を正確に計測でき、さらに自己位置の推定精度を向上させることができる。
　本実施例では、音源位置推定システム１の例を説明する。
　図５は、本実施例の音源位置推定システムの構成図の例である。
　音源位置推定システム１は、ネットワーク２、ロボット１１、センサ２１、２２、２３、タブレット端末３１から構成される。ロボット１１、センサ２１、２２、２３、タブレット端末３１は、それぞれがTCP/IP網であるネットワーク２に接続しており、IPアドレスが割り当てられ、相互に通信可能な状態にある。本発明はここで定義したネットワーク構成やセンサ数に限定されるものではなく、任意の通信ネットワークやセンサ数で実現することが可能である。
　図６は、本実施例の音源位置推定ロボット１１の構成図の例である。
　音源位置推定ロボット１は、実施例１で示した構成に加え、さらにカメラ１２４、NIF１２５、センサ設置装置１２６を備え、それぞれバス１２０に接続されている。カメラ１２５４は、ロボット１１の前方を撮影できるように備え付けられ、撮影命令を受けると撮影した画像データをCPU２２０に送信する。NIF１２５はネットワーク２に直接接続され、ネットワーク２の他の機器との通信を担う。センサ設置装置１２６は、センサ２１，２２，２３を備え、環境内に設置するための装置である。記憶装置１３０に格納された、自己位置推定プログラム１３１、移動制御プログラム１３４の動作は、実施例１と同様であるので、詳細の説明は省略する。
　図７は、記憶装置１３０に格納された、音源情報取得プログラム１３２の動作を示すフローチャートである。
　音源情報取得プログラム１３２は、本システムの利用時に常に動作させる(S201)。まず、音源情報取得プログラム１３２は、マイク１２１から音声データwt(c)を取得する(S202)。次に、取得した音声データwt(c)を分析し、音源方向Atを取得する (S203)。音声データwt(c)は、時刻tにおいてマイクチャネルcから受信した波形のサンプル集合である。Atは、音源が存在すると考えられる方向の集合である。音声データwt(c)から音源が存在すると考えられる方向の集合Atを求めるには、マイクロホンアレイから音源方向を推定する既知の音源方向推定手法を用いることができる。例えばビームフォーミングを用いて、下記に示す数４として求める。
Figure JPOXMLDOC01-appb-M000004
ここでa(θ)は予め測定した方向θからの音声の伝達関数を表すベクトル、*は畳み込み演算記号、Tは音源が存在すると判定するパワー閾値である。
　さらに、音源情報取得プログラム１３２は、音源方向θからの音声のみを音源方向音声データとして取得する(S204)。このためには、既知の多チャンネル音源分離手法を用いることができる。また、音源方向θに相当する位置の画像データを取得するため、カメラに撮影命令を送信し、カメラから画像データを受信する(S205)。カメラの画角から、受信画像データの切り出し範囲を計算しトリミングすることは容易である。音源方向θがカメラの死角にあたる場合は、画像データに関する以下の処理を無視する。
　次に、音源情報取得プログラム１３２は、このように取得した音源方向音声データと画像データを用いて、音源種別判別データベースのエントリと比較を行い、音源種別を推定する(S206)。音源種別判別データベースは、複数のエントリから構成される。各エントリは代表的な音源をあらわし、当該音源が発する音声データを統計モデル化した音源波形モデル、当該音源の外観をテンプレートとして保存した音源画像テンプレート、音源種別を示す音源種別識別子、音源が移動しうるものか不動のものかを表す音源移動情報が登録されている。音源情報取得プログラム１３２は、音源方向音声データと音源波形モデルの一致度、および画像データと音源画像テンプレートとの一致度を計算し、一致度が最大のエントリが示す音源種別識別子、音源移動情報を選択する。音源方向音声データと音源波形モデルの一致度は、例えばHMMを用いた既知の音声マッチング方法により計算できる。また、画像データと音源画像テンプレートの一致度は、例えば画像特徴量を用いたマッチング方法により計算できる。
　音源情報取得プログラム１３２は、このように推定した音源方向At、音源種別識別子、音源移動情報を、音源情報バッファ１４２に格納する (S207)。さらに、新規音源を検出した場合、その近辺にセンサを設置する指示をセンサ設置装置に送信する。音源情報取得プログラム１３２は、音源位置バッファを参照し、推定した音源位置が音源位置バッファに格納されていない場合に新規音源を検出したと判断する。
　記憶装置１３０に格納された、音源位置推定プログラム１３３の動作を説明する。
　音源位置推定プログラム１３３の動作は、実施例１とほぼ同じであるが、実施例２の音源位置推定プログラム１３３は、S304において、音源情報として記録されたデータの音源移動情報が不動であるものに限定して、音源位置の推定を行う。これにより、移動すると推定された音源の位置を、不動と仮定して推定することで誤った音源位置推定が行われ、それにより自己位置推定が狂うことを防ぐことが可能となる。
　図８は、記憶装置１３０に格納された、センサデータ受信プログラム１３５の動作を示すフローチャートである。
　センサデータ受信プログラム１３５は、本システムの利用時に常に動作させる(S501)。まず、センサデータ受信プログラム１３５は、受信したセンサデータ内の音声データを、音源種別判別データベースの各エントリと比較し、音源種別識別子、音源移動情報を推定する(S502)。この方法は、音源情報取得プログラム１３２のS206で説明した方法と同様のものを利用可能である。次に、推定した音源種別識別子、音源移動情報を音源情報として音源情報バッファに格納する(S503)。
　これにより、音源に設置したセンサによる音声情報を用いて、音源情報バッファの音源種別識別子、音源移動情報を、ロボットが音源から離れた場合にも更新しつづけることが可能となる。
　記憶装置１３０に格納された、音源情報送信プログラム１３６の動作を説明する。音源情報送信プログラム１３６は、音源位置推定プログラム１３３で推定した音源位置に関する情報をネットワーク２を介してタブレット端末３１に送信する。音源情報送信プログラム１３６は、推定した音源種別識別子、音源移動情報、交点集合の分布分散から定められる推定位置範囲、音源画像データ、音源の観測時刻、及び、観測した音声データを音源情報として音源位置に関する情報とともに同時に送信してもよい。また、音源情報送信プログラム１３６は、地図データ１４３や経路データ１４６を音源情報として音源位置に関する情報とともに同時に送信してもよい。地図データや経路データは、推定された音源位置付近のデータのみを送信してもよい。
　図９は、本実施例のセンサ２１の構成図の例である。なおセンサ２２，センサ２３の構成はセンサ２１と同様である。
　センサ２１は、バス２１０、CPU２２０、マイク２２１、NIF２２２、記憶装置２３０からなる。バス２１０はCPU２２０、マイク２２１、NIF２２２、記憶装置２３０を相互に接続しデータ信号を中継するもので、汎用のPCで用いられる規格（PCIなど）を用いることができる。CPU２２０はプログラムに従い、マイク２２１、NIF２２２、記憶装置２３０に制御コマンドを送り制御するもので、汎用のCPU（例えばSHー４プロセッサ）やチップコントローラを用いることができる。マイク２２１はセンサ周辺の音声を収録するもので、例えば市販のコンデンサマイクとA/Dコンバータを用いることができる。NIF２２２はネットワーク２に無線で接続され、ネットワーク２の他の機器との通信を担う。本発明はここで定義した無線による接続に限定されるものではなく、有線でも実現可能である。記憶装置２３０はプログラムやデータを格納するもので、例えば市販のDRAMやHDDを用いることができる。
　記憶装置２３０に格納された、音声取得送信プログラム２３１の動作を説明する。
　音声取得送信プログラム２３１は、センサ２１が設置された直後から動作させ、マイク２２１で観測した音声データを、NIF２２２を通して、ロボット１１に送信する。
　図１０は、本実施例のタブレット端末３１の構成図の例である。
　タブレット端末３１は、バス３１０、CPU３２０、タッチパネル３２１、NIF３２２、記憶装置３３０からなる。 バス３１０はCPU３２０、タッチパネル３２１、NIF３２２、記憶装置３３０を相互に接続しデータ信号を中継するもので、汎用のPCで用いられる規格（PCIなど）を用いることができる。 CPU３２０はプログラムに従い、タッチパネル３２１、NIF３２２、記憶装置３３０に制御コマンドを送り制御するもので、汎用のCPU（例えばSHー４プロセッサ）やチップコントローラを用いることができる。 タッチパネル３２１はCPU３２０からの表示命令に従い利用者に視覚的情報を表示し、さらに利用者のタッチを検出してCPU３２０にその位置を伝えることが可能な装置である。NIF３２２はネットワーク２に直接接続され、ネットワーク２の他の機器との通信を担う。記憶装置３３０はプログラムやデータを格納するもので、例えば市販のDRAMやHDDを用いることができる。
　記憶装置３３０に格納された、ユーザ・インタフェースプログラム３３１の動作を説明する。
　ユーザ・インタフェースプログラム３３１はタブレット端末３１の起動中に常に動作させ、ロボット１１から音源情報を受信すると、タッチパネル３２１に表示する。また、利用者によるタッチパネル３２１へのタッチが検出され、タッチパネル３２１からタッチ情報を受信すると、当該位置に表示されたシンボルに対応する音声を情報バッファ３３２から取得し、スピーカ３２３に送信し、再生する。
　図１１は、本実施例のタブレット端末３１のタッチパネル３２１の表示例である。
　環境地図７１０を表示し、その上に音源ごとに音源情報を重ねて表示する。音源情報は、音源の位置に音源を示す音源種別識別子のシンボル画像７２０，７２１，７２２を表示し、交点集合の分布分散から定められる推定位置範囲７３０，７３１、音源種別識別子と音源画像データ７４０を表示する。また、音源の観測時刻７０１，７０２，７０３を時間軸７００上に表示する。
　以上により説明した内容で音源位置推定システム１を構成すれば、移動ロボットにより音源の位置を正確に計測でき、さらに自己位置の推定精度を向上させることができる。さらに、タブレット端末を用いて利用者がロボットにより取得した音源に関する情報に容易にアクセスすることが可能となる。
　
１１　ロボット
２１　センサ
２２　センサ
２３　センサ
３１　タブレット端末
１２０　ＣＰＵ
１２１　マイク
１２２　ＬＩＤＡＲ
１２３　移動装置
１２５　ＮＩＦ
１２６　センサ設置装置
１３０　記憶装置
２２０　ＣＰＵ
２２１　マイク
２２２　ＮＩＦ
２３０　記憶装置
３２０　ＣＰＵ
３２１　タッチパネル
３２２　ＮＩＦ
３２３　スピーカ
３３０　記憶装置

Claims (16)

  1. 　移動ロボットであって、
    　ロボットの自己位置を推定する自己位置推定部と、
    　観測した音源の方向情報を取得する音源情報取得部と、
    　前記推定した自己位置と前記音源の方向情報から音源の位置を推定する音源位置推定部と、を備えることを特徴とする移動ロボット。
  2. 　請求項１に記載の移動ロボットであって、
    　前記自己位置推定部は、前記推定した音源位置に基づいて、前記自己位置を補正することを特徴とする移動ロボット。
  3. 　請求項２に記載の移動ロボットであって、
    　前記音源位置推定部は、
    　前記補正した自己位置を用いて音源位置を推定することを特徴とする移動ロボット。
  4. 　請求項１に記載の移動ロボットであって、
    　前記自己位置の補正は、前記自己位置推定部で推定した自己位置推定に用いた観測データの観測時刻と前記観測した音源の観測時刻との観測時刻のずれを補正するものであることを特徴とする移動ロボット。
  5. 　請求項４に記載の移動ロボットであって、
    　前記音源位置推定部は、前記推定した自己位置と前記音源の方向情報とに基づいて予め定めたロボットの移動モデルのパラメータを補正することで前記音源の位置を推定し、
    　前記自己位置推定部は、前記推定した音源の位置に基づいて、前記自己位置を補正することを特徴とする移動ロボット。
  6. 　請求項１に記載の移動ロボットであって、
    　前記音源取得部は、前記音源が移動し得るもとか不動のものかを推定し、
    　前記音源位置推定部は、前記音源が不動のものである音源の方向情報に基づいて、前記音源位置を推定することを特徴とする移動ロボット。
  7. 　請求項６に記載の移動ロボットであって、
    　前記音源情報取得部は、前記音源の種別に基づいて、前記音源が移動し得るもとか不動のものかを推定することを特徴とする移動ロボット。
  8. 　請求項７に記載の移動ロボットであって、
    　音源種別毎に音源波形モデルを保持する音源種別判別データベースを備え、
    　前記音源情報取得部は、前記観測した音源と前記音源種別判別データベースの音源波形モデルの一致度が最大の源波形モデルの音源種別を前記観測した音源の音源種別と推定することを特徴とする移動ロボット。
  9. 　請求項８に記載の移動ロボットであって、
    　該移動ロボットは、カメラを備え、
    　前記音源種別判別データベースは、さらに、前記音源波形モデル毎に音源画像テンプレートを保持し、
    　前記音源情報取得部は、前記カメラで撮影した画像と前記音源画像テンプレートとの画像特徴量の一致度に基づいて、前記音源の音源種別を特定することを特徴とする移動ロボット。
  10. 　請求項１に記載の移動ロボットであって、
    　空間内にセンサ装置を設置するセンサ設置部を備え、
    　前記音源位置推定部は、新たな音源位置を検出したとき、当該音源近辺にセンサ装置を設置する指示を前記センサ設置部に送信することを特徴とする移動ロボット。
  11. 　移動ロボットと、端末上で動作するプログラムと、を含む音源位置推定システムであって、
    　前記移動ロボットは、
    　ロボットの自己位置を推定する自己位置推定部と、観測した音源の方向情報を取得する音源情報取得部と、
    　前記推定した自己位置と前記音源の方向情報から音源の位置を推定する音源位置推定部と、
    　前記推定した音源位置を送信する音源情報送信部と、を備え、
    　前記端末上で動作するプログラムは、前記音源位置を地図データとともに該端末に表示させることを特徴とする音源位置推定システム。
  12. 　請求項１１に記載の音源位置推定システムであって、
    　前記音源情報送信部は、推定した音源位置とともに音源の種別を送信し、
    前記プログラムは、前記音源位置を前記音源の種別とともに該端末に表示させることを特徴とする音源位置推定システム。
  13. 　請求項１１に記載の音源位置推定システムであって、
    　前記音源情報送信部は、音源の存在可能性が高い領域を示す推定位置範囲を送信し、
    前記プログラムは、前記推定位置範囲を該端末に表示させることを特徴とする音源位置推定システム。
  14. 　前記音源情報送信部は、前記推定した音源位置の音源の音源種別識別子を送信し、
    　前記プログラムは、前記音源種別識別子に対応するシンボル画像を前記音源位置に表示させることを特徴とする請求項１３に記載の音源位置推定システム。
  15. 　前記音源情報送信部は、観測した音源の音声データ、撮影された画像データを送信し、
    　前記プログラムは、前記音源の音声データを該端末から出力させる、または、前記画像を前記端末に表示させることを特徴とする請求項１１に記載の音源位置推定システム。
  16. 　請求項１に記載の移動ロボットであって、
    　前記音源位置推定部は、前記複数の音源観測データ及び複数の自己位置推定結果に基づいて推定した複数の音源位置を推定し、該推定した音源位置の分散が最小となる位置を音源位置と推定することを特徴とする移動ロボット。
PCT/JP2013/061008 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム WO2014167700A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380077331.9A CN105283775B (zh) 2013-04-12 2013-04-12 移动机器人以及音源位置推定系统
JP2015511040A JP6157598B2 (ja) 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム
US14/783,008 US9989626B2 (en) 2013-04-12 2013-04-12 Mobile robot and sound source position estimation system
PCT/JP2013/061008 WO2014167700A1 (ja) 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/061008 WO2014167700A1 (ja) 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム

Publications (1)

Publication Number Publication Date
WO2014167700A1 true WO2014167700A1 (ja) 2014-10-16

Family

ID=51689133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061008 WO2014167700A1 (ja) 2013-04-12 2013-04-12 移動ロボット、及び、音源位置推定システム

Country Status (4)

Country Link
US (1) US9989626B2 (ja)
JP (1) JP6157598B2 (ja)
CN (1) CN105283775B (ja)
WO (1) WO2014167700A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043235A1 (ja) * 2016-08-29 2018-03-08 Ｇｒｏｏｖｅ Ｘ株式会社 音源の方向を認識する自律行動型ロボット
CN107972042A (zh) * 2017-11-24 2018-05-01 合肥博焱智能科技有限公司 基于人工智能的泳池救援机器人救援方法及装置
JP2018165759A (ja) * 2017-03-28 2018-10-25 カシオ計算機株式会社 音声検出装置、音声検出方法、及びプログラム
JP2019505047A (ja) * 2016-01-28 2019-02-21 クアルコム，インコーポレイテッド ドローン飛行制御
JP2019160289A (ja) * 2018-03-07 2019-09-19 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
WO2021053949A1 (ja) 2019-09-17 2021-03-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979862B2 (en) 2014-06-10 2021-04-13 Pb Inc. Tracking device system
US11145183B2 (en) 2014-06-10 2021-10-12 PB, Inc Tracking device programs, systems and methods
US10937286B2 (en) 2014-06-10 2021-03-02 Pb Inc. Radiobeacon data sharing by forwarding low energy transmissions to a cloud host
US11792605B2 (en) 2014-06-10 2023-10-17 PB, Inc. Tracking device systems
US10453473B2 (en) * 2016-12-22 2019-10-22 AIRSHARE, Inc. Noise-reduction system for UAVs
CN109257558A (zh) * 2017-07-12 2019-01-22 中兴通讯股份有限公司 会议电视的音视频采集方法、装置和终端设备
EP3678385B1 (en) * 2017-08-30 2023-01-04 Panasonic Intellectual Property Management Co., Ltd. Sound pickup device, sound pickup method, and program
JP6859235B2 (ja) * 2017-09-07 2021-04-14 本田技研工業株式会社 音響処理装置、音響処理方法及びプログラム
EP3739415A4 (en) * 2018-01-09 2021-03-03 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
KR102115222B1 (ko) 2018-01-24 2020-05-27 삼성전자주식회사 사운드를 제어하는 전자 장치 및 그 동작 방법
EP3849754A1 (en) 2018-09-13 2021-07-21 The Charles Stark Draper Laboratory, Inc. Manipulating fracturable and deformable materials using articulated manipulators
US11184858B2 (en) 2018-09-18 2021-11-23 PB, Inc. Bluecell devices and methods
US11678141B2 (en) 2018-09-18 2023-06-13 Pb Inc. Hybrid cellular Bluetooth tracking devices, methods and systems
KR20200093094A (ko) * 2019-01-10 2020-08-05 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20190089125A (ko) * 2019-07-09 2019-07-30 엘지전자 주식회사 커뮤니케이션 로봇 및 그의 구동 방법
KR102227489B1 (ko) * 2019-07-10 2021-03-15 김영언 음원 시각화 장치 및 방법
CN111489753B (zh) * 2020-06-24 2020-11-03 深圳市友杰智新科技有限公司 抗噪声的声源定位方法、装置和计算机设备
CN112420083B (zh) * 2020-10-23 2022-07-22 东风汽车股份有限公司 一种车载影音12v、24v电源通用控制系统及方法
CN112671622B (zh) * 2020-12-24 2022-06-14 珠海格力电器股份有限公司 基于智能移动设备的安全监控方法、装置和智能移动设备
KR20240076871A (ko) * 2022-11-23 2024-05-31 삼성전자주식회사 맵을 이용하여 공간을 주행하는 로봇 및 그의 위치 식별 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152470A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 自己診断機能付きロボット
JP2007264472A (ja) * 2006-03-29 2007-10-11 Toshiba Corp 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム
JP2009162413A (ja) * 2007-12-28 2009-07-23 Ihi Corp 狙撃手検知装置
JP2009531697A (ja) * 2006-03-31 2009-09-03 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 複数の方位線からの物体の位置特定の方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54106183A (en) * 1978-02-08 1979-08-20 Tech Res & Dev Inst Of Japan Def Agency Orientating device for radiation source position
KR100763901B1 (ko) * 2005-01-26 2007-10-05 삼성전자주식회사 이동체 제어 장치 및 방법
US20060245601A1 (en) * 2005-04-27 2006-11-02 Francois Michaud Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering
WO2007129731A1 (ja) * 2006-05-10 2007-11-15 Honda Motor Co., Ltd. 音源追跡システム、方法、およびロボット
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
JP2011149782A (ja) 2010-01-20 2011-08-04 National Institute Of Advanced Industrial Science & Technology パーティクルフィルタリングによる移動ロボットからの２次元音源地図作成方法
JP2012073088A (ja) * 2010-09-28 2012-04-12 Sony Corp 位置情報提供装置、位置情報提供方法、位置情報提供システム、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152470A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 自己診断機能付きロボット
JP2007264472A (ja) * 2006-03-29 2007-10-11 Toshiba Corp 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム
JP2009531697A (ja) * 2006-03-31 2009-09-03 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 複数の方位線からの物体の位置特定の方法及び装置
JP2009162413A (ja) * 2007-12-28 2009-07-23 Ihi Corp 狙撃手検知装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019505047A (ja) * 2016-01-28 2019-02-21 クアルコム，インコーポレイテッド ドローン飛行制御
WO2018043235A1 (ja) * 2016-08-29 2018-03-08 Ｇｒｏｏｖｅ Ｘ株式会社 音源の方向を認識する自律行動型ロボット
GB2567600A (en) * 2016-08-29 2019-04-17 Groove X Inc Autonomous behavior robot recognizing direction of sound source
GB2567600B (en) * 2016-08-29 2022-05-04 Groove X Inc Autonomously acting robot that recognizes direction of sound source
US11376740B2 (en) 2016-08-29 2022-07-05 Groove X, Inc. Autonomously acting robot that recognizes direction of sound source
JP2018165759A (ja) * 2017-03-28 2018-10-25 カシオ計算機株式会社 音声検出装置、音声検出方法、及びプログラム
CN107972042A (zh) * 2017-11-24 2018-05-01 合肥博焱智能科技有限公司 基于人工智能的泳池救援机器人救援方法及装置
JP2019160289A (ja) * 2018-03-07 2019-09-19 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP7225763B2 (ja) 2018-03-07 2023-02-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
WO2021053949A1 (ja) 2019-09-17 2021-03-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2014167700A1 (ja) 2017-02-16
CN105283775B (zh) 2018-04-06
US9989626B2 (en) 2018-06-05
JP6157598B2 (ja) 2017-07-05
US20160103202A1 (en) 2016-04-14
CN105283775A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
JP6157598B2 (ja) 移動ロボット、及び、音源位置推定システム
CN109901139B (zh) 激光雷达标定方法、装置、设备和存储介质
EP3118705B1 (en) Map production method, mobile robot, and map production system
US20180154901A1 (en) Method and system for localizing a vehicle
KR101286169B1 (ko) 무선 통신 단말의 위치 측정 장치, 위치 측정 방법 및 핑거프린트 정보 수집 방법, 핑거프린트 서버 및 그의 위치 제공 방법
KR20110134228A (ko) 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
KR20130134916A (ko) 차량 주변의 이동체 감지 장치 및 방법
KR20140033277A (ko) Ｖ2ｖ 통신 기반 차량 식별 장치 및 그 식별 방법
JPWO2014115563A1 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
JP7113611B2 (ja) 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法
JP5775965B2 (ja) ステレオカメラシステム及び移動体
US11820001B2 (en) Autonomous working system, method and computer readable recording medium
GB2602588A (en) Electronic device for automated user identification
JP2020143901A (ja) 移動体の位置測定システム
KR20150066182A (ko) 정밀 위치 설정 장치 및 방법
CN106200654A (zh) 无人机飞行速度的控制方法和装置
KR101519266B1 (ko) 실내 차량 위치 측정방법
KR101711156B1 (ko) 단말 식별자를 이용한 영상 보안 시스템 및 방법
KR101775510B1 (ko) 실내 위치 측정 장치 및 방법
TW201621273A (zh) 行動定位裝置及其定位方法
KR101593679B1 (ko) 실내 위치 추정 방법 및 장치
JP7375304B2 (ja) 電波センサ状態の評価装置、電波センサシステム、電波センサの評価方法、コンピュータプログラム、及び電波センサの調整方法
KR20190073719A (ko) 복수 지도를 이용한 전역 지도 통합 시스템 및 방법 그리고 그 통합 기준 장치
KR102432430B1 (ko) 차량 및 차량의 제어방법
KR101248308B1 (ko) 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380077331.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13881548

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015511040

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14783008

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13881548

Country of ref document: EP

Kind code of ref document: A1