JP4797330B2 - ロボット - Google Patents
ロボット Download PDFInfo
- Publication number
- JP4797330B2 JP4797330B2 JP2004064601A JP2004064601A JP4797330B2 JP 4797330 B2 JP4797330 B2 JP 4797330B2 JP 2004064601 A JP2004064601 A JP 2004064601A JP 2004064601 A JP2004064601 A JP 2004064601A JP 4797330 B2 JP4797330 B2 JP 4797330B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- microphone
- robot
- target
- noise source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims 2
- 238000001514 detection method Methods 0.000 description 52
- 230000005236 sound signal Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
Description
本発明は、マイクロフォンを通じて信号を入力するロボットに関する。
ロボットの動作を決定する手段として、マイクロフォンから入力された信号を用いる手法がある。
このようなロボットとしては、後記特許文献１や、後記特許文献２等に、話者近傍に置かれたマイクロフォンから入力された信号を用いて音声認識を行うロボットが開示されている。また、マイクロフォンから入力された信号を、処理せずにそのまま、別の装置に伝達することもできる。なお、ここでいうマイクロフォンは、音響信号を電気信号に変換する一般的な素子（トランスデューサ）を指し、通常のマイクロフォンとしての形状を有するものに限定されない。例えば、スピーカは電気信号を音響信号に変換する素子として知られているが、スピーカの出力をインピーダンス変換してマイクロフォンとして利用することも可能であり、このような利用法や極薄セラミック板を用いた振動子なども含めて、マイクロフォンと総称する。
図９は、これらに代表される従来のロボットの構成を示す図である。
このロボットは、音響−電気変換した信号を出力するマイクロフォン１と、供給された信号に対して認識結果を出力する音声認識回路４と、前記認識結果を受けて動作制御信号を出力する動作制御回路５と、前記動作制御信号を受けて動作を行う動作手段６と、で構成され、前記マイクロフォン１の出力信号を音声認識回路４に供給することにより、マイクロフォン近傍で発した目標信号に基づき、ロボットの動作を決定することが可能となる。
特開２００３−３２６４７９号公報（第７頁、第１図）
特開２０００−３２６２７４号公報（第７頁、第１図）
特開平１０−２１５１９４号公報（第９頁、第１図）
しかしながら、このようなロボットでは、周囲に目標信号以外の信号が存在する場合は、目標信号を正確に取得することが困難となり、例えばロボットの動作が正しく行われないという問題を有している。
その理由は、目標信号が発生した時に、同時に目標以外の信号が存在すると、目標信号と目標以外の信号の混在信号がマイクロフォン１に入力されるためである。
したがって、本発明の目的は、周囲に目標以外の信号が存在する場合においても、精度の高い目標信号を得ることが可能なロボットを提供することにある。
上記目的を達成するため、請求項１記載の発明では、主として目標とする信号を集音する第１のマイクロフォン（(図１の１)と、主として目標以外の信号を集音する第２のマイクロフォン（図１の２）と、を備えることを特徴としている。
本発明では、第２のマイクロフォンが目標以外の信号を集音することにより、目標信号と、目標以外の信号の区別が可能となる。
請求項２記載の発明では、前記第１のマイクロフォンで集音された信号と、前記第２のマイクロフォンで集音された信号とを用いて、目標以外の信号を低減した信号を求めることを特徴としている。
具体的には、前記第１のマイクロフォンで集音された信号と、前記第２のマイクロフォンで集音された信号と、から目標以外の信号を低減した信号を求める信号処理回路（図１の３）を備える。
本発明では、前記第２のマイクロフォンが目標以外の信号を集音し、前記第１のマイクロフォンに混入する目標以外の信号を低減することにより、周囲に目標以外の信号が存在する場合においても、目標信号を正確に取得し、正しく動作を行うことが可能となる。
請求項３記載の発明では、前記信号処理回路を、前記第１のマイクロフォンで集音された信号と、前記第２のマイクロフォンで集音された信号とを用いる適応フィルタとすることを特徴としている。
本発明では、適応フィルタを用いることにより、周囲の環境が変化した場合においても、
適応的に目標以外の信号を低減することが可能となる。
適応的に目標以外の信号を低減することが可能となる。
請求項４記載の発明では、目標信号を用いて、音声認識を行うことを特徴としている。
本発明では、目標信号による音声認識を行うことで、音声によりロボットの操作を行うことが可能となる。
請求項５記載の発明では、前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が、異なる方向を向いて設置されることを特徴としている。
本発明では、前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が異なることにより、目標信号以外の方向から発生する目標以外の信号を低減することが可能となる。
請求項６記載の発明では、前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が、９０度以上の角度を成す方向を向いて設置されることを特徴としている。
本発明では、前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が９０度以上の角度を成すことにより、前記第２のマイクロフォンに混入する目標信号の影響を軽減することが可能となる。
請求項７記載の発明では、前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が、反対の方向を向いて設置されることを特徴としている。
本発明では、前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が反対の方向を向くことにより、前記第２のマイクロフォンに混入する目標信号の影響を最小限とすることが可能となる。
請求項８記載の発明では、前記第１のマイクロフォンがロボットの前面に設置され、前記第２のマイクロフォンがロボットの後面に設置されることを特徴としている。
本発明では、前記第１のマイクロフォンがロボットの前面に設置され、前記第２のマイクロフォンがロボットの後面に設置されることにより、ロボット前方および後方から発生する目標信号および目標以外の信号を集音し、目標以外の信号を低減することが可能となる。
請求項９記載の発明では、マイクロフォンがロボットの前面及び後面に設置され、一方のマイクロフォンが主として目標とする信号を集音し、他方のマイクロフォンが主として目標以外の信号を集音することを特徴としている。
本発明では、マイクロフォンがロボットの前面及び後面に設置され、一方のマイクロフォンが主として目標信号を集音し、他方のマイクロフォンが主として目標以外の信号を集音することにより、ロボット前方または後方から発生する目標信号および目標以外の信号を集音し、目標以外の信号を低減することが可能となる。
請求項１０記載の発明では、前記第１のマイクロフォンの方向が、目標信号の発生源の方向に一致するように動作することを特徴としている。
具体的には、前記第１のマイクロフォンが設置された動作可能な動作部（図４の１１）を備える。
本発明では、前記第１のマイクロフォンの方向が目標信号の発生源の方向に一致するように動作することにより、ロボットに対してどの方向から目標信号が発生した場合でも、前記第１のマイクロフォンは主として目標信号を集音することが可能となる。
請求項１１記載の発明では、音響信号情報を用いて、前記目標信号の発生源の方向を同定することを特徴としている。
本発明では、音響信号情報を用いて目標信号の発生源の方向を同定することにより、目標信号の発生した方向から目標信号を集音することが可能となる。
請求項１２記載の発明では、画像信号情報を用いて、前記目標信号の発生源の方向を同定することを特徴としている。
本発明では、画像信号情報を用いて目標信号の発生源の方向を同定することにより、目標信号の発生した方向から目標信号を集音することが可能となる。
請求項１３記載の発明では、音響信号情報及び画像信号情報を用いて、前記目標信号の発生源の方向を同定することを特徴としている。
本発明では音響信号情報及び画像信号を用いて目標信号の発生源の方向を同定することにより、目標信号の発生した方向から目標信号を集音することが可能となる。
請求項１４記載の発明では、前記第２のマイクロフォンの方向が、目標以外の信号の発生源の方向に一致するように動作することを特徴としている。
具体的には、前記第２のマイクロフォンが設置された動作可能な動作部（図５の１１）を備える。
本発明では、前記第２のマイクロフォンの方向が目標以外の信号の発生源の方向に一致するように動作することにより、ロボットに対してどの方向から目標以外の信号が発生した場合でも、前記第２のマイクロフォンは主として目標以外の信号を集音することが可能となる。
請求項１５記載の発明では、音響信号情報を用いて、前記目標以外の信号の発生源の方向を同定することを特徴としている。
本発明では、音響信号情報を用いて目標以外の信号の発生源の方向を同定することにより、目標以外の信号の発生した方向から目標以外の信号を集音することが可能となる。
請求項１６記載の発明では、画像信号情報を用いて、前記目標以外の信号の発生源の方向を同定することを特徴としている。
本発明では、画像信号情報を用いて目標以外の信号の発生源の方向を同定することにより、目標以外の信号の発生した方向から目標以外の信号を集音することが可能となる。
請求項１７記載の発明では、音響信号情報及び画像信号情報を用いて、前記目標以外の信号の発生源の方向を同定することを特徴としている。
本発明では、音響信号情報及び画像信号情報を用いて目標以外の信号の発生源の方向を同定することにより、目標以外の信号の発生した方向から目標以外の信号を集音することが可能となる。
請求項１８記載の発明では、前記第１のマイクロフォンが、目標信号の発生源に近づくように動作することを特徴としている。
本発明では、前記第１のマイクロフォンが目標信号の発生源に近づくことにより、ロボットの遠方から目標信号が発生した場合でも、前記第１のマイクロフォンは主として目標信号を集音することが可能となる。
請求項１９記載の発明では、前記第２のマイクロフォンが、目標以外の信号の発生源に近づくように動作することを特徴としている。
本発明では、前記第２のマイクロフォンが目標以外の信号の発生源に近づくことにより、
ロボットの遠方から目標以外の信号が発生した場合でも、前記第２のマイクロフォンは主として目標以外の信号を集音することが可能となる。
ロボットの遠方から目標以外の信号が発生した場合でも、前記第２のマイクロフォンは主として目標以外の信号を集音することが可能となる。
請求項２０記載の発明では、前記第１のマイクロフォンが、複数のマイクロフォンから構成されたマイクロフォン群であることを特徴としている。
本発明では、前記第1のマイクロフォンを複数のマイクロフォンから構成されたマイクロフォン群とすることにより、前記マイクロフォン群により特定される方向から目標信号を集音することが可能となる。
請求項２１記載の発明では、前記第２のマイクロフォンが、複数のマイクロフォンから構成されたマイクロフォン群であることを特徴とする。
本発明では、前記第２のマイクロフォンを複数のマイクロフォンから構成されたマイクロフォン群とすることにより、前記マイクロフォン群により特定される方向から目標以外の信号を集音することが可能となる。
本発明によれば、周囲に目標以外の信号が存在する場合において、目標信号を取得するマイクロフォンとは異なるマイクロフォンを用いて目標以外の信号を取得し、取得した信号を用いて、目標信号を取得するマイクロフォンの受音信号に混入する目標以外の信号を低減することにより、精度の高い目標信号を得るロボットを実現することが可能となる。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
（第一の実施の形態）
以下では、本発明に係るロボットを、音声信号を処理する装置として実施した形態について説明する。
以下では、本発明に係るロボットを、音声信号を処理する装置として実施した形態について説明する。
［構成の説明］
図１を参照すると、本発明の第１の実施の形態に係るロボットは、ロボット前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
図１を参照すると、本発明の第１の実施の形態に係るロボットは、ロボット前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
次に、本発明に係るロボットの動作について説明する。
［動作の説明］
本発明の第１の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第１の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
また、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン１と前記マイクロフォン２の間の音響経路を近似する第１の適応フィルタを用いて第１の入力信号から第１の擬似受音信号を生成し、前記第２の受音信号から前記第１の擬似受音信号を減算して第２の入力信号を生成し、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する第２の適応フィルタを用いて前記第２の入力信号から第２の擬似受音信号を生成し、前記第１の受音信号から前記第２の擬似受音信号を減算した差信号を生成して前記第１の入力信号とし、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行うことが可能であることも、前記特許文献３等に開示されている。
本発明の第１の実施の形態におけるロボットは、以上のような構成および動作により、マイクロフォン１がロボット前方から到来する目標信号を受音した場合に、前記マイクロフォン１の受音信号に混入したロボット後方から到来する雑音信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。
なお、ここでいうロボット前方とは、ロボットからみてロボットを使用する時に通常ユーザが存在する方向のことを指し、ロボット後方とは、前記ロボット前方の指す方向と反対の方向のことを指し、ロボット前面とは、ロボットにおける前記ロボット前方に向く部分のことを指し、ロボット後面とは、ロボットにおける前記ロボット後方に向く部分のことを指す。
（第二の実施の形態）
次に、本発明の他の実施の形態について図面を参照して詳細に説明する。
［構成の説明］
図２を参照すると、本発明の第２の実施の形態に係るロボットは、ロボット前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、人物検出手段７と、入力切替装置８と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
次に、本発明の他の実施の形態について図面を参照して詳細に説明する。
［構成の説明］
図２を参照すると、本発明の第２の実施の形態に係るロボットは、ロボット前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、人物検出手段７と、入力切替装置８と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［動作の説明］
本発明の第２の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物検出方向を生成し、入力切替回路８は、前記第１の受音信号と、前記第２の受音信号と、前記人物検出方向と、を受け、前記人物検出方向がロボットの前方であるときには、前記第１の受音信号を第１の出力信号として出力し、前記第２の受音信号を第２の出力信号として出力し、前記人物検出方向がロボットの後方であるときには、前記第２の受音信号を第１の出力信号として出力し、前記第１の受音信号を第２の出力信号として出力し、信号処理回路３は、前記第１の出力信号と、前記第２の出力信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の出力信号から擬似受音信号を生成し、前記第１の出力信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第２の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物検出方向を生成し、入力切替回路８は、前記第１の受音信号と、前記第２の受音信号と、前記人物検出方向と、を受け、前記人物検出方向がロボットの前方であるときには、前記第１の受音信号を第１の出力信号として出力し、前記第２の受音信号を第２の出力信号として出力し、前記人物検出方向がロボットの後方であるときには、前記第２の受音信号を第１の出力信号として出力し、前記第１の受音信号を第２の出力信号として出力し、信号処理回路３は、前記第１の出力信号と、前記第２の出力信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の出力信号から擬似受音信号を生成し、前記第１の出力信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第２の実施の形態におけるロボットは、以上のような構成および動作により、ロボット前方に目標信号源が存在し、マイクロフォン１が前記目標信号を受音した場合には、マイクロフォン１の受音信号に混入したロボット後方から到来する雑音信号を低減した精度の高い目標信号を得ることが可能となり、ロボット後方に目標信号源が存在し、マイクロフォン２が前記目標信号を受音した場合には、マイクロフォン２の受音信号に混入したロボット前方から到来する雑音信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。
また、目標信号源の方向が入れ替わった場合には、入力信号の切り替えによる対応が可能となり、ロボットの動作を必要としないためロボットの動作時間に比べ短時間での切り替えが可能となる。
（第三の実施の形態）
［構成の説明］
図３を参照すると、本発明の第３の実施の形態に係るロボットは、ロボット前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、雑音源検出手段９と、入力切替装置１０と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［構成の説明］
図３を参照すると、本発明の第３の実施の形態に係るロボットは、ロボット前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、雑音源検出手段９と、入力切替装置１０と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［動作の説明］
本発明の第３の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源方向を生成し、入力切替回路１０は、前記第１の受音信号と、前記第２の受音信号と、前記雑音源方向と、を受け、前記雑音源方向がロボットの後方であるときには、前記第１の受音信号を第１の出力信号として出力し、前記第２の受音信号を第２の出力信号として出力し、前記雑音源方向がロボットの後方であるときには、
前記第２の受音信号を第１の出力信号として出力し、前記第１の受音信号を第２の出力信号として出力し、信号処理回路３は、前記第１の出力信号と、前記第２の出力信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の出力信号から擬似受音信号を生成し、前記第１の出力信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第３の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源方向を生成し、入力切替回路１０は、前記第１の受音信号と、前記第２の受音信号と、前記雑音源方向と、を受け、前記雑音源方向がロボットの後方であるときには、前記第１の受音信号を第１の出力信号として出力し、前記第２の受音信号を第２の出力信号として出力し、前記雑音源方向がロボットの後方であるときには、
前記第２の受音信号を第１の出力信号として出力し、前記第１の受音信号を第２の出力信号として出力し、信号処理回路３は、前記第１の出力信号と、前記第２の出力信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の出力信号から擬似受音信号を生成し、前記第１の出力信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第３の実施の形態におけるロボットは、以上のような構成および動作により、ロボット後方に存在する雑音源が目標以外の信号を発生し、ロボット前方から到来する目標信号をマイクロフォン１が受音した場合には、ロボット後方から到来してマイクロフォン１の受音信号に混入する雑音信号を低減した精度の高い目標信号を得ることが可能となり、ロボット前方に存在する雑音源が目標以外の信号を発生し、ロボット後方から到来する目標信号をマイクロフォン２が受音した場合には、ロボット前方から到来してマイクロフォン２の受音信号に混入する雑音信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。また、雑音源の方向が入れ替わった場合には、入力信号の切り替えによる対応が可能となり、ロボットの動作を必要としないためロボットの動作時間に比べ短時間での切り替えが可能となる。
（第四の実施の形態）
［構成の説明］
図４を参照すると、本発明の第４の実施の形態に係るロボットは、動作部１１と、前記動作部１１前面に配置されたマイクロフォン１と、前記動作部１１後面に配置されたマイクロフォン２と、人物検出手段７と、動作制御回路１２と、動作手段１３と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［構成の説明］
図４を参照すると、本発明の第４の実施の形態に係るロボットは、動作部１１と、前記動作部１１前面に配置されたマイクロフォン１と、前記動作部１１後面に配置されたマイクロフォン２と、人物検出手段７と、動作制御回路１２と、動作手段１３と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［動作の説明］
本発明の第４の実施の形態に係るロボットにおいて、マイクロフォン１は、主として動作部１１前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主として動作部１１後方より到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物位置情報を生成し、動作制御回路１２は、前記人物位置情報を受け、マイクロフォン１の方向が前記人物位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１３は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第４の実施の形態に係るロボットにおいて、マイクロフォン１は、主として動作部１１前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主として動作部１１後方より到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物位置情報を生成し、動作制御回路１２は、前記人物位置情報を受け、マイクロフォン１の方向が前記人物位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１３は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第４の実施の形態におけるロボットは、以上のような構成および動作により、ロボットの周囲に目標信号源が存在し、マイクロフォン１が前記目標信号を受音した場合に、ロボットからみて人物と反対の方向から到来してマイクロフォン１の受音信号に混入する雑音信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。
なお、ここでいうマイクロフォンの方向とは、マイクロフォンの集音範囲のうち利得が最も高い方向のことを指し、マイクロフォン単体での集音範囲に限定されず、装置等に取り付けた状態における集音範囲の利得が最も高い方向も含む。
（第五の実施の形態）
［構成の説明］
図５を参照すると、本発明の第５の実施の形態に係るロボットは、動作部１１と、前記動作部１１前面に配置されたマイクロフォン１と、前記動作部１１後面に配置されたマイクロフォン２と、雑音源検出手段９と、動作制御回路１４と、動作手段１５と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［構成の説明］
図５を参照すると、本発明の第５の実施の形態に係るロボットは、動作部１１と、前記動作部１１前面に配置されたマイクロフォン１と、前記動作部１１後面に配置されたマイクロフォン２と、雑音源検出手段９と、動作制御回路１４と、動作手段１５と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［動作の説明］
本発明の第５の実施の形態に係るロボットにおいて、マイクロフォン１は、主として動作部１１前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主として動作部１１後方より到来する音響信号から第２の受音信号を生成し、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源位置情報を生成し、動作制御回路１４は、前記雑音源位置情報を受け、マイクロフォン２の方向が前記雑音源位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１５は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第５の実施の形態に係るロボットにおいて、マイクロフォン１は、主として動作部１１前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主として動作部１１後方より到来する音響信号から第２の受音信号を生成し、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源位置情報を生成し、動作制御回路１４は、前記雑音源位置情報を受け、マイクロフォン２の方向が前記雑音源位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１５は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第５の実施の形態におけるロボットは、以上のような構成および動作により、ロボットの周囲に目標以外の信号を発生する雑音源が存在し、ロボットからみて雑音源と反対の方向から到来する目標信号をマイクロフォン１が受音した場合に、前記雑音源から到来してマイクロフォン１の受音信号に混入する雑音信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。
（第六の実施の形態）
［構成の説明］
図６を参照すると、本発明の第６の実施の形態に係るロボットは、動作部１１と、前記動作部１１前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、人物検出手段７と、動作制御回路１２と、動作手段１３と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［構成の説明］
図６を参照すると、本発明の第６の実施の形態に係るロボットは、動作部１１と、前記動作部１１前面に配置されたマイクロフォン１と、ロボット後面に配置されたマイクロフォン２と、人物検出手段７と、動作制御回路１２と、動作手段１３と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［動作の説明］
本発明の第六の実施の形態に係るロボットにおいて、マイクロフォン１は、主として動作部１１前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物位置情報を生成し、動作制御回路１２は、前記人物位置情報を受け、マイクロフォン１の方向が前記人物位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１３は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第六の実施の形態に係るロボットにおいて、マイクロフォン１は、主として動作部１１前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主としてロボット後方より到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物位置情報を生成し、動作制御回路１２は、前記人物位置情報を受け、マイクロフォン１の方向が前記人物位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１３は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第６の実施の形態におけるロボットは、以上のような構成および動作により、ロボットの周囲に目標信号源が存在し、マイクロフォン１が前記目標信号を受音した場合に、ロボットの後方から到来してマイクロフォン１の受音信号に混入する雑音信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。
（第七の実施の形態）
［構成の説明］
図７を参照すると、本発明の第７の実施の形態に係るロボットは、動作部１１と、前記ロボット前面に配置されたマイクロフォン１と、前記動作部１１後面に配置されたマイクロフォン２と、雑音源検出手段９と、動作制御回路１４と、動作手段１５と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［構成の説明］
図７を参照すると、本発明の第７の実施の形態に係るロボットは、動作部１１と、前記ロボット前面に配置されたマイクロフォン１と、前記動作部１１後面に配置されたマイクロフォン２と、雑音源検出手段９と、動作制御回路１４と、動作手段１５と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［動作の説明］
本発明の第７の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主として動作部１１後方より到来する音響信号から第２の受音信号を生成し、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源位置情報を生成し、動作制御回路１４は、前記雑音源位置情報を受け、マイクロフォン２の方向が前記雑音源位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１５は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第７の実施の形態に係るロボットにおいて、マイクロフォン１は、主としてロボット前方より到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、主として動作部１１後方より到来する音響信号から第２の受音信号を生成し、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源位置情報を生成し、動作制御回路１４は、前記雑音源位置情報を受け、マイクロフォン２の方向が前記雑音源位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１５は、前記動作制御信号を受け、前記動作部１１の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第７の実施の形態におけるロボットは、以上のような構成および動作により、ロボットの周囲に目標以外の信号を発生する雑音源が存在し、ロボット前方から到来する目標信号をマイクロフォン１が受音した場合に、マイクロフォン１の受音信号に混入した前記雑音源が発する目標以外の信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。
（第八の実施の形態）
［構成の説明］
図８を参照すると、本発明の第８の実施の形態に係るロボットは、動作部１１と、動作部１６と、前記動作部１１に配置されたマイクロフォン１と、前記動作部１６に配置されたマイクロフォン２と、人物検出手段７と、動作制御回路１２と、動作手段１３と、雑音源検出手段９と、動作制御回路１４と、動作手段１５と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［構成の説明］
図８を参照すると、本発明の第８の実施の形態に係るロボットは、動作部１１と、動作部１６と、前記動作部１１に配置されたマイクロフォン１と、前記動作部１６に配置されたマイクロフォン２と、人物検出手段７と、動作制御回路１２と、動作手段１３と、雑音源検出手段９と、動作制御回路１４と、動作手段１５と、信号処理回路３と、音声認識回路４と、動作制御回路５と、動作手段６と、で構成される。
［動作の説明］
本発明の第８の実施の形態に係るロボットにおいて、マイクロフォン１は、到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物位置情報を生成し、動作制御回路１２は、前記人物位置情報を受け、マイクロフォン１の方向が前記人物位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１３は、前記動作制御信号を受け、前記動作部１１の動作を行い、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源位置情報を生成し、動作制御回路１４は、前記雑音源位置情報を受け、マイクロフォン２の方向が前記雑音源位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１５は、前記動作制御信号を受け、前記動作部１６の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第８の実施の形態に係るロボットにおいて、マイクロフォン１は、到来する音響信号から第１の受音信号を生成し、マイクロフォン２は、到来する音響信号から第２の受音信号を生成し、人物検出手段７は、ロボット周囲の人物を検出して人物位置情報を生成し、動作制御回路１２は、前記人物位置情報を受け、マイクロフォン１の方向が前記人物位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１３は、前記動作制御信号を受け、前記動作部１１の動作を行い、雑音源検出手段９は、ロボット周囲の雑音源を検出して雑音源位置情報を生成し、動作制御回路１４は、前記雑音源位置情報を受け、マイクロフォン２の方向が前記雑音源位置情報に対して適切な位置になるように動作制御信号を生成し、動作手段１５は、前記動作制御信号を受け、前記動作部１６の動作を行い、信号処理回路３は、前記第１の受音信号と、前記第２の受音信号を受け、前記マイクロフォン２と前記マイクロフォン１の間の音響経路を近似する適応フィルタを用いて前記第２の受音信号から擬似受音信号を生成し、前記第１の受音信号から前記擬似受音信号を減算した差信号を生成し、音声認識回路４は、前記差信号を受け、音声認識結果を生成し、動作制御回路５は、前記音声認識結果を受け、動作制御信号を生成し、動作手段６は、前記動作制御信号を受け、動作を行う。
本発明の第８の実施の形態におけるロボットは、以上のような構成および動作により、ロボットの周囲に目標信号を発生する目標信号源と、目標以外の信号を発生する雑音源が存在し、目標以外の信号がマイクロフォン１の受音信号に混入する場合に、目標以外の信号を低減した精度の高い目標信号を得ることが可能となり、認識率が向上する。
本発明の実施例について図面を参照して説明する。以下では、本発明を、音声信号を処理するロボットに適用した各種実施例について、図面を参照しながら詳細に説明する。
図１は、本発明の第１の実施例の構成を示す図である。本発明の第1の実施例によるロボットは、図９に示した従来のロボットに対して、さらに、マイクロフォン２と、信号処理回路３を備えている。
なお、図１において、図９の要素と同一または同等の要素には、同一の参照符号が付されている。
本発明の第１の実施例において、マイクロフォン１は、ロボット前面に設置され、主としてロボット前方から到来する音響信号を音響−電気変換した信号を出力する。
マイクロフォン２は、ロボット後面に設置され、主としてロボット後方から到来する音響信号を音響−電気変換した信号を出力する。
このような配置とすることにより、前記マイクロフォン１は、ユーザが目標信号を発生させる確率が最も高い方向から到来する音響信号を取得することが可能となり、前記マイクロフォン２は、ユーザが目標信号を発生させる確率が最も低い方向から到来する音響信号を取得することが可能となる。
信号処理回路３は、主信号Xp(k)と参照信号Xr(k)を入力とし、前記参照信号Xr(k)の入力端子に到来する音響信号が前記主信号Xp(k)の入力端子に到達するまでの音響経路のインパルス応答を近似する適応フィルタを用いて、前記参照信号Xr(k)から前記主信号Xp(k)に混入する擬似信号を生成し、前記主信号Xp(k)から前記推定信号を差し引いた差信号を出力する。
本実施例においては、マイクロフォン１の出力信号が前記主信号Xp(k)として供給され、マイクロフォン２の出力信号が前記参照信号Xr(k)として供給され、前記差信号を、音声認識回路４に供給する。
これ以外の構成は、図９に示した構成と同様である。
以上説明したような構成により、本発明の第1実施例によるロボットでは、ロボット前方より目標信号を発し、ロボット後方より目標以外の信号が発したときには、マイクロフォン１の出力信号に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
また、マイクロフォン１とマイクロフォン２の設置位置は、マイクロフォン１の方向と、マイクロフォン２の方向が、ロボットに対して正対する方向となる配置が最良の配置であり、９０度以上の角度を成す配置であることが望ましいが、マイクロフォン１とマイクロフォン２の方向が一致しない範囲で種々変形実施が可能である。
図２は、本発明の第２の実施例の構成を示す図である。
図２において図１に示した要素と同一または同等の要素には、同一の参照符号が付されている。
図２を参照すると、本発明の第２の実施例によるロボットは、図１に示した前記第１の実施例のロボットに対して、さらに、人物検出手段７と、入力切替回路８を備えており、これ以外の構成は、図１に示した前記第１の実施例と同様である。
以下、人物検出手段７と、入力切替回路８について説明し、同一要素の説明は省略する。
人物検出手段７は、例えば、ビデオカメラ、デジタルＣＣＤカメラ等により取得した画像を画像処理することにより、人物の顔の大きさ、目の位置等に基づき、映像を取得している範囲内に人物がいるかどうかの判断を行う。
人物検出手段７は、人物を検出したときには、人物検出方向を出力する。
入力切替回路８は、前記人物検出方向と、マイクロフォン１の出力信号と、マイクロフォン２の出力信号と、を受け、前記人物検出方向がロボットの前方であるときには、マイクロフォン１の出力信号を前記信号処理回路３に主信号Xp(k)として供給し、マイクロフォン２の出力信号を前記信号処理回路３に参照信号Xｒ(k)として供給する。
前記人物検出方向がロボットの後方であるときには、マイクロフォン２の出力信号を前記信号処理回路３に主信号Xp(k)として供給し、マイクロフォン１の出力信号を前記信号処理回路３に参照信号Xｒ(k)として供給する。
以上説明したような構成により、本発明の第２の実施例によるロボットでは、人物がロボット前方から目標信号を発し、ロボット後方より目標以外の信号が発したときには、マイクロフォン１に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、人物がロボット後方から目標信号を発し、ロボット前方より目標以外の信号が発したときたときには、マイクロフォン２に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
また、人物検出手段７は、赤外線センサ等を用いる構成としても実現が可能である。
図３は、本発明の第３の実施例の構成を示す図である。
図３において図１および図２の要素と同一同等の要素には同一の参照符号が付されている。
図３を参照すると、本発明の第３の実施例によるロボットは、図２の構成の、人物検出手段７と、入力切替回路８に代えて、雑音源検出手段９と、入力切替回路１０を備えており、これ以外は、図２に示した前記第２の実施例と同様である。
以下、雑音源検出手段９と、入力切替回路１０について説明する。
雑音源検出手段９は、例えば、ビデオカメラ、デジタルＣＣＤカメラ等により取得した画像を画像処理することにより、テレビ画面の矩形、明るさ等に基づき、映像を取得している範囲内にテレビがあるかどうかの判断を行う。
雑音源検出手段９は、テレビを検出したときには、雑音源検出方向を出力する。
入力切替回路１０は、前記雑音源検出方向と、マイクロフォン１の出力信号と、マイクロフォン２の出力信号と、を受け、前記雑音源検出方向がロボットの後方であるときには、マイクロフォン１の出力信号を前記信号処理回路３に主信号Xp(k)として供給し、マイクロフォン２の出力信号を前記信号処理回路３に参照信号Xｒ(k)として供給する。
前記雑音源検出方向がロボットの前方であるときには、マイクロフォン２の出力信号を前記信号処理回路３に主信号Xp(k)として供給し、マイクロフォン１の出力信号を前記信号処理回路３に参照信号Xｒ(k)として供給する。
以上説明したような構成により、本発明の第３の実施例によるロボットでは、雑音源がロボット後方から目標以外の信号を発し、ロボット前方より目標信号が発したときには、マイクロフォン１に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、雑音源がロボット前方から目標以外の信号を発し、ロボット後方より目標信号が発したときには、マイクロフォン２に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
また、雑音源検出手段９は、テレビ以外の雑音源を検出する構成としても実現が可能である。
さらに、雑音源検出手段９は、雑音源にあらかじめ無線機器等を設置し、前記無線機器の発生する信号に基づき、雑音源の方向を検出する構成としても実現が可能である。
図４は、本発明の第４の実施例の構成を示す図である。
図４において図１および図２に示した要素と同一または同等の要素には、同一の参照符号が付されている。
図４を参照すると、本発明の第４の実施例によるロボットは、図２に示した前記第２の実施例のロボットから、入力切替回路８を省略し、動作部１１と、動作制御回路１２と、動作手段１３と、を備えている。
本発明の第４の実施例において、マイクロフォン１は、動作部１１前方に設置され、主として前記動作部１１の前方から到来する音響信号を音響−電気変換した信号を出力し、前記信号処理回路３の主信号Xp(k)として供給する。
マイクロフォン２は、前記動作部１１の後方に設置され、主として前記動作部１１の後方から到来する音響信号を音響−電気変換した信号を出力し、前記信号処理回路３の参照信号Xｒ(k)として供給する。
動作制御回路１２は、前記人物検出手段７の出力する人物検出方向を受け、前記マイクロフォン１の方向が前記人物検出方向に一致するように動作制御信号を出力する。
なお、ここでいう方向に一致するとは、検出精度や動作精度によるずれも許容するものである。
動作手段１３は、前記動作制御信号を受け、前記動作部１１を回転させる。これ以外の構成は、図１および図２に示した前記実施例と同様である。
以上説明したような構成により、本発明の第４の実施例によるロボットでは、人物が目標信号を発し、ロボットからみて人物の方向以外の方向から目標以外の信号が発したときには、マイクロフォン１に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
図５は、本発明の第５の実施例の構成を示す図である。
図５において図１および図３に示した要素と同一または同等の要素には、同一の参照符号が付されている。
図５を参照すると、本発明の第５の実施例によるロボットは、図３に示した前記第３の実施例のロボットから、入力切替回路１０を省略し、動作部１１と、動作制御回路１４と、動作手段１５と、を備えている。
本発明の第５の実施例において、マイクロフォン１は、動作部１１前方に設置され、主として前記動作部１１の前方から到来する音響信号を音響−電気変換した信号を出力し、前記信号処理回路３の主信号Xp(k)として供給する。
マイクロフォン２は、前記動作部１１の後方に設置され、主として前記動作部１１の後方から到来する音響信号を音響−電気変換した信号を出力し、前記信号処理回路３の参照信号Xｒ(k)として供給する。
動作制御回路１４は、前記雑音源検出手段１１の出力する雑音源検出方向を受け、前記マイクロフォン２の方向が前記雑音源検出方向に一致するように動作制御信号を出力する。
動作手段１５は、前記動作制御信号を受け、前記動作部１１を回転させる。これ以外の構成は、図１および図３に示した前記実施例と同様である。
以上説明したような構成により、本発明の第５の実施例によるロボットでは、雑音源が目標以外の信号を発し、ロボットからみて雑音源の方向以外の方向から目標信号を発したときには、マイクロフォン１に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
図６は、本発明の第６の実施例の構成を示す図である。図６において図４に示した要素と同一または同等の要素には、同一の参照符号が付されている。
図６を参照すると、本発明の第６の実施例によるロボットは、図４の構成において、マイクロフォン２が動作部１１ではなくロボット後方に設置される構成であり、これ以外は、図４に示した前記第４の実施例と同様である。
以上説明したような構成により、本発明の第６の実施例によるロボットでは、人物がマイクロフォン２の方向以外の方向から目標信号を発し、ロボット後方から目標以外の信号が発したときには、マイクロフォン１に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
図７は、本発明の第７の実施例の構成を示す図である。図７において図５に示した要素と同一または同等の要素には、同一の参照符号が付されている。
図７を参照すると、本発明の第７の実施例によるロボットは、図５の構成の、マイクロフォン１が動作部１１ではなくロボット前方に設置される構成であり、これ以外は、図５に示した前記第５の実施例と同様である。
以上説明したような構成により、本発明の第７の実施例によるロボットでは、人物がロボット前方から目標信号を発し、雑音源がマイクロフォン１の方向以外の方向から目標以外の信号を発したときには、マイクロフォン１に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
図８は、本発明の第８の実施例の構成を示す図である。図８において図６に示した要素と同一または同等の要素には、同一の参照符号が付されている。
図８を参照すると、本発明の第８の実施例によるロボットは、図６に示した第６の実施例にのロボットに対して、さらに、雑音源検出手段９と、動作制御部１４と、動作手段１５と、動作部１６とを備え、マイクロフォン２が前記動作部１６に設置される構成であり、これ以外は、図６に示した前記第６の実施例と同様である。
雑音検出手段９と、動作制御回路１４は前記第７の実施例と同様である。
動作主段１５は、前記動作制御回路１４の出力する動作制御信号を受け、前記動作部１６の動作を行う。
以上説明したような構成により、本発明の第８の実施例によるロボットでは、人物が目標信号を発し、雑音源がマイクロフォン１の方向以外の方向から目標以外の信号を発したときには、マイクロフォン１に混入する目標以外の信号の影響を軽減した信号が音声認識回路４に供給されることとなり、認識率が向上し、正確な動作が可能となる。
また、前記第１から第８に記載の何れの実施例においても、マイクロフォン１と、マイクロフォン２を、複数のマイクロフォン群から構成された特定の方向の信号を取得するマイクロフォンアレイとする構成としても実現が可能であるまた、前記第４、６、８に記載の実施例の何れの実施例においても、さらに、前記人物検出手段７が、人物を検出したときには、人物距離を出力し、前記動作制御回路１２が、前記人物検出手段７の出力する人物距離を受け、マイクロフォン１と人物の距離が一定以下の距離になるように動作制御信号を出力し、前記動作手段１３が、前記動作制御信号を受け、前記マイクロフォン１を移動させる構成としてもよい。
また、前記動作制御回路１２が、前記人物検出手段７の出力する人物距離を受け、マイクロフォン２と人物の距離が一定以上の距離になるように動作制御信号を出力し、前記マイクロフォン２を移動させる構成としてもよい。
また、前記第５、７、８に記載の実施例の何れの実施例においても、さらに、前記雑音源検出手段９が、雑音源を検出したときには、雑音源距離を出力し、前記動作制御回路１４が、前記雑音源検出手段９の出力する雑音源検出距離を受け、マイクロフォン２と雑音源の距離が一定以下の距離となるように動作制御信号を出力し、前記動作手段１５が、前記動作制御信号を受け、前記マイクロフォン２を移動させる構成としてもよい。
また、前記動作制御回路１４が、前記雑音源検出手段９の出力する雑音源検出距離を受け、マイクロフォン１と雑音源の距離が一定以上の距離となるように動作制御信号を出力し、前記動作手段１５が、前記動作制御信号を受け、前記マイクロフォン１を移動させる構成としてもよい。
１、 ２ マイクロフォン
３ 信号処理回路
４ 音声認識回路
５、１２、１４ 動作制御回路
６、１３、１５ 動作手段
７ 人物検出手段
８、１０ 入力切替回路
９ 雑音源検出手段
１１、１６ 動作部
３ 信号処理回路
４ 音声認識回路
５、１２、１４ 動作制御回路
６、１３、１５ 動作手段
７ 人物検出手段
８、１０ 入力切替回路
９ 雑音源検出手段
１１、１６ 動作部
Claims (14)
- ロボットであって、
第１のマイクロフォンと、
前記第１のマイクロフォンとは異なる方向を向いている第２のマイクロフォンと、
前記ロボットの周囲を撮像して画像信号情報を生成する撮像手段と、
を備え、
前記画像信号情報を用いて、目標信号の発生源としての人物の方向を同定し、
前記画像信号情報を用いて、目標以外の信号の発生源である雑音源の方向を同定し、
前記人物の方向及び前記雑音源の方向に基づいて、前記第１のマイクロフォンおよび前記第２のマイクロフォンの一方から出力される信号を、目標とする信号である主信号として設定し、前記第１のマイクロフォンおよび前記第２のマイクロフォンの他方から出力される信号を、目標以外の信号を示す参照信号として設定し、
前記主信号と前記参照信号を用いて、前記目標以外の信号を低減した信号を求めることを特徴とするロボット。 - 適応フィルタを用いて、前記参照信号を修正し、前記目標以外の信号を低減した信号を求めることを特徴とする請求項１に記載のロボット。
- 前記目標以外の信号を低減した信号を用いて、音声認識を行うことを特徴とする請求項１又は２記載のロボット。
- 前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が、９０度以上の角度を成す方向を向いて設置されることを特徴とする請求項１から３の何れか一に記載のロボット。
- 前記第１のマイクロフォンの方向と、前記第２のマイクロフォン方向が、反対の方向を向いて設置されることを特徴とする請求項１から４の何れか一に記載のロボット。
- 前記第１のマイクロフォンがロボットの前面に設置され、前記第２のマイクロフォンがロボットの後面に設置されることを特徴とする請求項１から５の何れか一に記載のロボット。
- 前記第１のマイクロフォンおよび前記第２のマイクロフォンの前記一方の方向が、目標信号の発生源の方向に一致するように動作することを特徴とする請求項１から６の何れか一に記載のロボット。
- 音響信号情報及び前記画像信号情報を用いて、前記目標信号の発生源の方向を同定することを特徴とする請求項１から７のいずれか一に記載のロボット。
- 前記第１のマイクロフォンおよび前記第２のマイクロフォンの前記他方の方向が、目標以外の信号の発生源の方向に一致するように動作することを特徴とする請求項１から８の何れか一に記載のロボット。
- 音響信号情報及び前記画像信号情報を用いて、前記目標以外の信号の発生源の方向を同定することを特徴とする請求項１から９のいずれか一に記載のロボット。
- 前記第１のマイクロフォンは、前記第２のマイクロフォンよりも前記人物の近くに位置し、
前記第２のマイクロフォンは、前記第１のマイクロフォンよりも前記雑音源の近くに位置し、
前記第１のマイクロフォンおよび前記第２のマイクロフォンが、前記人物に対する前記第１のマイクロフォンおよび前記第２のマイクロフォンの相対位置を維持したまま、前記人物に近づくように動作することを特徴とする請求項２に記載のロボット。 - 前記第１のマイクロフォンは、前記第２のマイクロフォンよりも前記人物の近くに位置し、
前記第２のマイクロフォンは、前記第１のマイクロフォンよりも前記雑音源の近くに位置し、
前記第１のマイクロフォンおよび前記第２のマイクロフォンが、前記雑音源に対する前記第１のマイクロフォンおよび前記第２のマイクロフォンの相対位置を維持したまま、前記雑音源に近づくように動作することを特徴とする請求項２に記載のロボット。 - 前記第１のマイクロフォンが、複数のマイクロフォンから構成されたマイクロフォン群であることを特徴とする請求項１から１２の何れか一に記載のロボット。
- 前記第２のマイクロフォンが、複数のマイクロフォンから構成されたマイクロフォン群であることを特徴とする請求項１から１３の何れか一に記載のロボット。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004064601A JP4797330B2 (ja) | 2004-03-08 | 2004-03-08 | ロボット |
| US10/933,405 US7366309B2 (en) | 2004-03-08 | 2004-09-03 | Robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004064601A JP4797330B2 (ja) | 2004-03-08 | 2004-03-08 | ロボット |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005250397A JP2005250397A (ja) | 2005-09-15 |
| JP4797330B2 true JP4797330B2 (ja) | 2011-10-19 |
Family
ID=34909360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004064601A Expired - Lifetime JP4797330B2 (ja) | 2004-03-08 | 2004-03-08 | ロボット |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7366309B2 (ja) |
| JP (1) | JP4797330B2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7215786B2 (en) * | 2000-06-09 | 2007-05-08 | Japan Science And Technology Agency | Robot acoustic device and robot acoustic system |
| GB0426448D0 (en) * | 2004-12-02 | 2005-01-05 | Koninkl Philips Electronics Nv | Position sensing using loudspeakers as microphones |
| JP4564447B2 (ja) * | 2004-12-14 | 2010-10-20 | 本田技研工業株式会社 | 自律移動ロボット |
| WO2007080886A1 (ja) * | 2006-01-11 | 2007-07-19 | Nec Corporation | 音声認識装置、音声認識方法、および音声認識プログラム、ならびに妨害軽減装置、妨害軽減方法、および妨害軽減プログラム |
| JP5018773B2 (ja) | 2006-05-26 | 2012-09-05 | 日本電気株式会社 | 音声入力システム、対話型ロボット、音声入力方法、および、音声入力プログラム |
| JP4757786B2 (ja) * | 2006-12-07 | 2011-08-24 | Ｎｅｃアクセステクニカ株式会社 | 音源方向推定装置、音源方向推定方法、及びロボット装置 |
| JP4829184B2 (ja) * | 2007-07-23 | 2011-12-07 | クラリオン株式会社 | 車載装置および音声認識方法 |
| US20120045068A1 (en) * | 2010-08-20 | 2012-02-23 | Korea Institute Of Science And Technology | Self-fault detection system and method for microphone array and audio-based device |
| WO2012096072A1 (ja) * | 2011-01-13 | 2012-07-19 | 日本電気株式会社 | 音声処理装置及びその制御方法とその制御プログラムを格納した記憶媒体、該音声処理装置を備えた車両、情報処理装置及び情報処理システム |
| US20130282370A1 (en) * | 2011-01-13 | 2013-10-24 | Nec Corporation | Speech processing apparatus, control method thereof, storage medium storing control program thereof, and vehicle, information processing apparatus, and information processing system including the speech processing apparatus |
| TWI593294B (zh) * | 2013-02-07 | 2017-07-21 | 晨星半導體股份有限公司 | 收音系統與相關方法 |
| TW201434600A (zh) * | 2013-03-01 | 2014-09-16 | Compal Electronics Inc | 具有可因應不同聲音信號產生相對應肢體動作之機器人 |
| JP6439687B2 (ja) * | 2013-05-23 | 2018-12-19 | 日本電気株式会社 | 音声処理システム、音声処理方法、音声処理プログラム、音声処理システムを搭載した車両、および、マイク設置方法 |
| JP6645129B2 (ja) * | 2015-11-04 | 2020-02-12 | 株式会社リコー | 通信装置、制御方法及び制御プログラム |
| CN107283430A (zh) * | 2016-03-30 | 2017-10-24 | 芋头科技（杭州）有限公司 | 一种机器人结构 |
| KR101827276B1 (ko) * | 2016-05-13 | 2018-03-22 | 엘지전자 주식회사 | 전자 장치 및 그 제어 방법 |
| US10531187B2 (en) * | 2016-12-21 | 2020-01-07 | Nortek Security & Control Llc | Systems and methods for audio detection using audio beams |
| TWI649576B (zh) * | 2017-06-19 | 2019-02-01 | 佐臻股份有限公司 | 可分辨聲源方位以提升接收效果的收音裝置 |
| CN111788043A (zh) * | 2018-03-30 | 2020-10-16 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| JP7079160B2 (ja) * | 2018-06-29 | 2022-06-01 | キヤノン株式会社 | 集音装置、集音装置の制御方法 |
| US11425494B1 (en) * | 2019-06-12 | 2022-08-23 | Amazon Technologies, Inc. | Autonomously motile device with adaptive beamforming |
| JP2021021852A (ja) * | 2019-07-29 | 2021-02-18 | シャープ株式会社 | 音声認識装置、電子機器、制御方法および制御プログラム |
| US20220343890A1 (en) * | 2021-04-22 | 2022-10-27 | Uavpatent Corp. | Drone sound beam |
| US11657829B2 (en) | 2021-04-28 | 2023-05-23 | Mitel Networks Corporation | Adaptive noise cancelling for conferencing communication systems |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3128870B2 (ja) * | 1991-07-04 | 2001-01-29 | ソニー株式会社 | ノイズ低減装置 |
| JPH06133198A (ja) * | 1992-10-21 | 1994-05-13 | Sony Corp | 撮像装置 |
| JP2758846B2 (ja) * | 1995-02-27 | 1998-05-28 | 埼玉日本電気株式会社 | ノイズキャンセラ装置 |
| JP2930101B2 (ja) | 1997-01-29 | 1999-08-03 | 日本電気株式会社 | 雑音消去装置 |
| JPH11109987A (ja) * | 1997-10-03 | 1999-04-23 | Nec Home Electron Ltd | 音声認識装置 |
| JP3344647B2 (ja) * | 1998-02-18 | 2002-11-11 | 富士通株式会社 | マイクロホンアレイ装置 |
| JP4196431B2 (ja) * | 1998-06-16 | 2008-12-17 | パナソニック株式会社 | 機器内蔵型マイクロホン装置及び撮像装置 |
| JP2000089799A (ja) * | 1998-09-09 | 2000-03-31 | Clarion Co Ltd | 音声認識システム及び方法並びに音声認識用ソフトウェアを記録した記録媒体 |
| KR100332966B1 (ko) * | 1999-05-10 | 2002-05-09 | 김일천 | 음성인식 대화형 인형완구 및 그 제어방법 |
| JP2000326274A (ja) * | 1999-05-24 | 2000-11-28 | Nec Corp | 自律行動ロボット |
| GB9922654D0 (en) * | 1999-09-27 | 1999-11-24 | Jaber Marwan | Noise suppression system |
| JP2001169158A (ja) * | 1999-12-07 | 2001-06-22 | Sharp Corp | 携帯画像記録装置 |
| US6462498B1 (en) * | 2000-05-09 | 2002-10-08 | Andrew J. Filo | Self-stabilizing walking apparatus that is capable of being reprogrammed or puppeteered |
| JP4742415B2 (ja) * | 2000-10-11 | 2011-08-10 | ソニー株式会社 | ロボット制御装置およびロボット制御方法、並びに記録媒体 |
| US6963649B2 (en) * | 2000-10-24 | 2005-11-08 | Adaptive Technologies, Inc. | Noise cancelling microphone |
| JP2002172575A (ja) * | 2000-12-07 | 2002-06-18 | Fanuc Ltd | 教示装置 |
| JP2003066986A (ja) * | 2001-08-23 | 2003-03-05 | Sharp Corp | 音声認識ロボット |
| JP2003122394A (ja) * | 2001-10-16 | 2003-04-25 | Yamatake Corp | 識別対象を認識する方法と装置及び該装置を搭載したロボット |
| JP4210897B2 (ja) * | 2002-03-18 | 2009-01-21 | ソニー株式会社 | 音源方向判断装置及び音源方向判断方法 |
| KR100499124B1 (ko) * | 2002-03-27 | 2005-07-04 | 삼성전자주식회사 | 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법 |
| JP2003326479A (ja) | 2003-05-26 | 2003-11-18 | Nec Corp | 自律行動ロボット |
-
2004
- 2004-03-08 JP JP2004064601A patent/JP4797330B2/ja not_active Expired - Lifetime
- 2004-09-03 US US10/933,405 patent/US7366309B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005250397A (ja) | 2005-09-15 |
| US7366309B2 (en) | 2008-04-29 |
| US20050195989A1 (en) | 2005-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4797330B2 (ja) | ロボット | |
| KR101761312B1 (ko) | 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법 | |
| US10097921B2 (en) | Methods circuits devices systems and associated computer executable code for acquiring acoustic signals | |
| US10206030B2 (en) | Microphone array system and microphone array control method | |
| US8275145B2 (en) | Vehicle communication system | |
| JP5855571B2 (ja) | オーディオズーム | |
| JP4348706B2 (ja) | アレイ装置および携帯端末 | |
| CN102696239B (zh) | 一种设备 | |
| EP1286328B1 (en) | Method for improving near-end voice activity detection in talker localization system utilizing beamforming technology | |
| JP4296197B2 (ja) | 音源追跡のための配置及び方法 | |
| JP5857674B2 (ja) | 画像処理装置、及び画像処理システム | |
| CN100370830C (zh) | 用于音频/图像的说话者检测和定位的方法和装置 | |
| JP4887968B2 (ja) | 音声会議装置 | |
| US8711219B2 (en) | Signal processor and signal processing method | |
| JP2007228070A (ja) | テレビ会議装置 | |
| JP2009225379A (ja) | 音声処理装置、音声処理方法、音声処理プログラム | |
| JP2010154260A (ja) | 音声識別装置 | |
| JP5045938B2 (ja) | 音源方向検出方法、装置及びプログラム | |
| JP2011087218A (ja) | 拡声システム | |
| JP2015166854A (ja) | 投影装置の投影制御装置、投影装置の投影制御方法、投影システム、投影システムの投影制御方法及びプログラム | |
| TW201127081A (en) | Microphone apparatus and sound processing method | |
| JP2008116534A (ja) | 音声通信装置 | |
| US10225670B2 (en) | Method for operating a hearing system as well as a hearing system | |
| JP4757786B2 (ja) | 音源方向推定装置、音源方向推定方法、及びロボット装置 | |
| JPH1118193A (ja) | 受話状態検出方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110718 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4797330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |