JP7010291B2

JP7010291B2 - 収音装置、移動体、および収音方法

Info

Publication number: JP7010291B2
Application number: JP2019529390A
Authority: JP
Inventors: 光平金森; 訓史鵜飼
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2022-01-26
Anticipated expiration: 2037-07-13
Also published as: JPWO2019012646A1; US11217263B2; WO2019012646A1; US20200152221A1

Description

本発明の一実施形態は、マイクで取得した音からノイズ音を低減する収音装置、移動体、および収音方法に関する。

特許文献１には、２つのプロペラを反対向きに回転させて、物理的に逆位相の音を発生させ、ノイズ音をキャンセルする構成が開示されている。

特許文献２には、風のノイズ音のレベルに応じてゲイン制御をすることで、風のノイズ音を低減する構成が開示されている。

米国特許出願公開第２０１６／００８３０７３号明細書特開２０１５－１０４０９１号公報

特許文献１の構成は、２つのプロペラを同期して回転させるというハードウェアとしての制限がある。特許文献２の構成は、マイクで取得すべき目的音まで低減してしまう。

そこで、本発明の一実施形態の目的は、移動体における自装置の動きによって変化するノイズ音を低減する収音装置、移動体、および収音方法を提供することにある。

収音装置は、センサと、データベースと、マイクと、信号処理部と、を備えている。センサは、自装置の状態を検出する。データベースは、ノイズ音のデータベースである。信号処理部は、前記センサの検出値で前記データベースからノイズ音を読み出し、前記マイクの音から、読み出したノイズ音に基づくノイズ低減処理を行なう。

本発明の一実施形態によれば、自装置の動きによって変化するノイズ音を低減することができる。

移動体の構成を示す平面図である。移動体のハードウェア構成を示すブロック図である。信号処理部の構成例を示すブロック図である。収音装置の機能的構成を示すブロック図である。データベースの一例を示す図である。収音装置の動作を示すフローチャートである。データベースの一例を示す図である。

本実施形態の収音装置は、センサと、データベースと、マイクと、信号処理部と、を備えている。センサは、自装置の状態を検出する。データベースは、ノイズ音のデータベースである。信号処理部は、前記センサの検出値で前記データベースからノイズ音を読み出し、前記マイクの音から、読み出したノイズ音に基づくノイズ低減処理を行なう。

収音装置は、信号処理によりノイズ音を低減するため、特許文献１（米国特許出願公開第２０１６／００８３０７３号明細書）の構成のように、ハードウェアとしての制限はない。また、収音装置は、データベースからノイズ音を読み出して、マイクで取得した音から読み出したノイズ音に基づくノイズ低減処理を行なうため、特許文献２（特開２０１５－１０４０９１号公報）の構成のように、単純なレベル制御処理ではなく、マイクで取得すべき目的音まで低減することはない。

図１は、収音装置を備えた移動体１の構成を示す外観平面図である。移動体１は、筐体５０と、筐体５０に設けられた複数（この例では４つ）のプロペラ７０Ａ、プロペラ７０Ｂ、プロペラ７０Ｃ、プロペラ７０Ｄ、マイク１０、およびコントロール用回路基板１００を備えている。

筐体５０は、複数の柱状部材が組み合わされてなる。なお、図１に示す筐体５０の形状は一例であり、どの様な形状であってもよい。筐体５０は、上面に、プロペラ７０Ａ、プロペラ７０Ｂ、プロペラ７０Ｃ、およびプロペラ７０Ｄを設置する。

また、筐体５０は、コントロール用回路基板１００およびマイク１０を固定する。マイク１０は、筐体５０の側面に固定されている。

図２は、移動体１のハードウェア構成を示すブロック図である。移動体１は、マイク１０、インタフェース（Ｉ／Ｆ）１１、ＣＰＵ１２、ＲＡＭ１３、メモリ１４、モータ１６、センサ１７、プロペラ７０Ａ、プロペラ７０Ｂ、プロペラ７０Ｃ、およびプロペラ７０Ｄを備えている。なお、移動体１は、他にもカメラ等のハードウェアを有するが、本実施形態では図示および説明を省略する。

コントロール用回路基板１００は、Ｉ／Ｆ１１、ＣＰＵ１２、ＲＡＭ１３、メモリ１４、およびセンサ１７からなる各種ハードウェアを備える。

ＣＰＵ１２は、記憶媒体であるメモリ１４からプログラムを読み出し、読み出したプログラムをＲＡＭ１３に一時記憶することで、種々の動作を行う。例えば、ＣＰＵ１２は、モータ１６の回転数を制御する制御部として機能する。また、ＣＰＵ１２は、図３に示すように、信号処理部１２１を構成する。

メモリ１４は、例えばフラッシュメモリからなる。メモリ１４は、上記のようにＣＰＵ１２の動作用プログラムを記憶している。また、メモリ１４は、図４に示すように、ノイズ音データベースを構成する。

マイク１０は、移動体１の周囲の音を取得する。マイク１０は、取得した音に係る音信号をＣＰＵ１２に出力する。ＣＰＵ１２の信号処理部１２１は、マイク１０から入力された音信号に信号処理を施して、Ｉ／Ｆ１１に出力する。なお、移動体１は、信号処理の専用プロセッサ（ＤＳＰ：Digital Signal Processor）を備えていてもよい。この場合、ＣＰＵ１２の指示に従って、ＤＳＰが信号処理を行なう。

Ｉ／Ｆ１１は、ＣＰＵ１２から入力された音信号を出力する。Ｉ／Ｆ１１は、例えば無線通信機能を内蔵する。Ｉ／Ｆ１１は、該無線通信機能を用いて、移動体１のコントローラ（例えばスマートフォン等の情報処理装置）に対して、音信号を送信する。

図４は、収音装置１０１の機能的構成を示すブロック図である。マイク１０、信号処理部１２１、センサ１７、およびメモリ１４により、収音装置１０１が構成される。

信号処理部１２１は、スペクトルゲイン調整器１２５およびノイズスペクトル推定器１２６を備えている。この例では、信号処理部１２１は、スペクトルゲイン調整器１２５により、スペクトルサブトラクション法を用いて、ノイズ音の低減処理を行なう。

スペクトルゲイン調整器１２５は、例えば以下の数式に示すようなスペクトルサブトラクション法を用いて、ノイズ低減処理を行なう。

Ｙ（ｆ）＝Ｇ（ｆ）・Ｘ（ｆ）
Ｇ（ｆ）＝１－｜Ｎ（ｆ）｜／｜Ｘ（ｆ）｜
ここで、Ｘ（ｆ）は、入力信号（周波数信号）であり、Ｙ（ｆ）は、出力信号（周波数信号）である。Ｎ（ｆ）は、ノイズスペクトルである。ノイズスペクトル推定器１２６は、当該ノイズスペクトルＮ（ｆ）を推定する。スペクトルゲイン調整器１２５は、ノイズスペクトル推定器１２６が推定したノイズスペクトルＮ（ｆ）を用いて、スペクトルゲインＧ（ｆ）を求める。

ノイズスペクトル推定器１２６は、センサ１７の検出値で、メモリ１４におけるノイズ音データベース１４１から対応するノイズスペクトルを読み出す。センサ１７は、例えば３軸ジャイロセンサ５１１、回転速度計５１２、および３軸加速度センサ５１３を備えている。３軸ジャイロセンサ５１１は、移動体１のピッチ、ヨー、およびロールの３軸について、角速度（角速度Ｓｐ、角速度Ｓｙ、および角速度Ｓｒ）を検出する。

センサ１７は、３軸ジャイロセンサ５１１で検出した角速度から、３軸の角加速度（角加速度Ｒｐ、角加速度Ｒｙ、および角加速度Ｒｒ）を求めることもできる。さらに、センサ１７は、算出した角加速度から、移動体１の姿勢（姿勢Ｐ、姿勢Ｙ、および姿勢Ｒ）を求めることもできる。なお、姿勢は、水平設置状態を原点として、各軸（ピッチ、ヨー、およびロール）の角度で表される。この場合、３軸ジャイロセンサ５１１は、姿勢センサの一例となる。

回転速度計５１２は、プロペラ７０Ａ、プロペラ７０Ｂ、プロペラ７０Ｃ、およびプロペラ７０Ｄの回転速度をそれぞれ検出する。

３軸加速度センサ５１３は、直交座標系における移動体１の３軸の加速度（加速度Ａｘ、加速度Ａｙ、および加速度Ａｚ）を検出する。センサ１７は、３軸加速度センサ５１３で検出した加速度から、移動体１の３軸の速度（速度Ｖｘ、速度Ｖｙ、および速度Ｖｚ）を求めることもできる。

以上のように、センサ１７は、１つのプロペラに対して、１６次元の検出値（回転数、角速度Ｓｐ、角速度Ｓｙ、角速度Ｓｒ、角加速度Ｒｐ、角加速度Ｒｙ、角加速度Ｒｒ、姿勢Ｐ、姿勢Ｙ、姿勢Ｒ、加速度Ａｘ、加速度Ａｙ、加速度Ａｚ、速度Ｖｘ、速度Ｖｙ、および速度Ｖｚ）を得る。本実施形態では、４つのプロペラを備えるため、センサ１７は、最大で６４次元の検出値を得る。なお、回転数以外の値は、プロペラ毎に大きく変わることはない。したがって、回転数以外のパラメータは、全てのプロペラに共通の値を用いてもよい。この場合、最大でセンサ１７は、１９次元の検出値を得る構成となる。

図５は、ノイズ音データベース１４１を示す図である。図５に示すノイズ音データベース１４１は、本発明のデータベースの一例である。ノイズ音データベース１４１は、センサ１７における各検出値に対して、それぞれ個別のノイズスペクトルが記憶されている。なお、図５においては、説明のために表形式でデータベースを示しているが、実際には、データベースには、１６次元の検出値に対するベクトルに対して、それぞれ個別のノイズスペクトルが記憶されている。

ノイズスペクトルは、予め、実験室等のリファレンス環境（マイク１０からプロペラのノイズ音しか取得できない状態）において、マイク１０を用いて録音し、取得する。

図６は、収音装置１０１の動作を示すフローチャートである。まず、収音装置１０１のセンサ１７は、上記１６次元の検出値を取得し、ノイズスペクトル推定器１２６に入力する（Ｓ１０）。ノイズスペクトル推定器１２６は、センサ１７の検出値でノイズ音データベース１４１を参照し、対応するノイズスペクトルを読み出す（Ｓ１１）。スペクトルゲイン調整器１２５は、ノイズスペクトル推定器１２６からノイズスペクトルを入力し、上記スペクトルサブトラクション法を用いて、ノイズ低減処理を行なう（Ｓ１２）。

このように、本実施形態の収音装置１０１は、スペクトルサブトラクション法に用いるノイズ音を、入力信号から推定するのではなく、予め録音したノイズスペクトルから推定する。一般的に収音を行う際、収音したい目的音と、目的音以外のノイズ音が収音される。特に移動体で収音を行う際には、移動体から発生されるノイズ音が大きい場合が多く、収音された音から目的音のみを抽出するのは難しい。本実施形態におけるノイズ音データベースに記憶されているノイズスペクトルは、ノイズ音の原因である移動体１の状態によってそれぞれ個別に録音されたものである。そのため、ノイズスペクトル推定器１２６は、各種センサの検出値でノイズ音データベースからノイズスペクトルを読み出すことにより、非常に高精度にノイズ音を推定することができる。また、信号処理部１２１は、各種の複雑なノイズ推定アルゴリズムを用いる必要なく、現在の移動体の状態に応じた適切なノイズスペクトルを推定することができるため、処理負荷を大きく低減することができる。したがって、信号処理部１２１は、高精度かつ高速（リアルタイム）にノイズ低減処理を行なうことができる。特に、本実施形態では、低減するノイズ音は、主にプロペラ（回転速度計の検出対象である回転体）が発するノイズ音である。この様なノイズ音は、突発的なノイズではなく、回転数に応じて定常的に発生する音である。スペクトルサブトラクション法は、この様な定常的に発生するノイズ音を除去するのに好適である。

ただし、本発明のノイズ低減処理は、スペクトルサブトラクション法に限るものではない。他にも、ノイズ帯域を除去するバンドパスフィルタ（ＢＰＦ）処理等も、本発明のノイズ低減処理の一例である。ＢＰＦ処理を行なう場合、データベースには、ＢＰＦで帯域制限を行なう主たるノイズ帯域を示す情報が記憶される。

なお、ノイズ音データベース１４１は、全てのセンサの最小分解能の値に対して、それぞれのノイズスペクトルを記憶しておいてもよいが、例えば回転数は１００回転毎に対応するノイズスペクトルを記憶する等して、データ量を削減してもよい。この場合、ノイズスペクトル推定器１２６は、センサの検出値に最も近い（例えば回転数が最も近い）ノイズスペクトルを読み出す。

また、ノイズ音データベース１４１は、図７に示すように、各センサの検出値が属する領域および対応するノイズスペクトルを規定してもよい。例えば、回転数が１２０ｒｐｍであり、速度が２．２ｍ／ｓである場合、ノイズスペクトル推定器１２６は、回転数が１００～２００ｒｐｍおよび速度が２～３ｍ／ｓの領域に対応付けられているノイズスペクトルを読み出す。また、ノイズ音データベース１４１は、例えば、複数のノイズスペクトルをそれぞれ録音した時のセンサの検出値を母点としたボロノイ領域を規定してもよい。これにより、ノイズスペクトル推定器１２６は、センサの検出値に最も近いノイズスペクトルを読み出すことができる。

あるいは、ノイズスペクトル推定器１２６は、センサの検出値に近い複数のノイズスペクトルを読み出し、ノイズ低減処理に用いるノイズ音を求めてもよい。例えば、ノイズスペクトル推定器１２６は、回転数が１５０ｒｐｍである場合に、１００ｒｐｍおよび２００ｒｐｍのノイズスペクトルを読み出す。そして、ノイズスペクトル推定器１２６は、１００ｒｐｍおよび２００ｒｐｍのノイズスペクトルを平均化して、１５０ｒｐｍに対応するノイズスペクトルを求める。このように、ノイズスペクトル推定器１２６は、複数のノイズスペクトルを読み出して、センサ検出値に対応するノイズスペクトルを補間してもよい。

また、ノイズ音データベース１４１は、全てのセンサに対応するノイズスペクトルを記憶しておく必要はない。例えば、ノイズ音の変化に影響が大きい１または複数のセンサ（例えば回転速度計）については、複数の検出値に対するそれぞれのノイズスペクトルを記憶しておく。他のセンサについては、１つの検出値に対するノイズスペクトルを記憶しておけばよい。あるいは、他のセンサについては、複数の検出値に対するノイズスペクトルの平均値を記憶しておいてもよい。

以上の本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

例えば、センサとしては、他にも風速計を備えていてもよい。この場合、収音装置は、風のノイズ音を低減する処理を行なう。収音装置は、風速計の検出値に対応するノイズ音をデータベースとして備える。例えば、風速の変化に応じて風のノイズ音が変化するため、データベースは、各風速の値に対するノイズスペクトルを録音しておく。収音装置は、予め録音したノイズスペクトルから現在の風速に対応するノイズ音を読み出し、読み出したノイズ音を用いてノイズ低減処理を行なう。

また、上記実施形態は、プロペラを備えた移動体の例を示したが、本発明の収音装置は、例えば他の移動体（例えば自動車）に用いることもできる。この場合、収音装置は、自動車内で用いられるハンズフリーフォンを実現する。収音装置は、自動車の走行中に発生する各種のノイズ音を低減する処理を行なう。各種のノイズ音は、例えば、ロードノイズ、風切り音、またはエンジンノイズ等である。センサは、車速センサ、ヨーレートセンサ、ピッチセンサ、加速度センサ、エンジン回転数検出器、タイヤ回転数検出器、または窓の開閉検出センサ、等である。回転体は、エンジン、モータ、またはタイヤである。

収音装置は、各種センサの検出値に対応するノイズ音をデータベースとして備える。例えば、窓の開閉度合いに応じて風切り音が変化するため、データベースは、窓の開閉度合いに対応するノイズ音を備える。また、タイヤ回転数に応じてロードノイズが変化するため、データベースは、タイヤ回転数に対応するノイズ音を備える。あるいは、エンジン回転数に応じてエンジンノイズが変化するため、データベースは、エンジン回転数に対応するノイズ音を備える。信号処理部は、各種のセンサ検出値に対応するノイズ音をデータベースから読み出し、読み出したノイズ音を用いてノイズ低減処理を行なう。これにより、信号処理部は、自動車の使用状態に応じた適切なノイズ低減処理を行なうことができる。そのため、ユーザは、ハンズフリーフォンにおいて、ノイズ音が低減された快適な通話を行なうことができる。

また、収音装置は、移動体に内蔵される例に限らない。例えば、収音装置は、ヘルメットに内蔵される態様でもよい。ヘルメットに内蔵される場合も、収音装置は、各種のセンサ検出値に応じたノイズ音のデータベースを用意し、当該データベースからノイズ音を読み出して、ノイズ低減処理を行なう。例えば、収音装置は、バイザーの開閉度合いに応じて、対応するノイズ音を読み出し、読み出したノイズ音を用いて低減処理を行なう。

１０…マイク
１１…Ｉ／Ｆ
１２…ＣＰＵ
１３…ＲＡＭ
１４…メモリ
１６…モータ
１７…センサ
５０…筐体
７０Ａ，７０Ｂ，７０Ｃ，７０Ｄ…プロペラ
１００…コントロール用回路基板
１０１…収音装置
１２１…信号処理部
１２５…スペクトルゲイン調整器
１２６…ノイズスペクトル推定器
１４１…ノイズ音データベース
５１１…３軸ジャイロセンサ
５１２…回転速度計
５１３…３軸加速度センサ

Claims

自装置の状態を検出するセンサと、
ノイズ音のデータベースと、
マイクと、
前記センサの検出値を用いて、前記データベースから前記センサの検出値に対応するノイズ音を読み出し、前記マイクで取得した音信号に対し、読み出したノイズ音に基づくノイズ低減処理を行ない、目的音を抽出する信号処理部と、
前記信号処理部で前記目的音が抽出された音信号を他装置に送信する送信部と、
を備え、
前記信号処理部は、スペクトルサブトラクション法に用いるノイズスペクトルを、前記データベースから読み出したノイズ音の周波数特性に基づいて求めて、前記マイクで取得した音信号の周波数ゲインを調整することで前記ノイズ低減処理を行い、前記目的音を抽出する、
収音装置。
前記センサは、回転速度計を含む、
請求項１に記載の収音装置。
前記ノイズ音は、前記回転速度計の検出対象が発するノイズ音が含まれる、
請求項２に記載の収音装置。
前記センサは、風速センサを含む、
請求項１乃至請求項３のいずれかに記載の収音装置。
前記センサは、姿勢センサを含む、
請求項１乃至請求項４のいずれかに記載の収音装置。
前記信号処理部は、前記センサの検出値に一致する前記ノイズ音が前記データベースに無い場合に、前記データベースから、前記センサの検出値に最も近い前記ノイズ音を読み出す、
請求項１乃至請求項５のいずれかに記載の収音装置。
前記信号処理部は、前記センサの検出値に一致する前記ノイズ音が前記データベースに無い場合に、前記データベースから、前記センサの検出値に最も近い前記ノイズ音から順に少なくとも２つの複数の前記ノイズ音を読み出し、該複数の前記ノイズ音に基づいて、前記ノイズ低減処理に用いるノイズ音を求める、
請求項１乃至請求項５のいずれかに記載の収音装置。
前記センサの検出値は、回転数、角速度、角加速度、姿勢、加速度、または速度の少なくともいずれか１つを含む、
請求項６または請求項７に記載の収音装置。
前記信号処理部は、前記ノイズ低減処理を行った音信号を無線通信部を介して送信する、
請求項１乃至請求項８のいずれかに記載の収音装置。
請求項１乃至請求項９のいずれかに記載の収音装置と、
回転体と、
を備え、
前記センサは、前記回転体の回転速度計を含み、
前記ノイズ音は、前記回転体が発するノイズ音が含まれる、
移動体。
前記回転体は、プロペラを含む、
請求項１０に記載の移動体。
前記回転体は、自動車のエンジン、モータ、またはタイヤである、
請求項１０に記載の移動体。
自装置の状態を検出し、
検出値を用いて、ノイズ音のデータベースからセンサの検出値に対応するノイズ音を読み出し、
マイクで取得した音信号に対し、読み出したノイズ音に基づくノイズ低減処理を行なって、目的音を抽出し、
前記目的音が抽出された音信号を他装置に送信する、
収音方法であって、
スペクトルサブトラクション法に用いるノイズスペクトルを、前記データベースから読み出したノイズ音の周波数特性に基づいて求めて、前記マイクで取得した音信号の周波数ゲインを調整することで前記ノイズ低減処理を行い、前記目的音を抽出する、
収音方法。