JP7248048B2

JP7248048B2 - 収音装置、収音プログラム及び収音方法、並びに、キーボード

Info

Publication number: JP7248048B2
Application number: JP2021075796A
Authority: JP
Inventors: 宗大原
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2021-04-28
Filing date: 2021-04-28
Publication date: 2023-03-29
Anticipated expiration: 2041-04-28
Also published as: JP2022169998A

Description

この発明は、収音装置、収音プログラム及び収音方法、並びに、キーボードに関し、例えばキーボード等のユーザにより操作される装置（以下、「被操作装置」と呼ぶ）の周辺における音を収音する収音装置に関するものである。

遠隔会議する際に、話者以外の周囲雑音を除去する技術として、例えば、特許文献１に記載の遠隔会議システムがある。管理サーバで、各会議端末に入力された暗騒音データを記憶しておき、第１の会議端末から第２の会議端末に音を送るときに、第１の会議端末において、記憶している暗騒音データの示す暗騒音成分を除去するような、雑音除去フィルタの制御をすることで周囲雑音を除去している。

特許文献２は、突発性雑音を除去する技術であり、バイブレーション音や地盤圧縮機の動作音などといった、持続性、周期性のある突発音を低減する。具体的には、主に音声を収音するマイクロホンと、主に音声以外を収音するマイクロホンを用意し、２つのマイクロホンの信号から突発音を推定して、その突発音のみを除去する。

特許文献３は、テーブルノイズを除去する技術であり、キーボード上でキーが押される毎に、または、マウスがクリックされる毎に、信号またはメッセージを与えることによって、テーブルノイズ（キーボードの打鍵音、およびマウスのクリック音）を消去する。具体的には、キー押し信号またはメッセージが受信されると、スピーチ音声が発生しているか否かを判定し、スピーチ音声が発生していない場合、マイクロホンはミュートされ、スピーチ音声が発生している場合、スピーチ音声が遠端に送信されるよう、マイクロホンは所定時間の間ミュートしない。これにより、スピーチ音声が同時に発生している場合、キーボード音の存在下で会議が継続可能になり、スピーチ音声が同時に発生してない場合、キーボード音を消音できる。

特開２００７－６０４６０号公報特開２０１６－１８０８３３号公報特開２０１４－５３８９０号公報

しかしながら、特許文献１では、記憶していない突発性雑音が生じた場合、その突発性雑音を除去できないという課題がある。また、特許文献２では、持続性、周期性のある突発音という特徴を持たない、キーボードの打鍵音は除去できないという課題がある。さらに、特許文献３では、キー音以外の周囲雑音を除去できないという課題がある。つまり、従来技術では、遠隔会議で音声通話する際に、マイクに、キーボードの打鍵音と、部屋の生活音などの周囲雑音とが入った場合に、片方のみは除去できるが、両方を同時に除去することができない、という課題がある。

以上のよう問題に鑑みて、被操作装置（例えば、キーボード等のユーザにより操作されるデバイス）の周辺において、被操作装置の操作音を除外して収音することができる収音装置、収音プログラム及び収音方法、並びに、被操作装置が望まれている。

第１の本発明の収音装置は、操作者により操作されるキーボードでハードウェアキーの配置されていない領域にマイクロホンの表面が前記操作者から見て手前側又は上面側に向けて配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段を備え、前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことで前記キーボードの操作音を含まない前記操作者の音声を収音することを特徴とする。

第２の本発明の収音プログラムは、コンピュータを、操作者により操作されるキーボードでハードウェアキーの配置されていない領域にマイクロホンの表面が前記操作者から見て手前側又は上面側に向けて配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段として機能させ、前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことで前記キーボードの操作音を含まない前記操作者の音声を収音することを特徴とする。

第３の本発明は、収音装置が行う収音方法において、収音手段を備え、前記収音手段は、操作者により操作されるキーボードでハードウェアキーの配置されていない領域にマイクロホンの表面が前記操作者から見て手前側又は上面側に向けて配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得し、前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことで前記キーボードの操作音を含まない前記操作者の音声を収音することを特徴とする。

第４の本発明は、前記キーボードの外側に位置する目的エリアの音を捕捉して音響信号を取得するマイクアレイを複数備え、前記マイクアレイを構成するマイクロホンは、ハードウェアキーが配置されていない領域に表面が前記操作者から見て手前側又は上面側に向くように配置されており、それぞれの前記マイクアレイが取得した前記音響信号は、前記音響信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、第１の本発明の収音装置に供給されることを特徴とするキーボード。

本発明によれば、被操作装置の周辺において、被操作装置の操作音を除外して収音することができる。

実施形態に係る各装置の全体構成を示すブロック図である。実施形態に係る収音装置のハードウェア構成の例について示したブロック図である。実施形態に係るキーボードと、マイクアレイと、目的エリアの位置関係の例について図示している。実施形態に係るキーボードにおけるマイクアレイの第１の配置パターンについて示した図である。実施形態に係るキーボードにおけるマイクアレイの第２の配置パターンについて示した図である。実施形態に係るキーボードにおけるマイクアレイの第３の配置パターンについて示した図である。実施形態に係るキーボードにおけるマイクアレイの第４の配置パターンについて示した図である。実施形態に係るキーボードにおけるマイクアレイの第５の配置パターンについて示した図である。実施形態に係るキーボードにおけるマイクアレイの第６の配置パターンについて示した図である。実施形態に係るキーボードにおけるマイクアレイの第７の配置パターンについて示した図である。実施形態に係るキーボードの外部にマイクアレイを設置する例について示している。実施形態の変形実施例に係るキーボードにマイクアレイを埋め込んで設置する例について示した図である。実施形態の変形実施例に係るキーボードにおいて、筐体とマイクアレイとの間に緩衝材の層を設ける例（その１）について示した図である。実施形態の変形実施例に係るキーボードにおいて、筐体とマイクアレイとの間に緩衝材の層を設ける例（その２）について示した図である。ビームフォーマの構成例について示したブロック図である。指向性フィルタにより形成される指向特性の一例を説明する説明図である。

（Ａ）主たる実施形態
以下、本発明による収音装置、収音プログラム及び収音方法、並びに、キーボードの一実施形態を、図面を参照しながら詳述する。

（Ａ－１）実施形態の構成
図１は、この実施形態に関係する各装置の接続関係、及びこの実施形態に係る収音装置１の機能的構成を示すブロック図である。

収音装置１０は、ユーザにより操作される被操作端末であるキーボード３０（１又は複数のハードウェアキーを備える入力デバイス）の周辺の目的エリア（収音対象となるエリア／領域）の音を収音するものである。収音装置１０は、Ｎ個（Ｎは２以上の整数）のマイクアレイＭＡ（ＭＡ１～ＭＡＮ）を用いて、目的エリア音を収音する目的エリア音収音処理を行う。また、マイクアレイ部２０では、各マイクアレイＭＡは、音響信号を捕捉するＭ個（Ｍは２以上の整数）のマイクロホンＭ（Ｍ１～ＭＭ）を備えているものとする。マイクアレイの数Ｎ及び各マイクアレイのマイクロホンの数Ｍについては任意の数を適用することができる。この実施形態の例では、マイクアレイ部２０は、２つのマイクアレイＭＡ１、ＭＡ２を備え、それぞれのマイクアレイＭＡは、２つのマイクロホンＭ１、Ｍ２を備える例について説明する。すなわち、この実施形態において、各マイクアレイＭＡは、２ｃｈマイクアレイを構成しているものとする。なお、各マイクアレイＭＡが備えるマイクロホンの数は３以上としてもよい。

収音装置１０は、各マイクアレイＭＡから供給される音響信号に基づいて、キーボード３０の外側に位置する目的エリアを音源とする目的エリア音を収音する処理（以下、「エリア収音処理」と呼ぶ）を行う。エリア収音処理の詳細については後述する。

収音装置１０は、例えば、以下の参考文献１や参考文献２の記載技術のように、複数のマイクアレイのビームフォーマ（ＢｅａｍＦｏｒｍｅｒ；以下「ＢＦ」と表す）出力に基づいて目的エリア音を収音する処理を行うようにしてもよい。ＢＦとは、マイクアレイを構成する各マイクロホンに到達する信号（音響）の時間差を利用して、ある特定の方向の音のみ分離して収音する処理（指向性を持たせた収音処理）である。

[参考文献１]：特開２０１７－１８３９０２号公報
[参考文献２]：浅野太著，“音響テクノロジーシリーズ１６音のアレイ信号処理－音源の定位・追跡と分離－”，日本音響学会編，コロナ社，２０１１年２月２５日発行

参考文献１、２の記載技術は、特定のエリア（目的エリア）の音を強調し、それ以外のエリア（非目的エリア）の音を除去する技術である。そして、参考文献１の記載技術では、複数のマイクアレイのＢＦ出力の指向性をそれぞれ別の方向から目的エリアに向けて交差させ、指向性が交差したエリア以外の音を除去することで、目的エリア音を収音している。なお、収音装置１０では、複数のマイクアレイからの音響信号を用いて目的エリア内にある音を抽出する方式であれば、上記の方式以外の種々の方式を適用するようにしてもよい。

次に、参考文献１に記載されたエリア収音処理の概要について、図１５、図１６を用いて説明する。

ここでは、マイクアレイＭＡ１、ＭＡ２のマイクロホンＭ１、Ｍ２から供給される音響信号に、参考文献１に記載されたエリア収音処理を適用する例について説明する。ここでは、マイクアレイＭＡ１、ＭＡ２のそれぞれにおいて、マイクロホンＭ１、Ｍ２の周波数領域の信号（音響信号）をＸ_１、Ｘ_２と表すものとする。

上記の通り、ＢＦとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する処理（機能）である。そして、ＢＦは、加算型と減算型の大きく２つの種類に分けられる。特に減算型ＢＦは、加算型ＢＦに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。ここでは、任意のマイクアレイＭＡ（ＭＡ１又はＭＡ２のいずれかのマイクロホンＭ１、Ｍ２）の信号Ｘ_１、Ｘ_２から、図１５に示す減算型ＢＦ３００を用いてＢＦ出力を得る例について説明する。

図１５は、マイクロホン数が２個の場合の減算型ＢＦ３００に係る構成を示すブロック図である。

図１５に示す減算型ＢＦ３００は、遅延器３１０と減算器３２０とを有している。

減算型ＢＦ３００は、まず遅延器３１０により目的とする方向に存在する音（以下、「目的音」と呼ぶ）が各マイクロホンに到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。時間差は下記（１）式により算出される。ここで「ｄ」はマイクロホン間の距離であり、「ｃ」は音速であり、「τ_L」は遅延量である。また、ここで「θ_Ｌ」は、各マイクロホン（Ｍ１、Ｍ２）の間を結んだ直線に対する垂直方向から目的方向への角度である。
τ_Ｌ＝（ｄｓｉｎθ_Ｌ）／ｃ …（１）

ここで、死角がマイクロホンＭ１とマイクロホンＭ２の中心に対し、マイクロホンＭ１の方向に存在する場合、遅延器３１０は、マイクロホンＭ１の入力信号ｘ_１（ｔ）に対し遅延処理を行う。その後、減算型ＢＦ３００では、減算器３２０が（２）式に従い減算処理を行う。
ｍ（ｔ）＝ｘ_２（ｔ）－ｘ_１（ｔ－τ_Ｌ） …（２）

減算器３２０では、周波数領域でも同様に減算処理を行うことができ、その場合（２）式は以下（３）式のように変更される。

図１６は、２個のマイクロホンＭ１、Ｍ２を用いた減算型ＢＦ３００により形成される指向特性を示す図である。

ここでθ_Ｌ＝±π／２の場合、減算器３２０で形成される指向性は図１６（ａ）に示すように、カージオイド型の単一指向性となり、θ_Ｌ＝０，πの場合は、図１６（ｂ）のような８の字型の双指向性となる。ここでは、入力信号から単一指向性を形成するフィルタを「単一指向性フィルタ」と呼び、双指向性を形成するフィルタを「双指向性フィルタ」と呼ぶものとする。

また、減算器３２０では、スペクトル減算法（ＳｐｅｃｔｒａｌＳｕｂｔｒａｃｔｉｏｎ；以下単に「ＳＳ」とも呼ぶ）を用いることで、双指向性の死角に強い指向性を形成することもできる。ＳＳによる指向性は、（４）式に従い全周波数、又は指定した周波数帯域で形成される。（４）式では、マイクロホンＭ１の入力信号Ｘ_１を用いているが、マイクロホンＭ２の入力信号Ｘ_２でも同様の効果を得ることができる。ここでβはＳＳの強度を調節するための係数である。

減算器３２０では、減算処理時に値がマイナスになった場合は、０または元の値を小さくした値に置き換える処理（フロアリング処理）を行う。この方式により、減算器３２０では、双指向性フィルタにより目的方向以外に存在する音（以下、「非目的音」と呼ぶ）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
Ｙ（ω）＝｜Ｘ_１（ω）｜－ β｜Ｍ（ω）｜ …（４）

ところで、１つのマイクアレイのＢＦ出力（減算型ＢＦの出力）を用いて目的エリアの音を収音しようとする場合、その目的エリアの周囲の非目的エリア音（例えば、当該マイクアレイから目的エリアへの方向に存在する非目的エリアを音源とする音）も収音してしまう可能性がある。そのため、参考文献１に記載されたエリア収音処理では、複数のマイクアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音のエリア収音を行う。

そして、参考文献１に記載されたエリア収音処理では、各マイクアレイのＢＦ出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする。例えば、２つのマイクアレイを使用する場合、目的エリア音振幅スペクトルの補正係数は、（５）式、（６）式または（７）式、（８）式により算出される。

ここで、「Ｙ_１（ω）」、「Ｙ_２（ω）」は、それぞれマイクアレイＭＡ１、ＭＡ２のＢＦ出力の振幅スペクトルである。また、「α_１（ω）」、「α_２（ω）」は、それぞれマイクアレイＭＡ１、ＭＡ２のＢＦ出力に対する振幅スペクトル補正係数である。さらにまた、「ｍｏｄｅ_ω」はωに関する最頻値、「ｍｅｄｉａｎ_ω」はωに関する中央値をそれぞれ表している。

そして、参考文献１に記載されたエリア収音処理では、その後、補正係数により各ＢＦ出力を補正し、ＳＳすることで、目的エリア方向に存在する非目的エリア音を抽出する。更に抽出した非目的エリア音を各ＢＦの出力からＳＳすることにより目的エリア音を抽出することができる。

この場合、参考文献１に記載されたエリア収音処理では、マイクアレイＭＡ１からみた目的エリア方向に存在する非目的エリア音Ｎ_１（ω）を抽出するには、（９）式に示すように、マイクアレイＭＡ１のＢＦ出力Ｙ_１（ω）からマイクアレイＭＡ２のＢＦ出力Ｙ_２（ω）に振幅スペクトル補正係数α_２を掛けたものをＳＳする。同様に（１０）式に従い、マイクアレイＭＡ２からみた目的エリア方向に存在する非目的エリア音Ｎ_２（ω）を抽出する。
Ｎ_１（ω）＝Ｙ_１（ω）－α_２（ω）Ｙ_２（ω） …（９）
Ｎ_２（ω）＝Ｙ_２（ω）－α_１（ω）Ｙ_１（ω） …（１０）

その後、参考文献１に記載されたエリア収音処理では、（１１）式、（１２）式に従い、各ＢＦ出力から非目的エリア音をＳＳして目的エリア音を抽出する。（１１）式はマイクアレイＭＡ１を基準として目的エリア音を抽出する処理を示しており、（１２）式はマイクアレイＭＡ２を基準として目的エリア音を抽出する処理を示している。
Ｚ_１（ω）＝Ｙ_１（ω）－γ_１Ｎ_１（ω） …（１１）
Ｚ_２（ω）＝Ｙ_２（ω）－γ_２Ｎ_２（ω） …（１２）

ここでγ_１、γ_２はＳＳ時の強度を変更するための係数である。

この実施形態の収音装置１０においても、参考文献１に記載されたエリア収音処理と同様に、マイクアレイＭＡ１、ＭＡ２のそれぞれのＢＦ出力の指向性を目的エリアで交差させることでエリア収音処理を行うものとする。

次に、収音装置１０の内部構成の例について説明する。

図１に示すように、収音装置１０は、データ入力部１１、周波数変換部１２、指向性形成部１３、及び目的エリア音抽出部１４を有している。収音装置１０の各要素の処理の詳細については後述する。

収音装置１０は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。収音装置１０は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態の収音プログラムを含む）をインストールすることにより構成するようにしてもよい。

次に、図２を用いて、収音装置１０のハードウェア構成について説明する。

図２は、収音装置１０のハードウェア構成の例について示したブロック図である。

図２では、収音装置１０を、ソフトウェア（コンピュータ）を用いて構成する際のハードウェア構成の例について示している。

図２に示す収音装置１０は、ハードウェア的な構成要素として、プログラム（実施形態の収音プログラムを含む）がインストールされたコンピュータ２００を有している。また、コンピュータ２００は、収音プログラム専用のコンピュータとしてもよいし、他の機能のプログラムと共用される構成としてもよい。

図２に示すコンピュータ２００は、プロセッサ２０１、一次記憶部２０２、及び二次記憶部２０３を有している。一次記憶部２０２は、プロセッサ２０１の作業用メモリ（ワークメモリ）として機能する記憶手段であり、例えば、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の高速動作するメモリを適用することができる。二次記憶部２０３は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）やプログラムデータ（実施形態に係る収音プログラムのデータを含む）等の種々のデータを記録する記憶手段であり、例えば、ＦＬＡＳＨ（登録商標）メモリやＨＤＤ等の不揮発性メモリを適用することができる。この実施形態のコンピュータ２００では、プロセッサ２０１が起動する際、二次記憶部２０３に記録されたＯＳやプログラム（実施形態に係る収音プログラムを含む）を読み込み、一次記憶部２０２上に展開して実行する。

なお、コンピュータ２００の具体的な構成は図２の構成に限定されないものであり、種々の構成を適用することができる。例えば、一次記憶部２０２が不揮発メモリ（例えば、ＦＬＡＳＨメモリ等）であれば、二次記憶部２０３については除外した構成としてもよい。

例えば、収音装置１０を構成するコンピュータ２００がＰＣであれば、キーボード３０及びマイクアレイＭＡ１、ＭＡ２は当該ＰＣの入力デバイスとするようにしてもよい。また、例えば、収音装置１０が電話端末（例えば、会議端末やソフトホン）として機能するＰＣであれば、マイクロホンアレイＭＡ１、ＭＡ２は近端話者の発話音声を収音する手段として機能するようにしてもよい。

次に、この実施形態におけるマイクアレイＭＡ１、ＭＡ２の配置及ＢＦ出力の指向性の例（各装置の配置及び収音処理の設計例）について説明する。

図３では、被操作装置としてのキーボード３０と、マイクアレイＭＡ１、ＭＡ２と、収音装置１０で収音する対象となる目的エリアＡＴの位置関係の設計例について図示している。

図３では、キーボード３０の周辺を上方向から見た図となっている。ここでは、キーボード３０の位置を含む水平面（図３に示すＸ軸とＹ軸により形成される平面；以下、「ＸＹ平面」とも呼ぶ）上に、マイクアレイＭＡ１、ＭＡ２及び目的エリアＡＴが存在する場合において、収音装置１０がマイクアレイＭＡ１、ＭＡ２の音響信号から目的エリアＡＴを音源とする目的エリア音を収音する場合について説明する。

ここでは、図３に示すように、ＸＹ平面上で、キーボード３０は位置Ｐ１０１を中心位置とする略矩形（略長方形）の形状となっているものとする。また、図３に示すように、ここでは、ＸＹ平面上で目的エリアＡＴは、位置Ｐ２０１を中心とする領域であるものとする。ＸＹ平面上で目的エリアＡＴの形状は限定されないものであるが、ここでは略円形であるものとして説明する。

また、以下では、図３に示すように、ＸＹ平面上で、Ｐ１０１とＰ２０１とを通る線の方向を前後方向と呼び、前後方向に直交する方向を左右方向と呼ぶものとする。図３では、ＸＹ平面上で、Ｐ１０１とＰ２０１とを通る線をＬ１０１と図示し、Ｌ１０１と直交し且つ中心点Ｐ１０１を通る線をＬ１０２と図示している。言い換えると、Ｌ１０１はキーボード３０の長手方向の中点を通る中心線となっており、Ｌ１０２はキーボード３０の短手方向の中点を通る中心線となっている。

さらに以下では、中心線Ｌ１０１からキーボード３０の長手方向の端部への方向（中心位置Ｐ１０１から右又は左への方向）を「外側」方向と呼び、キーボード３０の長手方向の端部から中心線Ｌ１０１への方向（外側から中心位置Ｐ１０２へ向かう方向；外側方向と逆の方向）を「内側」方向と呼ぶものとする。

また、以下では図３に示すように、ＸＹ平面上で、キーボード３０から目的エリアＡＴへ向かう方向（Ｐ１０１からＰ２０１への方向）を前側（手前側）と呼び、目的エリアＡＴからキーボード３０へ向かう方向（Ｐ２０１からＰ１０１への方向）を後側（奥側）と呼ぶものとする。さらに、以下では、図３に示すように、左右とは、ＸＹ平面上で、目的エリアＡＴからキーボード３０を見た場合における左右を指すものとして説明する。

ここで、図３に示すようなモデルにおいて、それぞれのマイクアレイＭＡ１、ＭＡ２の設置位置及びＢＦ出力の設計ポリシーについて説明する。

この実施形態の収音装置１０では、キーボード３０のユーザ（操作者）の発話する音声を収音しつつ、キーボード３０を音源とする音（例えば、キーの打鍵音（操作音）等）を収音しないように設計されるものとする。

言い換えると、この実施形態では、ユーザ（操作者）の口元（頭部）を含む領域を収音エリアとして含みつつ、キーボード３０の存在する領域（特にキーが配置された領域）については収音エリアに含まない（収音範囲はキーボード３０の外側の領域だけとする）ようにマイクアレイＭＡ１、ＭＡ２の設置位置及びＢＦ出力の指向性等が設計される必要があるものとする。

つまり、この実施形態の収音装置１０及びマイクアレイ部２０は、収音エリアに目的エリアＡＴを含みつつキーボード３０を含まないというポリシーを満たすように設計されているものとする。この実施形態では、図３に示すようにキーボード３０の前側の円形の領域を目的エリアＡＴとしているが、キーボード３０の外側でユーザ（操作者）の口元（頭部）を含む領域であれば目的エリアＡＴの位置や形状は限定されないものである。

ここでは、各マイクアレイＭＡのＢＦ出力の指向性は、正面方向（マイクロホンＭ１、Ｍ２の間を通る線と直交する方向；例えば、図１５においてθ_Ｌ＝０とする方向）であるものとする。そうすると、各マイクアレイＭＡのＢＦ出力により収音される範囲は、その設置位置及び向き（正面方向の向き）により定まることになる。以下では、上記のポリシーを満たすマイクアレイＭＡ１、ＭＡ２の位置を「最適マイクアレイ位置」とも呼ぶものとする。

図３の例では、マイクアレイＭＡ１、ＭＡ２は、それぞれキーボード３０の奥側で左右方向に一列に並べて配置されている。また、図３の例では、マイクアレイＭＡ１、ＭＡ２を構成する各マイクロホンＭ１、Ｍ２も左右方向に一列に並べて配置されている。また、図３の例では、マイクアレイＭＡ１、ＭＡ２のＢＦ出力の指向性は、まっすぐ前側（前後方向と並行）に向けられるものとする。

以下では、図３のようにマイクアレイＭＡ１、ＭＡ２を配置するパターンを「第１の配置パターン」と呼ぶものとする。

第１の配置パターンとした場合において、マイクアレイＭＡ１、ＭＡ２のそれぞれのＢＦ出力により収音される範囲（ＢＦ出力の指向性）は、図４のようになる。図４では、マイクアレイＭＡ１のＢＦ出力により収音される扇形の収音範囲（ＢＦ出力の指向性）Ａ１０１を点線（破線）で表し、マイクアレイＭＡ２のＢＦ出力により収音される扇形の収音範囲（ＢＦ出力の指向性）Ａ１０２を一点鎖線で表している。

また、図４では、Ａ１０１とＡ１０２で重複する範囲（すなわち、２つのマイクアレイの指向性が交差する領域）Ａ１０３にハッチ（斜線）を付して表示している。したがって、Ａ１０３は、収音装置１０によりエリア収音される領域（収音エリア）となる。言い換えると、図４に示す第１の配置パターンでは、マイクアレイＭＡ１のＢＦ出力による指向性（収音範囲Ａ１０１）と、マイクアレイＭＡ２のＢＦ出力による指向性（収音範囲Ａ１０２）とが、キーボード３０の領域では交差せず、目的エリアＡＴが位置するキーボード３０の手前側でだけ交差するように設計されている。

図４に示すように、第１の配置パターンでは、収音エリアＡ１０３に目的エリアＡＴが含まれており、かつ、キーボード３０の領域は含まれていないため、上記のポリシーを満たす配置パターン（最適マイクアレイ位置）となっていると言える。

図５～図１０は、第２～第７の配置パターンにおける収音エリアについて示した図である。

図５～図７に示すように、第２～第４の配置パターンは、いずれも、上記のポリシーを満たす配置パターン（最適マイクアレイ位置となる配置パターン）を示している。

図５に示すように、第２の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１、ＭＡ２がいずれもやや内側に配置されている。また、第２の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１、ＭＡ２の指向性がいずれもやや外側（２０°程度外側）を向くように配置されている。

図６に示すように、第３の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１、ＭＡ２がいずれもやや内側で且つ手前側に配置されている。また、第３の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１、ＭＡ２の指向性がいずれもやや内側（２０°程度内側）を向くように配置されている。

図７に示すように、第４の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１だけが、内側で且つ手前側に配置されている。また、第４の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１の指向性だけがやや内側（２０°程度内側）を向くように配置されている。

以上のように、第２の配置パターンは、第１の配置パターンと比較し、マイクアレイＭＡ１、ＭＡ２の指向性が互いに外側に向く場合を示している。また、第３の配置パターンは、第１の配置パターンと比較し、マイクアレイＭＡ１、ＭＡ２の指向性が互いに内側に向く場合を示している。さらに、第４の配置パターンは、第１の配置パターンと比較し、マイクアレイＭＡ１、ＭＡ２の指向性がランダムな方向に向く場合を示している。第２～第４の配置パターンはいずれも、第１の配置パターンと比較して、各マイクアレイＭＡの指向性が異なっているが、上記のポリシー（収音エリアに目的エリアＡＴを含みつつキーボード３０を含まないというポリシー）を満たすような配置パターンとなっている。

ただし、マイクアレイＭＡ１、ＭＡ２はキーボード３０でハードウェアキーが配置されていない領域に設置することが好ましいため、第１～第４の配置パターンの中では、キーボード３０でハードウェアキーが配置されていない奥側にのみマイクアレイＭＡ１、ＭＡ２が配置される第１の配置パターンや第２の配置パターンが好適であると言える。なお、上記のポリシーを満たす配置パターンであれば、キーボード３０の手前側でハードウェアキーが配置されていない手前側（前面側）や、左右方向の端部側（側面側）にマイクアレイＭＡ１、ＭＡ２を配置するようにしてもよい。

一方、図８～図１０に示すように、第５～第６の配置パターンは、いずれも、上記のポリシーを満たさない配置パターン（最適マイクアレイ位置とならない配置パターン）を示している。

図８に示すように、第５の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１、ＭＡ２の指向性がいずれもやや内側（２０°程度内側）を向くように配置されている。第５の配置パターンでは、収音エリアＡ１０３に目的エリアＡＴだけでなくキーボード３０も含まれているため上記のポリシーを満たさない。

図９に示すように、第６の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１がやや内側で且つ手前側に配置されている。また、第６の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１指向性がやや内側（２０°程度内側）を向くように配置されている。さらに、第６の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ２指向性が外側（６０°程度外側）を向くように配置されている。第６の配置パターンでは、収音エリアＡ１０３に目的エリアＡＴが含まれていないため上記のポリシーを満たさない。

図１０に示すように、第７の配置パターンでは、第１の配置パターンと比較して、マイクアレイＭＡ１、ＭＡ２指向性がいずれも外側（６０°程度外側）を向くように配置されている。第７の配置パターンでは、マイクアレイＭＡ１、ＭＡ２の指向性が交差しないため収音エリア１０３が存在せず、上記のポリシーを満たし得ない。

次に、マイクアレイＭＡ１、ＭＡ２を設置する方式の例について図１１、図１２を用いて説明する。図１１、図１２では、キーボード３０及びマイクアレイＭＡ１、ＭＡ２の斜視図を示している。

図１１は、キーボード３０の外部にマイクアレイＭＡ１、ＭＡ２を設置する例について示している。図１１に示すマイクアレイＭＡ１、ＭＡ２は、いずれも直方体形状の筐体に２つのマイクロホンＭ１、Ｍ２が搭載された例について示している。

図１１（ａ）の例では、キーボード３０の上面にマイクアレイＭＡ１、ＭＡ２が設置（載置）されている。また、図１１（ｂ）の例では、キーボード３０の左右の側面にそれぞれマイクアレイＭＡ１、ＭＡ２が設置されている。さらに、図１１（ｃ）例では、キーボード３０の手前側の面（前面）にマイクアレイＭＡ１、ＭＡ２が設置されている。また、各マイクアレイＭＡにおいて、マイクロホンＭの表面（マイクアレイＭＡの筐体から露出させる部分）の向きは、どの向きでも良いが（各マイクロホンＭは全指向性であるため）、手前側か上面側が好適である。また、図１１の例において、マイクアレイＭＡ１、ＭＡ２（筐体）を、キーボード３０の面（上面、側面又は前面）に固定（例えば、接着剤やボルト等により固定）してもよいし、固定しなくてもよい。また、図１１の例（図５～図７のような例も含む）において、マイクアレイＭＡ１、ＭＡ２（筐体）を、キーボード３０の面（上面、側面又は前面）に接触（当接）させないように配置してもよい。

なお、上記のポリシーを満たす配置パターンであれば図１１（ｂ）のようにキーボード３０の前面側にマイクアレイＭＡ１、ＭＡ２を配置するようにしてもよいが、図１１（ｂ）のような配置パターンの場合、マイクアレイＭＡ１、ＭＡ２にユーザ(操作者)の手が当接する可能性があるため、図１１（ａ）のような配置パターン（すなわち、第１の配置パターン）の方がより好適であると言える。また、上記のポリシーを満たす配置パターンであれば図１１（ｃ）のように、キーボード３０の左右方向の端部側（側面側）にマイクアレイＭＡ１、ＭＡ２を配置するようにしてもよいが、設置スペース等を考慮すると図１１（ａ）のような配置パターン（すなわち、第１の配置パターン）の方がより好適であると言える。

（Ａ－２）実施形態の動作
次に、以上のような構成を有するこの実施形態の収音装置１０の動作（実施形態の収音方法）を説明する。

データ入力部１１は、各マイクアレイＭＡ１、ＭＡ２（マイクロホンＭ１、Ｍ２）で収音した音響信号をアナログ信号からディジタル信号に変換する。

周波数変換部１２は、データ入力部１１が変換したディジタル信号について周波数領域に変換する処理（例えば、高速フーリエ変換等を用いて時間領域から周波数領域へ変換する処理）を行う。ここでは、マイクアレイＭＡ１、ＭＡ２のそれぞれにおいて、マイクロホンＭ１、Ｍ２の周波数領域の信号（音響信号）をＸ_１、Ｘ_２と表すものとする。

指向性形成部１３は、マイクアレイＭＡ毎に、目的方向以外に存在する非目的エリア音を抽出（例えば、双指向性フィルタにより抽出）し、抽出した非目的エリア音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的エリア方向（目的エリアＡＴの方向）に指向性を形成した音（ＢＦ出力）を取得する。具体的には、指向性形成部１３は、（４）式に従いＢＦにより目的エリア方向に指向性を形成した音をＢＦ出力として取得する。したがって、この実施形態において、指向性形成部１３は、マイクアレイＭＡ毎に、目的エリア方向に指向性を形成したＢＦ出力を取得するとともに、ＢＦ出力を取得する過程で得られた目的エリア方向以外の方向に指向性を形成した非目的エリア音も保持する。なお、指向性形成部１３において、ＢＦ出力と、目的エリア方向以外の方向に指向性を形成した非目的エリア音を取得する具体的な演算処理方法については限定されないものである。

目的エリア音抽出部１４は、マイクアレイＭＡ１、ＭＡ２のＢＦ出力データを（９）式又は（１０）式に従ってＳＳし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、目的エリア音抽出部１４は、抽出した非目的エリア音を各ＢＦの出力から（１１）式又は（１２）式に従いＳＳすることで収音エリアの音（収音エリアＡ１０３；目的エリアＡＴを含むエリアの音）を抽出する。

そして、目的エリア音抽出部１４は、抽出した目的エリア音を出力する。目的エリア音抽出部１４は、が出力する信号の形式は限定されないものであり、種々の形式を適用することができる。例えば、目的エリア音抽出部１４は、目的エリア音を所定の形式のディジタル音響信号（例えば、ＰＣＭ形式の信号）や所定のコーデックにより符号化して出力（出力する方式については限定されない）するようにしてもよい。また、目的エリア音抽出部１４は、抽出した目的エリア音を、アナログ音響信号として出力（例えば、図示しないスピーカに出力）するようにしてもよい。

（Ａ－３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。

この実施形態において、収音装置１０及びマイクアレイ部２０は、エリア収音処理の収音エリアに目的エリアＡＴを含みつつキーボード３０を含まないというポリシーを満たすように設計されている。これにより、この実施形態では、目的エリアＡＴに位置するユーザ（操作者）の発話する音声を収音しつつ、キーボード３０の操作音（例えば、ユーザによりキーが打鍵される際の打鍵音等）及び目的エリアＡＴの周囲の音（例えば、キーボード３０以外を音源とする背景雑音等）を含まないようにすることが可能となる。

この実施形態では、キーボード３０にマイクアレイＭＡを搭載する例について示したが、通常コンピュータには、キーボードではなくモニタ（ディスプレイ）も接続又は搭載されているため、モニタにマイクアレイＭＡを設置することも可能ではある。ただし、除去すべきノイズの音源はキーボード３０でありモニタではないため、キーボード３０を避けた収音エリアの設計はキーボード３０自体にマイクアレイＭＡを搭載する方が容易である。また、ユーザ（操作者）の口元とマイクアレイＭＡとの距離を考慮すると、モニタよりもキーボード３０の方が近いので、ユーザ（操作者）の発話音声を目的エリア音として収音する際のＳＮＲが高いというメリットがある。さらに、ユーザ（操作者）が操作するコンピュータにモニタが複数接続されている場合（例えば、デュアルディスプレイの環境である場合）、ユーザ（操作者）がマイクアレイＭＡの搭載されたモニタの方向を向いて話すとは限らないので、（キーボード３０にマイクアレイを搭載する場合と比較して）ユーザ（操作者）の口元が収音エリアから外れる可能性が高くなるというデメリットがある。通常、ユーザ（操作者）は、キーボード３０の方を向いて話すと想定できるため、マイクアレイＭＡの方（マイクアレイＭＡ１、ＭＡ２の間を向いて話すほうが、ユーザ（操作者）の発話音声は悠音されやすい。以上から、コンピュータにマイクアレイを設置する際には、モニタよりもキーボードの方が好適であると言える。

（Ｂ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｂ－１）図１２は、キーボード３０にマイクアレイＭＡ１、ＭＡ２を埋め込むように設置（内蔵）するようにしてもよい。

図１２（ａ）では、キーボード３０の上面にマイクアレイＭＡ１、ＭＡ２が埋め込まれている例について示している。また、図１２（ｂ）では、キーボード３０の手前側の面（前面）に、マイクアレイＭＡ１、ＭＡ２が埋め込まれている例について示している。図１２の例では、いずれもマイクアレイＭＡ１、ＭＡ２は設置されている面（キーボード３０の上面又は前面）にマイクロホンＭ１、Ｍ２が露出した状態となっている。

キーボード３０にマイクアレイＭＡ１、ＭＡ２を埋め込む場合、キーボード３０の振動（打鍵による振動）がマイクロホンＭ１、Ｍ２に伝搬することを抑制するため、図１３に示すように、キーボード３０の筐体３２と、マイクアレイＭＡ１、ＭＡ２との間に緩衝材の層３２を設けるようにしてもよい。

図１３（ａ）は、筐体３２と、マイクアレイＭＡ１、ＭＡ２との間に緩衝材の層３２を設けたキーボード３０について上面から見た場合の構成について示している。図１３（ｂ）は、図１３（ａ）のＡ－Ａ’線矢視断面を拡大（マイクアレイＭＡ１の部分を拡大）して示す図となっている。

緩衝材の層３２に適用する材料は限定されないものであるが、例えば、適度な弾性を備える材料（例えば、ゴム、シリコン、ウレタン等を含む材料）を適用することができる。

また、図１４に示すように、キーボード３０の外部にマイクアレイＭＡ１、ＭＡ２を設置する際にも、マイクアレイＭＡ１、ＭＡ２（筐体）とキーボードの筐体３１との間に緩衝材の層３２を設けるようにしてもよい。

（Ｂ－２）上記の実施形態では、被操作装置としてキーボード３０を適用する例について示したが、本発明の被操作装置はキーボード３０に限定されず、種々の被操作装置（例えば、マウス、タッチパッド、液晶タブレット等の操作される装置／デバイス）であってもよい。また、上記の実施形態において、キーボード３０にはキーボード以外の機能が搭載されていてもよい。例えば、キーボード３０にタッチパッドやタブレット等の機能が搭載されていてもよい。また、本発明の被操作装置は、単なる被操作装置でなく、被操作部分を含む端末装置（例えば、ノート型ＰＣやタブレット端末等）であってもよい。その場合、当該被操作装置としての端末装置には、収音装置やマイクアレイ自体も搭載されることになる。そのような端末装置は、本発明の被操作装置（マイクアレイ及び収音装置を備える被操作装置）であり、本発明の収音装置（被操作装置及びマイクアレイを備える収音装置）であるとも言えることになる。

また、上記の実施形態では、キーボード３０と収音装置１０は別個のデバイスとする例について示したが、キーボード３０にコンピュータ（実施形態に係る収音プログラムがインストールされたコンピュータ）を備え、当該コンピュータに収音装置１０に相当するプログラムをインストールすることにより、エリア収音結果自体をキーボード３０から出力（例えば、ＰＣ等の端末装置に供給）するように構成してもよい。

１０…収音装置、１１…データ入力部、１２…周波数変換部、１３…指向性形成部、１４…目的エリア音抽出部、２０…マイクロホンアレイ部、ＭＡ（ＭＡ１～ＭＡＮ）…マイクロホンアレイ、Ｍ（Ｍ１～ＭＭ）…マイクロホン、３０…キーボード、ＡＴ…目的エリア。

Claims

操作者により操作されるキーボードでハードウェアキーの配置されていない領域にマイクロホンの表面が前記操作者から見て手前側又は上面側に向けて配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段を備え、
前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことで前記キーボードの操作音を含まない前記操作者の音声を収音する
ことを特徴とする収音装置。
それぞれの前記マイクアレイは、前記キーボードに搭載されていることを特徴とする請求項１に記載の収音装置。
前記目的エリアは前記操作者の頭部が位置する領域であることを特徴とする請求項１又は２に記載の収音装置。
前記キーボードにおいて、それぞれの前記マイクアレイは、前記操作者から見て左右方向に略一列に並べて配置されていることを特徴とする請求項２又は３に記載の収音装置。
前記キーボードにおいて、それぞれの前記マイクアレイの指向性は、前記操作者から見て手前側で、かつ、やや内側に傾けられた方向となっていることを特徴とする請求項４に記載の収音装置。
それぞれの前記マイクアレイは、筐体の中に収められており、前記筐体と前記キーボードの本体部分との間には振動を抑制する緩衝材の層が設けられていることを特徴とする請求項１～５のいずれかに記載の収音装置。
コンピュータを、
操作者により操作されるキーボードでハードウェアキーの配置されていない領域にマイクロホンの表面が前記操作者から見て手前側又は上面側に向けて配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段として機能させ、
前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことで前記キーボードの操作音を含まない前記操作者の音声を収音する
ことを特徴とする収音プログラム。
収音装置が行う収音方法において、
収音手段を備え、
前記収音手段は、操作者により操作されるキーボードでハードウェアキーの配置されていない領域にマイクロホンの表面が前記操作者から見て手前側又は上面側に向けて配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得し、
前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことで前記キーボードの操作音を含まない前記操作者の音声を収音する
ことを特徴とする収音方法。
操作者により操作されるキーボードにおいて、
前記キーボードの外側に位置する目的エリアの音を捕捉して音響信号を取得するマイクアレイを複数備え、
前記マイクアレイを構成するマイクロホンは、ハードウェアキーが配置されていない領域に表面が前記操作者から見て手前側又は上面側に向くように配置されており、
それぞれの前記マイクアレイが取得した前記音響信号は、前記音響信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、請求項１～６のいずれかに記載の収音装置に供給される
ことを特徴とするキーボード。