JP4336552B2

JP4336552B2 - マスキング装置

Info

Publication number: JP4336552B2
Application number: JP2003320106A
Authority: JP
Inventors: 陽二郎神瀬; 久和柳内; 康彦内藤; 良種田中; 佳洋入江
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2003-09-11
Filing date: 2003-09-11
Publication date: 2009-09-30
Anticipated expiration: 2023-09-11
Also published as: JP2005084645A

Description

本発明は、話者の音声に対してマスキング音を出力するマスキング装置に関し、特に、マスキング音による違和感を抑制しつつ、話者のプライバシーを精度良く保護することができるマスキング装置に関する。

従来より、銀行、病院、証券会社などのオープンスペースでは、プライバシーに関わる内容の会話が頻繁におこなわれている。このため、話者のプライバシーを保護することを目的として、話者の音声（会話による音声）に対してマスキング音を出力するマスキング装置が開発されている（例えば、特許文献１参照。）。具体的には、かかる「マスキング音」として、ホワイトノイズやＢＧＭなどの妨害音を話者の発話音声に被せて出力し、話者の発話音声をかき消して発言内容を聞き取りにくくすることにより、話者のプライバシーを保護するものである。

特開平６−１７５６６６号公報

しかしながら、上記の従来技術には、話者のプライバシーを精度良く保護することができないという問題点があった。すなわち、上記の従来技術では、話者の音声との関連性が少ない音声をマスキング音として出力するため、話者の音声とマスキング音は別々の音声であると区別して傍聴者に認識されてしまうこととなり、話者のプライバシーを精度良く保護することができなかった。

また、上記の従来技術には、マスキング音による違和感が生じるという問題点があった。すなわち、上記の従来技術は、話者の音声をマスキング音でかき消すことによって傍聴者の意味理解を妨げるものであるが、傍聴者の意味理解を妨げるためには音量の大きいマスキング音が必要となるため、マスキング音による違和感を抑制することができない。

そこで、この発明は、上述した従来技術による問題点を解消するためになされたものであり、マスキング音による違和感を抑制しつつ、話者のプライバシーを精度良く保護することができるマスキング装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１の発明に係るマスキング装置は、話者の音声に対してマスキング音を出力するマスキング装置であって、前記話者の音声を入力音声として入力する音声入力手段と、前記音声入力手段によって入力された入力音声の音声波形のスペクトルを求める音声分析手段と、前記音声分析手段によって求められた入力音声の音声波形のスペクトルにもとづき、前記入力音声において音圧のピークを持つ周波数とは異なる周波数に音圧のピークを持つようマスキング音の周波数帯域および音圧を決定する出力音声決定手段と、前記音声入力手段によって入力された入力音声を加工して前記出力音声決定手段によって決定されたマスキング音を生成し、該生成したマスキング音を出力するように制御する音声出力制御手段とを備えたことを特徴とする。

また、請求項２の発明に係るマスキング装置は、請求項１の発明において、前記音声分析手段は、前記入力音声の音声波形のスペクトルの特徴として、ホルマントまたは倍音成分を分析することを特徴とする。

以上説明したように、本発明によれば、話者の音声を入力音声として入力し、入力された入力音声を分析し、分析された入力音声に基づいて出力するマスキング音を決定し、決定されたマスキング音を出力するように制御することとしたので、マスキング音による違和感を抑制しつつ、話者のプライバシーを精度良く保護することが可能なマスキング装置が得られるという効果を奏する。

また、本発明によれば、入力音声の音声波形のスペクトルの特徴を分析し、分析された入力音声の音声波形のスペクトルの特徴に基づいて出力するマスキング音のスペクトルを決定し、決定されたスペクトルに応じたマスキング音を出力するように制御することとしたので、マスキング音による違和感をより抑制しつつ、話者のプライバシーをより精度良く保護することが可能なマスキング装置が得られるという効果を奏する。

また、本発明によれば、入力音声の音声波形のスペクトルの特徴として、ホルマントまたは倍音成分を分析することとしたので、話者の音声波形のスペクトルの特徴をより精度良く把握でき、話者のプライバシーをより精度良く保護することが可能なマスキング装置が得られるという効果を奏する。

また、本発明によれば、入力音声を加工して決定されたマスキング音を生成することとしたので、マスキング音による違和感をより抑制することが可能なマスキング装置が得られるという効果を奏する。

以下に添付図面を参照して、この発明に係るマスキング装置の好適な実施例を詳細に説明する。なお、以下では、本実施例に係るマスキング装置の概要および特徴を説明した後に、本実施例１に係るマスキング装置（実施例１）を説明し、最後に、本実施例に対する種々の変形例（実施例２）を説明する。

（マスキング装置の概要および特徴）
まず最初に、本実施例に係るマスキング装置の概要および特徴を説明する。図１は、本実施例１に係るマスキング装置の構成を示すブロック図である。このマスキング装置は、概略的に、話者の音声に対してマスキング音を出力するものである。

ここで、このマスキング装置１０は、上記の従来技術におけるマスキング（静的マスキングまたはパッシブ型マスキング）装置のように、話者の音声（会話音声）に関わりなく一定の妨害音をマスキング音として出力するのではなく、入力音声（話者の音声）に追従して、該入力音声に応じたマスキング音を動的に出力する「動的マスキング（アクティブ型マスキング）」をおこなうことによって、マスキング音による違和感を抑制しつつ、話者のプライバシーを精度良く保護することができるようにしている。

これを具体的に説明すると、このマスキング装置１０は、話者の音声に対してＦＦＴ（高速フーリエ変換）／ＤＦＴ（離散的フーリエ変換）などの解析処理をおこなって音圧および周波数分布などの音声波形のスペクトルの特徴（例えば、ホルマントや倍音成分）を分析し（図２−１参照）、該特徴に基づいて出力するマスキング音の周波数帯域および音圧を決定する（図２−２参照）。そして、話者の音声（会話音声）とマスキング音とが合成音として知覚されるタイミングで、決定されたマスキング音を出力するように制御する（図２−３参照）。

したがって、上記した従来技術の例で言えば、話者の音声との関連性が少ない音声をマスキング音として出力するのではなく、話者の音声波形のスペクトルの特徴に基づいて決定されたマスキング音を出力することとしたので、話者の音声（会話音声）とマスキング音とが合成音として知覚されることとなり、話者の音声とマスキング音とを別々の音声と区別して認識できないようにすることができる。また、上記した従来技術のように、話者の音声より音量の大きいマスキング音で話者の音声をかき消すのではなく、話者の音声波形のスペクトルの特徴に基づいて決定されたマスキング音を出力することによって傍聴者の意味理解を妨げることとしたので、話者の音声（会話音声）とほぼ同程度の音量でマスキングの効果を上げることができ、マスキング音の音量を最小限に抑制することができる。すなわち、これによって、マスキング音による違和感を抑制しつつ、話者のプライバシーを精度良く保護することが可能になる。

次に、本実施例１に係るマスキング装置について説明する。なお、ここでは、このマスキング装置の構成について説明した後に、各種処理の手順を説明することとする。

（マスキング装置の構成）
本実施例１に係るマスキング装置の構成を説明する。このマスキング装置１０は、図１に示すように、表示部１１と、入力部１２と、音声入力部１３と、入力音声調節部１４と、出力音声調節部１５と、出力音声増幅部１６と、音声出力部１７と、制御部１８とから構成される。

このうち、表示部１１は、各種の情報を出力するモニタなどの出力表示手段である。具体的には、マスキング装置１０の動作状況（動作中、正常／異常（装置異常））、音声入力部１３の入力レベル、または、音声入力部１３から入力された音声の周波数または音量が規定外である旨を表示する。

入力部１２は、各種の情報を入力するキーボード、マウスおよびトラックボールなどの指示入力手段である。具体的には、出力音声調整部１５におけるイコライジングの設定、出力音声増幅部１６におけるボリュームの設定、または、制御部１８における音声処理設定（例えば、音声波形のパラメータの設定や、周波数の帯域制限の設定）などの各種設定を受け付ける。

音声入力部１３は、話者の音声を入力音声として入力するマイクなどの音声入力手段である。なお、入力した音声信号がアナログ信号の場合には、Ａ／Ｄ変換によってデジタル信号に変換する。

入力音声調節部１４は、音声入力部１３によって入力された入力音声の調整をおこなう処理部であり、具体的には、入力音声から音声入力部１３で使用されるマイク特性（個体差）を補正したり、入力音声から雑音成分を除去したりする。

出力音声調節部１５は、出力音声であるマスキング音の調整をおこなう処理部であり、具体的には、音声出力部１７で使用されるスピーカの特性（個体差）を考慮してマスキング音をイコライジングする。出力音声増幅部１６は、出力音声であるマスキング音の音声信号を増幅してボリューム調整をおこなう処理部である。

音声出力部１７は、音声出力制御部１８ｃによって生成されたマスキング音を出力するスピーカなどの音声出力手段であり、具体的には、音声出力制御部１８ｃによって指示されたタイミング（例えば、話者の発話から「３０msec」以内のタイミング）でマスキング音を出力する。

制御部１８は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、機能概念的に、音声分析部１８ａと、出力音声決定部１８ｂと、音声出力制御部１８ｃとを備える。

このうち、音声分析部１８ａは、入力音声調整部１４によって調整された入力音声を分析する処理部である。具体的には、所定の時間ごとに入力音声（話者の音声）から断片的に抽出した音声信号に対してＦＦＴ（高速フーリエ変換）／ＤＦＴ（離散的フーリエ変換）などの解析処理をおこなって音圧および周波数分布などの音声波形のスペクトルの特徴を分析する（図２−１参照）。なお、本実施例１では、かかる話者の音声波形のスペクトルの特徴として、ホルマント（音声波形のスペクトルの中で、特にエネルギーが集中している周波数成分であり、低い方から順に第１ホルマント、第２ホルマント、・・・と呼ばれている。）とホルマントの間隔の特性、ホルマントへのエネルギーの集中の仕方の特性、または、周波数帯域の特性を分析する。

出力音声決定部１８ｂは、音声分析部１８ａによって分析された入力音声に基づいて出力するマスキング音を決定する処理部である。具体的には、図２−２に示すように、入力音声の音声波形のスペクトルの特徴（ホルマントとホルマントの間隔の特性、ホルマントへのエネルギーの集中の仕方の特性、または、周波数帯域の特性）に基づいて、出力するマスキング音の周波数帯域および音圧を決定する。なお、保護対象の話者の音声（会話音声）と空間の音響特性を考慮した上で、必要最小限のマスキング音となる「スペクトル」に決定されることが望ましい。

音声出力制御部１８ｃは、出力音声決定部１８ｂによって決定されたスペクトルに応じたマスキング音を出力するように制御する処理部である。すなわち、出力音声決定部１８ｂによって決定されたスペクトルに基づいて音声入力部１３によって入力された入力音声（話者の音声）を加工して「マスキング音」を生成し、話者の音声（会話音声）とマスキング音とが合成音として知覚されるタイミングでマスキング音を出力するように制御する。

このように、入力音声（話者の音声）にリアルタイムで追従して、入力音声の音声波形のスペクトルの特徴に基づいて決定されたマスキング音を動的に出力することとしたので、話者の音声に対して最適なマスキング音を動的に出力することができる。また、話者の音声波形のスペクトルの特徴に基づいて決定されたマスキング音を出力することによって傍聴者の意味理解を妨げることとしたので、話者の音声（会話音声）より少ない音量でマスキングの効果を上げることができる。

ここで、音声入力部（例えば、マイク）１３および音声出力部（例えば、スピーカ）１７の好適な設置例を説明する。図３は、本実施例１に係るマスキング装置を金融機関等の店舗の相談カウンターに適用した場合の説明図である。同図に示すように、隣接する２つのカウンターの会話内容がお互いに伝わらないようにして、客Ａ、客Ｂのプライバシーを保護するためには、店側従業員Ａと客Ａの会話内容をカウンターテーブルＡ付近に設置した音声入力用マイクＡで集音し、この信号をもとに、店側従業員Ａと客Ａの会話内容を理解しにくくなるようなマスキング音を生成し、隣接するカウンターのマスキング音用スピーカＢより出力する。店側従業員Ｂと客Ｂの会話音声も同様に音声入力用マイクＢで集音し、生成したマスキング音をマスキング音出力用スピーカＡより出力することで、お互いの会話のプライバシーを保護することができる。

また、カウンターで交わされる会話内容が、後方の待合スペースに伝わらないようにして、客Ａ、客Ｂのプライバシーを保護するためには、店側従業員Ａと客Ａの会話内容をカウンターテーブルＡ付近に設置した音声入力用マイクＡで集音し、この信号をもとに、店側従業員Ａと客Ａの会話内容を理解しにくくなるようなマスキング音を生成し、背後の待合スペース向けマスキング音出力用スピーカＡより、待合客に向けて出力する。カウンターテーブルＢでの会話も同様の処理をおこなうことで、待合客に対して客Ａ、客Ｂの会話のプライバシーを保護することができる。

（マスキング装置の処理手順）
次に、本実施例１に係るマスキング装置の処理手順について説明する。図４は、本実施例１に係るマスキング装置の処理手順を示すフローチャートである。同図に示すように、音声入力部１３は、話者の音声を入力音声として入力し（ステップＳ４０１）、入力音声調節部１４は、音声入力部１３によって入力された入力音声を調節する（ステップＳ４０２）。具体的には、入力音声から音声入力部１３で使用されるマイク特性（個体差）を補正したり、入力音声から雑音成分を除去したりする。

続いて、音声分析部１８ａは、入力音声調整部１４によって調整された入力音声の音声波形のスペクトルの特徴を分析する（ステップＳ４０３）。具体的には、所定の時間ごとに入力音声（話者の音声）から断片的に抽出した音声信号に対してＦＦＴ（高速フーリエ変換）／ＤＦＴ（離散的フーリエ変換）などの解析処理をおこなって音圧および周波数分布などの音声波形のスペクトルの特徴を分析する（図２−１参照）。

そして、音声分析部１８ａによって入力音声に規定外の音声が有ると分析された場合には（ステップＳ４０４肯定）、表示部１１は、音声入力部１３から入力された音声が規定外である旨を表示する（ステップＳ４０５）。具体的には、入力音声の周波数および音量が設定値外である場合等に、規定外である旨を表示する。

また、音声分析部１８ａによって入力音声に規定外の音声が有ると分析されなかった場合には（ステップＳ４０４否定）、出力音声決定部１８ｂは、入力音声の音声波形のスペクトルの特徴（ホルマントとホルマントの間隔の特性、ホルマントへのエネルギーの集中の仕方の特性、または、周波数帯域の特性）に基づいて、出力するマスキング音の周波数帯域および音圧を決定する（ステップＳ４０６）。

そして、音声出力制御部１８ｃは、出力音声決定部１８ｂによって決定されたスペクトルに基づいて音声入力部１３によって入力された入力音声（話者の音声）を加工して「マスキング音」を生成する（ステップＳ４０７）。続いて、出力音声調整部１５は、音声出力部１７で使用されるスピーカの特性（個体差）を考慮してマスキング音をイコライジングする（ステップＳ４０８）。

最後に、音声出力部１７は、音声出力制御部１８ｃによって指示されたタイミング（例えば、話者の発話から「３０msec」以内のタイミング）でマスキング音を出力する（ステップＳ４０９）。このようにして、話者による発話音声が途切れるまで、上記の一連の処理を繰り返す。

上述してきたように、話者の音声波形のスペクトルの特徴に基づいて決定されたマスキング音を出力することとしたので、話者の音声（会話音声）とマスキング音とが合成音として知覚されることとなり、話者の音声とマスキング音とを別々の音声と区別して認識できないようにすることができる。また、話者の音声波形のスペクトルの特徴に基づいて決定されたマスキング音を出力することによって傍聴者の意味理解を妨げることとしたので、話者の音声（会話音声）より少ない音量でマスキングの効果を上げることができ、マスキング音の音量を最小限に抑制することができる。このため、本実施例１に係るマスキング装置によれば、マスキング音による違和感を抑制しつつ、話者のプライバシーを精度良く保護することが可能になる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施例にて実施されてもよいものである。

本発明では、話者の音声を記憶し、音声入力部１３によって入力された入力音声と、記憶された話者の音声との類似度を分析し、入力音声と話者の音声との類似度が所定の度合いを超えたと分析された場合に、当該話者の音声をマスキング音として決定するようにしてもよい。例えば、店側従業員と客の会話音声のプライバシーを保護しようとした場合（図３参照）、音声入力部１３によって入力された入力音声の中に予め記憶された店側従業員の音声があれば、該店側従業員の音声をマスキング音として出力することができる。このように、常駐していると推測される者の発話音声を予め記憶しておくことにより、マスキング音を効率良く出力することができ、処理の負荷を軽減させることが可能になる。

また、かかる「類似度」は、完全一致に拘束されるものではなく、予め記憶した音声データ（男性、女性、大人、子供などの話し声のサンプル、音楽や自然の音など）の中から入力音声（話者の音声）に最適なマスキング音を選択して出力したり、これらの音声データを加工して出力したりするようにしても良い。

また、「マスキング音」を出力するに際して、入力音声（話者の音声）に最適なマスキング音を電気的に生成して出力したり、音声入力部１３によって入力された入力音声を加工して母音や子音を別の音に置換したものをマスキング音として出力しても良い。なお、上述してきたマスキング音のいずれかを単独で用いても良いし、組み合わせて用いても良い。

また、本発明によって、話者の音声（会話音声）とマスキング音とが合成音として知覚されることとなるが、さらに、この合成音に対して「ＢＧＭ」などの暗騒音を予め出力しておくことにより、マスキング音による違和感をより抑制することが可能になる。

また、話者の音声（会話音声）とマスキング音との合成音を取得するフィードバック用のマイクを設置し、該マイクから取得したマスキング結果をもとに、出力音声調整部１５におけるイコライジングの設定、出力音声増幅部１６におけるボリュームの設定、または、制御部１８における音声処理設定（例えば、音声波形のパラメータの設定や、周波数の帯域制限の設定）などの各種設定を自動化するようにしてもよい。

また、人感センサなどを設置して傍聴者が存在する場合にのみ動作させても良いし、また、利用者が必要に応じて機能のＯＮ／ＯＦＦを切り替えられるようにしても良い。

また、本実施例では、人と人の会話音声に対して本発明に係るマスキング装置を適用する場合について説明したが、本発明はこれに限定されるものではなく、端末装置（既知のパーソナルコンピュータ、ワークステーション、ＰＨＳ端末、携帯端末または移動体通信端末）などの人以外の装置に対して発話、または、ＡＴＭなどの自動機から発せられる音声ガイダンスについても同様に適用することができる。

また、本発明は、銀行、証券会社、保険会社、郵便局の店舗の相談窓口、病院の待合や診察室などの施設において好適に適用することができる。

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

以上のように、本発明にかかるマスキング装置は、話者の音声に対してマスキング音を出力するマスキング装置に有用であり、特に、マスキング音による違和感を抑制しつつ、話者のプライバシーを精度良く保護することに適している。

本実施例１に係るマスキング装置の構成を示すブロック図である。本実施例１に係るマスキング装置の特徴を説明するための説明図である。本実施例１に係るマスキング装置の特徴を説明するための説明図である。本実施例１に係るマスキング装置の特徴を説明するための説明図である。本実施例１に係るマスキング装置を金融機関等の店舗の相談カウンターに適用した場合の説明図である。本実施例１に係るマスキング装置の処理手順を示すフローチャートである。

符号の説明

１０マスキング装置
１１表示部
１２入力部
１３音声入力部
１４入力音声調節部
１５出力音声調節部
１６出力音声増幅部
１７音声出力部
１８制御部
１８ａ音声分析部
１８ｂ出力音声決定部
１８ｃ音声出力制御部

Claims

話者の音声に対してマスキング音を出力するマスキング装置であって、
前記話者の音声を入力音声として入力する音声入力手段と、
前記音声入力手段によって入力された入力音声の音声波形のスペクトルを求める音声分析手段と、
前記音声分析手段によって求められた入力音声の音声波形のスペクトルにもとづき、前記入力音声において音圧のピークを持つ周波数とは異なる周波数に音圧のピークを持つようマスキング音の周波数帯域および音圧を決定する出力音声決定手段と、
前記音声入力手段によって入力された入力音声を加工して前記出力音声決定手段によって決定されたマスキング音を生成し、該生成したマスキング音を出力するように制御する音声出力制御手段と
を備えたことを特徴とするマスキング装置。
前記音声分析手段は、前記入力音声の音声波形のスペクトルの特徴として、ホルマントまたは倍音成分を分析することを特徴とする請求項１に記載のマスキング装置。