JP6197367B2

JP6197367B2 - 通話装置及びマスキング音生成プログラム

Info

Publication number: JP6197367B2
Application number: JP2013108907A
Authority: JP
Inventors: 遠藤　香緒里; 香緒里遠藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-05-23
Filing date: 2013-05-23
Publication date: 2017-09-20
Anticipated expiration: 2033-05-23
Also published as: JP2014230135A

Description

本発明は、通話装置及びマスキング音生成プログラムに関する。

送話者が、携帯電話端末などの通話装置を利用して、音声入力による検索を行ったり、音声通信（通話）を行うと、氏名などの個人情報を含む発声内容や、通話内容が、周囲または近傍に存在する人物により聴取されてしまうことを免れない。

マスクする音（マスキング音）でマスクされる音を隠蔽し、聴取対象能力を低下させる聴覚のマスキング現象（マスキング効果）を利用することにより、周囲または近傍に存在する人物によるこのような聴取を抑制することが可能である。

特許文献には、鳥の声や、小川のせせらぎなどの予め記録した音コンテンツや、利用者の音声を利用して、マスキング音を生成する技術を提案するものがある。

特開２０１２−０８０５１４号公報特開２０１２−０９８６３２号公報特開２０１２−１１３１３０号公報特開２０１２−２２６３４８号公報

しかし、予め記録した音コンテンツを用いる提案技術においては、周波数成分の時間変動が少ない定常な音の区間では、マスクされる音（音声）についてのマスキング効果が低い。

また、利用者の音声を用いる提案技術においては、音声を周波数領域または時間領域で並べ替えるなど、利用者の音声と異なる音声に加工する必要があるため、マスキング音を聞いた周囲または近傍に存在する人物に違和感を与える。

課題は、送話者の音声についてのマスキング効果が十分で、マスキング音を聞いた周囲または近傍に存在する人物に違和感を与えることを抑制可能なマスキング音信号を生成する技術を提供することにある。

上記課題を解決するために、通話装置は、周囲騒音を伴って入力された送話者の音声から音声信号の特徴量を分析する第１の分析部と；入力された周囲騒音から周囲騒音信号の周波数特性を分析する第２の分析部と；分析された周囲騒音信号の周波数特性を補正し、分析された音声信号の特徴量を覆い隠すマスキング音信号を生成する生成部とを備える。

開示した通話装置によれば、送話者の音声についてのマスキング効果が十分で、マスキング音を聞いた周囲または近傍に存在する人物に違和感を与えることを抑制可能なマスキング音信号を生成することができる。

他の課題、特徴及び利点は、図面及び特許請求の範囲とともに取り上げられる際に、以下に記載される発明を実施するための形態を読むことにより明らかになるであろう。

一実施の形態の携帯電話端末の構成を示すブロック図。一実施の形態の携帯電話端末におけるオーディオ信号処理部の詳細構成を示すブロック図。一実施の形態の携帯電話端末における第１のマスキング音生成処理を説明するための図。一実施の形態の携帯電話端末における第１のマスキング音生成処理のフローチャート。一実施の形態の携帯電話端末における第２のマスキング音生成処理を説明するための図。一実施の形態の携帯電話端末における第２のマスキング音生成処理のフローチャート。第２のマスキング音生成処理における非定常騒音信号抽出処理のフローチャート。

以下、添付図面を参照して、さらに詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

［携帯電話端末の構成］
図１は一実施の形態における通話装置の一例としての携帯電話端末１の構成を示す。

携帯電話端末１は、通信ネットワークを介した音声通信（通話）機能と、マスキング音生成機能とを含む。通話装置としては、通話機能を含むパーソナルコンピータなどの携帯情報端末及び固定電話端末などが携帯電話端末１に代替可能である。

この携帯電話端末１は送受信部１０及びオーディオ入出力部２０を備える。また、携帯電話端末１は、プロセッサ（ＣＰＵ：Central Processing Unit）４０と、作業用メモリ
としてのＲＡＭ（Random Access Memory）５０と、立ち上げのためのブートプログラムを格納したＲＯＭ（Read Only Memory）６０とを備える。また、携帯電話端末１は、テンキー、各種機能ボタン（キー）、ポインティング部及びカーソル送り部を含む情報入力・指定部７０と、ディスプレイ（ＬＣＤ：Liquid Crystal Display）８０とを備える。

さらに、携帯電話端末１は、ＯＳ（Operating System）、通話制御プログラム及びマスキング音生成プログラムなどの各種アプリケーションプログラム、及び各種情報（データを含む）を書換え可能に保存する不揮発性のフラッシュメモリ９０を固定的または着脱可能に備える。

送受信部１０は、送受信アンテナ（単に、アンテナと記載することもある）１１、無線周波数（ＲＦ）信号処理部１２、ベースバンド（ＢＢ）信号処理部１３及び符号化・復号化部１４を備えている。

オーディオ入出力部２０は、周囲騒音を伴う送話音声を入力するために、マイクロホン（単に、マイクと記載することもある）２１、増幅器２２及びアナログ／ディジタル（Ａ／Ｄ）変換器２３を備えている。オーディオ入出力部２０は、受話音声を出力するために、ディジタル／アナログ（Ｄ／Ａ）変換器２４、増幅器２５及びイヤレシーバ２６を備え
ている。

また、オーディオ入出力部２０は、マスキング音を出力するために、ディジタル／アナログ（Ｄ／Ａ）変換器２７、増幅器２８及びスピーカ（背面スピーカ）２９を備えている。さらに、オーディオ入出力部２０は、受話音声信号、送話音声信号及び周囲騒音信号に対してエコーキャンセル処理及びノイズ除去処理などを施すとともに、送話音声信号及び周囲騒音信号に基づいてマスキング音生成処理を行うオーディオ信号処理部３０を備えている。

［音声通信（通話）機能］
上述した携帯電話端末１においては、通話者（送話者）が通話を開始すると、周囲騒音を伴う通話者の送話音声は、マイク２１を通して入力され、増幅器２２及びＡ／Ｄ変換器２３を経て、ディジタル変換された送話音声信号及び周囲騒音信号としてオーディオ信号処理部３０に入力される。

オーディオ信号処理部３０は、入力されたディジタルの送話音声信号及び周囲騒音信号について、エコーキャンセル処理及びノイズ除去処理などを施すとともに、後に詳述する音声分析処理及び騒音分析処理を含むマスキング音生成処理を実施する。

オーディオ信号処理部３０から出力されたディジタルの送話音声信号は、符号化・復号化部１４において符号化され、ＢＢ信号処理部１３において所定の変調（例えば、直交周波数分割多重（ＯＦＤＭ）変調）を施された後、ディジタルのベースバンド音声信号としてＲＦ信号処理部１２に入力される。

ＲＦ信号処理部１２は、入力されたディジタルのベースバンド音声信号にディジタル／アナログ変換を施した後、所定の変調（例えば、ＯＦＤＭ変調）などを施し、アナログの無線周波数音声信号としてアンテナ１１から送信する。

ここでは、ベースバンド音声信号から無線周波数音声信号への周波数変換とともに直交変調が行われるダイレクトコンバージョンのＲＦ信号処理部１２について説明した。しかし、ベースバンド音声信号から中間周波数（ＩＦ）音声信号を経て無線周波数音声信号に周波数変換するＲＦ信号処理部１２であってもよい。

一方、ＲＦ信号処理部１２は、アンテナ１１を通してアナログの無線周波数音声信号を受信したとき、所定の復調（例えば、ＯＦＤＭ復調）などを施したベースバンド音声信号にアナログ／ディジタル変換を施した後、ディジタルのベースバンド音声信号としてＢＢ信号処理部１３に入力する。ＲＦ信号処理部１２は、無線周波数音声信号から中間周波数音声信号を経てベースバンド音声信号に周波数変換してもよい。

ＲＦ信号処理部１２から入力されたディジタルのベースバンド音声信号は、ＢＢ信号処理部１３において所定の復調（例えば、ＯＦＤＭ復調）を施され、符号化・復号化部１４において復号化された後、ディジタルの受話音声信号としてオーディオ信号処理部３０に入力される。

オーディオ信号処理部３０は、入力されたディジタルの受話音声信号について、エコーキャンセル処理及びノイズ除去処理などを実施する。

オーディオ信号処理部３０から出力されたディジタルの受話音声信号は、Ｄ／Ａ変換器２４及び増幅器２５を経てアナログ変換され、イヤレシーバ２６を通して受話音声として出力される。これにより、携帯電話端末１を利用する通話者と相手通話者との通話が行わ
れる。

上述した通話機能を送受信部１０及びオーディオ入出力部２０などのハードウェア構成要素との協働により実現するには、携帯電話端末１において、フラッシュメモリ９０に通話制御プログラムをアプリケーションプログラムとしてインストールしておくことにより、通話者による電源投入を契機に、プロセッサ４０がこの通話制御プログラムをＲＡＭ５０に展開して実行する。

［マスキング音生成機能］
次に、図１、図２及び関連図を併せ参照して、オーディオ信号処理部３０において実施される音声分析処理及び騒音分析処理を含む第１及び第２のマスキング音生成処理について詳述する。

（第１のマスキング音生成処理）
第１のマスキング音生成処理においては、周囲騒音を伴う通話者の送話音声がマイク２１を通して入力され、ディジタル変換された送話音声信号及び周囲騒音信号としてオーディオ信号処理部３０に入力されると、音声分析部３１は、各フレームパワーを予め定められた閾値（音声信号判定閾値）と比較することにより、音声信号を検出する（図４中のＳ４１）。

具体的には、送話音声信号及び周囲騒音信号は、Ａ／Ｄ変換器２３によりディジタル変換されるとき、例えば、８ｋＨｚのサンプリング周波数で１６０個をサンプリングされ、２０ｍｓ／１フレーム毎の信号となる。音声分析部３１は、この１フレーム毎の信号の振幅についての２乗平均からパワー（電力）を算出し、音声信号判定閾値と比較することにより、音声信号及び周囲騒音信号のいずれかを検出する。なお、音声信号判定閾値は、通常、音声信号のパワーが周囲騒音のパワーに比較して大きい値を示すことに基づいて、予め定められる。

そして、音声分析部３１は、音声信号であるときは（Ｓ４２：Ｙｅｓ）、音声信号の特徴量（特徴パラメータ）、つまり基本ピッチ（pitch）周波数（ｆ_０）と第１、第２及び
第３フォルマント（ホルマント：formant）周波数（Ｆ１，Ｆ２，Ｆ３）とを分析（算出
）する。音声分析部３１は、算出した基本ピッチ周波数と第１、第２及び第３フォルマント周波数との情報をマスキング音生成部３３に入力する（Ｓ４３）。また、音声分析部３１は、周囲騒音信号であるときは（Ｓ４２：Ｎｏ）、騒音分析部３２に入力する。

ここで、図３（Ａ），（Ｂ）を参照すると、図３（Ａ）には、音声信号の１フレーム分の周波数特性（パワースペクトル）が例示され、図３（Ｂ）には、周囲騒音信号の１フレーム分の周波数特性（パワースペクトル）が例示されている。図３（Ａ）において、ｆ_０は、この音声信号の高さ（音程）を示す基本ピッチ周波数であり、ピッチ周期の逆数で表される。また、Ｆ１，Ｆ２，Ｆ３は、この音声信号の種類（音韻）を示す第１、第２及び第３フォルマント周波数であり、スペクトル包絡の各ピーク（共振周波数）に対応する。

騒音分析部３２は、周囲騒音信号の周波数特性を分析し、パワースペクトルを算出する。また、騒音分析部３２は、算出した周囲騒音信号のパワースペクトルの情報をマスキング音生成部３３に入力する（Ｓ４４）。

マスキング音生成部３３は、音声分析結果及び騒音分析結果に基づいて、通話者の送話音声を周囲または近傍に存在する人物に聞き取られにくくするためのマスキング音を生成する。つまり、マスキング音生成部３３は、周囲騒音信号が音声信号の特徴量、ここでは音声信号の重要な特徴量である基本ピッチ周波数（ｆ_０）及び第１フォルマント周波数（
Ｆ１）の成分を上回る（覆い隠す）ように、周囲騒音信号の周波数特性を補正（つまり、パワーを大きくするように強調）することにより、マスキング音信号を生成する（図３（Ａ）参照）（Ｓ４５）。

マスキング音生成部３３により生成されたマスキング音信号は、通話者からの特定キー（ボタン）操作による要求があったとき、スピーカ２９を通して、マスキング音として送出（放音）される。

（第２のマスキング音生成処理）
第２のマスキング音生成処理においては、周囲騒音を伴う通話者の送話音声がマイク２１を通して入力され、ディジタル変換された送話音声信号及び周囲騒音信号としてオーディオ信号処理部３０に入力されると、音声分析部３１は、各フレームパワーを予め定められた閾値（音声信号判定閾値）と比較することにより、音声信号を検出する（図６中のＳ６１）。具体的には、上述した第１のマスキング音生成処理と同様である。

そして、音声分析部３１は、音声信号であるときは（Ｓ６２：Ｙｅｓ）、音声信号の特徴量、つまり基本ピッチ周波数（ｆ_０）と第１、第２及び第３フォルマント周波数（Ｆ１，Ｆ２，Ｆ３）とを分析（算出）する（Ｓ６３）。音声分析部３１は、算出した基本ピッチ周波数と第１、第２及び第３フォルマント周波数との情報をマスキング音生成部３３に入力する。また、音声分析部３１は、周囲騒音信号であるときは（Ｓ６２：Ｎｏ）、騒音分析部３２に入力する。

騒音分析部３２は、周囲騒音信号の周波数特性を分析し、パワースペクトルを算出する。また、騒音分析部３２は、算出した周囲騒音信号のパワースペクトルに基づいて、非定常騒音信号成分と定常騒音信号成分とに分離し（図５（Ａ）参照）、非定常騒音信号をリアルタイムに抽出して保存する。ここでの保存対象は最近のフレームの非定常騒音信号である。さらに、騒音分析部３２は、抽出した非定常騒音信号の情報をマスキング音生成部３３に入力する（Ｓ６４）。

定常騒音信号は、周波数成分の時間変動が少ないが、非定常騒音信号は、周波数成分の時間変動が大きく、かつ突発的に発生してパワーが大きい。

マスキング音生成部３３は、音声分析結果及び騒音分析結果に基づいて、通話者の送話音声を周囲または近傍に存在する人物に聞き取られにくくするためのマスキング音を生成する。つまり、マスキング音生成部３３は、非定常騒音信号が音声信号の特徴量、ここでは音声信号の重要な特徴量である基本ピッチ周波数（ｆ_０）及び第１フォルマント周波数（Ｆ１）の成分を上回る（覆い隠す）ように、非定常騒音信号の周波数特性を補正（つまり、パワーを大きくするように強調）することにより、マスキング音信号を生成する（図５（Ｂ）参照）（Ｓ６５）。

騒音分析部３２は、上述した第２のマスキング音生成処理の過程（Ｓ６４）で、図７に示す手順の非定常騒音信号抽出処理を遂行する。

Ｓ７１：騒音分析部３２は、周囲騒音信号について現フレームのパワーを算出するために、音声分析部３１から入力された周囲騒音信号の周波数特性を分析し、パワースペクトルを算出する。例えば、算出されたパワースペクトルのフレーム内の最大値または平均値
がフレームパワーとなる。

Ｓ７２：騒音分析部３２は、算出した現フレームパワーに基づいて、フレームパワーのヒストグラム（頻度分布表）を更新する。
Ｓ７３：騒音分析部３２は、このヒストグラムから現フレームの属する階級ｃを得る。

Ｓ７４：次に、このヒストグラムにおいて、フレームパワーが大きい、例えば上位２０％の階級ｈを算出する。

Ｓ７５：騒音分析部３２は、現フレームの周波数特性、つまり周波数成分の時間変動を算出する。

Ｓ７６：騒音分析部３２は、周波数特性の変化率（周波数変化率）ｍを式（１）に基づいて算出する。

式（１）

ここで、ｍの値が大きいほど、周波数変化が激しいことを意味する。Ｎは周波数帯域分割数、ｉは周波数帯域のインデックス、及びｔはフレーム数を示す。ｆ（ｉ，ｔ）はフレーム数ｔにおけるｉ番目フレームの周波数帯域のパワー［ｄＢ］を示す。

Ｓ７７：騒音分析部３２は、階級ｃ＞階級ｈを判定する。
Ｓ７８：騒音分析部３２は、Ｓ７７において肯定判定（Ｙｅｓ）したときは、周波数変化率ｍ＞閾値ＴＨ（ＴＨ＝０．２）を判定する。

Ｓ７９：騒音分析部３２は、Ｓ７８において肯定判定（Ｙｅｓ）したときは、現フレームを周波数成分の時間変動が大きく、かつ突発的に発生してパワーが大きい非定常騒音信号として保存し、処理を終了する。

なお、騒音分析部３２は、Ｓ７７及びＳ７８において否定判定（Ｎｏ）したときは、現フレームが周波数成分の時間変動が少ない定常騒音信号であるので、処理を終了する。

上述した第１及び第２のマスキング音生成処理における音声分析部３１による基本ピッチ周波数及びフォルマント周波数の算出方法、更に騒音分析部３２による周囲騒音信号のパワースペクトルの算出方法については、例えば、自己相関係数を利用する自己相関法または平均振幅差関数（ＡＭＤＦ：Average Multitude Difference Function）法や、線形
予測係数（ＬＰＣ：Linear Prediction Coefficient）を利用する線形予測法などの既知
の技術に基づいて、当業者が容易に実施可能であるので、ここでは詳細説明を省略する。

上述したマスキング音生成機能をオーディオ入出力部２０などのハードウェア構成要素との協働により実現するには、携帯電話端末１において、フラッシュメモリ９０にマスキング音生成プログラムをアプリケーションプログラムとしてインストールしておくことにより、通話開始を契機に、プロセッサ４０がこのマスキング音生成プログラムをＲＡＭ５
０に展開して実行する。

また、オーディオ信号処理部３０にディジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）を適用し、リアルタイム処理を促進しているときは、このプロセッサがマスキング音生成機能を遂行してもよい。

上述した一実施の形態においては、携帯電話端末１を利用する送話者による通話の過程で、個人情報などを含む通話内容が、周囲または近傍に存在する人物により聴取されてしまうことを抑制するために、周囲騒音信号の周波数特性を補正し、送話音声信号の特徴量を覆い隠すマスキング音信号を生成した。しかし、通話を開始する前の音声入力による検索を行うときに、個人情報などを含む発声内容が、周囲または近傍に存在する人物により聴取されてしまうことを抑制するために、通話者からの特定キー（ボタン）操作による要求を契機に、マスキング音信号を生成してもよい。

［一実施の形態の効果］
上述した一実施の形態の携帯電話端末１においては、周囲騒音を伴って入力された送話者の音声から音声信号の特徴量を分析し、入力された周囲騒音から周囲騒音信号の周波数特性を分析し、分析された周囲騒音信号の周波数特性を補正し、分析された音声信号の特徴量を覆い隠すマスキング音信号を生成することにより、送話者の音声についてのマスキング効果が十分で、マスキング音を聞いた周囲または近傍に存在する人物に違和感を与えることを抑制可能なマスキング音信号を生成できる。

特に、周囲騒音信号に基づいてマスキング音信号を生成することにより、マスキング音が周囲騒音と似通っているので、マスキング音を送出した際に、違和感を与えにくい。

また、上述した一実施の形態の携帯電話端末１においては、音声の聞き取りに重要な特徴量である音声信号の基本ピッチ周波数及び第１フォルマント周波数についてのパワースペクトルを覆い隠すように、周囲騒音信号のパワースペクトルを強調して、マスキング音信号を生成することにより、マスキング音信号のパワーを必要最小限に抑えることができる。

さらに、上述した一実施の形態の携帯電話端末１においては、周囲騒音信号からリアルタイムに抽出された非定常騒音信号に基づいて、マスキング音信号を生成することにより、周囲または近傍に存在する人物の聴覚は、突発的な音が重畳された場合に、音声を聞き分けることが難しくなるので、音声のマスキング効果を高めることができる。また、リアルタイムに抽出された非定常騒音信号は、違和感の少ないマスキング音の送出を可能にする。

［変形例］
上述した一実施の形態における処理はコンピュータで実行可能なプログラムとして提供され、ＣＤ−ＲＯＭやフレキシブルディスクなどの非一時的コンピュータ可読記録媒体、さらには通信回線を経て提供可能である。

また、上述した一実施の形態における各処理はその任意の複数または全てを選択し組合せて実施することもできる。

１携帯電話端末
２０オーディオ入出力部
２１マイク
２９スピーカ（背面スピーカ）
３０オーディオ信号処理部
３１音声分析部
３２騒音分析部
３３マスキング音生成部

Claims

周囲騒音を伴って入力された送話者の音声から音声信号の特徴量を分析する第１の分析部と；
入力された周囲騒音から周囲騒音信号の周波数特性を分析する第２の分析部と；
分析された周囲騒音信号の周波数特性を補正し、分析された音声信号の特徴量を覆い隠すマスキング音信号を生成する生成部と；を備え、
前記マスキング音信号を生成するための前記周囲騒音信号は周波数成分の時間変動が所定の閾値より大きい非定常騒音信号である、
通話装置。
前記第１の分析部は、前記音声信号の特徴量として基本ピッチ周波数及び少なくとも第１フォルマント周波数を算出し、
前記第２の分析部は、前記周囲騒音信号の周波数特性からパワースペクトルを算出し、
前記生成部は、前記周囲騒音信号の前記パワースペクトルを強調し、前記音声信号の前記基本ピッチ周波数及び前記第１フォルマント周波数についてのパワースペクトルを覆い隠すマスキング音信号を生成する、
請求項１記載の通話装置。
前記非定常騒音信号は前記周囲騒音信号からリアルタイムに抽出される、
請求項１または２記載の通話装置。
生成されたマスキング音信号は、前記送話者からの要求に応じて、スピーカを通して、マスキング音として送出される、
請求項１、２または３記載の通話装置。
周囲騒音を伴って入力された送話者の音声から音声信号の特徴量を分析し；
入力された周囲騒音から周囲騒音信号の周波数特性を分析し；
分析された周囲騒音信号の周波数特性を補正し、分析された音声信号の特徴量を覆い隠すマスキング音信号を生成し；
前記マスキング音信号を生成するための前記周囲騒音信号は周波数成分の時間変動が所
定の閾値より大きい非定常騒音信号である、
ように構成されたプロセッサを備える通話装置。
周囲騒音を伴って入力された送話者の音声から音声信号の特徴量を分析し；
入力された周囲騒音から周囲騒音信号の周波数特性を分析し；
分析された周囲騒音信号の周波数特性を補正し、分析された音声信号の特徴量を覆い隠すマスキング音信号を生成し；
前記マスキング音信号を生成するための前記周囲騒音信号は周波数成分の時間変動が所定の閾値より大きい非定常騒音信号である、
ことを通話装置のプロセッサに実行させるマスキング音生成プログラム。