JP4785563B2 - 音声処理装置および音声処理方法 - Google Patents

Description

本発明は、話者のプライバシーを保護する（会話の秘密保持含む）ために話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理装置および音声処理方法に関し、特に、話者の音声に被せて出力される音声が甲高い音になってしまうのを効果的に防止し、人に不快感を与えることなく話者のプライバシーを保護することができる音声処理装置および音声処理方法に関する。

従来、銀行、病院、証券会社などのオープンスペースでは、プライバシーに関わる内容の会話が頻繁におこなわれている。このため、話者のプライバシーを保護することを目的として、話者の音声（会話による音声）に対してマスキング音を出力するマスキング装置が開発されている（たとえば、特許文献１を参照）。

具体的には、かかる「マスキング音」としてホワイトノイズやＢＧＭなど、話者の発話音声を不明瞭にする妨害音を話者の発話音声に被せて出力し、話者の発話音声をかき消して発言内容を聞き取りにくくすることにより、話者のプライバシーを保護する。

特開平６−１７５６６６号公報

しかしながら、上述した従来技術では、話者のプライバシーを精度良く保護することができないという問題点があった。すなわち、上述した従来技術では、話者の音声との関連性が少ない音声をマスキング音として出力するため、話者の音声とマスキング音は別々の音声であると区別して傍聴者に認識されてしまうこととなり、話者のプライバシーを精度良く保護することができなかった。

このような問題を解決するため、話者の発話音声を用いて防聴音（後述にて説明）を生成し、マスキング音として出力することも考えられる。具体的には、話者の発話音声の音声スペクトルを検出し、音声スペクトルにおける山および谷の位置を反転・シフトして音声スペクトルを変形することにより防聴音を生成する。

ところが、単に音声スペクトルにおける山および谷を反転・シフトした場合には、防聴音が甲高い音になってしまい、防聴音を聞く人に不快感を与えてしまうという問題があった。そのため、防聴音が甲高い音になってしまうのをいかに効果的に防止し、防聴音を聞く人に不快感を与えないようにするかが重要な問題となる。

本発明は、上述した従来技術による問題点を解消するためになされたものであり、防聴音が甲高い音になってしまうのを効果的に防止し、人に不快感を与えることなく話者のプライバシーを保護することができる音声処理装置および音声処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明に係る音声処理装置は、話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理装置であって、人の代表的な音声信号のスペクトル包絡を複数個記憶するスペクトル包絡データベースと、話者の音声信号からスペクトル微細構造を抽出するスペクトル微細構造抽出手段と、前記スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択するスペクトル包絡選択手段と、前記スペクトル包絡選択手段により選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成手段とを備えたことを特徴とする。

また、請求項２の発明に係る音声処理装置は、請求項１の発明において、前記スペクトル包絡選択手段は、話者の音声の時間変化量が所定値以上である場合に前記スペクトル包絡データベースからスペクトル包絡に係るデータを新たに選択し、前記音声スペクトル生成手段は、前記スペクトル包絡選択手段により新たに選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを新たに生成することを特徴とする。

また、請求項３の発明に係る音声処理装置は、請求項１または２の発明において、前記スペクトル包絡選択手段は、前記スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータをランダムに選択することを特徴とする。

また、請求項４の発明に係る音声処理装置は、請求項１または２の発明において、話者の音声信号からスペクトル包絡を抽出するスペクトル包絡抽出手段をさらに備え、前記スペクトル包絡選択手段は、前記スペクトル包絡抽出手段により抽出されたスペクトル包絡と、前記スペクトル包絡データベースにデータが記憶されたスペクトル包絡との間の類似度に基づいて、前記スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択することを特徴とする。

また、請求項５の発明に係る音声処理装置は、話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理装置であって、話者の音声信号からスペクトル微細構造を抽出するスペクトル微細構造抽出手段と、前記スペクトル微細構造抽出手段により抽出されたスペクトル微細構造と所定周波数帯域のスペクトル強度が補正されたスペクトル包絡とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成手段と、前記音声スペクトル生成手段により生成された音声スペクトルの所定の周波数領域におけるスペクトル強度を抑制することにより当該音声スペクトルを補正する周波数強度補正手段とを備えたことを特徴とする。

また、請求項６の発明に係る音声処理装置は、請求項５の発明において、前記周波数強度補正手段は、話者の音声信号から得られる音声スペクトルと、前記音声スペクトル生成手段により生成された音声スペクトルとの差に基づいてスペクトル強度の補正量を設定することを特徴とする。

また、請求項７の発明に係る音声処理方法は、話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理方法であって、人の代表的な音声信号のスペクトル包絡をスペクトル包絡データベースに複数個記憶する記憶工程と、話者の音声信号からスペクトル微細構造を抽出するスペクトル抽出工程と、前記スペクトル微細構造抽出工程によりスペクトル微細構造が抽出された場合に、あらかじめスペクトル包絡データベースに記憶された異なる複数のスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択するスペクトル包絡選択工程と、前記スペクトル包絡選択工程により選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成工程とを含んだことを特徴とする。

また、請求項８の発明に係る音声処理方法は、話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理方法であって、話者の音声信号からスペクトル微細構造を抽出するスペクトル微細構造抽出工程と、前記スペクトル微細構造抽出手段により抽出されたスペクトル微細構造と所定周波数帯域のスペクトル強度が補正されたスペクトル包絡とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成工程と、前記音声スペクトル生成工程により生成された音声スペクトルの所定の周波数領域におけるスペクトル強度を抑制することにより当該音声スペクトルを補正する周波数強度補正工程とを含んだことを特徴とする。

請求項１または７の発明によれば、スペクトル包絡データベースが人の代表的な音声信号のスペクトル包絡を複数個記憶し、話者の音声信号からスペクトル微細構造を抽出し、スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択し、選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成することとしたので、話者の音源情報を保持したスペクトル微細構造とスペクトル包絡とを利用して防聴音のスペクトルを生成するので、防聴音は話者の音源情報を保持しているため、話者の会話音声と融合し、話者の発言内容を聞き取りにくくすることができるとともに、話者の音声スペクトルを変形して防聴音を生成するのではなく、スペクトル包絡データベースにあらかじめ登録されたスペクトル包絡を用いて防聴音を生成するので、防聴音が甲高い音になって、人に不快感を与えてしまうことを効果的に防止することができるという効果を奏する。

また、請求項２の発明によれば、話者の音声の時間変化量が所定値以上である場合にスペクトル包絡データベースからスペクトル包絡に係るデータを新たに選択し、新たに選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを新たに生成することとしたので、話者の発言内容を聞き取りにくくするのに適したスペクトル包絡を話者の音声の変化に追従して選択することができるという効果を奏する。

また、請求項３の発明によれば、スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータをランダムに選択することとしたので、人に不快感を与えることのない防聴音の生成に用いられるスペクトル包絡を効率的に選択することができるという効果を奏する。

また、請求項４の発明によれば、話者の音声信号からスペクトル包絡をさらに抽出し、抽出されたスペクトル包絡と、スペクトル包絡データベースにデータが記憶されたスペクトル包絡との間の類似度に基づいて、スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択することとしたので、話者の音韻とかけ離れた音韻を表すスペクトル包絡を効果的に選択することができ、話者の発言内容を聞き取りにくくする防聴音を生成することができるという効果を奏する。

また、請求項５または８の発明によれば、話者の音声信号からスペクトル微細構造を抽出し、抽出されたスペクトル微細構造と所定周波数帯域のスペクトル強度が補正されたスペクトル包絡とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成し、生成された音声スペクトルの所定の周波数領域におけるスペクトル強度を抑制することにより当該音声スペクトルを補正することとしたので、防聴音が甲高い音になる原因となる周波数領域のスペクトル強度を抑制することにより、人に不快感を与えてしまうことを効果的に防止することができるという効果を奏する。

また、請求項６の発明によれば、話者の音声信号から抽出されたスペクトル微細構造および所定のスペクトル包絡を合成することにより生成された音声スペクトルと、話者の音声信号から得られる音声スペクトルとの差に基づいてスペクトル強度の補正量を設定することとしたので、防聴音が甲高い音になる原因となる周波数領域のスペクトル強度の補正量を適切に設定することができるという効果を奏する。

以下に添付図面を参照して、本発明に係る音声処理装置および音声処理方法の好適な実施例を詳細に説明する。

まず、本実施例１に係る音声処理の概念について説明する。図１は、実施例１に係る音声処理の概念を説明する図である。

図１に示すように、この音声処理では、話者の会話音声を不明瞭にする音声（この音声は会話音声が第三者に聞き取られる（聴かれる）のを防ぐことが目的であるため、以下、この音声を防聴音と呼ぶ）を生成する場合に、マイクロフォン等により話者の音声信号を取得し、所定の時間間隔で音声信号のスペクトル分析をおこなって、音圧や周波数分布などの会話音声の特徴を抽出する。図１には、「あ」、「い」、「う」、「え」、「お」という音声波形１０に対してスペクトル分析を適用した結果得られるスペクトログラム１１の例が示されている。

そして、このようなスペクトログラム１１から得られる短時間スペクトル１２から、音韻情報を表すスペクトル包絡１３と、音源情報を表すスペクトル微細構造１４とが抽出される。

一方、この音声処理においては、あらかじめ人の代表的な音声信号をクラスタリングなどの統計手法を用いて抽出し、抽出された音声信号のスペクトル包絡をスペクトル包絡データベース１５に複数登録しておく。

そして、話者の会話音声のスペクトル分析から得られたスペクトル包絡１３と最も類似していない（スペクトル距離が最大である）スペクトル包絡がスペクトル包絡データベース１５に登録されたスペクトル包絡の中から選択され、選択されたスペクトル包絡１６により話者の会話音声から得られたスペクトル包絡１３が置換される。

ここで、話者の会話音声のスペクトル分析から得られたスペクトル包絡１３と最も類似していないスペクトル包絡を選択する理由は、話者の音声の音韻とかけ離れた音韻を表すスペクトル包絡を基にして防聴音を生成することにより話者の発言内容を聞き取りにくくするためである。

続いて、話者の会話音声から得られたスペクトル包絡１３を置換したスペクトル包絡１６とスペクトル微細構造１４とが合成され、防聴音のスペクトル１７が生成される。そして、この防聴音のスペクトル１７から防聴音が生成され、スピーカからその防聴音が出力される。

このように、この音声処理では、話者の音源情報を保持したスペクトル微細構造１４と、人の代表的な音声信号のスペクトル包絡とを利用して防聴音のスペクトルを生成するので、防聴音は話者の音源情報を保持しているため、防聴音を話者の会話音声と融合させることができ、話者の発言内容を聞き取りにくくすることができる。

また、話者の音声スペクトルにおける山および谷の位置を反転・シフトして防聴音を生成するのではなく、人の代表的な音声信号のスペクトル包絡をそのまま用いて防聴音を生成するため、防聴音が不自然に甲高い音になって防聴音を聞く人に不快感を与えてしまうことを防止することができる。

図２は、実施例１における防聴音のスペクトログラムと従来の防聴音のスペクトログラムとの比較を示す図である。図２には、話者が発声した原音声のスペクトログラム２０と、従来の防聴音のスペクトログラム２１と、本実施例の防聴音のスペクトログラム２２とが示されている。図２の各スペクトログラムにおいては色の濃い領域が強度の大きい領域に対応している。

ここで、従来の防聴音のスペクトログラム２１とは、話者の会話音声のスペクトル包絡１３における山および谷の位置を反転・シフトして、スペクトル微細構造１４と合成することにより生成された防聴音のスペクトログラムである。また、本実施例の防聴音のスペクトログラム２２とは、図１で説明したようにして生成された防聴音のスペクトログラムである。

図２に示すように、従来の防聴音のスペクトログラム２１では、中域（１ｋＨｚ〜４ｋＨｚ）の周波数領域における強度が原音声のスペクトログラム２０に比べて増大している。そして、この中域の周波数範囲における強度の増大が甲高い音の原因となっている。

それに対して、本実施例の防聴音のスペクトログラム２２では、中域の周波数範囲における強度の増大が抑制されていることがわかる。このように、中域の周波数範囲における強度の増大を抑制することにより、防聴音が甲高い音になることを効果的に防止することができる。

なお、本実施例のように、人の代表的な音声信号のスペクトル包絡を利用して防聴音のスペクトルを生成する場合には、図２に示したような原音声のスペクトログラム２０の時間変化に応じて防聴音の生成に用いられるスペクトル包絡が再選択される。

具体的には、図２に示したように、原音声の時間変化が所定値以上になった場合には、話者の音声信号から抽出されたスペクトル包絡と最も類似していないスペクトル包絡がスペクトル包絡データベース１４に登録されたスペクトル包絡の中から新たに選択され、選択されたスペクトル包絡を用いて防聴音のスペクトルが生成される。これにより、話者の発言内容を聞き取りにくくするのに適したスペクトル包絡を原音声の変化に追従して適切に選択することができる。

つぎに、実施例１に係る音声処理装置の機能構成について説明する。図３は、実施例１に係る音声処理装置３０の機能構成を示す図である。図３に示すように、この音声処理装置３０は、入力部３１、表示部３２、音声入力受付部３３、スペクトル包絡データベース３４、音声生成部３５、音声出力部３６、制御部３７を有する。

入力部３１は、各種情報の入力に用いられるキーボードやマウスなどの入力デバイスである。表示部３２は、各種情報を出力するディスプレイなどの表示デバイスである。音声入力受付部３３は、マイクロフォンなどから話者の音声信号を受け付け、Ａ／Ｄ変換および増幅処理をおこなって制御部３７に出力する受付部である。

スペクトル包絡データベース３４は、図１で説明したようにして防聴音のスペクトルを生成する場合に、話者の音声信号から抽出されたスペクトル包絡を置き換える候補となるスペクトル包絡のデータを記憶したデータベースである。

音声生成部３５は、後に説明する制御部３７により生成された防聴音のスペクトルから防聴音の音声信号を生成する生成部である。音声出力部３６は、音声生成部３５により生成された音声信号のＤ／Ａ変換および増幅処理をおこなってスピーカに出力する出力部である。

制御部３７は、ＯＳ（Operating System）などの制御プログラム、各種処理の処理手順を規定したプログラム、および、各種データを格納するためのメモリを有し、種々の処理を実行する制御部である。

この制御部３７は、スペクトル分析部３７ａ、スペクトル微細構造抽出部３７ｂ、スペクトル包絡抽出部３７ｃ、スペクトル包絡選択部３７ｄ、スペクトル生成部３７ｅを有する。

スペクトル分析部３７ａは、音声入力受付部３３からデジタル化された音声信号を受け付けてケプストラム分析をおこない、その結果得られるケプストラム係数のうち、高ケフレンシ部と低ケフレンシ部とをスペクトル微細構造抽出部３７ｂ、スペクトル包絡抽出部３７ｃにそれぞれ出力する分析部である。

具体的には、スペクトル分析部３７ａは、音声信号に対してハニング窓やハミング窓などの所定の窓関数を適用し、高速フーリエ変換（FFT, Fast Fourier Transform）を用いた短時間スペクトル分析を実行する。

続いて、スペクトル分析部３７ａは、高速フーリエ変換の結果得られた値の絶対値を求め、さらにその絶対値の対数を算出する。そして、スペクトル分析部３７ａは、算出された対数の値に逆高速フーリエ変換（IFFT, Inverse Fast Fourier Transform）を適用し、ケプストラム係数を算出する。

その後、スペクトル分析部３７ａは、算出されたケプストラム係数に対してケプストラム窓を用いてリフタリングをおこなうことにより高ケフレンシ部と低ケフレンシ部とを抽出する。

また、このスペクトル分析部３７ａは、過去に音声入力受付部３３から受け付けた音声信号のスペクトルを記憶しておく。そして、スペクトル分析部３７ａは、新たに受け付けた音声信号のスペクトルと、過去に受け付けた音声信号のスペクトルとの間のスペクトル距離を算出し、そのスペクトル距離が所定値以上になった場合にスペクトル包絡選択部３７ｄに対して新たなスペクトル包絡を選択するよう指示する処理をおこなう。

スペクトル微細構造抽出部３７ｂは、スペクトル分析部３７ａから高ケフレンシ部を受け付け、高速フーリエ変換を適用することによりスペクトル微細構造を抽出する抽出部である。スペクトル包絡抽出部３７ｃは、スペクトル分析部３７ａから低ケフレンシ部を受け付け、高速フーリエ変換を適用することによりスペクトル包絡を抽出する抽出部である。

スペクトル包絡選択部３７ｄは、スペクトル包絡抽出部３７ｃにより抽出されたスペクトル包絡と、スペクトル包絡データベース３４に登録されたスペクトル包絡との間のスペクトル距離を算出し、スペクトル包絡データベース３４に登録されたスペクトル包絡のうちスペクトル距離が最大であるスペクトル包絡を、スペクトル包絡抽出部３７ｃにより抽出されたスペクトル包絡を置換するものとして選択する選択部である。

ここで、スペクトル距離としては、低ケフレンシ部の成分からなるベクトルのユークリッド距離が用いられる。なお、ここで用いられるスペクトル距離はこれに限定されず、ＦＦＴによるスペクトル距離や、線形予測（LPC, Linear Predictive Coding）分析により得られたスペクトル包絡に基づくスペクトル距離など、従来提案されているさまざまなスペクトル距離を用いてもよい。

スペクトル生成部３７ｅは、スペクトル微細構造抽出部３７ｂにより抽出されたスペクトル微細構造と、スペクトル包絡選択部３７ｄにより選択されたスペクトル包絡とを合成して防聴音のスペクトルを生成する生成部である。

つぎに、実施例１に係る音声処理の処理手順について説明する。図４は、実施例１に係る音声処理の処理手順を示すフローチャートである。図４に示すように、まず、音声処理装置３０の音声入力受付部３３は、マイクロフォンから音声信号の入力を受け付ける（ステップＳ１０１）。

そして、スペクトル分析部３７ａは、入力された音声信号の音声波形のスペクトル分析を実行し、ケプストラム係数における高ケフレンシ部および低ケフレンシ部を算出する（ステップＳ１０２）。

続いて、スペクトル微細構造抽出部３７ｂは、スペクトル分析部３７ａから高ケフレンシ部を取得して、スペクトル微細構造を抽出する（ステップＳ１０３）。そして、スペクトル包絡抽出部３７ｃは、スペクトル分析部３７ａから低ケフレンシ部を取得して、スペクトル包絡を抽出する（ステップＳ１０４）。

その後、スペクトル分析部３７ａは、入力された音声信号のスペクトルと、過去に入力された音声信号のスペクトルとを比較して、スペクトルの時間変動が所定値以上となったか否かを調べる（ステップＳ１０５）。

スペクトルの時間変動が所定値以上でない場合には（ステップＳ１０５，Ｎｏ）、スペクトル包絡選択部３７ｄは、スペクトル包絡が選択済みか否かを調べる（ステップＳ１０６）。

そして、スペクトル包絡が選択済みでない場合には（ステップＳ１０６，Ｎｏ）、スペクトル包絡選択部３７ｄは、スペクトル包絡データベース３４に登録されたスペクトル包絡のデータを読み込む（ステップＳ１０７）。

続いて、スペクトル包絡選択部３７ｄは、スペクトル包絡抽出部３７ｃにより抽出されたスペクトル包絡とスペクトル距離が最も大きいスペクトル包絡をスペクトル包絡データベース３４に登録されたスペクトル包絡の中から選択する（ステップＳ１０８）。

その後、スペクトル生成部３７ｅは、選択されたスペクトル包絡と、スペクトル微細構造抽出部３７ｂにより抽出されたスペクトル微細構造とを合成した防聴音のスペクトルを生成する（ステップＳ１０９）。

ステップＳ１０５において、スペクトルの時間変動が所定値以上である場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０７に移行して、それ以後の処理を継続する。また、ステップＳ１０６において、スペクトル包絡が選択済みである場合には（ステップＳ１０６，Ｙｅｓ）、ステップＳ１０９に移行して、それ以後の処理を継続する。

ステップＳ１０９の後、音声生成部３５は、スペクトル生成部３７ｅにより生成された防聴音のスペクトルから防聴音の音声信号を生成する（ステップＳ１１０）。そして、音声出力部３６は、音声生成部３５により生成された防聴音の音声信号をスピーカに出力する（ステップＳ１１１）。

その後、制御部３７は、防聴音の出力処理の終了指示がなされたか否かを調べ（ステップＳ１１２）、終了指示がなされた場合には（ステップＳ１１２，Ｙｅｓ）、この処理を終了する。終了指示がなされていない場合には（ステップＳ１１２，Ｎｏ）、ステップＳ１０１に移行して、それ以後の処理を繰り返す。

ステップＳ１０５において、スペクトルの時間変動が所定値以上となった場合には（ステップＳ１０５，Ｙｅｓ）、スペクトル生成部３７ｅは、設定済みのスペクトル包絡を棄却し、ステップＳ１０７に移行して、スペクトル包絡を新たに設定する処理をおこなう。

なお、上記実施例では、スペクトル包絡データベース３４に登録されたスペクトル包絡の中からスペクトル包絡をスペクトル距離に基づいて選択することとしたが、スペクトル包絡データベース３４に登録されたスペクトル包絡の中からスペクトル包絡をランダムに選択してもよく、あるいは、その他の方法で選択してもよい。

上述してきたように、実施例１によれば、異なる複数のスペクトル包絡に係るデータをスペクトル包絡データベース３４が記憶し、スペクトル微細構造抽出部３７ｂが、話者の音声信号からスペクトル微細構造を抽出し、スペクトル包絡選択部３７ｄが、スペクトル包絡データベース３４に記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択し、スペクトル生成部３７ｅが、選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される防聴音のスペクトルを生成することとしたので、話者の音源情報を保持したスペクトル微細構造とスペクトル包絡とを利用して防聴音のスペクトルを生成するので、防聴音は話者の音源情報を保持しているため、話者の会話音声と融合し、話者の発言内容を聞き取りにくくすることができるとともに、話者の音声スペクトルを変形して防聴音を生成するのではなく、スペクトル包絡データベース３４にあらかじめ登録されたスペクトル包絡を用いて防聴音を生成するので、防聴音が甲高い音になって、人に不快感を与えてしまうことを効果的に防止することができる。

また、実施例１によれば、スペクトル包絡選択部３７ｄが、話者の音声の時間変化量が所定値以上である場合にスペクトル包絡データベース３４からスペクトル包絡に係るデータを新たに選択し、スペクトル生成部３７ｅが、新たに選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを新たに生成することとしたので、話者の発言内容を聞き取りにくくするのに適したスペクトル包絡を話者の音声の変化に追従して選択することができる。

また、実施例１によれば、スペクトル包絡選択部３７ｄが、スペクトル包絡データベース３４に記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータをランダムに選択することとしたので、人に不快感を与えることのない防聴音の生成に用いられるスペクトル包絡を効率的に選択することができる。

また、実施例１によれば、スペクトル包絡抽出部３７ｃが、話者の音声信号からスペクトル包絡を抽出し、スペクトル包絡選択部３７ｄが、抽出されたスペクトル包絡と、スペクトル包絡データベース３４にデータが記憶されたスペクトル包絡との間のスペクトル距離に基づいて、スペクトル包絡データベース３４に記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択することとしたので、話者の音韻とかけ離れた音韻を表すスペクトル包絡を効果的に選択することができ、話者の発言内容を聞き取りにくくする防聴音を生成することができる。

ところで、実施例１では、人の代表的な音声信号のスペクトル包絡を利用して、甲高さが抑制された防聴音のスペクトルを生成することとしたが、生成された防聴音のスペクトルにおいて甲高さの原因となる周波数領域のスペクトル強度を抑制することにより、防聴音が甲高い音になるのを防止することとしてもよい。そこで、本実施例２では、防聴音のスペクトルにおいて甲高さの原因となる周波数領域のスペクトル強度を抑制する場合について説明する。

まず、本実施例２に係る音声処理の概念について説明する。図５は、実施例２に係る音声処理を説明する図である。

この音声処理では、防聴音のスペクトルにおいて甲高さの原因となる周波数領域のスペクトル強度補正量４０をあらかじめ算出しておく。図５の例では、１ｋＨｚ〜２ｋＨｚの周波数領域が甲高さの大きな原因となっており、特に補正量が大きくなっている。

図５に示したようなスペクトル強度補正量４０は、さまざまな話者の音声信号のスペクトルの特徴と、それらの話者の音声信号に基づいて生成された防聴音のスペクトルとを比較することにより算出される。

図６は、スペクトル強度補正量４０の算出方法について説明する図である。図６に示すように、スペクトル強度補正量４０を算出する場合には、さまざまな話者の音声信号のスペクトルを収集し、収集したスペクトルの平均値（原音のスペクトル平均）を算出する。一方で、さまざまな話者の音声信号から生成された防聴音の音声信号のスペクトルを収集し、収集したスペクトルの平均値（防聴音のスペクトル平均）を算出する。

そして、防聴音のスペクトル平均から原音のスペクトル平均を差し引いたスペクトルの増加分（防聴音のスペクトル増加分）を算出する。そして、防聴音のスペクトル増加分が正の値である周波数帯域を検出し、その周波数帯域における防聴音のスペクトル増加分を防聴音のスペクトルのスペクトル強度から減ずるスペクトル強度補正量４０として設定する。

このようにして、甲高さの原因となる周波数領域のスペクトル強度を抑制することにより、防聴音が甲高い音になることを効果的に防止することができる。

つぎに、実施例２に係る音声処理装置の機能構成について説明する。図７は、実施例２に係る音声処理装置５０の機能構成を示す図である。なお、ここでは、音声処理装置５０は、防聴音のスペクトルを話者の音声信号から抽出したスペクトル包絡を変化させることにより生成することとする。しかしながら、防聴音のスペクトルの生成方法はこれに限定されず、実施例１で説明したような方法など、その他の方法で生成することとしてもよい。

図７に示すように、この音声処理装置５０は、入力部５１、表示部５２、音声入力受付部５３、音声生成部５４、音声出力部５５、制御部５６を有する。

入力部５１は、各種情報の入力に用いられるキーボードやマウスなどの入力デバイスである。表示部５２は、各種情報を出力するディスプレイなどの表示デバイスである。音声入力受付部５３は、マイクロフォンなどから話者の音声信号を受け付け、Ａ／Ｄ変換および増幅処理をおこなって制御部５６に出力する受付部である。

音声生成部５４は、後に説明する制御部５６により生成された防聴音のスペクトルから防聴音の音声信号を生成する生成部である。音声出力部５５は、音声生成部５４により生成された音声信号のＤ／Ａ変換および増幅処理をおこなってスピーカに出力する出力部である。

制御部５６は、ＯＳなどの制御プログラム、各種処理の処理手順を規定したプログラム、および、各種データを格納するためのメモリを有し、種々の処理を実行する制御部である。

この制御部５６は、スペクトル分析部５６ａ、スペクトル微細構造抽出部５６ｂ、スペクトル包絡抽出部５６ｃ、スペクトル包絡変形部５６ｄ、スペクトル生成部５６ｅ、周波数強度補正量算出部５６ｆ、周波数強度補正部５６ｇを有する。

スペクトル分析部５６ａは、実施例１で説明したスペクトル分析部５６ａと同様にして、音声入力受付部５３からデジタル化された音声信号を受け付けてケプストラム分析をおこない、その結果得られるケプストラム係数のうち、高ケフレンシ部と低ケフレンシ部とをスペクトル微細構造抽出部５６ｂ、スペクトル包絡抽出部５６ｃにそれぞれ出力する分析部である。

スペクトル微細構造抽出部５６ｂは、スペクトル分析部５６ａから高ケフレンシ部を受け付け、高速フーリエ変換を適用することによりスペクトル微細構造を抽出する抽出部である。スペクトル包絡抽出部５６ｃは、スペクトル分析部５６ａから低ケフレンシ部を受け付け、高速フーリエ変換を適用することによりスペクトル包絡を抽出する抽出部である。

スペクトル包絡変形部５６ｄは、抽出されたスペクトル包絡の山や谷の位置を変化させることによりスペクトル包絡の形状を変形させる変形部である。具体的には、スペクトル包絡変形部５６ｄは、スペクトル包絡に対して所定の反転軸を設定して、その反転軸を中心として山や谷の位置を反転させる。

スペクトル生成部５６ｅは、スペクトル微細構造抽出部５６ｂにより抽出されたスペクトル微細構造と、スペクトル包絡変形部５６ｄにより変形されたスペクトル包絡とを合成して防聴音のスペクトルを生成する生成部である。

周波数強度補正量算出部５６ｆは、スペクトル生成部５６ｅにより生成された防聴音のスペクトルにおけるスペクトル強度の補正量を算出する算出部である。具体的には、周波数強度補正量算出部５６ｆは、スペクトル分析部５６ａから、さまざまな話者の音声信号のスペクトルの情報を受信し、受信したスペクトルの平均値（原音のスペクトル平均）を算出する。

また、周波数強度補正量算出部５６ｆは、スペクトル生成部５６ｅからさまざまな話者の音声信号に基づいて生成された防聴音のスペクトルの情報を受信し、受信したスペクトルの平均値（防聴音のスペクトル平均）を算出する。

その後、周波数強度補正量算出部５６ｆは、防聴音のスペクトル平均から原音のスペクトル平均を差し引いたスペクトルの増加分（防聴音のスペクトル増加分）を算出する。そして、周波数強度補正量算出部５６ｆは、防聴音のスペクトル増加分が正の値である周波数帯域を検出し、その周波数帯域における防聴音のスペクトル増加分をスペクトル強度の補正量として設定する。

周波数強度補正部５６ｇは、スペクトル生成部５６ｅにより生成された防聴音のスペクトルの所定の周波数領域におけるスペクトル強度を補正し、スペクトル強度が補正された防聴音のスペクトルを音声生成部５４に出力する補正部である。具体的には、周波数強度補正部５６ｇは、周波数強度補正量算出部５６ｆにより算出された補正量の情報に基づいて、防聴音のスペクトルのスペクトル強度を補正する。

つぎに、実施例２に係る音声処理の処理手順について説明する。図８は、実施例２に係る音声処理の処理手順を示すフローチャートである。図８に示すように、まず、音声処理装置５０の音声入力受付部５３は、マイクロフォンから音声信号の入力を受け付ける（ステップＳ２０１）。

そして、スペクトル分析部５６ａは、入力された音声信号の音声波形のスペクトル分析を実行し、ケプストラム係数における高ケフレンシ部および低ケフレンシ部を算出する（ステップＳ２０２）。

続いて、スペクトル微細構造抽出部５６ｂは、スペクトル分析部５６ａから高ケフレンシ部を取得して、スペクトル微細構造を抽出する（ステップＳ２０３）。そして、スペクトル包絡抽出部５６ｃは、スペクトル分析部５６ａから低ケフレンシ部を取得して、スペクトル包絡を抽出する（ステップＳ２０４）。

その後、スペクトル包絡変形部５６ｄは、スペクトル包絡抽出部５６ｃにより抽出されたスペクトル包絡の山と谷の位置を変化させることによりスペクトル包絡を変形する（ステップＳ２０５）。

そして、スペクトル生成部５６ｅは、スペクトル包絡変形部５６ｄにより変形されたスペクトル包絡と、スペクトル微細構造抽出部５６ｂにより抽出されたスペクトル微細構造とを合成した防聴音のスペクトルを生成する（ステップＳ２０６）。

続いて、周波数強度補正部５６ｇは、スペクトル生成部５６ｅにより生成された防聴音のスペクトルのあらかじめ設定された周波数領域におけるスペクトル強度を補正する（ステップＳ２０７）。このスペクトル強度の補正量の設定手順は、後に詳しく説明する。

そして、音声生成部５４は、周波数強度補正部５６ｇによりスペクトル強度が補正された防聴音のスペクトルから防聴音の音声信号を生成する（ステップＳ２０８）。そして、音声出力部５５は、音声生成部５４により生成された防聴音の音声信号をスピーカに出力する（ステップＳ２０９）。

その後、制御部５６は、防聴音の出力処理の終了指示がなされたか否かを調べ（ステップＳ２１０）、終了指示がなされた場合には（ステップＳ２１０，Ｙｅｓ）、この処理を終了する。終了指示がなされていない場合には（ステップＳ２１０，Ｎｏ）、ステップＳ２０１に移行して、それ以後の処理を繰り返す。

つぎに、スペクトル強度補正量の設定処理の処理手順について説明する。図９は、スペクトル強度補正量の設定処理の処理手順を示すフローチャートである。図９に示すように、まず、音声処理装置５０の周波数強度補正量算出部５６ｆは、スペクトル分析部５６ａから入力音声のスペクトルの情報を受信して、その情報を蓄積する（ステップＳ３０１）。

また、周波数強度補正量算出部５６ｆは、周波数強度補正量算出部５６ｆは、スペクトル生成部５６ｅから入力音声に基づいて生成された防聴音のスペクトルの情報を取得して、その情報を蓄積する（ステップＳ３０２）。

その後、周波数強度補正量算出部５６ｆは、入力音声のスペクトルの平均（原音のスペクトル平均）を算出する（ステップＳ３０３）。また、周波数強度補正量算出部５６ｆは、防聴音のスペクトルの平均（防聴音のスペクトル平均）を算出する（ステップＳ３０４）。

そして、周波数強度補正量算出部５６ｆは、防聴音のスペクトル平均から入力音声信号のスペクトル平均を差し引いたスペクトルの増加分（防聴音のスペクトル増加分）を算出する（ステップＳ３０５）。

その後、周波数強度補正量算出部５６ｆは、防聴音のスペクトル増加分が正の値である周波数帯域を検出し（ステップＳ３０６）、その周波数帯域における防聴音のスペクトル増加分をスペクトル強度の補正量として設定する（ステップＳ３０７）。

なお、上記実施例２では、周波数強度補正部５６ｇが、防聴音のスペクトルのスペクトル強度をあらかじめ設定された補正量だけ自動的に補正することとしたが、周波数強度補正部５６ｇが、入力部５１を介してユーザにより入力された補正量を受け付け、その補正量分だけ防聴音のスペクトルのスペクトル強度を補正することとしてもよい。

この場合、周波数強度補正部５６ｇは、図６に示したような防聴音のスペクトル増加分の情報を表示部５２に出力するとともに、周波数領域ごとにスペクトル強度の補正量の指定をユーザから受け付けるスペクトル強度補正受付画面を表示部５２に出力する。

図１０は、表示部５２に出力されるスペクトル強度補正受付画面６０の一例を示す図である。ユーザは、防聴音が甲高い音になることを防止するため、防聴音のスペクトル増加分の情報を参照し、周波数帯域ごとにマウス等を操作してスペクトル強度の増減を調節するスライダを動かし、スペクトル強度の補正量を決定する。

そして、周波数強度補正部５６ｇは、このスペクトル強度の補正量の情報を受け付け、受け付けた補正量の情報に基づいて防聴音のスペクトルのスペクトル強度の補正をおこなう。

上述してきたように、実施例２によれば、スペクトル微細構造抽出部５６ｂが、話者の音声信号からスペクトル微細構造を抽出し、スペクトル生成部５６ｅが、抽出されたスペクトル微細構造と所定のスペクトル包絡とを合成することにより話者の音声に被せて出力される防聴音のスペクトルを生成し、周波数強度補正部５６ｇが、生成されたスペクトルの所定の周波数領域におけるスペクトル強度を抑制することにより当該スペクトルを補正することとしたので、防聴音が甲高い音になる原因となる周波数領域のスペクトル強度を抑制することにより、人に不快感を与えてしまうことを効果的に防止することができる。

また、実施例２によれば、周波数強度補正量算出部５６ｆが、話者の音声信号から抽出されたスペクトル微細構造および所定のスペクトル包絡を合成することにより生成された防聴音のスペクトルと、話者の音声信号から得られるスペクトルとの差に基づいてスペクトル強度の補正量を設定することとしたので、防聴音が甲高い音になる原因となる周波数領域のスペクトル強度の補正量を適切に設定することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施例にて実施されてもよいものである。

また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

なお、上記実施例で説明した音声処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明にかかる音声処理装置および音声処理方法は、話者の音声に被せて出力される音声が甲高い音になってしまうのを効果的に防止し、人に不快感を与えることなく話者のプライバシーを保護することが必要な音声処理システムに対して有用である。

実施例１に係る音声処理の概念を説明する図である。 実施例１における防聴音のスペクトログラムと従来の防聴音のスペクトログラムとの比較を示す図である。 実施例１に係る音声処理装置３０の機能構成を示す図である。 実施例１に係る音声処理の処理手順を示すフローチャートである。 実施例２に係る音声処理を説明する図である。 スペクトル強度補正量４０の算出方法について説明する図である。 実施例２に係る音声処理装置５０の機能構成を示す図である。 実施例２に係る音声処理の処理手順を示すフローチャートである。 スペクトル強度補正量の設定処理の処理手順を示すフローチャートである。 表示部５２に出力されるスペクトル強度変更受付画面６０の一例を示す図である。

符号の説明

１０ 音声波形
１１ スペクトログラム
１２ 短時間スペクトル
１３ スペクトル包絡
１４ スペクトル微細構造
１５ スペクトル包絡データベース
１６ 置換したスペクトル包絡
１７ 防聴音のスペクトル
２０ 原音声のスペクトログラム
２１ 従来の防聴音のスペクトログラム
２２ 本実施例の防聴音のスペクトログラム
３０ 音声処理装置
３１ 入力部
３２ 表示部
３３ 音声入力受付部
３４ スペクトル包絡データベース
３５ 音声生成部
３６ 音声出力部
３７ 制御部
３７ａ スペクトル分析部
３７ｂ スペクトル微細構造抽出部
３７ｃ スペクトル包絡抽出部
３７ｄ スペクトル包絡選択部
３７ｅ スペクトル生成部
４０ スペクトル強度補正量
５０ 音声処理装置
５１ 入力部
５２ 表示部
５３ 音声入力受付部
５４ 音声生成部
５５ 音声出力部
５６ 制御部
５６ａ スペクトル分析部
５６ｂ スペクトル微細構造抽出部
５６ｃ スペクトル包絡抽出部
５６ｄ スペクトル包絡変形部
５６ｅ スペクトル生成部
５６ｆ 周波数強度補正量算出部
５６ｇ 周波数強度補正部
６０ スペクトル強度補正受付画面

Claims (8)

1. 話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理装置であって、
   人の代表的な音声信号のスペクトル包絡を複数個記憶するスペクトル包絡データベースと、
   話者の音声信号からスペクトル微細構造を抽出するスペクトル微細構造抽出手段と、
   前記スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択するスペクトル包絡選択手段と、
   前記スペクトル包絡選択手段により選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成手段と
   を備えたことを特徴とする音声処理装置。
2. 前記スペクトル包絡選択手段は、話者の音声の時間変化量が所定値以上である場合に前記スペクトル包絡データベースからスペクトル包絡に係るデータを新たに選択し、前記音声スペクトル生成手段は、前記スペクトル包絡選択手段により新たに選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを新たに生成することを特徴とする請求項１に記載の音声処理装置。
3. 前記スペクトル包絡選択手段は、前記スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータをランダムに選択することを特徴とする請求項１または２に記載の音声処理装置。
4. 話者の音声信号からスペクトル包絡を抽出するスペクトル包絡抽出手段をさらに備え、前記スペクトル包絡選択手段は、前記スペクトル包絡抽出手段により抽出されたスペクトル包絡と、前記スペクトル包絡データベースにデータが記憶されたスペクトル包絡との間の類似度に基づいて、前記スペクトル包絡データベースに記憶されたスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択することを特徴とする請求項１または２に記載の音声処理装置。
5. 話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理装置であって、
   話者の音声信号からスペクトル微細構造を抽出するスペクトル微細構造抽出手段と、
   前記スペクトル微細構造抽出手段により抽出されたスペクトル微細構造と所定周波数帯域のスペクトル強度が補正されたスペクトル包絡とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成手段と、
   前記音声スペクトル生成手段により生成された音声スペクトルの所定の周波数領域におけるスペクトル強度を抑制することにより当該音声スペクトルを補正する周波数強度補正手段と
   を備えたことを特徴とする音声処理装置。
6. 前記周波数強度補正手段は、話者の音声信号から得られる音声スペクトルと、前記音声スペクトル生成手段により生成された音声スペクトルとの差に基づいてスペクトル強度の補正量を設定することを特徴とする請求項５に記載の音声処理装置。
7. 話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理方法であって、
   人の代表的な音声信号のスペクトル包絡をスペクトル包絡データベースに複数個記憶する記憶工程と、
   話者の音声信号からスペクトル微細構造を抽出するスペクトル抽出工程と、
   前記スペクトル微細構造抽出工程によりスペクトル微細構造が抽出された場合に、あらかじめスペクトル包絡データベースに記憶された異なる複数のスペクトル包絡に係るデータの中からスペクトル包絡に係るデータを選択するスペクトル包絡選択工程と、
   前記スペクトル包絡選択工程により選択されたスペクトル包絡とスペクトル微細構造とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成工程と
   を含んだことを特徴とする音声処理方法。
8. 話者の音声に被せて出力される音声の音声スペクトルを生成する音声処理方法であって、
   話者の音声信号からスペクトル微細構造を抽出するスペクトル微細構造抽出工程と、
   前記スペクトル微細構造抽出手段により抽出されたスペクトル微細構造と所定周波数帯域のスペクトル強度が補正されたスペクトル包絡とを合成することにより話者の音声に被せて出力される音声の音声スペクトルを生成する音声スペクトル生成工程と、
   前記音声スペクトル生成工程により生成された音声スペクトルの所定の周波数領域におけるスペクトル強度を抑制することにより当該音声スペクトルを補正する周波数強度補正工程と
   を含んだことを特徴とする音声処理方法。

Images