JP5929786B2 - 信号処理装置、信号処理方法及び記憶媒体 - Google Patents

Description

本開示は、信号処理装置、信号処理方法及び記憶媒体に関する。

近年、スマートフォンやタブレット端末等の携帯端末の普及に伴い、通話のためにユーザが発話する機会が増えている。また、携帯端末をユーザの発話内容に基づいて制御する、音声認識機能の普及に伴い、ユーザが発話する機会はさらに増加している。このようなユーザが発話する機会の増加、および携帯端末が騒音環境下で使用されることが多いことに鑑み、収音したユーザの音声から外部騒音を抑制するノイズリダクション技術が多く提案されている。

一方で、携帯端末は、周囲に他人がいる状況で使用されることも多く、その際ユーザが発話した声が周囲の他人に聞かれる可能が高い。ユーザは、発話内容が他人に聞かれることについて、恥ずかしく思う場合や、セキュリティの観点から回避したいと思う場合がある。よって、発話内容を周囲の他人に聞き取れないよう妨害するマスキング技術が求められている。

例えば、下記特許文献１では、携帯端末においてマスキング技術を利用するために、マスキング音声信号をサーバからダウンロードして再生することで、周囲の他人がユーザの発話内容を聞き取ることを妨害する技術が開示されている。

特開２０１２−１１９７８５号公報

しかし、上記特許文献１では、マスキング音声信号を生成するためには専用の装置を要するため、携帯端末のみでマスキング技術を利用することはできなかった。

そこで、本開示では、ユーザ音声に応じたマスキング音声信号を生成および再生することが可能な、新規かつ改良された信号処理装置、信号処理方法および記憶媒体を提案する。

本開示によれば、ユーザ音声を収音し、オーディオ信号を生成する収音部と、前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成する信号処理部と、前記マスキング音声信号を再生する第１のスピーカと、を備える信号処理装置が提供される。

また、本開示によれば、ユーザ音声を収音し、オーディオ信号を生成するステップと、前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成するステップと、前記マスキング音声信号を再生するステップと、を備える信号処理方法が提供される。

また、本開示によれば、コンピュータに、ユーザ音声を収音し、オーディオ信号を生成するステップと、前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成するステップと、前記マスキング音声信号を再生するステップと、を実行させるためのプログラムが記憶された記憶媒体が提供される。

以上説明したように本開示によれば、ユーザ音声に応じたマスキング音声信号を生成および再生することが可能である。

本開示の一実施形態に係る信号処理装置の概要を示す説明図である。 比較例に係るスマートフォンの構成を示すブロック図である。 第１の実施形態に係るスマートフォンの構成を示すブロック図である。 第１の実施形態に係る信号処理部が生成するマスキング音声信号の一例を示す説明図である。 第１の実施形態に係る信号処理部が生成するマスキング音声信号の一例を示す説明図である。 第１の実施形態に係る信号処理部の構成例を示す説明図である。 第１の実施形態に係る信号処理部の構成例を示す説明図である。 第１の実施形態に係るスマートフォンの動作を示すフローチャートである。 変形例１に係るスマートフォンの構成を示すブロック図である。 第２の実施形態に係るスマートフォンの構成を示すブロック図である。 第３の実施形態に係るスマートフォンの構成を示すブロック図である。 第３の実施形態に係るスマートフォンのキャンセル領域を示す説明図である。 変形例３に係るヘッドセットを示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る信号処理装置の概要
２．実施形態
２−１．第１の実施形態
（２−１−１．スマートフォンの構成）
（２−１−２．動作処理）
（２−１−３．変形例１）
２−２．第２の実施形態
２−３．第３の実施形態
（２−３−１．基本形態）
（２−３−２．変形例２）
（２−３−３．変形例３）
３．まとめ

＜＜１．本開示の一実施形態に係る信号処理装置の概要＞＞
図１を参照して、本開示の一実施形態に係る信号処理装置の概要を説明する。図１は、本開示の一実施形態に係る信号処理装置の概要を示す説明図である。図１に示すように、本実施形態に係る信号処理装置は、一例としてスマートフォン１により実現される。

スマートフォン１は、通話用スピーカ２、マイクロフォン３（以下、マイク３と称する）、およびマスキング用スピーカ４を有する。ユーザ８は、通話用スピーカ２およびマイク３により通話相手と通話したり、マイク３に対して制御情報を発話することで、音声認識によりスマートフォン１を制御したりする。

ここで、比較例に係るスマートフォンとして一般的な構成を、図２を参照して説明する。図２は、比較例に係るスマートフォン１００の構成を示すブロック図である。図２に示した各ブロックは、スマートフォン１００が内部に有している。図２に示したように、スマートフォン１００は、通話用スピーカ２、マイク３、制御部１１、マイクアンプ２１、パワーアンプ２３、送話部３１、および受話部３２を有する。ユーザ８がスマートフォン１００により通話する際、受話部３２が受信した通話相手の音声は、パワーアンプ２３により増幅され、通話用スピーカ２により再生される。ユーザ８が発話した音声はマイク３により収音され、マイクアンプ２１により増幅されて、送話部３１により通話相手の端末に送信される。また、制御部１１は、ユーザ８が発話した音声を音声認識することで、スマートフォン１００を制御する。

ユーザ８がスマートフォン１００に対して発話した音声は、周囲にいる他人に聞かれ得るが、ユーザ８は、発話内容が他人に聞かれることが恥ずかしい、またはセキュリティの観点から回避したいと思う場合がある。しかしながら、比較例に係るスマートフォン１００は、ユーザ８の発話音声を他人に聞かれないための構成を何ら有さないため、これを防ぐことはできない。

そこで、上記事情を一着眼点にして本開示の一実施形態に係る信号処理装置を創作するに至った。本開示の一実施形態に係る信号処理装置は、マスキング音声信号を再生することで、周囲にいる他人にユーザ８の発話音声が聞き取られることを防止することが可能である。本実施形態に係るスマートフォン１は、図１に示したように、マスキング用スピーカ４を有し、マスキング用スピーカ４からマスキング音声信号を再生することで、周囲の他人９がユーザ８の発話内容を聞き取ることを妨害する。

ただし、マスキング用スピーカ４がマスキング音声信号として白色雑音等の単なるノイズを再生した場合、マスキング音声信号とユーザ８の発話音声とを他人９に容易に識別されて、ユーザ８の発話内容が聞き取られてしまう可能性がある。そこで、本実施形態に係るスマートフォン１は、ユーザ８が発話した音声をマイク３により収音して、収音したユーザ音声に応じたマスキング音声信号を生成および再生することで、発話内容の聞き取りを妨害する。

以上、本開示の一実施形態に係る信号処理装置の概要について説明した。続いて、本開示の一実施形態に係る信号処理装置の詳細な内容について説明する。

なお、図１に示した例では、信号処理装置の一例としてスマートフォン１を用いたが、本開示に係る情報処理装置はこれに限定されない。例えば、信号処理装置は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ヘッドセット、デジタルカメラ、デジタルビデオカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、携帯電話端末、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。

＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
［２−１−１．スマートフォンの構成］
まず、図３を参照して、本実施形態に係るスマートフォン１−１の構成について説明する。図３は、第１の実施形態に係るスマートフォン１−１の構成を示すブロック図である。図３に示した各ブロックは、スマートフォン１−１が内部に有している。図３に示すように、スマートフォン１−１は、通話用スピーカ２、マイク３、マスキング用スピーカ４、制御部１１、信号処理部１２、マイクアンプ２１、パワーアンプ２２、パワーアンプ２３、送話部３１、受話部３２、およびマスキング用音源４１を有する。以下、スマートフォン１−１の各構成要素について詳細に説明する。

（受話部３２）
受話部３２は、外部からのオーディオ信号を受信する通信部としての機能を有する。具体的には、受話部３２は、通話相手の端末から通話相手の音声を示すオーディオ信号を受信する。受話部３２は、受信したオーディオ信号をパワーアンプ２３に出力する。

（パワーアンプ２３）
パワーアンプ２３は、受話部３２から出力されたオーディオ信号を増幅する機能を有する。パワーアンプ２３は、増幅したオーディオ信号を通話用スピーカ２に出力する。

（通話用スピーカ２）
通話用スピーカ２は、パワーアンプ２３から出力されたオーディオ信号を再生する出力装置である。なお、本実施形態では、ユーザ８が通話用スピーカ２に耳を当てながらスマートフォン１−１を使用することを想定している。

（マイク３）
マイク３は、ユーザ音声を収音し、オーディオ信号を生成する収音部としての機能を有する。より詳しくは、マイク３は、ユーザ８が発話した音声を収音して、オーディオ信号を生成する。このとき、マイク３は、後述するマスキング用スピーカ４により再生されたマスキング音声信号もユーザ８の音声と共に収音して、オーディオ信号を生成し得る。つまり、マイク３が生成するオーディオ信号には、ユーザ音声およびマスキング音声信号が含まれ得る。以下では、マイク３が生成するオーディオ信号を、収音信号とも称する。マイク３は、生成した収音信号をマイクアンプ２１に出力する。

（マイクアンプ２１）
マイクアンプ２１は、マイク３から出力された収音信号を増幅する機能を有する。マイクアンプ２１は、増幅した収音信号を制御部１１、送話部３１、および信号処理部１２に出力する。

（制御部１１）
制御部１１は、演算処理装置および制御装置として機能し、各種プログラムに従ってスマートフォン１−１内の動作全般を制御する。制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサによって実現される。なお、制御部１１は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでいてもよい。

制御部１１は、収音信号に含まれるユーザ音声から、制御情報を認識する制御情報認識部としての機能を有する。より詳しくは、制御部１１は、マイクアンプ２１から出力された収音信号から、ユーザ音声に含まれる制御情報を認識する。例えば、制御部１１は、ユーザの発話内容に基づいて、電話をかける、メッセージを送信する、検索する等の制御情報を認識する。また、制御部１１は、認識された制御情報に基づいてスマートフォン１−１を制御する機能を有する。例えば、制御部１１は、電話をかける、メッセージを送信する、検索する等の制御情報に基づいて、スマートフォン１−１を制御して実際に電話発信、メッセージ送信、または検索等を行う。また、制御部１１は、マイク３により収音されるユーザ音声の言語を認識する言語認識部としての機能を有する。例えば、制御部１１は、ユーザ８が話す言語が日本語、英語、または中国語等のどの言語であるかを認識する。また、制御部１１は、ユーザ８の発音やイントネーション等に応じて、ユーザ８の母国語や出身地方を認識してもよい。

（送話部３１）
送話部３１は、収音信号を外部に送信する通信部としての機能を有する。より詳しくは、送話部３１は、マイクアンプ２１から出力された収音信号を、通話相手の端末に送信する。

（パワーアンプ２２）
パワーアンプ２２は、後述の信号処理部１２から出力されたマスキング音声信号を増幅する機能を有する。パワーアンプ２２は、増幅した収音信号をマスキング用スピーカ４に出力する。なお、パワーアンプ２２は、マスキング用スピーカ４により再生されるマスキング音声信号が周囲の他人９に聞こえ、且つ、周囲の他人９がユーザ８の発話内容を聞き取れない程度の音量となるよう増幅する。

（マスキング用スピーカ４）
マスキング用スピーカ４は、マスキング音声信号を再生する出力装置（第１のスピーカ）である。より詳しくは、マスキング用スピーカ４は、パワーアンプ２２から出力されたマスキング音声信号を再生する。

（マスキング用音源４１）
マスキング用音源４１は、マスキング音声信号を生成するための元となる音源を記録する記録部としての機能を有する。例えば、マスキング用音源４１は、音源として、３００Ｈｚ〜３ｋＨｚとされる音声帯域の帯域ノイズ、無意味列の音声信号、男女含む複数名による人声、白色雑音、有色雑音などの多様なノイズを記録する。他にも、マスキング用音源４１は、音源として、マイク３により収音されたユーザ音声を記録してもよい。後述する信号処理部１２は、マスキング用音源４１に記録された音源に基づいて、マスキング音声信号を生成する。

（信号処理部１２）
信号処理部１２は、収音信号に応じて、ユーザ音声をマスキングするためのマスキング音声信号を生成する。より詳しくは、信号処理部１２は、マイクアンプ２１から出力された収音信号に基づいて、マスキング用音源４１に記録された音源を用いたマスキング音声信号を生成する。ここで、ユーザ音声をマスキングするとは、ユーザ８の発話をマスキング用スピーカ４により再生されるマスキング音声信号に埋没させて、他人９に聞き取られないよう秘匿することを指す。このような、ユーザ音声をマスキングするためのマスキング音声信号には、多様な種類が考えられる。

例えば、信号処理部１２は、一般的に３００Ｈｚ〜３ｋＨｚとされる音声帯域の帯域ノイズ、または無意味列の音声信号、男女含む複数名による人声によりマスキング音声信号を生成する。この場合、マスキング音声信号は、ユーザ８の音声と同等の帯域のノイズや人声となるため、他人９に対してユーザ８の発話とマスキング音声信号との混同を生じさせて、ユーザ８の発話をマスキングすることができる。また、信号処理部１２は、マスキング用音源４１により記録されたユーザ８自身の音声によりマスキング音声信号を生成してもよい。ユーザ８自身の過去の音声によるマスキング音声信号は、ユーザ８が現在発話した音声とより強く混同するため、ユーザ８の発話をより強くマスキングすることができる。

さらに、信号処理部１２は、他人９にとって意味を持つ内容のマスキング音声信号を生成してもよい。マスキング音声信号が他人９にとって意味を持つ内容である場合、マスキング音声信号は、他人９の注意をユーザ８の発話内容から逸らすことで、ユーザ８の発話をマスキングすることができる。

例えば、信号処理部１２は、制御部１１により認識されたユーザ８の言語に応じてマスキング音声信号を生成してもよい。具体的には、信号処理部１２は、ユーザ８の使用言語と同じ言語、または異なる言語により、マスキング音声信号を生成してもよい。このとき、マスキング音声信号が他人９の使用言語と同じ言語である場合、他人９はマスキング音声信号が示す内容が理解可能であるためマスキング音声信号に注意を引かれる。一方で、マスキング音声信号が他人９の使用言語と異なる言語である場合、他人９は珍しい外国語や方言が聞こえることに関心を持ち、同様にマスキング音声信号に注意を引かれる。このようなマスキング音声信号は、他人９の注意をユーザ８の発話内容から逸らすことで、ユーザ８の発話が聞き取られることを妨害することができる。なお、信号処理部１２は、制御部１１により認識されたユーザ８の母国語や出身地方等に基づいて、ユーザ８が母国または出身地方にいるものとして周囲の他人９の使用言語を推定し、周囲の他人９の言語に応じたマスキング音声信号を生成してもよい。なお、マスキング音声信号は、ユーザ８の使用言語と同じ場合、ユーザ８の発話と同じ周波数帯域となるため、他人９に対してユーザ８の発話との混同を生じさせることもできる。他に、他人９にとって意味を持つ、注意を引き得るマスキング音声信号としては、有名人・著名人の話し声によるものが考えられる。

また、スマートフォン１−１は、マスキング音声信号の再生音量をユーザ８の発話よりも大きくすることで、ユーザ８の発話をマスキングしてもよい。

さらに、信号処理部１２は、収音信号のうちユーザ音声が含まれる時間区間にのみマスキング音声信号を生成してもよい。この場合、マスキング音声信号が一様に再生されないため、他人９がマスキング音声信号に耳慣れすることを防止することができる。また、ユーザ８の発話と同時にマスキング音声信号が再生されるため、ユーザ８の発話とマスキング音声信号とを他人９が識別し辛くすることができる。以下、図４Ａ、図４Ｂを参照して、連続してマスキング音声信号を生成する例と、収音信号のうちユーザ音声が含まれる時間区間にのみマスキング音声信号を生成する例とを、対比させながら説明する。

図４Ａ、図４Ｂは、第１の実施形態に係る信号処理部１２が生成するマスキング音声信号の一例を示す説明図である。図４Ａ、図４Ｂでは、スマートフォン１−１が通話や音声認識を行う動作モードに切り替えられた時から、その動作モード終了までの間における、収音信号およびマスキング音声信号を示す音声信号例１２０−１、１２０−２を示している。

音声信号例１２０−１は、信号処理部１２が、収音信号に何ら依拠することなく、連続するマスキング音声信号を生成した場合の波形である。音声信号例１２０−１に示したように、マスキング音声信号は一定の音量および帯域で再生されるため、他人９はマスキング音声信号に耳慣れし得る。

音声信号例１２０−２は、信号処理部１２が、ユーザ８が発話中、即ち収音信号のうちユーザ音声が含まれる時間区間にのみマスキング音声信号を生成した場合の波形である。音声信号例１２０−２に示したように、マスキング音声信号はユーザ８が発話していない時間区間に再生が停止されるため、他人９の耳慣れを防ぐことができる。そこで、図５および図６を参照して、収音信号のうちユーザ音声が含まれる時間区間にのみマスキング音声信号を生成するための、具体的な信号処理部１２の構成例を説明する。

図５は、第１の実施形態に係る信号処理部１２の構成例を示す説明図である。図５に示したように、信号処理部１２−１は、解析用ＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）群１２１、可変ゲインブロック群１２２、合成用ＢＰＦ群１２３、および加算器１２４を有する。信号処理部１２−１は、ＢＰＦバンクにより発話音声を解析して、ユーザ音声を組成する周波数成分ごとのデータ量に応じてマスキング音声信号を生成する機能を有する。以下、信号処理部１２−１の各構成要素について詳細に説明する。

・解析用ＢＰＦ群１２１
解析用ＢＰＦ群１２１は、複数のＢＰＦのアレイから成るフィルタバンクである。解析用ＢＰＦ群１２１は、ユーザ音声を組成する周波数帯域成分ごとに、振幅等のデータ量に基づいて対応係数を算出する。例えば、解析用ＢＰＦ群１２１を構成する解析用ＢＰＦは、それぞれ所定の周波数帯域を通過させて、所定時間幅でのデータ二乗和により対応係数を算出する。ここで、対応係数は、ユーザ音声を組成する各周波数帯域成分の構成比率を示し、信号処理部１２−１が生成するマスキング音声信号の、各周波数帯域成分の配分比となる。解析用ＢＰＦ群１２１を構成する解析用ＢＰＦは、それぞれ対応する可変ゲインブロック群１２２を構成する可変ゲインブロックに、算出した対応係数を出力する。

・可変ゲインブロック群１２２
可変ゲインブロック群１２２は、マスキング用音源４１から取得した音声信号を増幅する機能を有する。可変ゲインブロック群１２２を構成する可変ゲインブロックは、対応する解析用ＢＰＦから出力された対応係数によりマスキング用音源４１から取得した音声信号を増幅して、それぞれ対応する合成用ＢＰＦ群１２３を構成する合成用ＢＰＦに出力する。

・合成用ＢＰＦ群１２３
合成用ＢＰＦ群１２３は、複数のＢＰＦのアレイから成るフィルタバンクである。合成用ＢＰＦ群１２３を構成する合成用ＢＰＦは、対応する可変ゲインブロックから出力された音声信号から、対応する解析用ＢＰＦと同じ周波数帯域成分を通過させて、合成用音声信号を生成する。合成用ＢＰＦ群１２３は、生成した音声信号を加算器１２４に出力する。

・加算器１２４
加算器１２４は、合成用ＢＰＦ群１２３から出力された音声信号を合成することで、マスキング音声信号を生成する。

このように、解析用ＢＰＦ群１２１を構成する各ＢＰＦの応答量と、可変ゲインブロック群１２２を構成する各可変ゲインブロックの可変ゲイン量との対応関係が、対応係数により規定される。よって、信号処理部１２−１は、収音信号の周波数帯域成分ごとのデータ量に応じたマスキング音声信号を生成することができる。つまり、信号処理部１２−１は、収音信号のうちユーザ音声が含まれる時間区間にのみマスキング音声信号を生成することができる。さらに、信号処理部１２−１は、ユーザ音声と同様の周波数帯域成分の配分比を有する、即ちユーザ８の発話音声と似たマスキング音声信号を生成することができる。このため、信号処理部１２−１により生成されたマスキング音声信号は、他人９に対してユーザ８の発話との混同を生じさせて、ユーザ８の発話をより強くマスキングすることができる。

以上、ＢＰＦバンク解析を用いてマスキング音声信号を生成する信号処理部１２の構成例を説明した。続いて、図６を参照して、信号処理部１２の他の構成例を説明する。

図６は、第１の実施形態に係る信号処理部１２の構成例を示す説明図である。図６に示したように、信号処理部１２−２は、ＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）１２５、およびスイッチ１２６を有する。以下、信号処理部１２−２の各構成要素について詳細に説明する。

・ＶＡＤ１２５
ＶＡＤ１２５は、入力された収音信号から、音声が発話された音声区間とそれ以外のノイズ区間とを検出する機能を有する。ＶＡＤ１２５は、音声区間かノイズ区間かに応じて、スイッチ１２６を制御する。

・スイッチ１２６
スイッチ１２６は、ＶＡＤ１２５による制御に基づいて、マスキング用音源４１から取得した音声信号を通過または非通過させて、マスキング音声信号として出力する。より詳しくは、スイッチ１２６は、収音信号の音声区間に相当する時間区間ではマスキング用音源４１から取得した音声信号を通過させ、ノイズ区間に相当する時間区間では非通過とする。

このように、信号処理部１２−２は、音声区間かノイズ区間かに応じてマスキング用音源４１から取得した音声信号の通過／非通過を制御することで、収音信号のうちユーザ音声が含まれる時間区間にのみマスキング音声信号を生成することができる。

以上、ＶＡＤの手法を用いてマスキング音声信号を生成する信号処理部１２の構成例を説明した。

（補足）
なお、スマートフォン１−１は、ＡＤＣ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）およびＤＡＣ（Ｄｉｇｉｔａｌ−ｔｏ−Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）を有していてもよい。ＡＤＣとは、アナログ信号をデジタル信号に変換する電子回路であり、ＤＡＣとは、デジタル信号をアナログ信号に変換する電子回路である。例えば、マイクアンプ２１の後段にＡＤＣが設けられていてもよい。また、パワーアンプ２２、およびパワーアンプ２３の前段にＤＡＣが設けられていてもよい。

以上、スマートフォン１−１の構成について説明した。

［２−１−２．動作処理］
続いて、図７を参照して、スマートフォン１−１の動作処理について説明する。図７は、第１の実施形態に係るスマートフォン１−１の動作を示すフローチャートである。なお、他の実施形態における動作は、スマートフォン１−１の動作と同様である。図７に示すように、まず、ステップＳ１１で、マイク３は、ユーザ音声を収音し、収音信号を生成する。

次いで、ステップＳ１２で、信号処理部１２は、マイク３により生成された収音信号に応じてマスキング音声信号を生成する。より詳しくは、信号処理部１２は、図５および図６を参照して上記説明したように、ＢＰＦバンク解析やＶＡＤの手法により、ユーザ音声をマスキングするマスキング音声信号を生成する。

そして、ステップＳ１３で、マスキング用スピーカ４は、信号処理部１２により生成されたマスキング音声信号を再生する。なお、スマートフォン１−１は、マスキング音声信号を再生しながら、送話部３１および受話部３２による通話や、制御部１１により音声認識された制御情報に基づく動作を行う。

以上、第１の実施形態について説明した。続いて、第１の実施形態に係る変形例について説明する。

［２−１−３．変形例１］
本変形例は、通話用スピーカ２が、通話相手の音声と共にマスキング音声信号を再生する形態である。以下、図８を参照して、本変形例に係るスマートフォン１−２について説明する。

図８は、変形例１に係るスマートフォン１−２の構成を示すブロック図である。図８に示した各ブロックは、スマートフォン１−２が内部に有している。図８に示すように、本変形例に係るスマートフォン１−２は、図３を参照して上記説明した第１の実施形態に係るスマートフォン１−１から、マスキング用スピーカ４およびパワーアンプ２２を省き、加算器１３を加えた構成を有する。

信号処理部１２により生成されたマスキング音声信号は、加算器１３に出力される。加算器１３は、入力された信号を合成する機能を有し、信号処理部１２から出力されたマスキング音声信号と、受話部３２から出力された通話相手のオーディオ信号を合成する。加算器１３により合成されたマスキング音声信号および通話相手のオーディオ信号は、パワーアンプ２３により増幅され、通話用スピーカ２により出力される。つまり、通話用スピーカ２は、通話相手の音声とマスキング音声信号とを再生する。

本変形例に係るスマートフォン１−２は、通話用スピーカ２のマスキング用スピーカ４としても用いることで、複数のスピーカを要することなく、マスキング音声信号を再生してユーザ音声をマスキングすることができる。なお、本変形例は、ユーザ８が通話用スピーカ２に耳を当てずにスマートフォン１−２を使用する、ハンズフリー通話や音声認識入力において用いられることを想定している。ユーザ８は、通話用スピーカ２に耳を当てながら、即ち口元をマイク３に近づけて使用する第１の実施形態と比較して大きな声で話し得る。そこで、パワーアンプ２３は、第１の実施形態と比較して強くマスキング音声信号を増幅する。

以上、変形例１について説明した。

＜２−２．第２の実施形態＞
本実施形態は、マスキング用スピーカ４から再生されたマスキング音声信号がマイク３により収音された場合に、電気的に収音信号からマスキング音声信号成分を除去する形態である。マスキング用スピーカ４から再生されたマスキング音声信号は、マイク３とマスキング用スピーカ４との位置関係や向き、再生音量、収音感度等によってはマイク３に収音されてしまい、通話や音声認識の妨げになり得る。この点、本実施形態によれば、収音信号からマスキング音声信号成分を除去することで、雑音を低減した高品質な通話や音声認識を実現することができる。以下、図９を参照して、本実施形態に係るスマートフォン１−３について説明する。

図９は、第２の実施形態に係るスマートフォン１−３の構成を示すブロック図である。図９に示した各ブロックは、スマートフォン１−３が内部に有している。図９に示すように、本実施形態に係るスマートフォン１−３は、図３を参照して上記説明した第１の実施形態に係るスマートフォン１−１に、エコーキャンセラ１４および加算器１５を加えた構成を有する。以下、エコーキャンセラ１４および加算器１５が有する機能について説明する。

（エコーキャンセラ１４）
エコーキャンセラ１４は、マスキング用スピーカ４から再生されたマスキング音声信号がマイク３により収音された場合に、収音信号からマスキング音声信号を除去する、除去部としての機能を有する。なお、エコーキャンセラ１４および後述の加算器１５により、除去部として機能すると捉えてもよい。

エコーキャンセラ１４は、特定の伝達関数および信号処理部１２が生成したマスキング音声信号に基づいて、収音信号に含まれるマスキング音声信号を生成する。エコーキャンセラ１４は、信号処理部１２が生成したマスキング音声信号、マイク３およびマスキング用スピーカ４の特性に基づいて、マイク３とマスキング用スピーカ４との間の空間の伝達関数を推定する。エコーキャンセラ１４は、スマートフォン１−３とユーザ８との位置関係に応じて、随時伝達関数を更新してもよい。また、エコーキャンセラ１４は、デジタルフィルタとして実現されてもよい。なお、伝達関数は、信号処理部１２が生成したマスキング音声信号と、マイク３により収音されたマスキング音声信号との対応関係とも捉えることができる。

エコーキャンセラ１４は、生成した収音信号に含まれるマスキング音声信号を、加算器１５に出力する。

（加算器１５）
加算器１５は、収音信号から、エコーキャンセラ１４により生成されたマスキング音声信号を減算する機能を有する。このため、収音信号から、マスキング用スピーカ４から再生されマイク３により収音されたマスキング音声信号が除去される。加算器１５は、マスキング音声信号を除去した収音信号を、制御部１１、送話部３１、および信号処理部１２に出力する。

このように、本実施形態は、エコーキャンセラ１４および加算器１５により収音信号からマスキング音声信号成分を除去することができ、雑音を低減した高品質な通話や音声認識を実現することができる。また、信号処理部１２に入力される収信信号も雑音が低減されているため、信号処理部１２は、よりユーザ８の音声に即したマスキング音声信号を生成することができる。

以上、第２の実施形態について説明した。

＜２−３．第３の実施形態＞
［２−３−１．基本形態］
本実施形態は、マスキング音声信号を再生するスピーカを複数設け、互いに打ち消し合わせることで、空間音響的に収音信号からマスキング音声信号成分を除去する形態である。以下、図１０を参照して、本実施形態に係るスマートフォン１−４について説明する。なお、以下ではマスキング音声信号を再生するスピーカを２つ設ける例を説明するが、３つ以上であってもよい。

図１０は、第３の実施形態に係るスマートフォン１−４の構成を示すブロック図である。図１０に示した各ブロックは、スマートフォン１−４が内部に有している。図１０に示すように、本実施形態に係るスマートフォン１−４は、図９を参照して上記説明した第２の実施形態に係るスマートフォン１−３に、逆相信号生成部１６、パワーアンプ２４、マスキング用スピーカ４−２を加えた構成を有する。なお、第２の実施形態におけるマスキング用スピーカ４を、本実施形態ではマスキング用スピーカ４−１と称する。以下、逆相信号生成部１６、パワーアンプ２４、マスキング用スピーカ４−２が有する機能について説明する。

（逆相信号生成部１６）
逆相信号生成部１６は、信号処理部１２から出力されたマスキング音声信号の逆相信号を生成する機能を有する。逆相信号生成部１６は、生成した逆相信号をパワーアンプ２４に出力する。

（パワーアンプ２４）
パワーアンプ２４は、逆相信号生成部１６から出力された逆相信号を増幅する機能を有する。パワーアンプ２４は、パワーアンプ２２と同程度に増幅してもよい。パワーアンプ２４は、増幅した逆相信号をマスキング用スピーカ４−２に出力する。

（マスキング用スピーカ４−２）
マスキング用スピーカ４−２は、マスキング音声信号の逆相信号を再生する出力装置（第２のスピーカ）である。具体的には、マスキング用スピーカ４−２は、パワーアンプ２４から出力された逆相信号を、マスキング用スピーカ４−１によるマスキング音声信号の再生と同時に再生する。マスキング用スピーカ４−２は、マスキング用スピーカ４−１より再生されたマスキング音声信号と、マスキング用スピーカ４−２より再生された逆相信号とが、マイク３が収音する空間において打ち消し合うよう設置される。マスキング用スピーカ４−２は、マスキング用スピーカ４−１と同一のスピーカ特性を有する。また、図１０に示したように、マスキング用スピーカ４−２は、マイク３の位置を中心として、マスキング用スピーカ４−１と幾何学的に対称な位置に設置される。

マスキング用スピーカ４−１から再生されたマスキング音声信号とマスキング用スピーカ４−２が再生する逆相信号とは、ぶつかり合う領域で互いに打ち消し合う。このような領域を、以下ではキャンセル領域とも称する。スマートフォン１−４におけるキャンセル領域について、図１１を参照して説明する。

図１１は、第３の実施形態に係るキャンセル領域を示す説明図である。図１１（Ａ）に示した各ブロックは、スマートフォン１−４が内部に有している。図１１（Ａ）に示すように、スマートフォン１−４のキャンセル領域５−１は、マスキング音声信号および逆相信号が同時に再生されるため、マスキング用スピーカ４−１およびマスキング用スピーカ４−２のほぼ中間地点に形成される。キャンセル領域５−１がマイク３を覆うため、マイク３が収音する空間でマスキング音声信号が打ち消される。このようにして、スマートフォン１−４は、空間音響的に収音信号からマスキング音声信号成分を除去することができる。さらに、キャンセル領域５−１は、マイク３が収音する空間、即ちユーザ８の口元に位置するため、ユーザ８は、マスキング音声信号による邪魔を受けずに、発話することができる。

また、一般的に、逆相信号による打消しの効果は、低域周波数であるほど高い。このため、マスキング音声信号が低域であるほど、逆相信号と強く打ち消し合うようになり、マイク３はユーザ８の音声をより明瞭に収音することができる。このような低域のマスキング音声信号としては、例えば母音を主な成分とする音声信号がある。また、低域のマスキング音声信号がマスキング用スピーカ４−２により空間音響的に除去されるため、エコーキャンセラ１４は、特に中高域において電気的にマスキング音声信号を除去してもよい。スマートフォン１−４は、マスキング用スピーカ４−２とエコーキャンセラ１４との併用により、全音域でマスキング音声信号を除去することができる。

以上、第３の実施形態について説明した。続いて、第３の実施形態に係る変形例について説明する。

［２−３−２．変形例２］
本変形例は、マスキング用スピーカ４−２は、遅延させた逆相信号を再生することで、マスキング用スピーカ４−１およびマスキング用スピーカ４−２の中間地点以外の領域にキャンセル領域を形成する形態である。以下、図１１（Ｂ）を参照し、本変形例に係るスマートフォン１−５について説明する。

図１１（Ｂ）に示すように、本変形例に係るスマートフォン１−５において、マスキング用スピーカ４−１およびマスキング用スピーカ４−２は、マイク３の位置を中心とした幾何学的に対称な位置に設置されていない。また、スマートフォン１−５は、図１０を参照して上記説明したスマートフォン１−４と同様の内部構成を有する。ただし、スマートフォン１−５は、図１１（Ｂ）に示したように、ディレイ１７をさらに有する。以下、ディレイ１７が有する機能について説明する。

（ディレイ１７）
ディレイ１７は、入力された音声信号を遅延させて出力する機能を有する。本変形例では、ディレイ１７は、逆相信号生成部１６により生成された逆相信号を遅延させる遅延部として機能する。より詳しくは、ディレイ１７は、マスキング用スピーカ４−１より再生されたマスキング音声信号とマスキング用スピーカ４−２より再生された逆相信号とが、マイク３が収音する空間において打ち消し合うよう、逆相信号を遅延させる。ディレイ１７は、遅延させた逆相信号を、パワーアンプ２４に出力する。なお、ディレイ１７は、特定のフィルタ形式であってもよい。

ディレイ１７により遅延された逆相信号は、パワーアンプ２４により増幅され、マスキング用スピーカ４−２により再生される。そして、マスキング用スピーカ４−２から再生された逆相信号は、ディレイ１７により遅延した分だけマスキング用スピーカ４−２に近い位置で、マスキング用スピーカ４−１から出力されたマスキング音声信号と打消し合う。つまり、図１１（Ｂ）に示したように、キャンセル領域５−２は、マスキング用スピーカ４−２に近い位置に形成され、マスキング用スピーカ４−１と比較してマスキング用スピーカ４−２に近い位置に設置されたマイク３を覆う。

このため、スマートフォン１−５は、マスキング用スピーカ４−１およびマスキング用スピーカ４−２を、マイク３の位置を中心とした幾何学的に対称な位置に設置することなく、収音信号からマスキング音声信号成分を除去することができる。さらに、マスキング用スピーカ４−２は、マスキング用スピーカ４−１と異なるスピーカ特性を有していてもよい。このように、スマートフォン１−５は、マスキング用スピーカ４−２を設置する位置およびスピーカ特性に係る制約を、ディレイ１７による遅延の効果により緩和することができる。このため、スマートフォン１−５は、マスキング用スピーカ４−２、マスキング用スピーカ４−１の大きさ、位置関係、全体のデザイン等について自由に設計され得る。

以上、変形例２について説明した。続いて、第３の実施形態に係る他の変形例について説明する。

［２−３−３．変形例３］
本変形例は、ヘッドセット６により、本開示の一実施形態に係る信号処理装置を実現する形態である。以下、図１２を参照し、本変形例に係るヘッドセット６について説明する。

図１２は、変形例３に係るヘッドセット６を示す説明図である。図１２に示すように、ヘッドセット６は、マスキング用スピーカ４−１、マスキング用スピーカ４−２、およびマイク３を有し、ユーザ８の頭部に装着される。ヘッドセット６は、図１１（Ｂ）を参照して上記説明したスマートフォン１−５と同様の構成を有する。図１２に示すように、マイク３は、マスキング用スピーカ４−２に近い位置に設置されているので、ヘッドセット６は、ディレイ１７により遅延された逆相信号をマスキング用スピーカ４−２から再生することで、マイク３をキャンセル領域で覆うことができる。このように、ヘッドセット６においても、空間音響的に収音信号からマスキング音声信号成分を除去することができる。

以上、変形例３について説明した。

＜＜３．まとめ＞＞
以上説明したように、本開示の一実施形態に係るスマートフォン１は、ユーザ音声に応じたマスキング音声信号を生成および再生することで、ユーザ８の発話内容が聞き取られることを防ぐことができる。より詳しくは、スマートフォン１は、他人９に対して混同を生じさせる、または注意を逸らせるマスキング音声信号を生成および再生することで、ユーザ８の発話をマスキング音声信号に埋没させ、発話内容の聞き取りを妨害することができる。また、スマートフォン１は、収音信号のうちユーザ音声が含まれる時間区間にのみマスキング音声信号を再生することで、他人９がマスキング音声信号に耳慣れすることを防止することができる。

さらに、スマートフォン１は、収音信号からマスキング音声信号成分を電気的に除去することで、雑音を低減した高品質な通話や音声認識を実現することができる。また、スマートフォン１は、マスキング音声信号を再生するスピーカを複数設け、互いに打ち消し合わせることで、空間音響的に収音信号からマスキング音声信号成分を除去することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ユーザ８が通話や音声認識入力を行う際にマスキング音声信号を生成および再生するものとして説明したが、本技術はかかる例に限定されない。例えば、ユーザ８の寝言や独り言、愚痴を他人には聞かれないための消音装置として、本技術が用いられてもよい。

また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述したスマートフォン１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶した記憶媒体も提供される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザ音声を収音し、オーディオ信号を生成する収音部と、
前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成する信号処理部と、
前記マスキング音声信号を再生する第１のスピーカと、
を備える信号処理装置。
（２）
前記信号処理部は、前記オーディオ信号のうち前記ユーザ音声が含まれる時間区間にのみ前記マスキング音声信号を生成する、前記（１）に記載の信号処理装置。
（３）
前記信号処理装置は、除去部をさらに備え、
前記除去部は、前記収音部が前記第１のスピーカから再生された前記マスキング音声信号を前記ユーザ音声と共に収音して前記オーディオ信号を生成した場合、特定の伝達関数および前記信号処理部が生成した前記マスキング音声信号に基づいて、前記収音部により生成された前記オーディオ信号から前記マスキング音声信号を除去する、前記（１）または（２）に記載の信号処理装置。
（４）
前記信号処理装置は、前記マスキング音声信号の逆相信号を再生する第２のスピーカをさらに備え、
前記第２のスピーカは、前記第１のスピーカより再生された前記マスキング音声信号と前記第２のスピーカより再生された前記逆相信号とが前記収音部が収音する空間において打ち消し合うよう設置される、前記（１）〜（３）のいずれか一項に記載の信号処理装置。
（５）
前記信号処理装置は、前記逆相信号を遅延させる遅延部をさらに備え、
前記第２のスピーカは、前記遅延部により遅延された前記逆相信号を再生する、前記（４）に記載の信号処理装置。
（６）
前記信号処理部は、前記ユーザ音声を組成する周波数成分ごとのデータ量に応じて前記マスキング音声信号を生成する、前記（１）〜（５）のいずれか一項に記載の信号処理装置。
（７）
前記マスキング音声信号は、音声帯域の帯域ノイズである、前記（１）〜（６）のいずれか一項に記載の信号処理装置。
（８）
前記マスキング音声信号は、母音を主な成分とする音声信号である、前記（１）〜（６）のいずれか一項に記載の信号処理装置。
（９）
前記信号処理装置は、前記収音部により収音された前記ユーザ音声を記録する記録部をさらに備え、
信号処理部は、前記記録部により記録された前記ユーザ音声により前記マスキング音声信号を生成する、前記（１）〜（８）のいずれか一項に記載の信号処理装置。
（１０）
前記信号処理装置は、前記収音部により収音される前記ユーザ音声の言語を認識する言語認識部をさらに備え、
前記信号処理部は、前記言語認識部により認識された前記言語に応じて前記マスキング音声信号を生成する、前記（１）〜（９）のいずれか一項に記載の信号処理装置。
（１１）
前記信号処理部は、前記言語認識部により認識された前記言語と同じ言語により前記マスキング音声信号を生成する、前記（１０）に記載の信号処理装置。
（１２）
前記信号処理部は、前記言語認識部により認識された前記言語と異なる言語により前記マスキング音声信号を生成する、前記（１０）に記載の信号処理装置。
（１３）
前記信号処理装置は、前記オーディオ信号を外部に送信し、外部からのオーディオ信号を受信する通信部をさらに備える、前記（１）〜（１２）のいずれか一項に記載の信号処理装置。
（１４）
前記信号処理装置は、
前記オーディオ信号から制御情報を認識する制御情報認識部と、
前記制御情報認識部により認識された前記制御情報に基づいて前記信号処理装置を制御する制御部と、
をさらに備える、前記（１）〜（１３）のいずれか一項に記載の信号処理装置。
（１５）
ユーザ音声を収音し、オーディオ信号を生成するステップと、
前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成するステップと、
前記マスキング音声信号を再生するステップと、
を備える信号処理方法。
（１６）
コンピュータに、
ユーザ音声を収音し、オーディオ信号を生成するステップと、
前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成するステップと、
前記マスキング音声信号を再生するステップと、
を実行させるためのプログラムが記憶された記憶媒体。

１、１−１、１−２、１−３、１−４、１−５ スマートフォン
２ 通話用スピーカ
３ マイク
４、４−１、４−２ マスキング用スピーカ
５−１、５−２ キャンセル領域
６ ヘッドセット
８ ユーザ
９ 他人
１１ 制御部
１２、１２−１、１２−２ 信号処理部
１３ 加算器
１４ エコーキャンセラ
１５ 加算器
１６ 逆相信号生成部
１７ ディレイ
２１ マイクアンプ
２２、２３、２４ パワーアンプ
３１ 送話部
３２ 受話部
４１ マスキング用音源
１００ スマートフォン
１２０−１、１２０−２ 音声信号例
１２１ 解析用ＢＰＦ群
１２２ 可変ゲインブロック群
１２３ 合成用ＢＰＦ群
１２４ 加算器
１２５ ＶＡＤ
１２６ スイッチ

Claims (15)

1. ユーザ音声を収音し、オーディオ信号を生成する収音部と、
   前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成する信号処理部と、
   前記マスキング音声信号を再生する第１のスピーカと、
   前記マスキング音声信号の逆相信号を再生する第２のスピーカと、
   を備え、
   前記逆相信号は、前記第１のスピーカより再生された前記マスキング音声信号と前記第２のスピーカより再生された前記逆相信号とが前記収音部が収音する空間において打ち消し合うよう再生される、信号処理装置。
2. 前記信号処理部は、前記オーディオ信号のうち前記ユーザ音声が含まれる時間区間にのみ前記マスキング音声信号を生成する、請求項１に記載の信号処理装置。
3. 前記信号処理装置は、除去部をさらに備え、
   前記除去部は、前記収音部が前記第１のスピーカから再生された前記マスキング音声信号を前記ユーザ音声と共に収音して前記オーディオ信号を生成した場合、特定の伝達関数および前記信号処理部が生成した前記マスキング音声信号に基づいて、前記収音部により生成された前記オーディオ信号から前記マスキング音声信号を除去する、請求項１に記載の信号処理装置。
4. 前記信号処理装置は、前記逆相信号を遅延させる遅延部をさらに備え、
   前記第２のスピーカは、前記遅延部により遅延された前記逆相信号を再生する、請求項１に記載の信号処理装置。
5. 前記信号処理部は、前記ユーザ音声を組成する周波数成分ごとのデータ量に応じて前記マスキング音声信号を生成する、請求項１に記載の信号処理装置。
6. 前記マスキング音声信号は、音声帯域の帯域ノイズである、請求項１に記載の信号処理装置。
7. 前記マスキング音声信号は、母音を主な成分とする音声信号である、請求項１に記載の信号処理装置。
8. 前記信号処理装置は、前記収音部により収音された前記ユーザ音声を記録する記録部をさらに備え、
   信号処理部は、前記記録部により記録された前記ユーザ音声により前記マスキング音声信号を生成する、請求項１に記載の信号処理装置。
9. 前記信号処理装置は、前記収音部により収音される前記ユーザ音声の言語を認識する言語認識部をさらに備え、
   前記信号処理部は、前記言語認識部により認識された前記言語に応じて前記マスキング音声信号を生成する、請求項１に記載の信号処理装置。
10. 前記信号処理部は、前記言語認識部により認識された前記言語と同じ言語により前記マスキング音声信号を生成する、請求項９に記載の信号処理装置。
11. 前記信号処理部は、前記言語認識部により認識された前記言語と異なる言語により前記マスキング音声信号を生成する、請求項９に記載の信号処理装置。
12. 前記信号処理装置は、前記オーディオ信号を外部に送信し、外部からのオーディオ信号を受信する通信部をさらに備える、請求項１に記載の信号処理装置。
13. 前記信号処理装置は、
    前記オーディオ信号から制御情報を認識する制御情報認識部と、
    前記制御情報認識部により認識された前記制御情報に基づいて前記信号処理装置を制御する制御部と、
    をさらに備える、請求項１に記載の信号処理装置。
14. ユーザ音声を収音し、オーディオ信号を生成するステップと、
    前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成するステップと、
    前記マスキング音声信号を再生するステップと、
    前記マスキング音声信号の逆相信号を再生するステップと、
    を備え、
    前記逆相信号は、再生された前記マスキング音声信号と再生された前記逆相信号とが前記ユーザ音声が収音される空間において打ち消し合うよう再生される、信号処理方法。
15. コンピュータに、
    ユーザ音声を収音し、オーディオ信号を生成するステップと、
    前記オーディオ信号に応じて、前記ユーザ音声をマスキングするためのマスキング音声信号を生成するステップと、
    前記マスキング音声信号を再生するステップと、
    前記マスキング音声信号の逆相信号を再生するステップと、
    を実行させるためのプログラムが記憶された記憶媒体であり、
    前記逆相信号は、再生された前記マスキング音声信号と再生された前記逆相信号とが前記ユーザ音声が収音される空間において打ち消し合うよう再生される、記憶媒体。

Images