JP4816711B2 - 通話音声処理装置および通話音声処理方法 - Google Patents

Description

本発明は、通話音声処理装置および通話音声処理方法に関し、特に、撮像マイクを流用して通話音声を高音質化する通話音声処理装置および通話音声処理方法に関する。

通常、携帯電話等の通信装置においては、単一の通話用マイクのみを利用して通話を行っている。このため、複数のマイクを用いてマイク間の空間伝達特性の相違を利用した高音質化を行うことができなかった。単一音声を用いて雑音除去を行う場合には、スペクトルサブトラクション等、出力音声に歪みを付加する手法を用いる以外の選択肢が存在しなかった。

そこで、通話音声を高音質化するために、環境音の採取や除去をするためのマイクを追加して通話音声を高音質化する方法が考えられている。当該方法においては、追加したマイクにより採取された環境音を通話マイクにより収音された音声から減算することにより通話音声の高音質化を実現することが可能となる。

ところで、近年の通信装置には、撮像機能が備わることが多くなってきている。そこで、上記のようにマイクを追加しなくとも、撮像用マイクを流用して通話音声を高音質化することが可能であると考えられる。例えば、複数の音源から発せられた音声を分離して、通話音声のみを強調する方法が考えられる。例えば、音声を強調する方法として、複数のパートからなる音楽信号について、各パートに分離して重要なパートを強調し、分離された音声を再混合する方法が挙げられる（例えば、特許文献１）。

特開２００２−２３６４９９号公報

しかし、特許文献１は、音楽信号を対象としており、通話音声を対象とする技術ではない。また、撮像マイクの特性は、通話マイクの特性と大きく異なることが多く、各マイクの配置が必ずしも通話音声の高音質化に最適なものとなっていないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、異なる特性のマイクを用いて通話音声を強調することが可能な、新規かつ改良された通話音声処理装置および通話音声処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、通話時に第１の入力音声が入力される通話マイクと、前記通話時に第２の入力音声が入力される撮像マイクと、第１の入力音声の特性を、該特性とは異なる第２の入力音声の特性に補正する入力補正部と、第２の入力音声に複数の音声が含まれている場合に、第２の入力音声を複数の音声に分離する音声分離部と、音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、混合比算出部により算出された混合比で音声分離部により分離された複数の音声を混合する音声混合部と、音声混合部により混合された混合音声を用いて、入力補正部により補正された第１の入力音声から通話者の音声を抽出する抽出部と、を備える、通話音声処理装置が提供される。

かかる構成によれば、通話音声処理装置の通話マイクから入力される第１の入力音声の特性を、撮像マイクから入力される第２の入力音声の特性に補正する。第２の入力音声は、複数の音源から発生された音声に分離され、分離された複数の音声種別が推定される。そして、推定された音声種別に応じて各音声の混合比が算出され、該混合比で分離された各音声が再混合される。そして、再混合された混合音声を用いて、特性補正がなされた第１の入力音声から通話音声が抽出される。

これにより、異なる特性を有するマイク等の入力装置を用いて通話音声を強調することができる。すなわち、通話音声処理装置に備わる撮像マイクを流用して、通話マイクに入力される第１の入力音声から通話音声を抽出して快適に通話することが可能となる。例えば、所望の通話音声が、該音量より音量の大きい雑音にマスキングされて聞き取りづらく、適切な通話ができなくなることを防止することができる。また、通話音声処理装置に環境音の採取や除去のためのマイクを追加することなく、撮像マイクを流用してユーザが所望する通話音声を抽出することができる。

また、上記通話音声処理装置は、携帯電話であってもよい。

また、音声分離部は、第１の入力音声および第２の入力音声を複数の音声に分離してもよい。

また、第１の入力音声に通話者の音声が含まれるか否かを判定する音声判定部を備えてもよい。

また、音声判定部は、入力音声の音量、スペクトル、複数入力音声の位相差、離散時間における振幅情報の分布のうちのいずれか１つ以上を用いて、音源の方向、距離、音色を特定し、通話者音源が含まれているか否かを判定してもよい。

また、上記入力補正部は、第１の入力音声および／または第２の入力音声の周波数特性を補正してもよい。

また、上記入力補正部は、第１の入力音声および／または第２の入力音声のサンプリングレート変換を行ってもよい。

また、上記入力補正部は、第１の入力音声と第２の入力音声とのＡ／Ｄ変換による遅延の相違を補正してもよい。

また、上記音声分離部は、ブロック単位で入力音声を複数の音声に分離し、音声分離部により分離された音声が複数のブロック間で同一か否かを判断する同一性判断部と、音声分離部により分離された音声をブロック単位で記録する記録部と、を備えてもよい。

また、上記音声分離部は、音声の統計的な独立性と空間伝達特性の相違を用いて、入力音声を複数の音声に分離してもよい。

また、上記音声分離部は、音源の時間周波数成分間の重なりの少なさを用いて特定音源から発せられた音声とそれ以外の音声とを分離してもよい。

また、上記音声種別推定部は、入力音声の離散時間における振幅情報の分布、方向、音量、ゼロ交差数を用いて、入力音声が定常音声か非定常音声かを推定してもよい。

また、上記音声種別推定部は、非定常音声であると推定された音声がノイズ音声か人の発した音声かを推定してもよい。

また、上記混合比算出部は、音声種別推定部により、定常音声であると推定された音声の音量が大きく変化しない混合比を算出してもよい。

また、上記混合比算出部は、音声種別推定部によりノイズ音声であると推定された音声の音量を低減し、人の発した音声であると推定された音声の音量を低減しなし混合比を算出してもよい。

また、上記課題を解決するために、本発明のある観点によれば、第１の入力音声が入力される通話マイク、および第２の入力音声が入力される撮像マイクを有する装置における通話音声処理方法であって、第１の入力音声の特性を、該特性とは異なる第２の入力音声の特性に補正するステップと、第２の入力音声に複数の音声が含まれている場合に、第２の入力音声を複数の音声に分離するステップと、分離された複数の音声の音声種別を推定するステップと、推定された音声種別に応じて各音声の混合比を算出するステップと、算出された混合比で分離された複数の音声を混合するステップと、混合された混合音声を用いて、補正された第１の入力音声から通話者の音声を抽出するステップと、を含む、通話音声処理方法が提供される。

以上説明したように本発明によれば、異なる特性のマイクを用いて通話音声を強調することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕本発明の第１実施形態にかかる通話音声処理装置の説明
〔２−１〕本実施形態にかかる通話音声処理装置の機能構成
〔２−２〕本実施形態にかかる通話音声処理装置の動作
〔３〕本発明の第２実施形態にかかる通話音声処理装置の説明
〔３−１〕本実施形態にかかる通話音声処理装置の機能構成

〔１〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。通常、携帯電話等の通信装置においては、単一の通話用マイクのみを利用して通話を行っている。このため、複数のマイクを用いてマイク間の空間伝達特性の相違を利用した高音質化を行うことができなかった。単一音声を用いて雑音除去を行う場合には、スペクトルサブトラクション等、出力音声に歪みを付加する手法を用いる以外の選択肢が存在しなかった。

そこで、通話音声を高音質化するために、環境音の採取や除去をするためのマイクを追加して通話音声を高音質化する方法が考えられている。当該方法においては、追加したマイクにより採取された環境音を通話マイクにより収音された音声から減算することにより通話音声の高音質化を実現することが可能となる。

ところで、近年の通信装置には、撮像機能が備わることが多くなってきている。そこで、上記のようにマイクを追加しなくとも、撮像用マイクを流用して通話音声を高音質化することが可能であると考えられる。例えば、複数の音源から発せられた音声を分離して、通話音声のみを強調する方法が考えられる。

しかし、撮像マイクの特性は、通話マイクの特性と大きく異なることが多く、各マイクの配置が必ずしも通話音声の高音質化に最適なものとなっていないという問題があった。そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる通話音声処理装置が創作されるに至った。本実施形態にかかる通話音声処理装置１０によれば、異なる特性のマイクを用いて通話音声を強調することができる。

〔２〕本発明の第１実施形態にかかる通話音声処理装置の説明
次に、本実施形態にかかる通話音声処理装置の一例として、通話音声処理装置１０の機能構成および動作について説明する。

〔２−１〕本実施形態にかかる通話音声処理装置の機能構成
図１を参照して、通話音声処理装置１０の機能構成について説明する。本実施形態にかかる通話音声処理装置１０は、上記したように、異なる特性のマイクを用いて通話音声を強調することができる。通話音声処理装置１０は、例えば、撮像用カメラを搭載した携帯電話等の通信装置を例示できる。

通話機能および撮像機能を有する通信装置において通話を行う場合には、話者が発する音声が他の音源の発する音声によりマスキングされ、話者の発する音声を明瞭に送話できない場合が多い。また、移動中など周囲の状況が変化する場合には、通話音声に大きなばらつきが存在し、受話側で一定の再生音量で通話音声を快適に聴くことが困難となる。しかし、本実施形態にかかる通話音声処理装置１０によれば、撮像用のマイクを通話マイクに流用し、通話音声と通話音声以外の他の音声の音量バランスを調整したり、通話音量レベルを調節したりして、通話音声の高音質化を図ることが可能となる。

図１は、本実施形態にかかる通話音声処理装置１０の機能構成を示したブロック図である。図１に示したように、通話音声処理装置１０は、第１音声収音部１０２と、入力補正部１０４と、抽出部１０６と、音声判定部１０８と、第２音声収音部１１０と、音声分離部１１２と、記録部１１４と、記憶部１１６と、同一性判断部１１８と、音声種別推定部１２２と、混合比算出部１２０と、音声混合部１２４などを備える。

第１音声収音部１０２は、音声を収音し、収音した音声を離散量子化する機能を有する。また、第１音声収音部１０２は、本発明の第１の入力装置の一例であって、例えば通話マイクなどである。第１音声収音部１０２は、物理的に分離された２以上の収音部（例えば、マイクロホン）を含む。第１音声収音部１０２は、左音声を収音する収音部と右音声を収音する収音部の２つを含むようにしてもよい。

また、第１音声収音部１０２は、離散量子化した音声を入力音声として入力補正部１０４に提供する。また第１音声収音部１０２は、該入力音声を音声判定部１０８に提供してもよい。また、第１音声収音部１０２は、入力音声を所定長のブロック単位で入力補正部１０４および／または音声判定部１０８に提供してもよい。

入力補正部１０４は、特性の異なる通話マイクの特性を補正する機能を有する。すなわち、第１の入力装置である通話マイクから入力される第１の入力音声（通話音声）の特性を、第２の入力装置である撮像マイクから入力される第２の入力音声（撮像時の音声）の特性に補正する。入力音声の補正とは、例えば、サンプリング周波数が他のマイクと異なる場合はレート変換を行い、周波数特性が異なる場合は周波数特性の逆特性の適用を行うことである。また、Ａ／Ｄ変換等による遅延量が異なる場合は、当該遅延量の補正を行ってもよい。

音声判定部１０８は、第１音声収音部１０２より提供された第１の入力音声（通話音声）に、通話者の音声が含まれるか否かを判定する機能を有する。具体的には、第１の入力音声の音量、スペクトル、複数入力音声の位相差情報、離散時間における振幅情報の分布などから、音声入力があるか否かを判定した後、通話者が発した音声入力が含まれているか否かを判定する。音声判定部１０８は、判定の結果、通話者が発した音声入力が含まれていると判定した場合に当該判定結果を音声分離部１１２に通知する。

第２音声収音部１１０は、音声を収音し、収音した音声を離散量子化する機能を有する。また、第２音声収音部１１０は、本発明の第２の入力装置の一例であって、例えば撮像マイクなどである。また、第２音声収音部１１０は、物理的に分離された２以上の収音部（例えば、マイクロホン）を含む。第２音声収音部１１０は、左音声を収音する収音部と右音声を収音する収音部の２つを含むようにしてもよい。また、第２音声収音部１１０は、離散量子化した音声を入力音声として音声分離部１１２に提供する。また、第２音声収音部１１０は、入力音声を所定長のブロック単位で音声分離部１１２に提供してもよい。

音声分離部１１２は、第２音声収音部１１０から提供された第２の入力音声を複数の音源から発生された複数の音声に分離する機能を有する。具体的には、第２の入力音声を音源の統計的な独立性と空間伝達特性の相違を用いて分離する。上記したように、第２音声収音部１１０から所定長のブロック単位で入力音声が提供される場合には、当該ブロック単位で音声を分離するようにしてもよい。

音声分離部１１２による音源を分離するための具体的手法としては、例えば、独立成分解析を用いた手法（論文１：Y.Mori, H.Saruwatari, T.Takatani, S.Ukai, K.Shikano, T.hiekata, T.Morita, Real-Time Implementation of Two-Stage Blind Source Separation Combining SIMO-ICA and Binary Masking, Proceedings of IWAENC2005, (2005).）を用いることができる。また、音の時間周波数成分間の重なりの少なさを利用する手法（論文２：O.Yilmaz and S.Richard, Blind Separation of Speech Mixtures via Time-Frequency Masking, IEEE TRANSACTIONS ON SIGNAL PROCESSING, VOL.52, NO.7, JULY(2004).）を用いてもよい。

また、音声判定部１０８により通話者が発した音声入力が含まれていると判定された結果が通知された場合に第１の入力音声の分離を実行するようにしてもよい。また、音声判定部１０８により通話者が発した音声入力が含まれていないと判定された結果が通知された場合には、第１の入力音声の分離を実行しないようにしてもよい。

また、本実施形態では、音声判定部１０８により第１の入力音声の判定を実行しているが、音声判定部１０８の機能を省略する構成としてもよい。すなわち、第１の入力音声の判定を行わず、第１の入力音声のすべてを音声分離部１１２に提供するようにしてもよい。

同一性判断部１１８は、音声分離部１１２によりブロック単位で入力音声が複数の音声に分離された場合に、当該分離された音声が複数のブロック間で同一か否かを判断する機能を有する。例えば、音声分離部１１２から提供された分離音声の離散時間における振幅情報の分布、音量、方向情報などを用いて、前後ブロック間で同一の音源から発生された分離音声であるか否かを判断する。

記録部１１４は、音声分離部１１２により分離された音声の音量情報をブロック単位で記憶部１１６に記録する機能を有する。記憶部１１６に記録される音量情報としては、例えば、同一性判断部１１８により取得される各分離音声の音声種別情報や、音声分離部１１２により取得される分離音声の音量の平均値、最大値、分散値等などが挙げられる。また、リアルタイムの音声のみならず、過去に音声処理された分離音声の音量平均値を記録してもよい。また、入力音声の音量情報等が入力音声よりも先に取得可能な場合には、当該音量情報を記録するようにしてもよい。

音声種別推定部１２２は、音声分離部１１２により分離された複数の音声の音声種別を推定する機能を有する。例えば、分離音声の音量、振幅情報の分布、最大値、平均値、分散値、ゼロ交差数などから得られる音声情報と、方向距離情報から、音声種別（定常または非定常、ノイズまたは音声）を推定する。ここで、音声種別推定部１２２の詳細な機能について説明する。以下では、通信装置に通話音声処理装置１０が搭載されている場合について説明する。音声種別推定部１２２は、撮像装置の操作者の音声または操作者の動作に起因するノイズなど撮像装置の近傍から発せられた音声が含まれているか否かを判定する。これにより、どの音源から発生された音声なのか否かを推定することができる。

図２は、音声種別推定部１２２の構成を示した機能ブロック図である。音声種別推定部１２２は、音量検出器１３２、平均音量検出器１３４および最大音量検出器１３６からなる音量検出部１３０と、スペクトル検出器１４０および音質検出器１４２からなる音質検出部１３８と、距離方向推定器１４４と、音声推定器１４６と、を備える。

音量検出器１３２は、所定長さのフレーム単位（例えば、数１０ｍｓｅｃ）で与えられる入力音声の音量値列（振幅）を検出し、検出した入力音声の音量値列を平均音量検出器１３４、最大音量検出器１３６、音質検出器１４２および距離方向推定器１４４に出力する。

平均音量検出器１３４は、音量検出器１３２から入力されるフレーム単位の音量値列に基づいて、入力音声の音量平均値を例えばフレームごとに検出する。また、平均音量検出器１３４は、検出した音量平均値を音質検出器１４２および音声推定器１４６に出力する。

最大音量検出器１３６は、音量検出器１３２から入力されるフレーム単位の音量値列に基づいて、入力音声の音量最大値を例えばフレームごとに検出する。また、最大音量検出器１３６は、検出した入力音声の音量最大値を音質検出器１４２および音声推定器１４６に出力する。

スペクトル検出器１４０は、入力音声に例えばＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）処理を施し、入力音声の周波数領域における各スペクトルを検出する。スペクトル検出器１４０は、検出したスペクトルを音質検出器１４２および距離方向推定器１４４に出力する。

音質検出器１４２は、入力音声、音量平均値、音量最大値およびスペクトルが入力され、かかる入力に基づいて入力音声の人間の音声らしさ、音楽らしさ、定常性、インパルス性などを検出し、音声推定器１４６に出力する。人間の音声らしさは、入力音声の一部または全体が人間の音声と一致するか否か、あるいは人間の音声とどの程度近似するかなどを示す情報であってもよい。また、音楽らしさは、入力音声の一部または全体が音楽であるか否か、あるいは音楽とどの程度近似するかなどを示す情報であってもよい。

定常性は、例えば空調音のように時間的にそれほど音声の統計的性質が変化しない性質を指す。インパルス性は、例えば打撃音、破裂音のように短時間にエネルギーが集中した雑音性の強い性質を指す。

例えば、音質検出器１４２は、入力音声のスペクトル分布と人間の音声のスペクトル分布との一致度に基づいて人間の音声らしさを検出することができる。また、音質検出器１４２は、フレームごとの音量最大値を比較し、他のフレームと比較して音量最大値が大きいほどインパルス性が高いことを検出してもよい。

なお、音質検出器１４２は、ゼロクロッシング法、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）分析などの信号処理技術を用いて入力音声の音質を分析してもよい。ゼロクロッシング法によれば入力音声の基本周期が検出されるため、音質検出器１４２は該基本周期が人間の音声の基本周期（例えば１００〜２００Ｈｚ）に含まれるか否かに基づいて人間の音声らしさを検出してもよい。

距離方向推定器１４４には、入力音声、入力音声の音量値列、入力音声のスペクトルなどが入力される。距離方向推定器１４４は、該入力に基づいて入力音声の音源または入力音声に含まれる支配的な音声が発せられた音源の方向情報および距離情報などの位置情報を推定する位置情報算出部としての機能を有する。かかる距離方向推定器１４４は、入力音声の位相、音量、音量値列、過去の平均音量値、最大音量値などによる音源の位置情報の推定方法を組み合わせることで、残響や撮像装置本体による音声の反射の影響が大きい場合でも総合的に音源位置を推定することができる。距離方向推定器１４４による方向情報および距離情報の推定方法の一例を図３〜図６を参照して説明する。

図３は、２つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。音源が点音源であると仮定すると、第２音声収音部１１０を構成するマイクロホンＭ１およびマイクロホンＭ２に到達する各入力音声の位相と各入力音声の位相差が測定できる。さらに、位相差と、入力音声の周波数ｆおよび音速ｃの値から、入力音声の音源位置までのマイクロホンＭ１からの距離とマイクロホンＭ２からの距離との差を算出できる。音源は、当該距離差が一定である点の集合上に存在する。このような距離差が一定である点の集合は、双曲線となることが知られている。

例えば、マイクロホンＭ１が（ｘ１、０）に位置し、マイクロホンＭ１が（ｘ２、０）に位置すると仮定する（このように仮定しても一般性を失わない）。また、求める音源位置の集合上の点を（ｘ、ｙ）とおき、上記距離差をｄとおくと、以下の数式１が成り立つ。

（数式１）

さらに、数式１は数式２のように展開でき、数式２を整理すると双曲線を表す数式３が導かれる。

（数式２）

（数式３）

また、距離方向推定器１４４は、マイクロホンＭ１およびマイクロホンＭ２の各々が収音した入力音声の音量差に基づいて音源がマイクロホンＭ１およびマイクロホンＭ２のどちらの近傍であるかを判定できる。これにより、例えば図３に示したようにマイクロホンＭ２に近い双曲線１上に音源が存在すると判定することができる。

なお、位相差算出に用いる入力音声の周波数ｆは、マイクロホンＭ１およびマイクロホンＭ２間の距離に対して下記の数式４の条件を満たす必要がある。

（数式４）

図４は、３つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。図４に示したような第２音声収音部１１０を構成するマイクロホンＭ３、マイクロホンＭ４およびマイクロホンＭ５の配置を想定する。マイクロホンＭ３およびマイクロホンＭ４に到達する入力音声の位相に比較してマイクロホンＭ５に到達する入力音声の位相が遅れる場合がある。この場合、距離方向推定器１４４は、音源がマイクロホンＭ４およびマイクロホンＭ５を結ぶ直線１に対してマイクロホンＭ５の逆側に位置すると判定できる（前後判定）。

さらに、距離方向推定器１４４は、マイクロホンＭ３およびマイクロホンＭ４の各々に到達する入力音声の位相差に基づいて音源が存在し得る双曲線２を算出する。そして、マイクロホンＭ４およびマイクロホンＭ５の各々に到達する入力音声の位相差に基づいて音源が存在し得る双曲線３を算出することができる。その結果、距離方向推定器１４４は、双曲線２および双曲線３の交点Ｐ１を音源位置として推定することができる。

図５は、２つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。音源が点音源であると仮定すると、逆二乗則よりある点で観測される音量は距離の二乗に反比例する。図５に示したような第２音声収音部１１０を構成するマイクロホンＭ６およびマイクロホンＭ７を想定した場合、マイクロホンＭ６およびマイクロホンＭ７に到達する音量比が一定となる点の集合は円となる。距離方向推定器１４４は、音量検出器１３２から入力される音量の値から音量比を求め、音源の存在する円の半径及び中心位置を算出できる。

図５に示したように、マイクロホンＭ６が（ｘ３、０）に位置し、マイクロホンＭ７が（ｘ４、０）に位置する。この場合（このように仮定しても一般性を失わない）、求める音源位置の集合上の点を（ｘ、ｙ）と置くと、各マイクロホンから音源までの距離ｒ１、ｒ２は以下の数式５のように表せる。

（数式５）

ここで、逆二乗則より以下の数式６が成り立つ。

（数式６）

数式６は正の定数ｄ（例えば４）を用いて数式７にように変形される。

（数式７）

数式７をｒ１およびｒ２に代入し、整理すると以下の数式８が導かれる。

（数式８）

数式８より、距離方向推定器１４４は、図５に示したように、中心の座標が数式９で表され半径が数式１０で表される円１上に音源が存在すると推定できる。

（数式９）

（数式１０）

図６は、３つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。図６に示したような第２音声収音部１１０を構成するマイクロホンＭ３、マイクロホンＭ４およびマイクロホンＭ５の配置を想定する。マイクロホンＭ３およびマイクロホンＭ４に到達する入力音声の位相に比較してマイクロホンＭ５に到達する入力音声の位相が遅れる場合がある。この場合、距離方向推定器１４４は、音源がマイクロホンＭ４およびマイクロホンＭ５を結ぶ直線２に対してマイクロホンＭ５の逆側に位置すると判定できる（前後判定）。

さらに、距離方向推定器１４４は、マイクロホンＭ３およびマイクロホンＭ４の各々に到達する入力音声の音量比に基づいて音源が存在し得る円２を算出する。そして、マイクロホンＭ４およびマイクロホンＭ５の各々に到達する入力音声の音量比に基づいて音源が存在し得る円３を算出することができる。その結果、距離方向推定器１４４は、円２および円３の交点Ｐ２を音源位置として推定することができる。なお、４つ以上のマイクロホンを使用した場合には、距離方向推定器１４４は、空間的な音源の配置を含め、より精度の高い推定が可能となる。

距離方向推定器１４４は、上記のように各入力音声の位相差や音量比に基づいて入力音声の音源の位置を推定し、推定した音源の方向情報や距離情報を音声推定器１４６に出力する。以下の表１に、上述した音量検出部１３０、音質検出部１３８および距離方向推定器１４４の各構成の入出力をまとめた。

なお、入力音声に複数の音源から発せられた音声が重畳されている場合、距離方向推定器１４４は入力音声に支配的に含まれている音声の音源位置を正確に推定することは困難である。しかし、距離方向推定器１４４は入力音声に支配的に含まれている音声の音源位置に近い位置を推定することは可能である。また、当該推定された音源位置は音声分離部１１２において音声分離のための初期値として利用してもよいため、距離方向推定器１４４が推定する音源位置に誤差があっても当該通話音声処理装置１０は所望の動作をすることができる。

図２を参照して音声種別推定部１２２の構成の説明に戻る。音声推定器１４６は、入力音声の音量、音質または位置情報の少なくともいずれかに基づき、入力音声に操作者の音声または操作者の動作に起因するノイズなど通話音声処理装置１０の近傍である特定音源から発せられた近傍音声が含まれているか否かを総合的に判定する。また、音声推定器１４６は、入力音声に近傍音声が含まれていると判定した場合、音声分離部１１２に入力音声に近傍音声が含まれる旨（操作者音声存在情報）や距離方向推定器１４４により推定された位置情報などを出力する音声判定部としての機能を有する。

具体的には、音声推定器１４６は、入力音声の音源の位置が映像を撮像する撮像部（図示せず。）の撮像方向の後方であると距離方向推定器１４４に推定され、入力音声が人間の音声と一致または近似する音質である場合、入力音声に近傍音声が含まれていると判定してもよい。

音声推定器１４６は、入力音声の音源の位置が撮像部の撮像方向の後方であり、入力音声が人間の音声と一致または近似する音質である場合、入力音声に近傍音声として操作者の音声が支配的に含まれていると判定するようにしてもよい。その結果、後述の音声混合部１２４により操作者の音声の音量比率が低減された混合音声を得ることができる。

また、音声推定器１４６は、入力音声の音源の位置が収音位置から設定距離（例えば、通話音声処理装置１０の１ｍ以内など通話音声処理装置１０の近傍）の範囲内である。また、入力音声にインパルス音が含まれ、入力音声が過去の平均音量と比較して大きい場合、入力音声に特定音源から発せられた近傍音声が含まれていると判定してもよい。ここで、撮像装置の操作者が当該撮像装置に備わるボタンを操作したり撮像装置を持ち替えると「パチン」、「バン」などのインパルス音が発生したりする場合が多い。また、該インパルス音は通話音声処理装置１０を搭載した撮像装置において発生するため、比較的大きな音量で収音される可能性が高い。

したがって、音声推定器１４６は、入力音声の音源の位置が収音位置から設定距離の範囲内である。また、入力音声にインパルス音が含まれ、入力音声が過去の平均音量と比較して大きい場合、入力音声に近傍音声として操作者の動作に起因するノイズが支配的に含まれていると判定することができる。その結果、後述の音声混合部１２４により操作者の動作に起因するノイズの音量比率が低減された混合音声を得ることができる。

その他、音声推定器１４６に入力される情報と、入力される情報に基づく音声推定器１４６の判定結果の一例を以下の表２にまとめた。なお、近接センサー、温度センサーなどを組み合わせて用いて音声推定器１４６における判定の精度をあげることも可能である。

図１に戻り、混合比算出部１２０は、音声種別推定部１２２により推定された音声種別に応じて、各音声の混合比を算出する機能を有する。例えば、音声分離部１１２により分離された分離音声と、音声種別推定部１２２により音声種別情報と記録部１１４ニ記録された音量情報を用いて、支配的な音声の音量を低減する混合比を算出する。

また、音声種別推定部１２２の出力情報を参照して、音声種別がより定常的である場合は、前後ブロックでの音量情報が大きく変化しないような混合比を算出する。また、混合比算出部１２０は、音声種別が定常的ではなく（非定常）、ノイズの可能性が高い場合には、当該音声の音量を低減する。一方、音声種別が非定常であり、人が発した音声である可能性が高い場合には、当該音声の音量をノイズ音声に比較してそれほど低減しない。

音声混合部１２４は、混合比算出部１２０により提供された混合比で音声分離部１１２により分離された複数の音声を混合する機能を有する。音声混合部１２４は、例えば、通話音声処理装置１０の近傍音声および収音対称音声を、近傍音声が占める音量比率が、入力音声に占める近傍音声の音量比率より低減されるように混合するようにしてもよい。これにより、第２の入力音声のうち、近傍音声の音量が不要に大きい場合、収音対象音声が占める音量比率が入力音声に占める収音対象音声の音量比率より増大した混合音声を得ることができる。その結果、収音対象音声が近傍音声に埋もれてしまうことが防止することができる。

抽出部１０６は、音声混合部１２４により混合された混合音声を用いて、入力補正部１０４により補正された第１の入力音声から特定の音声を抽出する機能を有する。例えば、入力補正部１０４により提供された第１の入力音声に含まれる通話音声を強調することにより、通話音声を抽出するようにしてもよい。

通話音声の抽出の仕組みとしては、スペクトルサブトラクション等の非線形処理が考えられるが、当該仕組みに限定されるものではない。ここで、図７を参照して、抽出部１０６による通話音声の抽出について説明する。図７は、抽出部１０６による通話音声の抽出の一例を説明する説明図である。

図７に示したように、グラフ７００に示した周波数特性ａは、通話音声が支配的な音声の周波数特性である。また、周波数特性ｂは、ノイズ音声が支配的な音声の周波数特性である。そして、周波数特性ｃは、通話音声が強調された音声である。

抽出部１０６は、周波数特性ａが示す通話音声が支配的な音声の特性から、周波数特性ｂが示すノイズ音声が支配的な音声の特性を減算して、周波数特性ｃが示す通話音声が強調された音声を抽出する。

〔２−２〕本実施形態にかかる通話音声処理装置の動作
以上、本実施形態にかかる通話音声処理装置１０の機能構成について説明した。次に、図８を参照して、通話音声処理装置１０において実行される通話音声処理方法について説明する。図８は、本実施形態にかかる通話音声処理装置１０において実行される音声処理方法の流れを示したフローチャートである。図８に示したように、まず、通話音声処理装置１０の第１音声収音部１０２は、第１の入力音声である通話音声を収音する。また第２音声収音部１１０は、第２の入力音声である撮像時の音声を収音する（Ｓ１０２）。

次に、第１の入力音声が入力されたか、第２の入力音声が入力されたか否かを判定する（Ｓ１０４）。ステップＳ１０４において、第１の入力音声も第２の入力音声もなかった場合には処理を終了する。

ステップＳ１０４において、第１の入力音声があったと判定された場合には、入力補正部１０４は、第１の入力音声の特性を、第２の入力音声の特性に補正する（Ｓ１０６）。次に、音声判定部１０８は、第１の入力音声に通話音声が存在するか否かを判定する（Ｓ１０８）。

ステップＳ１０８において、第１の入力音声に通話音声が存在すると判定された場合には、音声分離部１１２は、第２の入力音声を複数の音声に分離する（Ｓ１１０）。ステップＳ１１０において、音声分離部１１２は、所定長のブロック単位で入力音声を分離するようにしてもよい。ステップＳ１０８において、第１の入力音声に通話音声が存在しないと判定された場合には、第２の入力音声の分離を実行せずにステップＳ１１２の処理を実行する。

そして、同一性判断部１１８は、ステップＳ１１０において所定長のブロック単位で分離された第２の入力音声が複数のブロック間で同一か否かを判断する（Ｓ１１２）。同一性判断部１１８は、ステップＳ１１０において分離されたブロック単位の音声の離散時間における振幅情報の分布、音量、方向情報などを用いて同一性を判断するようにしてもよい。

次に、音声種別推定部１２２は、各ブロックの音量情報を算出し（Ｓ１１４）、各ブロックの音声種別を推定する（Ｓ１１６）。ステップＳ１１６において、音声種別推定部１２２は、操作者の発した音声、被写体の発した音声、操作者の動作に起因するノイズ、インパルス音、定常的な環境音などに音声を分離する。

次に、混合比算出部１２０は、ステップＳ１１６において推定された音声種別に応じて、各音声の混合比を算出する（Ｓ１１８）。混合比算出部１２０は、ステップＳ１１４において算出した音量情報と、ステップＳ１１６において算出した音声種別情報を元に、支配的な音声の音量を低減する混合比を算出する。

そして、ステップＳ１１８において算出された各音声の混合比を用いて、ステップＳ１１０において分離された複数の音声を混合する（Ｓ１２０）。そして、抽出部１０６は、ステップＳ１２０において混合された混合音声を用いて、ステップＳ１０６において補正された第１の入力音声から通話音声を抽出する（Ｓ１２２）。

以上説明したように、上記実施形態によれば、通話音声処理装置１０の通話マイクから入力される第１の入力音声の特性を、撮像マイクから入力される第２の入力音声の特性に補正する。第２の入力音声は、複数の音源から発生された音声に分離され、分離された複数の音声種別が推定される。そして、推定された音声種別に応じて各音声の混合比が算出され、該混合比で分離された各音声が再混合される。そして、再混合された混合音声を用いて、特性補正がなされた第１の入力音声から通話音声が抽出される。

これにより、通話音声処理装置１０に備わる撮像マイクを流用して、通話マイクに入力される第１の入力音声から通話音声を抽出して快適に通話することが可能となる。例えば、所望の通話音声が、該音量より音量の大きい雑音にマスキングされて聞き取りづらく、適切な通話ができなくなることを防止することができる。また、通話音声処理装置１０に環境音の採取や除去のためのマイクを追加することなく、撮像マイクを流用してユーザが所望する通話音声を抽出することができる。

〔３〕本発明の第２実施形態にかかる通話音声処理装置の説明
上記したように、第１の実施形態では、第２の入力音声の音声分離を行って、分離された第２の入力音声の再混合を行っていた。しかし、第２の実施形態では、第２の入力音声だけでなく第１の入力音声も用いて入力音声の分離を行う。したがって、抽出部１０６においては、第１の入力音声も含まれた混合音声を用いて通話音声の抽出が行われる。以下では、第１実施形態と異なる部分について特に詳細に説明し、第１実施形態と同様の構成については詳細な説明を省略する。

〔３−１〕本実施形態にかかる通話音声処理装置の機能構成
図９を参照して、本実施形態にかかる通話音声処理装置１１の機能構成について説明する。上記したように、本実施形態にかかる通話音声処理装置１１は、通話マイクから入力される第１の入力音声と撮像マイクから入力された第２の入力音声の双方を用いて入力音声の分離を行う。

図９に示したように、通話音声処理装置１１は、第１音声収音部１０２、入力補正部１０４、抽出部１０６、音声判定部１０８、第２音声収音部１１０、音声分離部１１２、記録部１１４、記憶部１１６、同一性判断部１１８、混合比算出部１２０、音声種別推定部１２２、音声混合部１２４などを備える。

入力補正部１０４は、音声分離部１１２に補正された第１の入力音声を提供する。そして、音声分離部１１２は、第２音声収音部１１０により提供された第２の入力音声だけでなく、入力補正部１０４により提供された第１の入力音声の双方を用いて入力音声の分離を行う。

抽出部１０６は、音声分離部１１２は、再混合された入力音声中の通話音声成分を強調することにより、通話音声を抽出する。

本実施形態においても、音声判定部１０８の機能を省略する構成とすることができる。すなわち、第１の入力音声の判定を行わず、音声分離部１１２にすべての第１の入力音声と第２の入力音声と含む入力音声が提供するようにしてもよい。

以上説明したように、上記実施形態によれば、通話音声処理装置１１の通話マイクから入力される第１の入力音声の特性を、撮像マイクから入力される第２の入力音声の特性に補正する。第２の入力音声および補正された第１の入力音声は、複数の音源から発生された音声に分離され、分離された複数の音声種別が推定される。そして、推定された音声種別に応じて各音声の混合比が算出され、該混合比で分離された各音声が再混合される。そして、再混合された混合音声の中から通話音声が抽出される。

これにより、通話音声処理装置１１に備わる撮像マイクを流用して、通話マイクに入力される第１の入力音声から通話音声を抽出して快適に通話することが可能となる。例えば、所望の通話音声が、該音量より音量の大きい雑音にマスキングされて聞き取りづらく、適切な通話ができなくなることを防止することができる。また、通話音声処理装置１１に環境音の採取や除去のためのマイクを追加することなく、撮像マイクを流用してユーザが所望する通話音声を抽出することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、撮像機能を有する通信装置の通話音声の高音質化について説明したが、本発明はかかる例に限定されない。例えば、撮像機能を有さないが録音機能を有する通信装置であってもよい。また、通話マイク以外に使用可能な追加マイクを備えた通信装置に上記発明を適用してもよい。

本発明の第１の実施形態にかかる通話音声処理装置の機能構成を示したブロック図である。 同実施形態にかかる音声種別推定部の構成を示した機能ブロック図である。 ２つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。 ３つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。 ２つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。 ３つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。 同実施形態にかかる抽出部による通話音声の抽出の一例を説明する説明図である。 同実施形態にかかる音声処理装置において実行される音声処理方法の流れを示したフローチャートである。 本発明の第２の実施形態にかかる通話音声処理装置の機能構成を示したブロック図である。

符号の説明

１０、１１ 通話音声処理装置
１０２ 第１音声収音部
１０４ 入力補正部
１０６ 抽出部
１０８ 音声判定部
１１０ 第２音声収音部
１１２ 音声分離部
１１４ 記録部
１１６ 記憶部
１１８ 同一性判断部
１２０ 混合比算出部
１２２ 音声種別推定部
１２４ 音声混合部

Claims (16)

1. 通話時に第１の入力音声が入力される通話マイクと、
   前記通話時に第２の入力音声が入力される撮像マイクと、
   前記第１の入力音声の特性を、該特性とは異なる前記第２の入力音声の特性に補正する入力補正部と、
   前記第２の入力音声に複数の音声が含まれている場合に、前記第２の入力音声を複数の音声に分離する音声分離部と、
   前記音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、
   前記音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、
   前記混合比算出部により算出された混合比で前記音声分離部により分離された前記複数の音声を混合する音声混合部と、
   前記音声混合部により混合された混合音声を用いて、前記入力補正部により補正された前記第１の入力音声から通話者の音声を抽出する抽出部と、
   を備える、通話音声処理装置。
2. 前記通話音声処理装置は、携帯電話である、請求項１に記載の通話音声処理装置。
3. 前記音声分離部は、
   前記第１の入力音声および前記第２の入力音声を複数の音声に分離する、請求項１または２に記載の通話音声処理装置。
4. 前記第１の入力音声に通話者の音声が含まれるか否かを判定する音声判定部を備える、請求項１〜３のいずれか１項に記載の通話音声処理装置。
5. 前記音声判定部は、
   入力音声の音量、スペクトル、複数入力音声の位相差、離散時間における振幅情報の分布のうちのいずれか１つ以上を用いて、音源の方向、距離、音色を特定し、通話者音源が含まれているか否かを判定する、請求項４に記載の通話音声処理装置。
6. 前記入力補正部は、前記第１の入力音声および／または前記第２の入力音声の周波数特性を補正する、請求項１〜５のいずれか１項に記載の通話音声処理装置。
7. 前記入力補正部は、前記第１の入力音声および／または前記第２の入力音声のサンプリングレート変換を行う、請求項１〜６のいずれか１項に記載の通話音声処理装置。
8. 前記入力補正部は、前記第１の入力音声と前記第２の入力音声とのＡ／Ｄ変換による遅延の相違を補正する、請求項１〜７のいずれか１項に記載の通話音声処理装置。
9. 前記音声分離部は、ブロック単位で前記入力音声を複数の音声に分離し、
   前記音声分離部により分離された音声が複数のブロック間で同一か否かを判断する同一性判断部と、
   前記音声分離部により分離された音声をブロック単位で記録する記録部と、
   を備える、請求項１〜８のいずれか１項に記載の通話音声処理装置。
10. 前記音声分離部は、音声の統計的な独立性と空間伝達特性の相違を用いて、前記入力音声を複数の音声に分離する、請求項１〜９のいずれか１項に記載の通話音声処理装置。
11. 前記音声分離部は、音源の時間周波数成分間の重なりの少なさを用いて特定音源から発せられた音声とそれ以外の音声とを分離する、請求項１〜１０のいずれか１項に記載の通話音声処理装置。
12. 前記音声種別推定部は、前記入力音声の離散時間における振幅情報の分布、方向、音量、ゼロ交差数を用いて、前記入力音声が定常音声か非定常音声かを推定する、請求項１〜１１のいずれか１項に記載の通話音声処理装置。
13. 前記音声種別推定部は、前記非定常音声であると推定された音声がノイズ音声か人の発した音声かを推定する、請求項１２に記載の通話音声処理装置。
14. 前記混合比算出部は、前記音声種別推定部により、定常音声であると推定された音声の音量が大きく変化しない混合比を算出する、請求項１２または１３に記載の通話音声処理装置。
15. 前記混合比算出部は、前記音声種別推定部によりノイズ音声であると推定された音声の音量を低減し、人の発した音声であると推定された音声の音量を低減しない混合比を算出する、請求項１３に記載の通話音声処理装置。
16. 通話時に第１の入力音声が入力される通話マイク、および前記通話時に第２の入力音声が入力される撮像マイクを有する装置における通話音声処理方法であって、
    前記第１の入力音声の特性を、該特性とは異なる前記第２の入力音声の特性に補正するステップと、
    前記第２の入力音声に複数の音声が含まれている場合に、前記第２の入力音声を複数の音声に分離するステップと、
    前記分離された複数の音声の音声種別を推定するステップと、
    前記推定された音声種別に応じて各音声の混合比を算出するステップと、
    前記算出された混合比で前記分離された複数の音声を混合するステップと、
    前記混合された混合音声を用いて、前記補正された前記第１の入力音声から通話者の音声を抽出するステップと、
    を含む、通話音声処理方法。

Images