JP4821131B2 - 音声帯域拡張装置 - Google Patents

Description

本発明は音声帯域拡張装置に関し、例えば、狭帯域電話機や交換機からの音声信号を広帯域化する装置に適用し得るものである。

現在、電話などの音声通信は様々なネットワークを用いて盛んに行われている。しかしながら、従来の公衆網を利用していた時代の慣習から、電話音声通信は、一般に電話帯域と呼ばれる３００Ｈｚから３．４ｋＨｚの周波数に制限されて行われている。しかし、人間の発声する音声には、３００Ｈｚ以下の低域成分や、３．４ｋＨｚ以上の高域成分も含まれており、また、これら低域成分及び高域成分は発話の個人性にも係わる重要な成分である。また、高齢者にとっても、これら低域成分及び高域成分の欠如は個人性の欠如だけでなく、音声の認識を低下させる一因であり、これら成分を含んだ音声での通話が望まれている。

しかしながら、一般的な公衆網における交換機では、電話帯域を越える音声を伝送させることができない。このような点に鑑み、特許文献１には、音声帯域を拡張する帯域拡張器が提案されている。

特許文献１に記載の帯域拡張器手法を、図２を用いて説明する。３００Ｈｚから３．４ｋＨｚに周波数が限定された狭帯域音声信号（デジタル信号）ＤＣが帯域拡張器１０に入力される。この狭帯域音声信号ＤＣは、標本化周波数変換器１１により標本化周波数が高められた変換原信号Ｓに変換され（例えば、８ｋＨｚから１６ｋＨｚ）、この変換原信号Ｓを用いて、低域側（３００Ｈｚ以下）へ拡張した拡張信号（合成低域信号）ＬＳ、高域側（３．４〜７ｋＨｚ）へ拡張した拡張信号（合成高域信号）ＨＳ、無声部分を拡張した拡張信号（合成無声信号）ＵＳをそれぞれ低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４で生成し、上述の変換原信号Ｓと加算器１５で加算することで帯域拡張信号Ｖを生成している。

この帯域拡張信号Ｖは、帯域制限された狭帯域音声信号ＤＣから生成された低域成分の信号や高域成分の信号などを、伝送された信号と共に同時に提供し、これら各成分が含まれる広帯域信号と同様の臨場感ある音声として聴取することを可能にしている。
特開平９−２５８７８７号公報

しかしながら、特許文献１の帯域拡張方法では、新たに生成された成分の信号が原信号と周波数成分が異なるため、新たに生成された成分の信号と、伝送されてきた信号との位相関係を問題とすることなく単に加算合成しているため、最終的に作成された広帯域音声信号は、本来の広帯域音声信号と比べ、聴感が不自然な音声信号になることも生じていた。

そのため、帯域拡張後において、聴感が自然な音声信号を実現できる音声帯域拡張装置が望まれている。

かかる課題を解決するため、本発明は、原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置において、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、検出されたタイミングずれに応じ、上記原音声信号及び又は上記拡張音声信号のタイミングを調整する調整手段と、タイミング調整後の上記原音声信号及び上記拡張音声信号を合成する合成手段とを有し、上記タイミングずれ検出手段、上記調整手段、及び上記合成手段は、上記原音信号及び上記拡張音声信号について、固定長又は可変長の時間分をひとまとまりにした音声フレーム単位に処理し、上記調整手段は、上記タイミングずれ検出手段により検出されたタイミングずれに応じた遅延時間を、上記原音信号又は上記拡張音声信号の音声フレームに付与することによりタイミングずれを調整した調整後音声フレームを生成する調整部と、上記調整後音声フレームの最新端での信号波形周期を計算し、上記調整後音声フレームの最新端から計算した信号波形周期分の音声信号を抽出し、抽出した音声信号を利用して、上記調整後音声フレーム内で上記調整部の遅延付与により不足が生じた分の音声信号を生成して補完する補完部と、上記補完部により補完処理が行われた上記調整後音声フレームについては、元となる上記原音信号又は上記拡張音声信号の音声フレームのタイミング調整後の音声フレームとして上記合成手段に与え、上記調整部の処理対象とならなかった上記原音信号又は上記拡張音声信号の音声フレームについては、そのままタイミング調整後の音声フレームとして上記合成手段に与える出力部とを有することを特徴とする。

本発明の音声帯域拡張装置によれば、帯域が異なるとは言え、原音声信号及び拡張音声信号を、タイミングを合わせて合成するようにしたので、帯域拡張後において、聴感が自然な音声信号を実現することができる。

（Ａ）第１の実施形態
以下、本発明による音声帯域拡張装置の第１の実施形態を、図面を参照しながら詳述する。

図１は、第１の実施形態の音声帯域拡張装置１００の構成を示すブロック図であり、上述した従来に係る図２との同一、対応部分には、同一符号を付して示している。

図１において、第１の実施形態の音声帯域拡張装置１００は、標本化周波数変換器１１、低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４及び調整加算器２０を有する。

ここで、標本化周波数変換器１１、低域信号生成器１２、高域信号生成器１３及び無声部信号生成器１４はそれぞれ、特許文献１に記載のものと同様である。但し、帯域拡張信号Ｖを生成するための合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声信号ＵＳの生成方法は、特許文献１に記載のものに限定されず、他の既存の方法を適用したものであっても良い。

この第１の実施形態は、特定の時間（例えば１０ｍｓ）をひとまとまりにした音声フレーム（フレーム）単位に処理を行うことを想定しているが、フレームの時間長は限定しない。また、固定的なフレームでの処理には限定せず可変長のフレームでもかまわない。

図２における加算器１５に代えて設けられた調整加算器２０は、合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声信号ＵＳを、周波数変換原信号Ｓに対してタイミングを調整して加算するものであり、タイミングを調整する点が加算器１５と異なっている。

図３は、第１の実施形態の調整加算器２０の詳細構成を示すブロック図である。図３において、第１の実施形態の調整加算器２０は、低域調整加算器２１、高域調整加算器２２及び無声部調整加算器２３を有する。

低域調整加算器２１は、周波数変換原信号Ｓと低域信号生成器１２から出力された合成低域信号ＬＳとをタイミングを合わせて加算するものであり、高域調整加算器２２は、低域調整加算器２１の出力信号（低域拡張信号ＬＶ）と高域信号生成器１３から出力された合成高域信号ＨＳとをタイミングを合わせて加算するものであり、無声部調整加算器２３は、高域調整加算器２２の出力信号（高域拡張信号ＨＶ）と無声部信号生成器１４から出力された合成無声信号ＵＳとをタイミングを合わせて加算するものである。

図３では、低域調整加算器２１、高域調整加算器２２、無声部調整加算器２３の順に縦続接続されているものを示したが、これら３個の調整加算器の縦続接続順序は図３のものに限定されず、任意に選定しても良い。

低域調整加算器２１、高域調整加算器２２及び無声部調整加算器２３は同様な構成を有している。図４は、低域調整加算器２１の詳細構成を示すブロック図であるが、高域調整加算器２２及び無声部調整加算器２３も、同様な詳細構成を有する。

低域調整加算器２１は、２個の零交差検出器３１、３２、遅延検出器３３、調整器３４、及び加算回路３５を有する。

第１の零交差検出器３１は、周波数変換原信号Ｓにおける零交差（０クロス）のタイミングを検出して、原零交差情報ＳＺを遅延検出器３３に出力するものである。周波数変換原信号Ｓの零交差を検出する零交差検出器３１は、他の高域調整加算器２２及び無声部調整加算器２３と共用するようにしても良い。

第２の零交差検出器３２は、合成低域信号ＬＳにおける零交差（０クロス）のタイミングを検出して、低域零交差情報ＬＺを遅延検出器２３に出力するものである。

遅延検出器３３は、原零交差情報ＳＺ及び低域零交差情報ＬＺから、調整器３４へ合成低域信号ＬＳの遅延情報ＬＤを出力する。なお、合成低域信号ＬＳは、例えば、低域信号生成器１２による処理による影響などを受け、周波数変換原信号Ｓから位相がずれているものである。

調整器３４は、合成低域信号ＬＳを遅延情報ＬＤが指示する分だけ遅延させた調整低域信号ＬＡを加算回路３５へ出力するものである。

加算回路３５は、周波数変換原信号Ｓと調整低域信号ＬＡとを加算し、周波数変換原信号Ｓに比較して低域部分を拡張させた低域拡張信号ＬＶを出力する。

高域調整加算器２２及び無声部調整加算器２３も、低域調整加算器２１と同様な詳細構成を有する。高域調整加算器２２は、低域調整加算器２１における２種類の入力信号Ｓ、ＬＳに代えて、信号ＬＶ、ＨＳが入力されて高域拡張信号ＨＶを出力するものである。また、無声部調整加算器２３は、低域調整加算器２１における２種類の入力信号Ｓ、ＬＳに代えて、信号ＨＶ、ＵＳが入力されて無声部拡張信号ＵＶ（帯域拡張信号Ｖと同一）を出力するものである。

以下、低域調整加算器２１の動作を詳述する。低域調整加算器２１においては、１音声フレームが入力されるたびに、各部が以下のように動作する。

第１の零交差検出器３１では、入力された周波数変換原信号Ｓが零交差する時刻とその時刻での傾きを計算し、零交差時刻及び傾きでなる零交差情報ＳＺを遅延検出器３３へ出力する。零交差の検出は、例えば、現時刻の標本値と直前の時刻の標本値との積が負数となる時刻を零交差時刻とする。また、傾きは、例えば、零交差時刻での標本値が正であれば正の傾き、負数であれば負の傾きと判断する。但し、零交差の検出、傾きの判定手法は、この手法に限定はしない。また、零交差時刻の検出精度を高めるため、零交差検出器２１内部に被判定信号（ここでは周波数変換原信号Ｓ）に対し、判定前に、公知の直流成分の除去手法や雑音除去手法を適用した被検出信号を生成し、当該被検出信号に対して零交差検出することも可能である。

第２の零交差検出器３２は、第１の零交差検出器３１への入力が周波数変換原信号Ｓの代わりに合成低域信号ＬＳであること、出力が原零交差情報ＳＺの代わりに低域零交差情報ＬＺであることを除いて、第１の零交差検出器３１の動作と同様であるので詳細な説明は省略する。

遅延検出器３３は、周波数変換原信号Ｓから求めた零交差情報ＳＺと合成低域信号ＬＳから求めた低域零交差情報ＬＺを入力し、周波数変換原信号Ｓに対する合成低域信号ＬＳの遅延時間を計算し、これを遅延情報ＬＤとして調整器３５に出力する。遅延時間は、例えば、原零交差情報ＳＺ、低域零交差情報ＬＺと共に、フレーム内で最初に検出された正の傾きを持つ零交差時刻の時間差としているが、この決定方法には限定せず、フレーム内の低域零交差情報ＬＺから求めた零交差時刻に最も近い原零交差情報ＳＺから求めた零交差時刻との時間差を遅延時間としても良い。但し、遅延時間は、原零交差情報ＳＺの零交差時刻を基準時刻とすることが必要である。この第１の実施形態では、許容する遅延時間を−３ｍｓから３ｍｓまでとし、この範囲を超える遅延時間が発生する場合には、遅延時間を０ｍｓとすることとしている。なお、この規則は、設計者が要求する性能に応じて任意に設定することが可能である。遅延時間が０ｍｓとは、遅延がないとして扱うことである。

調整器３４は、遅延検出器３３から低域遅延情報ＬＤを受取り、当該低域遅延情報から遅延時間を抽出し、遅延時間分の遅延を合成低域信号ＬＳに付与し、双方の零交差時刻が同一時刻になるように調整した信号を調整信号ＬＡとして加算回路３５に出力する。

この際、遅延時間付与により生じたフレーム内の信号の過不足は、例えば、次のように調整する。

遅延時間の付与により合成低域信号ＬＳに対し調整信号ＬＡが進む場合について、図５を用いて説明する。図５は、１フレーム内における遅延付与前の合成低域信号ＬＳ、当該信号に遅延量Ｄだけ遅延付与させた遅延付与信号ＬＳ１、後述する信号の不足を補う補間信号ＬＳ２、調整後の低域調整信号ＬＡを示している。

ここでは、遅延量Ｄが負の遅延を付与させていることに等しい。この場合、遅延時間付与により音声フレーム内の最新側の信号が不足する。この場合、まず当該遅延付与信号ＬＳ１の最新端での信号波形の周期ＬＴを計算する。周期ＬＴの計算は、例えば、公知の自己相関関数を用いても良く、周期計算方法は限定しない。この周期ＬＴを基に、遅延付与信号ＬＳ１の最新端から最古側へ１周期分に相当する信号波形を１周期ＬＴだけ最新側の位置に補間信号ＬＳ２として複製し、補間信号ＬＳ２のうち信号波形の不足分に対応する部分ＥＳを遅延付与信号ＬＳ１と結合し、低域調整信号ＬＡを生成する。

第１の実施形態では、この周期ＬＴを３ｍｓから６ｍｓとしている。遅延量は最大でも３ｍｓであるため、最古１周期分を確保すれば、不足分を補うことが可能である。ここで、遅延量が周期ＬＴよりも大きくなる場合であれば、不足分を補うために確保する信号の長さを２周期分確保するなども可能であり、当該補間信号ＬＳ２の決定方法は、限定せず設計者が適宜決定して良い。

また、補間信号ＬＳ２を確保する際に１周期ＬＴを超える期間（例えば、最新４ｍｓ期間）の信号を用い、１周期区間を超える部分と遅延付与信号ＬＳ１とをそれぞれ重み付けし重ね合わせた結果を低域調整信号ＬＡとしても良い。この重ね合わせの際の重みの割合は、合計で１００％となり、遅延付与信号ＬＳ１が時刻経過とともに単調に補間信号ＬＳ２へと移行するような重みとすると良い。

さらに、周期ＬＴを計算する際に必要な信号は図示した信号以上確保しても良い。また、フレームの最古側部分に関しても、同様に直前フレームと信号を重ね合わせ重み付けするようにしても良い。

遅延時間の付与により、調整信号ＬＡが合成低域信号ＬＳよりも遅れる場合（正の遅延を付与させる場合）、すなわちフレーム内の最古側の信号が不足する場合も、調整信号ＬＡが合成低域信号ＬＳよりも進む場合と同様に調整することができるが、過去の信号を特定時間（第１の実施形態では３ｍｓ以上）保持しておき、不足部分に、保持しておいた直前の過去の信号を補い、重ね合わせ重み付けすることも可能である。

加算回路３５では、周波数変換原信号Ｓと低域調整信号ＬＡを加算し、低域拡張信号ＬＶを生成する。この際、周波数変換原信号Ｓと低域調整信号ＬＡに重み付けをして加算を行うが、その重みについては、第１の実施形態の帯域拡張手法が示す成分ごとの加算割合を適用するようにしても良い。

高域調整加算器２２及び無声部調整加算器２３も、入出力信号は異なるが、低域調整加算器２１と同様に動作する。

上述した第１の実施形態によれば、零交差点位置を合わせることにより、各成分拡張信号の位相を原信号に合わせることが可能となり、成分拡張信号の位相のずれなどによる信号加算時の異音を抑制することが可能となる。その結果、出力音声信号（帯域拡張信号）の音質を向上させることができる。

(Ｂ)第２の実施形態
次に、本発明による音声帯域拡張装置の第２の実施形態を、図面を参照しながら詳述する。

第２の実施形態の音声帯域拡張装置も、第１の実施形態と同様に、標本化周波数変換器１１、低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４及び調整加算器２０を有し（図１参照）、調整加算器２０が、低域調整加算器２１、高域調整加算器２２及び無声部調整加算器２３を有する（図３参照）。

第２の実施形態の場合、低域調整加算器２１、高域調整加算器２２及び無声部調整加算器２３の詳細構成が第１の実施形態と異なっている。

図６は、第２の実施形態の低域調整加算器２１の詳細構成を示すブロック図であり、第１の実施形態に係る図４との同一、対応部分には同一、対応符号を付して示している。

第２の実施形態の場合、第１の零交差検出器３１からの零交差情報ＳＺと、第２の零交差検出器３２からの低域零交差情報ＬＺとが与えられる遅延検出器１３３は、第１の実施形態の遅延検出器３３とは異なり、低域遅延情報ＬＤと共に原遅延情報ＳＤを出力する。

第２の実施形態における調整器１３４も、第１の実施形態と同様に、合成低域信号ＬＳと低域遅延情報ＬＤを入力し、低域遅延情報ＬＤに含まれる遅延を付与した後、調整低域信号ＬＡを出力するものである。但し、この第２の実施形態の場合、調整器１３４は、正方向の遅延のみに対応するものである点が、第１の実施形態の調整器３４と異なっている。

第２の実施形態で新たに設けられた調整器１３５は、調整器１３４とほぼ同様な構成であり、周波数変換原信号Ｓと原遅延情報ＳＤを入力し、周波数変換原信号Ｓに対して、原遅延情報ＳＤが規定する遅延を付与した原調整信号ＳＡを出力するものである。

第２の実施形態の場合も、高域調整加算器２２及び無声部調整加算器２３の詳細構成は、低域調整加算器２１の詳細構成と同様である。

以下、第２の実施形態の特徴をなす遅延検出器１３３、調整器１３４、調整器１３５の動作を説明する。

遅延検出器１３３は、第１の実施形態の遅延検出器３３と同様に、入力された原零交差情報ＳＺと低域零交差情報ＬＺを用いて、原零交差情報ＳＺを基準とした遅延時間を計算する。但し、遅延検出器１３３が、第１の実施形態の遅延検出器３３と異なるのは、計算された遅延時間が正の遅延時間ならば、低域遅延情報ＬＤに当該遅延時間を挿入すると共に原遅延情報ＳＤに０の遅延時間を挿入させ、一方、計算された遅延時間が負の遅延時間ならば、低域遅延情報ＬＤに０の遅延時間を挿入させ、原遅延情報ＳＤに当該遅延時間のの符号反転させた時間を挿入させる。

調整器１３４は、第１の実施形態の調整器３４と同様に、入力された低域遅延情報ＬＤに挿入されている遅延時間分だけ合成低域信号ＬＳに遅延を付与させる。ここで、信号を調整する処理では、正の遅延のみを反映させている点が、第１の実施形態の調整器３４と異なっている。因みに、第１の実施形態では、低域遅延情報に挿入されている遅延時間は正負双方の値をとっていたため、信号の調整も正負双方向に調整できるようにしなければならなかったが、第２の実施形態では正方向の遅延のみを考慮すれば良く、負方向の遅延を対応させない分だけ処理の複雑さが低減される。

調整器１３５に関しても、合成低域信号ＬＳの代わりに周波数変換原信号Ｓ、低域遅延信号ＬＤの代わりに原遅延情報ＳＤを用いるが、調整器１３４と同様に動作し、この際、正の遅延のみを扱う。また、ここでは、正の遅延のみを扱っているが、負の遅延のみを扱うようにしても良い。

第２の実施形態によれば、第１の実施形態と同様な効果を奏すると共に、さらに、以下の効果を奏することができる。

調整器を２つ導入することで、遅延量の符号による判定を減らし、また、調整処理機能を絞ることで、処理の複雑さを解消し、処理量を削減することで、装置規模を小さくすることが可能である。

（Ｃ）第３の実施形態
次に、本発明による音声帯域拡張装置の第３の実施形態を、図面を参照しながら詳述する。

第３の実施形態の音声帯域拡張装置も、第１の実施形態と同様に、標本化周波数変換器１１、低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４及び調整加算器２０を有し（図１参照）、調整加算器２０が、低域調整加算器２１、高域調整加算器２２及び無声部調整加算器２３を有する（図３参照）。

第３の実施形態の場合、低域調整加算器２１、高域調整加算器２２及び無声部調整加算器２３の詳細構成が第１の実施形態と異なっている。

図７は、第３の実施形態の低域調整加算器２１の詳細構成を示すブロック図であり、第１の実施形態に係る図４との同一、対応部分には同一、対応符号を付して示している。

第３の実施形態の場合、低域調整加算器２１は、相関計算器４１、調整器４２及び加算回路３５を有する。なお、高域調整加算器２２及び無声部調整加算器２３も、低域調整加算器２１と同様に、図７に示すような構成を有している。

相関計算器４１は、第１の実施形態の零交差検出器３１、３２、遅延検出器３３に代えて設けられたものであり、周波数変換原信号Ｓと低域信号生成器１３によって生成された合成低域信号ＬＳとの相関情報（低域相関情報）ＬＣを得て調整器４２へ出力するものである。

この第３の実施形態の調整器４２は、低域相関情報ＬＣと合成低域信号ＬＳに基づいて、タイミング調整が施された低域調整信号ＬＡを加算回路３５に出力するものである。

以下では、より具体的に、相関計算器４１及び調整器４２の機能、動作を説明する。

相関計算器４１は、フレーム毎に周波数変換原信号Ｓと合成低域信号ＬＳとの相互相関関数を計算し、最も相互相関の値が大きくなる遅れ量を計算する。すなわち、合成低域信号ＬＳを遅延させたときに最も相関性が高くなる遅延時間を求める。この遅延時間を低域相関情報ＬＣとして調整器４２へ出力する。

また、必要であれば、相互相関関数を計算するための過去の変換原信号Ｓと過去の合成低域信号ＬＳとを一定時間分（例えば、過去１０ｍｓ分）確保するようにしても良い。

上述した相互相関の演算の場合では、正の遅延のみを付加させることになるが、前記相関計算器４１において周波数変換原信号Ｓに対する遅延させた合成低域信号ＬＳの相互相関値の極大となる遅れ量を求めると共に、当該相互相関における極大値と、合成低域信号ＬＳに対する周波数変換原信号Ｓの相互相関値の極大値、及び当該極大値をとる遅れ量を求め、当該２つの極大値を比較することにより正の遅延か負の遅延を求めるようにしても良い。すなわち、前者の周波数変換原信号Ｓを基準とした相互相関値の極大値が後者の合成低域信号ＬＳを基準とした相互相関値の極大値よりも大きい場合は正の遅延とし、合成低域信号ＬＳを基準とした相互相関値の極大値が変換原信号Ｓを基準とした相互相関値の極大値よりも大きい場合は負の遅延であるとみなす。

また、第３の実施形態（図７）では、第１の実施形態のように、１つの調整器で信号の調整をする例で説明しているが、第２の実施形態のように調整器を２つ配して信号を調整させるようにしても良い。

調整器４２では、合成低域信号ＬＳと低域相関情報ＬＣを受取り、低域相関情報ＬＣを基に合成低域信号ＬＳを遅延させ、低域調整信号ＬＡを出力する。合成低域信号ＬＳへの遅延付与の方法に関しては、第１の実施形態の調整器２４の手法と同様である。

第３の実施形態によっても、タイミング調整による効果は、第１の実施形態と同様であり、第３の実施形態によれば、さらに、以下の効果を奏することができる。

相関計算器を導入することで、遅延量を正確な一意の値に決定することが可能であり、遅延量を求める精度も向上するため、出力される音声品質のさらなる向上が期待できる。また、第１、第２の実施形態に比較して、２つの零交差検出器、及び１つの遅延検出器を廃することができ、装置構成規模を縮小することが可能である。

（Ｄ）第４の実施形態
次に、本発明による音声帯域拡張装置の第４の実施形態を、図面を参照しながら詳述する。

第４の実施形態の音声帯域拡張装置は、第３の実施形態に比較すると、低域調整加算器２１、高域調整加算器２２及び無声部調整加算器２３の内部構成が多少異なっている。

図８は、第４の実施形態の低域調整加算器２１の詳細構成を示すブロック図であり、第３の実施形態に係る図７との同一、対応部分には同一、対応符号を付して示している。なお、高域調整加算器２２及び無声部調整加算器２３も、低域調整加算器２１と同様に、図８に示すような構成を有している。

第４の実施形態の低域調整加算器２１は、相関計算器４１、調整器４２及び加算回路３５に加え、周期検出器４３を有する。また、周期検出器４３を設けたことにより、相関計算器４１の機能も多少第３の実施形態のから異なっている。

周期検出器４３は、周波数変換原信号Ｓを受取り、当該信号の波形周期を計算し、これを周期情報Ｔとして相関計算器４１へ出力する。当該波形周期の計算は、自己相関関数が最大となる遅れ量をその信号の波形周期として検出する。この自己相関関数の計算のために必要なデータ量を確保するために周期検出器４３内部に過去の変換原信号Ｓを保持する機能を有している。この自己相関関数の計算時期は、直前の自己相関関数の計算時に求められた波形周期分の時間が経過した時刻で実施することが望ましい。

相関計算器４１は、第３の実施形態と同様に変換原信号Ｓと合成低域信号ＬＳとの相互相関関数を計算するが、その時期は前述の周期検出器４２から周期情報Ｔを受取った時刻で実施する。第３の実施形態では、フレームごとに１回の相互相関の計算を実施していたが、例えば音声信号などでは、フレーム内に複数個の周期が存在すること、また、波形周期が複数フレームに渡ることもあり得る。信号の調整はこうした波形周期と同期して実施することがより効果的であると言える。

第４の実施形態では、第３の実施形態に対し、周期検出器４３を適用する例を示したが、第１、第２の実施形態の各零交差検出器に対しも、周期情報を提供することにより、第１の実施形態においても周期検出器を適用することが可能である。

第４の実施形態によれば、第３の実施形態と同様な効果に加え、周波数変換原信号Ｓの周期を基に信号の調整を実施することで、より自然な形での位相調整が可能であるという効果をも奏する。

（Ｅ）第５の実施形態
次に、本発明による音声帯域拡張装置の第５の実施形態を、図面を参照しながら詳述する。

第５の実施形態の音声帯域拡張装置も、上述した各実施形態と同様に、標本化周波数変換器１１、低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４及び調整加算器２０を有する（図１参照）。

しかし、第５の実施形態の場合、調整加算器２０の内部構成が上述した実施形態のものと異なっている。

第５の実施形態の場合、調整加算器２０は、図９に示すように、低域調整器５１、高域調整器５２、無声部調整器５３及び合成加算器５４を有する。

低域調整器５１は、低域信号生成器１２から出力された合成低域信号ＬＳのタイミングを周波数変換原信号Ｓに合わせるものであり、高域調整器５２は、高域信号生成器１３から出力された合成高域信号ＨＳのタイミングを周波数変換原信号Ｓに合わせるものであり、無声部調整器５３は、無声部信号生成器１４から出力された合成無声部信号ＵＳのタイミングを周波数変換原信号Ｓに合わせるものであり、合成加算器５４は、低域調整器５１、高域調整器５２、無声部調整器５３からの出力信号ＬＡ、ＨＡ、ＵＡと、周波数変換原信号Ｓとを重み付け合成するものである。

低域調整器５１、高域調整器５２及び無声部調整器５３は同様な詳細構成を有し、代表して、低域調整器５１の詳細構成を図１０に示している。ここで、図１０において、第１の実施形態の低域調整加算器２１の詳細構成を示している図３との同一、対応部分には同一符号を付して示している。

第５の実施形態の低域調整器５１は、第１の実施形態の低域調整加算器２１に比較すると、加算回路３５が省略された構成を有している。すなわち、タイミング調整がなされた調整器３４からの低域調整信号ＬＡを、合成加算器５４に直ちに出力する構成となっており、零交差検出器３１、３２、遅延検出器３３及び調整器３４は、第１の実施形態のものと同様に機能するものである。なお、低域調整器５１、高域調整器５２及び無声部調整器５３における零交差検出器３１を共用するようにしても良い。また、ここでは零交差検出器を用いてタイミング調整を実施したが、零交差検出器の代わりに相関計算器や、周期計算器を用いて相互相関を計算することによりタイミング調整を実施しても良い。

第５の実施形態によっても、第１の実施形態と同様な効果を奏することができる。また、第５の実施形態の構成は、低域調整器５１、高域調整器５２及び無声部調整器５３が並列な接続であるため、タイミング調整に供する成分をユーザが選定し得るようにした場合に、実現し易いものとなっている。

（Ｆ）他の実施形態
上記各実施形態においては、拡張成分信号が、低域成分、高域成分、無声部成分の３種類の信号のものを示したが、拡張成分信号の種類数は３種類に限定されず、これよりも多くても少なくても良い。例えば、帯域が異なる高域成分を複数種類生成するようにしても良い。

また、上記各実施形態においては、拡張成分信号の全てに対して、原信号とのタイミング調整を行うものを示したが、拡張成分信号の一部について原信号とのタイミング調整を行うようにしても良い。さらに、タイミング調整を行う拡張成分信号を、ユーザが選択できるようにしても良く、合成比率も選択できるようにしても良い。

上記第１、第２、第５の実施形態においては、信号のタイミングを規定するものとして零交差を用いるものを示したが、これに代え、１フレーム内のピークの最大値又は最小値を、信号のタイミングを規定するものとして処理するようにしても良い。

上記各実施形態の説明では、ハードウェア的に実現されているイメージで説明したが、ソフトウェア的に音声帯域拡張装置を実現しても良い。また、一部の処理をアナログ信号の段階で行うようにしても良い。

第１の実施形態の音声帯域拡張装置の構成を示すブロック図である。 従来の帯域拡張器の構成を示すブロック図である。 第１の実施形態の調整加算器の詳細構成を示すブロック図である。 第１の実施形態の低域調整加算器の詳細構成を示すブロック図である。 第１の実施形態の低域調整加算器内の調整器の処理の説明図である。 第２の実施形態の低域調整加算器の詳細構成を示すブロック図である。 第３の実施形態の低域調整加算器の詳細構成を示すブロック図である。 第４の実施形態の低域調整加算器の詳細構成を示すブロック図である。 第５の実施形態の調整加算器の詳細構成を示すブロック図である。 第５の実施形態の低域調整器の詳細構成を示すブロック図である。

符号の説明

１１…標本化周波数変換器、１２…低域信号生成器、１３…高域信号生成器、１４…無声部信号生成器、２０…調整加算器、２１…低域調整加算器、２２…高域調整加算器、２３…無声部調整加算器、３１、３２…零交差検出器、３３、１３３…遅延検出器、３４、４２、１３４、１３５…調整器、３５…加算回路、４１…相関計算器、４３…周期検出器、５１…低域調整器、５２…高域調整器、５３…無声部調整器、５４…合成加算器、１００…音声帯域拡張装置。

Claims (6)

1. 原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置において、
   上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、
   検出されたタイミングずれに応じ、上記原音声信号及び又は上記拡張音声信号のタイミングを調整する調整手段と、
   タイミング調整後の上記原音声信号及び上記拡張音声信号を合成する合成手段とを有し、
   上記タイミングずれ検出手段、上記調整手段、及び上記合成手段は、上記原音信号及び上記拡張音声信号について、固定長又は可変長の時間分をひとまとまりにした音声フレーム単位に処理し、
   上記調整手段は、
   上記タイミングずれ検出手段により検出されたタイミングずれに応じた遅延時間を、上記原音信号又は上記拡張音声信号の音声フレームに付与することによりタイミングずれを調整した調整後音声フレームを生成する調整部と、
   上記調整後音声フレームの最新端での信号波形周期を計算し、上記調整後音声フレームの最新端から計算した信号波形周期分の音声信号を抽出し、抽出した音声信号を利用して、上記調整後音声フレーム内で上記調整部の遅延付与により不足が生じた分の音声信号を生成して補完する補完部と、
   上記補完部により補完処理が行われた上記調整後音声フレームについては、元となる上記原音信号又は上記拡張音声信号の音声フレームのタイミング調整後の音声フレームとして上記合成手段に与え、上記調整部の処理対象とならなかった上記原音信号又は上記拡張音声信号の音声フレームについては、そのままタイミング調整後の音声フレームとして上記合成手段に与える出力部とを有する
   ことを特徴とする音声帯域拡張装置。
2. 上記タイミングずれ検出手段は、
   上記原音声信号の零交差情報を得る第１の零交差検出器と、
   上記拡張音声信号の零交差情報を得る第２の零交差検出器と、
   上記原音声信号の零交差情報と上記拡張音声信号の零交差情報とから、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出器と
   を有することを特徴とする請求項１に記載の音声帯域拡張装置。
3. 上記タイミングずれ検出手段は、上記原音声信号及び上記拡張音声信号間の相互相関に基づいて、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出する相関計算器を有することを特徴とする請求項１に記載の音声帯域拡張装置。
4. 上記原音声信号の周期性情報を得る周期検出器を有し、上記タイミングずれ検出手段は、上記原音声信号の周期に基づき、上記拡張音声信号での対応タイミングの範囲を制限することを特徴とする請求項１〜３のいずれかに記載の音声帯域拡張装置。
5. 上記拡張音声信号として第１〜第Ｎの拡張音声信号がある場合において、
   第１〜第Ｎの拡張音声信号毎に、上記タイミングずれ検出手段と、上記調整手段と、上記合成手段とを有すると共に、
   上記第ｎ＋１（ｎは１〜Ｎ−１）の拡張音声信号用の上記タイミングずれ検出手段、上記調整手段及び上記合成手段は、上記原音声信号に代えて、上記第ｎの拡張音声信号用の上記合成手段からの出力信号を処理する
   ことを特徴とする請求項１〜４のいずれかに記載の音声帯域拡張装置。
6. 上記拡張音声信号として第１〜第Ｎの拡張音声信号がある場合において、
   上記タイミングずれ検出手段と上記調整手段とを、第１〜第Ｎの拡張音声信号のそれぞれに設けると共に、上記合成手段を共用させた
   ことを特徴とする請求項１〜４のいずれかに記載の音声帯域拡張装置。

Images