WO2004025625A1

WO2004025625A1 - 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: WO2004025625A1
Application number: PCT/JP2003/010824
Authority: WO
Inventors: Tetsujiro Kondo; Masaaki Hattori; Tsutomu Watanabe; Hiroto Kimura; Sakon Yamamoto; Akihiko Arimitsu
Original assignee: Sony Corporation
Priority date: 2002-09-12
Filing date: 2003-08-27
Publication date: 2004-03-25
Also published as: KR101001475B1; JP2004102095A; EP1538602A4; US20050073986A1; EP1538602A1; CN1602516A; KR20050037431A; EP1538602B1; DE60325741D1; US7668319B2; CN1302457C; JP3879922B2; US20100020827A1; US7986797B2

Abstract

本発明は、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元できるようにする信号処理システム、信号処理装置および方法、記録媒体、並びにプログラムに関する。低域周波数成分をもつ狭帯域な音声信号が、フレーム切り出し部１１でフレーム化され、DCT変換部１２で周波数軸上の信号にスペクトル変換される。学習済テーブル１４は、クラス分類部１３から供給されるクラスコードに対応するアドレスから高域周波数成分のスペクトルデータを抽出する。抽出された高域周波数成分のスペクトルデータは、DCT変換部１２から出力された低域周波数成分のスペクトルデータとスペクトル結合部１６で結合される。そして、高域周波数成分と低域周波数成分が結合された広帯域な音声信号として出力される。本発明は、携帯電話機に適用できる。

Description

明細書

信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム技術分野

本発明は、信号処理システム、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元するようにした信号処理システム、信号処理装置おょぴ方法、記録媒体、並びにプログラムに関する。背景技術

周波数の帯域が狭い音声信号を広帯域に拡張する技術について、これまでもさまざまな提案がなされている。

例えば、特開平 7— 3 6 4 9 0号公報（以下、文献 1と称する）には、入力された音声信号スぺクトルに基づいて、失われた倍音成分を演算により生成して付加する方法が開示されている。

また、埼玉大学による日本音響学会での論文（以下、文献 2と称する）により、入力された音声信号の自己相関演算により、有声音源波形を生成し、これを高域成分として利用する方法が発表されている。

さらに、特開平 1 1— 1 2 6 0 9 7号公報、特開平 1 1一 6 8 5 1 5号公報 (以下、文献 3と称する）には、入力信号より高い標本化周波数で D/A変換を行う際のサンプル値補間方法が開示されている。

また、特開平 6— 1 1 8 9 9 5号公報（以下、文献 4と称する）には、広帯域音声信号のベタトル量子化コードプックと、狭帯域音声信号のベタトル量子化コ一ドプックを対応付けることにより、広帯域音声信号を復元する方法が開示されている。 '

文献 1の技術は、 MP 3 (Moving Picture Experts Group- 1 Audio Layer - 3 ) 等の比較的広帯域な音声信号において、その圧縮過程で失われた高域信号を予測して付加するものであり、電話音声帯域のような極端に狭帯域化された信号の帯域を、例えば、 2倍に拡張する場合には、適用することが困難である。

また、文献 2の技術は、有声音のみに対する処理であり、無声音（子音部）の復元ができないという課題がある。

さらに、文献 3の技術は、標本化周波数を上げるサンプル値補間処理の際に、補間サンプル値のレベルを前後数サンプルの変化状況を眺めて適切と思われる値に設定する、という補間フィルタの延長線上の技術であり、失われた周波数成分を復元するものではない。

最後の文献 4の技術は、処理の中核に LPC (Liner Predi ction Coeffi ci ent) 分析および合成処理を使っていることから、入力信号に声道モデルを想定しているものと考えられる。そのため、楽音への適用が困難である。発明の開示

本発明は、このような状況に鑑みてなされたものであり、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元することができるようにするものである。

本発明の信号処理システムは、第 1の信号処理装置は、周波数成分が広帯域な第 1の信号を入力する第 1の信号入力手段と、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号を入力する第 2の信号入力手段と、第 1の信号入力手段により入力された第 1の信号から高域周波数成分を抽出する抽出手段と、第 2の信号入力手段により入力された第 2の信号に基づいて、第 1のクラスコードを決定する第 1の決定手段と、第 1の決定手段により決定された第 1のクスコードごとに、抽出手段により抽出された高域周波数成分を蓄積する蓄積手段とを備え、第 2の信号処理装置は、高域周波数成分が抑圧された狭帯域な第 3の信号を入力する第 3の信号入力手段と、第 3の信号入力手段により入力された第 3の信号に基づいて、第 2のクラスコードを決定する第 2の決定手段と、第 2の決定手段により決定された第 2のクラスコードに対応する、蓄積手段により蓄積された高域周波数成分と、第 3の信号入力手段により入力された第 3の信号を合成する合成手段と、合成手段により生成された合成信号を出力する出力手段とを備えることを特徴とする。

本発明の信号処理システムの信号処理方法は、第 1の信号処理装置は、周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステップと、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号の入力を制御する第 2の信号入力制御ステツプと、第 1の信号入力制御ステップの処理により入力が制御された第 1の信号から高域周波数成分を抽出する抽出ステップと、第 2の信号入力制御ステツプの処理により入力が制御された第 2の信号に基づいて、第 1のクラスコードを決定する第 1の決定ステップと、第 1の決定ステップの処理により決定された第 1のクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含み、第 2の信号処理装置は、高域周波数成分が抑圧された狭帯域な第 3の信号の入力を制御する第 3の信号入力制御ステップと、第 2の信号入力制御ステップの処理により入力が制御された第 3の信号に基づいて、第 2のクラスコードを決定する第 2の決定ステツプと、第 2の決定ステップの処理により決定された第 2のクラスコードに対応する、蓄積ステップの処理により蓄積された高域周波数成分と、第 3の信号入力制御ステップの処理により入力が制御された第 3の信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステツプとを含むことを特徴とする。

本発明の第 1の信号処理装置は、周波数成分が広帯域な第 1の信号を入力する第 1の信号入力手段と、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号を入力する第 2の信号入力手段と、第 1の信号入力手段により入力された第 1の信号から高域周波数成分を抽出する抽出手段と、第 2の信号入力手段により入力された第 2の信号に基づいて、クラスコードを決定する決定手段と、決定手段により決定されたクラスコードごとに、抽出手段により抽出された高域周波数成分を蓄積する蓄積手段とを備えることを特徴とする。本発明の第 1の信号処理方法は、周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステップと、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号の入力を制御する第 2の信号入力制御ステップと、第 1の信号入力制御ステップの処理により入力が制御された第 1の信号から高域周波数成分を抽出する抽出ステップと、第 2の信号入力制御ステップの処理により入力が制御された第 2の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とする。

本発明の第 1の記録媒体のプログラムは、周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステップと、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号の入力を制御する第 2の信号入力制御ステツプと、第 1の信号入力制御ステップの処理により入力が制御された第 1の信号から高域周波数成分を抽出する抽出ステップと、第 2の信号入力制御ステップの処理により入力が制御された第 2の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とする。

本発明の第 1のプログラムは、周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステップと、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号の入力を制御する第 2の信号入力制御ステップと、第 1の信号入力制御ステップの処理により入力が制御された第 1の信号から高域周波数成分を抽出する抽出ステップと、第 2の信号入力制御ステップの処理により入力が制御された第 2の信号に基づいて、クラスコードを決定する決定ステツプと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとをコンビユータに実行させることを特徴とする。本発明の第 1の信号処理装置の入力手段には、音声信号を入力させるようにすることができる。

本発明の第 1の信号処理装置に入力された信号が、音声信号である場合、決定手段には、等ラウドネス特性に基づく重み付け処理を行った信号に基づいて、クラスコードを決定させることができる。

本発明の第 1の信号処理装置に入力された信号が、音声信号である場合、決定手段には、音声信号スぺクトルの平均パワー値と最大パワー値の位置に基づいて、クラスコードを決定させるようにすることができる。

本発明の第 1の信号処理装置に入力された信号が、音声信号である場合、決定手段には、記憶手段に記憶されている高域周波数成分の最低の周波数の 1 / 2倍、または 1 Z 3倍の周波数以上のスぺクトル成分のクラスコードを決定させるようにすることができる。

本発明の第' 1の信号処理装置の入力手段には、画像信号を入力させるようにすることができる。

本発明の第 1の信号処理装置に入力された信号が、画像信号である場合、決定手段には、画像信号のスぺクトルの交流平均パワー値、直流パワー値、およぴ交流成分ピークパヮ一値に基づいて、クラスコードを決定させるようにすることができる。

本発明の第 1の信号処理装置の蓄積手段には、抽出手段により抽出された高域周波数成分を、特定情報に対応付けて蓄積させるようにすることができる。

本発明の第 1の信号処理装置の特定情報は、電話機の電話番号であるようにすることができる。

本発明の第 1の信号処理装置の第 1の信号を所定の時間間隔で間引いて第 2の信号を生成する生成手段をさらに設けることができる。

本発明の第 2の信号処理装置は、高域周波数成分が抑圧された狭帯域な信号を入力する信号入力手段と、信号入力手段により入力された信号に基づいて、クラスコードを決定する決定手段と、高域周波数成分を記憶する記憶手段と、決定手段により決定されたクラスコードに対応する、記憶手段に記憶された高域周波数成分と、信号入力手段により入力された信号を合成する合成手段と、合成手段により生成された合成信号を出力する出力手段とを備えることを特徴とする。本発明の第 2の信号処理方法は、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。

本発明の第 2の記録媒体のプログラムは、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。

本発明の第 2のプログラムは、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステツプと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。本発明の第 2の信号処理装置の入力手段には、音声信号を入力させるようにすることができる。

本発明の第 2の信号処理装置に入力された信号が、音声信号である場合、決定手段には、等ラウドネス特性に基づく重み付け処理を行った信号に基づいて、クラスコードを決定させるようにすることができる。

本発明の第 2の信号処理装置に入力された信号が、音声信号である場合、決定手段には、音声信号スぺクトルの平均パワー値と最大パワー値の位置に基づいて、クラスコードを決定させるようにすることができる。

本発明の第 2の信号処理装置に入力された信号が、音声信号である場合、決定手段には、記憶手段に記憶されている高域周波数成分の最低の周波数の 1 / 2倍、または 1 / 3倍の周波数以上のスぺクトル成分のクラスコードを決定させるようにすることができる。

本発明の第 2の信号処理装置の入力手段には、画像信号を入力させるようにすることができる。

本発明の第 2の信号処理装置に入力された信号が、画像信号である場合、決定手段には、画像信号のスぺクトルの交流平均パワー値、直流パワー値、および交流成分ピークパワー値に基づいて、クラスコードを決定させるようにすることができる。

本発明の第 2の信号処理装置の記憶手段により記憶された高域周波数成分は、所定のタイミングで更新させるようにすることができる。

本発明の第 2の信号処理装置の記憶手段には、特定情報に対応付けて高域周波数成分を記憶させるようにすることができる。

本発明の第 2の信号処理装置の特定情報は、電話機の電話番号であるようにすることができる。

本発明の信号処理システムおよび信号処理方法においては、第 1の信号処理装置で、周波数成分が広帯域な第 1の信号から高域周波数成分が抽出され、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号に基づいて、第 4

8

1のクラスコードが決定され、クラスコードごとに高域周波数成分が蓄積される。第 2の信号処理装置で、高域周波数成分が抑圧された狭帯域な第 3の信号に基づいて、第 2のクラスコードが決定され、第 2のクラスコードに対応する蓄積された高域周波数成分と、第 3の信号が合成される。

第 1の信号処理装置、および方法、記録媒体、並びにプログラムにおいては、周波数成分が広帯域な第 1の信号から高域周波数成分が抽出され、第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号に基づいて、クラスコードが決定され、クラスコードごとに高域周波数成分が蓄積される。

第 2の信号処理装置、および方法、記録媒体、並びにプログラムにおいては、高域周波数成分が抑圧された狭帯域な信号に基づいて、クラスコードが決定され、クラスコードに対応する高域周波数成分と、狭帯域な信号が合成され、合成信号が出力される。

信号処理装置は、独立した装置であっても良いし、 1つの装置の信号処理を行ぅブロックであっても良い。図面の簡単な説明

図 1は、本発明の第 1実施の形態である音声広帯域化装置の構成例を示すプロック図である。

図 2は、図 1のクラス分類部の構成例を示すブロック図である。

図 3は、図 1の音声広帯域化装置の音声広帯域化処理を説明するフローチヤ一トである。

図 4 Aは、音声広帯域化処理のデータ例を示す図である。

図 4 Bは、音声広帯域化処理のデータ例を示す図である。

図 4 Cは、音声広帯域化処理のデータ例を示す図である。

図 5 Aは、クラス分類処理の基本原理を説明する図である。

図 5 Bは、クラス分類処理の基本原理を説明する図である。 2003/010824

9 図 6は、図 3のステップ S 3のクラス分類処理を説明するフローチャートである。

図 7は、音の等ラウドネス曲線を説明する図である。

図 8は、音を周波数補正する A特性カーブを示す図である。

図 9は、図 6のステップ S 2 5の処理を説明する図である。

図 1 0は、音声信号の学習装置の構成例を示すブロック図である。

図 1 1は、図 1 0の学習装置の学習処理を説明するフローチャートである。図 1 2 Aは、学習処理の音声信号のデータ例を示す図である。

図 1 2 Bは、学習処理の音声信号のデータ例を示す図である。

図 1 2 Cは、学習処理の音声信号のデータ例を示す図である。

図 1 2 Dは、学習処理の音声信号のデータ例を示す図である。

図 1 2 Eは、学習処理の音声信号のデータ例を示す図である。

図 1 2 Fは、学習処理の音声信号のデータ例を示す図である。

図 1 3は、図 1 1のステップ S 5 3のクラス分類処理を説明するフローチヤ一トである。

図 1 4は、本発明の第 2実施の形態である画像信号広帯域化装置の構成例を示すブロック図である。

図 1 5は、図 1 4のクラス分類部の構成例を示すプロック図である。

図 1 6 Aは、画像信号広帯域化処理のデータ例を示す図である。

図 1 6 Bは、画像信号広帯域化処理のデータ例を示す図である。

図 1 6 Cは、画像信号広帯域化処理のデータ例を示す図である。

図 1 7は、図 1 4の画像信号広帯域化装置のクラス分類処理を説明するフローチヤ一トである。

図 1 8は、図 1 7のステップ S 9 2の処理を説明する図である。

図 1 9は、画像信号の学習装置の構成例を示すプロック図である。

図 2 O Aは、学習処理の画像信号のデータ例を示す図である。

図 2 O Bは、学習処理の画像信号のデータ例を示す図である。図 2 O Cは、学習処理の画像信号のデータ例を示す図である。

図 2 O Dは、学習処理の画像信号のデータ例を示す図である。

図 2 0 Eは、学習処理の画像信号のデータ例を示す図である。

図 2 0 Fは、学習処理の画像信号のデータ例を示す図である。

図 2 1は、図 1 9の学習装置のクラス分類処理を説明するフローチャートである。

図 2 2は、本発明の第 3実施の形態である伝送システムの構成例を示すブロック図である。

図 2 3は、図 2 2の携帯電話機の構成例を示すプロック図である。

図 2 4は、図 2 3の送信部の構成例を示すブロック図である。

図 2 5は、図 2 3の受信部の構成例を示すブロック図である。

図 2 6は、学習済テーブルが固定の情報として与えられる場合の図 2 4の符号化部の構成例を示すブロック図である。

図 2 7は、学習済テーブルが固定の情報として与えられる場合の図 2 5の復号部の構成例を示すプロック図である。

図 2 8は、学習済テーブルが所定のタイミングで更新される場合の図 2 4の符号化部の構成例を示すプロック図である。

図 2 9は、学習済テーブルが所定のタイミングで更新される場合の図 2 5の復号部の構成例を示すプロック図である。

図 3 0は、図 2 4の送信部の送信処理を説明するフローチャートである。

図 3 1は、図 3 0のステップ S 2 0 2のメモリデータ送信処理を説明するフロ一チヤ一トである。

図 3 2は、図 3 0のステップ S 2 0 5の符号化処理を説明するフローチヤ一トである。

図 3 3は、図 2 5の受信部の受信処理を説明するフローチャートである。

図 3 4は、図 3 3のステップ S 2 5 2のメモリデータ更新処理を説明するフロ一チヤ一トである。図 3 5は、図 3 3のステップ S 2 5 4の復号処理を説明するフローチヤ一トである。

図 3 6は、本発明を適用したコンピュータの一実施の形態の構成例を示すプロック図である。発明を実施するための最良の形態

図 1は、本発明の第 1実施の形態である音声広帯域化装置の構成例を示している。

低域周波数成分をもつ（高域周波数成分を有さない）狭帯域な音声信号は、フレーム切り出し部 1 1に入力される。入力された音声信号は、所定のフレーム (単位時間）でブロック化され、 DCT (Di screte Cos ine Trans form；離散コサイン変換）変換部 1 2に出力される。

DCT変換部 1 2は、フレーム切り出し部 1 1から入力された時間軸上の音声信号を、フレーム毎に周波数軸上の信号にスペクトル変換し、クラス分類部 1 3とスペクトル結合部 1 6にそれぞれ出力する。スペクトル変換する方法として、ここでは、両隣のブロックを半分ずつオーバーラップさせる M-DCT (モデフアイド DCT) 変換が用いられる。

上述した M-DCT変換以外のスペクトル変換としては、 DFT (Discrete

Fourier T進 sform；離散フー Uェ変換）、 DCT (Di screte Cosine

Transform；離散コサイン変換）、 FFT (Fast Fourier Transform；高速フーリェ変換）、または、 LPCなどの方法があり、時間軸上の音声信号を周波数軸上の信号に変換するものであれば、何でもよい。

クラス分類部 1 3は、入力されたスペクトル信号に基づいて、クラス分類処理 (その詳細は、図 6を参照して後述する）により、クラスコードを算出し、学習済テーブル 1 4に出力する。

学習済テーブル 1 4は、クラスコードをァドレスとしたテーブルメモリであり、それぞれのクラスコードアドレスには、図 1 0で後述する学習装置によって求められた高域周波数成分の音声信号スぺクトルのベタトルデータが格納されている。学習済テーブル 1 4は、クラス分類部 1 3から入力されたクラスコードァドレスに対応する高域周波数成分の音声信号スぺクトルのベタトルデータを読み出し、ゲイン調整部 1 5に出力する。

ゲイン調整部 1 5は、学習済テーブル 1 4より入力された高域周波数成分の音声信号スぺクトルデータのゲインを、スぺクトル結合部 1 6で結合される低域周波数成分の音声信号スぺクトルデータのゲインに合うように調整する。

スぺクトル結合部 1 6は、ゲイン調整部 1 5より入力された高域周波数成分の音声信号スぺクトルのベタトルデータを、 DCT変換部 1 2より入力された低域周波数成分の音声信号スぺクトルのベタトルデータの最終列以降に結合して、逆 DCT変換部 1 7に出力する。

逆 DCT変換部 1 7は、 M-DCT変換の逆変換を行うことによって、周波数軸上のスぺクトルデータを時間軸上のスぺクトルに変換し、フレーム結合部 1 8に出力する。

フレーム結合部 1 8は、音声がフレームの境界部において不連続にならないためのフレームオーバーラップ部分の加算処理を行った後、音声信号を出力する。図 2は、図 1のクラス分類部 1 3の詳細な構成例を示している。

パワー値変換部 3 1には、 DCT変換部 1 2が出力した、 M- DCT変換された DCT スぺクトルデータが入力される。入力された DCTスペクトルデータは、パワー値に変換され、さらにパワーの d B (デシベル）値に変換されて、重み付け処理部 3 2に出力される。

重み付け処理部 3 2は、入力された DCTスぺクトルデータに、図 7を参照して後述する等ラウドネス特性を考慮した重み付け処理を施し、スぺクトル抽出部 3 3に出力する。

スぺクトル抽出部 3 3は、入力された低域周波数成分の DCTスぺクトルデータから、復元する高域周波数成分の最低の周波数の 1/2または 1/3倍の周波数以上の DCTスぺクトルデータを抽出し、サブパンド分割部 3 4に出力する。サブパンド分割部 3 4は、スぺクトル抽出部 3 3において抽出された DCTスぺクトルデータを所定の数のサブパンドに分割して量子化部 3 5に出力する。量子化部 3 5は、サブバンドに分割された DCTスぺクトルデータをサブバンド単位にまとめ、入力された（スペクトル抽出部 3 3において抽出された）部分のパワー値の平均値を求め、その平均値を量子化してクラスコードを生成するとともに、最大パワー値を取るサブバンド位置を求め、それに基づいてクラスコードを生成する。 2つのクラスコードは、クラスコード決定部 3 6に出力される。クラスコード決定部 3 6は、量子化部 3 5より入力されたパワー平均値に基づくクラスコードと、最大パワー位置に基づくクラスコードを多重化して、 1つのクラスコードを生成し、学習済テーブル 1 4 (図 1 ) に出力する。

次に、図 3のフローチャートと図 4 A乃至 IU 4 Cを参照して、音声広帯域化装置 1の音声広帯域化処理について説明する。

ステップ S 1において、フレーム切り出し部 1 1は、音声広帯域化装置 1に入力された高域周波数成分が抑圧された音声信号をフレーム化する。すなわち、音声信号は、所定のフレーム（単位時間）毎にブロック化される。

ステップ S 2において、 DCT変換部 1 2は、ステップ S 1でフレーム化された音声信号を M- DCT変換する。図 4 Aは、 1フレームの音声信号が M- DCT変換されたデータ（以下、 DCTスペクトルデータと称する）を示している。

ステップ S 3において、クラス分類部 1 3は、図 6を参照して後述するクラス分類処理を行い、クラスコードを算出する。

ステップ S 4において、学習済テーブル 1 4は、ステップ S 3でクラス分類部 1 3から出力されたクラスコードに対応するァドレスに記憶されている高域周波数成分スペクトルの DCTベクトルデータを読み出す。図 4 Bは、このようにして読み出された高域周波数成分の DCTスぺクトルデータを示している。

ステップ S 5において、スぺクトル結合部 1 6は、音声広帯域化装置 1に入力された低域周波数成分の DCTスぺクトルデータ（図 4 Aにスぺクトルとして示される部分）と、学習済テーブル 1 4から読み出された高域周波数成分の DCT スペクトルデータ（図 4 Bにスペクトル ^として示される部分）を結合する。すなわち、図 4 Cに示されるように、スペクトル A_Lの後端（周波数の高い側）にスぺクトルの先端（周波数の低い側）が接続される。 DCT変換部 1 2が出力する 1フレームのデータ数は、 N個であり、学習済テーブル 1 4より読み出されるデータも N個なので、結合されたデータの数は、 2 N個となる。

ステップ S 6において、逆 DCT変換部 1 7は、スペクトル結合された DCTスぺクトルデータを逆 M-DCT変換する。

ステップ S 7において、フレーム結合部 1 8は、フレームの境界部にオーバーラップの加算処理を施し、出力して、音声広帯域化処理を終了する。このオーバ一ラップ処理により、音声がフレームの境界部においても不連続にならなくなる。次に、図 3のステップ S 3のクラス分類処理について説明する。

初めに、図 5 Aおよび図 5 Bを参照して、クラス分類処理の基本原理について説明する。図 5 Aは、パンド幅 2 B。の低域周波数成分と高調波成分を有する教師 DCTスぺクトルであり、図 5 Bは、教師 D C Tスぺクトルから高調波成分を削除して生成した、バンド幅 B。の狭帯域な低域周波数成分だけをもつ生徒 DCTスぺクトルである。

狭帯域信号に含まれる高域周波数成分の量と、スぺクトル形状を復元すべき周波数成分は、リンク関係にあるという前提に基づいて、クラス分類処理は行われる。すなわち、音声信号が、ピッチの周波数とその高調波成分から構成される、というモデルを想定した場合、図 5 Bのパンド幅 B。の約半分の高域側の領域 P の 2倍、または、 3倍の高調波成分に相当する信号が、図 5 Aのバンド幅 2 B₀の約半分の高域側の領域 Qに含まれることが予想される。反対に、領域 Pにスぺクトルがほとんど存在しないような場合には、領域 Qにも信号が存在する可能性は低いと予想される。

次に、図 6を参照してクラス分類処理について説明する。

ステップ S 2 1において、パワー値変換部 3 1は、 D C T変換部 1 2より入力されたスペクトルデータをパワー値に変換し、さらにそのパワー値を d B (デシベル）値に変換する。すなわち、入力されたスペクトルデータ X [k] (k = 0 , 1， · ■ ■， N-1 ) は、次式

により平均パワー値 PWRに変換され、さらに、次式

PWR_dB = 1 O log₁₀ (PWR)

によりパワー値 PWRが d B (デシベル）値 PWR_iBに変換される。

ステップ S 2 2において、重み付け処理部 3 2は、ステップ S 2 3で計算されたパワーのデシベル値 PWR_dBに対し、人間の耳の特性を考慮した重み付け処理を行う。

人間が主観的に感じる音の大きさ（感覚量）と音圧レベル（物理量）の関係は、図 7に示されるような等ラウドネス曲線で表すことができる。これは、正常な聴覚をもつ人が、等しい大きさに感じる純音の音圧レベルと周波数の関係を示している。この曲線が示すように、我々人間の耳は、低い周波数や高い周波数では、感度が低くなる。

このような人間の耳の特性に基づいた周波数補正を行う処理が、ステップ S 2

2で行われる重み付け処理であり、具体的には、図 8に記号 Aで示される A特性カーブと言われる補正が入力信号に施される。

ステップ S 2 2で重み付け処理が行われた後、ステップ S 2 3において、スぺクトル抽出部 3 3は、入力された低域周波数成分のスぺクトルデータから、復元したい高域周波数成分の最低の周波数の 1/2または 1/3倍の周波数以上のスぺタトルデータを抽出し、サブバンド分割部 3 4に出力する。これは、上述したクラス分類処理の基本原理に基づいて、行われるものである。

すなわち、復元したい高域周波数成分としての図 5 Aの領域 Qの最低の周波数は f 。であり、低域周波数成分としての図 5 Bのスペクトルデータから、例えば、この周波数 f 。の 1/2の周波数 f _Q/ 2以上の領域 Pのスぺクトルが抽出される。ステップ S 2 4において、サブバンド分割部 3 4は、ステップ S 2 3で抽出されたスぺクトルデータ（図 5 Bの周波数 f _Q/ 2から周波数 f _Qまでの領域 Pのスぺクトルデータ）を、所定の数、例えば、 3 2個のサブバンドに分割し、サブバンド単位にスぺクトノレデータをまとめる。

ステップ S 2 5において、図 9で示されるように、 3 2個の全体のサブバンドの平均パワー値 P_AVと、 3 2個のサブバンドのなかで、デシベルパワー値 PWR_dB が最大であるサブパンド位置 B_nが求められる。尚、ここで、スペクトルのデシベルパワー値の範囲は、例えば、 0乃至 1 2 7 [dB]とされている。

ステップ S 2 6において、クラスコード決定部 3 6は、ステップ S 2 5で出力された平均パワー値 P_AVによるクラスコードと、最大パワー位置 B_nによりクラスコードを多重化する。図 9の例では、最大パワー位置 B_nによるクラスコードは、 0乃至 3 1の 3 2通りあり、平均パワー値 P_AVによるクラスコードは、 0乃至 1 2 7までの 1 2 8通りが考えられる。従って、合成されたクラスコードの数は、 3 2 X 1 2 8 = 4 0 9 6通りとなる。 4 0 9 6通りのいずれか 1つが、クラスコードとして出力される。

尚、スペクトル形状をモデル化する方法としては、上述した他に、複数のスぺタトルピークを検出したり、スペクトルの傾斜やパワー分布を検出したり、あるいは、サブバンド数を変えるなどの方法も考えられる。

次に、図 1の音声広帯域化装置 1の学習済テーブル 1 4に書き込まれる、クラスコード毎に記憶された高域周波数成分のベタトルデータを生成する学習装置について、図 1 0を参照して説明する。この学習装置 5 0は、例えば、音声広帯域化装置 1を製作するメーカが有している。

初めに、教師データとなる高域周波数成分を含む広帯域な音声信号と、生徒データとして、教師データの高域周波数成分が抑圧された狭帯域な音声信号が用意される。図 1 0の例では、生徒データは、間引き回路 6 5により、教師データ高域周波数成分を除去して生成した低域周波数成分を半分にサンプル間引きして生成されている。したがって、フレーム切り出し部 6 6に入力される生徒データのフレーム長を Nとすると、フレーム切り出し部 6 1に入力される教師データのフレーム長は、 2 Nとなる。また、このときの各フレームのデータは同期している。

フレーム切り出し部 6 1とフレーム切り出し部 6 6、および、 DCT変換部 6 2 と DCT変換部 6 7の機能は、図 1のフレーム切り出し部 1 1、および、 DCT変換部 1 2のそれと同様である。

高域周波数成分抽出部 6 3は、教師データのスぺクトルのうち、高周波側の半分を抽出し、加算部 6 4に出力する。

クラス分類部 6 8は、図 1のクラス分類部 1 3で上述したのと同様のクラスコードを生成するとともに、さらに、クラス出現頻度を計算し、積算テーブル 6 9 に出力する。

積算テーブル 6 9は、クラス分類部 6 8が出力したクラスコードをァドレスとして入力し、そのアドレスに格納されている DCT ベタトルデータを読み出して、加算部 6 4に出力する。加算部 6 4は、高域周波数成分抽出部 6 3から出力された N個の高域周波数成分の DCTベクトルデータと、積算テーブル 6 9から出力された N個の DCTベタトルデータをべクトル加算し、その結果を積算テーブル 6 9が出力した際と同じクラスコードァドレスの場所に出力する。 1つのクラスコードアドレスには、 N個の DCTべクトルデータが格納されるため、積算テープル 6 9は、（N Xクラス数）のデータ数をもつテーブルとなる。また、所定のタイミングにおいて、積算テーブル 6 9は、それぞれのクラスコードアドレスに格納されているべクトルデータをクラス分類部 6 8から出力されたクラス出現頻度で除算し、学習済テーブル 7 0に出力する。

学習済テーブル 7 0は、積算テーブル 6 9から出力された（N Xクラス数）個の DCTベタトルデータを記憶する。学習済テーブル 7 0のデータは、ネットヮークを介して、音声広帯域化装置 1に転送され、学習済テーブル 1 4に記憶される。あるいはまた、学習済テーブル 7 0のデータは、半導体メモリ等に書き込まれ、音声広帯域化装置 1の学習済テーブル 1 4として組み込まれる。学習装置 5 0のクラス分類部 6 8の構成は、音声広帯域化装置 1のクラス分類部 1 3のそれと同様なため、図 2のクラス分類部 1 3の構成は、必要に応じて、図 1 0のクラス分類部 6 8の構成としても適宜引用する。

次に、図 1 1のフローチャートを参照して学習装置 5 0の学習処理について説明する。

ステップ S 5 1において、教師データのスぺクトルと生徒データのスぺクトルがフレーム化される。すなわち、フレーム切り出し部 6 1は、入力された教師データを単位時間毎にフレーム化し、 1フレームについて 2 N個のサンプリングを行う。間引き回路 6 5は、教師データから低域周波数成分だけを抽出し、その低域周波数成分を 1つおきに間引くことで生徒データを生成する。フレーム切り出し部 6 6は、生徒データを単位時間毎にフレーム化し、 1フレームについて N個のサンプリングを行う。

ステップ S 5 2において、 DCT変換部 6 2と DCT変換部 6 7は、教師データと生徒データをそれぞれ M-DCT変換する。図 1 2 Aは、教師データを M-DCT変換した後の DCTスペクトルデータを示しており、図 1 2 Bは、生徒データを M - DCT 変換した後の DCTスぺクトルデータを示している。両者を比較して明らかなように、図 1 2 Bの生徒データの DCTスペクトラムは、図 1 2 Aの教師データの M - DCTスぺクトラムの低域周波数成分に対応している。

ステップ S 5 3において、クラス分類部 6 8は、生徒データのスペクトルに基づいて、図 1 3を参照して後述するクラス分類処理を行い、クラスコードとクラスの出現頻度を計算し、積算テーブル 6 9に出力する。

ステップ S 5 4において、積算テーブル 6 9は、クラス分類部 6 8が出力したクラスコードに対応するァドレスに格納されているベタトルデータを読み出す。ステップ S 5 5において、高域周波数成分抽出部 6 3は、 DCT変換部 6 2より入力された教師データの高域周波数成分を抽出する。図 1 2 Cは、抽出された高域周波数成分の DCTスペクトルを示す。これは、図 1 2 Aの教師データの DCT スぺクトルの全体のなかの、高域周波数側の部分 Rに相当する。ステップ S 5 6において、加算部 6 4は、ステップ S 5 4で積算テーブル 6 9 から読み出されたベクトルデータ（図 1 2 Dに示されるデータ）と、ステップ S 5 5で教師データから抽出された高域周波数成分のベタトルデータ（図 1 2 Cに示されるデータ）をベクトル加算する。図 1 2 Eは、ステップ S 5 6でベクトル加算された後の DCTスぺクトルデータを示している。

ステップ S 5 7において、加算部 6 4は、ステップ S 5 6で算出したベタトルデータ（図 1 2 Eに示されるデータ）を、積算テーブル 6 9の読み出した時と同じクラスコードのァドレスの場所に格納する。

ステップ S 5 8において、学習処理が終了したか否かが判定される。学習処理が終了していないと判断された場合、処理をステップ S 5 1に戻し、それ以降の処理が繰り返される。学習処理が終了したと判断された場合、処理をステップ S 5 9に進める。

ステップ S 5 8で学習処理が終了したと判断された場合、ステップ S 5 9において、積算テーブル 6 9は、それぞれのクラスコードのアドレスに有する N個のベクトルデータを、クラス分類部 6 8から出力された、対応するクラスコードのクラス出現頻度で除算して、ベクトルデータの平均値を算出し、学習済テーブル 7 0に出力し、記憶させて学習処理を終了する。図 1 2 Fは、学習済テーブル 7 0の 1つのクラスコードのァドレスに格納された N個のベタトノレデータの例を示している。

次に、図 1 3のフローチヤ一トを参照して、図 1 1のステップ S 5 3のクラス分類処理について説明する。

ステップ S 7 1乃至ステップ S 7 6の処理は、図 6の音声広帯域化装置におけるクラス分類処理のステップ S 2 1乃至ステップ S 2 6と同様であるため、説明は省略するが、これらの処理により、生徒データの平均パワー値 P _AVに基づくクラスコードと、最大パワーの一 B _nに基づくクラスコードが多重化される。

ステップ S 7 7において、クラスコード決定部 3 6 (図 2の音声広帯域化装置 1のそれと同様) は、ステップ S 7 6で決定されたクラスコードのカウントを 1 だけ増やし、どのクラスコードがどれだけ出現したかというカウント数を積算テ一ブル 6 9に出力し、クラス分類処理を終了する。

このように、音声広帯域化装置 1のクラス分類処理と、学習装置 5 0のクラス分類処理は、クラスコードを算出するまでは同様であり、その後、クラス出現頻度を計算するか否かだけが異なる。

図 1 4は、本発明の第 2実施の形態である画像信号広帯域化装置の構成例を示している。上述の音声信号広帯域化装置 1は、入力信号が 1次元の音声信号であり、フレーム単位で処理を行うのに対して、画像信号広帯域化装置 8 0は、入力信号が 2次元の画像信号であるので、ブロック（例えば、 8 X 8画素）単位で処理を行うこととなる。図 1 4のブロック切り出し部 9 1、 DCT変換部 9 2、クラス分類部 9 3、学習済テープル 9 4、結合部 9 5、および逆 DCT 変換部 9 6は、図 1のフレーム切り出し部 1 1、 DCT変換部 1 2、クラス分類部 1 3、学習済テ一ブル 1 4、スぺクトル結合部 1 6、および逆 DCT変換部 1 7と基本的に同様の機能を有するものであるため、その説明は省略する。なお、図 1で示されているゲイン調整部 1 5とフレーム結合部 1 8は、画像信号の場合、必ずしも必要でないため省略されている。

図 1 5は、図 1 4のクラス分類部 9 3の詳細な構成例を示している。

パワー値変換部 1 0 1には、 DCT変換部 9 2より M- DCT変換された DCTデータが入力される。入力された DCTデータは、上述の音声広帯域化装置 1と同様に、パワー値に変換され、さらにパワーのデシベル値に変換されて、量子化部 1 0 2に出力される。

量子化部 1 0 2は、 DCTプロック内の DCTデータについて、直流成分のパワー値と、交流成分の平均パワー値、交流成分のピーク値を取る DCTデータの位置を算出し、それらに基づくクラスコードを生成して、クラスコード決定部 1 0 3 に出力する。クラスコード決定部 1 0 3は、入力された DCTプロックの量子化データに基づくクラスコードを多重化して、 1つのクラスコードとし、学習済テーブル 9 4 (図 1 4 ) に出力し、記憶させる。

次に、画像広帯域化装置 8 0の画像広帯域化処理について説明するが、フローチャートは、図 3の音声広帯域化装置 1のそれと同様であるので、図 3のフローチャートを引用して説明する。

ステップ S 1において、ブロック切り出し部 9 1は、画像信号広帯域化装置 8 0に入力された高域周波数成分の抑圧された画像信号をプロック単位（例えば、 2 2画素）に切り出す。

ステップ S 2において、 0 ^変換部9 2は、ステップ S 1でブロック化された画像信号を M-DCT変換する。図 1 6 Aは、 1つのブロックの画像信号が M-DCT 変換されたデータ（以下、 DCTデータと称する）を示している。

ステップ S 3において、クラス分類部 9 3は、図 1 7を参照して後述するクラス分類処理を行い、クラスコードを算出する。

ステップ S 4において、学習済テーブル 9 4は、ステップ S 3でクラス分類部 9 3から出力されたクラスコードに対応するァドレスに格納されている DCT係数のベクトルデータを読み出す。図 1 6 Bは、このとき読み出された高域周波数成分の DCT係数のべクトルデータを示している。

ステップ S 5において、結合部 9 5は、画像信号広帯域化装置 8 0に入力された低域周波数成分の DCTデータ（図 1 6 A ) と、学習済テーブル 9 4から読み出された高域周波数成分の DCTデータ（図 1 6 B ) をベクトル加算する。図 1 6 Cは、結合された DCTプロックデータを示している。

ステップ S 6において、逆1)(^変換部9 6は、結合された DCTデータを逆 M - DCT変換する。

ステップ S 7のオーバーラップ処理は、上述したように画像信号の場合、必ずしも行う必要はないので、ステップ S 7の処理を行わず画像信号広帯域化処理を終了する。次に、図 1 7のフローチャートを参照して、クラス分類部 9 3が行うクラス分類処理について説明する。

ステップ S 9 1において、パワー値変換部 1 0 1は、 DCT変換部 9 2より入力された DCT データをパワー値に変換し、さらにパワーのデシベル値に変換する。この処理は、上述の音声信号の場合と同様である。

ステップ S 9 2において、量子化部 1 0 2は、 DCTプロックデータの交流平均パワー値と直流パワー値を算出し、交流成分ピークパワー位置を検出する。例えば、図 1 8に示されるような 4 X 4画素の DCTブロック B Lが入力され、それぞれの画素の DCTデータは、 c[n]で、そのパワーの範囲は、 0乃至 1 2 7 [dB] とする。交流平均パワー値は、図 1 8の領域 AC内の DCTデータ c[l]乃至 c[15]の平均値であり、直流パワー値は、図 1 8の領域 DC内の DCTデータ c[0]の値である。また、交流成分ピークパワー位置は、 DCTデータ c[l]乃至 c[15]のうちの、パワー値が最大である n (1乃至 1 5のいずれか）となる。

ステップ S 9 3において、クラス分類部 9 3は、ステップ S 9 2で求められた 3つの値に基づくクラスコードを、 1つのクラスコードとして多重化し、学習済テーブル 9 4に出力してクラス分類処理を終了する。クラスコードは、上述の例の場合、交流平均パワー値に基づくクラスの数 1 2 8通り、直流パワー値に基づくクラスの数 1 2 8通り、交流成分ピークパワー位置に基づくクラスの数 1 5通りであるので、合わせて 1 2 8 x 1 2 8 x 1 5 = 24 5 7 6 0通りのうちのいずれかとなる。

図 1 9は、画像信号広帯域化装置 8 0の学習済テーブル 94に書き込まれる、クラスコード毎に記憶された高域周波数成分のベタトルデータを生成する学習装置 1 2 0の構成例である。図 1 9のプロック切り出し部 1 3 1、 DCT変換部 1 3 2、高域周波数成分抽出部 1 3 3、加算部 1 34、間引き回路 1 3 5、プロック切り出し部 1 3 6、 DCT変換部 1 3 7、クラス分類部 1 3 8、および積算テープノレ 1 3 9は、図 1 0のフレーム切り出し部 6 1、 DCT変換部 6 2、高域周波数抽出部 6 3、加算部 6 4、間引き回路 6 5、フレーム切り出し部 6 6、 DCT変換部 6 7、クラス分類部 6 8、および積算テーブル 6 9と基本的に同様の構成と機能を有するのもであるため、その説明は省略する。

次に、学習装置 1 2 0の学習処理について説明するが、フローチャートは、図 1 1の音声広帯域化装置 1のそれと同様であるので、図 1 1のフローチャートを引用して説明する。

ステップ S 5 1において、教師データの DCTデータと生徒データの DCTデータがプロックに切り出される。すなわち、プロック切り出し部 1 3 1は、入力された教師データを、 2 N X 2 N画素毎にブロック化する。間引き回路 1 3 5は、教師データから、低域周波数成分だけを抽出し、その低域周波数成分を、水平方向と垂直方向のそれぞれにおいて、 1つおきに間引くことで、生徒データを生成する。ブロック切り出し部 1 3 6は、生徒データを N X N画素毎にブロック化する。

ステップ S 5 2において、 DCT変換部 1 3 2と DCT変換部 1 3 7は、教師データと生徒データをそれぞれ M-DCT変換する。図 2 O Aは、教師データを M - DCT 変換した後の DCTデータ（4 X 4個のデータ）を示しており、図 2 0 Bは、生徒データを M- DCT変換した後の DCT データ（2 X 2個のデータ）を示している。ステップ S 5 3において、クラス分類部 1 3 8は、生徒データとしての DCT データに対して図 2 1を参照して後述するクラス分類処理を行い、クラスコードとクラスの出現頻度を算出し、積算テーブル 1 3 9に出力する。

ステップ S 5 4において、積算テーブル 1 3 9は、クラス分類部 1 3 8が出力したクラスコードに対応するァドレスに格納されているベタトルデータを読み出す。

ステップ S 5 5において、高域周波数成分抽出部 1 3 3は、教師データの高域周波数成分を抽出する。図 2 0 Cは、抽出された高域周波数成分を示し、これは、図 2 0 Aの教師データの全体のなかの部分 P ( 4 X 4画素のうち、左上の 2 X 2 画素を除く部分）に相当する。ステップ S 5 6において、加算部 1 3 4は、ステップ S 5 4で積算テーブル 1

3 9から読み出されたベクトルデータ（図 2 O Dに示されるデータ）と、ステツプ S 5 5で教師データから抽出された高域周波数成分のベタトルデータ（図 2 0 Cに示されるデータ）をベクトル加算する。図 2 0 Eは、ステップ S 5 6でべクトル加算された後の DCTデータを示している。

ステップ S 5 7において、加算部 1 3 4は、ステップ S 5 6で算出したべクトルデータ（図 2 0 Eに示されるデータ）を、積算テーブル 1 3 9の読み出した時と同じクラスコードのァドレスの場所に格納する。

ステップ S 5 8において、学習処理が終了したか否かが判定される。学習処理が終了していないと判断された場合、処理をステップ S 5 1に戻し、それ以降の処理が繰り返される。学習処理が終了したと判断された場合、処理をステップ s

5 9に進める。

ステップ S 5 8で学習処理が終了したと判断された場合、ステップ S 5 9において、積算テーブル 1 3 9は、それぞれのクラスコードのアドレスに有する（3 N X N) 個のベクトルデータを、クラス分類部 1 3 8から出力された対応するクラスコードのクラス出現頻度で除算して、ベクトルデータの平均値を算出し、学習済テーブル 1 4 0に出力して処理を終了する。図 2 O Fは、学習済テーブル 1

4 0の 1つのクラスコードのアドレスに格納された（3 N X N) 個のベクトルデータを DCTプロックとして示したものである。

次に、図 2 1のフローチヤ一トを参照して、図 1 9のクラス分類部 1 3 8が行うクラス分類処理について説明する。

ステップ S 1 0 1乃至ステップ S 1 0 3の処理は、図 1 7の画像信号広帯域化装置におけるクラス分類処理のステップ S 9 1乃至ステップ S 9 3と同様であるため、その説明は省略する。すなわち、クラスコードを算出する処理は、画像信号広帯域化装置と同様に行われる。この処理により、交流平均パワー値、直流パヮー値、および交流成分ピークパワー位置に基づくクラスコードが 1つのクラスコードとして多重化される。ステップ S 1 04において、クラスコード決定部 1 0 3は、ステップ S 1 0 3 で決定されたクラスコードのカウントを 1だけ増やし、どのクラスコードがどれだけ出現したかというカウント数を積算テーブル 1 3 9に出力し、クラス分類処理を終了する。

図 2 2は、本発明を適用した第 3実施の形態の伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の構成を示している。

この伝送システムでは、携帯電話機 30 と 3 0 1₂が、基地局 3 0 2iと 3 0 2₂それぞれとの間で、無線による送受信を行うとともに、基地局 3 0 2tと 3 0 2₂それぞれが、交換局 3 0 3との間で送受信を行うことにより、最終的には、携帯電話機 3 0 と 3 0 1₂との間において、基地局 3 0 2 および 3 0 2₂、並びに交換局 3 0 3を介して、音声の送受信を行うことができるようになっている。なお、基地局 3 0 2iと 3 0 2₂は、同一の基地局であっても良いし、異なる基地局であっても良い。

ここで、以下、特に区別する必要がない限り、携帯電話機 3 0 3^と 30 1₂を、携帯電話機 3 0 1と記述する。

図 2 3は、図 2 2の携帯電話機 3 0 の構成例を示している。なお、携帯電話機 3 0 1₂も、以下説明する携帯電話機 3 0 1^と同様に構成されるため、その説明は省略する。

アンテナ 3 1 1は、基地局 3 0 2Lまたは 3 0 2₂からの電波を受信し、その受信信号を、変復調部 3 1 2に供給するとともに、変復調部 3 1 2からの信号を、電波で、基地局 3 0 2iまたは 3 0 2₂に送信する。変復調部 3 1 2は、アンテナ 3 1 1力らの信号を、例えば、 CDMA (Code Division Multiple Access)方式等によって復調し、その結果得られる復調信号を、受信部 3 1 4に供給する。また、変復調部 3 1 2は、送信部 3 1 3から供給される送信データを、例えば、 CDMA方式等で変調し、その結果得られる変調信号を、アンテナ 3 1 1に供給する。送信部 3 1 3は、そこに入力されるユーザの音声を符号化する等の所定の処理を行い、送信データを得て、変復調部 3 1 2に供給する。受信部 3 1 4は、変復調部 3 1 2からの復調信号である受信データを受信し、高音質の音声を復号して出力する。

操作部 3 1 5は、発呼先の電話番号や、所定のコマンド等を入力するときに、ユーザによって操作され、その操作に対応する操作信号は、送信部 3 1 3や受信部 3 1 4に供給される。

なお、送信部 3 1 3と受信部 3 1 4との間では、必要に応じて情報をやりとりすることができるようになつている。

図 2 4は、図 2 3の送信部 3 1 3の構成例を示している。

マイクロホン 3 2 1には、ユーザの音声が入力され、マイクロホン 3 2 1は、そのユーザの音声を、電気信号としての音声信号として、 A/ D

(Analog/Digital)変換部 3 2 2に出力する。 / 0変換部3 2 2は、マイクロホン 3 2 1からのアナログの音声信号を AZD変換することにより、デジタルの音声データとし、符号化部 3 2 3に出力する。

符号化部 3 2 3は、 A/D変換部 3 2 2からの音声データを所定の符号化方式によって符号化するとともに、クラスコードを多重化し、その結果得られる符号化音声データを、送信制御部 3 2 4に出力する。

管理部 3 2 7は、操作部 3 1 5が操作されることによって入力される、発信先の電話番号や発信元である自身の電話番号、その他の必要な情報を、必要に応じて管理し、符号化部 3 2 3と送信制御部 3 2 4に出力する。

送信制御部 3 2 4は、符号化部 3 2 3が出力する符号化音声データと、管理部 3 2 7が出力するデータの送信制御を行う。即ち、送信制御部 3 2 4は、符号化部 3 2 3が出力する符号化音声データ、または管理部 3 2 7が出力するデータを選択し、所定の送信タイミングにおいて、送信データとして、変復調部 3 1 2 (図 2 3 ) に出力する。

図 2 5は、図 2 3の受信部 3 1 4の構成例を示している。図 2 3の変復調部 3 1 2が出力する復調信号としての受信データは、受信制御部 3 3 1に供給され、受信制御部 3 3 1は、その受信データを受信する。そして、受信制御部 3 3 1は、受信データが符号化音声データである場合には、その符号化音声データを、復号部 3 3 2に供給する。あるいは、その受信データが、発信元の電話番号その他の情報である場合には、受信制御部 3 3 1は、そのような情報を、必要に応じて、管理部 3 3 5や、送信部 3 1 3 (の管理部 3 2 7 ) に供給する。

復号部 3 3 2は、受信制御部 3 3 1から供給される符号化音声データを、クラスコードと分離し、また、高域周波数成分を付加し、その結果得られる復号音声データを、 D Z A (Di gital/Analog)変換部 3 3 3に供給する。

D /A変換部 3 3 3は、復号部 3 3 2が出力するデジタルの復号音声データを D /A変換し、その結果得られるアナログの音声信号を、スピーカ 3 3 4に供給する。スピーカ 3 3 4は、 D ZA変換部 3 3 3からの音声信号に対応する音声を出力する。

管理部 3 3 5は、着呼時に、受信制御部 3 3 1から、発信元の電話番号を受信し、その電話番号を復号部 3 3 2に供給する。

図 2 6と図 2 7は、学習済テーブルが固定の情報として与えられる場合の符号化部 3 2 3と復号部 3 3 2の構成例を示している。

初めに、図 2 6の符号化部 3 2 3の構成について説明する。

フレーム切り出し部 3 5 1と DCT変換部 3 5 2の機能は、図 1の音声広帯域化装置 1のフレーム切り出し部 1 1と DCT 変換部 1 2のそれと同様であるので、その説明は省略する。

高域周波数成分除去部 3 5 3は、入力された DCTスぺクトルデータの高域周波数成分を除去して生成した低域周波数成分を、クラス分類部 3 5 4とクラスコード多重化部 3 5 5に出力する。圧縮率は、高域周波数成分の除去率に依存し、例えば、帯域を半分に圧縮すれば 1/2のデータ量となるが、これに後述するクラスコード多重化部 3 5 5において多重化されるクラスコードの数ヮード分を付加したものが最終的なデータ量となる。

クラス分類部 3 5 4は、高域周波数成分除去部 3 5 3から入力された低域周波数成分の DCTスぺクトルデータに対して、音声広帯域化装置 1のクラス分類部 1 3における場合と同様のクラス分類処理を施し、クラスコードをクラスコード多重化部 3 5 5に出力する。

クラスコード多重化部 3 5 5は、クラス分類部 3 5 4から出力されたクラスコードと、高域周波数成分除去部 3 5 3から出力された低域周波数成分の DCTスぺクトルデータを多重化し、逆 DCT変換部 3 5 6に出力する。クラスコードを低域周波数成分の DCTスペクトルデータと多重化することで、クラスコードの符号伝送路でのエラー耐性を高めることが可能であるとともに、後述する復号部 3 3 2 (図 2 7 ) において、再度クラス分類処理を行って求められたクラスコードと、多重化されたクラスコードの一致度を調べることにより、多重化されたクラスコードのエラー検出や修正を行うことも可能である。

逆1)(^変換部3 5 6は、入力されたクラスコードと低域周波数成分の DCTスぺクトルデータが多重化されたデータを逆 M-DCT変換し、フレーム結合部 3 5 7に出力する。

フレーム結合部 3 5 7は、音声広帯域化装置 1のフレーム結合部 1 8における場合と同様のフレームオーバーラップの処理を施し、符号化音声データとして送信制御部 3 2 4 (図 2 4 ) に出力する。

次に、図 2 7の復号部 3 3 2の構成について説明する。

フレーム切り出し部 3 7 1と DCT変換部 3 7 2は、図 1の音声広帯域化装置 1のフレーム切り出し部 1 1と DCT変換部 1 2と同様の機能を有するものであるので、その説明は省略する。

クラスコード分離部 3 7 3は、多重化された DCTスペクトルデータを、クラスコードと、低域周波数成分の DCTスぺクトルデータに分離し、低域周波数成分の DCTスぺクトルデータをスぺクトル結合部 3 7 6に出力し、クラスコードを学習済テーブル 3 7 4に出力する。

学習済テーブル 3 7 4は、クラスコード分離部 3 7 3が出力したクラスコードに対応するァドレスに格納されている高域周波数成分の DCTスぺクトルデータを読み出し、ゲイン調整部 3 7 5に出力する。

ゲイン調整部 3 7 5は、音声広帯域化装置 1のゲイン調整部 1 5と同様に、スぺクトル結合部 3 7 6で結合される低域周波数成分スぺクトルのゲインと合うように、学習済テーブル 3 7 4から出力された高域周波数成分のスぺクトルをゲイン調整し、スぺクトル結合部 3 7 6に出力する。

スペクトル結合部 3 7 6は、クラスコード分離部 3 7 3から出力された低域周波数成分の DCTスぺクトルデータと、ゲイン調整部 3 7 5から出力された高域周波数成分の DCT スぺクトルデータを結合し、逆 DCT変換部 3 7 7に出力する。逆 DCT変換部 3 7 7は、入力されたスぺクトルデータの逆 M- DCT変換を行い、フレーム結合部 3 7 8に出力する。

フレーム結合部 3 7 8は、フレームオーバーラップの処理を行い、広帯域な音声信号として、 D/A変換部 3 3 3に出力する。

一方、図 2 8と図 2 9は、高域周波数成分のスペクトルデータを蓄積する学習済テーブルが発信元の電話番号ごとに対応付けて記憶され、使用するたびに通話者に対するテーブル情報を更新するようにした場合の、符号化部 3 2 3と復号部 3 3 2の構成例を示している。なお、図中、図 2 6と図 2 7における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、省略する。

初めに、図 2 8の符号化部 3 2 3の構成について説明する。

スぺクトル分割部 3 8 1は、入力された DCTスぺクトルデータを、高域周波数成分と低域周波数成分に分割し、高域周波数成分をテーブルメモリ 3 8 2に出力し、低域周波数成分をクラス分類部 3 5 4とクラスコード多重化部 3 5 5に出力する。クラス分類部 3 5 4は、クラスコードを算出し、そのクラスコードをテーブルメモリ 3 8 2とクラスコード多重化部 3 5 5に出力する。

テーブルメモリ 3 8 2は、クラス分類部 3 5 4が出力したクラスコードに対応するァドレスに、スぺクトル分割部 3 8 1より入力された高域周波数成分の DCT スペクトルデータを格納する。このテーブルメモリの内容は、所定のタイミングにおいて、後述する復号部 3 3 2のテーブルメモリ 3 9 1 (図 2 9 ) に転送される。

以上のように構成される符号化部 3 2 3においては、通話がなされるたびに、テーブルメモリ 3 8 2に、通話者ごとの高域周波数成分のスぺクトルデータが蓄積されていくこととなる。テーブルメモリ 3 8 2の内容は、一種の統計情報であるため、情報を入力すればするほど、クラスコード単位で適切な偏りに収束していくことが予想され、この効果により、使用回数が増えていくと、より高精度な復号がなされるようになっていくことになる。図 2 8のその他の構成は、図 2 6 における場合と同様である。

次に、図 2 9の復号部 3 3 2の構成について説明する。

テープルメモリ 3 9 1は、クラスコード分離部 3 7 3が出力したクラスコードに対応するァドレスとして指定された位置に格納されている高域周波数成分の DCTスぺクトルデータを読み出し、ゲイン調整部 3 7 5に出力する。

以下において、図 2 8と図 2 9の構成で示される、学習済テーブルが発信元の電話番号に対応付けて記憶され、所定のタイミングで更新される場合の携帯電話機 3 0 1の動作について説明する。

初めに、図 3 0のフローチャートを参照して、発信元である携帯電話機 3 0 1 _λの送信部 3 1 3が行う送信処理について説明する。

ステップ S 2 0 1で、ユーザが、操作部 3 1 5 (図 2 3 ) を操作して、着信側としての携帯電話機 3 0 1 ₂の電話番号を入力すると、管理部 3 2 7は、通話の開始を検出する。ステップ S 2 0 2で、送信部 3 1 3は、図 3 1を参照して後述するメモリデータ送信処理を行う。すなわち、送信部 3 1 3は、テーブルメモリ 3 8 2 (図 2 8 ) に記憶された高域周波数成分スペクトルの DCTベクトルデータを、着信側の携帯電話機 3 0 1 ₂のテーブルメモリ 3 9 1 (図 2 9 ) に送信し、音声通話に切り換える。

ステップ S 2 0 3で、マイクロホン 3 2 1は、ユーザの音声を入力する。

ステップ S 2 0 4で、 A/D変換部 3 2 2は、マイクロホン 3 2 1から入力された音声信号を A/D変換し、デジタルの音声信号として、符号化部 3 2 3に出力する。

ステップ S 2 0 5で、符号化部 3 2 3は、符号化処理を行う。その詳細は、図 3 2を参照して後述するが、この処理により、 A/D変換部 3 2 2より入力された音声信号が、高域周波数成分と低域周波数成分に分割される。そして、高域周波数成分は、テーブルメモリ 3 8 2に記憶され、低域周波数成分は、クラスコードと多重化されて、符号化音声データとして、送信制御部 3 2 4に出力される。ステップ S 2 0 6で、送信制御部 3 2 4は、符号化部 3 2 3から入力された符号化音声データを変復調部 3 1 2 (図 2 3 ) に送信する。

ステップ S 2 0 7で、管理部 3 2 7は、通話が終了したか否かを判定する。通話が終了していないと判定された場合、管理部 3 2 7は、処理をステップ S 2 0 3に戻し、それ以降の処理が繰り返される。通話が終了したと判定された場合、管理部 3 2 7は、送信処理を終了する。

次に、図 3 1のフローチャートを参照して、図 3 0のステップ S 2 0 2における、メモリデータ送信処理について説明する。

ステップ S 2 2 1において、送信制御部 3 2 4が、操作部 3 1 5が操作されることにより入力された携帯電話機 3 0 1 ₂の電話番号を、送信データとして出力することにより、携帯電話機 3 0 1 ₂の呼び出しが行われる。

そして、携帯電話機 3 0 1 ₂のユーザが、携帯電話機 3 0 からの呼び出しに応じて、操作部 3 1 5を操作することにより、携帯電話機 3 0 1 ₂をオフフック状態にすると、ステップ S 2 2 2に進み、送信制御部 3 2 4は、着信側の携帯電話機 3 0 1 ₂との間の通信リンクを確立し、ステップ S 2 2 3に進む。

ステップ S 2 2 3では、管理部 3 2 7は、符号化部 3 2 3のテーブルメモリ 3 8 2に記憶されているデータを読み出し、送信制御部 3 2 4に供給する。さらに、ステップ S 2 2 3では、送信制御部 3 2 4が、管理部 3 2 7からのメモリデータを選択し、送信データとして送信する。なお、メモリデータは、そのメモリデータが学習によって得られた日時を表す更新情報とともに送信される。

その後、ステップ S 2 2 3から S 2 2 4に進み、管理部 3 2 7は、準備完了通知が、着信側の携帯電話機 3 0 1 ₂から送信されてきたかどうかを判定する。

即ち、着信側の携帯電話機 3 0 1 ₂は、通常の音声通話が可能な状態になると、音声通話の準備が完了したことを表す準備完了通知を送信するようになっており (後述する図 3 4のステップ S 2 7 7 ) 、ステップ S 2 2 4では、そのような準備完了通知が、携帯電話機 3 0 1 ₂から送信されてきたかどうかが判定される。ステップ S 2 2 4において、準備完了通知が送信されてきていないと判定された場合、ステップ S 2 2 4に戻り、準備完了通知が送信されてくるまで待つ。そして、ステップ S 2 2 4において、準備完了通知が送信されてきたと判定された場合、ステップ S 2 2 5に進み、送信制御部 3 2 4は、符号化部 3 2 3の出力を選択することにより、音声通話が可能な状態となって、メモリデータ送信処理を終了する。

次に、図 3 2のフローチャートを参照して、図 3 0のステップ S 2 0 5における、符号化処理について説明する。

ステップ S 2 3 1において、フレーム切り出し部 3 5 1は、 A/D変換部 3 2 2 より入力された音声信号をフレーム化する。ここで入力される音声信号は、高域周波数成分と低域周波数成分の両方を有している。

ステップ S 2 3 2において、 DCT変換部 3 5 2は、ステップ S 2 3 1でフレーム化された音声信号を M-DCT変換し、 DCTスぺクトルデータとして、スぺクトル分割部 3 8 1に出力する。ステップ S 2 3 3において、スぺクトル分割部 3 8 1は、 DCTスぺクトルデータを、高域周波数成分と低域周波数成分に分割し、高域周波数成分をテーブルメモリ 3 8 2に出力し、低域周波数成分をクラス分類部 3 5 4に出力する。

ステップ S 2 3 4において、クラス分類部 3 5 4は、.クラス分類処理により、クラスコードを決定し、クラスコード多重化部 3 5 5とテーブルメモリ 3 8 2に出力する。ここにおけるクラス分類処理は、図 6において上述した音声広帯域化装置 1のクラス分類処理と同様であるため、その説明は省略する。

ステップ S 2 3 5において、テーブルメモリ 3 8 2は、クラス分類部 3 5 4が出力したクラスコードに対応するァドレスに、スぺクトル分割部 3 8 1から入力された高域周波数成分の DCTスぺクトルデータを格納する。

ステップ S 2 3 6において、クラスコード多重化部 3 5 5は、クラス分類部 3 5 4から入力されたクラスコードと、スぺクトル分割部 3 8 1から入力された低域周波数成分の DCTスぺクトルデータを多重化し、逆 DCT変換部 3 5 6に出力する。

ステップ S 2 3 7において、逆0(^変換部3 5 6は、多重化された低域周波数成分の DCTスペクトルデータを逆 DCT変換する。

最後に、ステップ S 2 3 8において、フレーム結合部 3 5 7は、オーバーラップの処理を施し、符号化音声データを作成する。

次に、以上の送信側である携帯電話機 3 0 が行う図 3 0の送信処理に対応して、着信側である携帯電話機 3 0 1 ₂の受信部 3 1 4が行う受信処理について、図 3 3を参照して説明する。

ステップ S 2 5 1において、管理部 3 3 5は、受信制御部 3 3 1を介して電波の受信を検知する。

ステップ S 2 5 2において、受信部 3 1 4は、図 3 4を参照して後述するメモリデータ更新処理を行う。すなわち、受信部 3 1 4は、テーブルメモリ 3 9 1 (図 2 9 ) に記憶された高域周波数成分スぺクトルの DCTべクトルデータを更新し、音声通話（符号化音声データ）に切り換える。ステップ S 2 5 3において、受信制御部 3 3 1に入力される受信データが、符号化音声データに切り換えられると、受信制御部 3 3 1は、その符号化音声データを復号部 3 3 2に出力する。

ステップ S 2 5 4において、復号部 3 3 2は、復号処理を行う。その詳細は、図 3 5を参照して後述するが、この処理により、復号部 3 3 2は、クラスコードが多重化された符号化音声データを、クラスコードと低域周波数成分に分離し、クラスコードに対応するアドレスに記憶された高域周波数成分を読み出し、低域周波数成分と結合して、広帯域な音声信号として出力する。

ステップ S 2 5 5において、 D/A変換部 3 3 3は、復号部 3 3 2より入力された広帯域な音声信号を D/A変換し、スピーカ 3 3 4に出力する。

ステップ S 2 5 6において、スピーカ 3 3 4は、 D/A変換部 3 3 3より入力されたアナ口グの音声信号を出力する。

ステップ S 2 5 7において、管理部 3 3 5は、通話が終了したか否かを判定する。通話が終了していないと判定された場合、管理部 3 3 5は、処理をステップ S 2 5 3に戻し、それ以降の処理が繰り返される。通話が終了したと判定された場合、管理部 3 3 5は、受信処理を終了する。

次に、図 3 4のフローチヤ一トを参照して、図 3 3のステップ S 2 5 2におけるメモリデータ更新処理について説明する。

ステップ S 2 7 1において、受信制御部 3 3 1は、ユーザが操作部 3 1 5を操作することによりオフフック状態としたかどうかを判定し、オフフック状態とされていないと判定した場合、ステップ S 2 7 1に戻る。

また、ステップ S 2 7 1において、オフフック状態にされたと判定された場合、ステップ S 2 7 2に進み、受信制御部 3 3 1は、通信リンクを確立し、ステップ S 2 7 3に進む。ステップ S 2 7 3では、受信制御部 3 3 1は、発信側の携帯電話機 3 0 から送信されてくる最新のメモリデータを含む受信データを受信し、管理部 3 3 5に供給する。即ち、図 3 1のメモリデータ送信処理では、上述したように、ステップ S 2 2 3において、携帯電話機 3 0 が、最新のメモリデータを、更新情報とともに送信してくるので、ステップ S 2 7 3では、そのメモリデータと更新情報が受信される。

その後、ステップ S 2 7 4に進み、管理部 3 3 5は、発信側の携帯電話機 3 0 1^から受信した更新情報を参.照し、復号部 3 3 2に、発信側の携帯電話機 3 0 1！のユーザについての最新のメモリデータが記憶されているかどうかを判定する。

ステップ S 2 7 4において、復号部 3 3 2に、発信側の携帯電話機 3 0 1 のユーザについての最新のメモリデータが既に記憶されていると判定された場合、ステップ S 2 7 5に進み、管理部 3 3 5は、ステップ S 2 7 3で受信したメモリデータと更新情報を破棄し、ステップ S 2 7 7に進む。

また、ステップ S 2 7 4において、復号部 3 3 2に、発信側の携帯電話機 3 0 のユーザについての最新のメモリデータがまだ記憶されていないと判定された場合、ステップ S 2 7 6に進み、管理部 3 3 5は、ステップ S 2 7 3で得た最新のメモリデータを、着呼時に受信した発信側の携帯電話機 3 0 の電話番号、さらには、そのメモリデータとともに送信されてきた更新情報と対応付けて、復号部 3 3 2に記憶させることにより、復号部 3 3 2のテーブルメモリ 3 9 1の內容を更新する。

そして、ステップ S 2 7 7に進み、管理部 3 3 5は、送信部 3 1 3の送信制御部 3 2 4を制御することにより、音声通話の準備が完了したことを表す準備完了通知を、送信データとして送信させ、ステップ S 2 7 8に進む。

ステップ S 2 7 8では、受信制御部 3 3 1は、そこに供給される受信データに含まれる符号化音声データを復号部 3 3 2に出力する、音声通話が可能な状態となって、メモリデータ更新処理を終了する。

次に、図 3 5を参照して、図 3 3のステップ S 2 5 4における復号処理について説明する。ステップ S 2 9 1において、フレーム切り出し部 3 7 1は、受信制御部 3 3 1 より入力された符号化音声データをフレーム化する。

ステップ S 2 9 2において、 DCT変換部 3 7 2は、ステップ S 2 9 1でフレーム化された符号化音声データを M-DCT変換し、 DCTスペクトルデータとして、クラスコード分離部 3 7 3に出力する。

ステップ S 2 9 3において、クラスコード分離部 3 7 3は、 DCTスぺクトルデータを、クラスコードと低域周波数成分に分離し、クラスコードをテーブルメモリ 3 9 1に出力し、低域周波数成分をスぺクトル結合部 3 7 6に出力する。

ステップ S 2 9 4において、テーブルメモリ 3 9 1は、クラスコード分離部 3 7 3が出力したクラスコードに対応するァドレスに記憶されている高域周波数成分の DCTスぺクトルデータをゲイン調整部 3 7 5に出力する。

ステップ S 2 9 5において、スペクトル結合部 3 7 6は、ゲイン調整部 3 7 5 においてゲイン調整されて入力された高域周波数成分と、クラスコード分離部 3 7 3から入力された低域周波数成分をスぺクトル結合し、逆 DCT変換部 3 7 7 に出力する。

ステップ S 2 9 6において、逆 DCT変換部 3 7 7は、結合された DCTスぺクトルデータを逆 DCT変換する。

最後に、ステップ S 2 9 7において、フレーム結合部 3 7 8は、オーバーラップの処理を施し、広帯域なデジタルの音声信号として D/A変換部 3 3 3 (図 2 5 ) に出力する。

図 3 4のメモリデータ更新処理によれば、着信側の携帯電話機 3 0 1 ₂において、発信側の携帯電話機 3 0 のユーザについての最新のメモリデータが記憶されていない限り、必ず、記憶内容が更新されることになる。

しかしながら、これに限らず、ユーザが必要な時だけメモリデータの更新を要求し、その要求がオンされたときだけ、上述の更新処理を行うようにしてもよい _c また、本実施の形態では、着信側において、着呼時に、発信側から送信されてくる電話番号を、発信側を特定する特定情報とするようにしたが、その他、例えば、ユーザ等に、ユニークな I D (Identification) を割り当てておき、その I Dを特定情報として用いることも可能である。

以上に、学習済テーブルが発信元の電話番号に対応付けて記憶され、所定のタイミングで更新される場合について説明したが、図 2 6と図 2 7における、学習済テーブル 3 7 4 (テーブルメモリ）が固定の場合の動作は、図 3 0のステップ S 2 0 2におけるメモリデータ送信処理（図 3 1に示される処理）と、図 3 3のステップ S 2 5 2におけるメモリデータ更新処理（図 3 4に示される処理）が省略された場合と同様である。

上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトゥェァにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にィンストーノレされる。

そこで、図 3 6は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードデイスク 4 0 5や R O M 4 0 3に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブノレディスク、 CD- ROM (Compact Disc

Read Only Memory) , M0 (Magneto optical)アイスク, DVD (Digital Versatile

Disc) , 磁気ディスク、半導体メモリなどのリムーバブル記録媒体 4 1 1に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体 4 1 1は、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体 4 1 1からコンビユータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、 LAN (Local Area

Network) インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部 4 0 8で受信し、内蔵するハードディスク 4 0 5にインストールすることができる。

コンピュータは、 CPU (Central Proces sing Unit) 4 0 2を内蔵している。

CPU 4 0 2には、バス 4 0 1を介して、入出力インタフェース 4 1 0が接続されており、 CPU 4 0 2は、入出力インタフェース 4 1 0を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部 4 0 7が操作等されることにより指令が入力されると、それにしたがって、 ROM (Read Only Memory) 4 0 3に格納されているプログラムを実行する。あるいは、また、 CPU 4 0 2は、ハードディスク 4 0 5に格納されているプログラム、衛星若しくはネットワークから転送され、通信部 4 0 8で受信されてハードディスク 4 0 5にインストールされたプログラム、またはドライブ 4 0 9に装着されたリムーバブル記録媒体 4 1 1から読み出されてハードディスク 4 0 5にィンストールされたプログラムを、 RAM (Random Access Memory) 4 0 4にロードして実行する。これにより、 CPU 4 0 2は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、 CPU 4 0 2は、その処理結果を、必要に応じて、例えば、入出力インタフェース 4 1 0を介して、 LCD (Liquid Crystal Di splay)やスピーカ等で構成される出力部 4 0 6から出力、あるいは、通信部 4 0 8から送信、さらには、ハードディスク 4 0 5に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理 (例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、 1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い _c 本実施の形態では、本発明を、音声（画像信号）広帯域化装置、および、携帯電話機どうしで音声通話を行う伝送システムに適用した場合について説明したが、その他、本発明は、固定電話音声、 AM (Amplitude modulation) / F M (Frequency Modulation)ラジオ放送受信音声、アナログ T V (Television)放送受信音声の音質改善など、音声通信を行うシステムに広く適用可能である。また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を表すものである。産業上の利用可能性

以上のごとく本発明の信号処理システム、および信号処理システムの信号処理方法によれば、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を、精度よく復元することが可能なシステムを実現することができる。

以上のごとく本発明の第 1の信号処理装置、信号処理方法、記録媒体、並びにプログラムによれば、他の信号処理装置に対して、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元させることが可能になる。

以上のごとく本発明の第 2の信号処理装置、信号処理方法、記録媒体、並びにプログラムによれば、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元することが可能になる。

Claims

請求の範囲

1 . 入力信号を加工して蓄積する第 1の信号処理装置と、

入力信号を加工して出力する第 2の信号処理装置と

を備える信号処理システムにおいて、

前記第 1の信号処理装置は、

周波数成分が広帯域な第 1の信号を入力する第 1の信号入力手段と、前記第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号を入力する第 2の信号入力手段と、

前記第 1の信号入力手段により入力された前記第 1の信号から高域周波数成分を抽出する抽出手段と、

前記第 2の信号入力手段により入力された前記第 2の信号に基づいて、第 1 のクラスコードを決定する第 1の決定手段と、

前記第 1の決定手段により決定された前記第 1のクラスコードごとに、前記抽出手段により抽出された前記高域周波数成分を蓄積する蓄積手段と

を備え、

前記第 2の信号処理装置は、

高域周波数成分が抑圧された狭帯域な第 3の信号を入力する第 3の信号入力手段と、

前記第 3の信号入力手段により入力された前記第 3の信号に基づいて、第 2 のクラスコードを決定する第 2の決定手段と、

前記第 2の決定手段により決定された前記第 2のクラスコードに対応する、前記蓄積手段により蓄積された前記高域周波数成分と、前記第 3の信号入力手段により入力された前記第 3の信号を合成する合成手段と、

前記合成手段により生成された合成信号を出力する出力手段と

を備えることを特徴とする信号処理システム。

2 . 入力信号を加工して蓄積する第 1の信号処理装置と、

入力信号を加工して出力する第 2の信号処理装置とを備える信号処理システムの信号処理方法において、

前記第 1の信号処理装置は、

周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステップと、

前記第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号の入力を制御する第 2の信号入力制御ステップと、

前記第 1の信号入力制御ステップの処理により入力が制御された前記第 1の信号から高域周波数成分を抽出する抽出ステップと、

前記第 2の信号入力制御ステップの処理により入力が制御された前記第 2の信号に基づいて、第 1のクラスコードを決定する第 1の決定ステップと、

前記第 1の決定ステップの処理により決定された前記第 1のクラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積するを含み、

前記第 2の信号処理装置は、

高域周波数成分が抑圧された狭帯域な第 3の信号の入力を制御する第 3の信号入力制御ステップと、

前記第 2の信号入力制御ステップの処理により入力が制御された前記第 3の信号に基づいて、第 2のクラスコードを決定する第 2の決定ステツプと、

前記第 2の決定ステップの処理により決定された前記第 2のクラスコードに対応する、前記蓄積ステップの処理により蓄積された前記高域周波数成分と、前記第 3の信号入力制御ステップの処理により入力が制御された前記第 3の信号を合成する合成ステップと、

前記合成ステップの処理'により生成された合成信号の出力を制御する出力制御ステップと

を含むことを特徴とする信号処理方法。

3 . 周波数成分が広帯域な第 1の信号を入力する第 1の信号入力手段と、前記第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号を入力する第 2の信号入力手段と、

前記第 2の信号入力手段により入力された前記第 2の信号に基づいて、クラスコードを決定する決定手段と、

前記決定手段により決定された前記クラスコードごとに、前記抽出手段により抽出された前記高域周波数成分を蓄積する蓄積手段と

を備えることを特徴とする信号処理装置。

4 . 前記第 1の信号と前記第 2の信号は、音声信号である

ことを特徴とする請求の範囲第 3項に記載の信号処理装置。

5 . 前記決定手段は、等ラウドネス特性に基づく重み付け処理を行った前記第 2の信号に基づいて、前記クラスコードを決定する

ことを特徴とする請求の範囲第 4項に記載の信号処理装置。

6 . 前記決定手段は、音声信号スペクトルの平均パワー値と最大パワー値の位置に基づいて、前記クラスコードを決定する

7 . 前記決定手段は、前記抽出手段により抽出される前記高域周波数成分の最低の周波数の 1 / 2倍、または 1 Z 3倍の周波数以上のスぺクトル成分の前記クラスコードを決定する

8 . 前記第 1の信号と前記第 2の信号は、画像信号である

9 . 前記決定手段は、前記画像信号のスペクトルの交流平均パワー値、直流パヮー値、および交流成分ピークパワー値に基づいて、前記クラスコードを決定する

ことを特徴とする請求の範囲第 8項に記載の信号処理装置。

1 0 . 前記蓄積手段は、前記抽出手段により抽出された前記高域周波数成分を、特定情報に対応付けて蓄積する

1 1 . 前記特定情報は、電話機の電話番号である

ことを特徴とする請求の範囲第 1 0項に記載の信号処理装置。

1 2 . 前記第 1の信号を所定の時間間隔で間引いて前記第 2の信号を生成する生成手段を

さらに備えることを特徴とする請求の範囲第 3項に記載の信号処理装置。

1 3 . 入力信号を加工して蓄積する信号処理装置の信号処理方法において、周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステップと、

前記第 1の信号のうちの、高域周波数成分が抑圧された狭帯域な第 2の信号の入力を制御する第 2の信号入力制御ステツプと、

前記第 2の信号入力制御ステップの処理により入力が制御された前記第 2の信号に基づいて、クラスコードを決定する決定ステップと、

前記決定ステップの処理により決定された前記クラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とする信号処理方法。

1 4 . 入力信号を加工して蓄積する信号処理装置のプログラムであって、周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステツプと、

前記第 1の信号入力制御ステップの処理により入力が制御された前記第 1の信号から高域周波数成分を抽出する抽出ステップと、前記第 2の信号入力制御ステップの処理により入力が制御された前記第 2の信号に基づいて、クラスコードを決定する決定ステップと、

前記決定ステップの処理により決定された前記クラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積する蓄積ステツプとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

1 5 . 入力信号を加工して蓄積する信号処理装置を制御するコンピュータに、周波数成分が広帯域な第 1の信号の入力を制御する第 1の信号入力制御ステツプと、

前記決定ステップの処理により決定された前記クラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積する蓄積ステップとを実行させることを特徴とするプログラム。

1 6 . 高域周波数成分が抑圧された狭帯域な信号を入力する信号入力手段と、前記信号入力手段により入力された前記信号に基づいて、クラスコードを決定する決定手段と、

高域周波数成分を記憶する記憶手段と、

前記決定手段により決定された前記クラスコードに対応する、前記記憶手段に記憶された高域周波数成分と、前記信号入力手段により入力された前記信号を合成する合成手段と、

を備えることを特徴とする信号処理装置。

1 7 . 前記信号入力手段が入力する信号は、音声信号である

ことを特徴とする請求の範囲第 1 6項に記載の信号処理装置。

1 8 . 前記決定手段は、等ラウドネス特性に基づく重み付け処理を行った前記信号に基づいて、前記クラスコードを決定する

ことを特徴とする請求の範囲第 1 7項に記載の信号処理装置。

1 9 . 前記決定手段は、音声信号スぺクトルの平均パワー値と最大パワー値の位置に基づいて、前記クラスコードを決定する

2 0 . 前記決定手段は、前記記憶手段に記憶されている前記高域周波数成分の最低の周波数の 1 Z 2倍、または 1 Z 3倍の周波数以上のスペクトル成分の前記クラスコードを決定する

2 1 . 前記信号入力手段が入力する信号は、画像信号である

2 2 . 前記決定手段は、画像信号のスペクトルの交流平均パワー値、直流パヮ一値、および交流成分ピークパワー値に基づいて、前記クラスコードを決定することを特徴とする請求の範囲第 2 1項に記載の信号処理装置。

2 3 . 前記記憶手段により記憶された前記高域周波数成分は、所定のタイミングで更新される

2 4 . 前記記憶手段は、特定情報に対応付けて、前記高域周波数成分を記憶する

2 5 . 前記特定情報は、電話機の電話番号である

ことを特徴とする請求の範囲第 2 4項に記載の信号処理装置。

2 6 . 入力信号を加工して出力する信号処理装置の信号処理方法において、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、

前記信号入力制御ステツプの処理により入力が制御された前記信号に基づいて、クラスコードを決定する決定ステップと、

高域周波数成分の記憶を制御する記憶制御ステップと、

前記決定ステップの処理により決定された前記クラスコードに対応する、前記記憶制御ステップの処理により記憶が制御された高域周波数成分と、前記信号入力制御ステップの処理により入力された前記信号を合成する合成ステップと、前記合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップと

を含むことを特徴とする信号処理方法。 - 2 7 . 入力信号を加工して出力する信号処理装置のプログラムであって、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、

前記信号入力制御ステップの処理により入力が制御された前記信号に基づいて、クラスコードを決定する決定ステップと、

高域周波数成分の記憶を制御する記憶制御ステップと、

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

2 8 . 入力信号を加工して出力する信号処理装置を制御するコンピュータに、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、前記信号入力制御ステップの処理により入力が制御された前記信号に基づいて、クラスコードを決定する決定ステップと、

高域周波数成分の記憶を制御する記憶制御ステップと、

を実行させることを特徴とするプログラム。