JP3131249B2 - 混合音声信号受信装置 - Google Patents

混合音声信号受信装置

Info

Publication number
JP3131249B2
JP3131249B2 JP03211807A JP21180791A JP3131249B2 JP 3131249 B2 JP3131249 B2 JP 3131249B2 JP 03211807 A JP03211807 A JP 03211807A JP 21180791 A JP21180791 A JP 21180791A JP 3131249 B2 JP3131249 B2 JP 3131249B2
Authority
JP
Japan
Prior art keywords
speech
section
signal
mixed
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03211807A
Other languages
English (en)
Other versions
JPH0556007A (ja
Inventor
亨 今井
栄一 宮坂
哲夫 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP03211807A priority Critical patent/JP3131249B2/ja
Publication of JPH0556007A publication Critical patent/JPH0556007A/ja
Application granted granted Critical
Publication of JP3131249B2 publication Critical patent/JP3131249B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、聴覚障害者や高齢者等
の音声聴取に好適な混合音声信号受信装置に関する。
【0002】[発明の概要]本発明は、スピーチ(人の
声)と、音楽や効果音等の背景音とが混在した音声信号
を伝送する放送システム等において、スピーチと背景音
に関する時間情報やスペクトル情報等の付加情報を少な
い量子化ビット数により多重して伝送し、受信側では、
付加情報に基づいてフィルタ等の処理を混合音声に施す
ことにより、混合音声からスピーチと背景音とを分離
し、受信者が自分の好みの混合比により両者を再び混合
して聴取できるようにしたものである。
【0003】
【従来の技術】音声に混在する雑音除去あるいは特定の
音声のみを抽出することを目的とする従来技術として
は、雑音源の情報を利用する2入力方式と、混在された
音声しか利用できない1入力方式とが知られている。
【0004】2入力方式としては、適応フィルタを用い
た雑音除去方法が知られている(例えば、B.Widrow et
al.:“Adaptive Noise Cancelling:Principles and App
lications ”,Proc.IEEE,Vol.63,No.12,pp.1692-1716(1
975))。
【0005】1入力方式としては、音声信号が存在しな
い区間を何らかの方法により検出し、その区間から雑音
を推定してウィーナーフィルタ(例えば、N.Wiener:
“Extrapolation,Interpolation and Smoothing of Sta
tionary Time Series,with Engineering Applications
”,John Wiley & Sons,(1949) )やスペクトルサブト
ラクション法(S.F.Boll: “Suppression of Acoustic
Noise in Speech Using Spectral Subtraction”,IEEE
Trans.,Vol.ASSP-27,No.2, April(1979))により雑音除
去を行う。
【0006】
【発明が解決しようとする課題】ところで、聴覚障害者
や高齢者には、放送の番組音声、特に人の声が聞き取り
にくいことが多い。特に、番組効果のために音楽や効果
音がスピーチと混合された場合、極めて聞き取りにくく
なる。
【0007】これを解決するために、上記従来の1入力
方式を適用して、受信した音声だけからスピーチを分離
することも考えられるが、放送システムでは様々な音声
を扱うため、非常に困難である。また、2入力方式によ
り、スピーチや背景音の情報を送ることも考えられる
が、放送等のシステムではその伝送容量に限りがある。
例えば、通常の音声信号の他にスピーチの音声波形その
ものを伝送しようとすると、当然さらに1チャンネル分
の伝送容量が必要となり、効率的な伝送を行うには好ま
しくない。
【0008】従って、現行の放送システム、特に音声の
放送における受信者サービスには、ステレオ放送、2か
国語放送、音声多重放送等、音声チャンネルを増やすこ
とによる付加価値的な音声のサービスはあるものの、聴
覚障害者や高齢者など、通常の番組音声が聞き辛い受信
者を対象に、情報伝達の本質であるスピーチを聞きよく
するための配慮はなされていないのが現状である。
【0009】本発明は、上記事情に鑑みてなされたもの
であり、その目的は、付加情報の容量を少なく抑えたま
ま高音質でスピーチと背景音とを分離できるとともに、
聴取者が自分の好みの割合で両者を混合することのでき
る混合音声信号受信装置を提供することにある。
【0010】
【課題を解決するための手段】上記の目的を達成するた
めに本発明は、送信側において、スピーチと背景音とを
混合して混合音声信号を生成するとともに、スピーチと
背景音とから信号分離用の付加情報信号を生成してこれ
ら混合音声信号と付加情報信号とが多重された伝送信号
を受信する装置であって、前記伝送信号を受信して得ら
れた受信信号中から前記混合音声信号と付加情報信号と
を分離するとともに、分離された付加情報信号に基づい
てスピーチと背景音とを分離する分離手段と、この分離
手段によって分離されたスピーチと背景音とを所望の割
合で混合可能な混合手段とを備えたことを特徴としてい
る。
【0011】
【作用】送信側において、スピーチの各フレームが、無
音区間か、周期的区間か、あるいは非周期的区間かとい
う区間情報、スピーチが周期的区間であるときのピッチ
データ、スピーチが有音区間であるときのスピーチのパ
ワースペクトル包絡を表すベクトル番号、およびスピー
チが有音区間であるときの背景音のパワースペクトル包
絡を表すベクトル番号等の付加情報が生成され、混合音
声信号とともに多重伝送される。
【0012】受信側では、先ず、混合音声と付加情報と
が分離され、この付加情報に基づき、混合音声がスピー
チと背景音に分離される。分離されたスピーチと背景音
は聴取者の好みの割合で混合された音声となる。
【0013】
【実施例】図1は、本発明に係る混合音声信号伝送方式
および混合音声信号受信装置が適用された一実施例構成
を示すブロック図である。
【0014】図示の装置の送信系は、音声混合器1と、
付加情報抽出器2と、送信機3とを備え、スピーチと背
景音とを混合するとともに、スピーチと背景音とから付
加情報を生成してこれら混合音声信号と付加情報信号と
を多重して伝送する。一方、請求項1の混合音声信号受
信装置を構成する受信系は、受信機4と、スピーチ/背
景音分離器5と、音声混合器6とを備え、受信信号から
混合音声と付加情報とを分離するとともに、付加情報に
基づいてスピーチと背景音を分離し、分離したスピーチ
と背景音は好みの割合で混合可能となっている。
【0015】図2には、上記付加情報抽出器2の構成が
示されている。
【0016】この付加情報抽出器2は、スピーチの信号
からフレームを切り出すフレーム切り出し部201と、
スピーチ信号のフレームから無音・有音を判定する無音
・有音判定部202と、有音区間のピッチを抽出するピ
ッチ抽出部203と、同じく有音区間からフレームの線
形予測分析を行うLPC分析部204と、LPC分析部
204のスペクトル包絡の係数をベクトル量子化するベ
クトル量子化部205と、背景音の信号からフレームを
切り出すフレーム切り出し部206と、切り出されたフ
レームの線形予測分析を行うLPC分析部207と、L
PC分析部207のスペクトル包絡の係数をベクトル量
子化するベクトル量子化部208と、無音・有音判定部
202の区間情報とピッチ抽出部203のピッチデータ
と各ベクトル量子化部205および208の各ベクトル
番号とから符号化された付加情報を生成して前記送信機
3へ出力するエンコーダ209とを備えている。
【0017】次に、この付加情報抽出器2の作用を説明
する。
【0018】スピーチは、フレーム切り出し部201に
おいて、フレーム長20ms、フレーム周期10msの
ハミング窓により一定長のフレームに切り出される。切
り出された各フレームは無音・有音判定部202に出力
される。
【0019】無音・有音判定部202では、供給された
各フレームが無音区間か有音区間かの判定をそのパワー
に基づいて行う。ここでいう無音区間とは、スピーチの
無音区間、すなわち言葉を話していない区間のことをい
い、有音区間とは無音区間以外の区間をいう。この区間
情報はエンコーダ209に出力される。
【0020】有音区間については、ピッチ抽出部203
においてそのピッチが抽出される。ピッチが抽出された
場合はこれを周期的区間とし、ピッチが抽出されない場
合には非周期的区間とする。周期的区間のピッチデータ
はエンコーダ209に出力される。
【0021】また、有音区間と判定されたフレームにつ
いては、LPC分析部204において線形予測分析がさ
れる。ここでは、5次のLPCケプストラム係数を用い
パワースペクトルの包絡を表す係数が求めれる。こうし
て求められたスペクトル包絡の係数はベクトル量子化部
205に出力される。
【0022】ベクトル量子化部205では、スペクトル
包絡の係数がベクトル量子化されベクトル番号に変換さ
れる。なお、ベクトル量子化のためのコードブックは、
予め多数のスピーチから作成しておく。また、コードブ
ックのサイズは8ビット256とし、LBG(Linde,Bu
zo,Gray )アルゴリズムを用いてクラスタリングを行
う。このとき、真のスペクトルとコードブック中で最も
近いスペクトルとの距離が、ある一定のしきい値よりも
大きいときは量子化しない。求められたベクトル番号は
エンコーダ209に出力される。
【0023】一方、背景音に関しても、スピーチ同様
に、フレーム切り出し部206でフレーム切り出しが行
われ、切り出された各フレームの線形予測分析がLPC
分析部207で行われる。そのスペクトル包絡の係数は
ベクトル量子化部208でベクトル番号に変換される。
ただし、ベクトル量子化のためのコードブックは、前記
ベクトル量子化部205におけるコードブックとは異な
り、予め音楽や効果音等の多数の背景音から作成され
る。求められたベクトル番号はエンコーダ209に出力
される。
【0024】エンコーダ209には、スピーチの各フレ
ームが、無音区間か、周期的区間か、あるいは非周期的
区間かという区間情報、スピーチが周期的区間であると
きのピッチデータ、スピーチが有音区間であるときのス
ピーチのパワースペクトル包絡を表すベクトル番号、お
よびスピーチが有音区間であるときの背景音のパワース
ペクトル包絡を表すベクトル番号が供給され、これらの
情報は符号化された付加情報となる。
【0025】こうして求められた付加情報は前記送信機
3において混合音声に多重されて伝送される。
【0026】図3には、前記スピーチ/背景音分離器5
の構成が示されている。
【0027】このスピーチ/背景音分離器5は、入力し
た付加情報から前記区間情報、ピッチデータ、スピーチ
のベクトル番号および背景音のベクトル番号を復号化す
るデコーダ501と、復号化された区間情報から混合音
声のフレーム切り出しを行うフレーム切り出し部502
と、フレームの区間を判定する区間判定部503と、無
音区間の混合音声を除去する除去部504と、有音区間
の混合音声を高速フーリエ変換するFFT505と、F
FT出力から背景音のパワースペクトルを減算するスペ
クトルサブトラクション部506と、スペクトルサブト
ラクション部506の出力スペクトルをフィルタリング
するウィーナーフィルタ507と、ウィーナーフィルタ
出力を高速逆フーリエ変換するIFFT508と、IF
FT出力をフィルタリングするくし形フィルタ509
と、フレームのつなぎ合わせを行うつなぎ合わせ部51
0と、適応フィルタ部511とを備えて構成されてい
る。
【0028】次にこのスピーチ/背景音分離器5の作用
を説明する。
【0029】受信機4により受信信号が混合音声と付加
情報に分離された後、スピーチ/背景音分離器5に供給
される。
【0030】デコーダ501では、付加情報から前記区
間情報、ピッチデータ、スピーチのベクトル番号および
背景音のベクトル番号がデコードされる。区間情報はフ
レーム切り出し部502と区間判定部503へ、ピッチ
データはくし形フィルタ509へ、スピーチのベクトル
番号はウィーナーフィルタ507へ、背景音のベクトル
番号はスペクトルサブトラクション部506へそれぞれ
出力される。
【0031】フレーム切り出し部502では、入力した
混合音声がフレーム単位で切り出される。切り出しタイ
ミングは区間情報を参照しながら送信側と同期をとって
行う。
【0032】区間判定部503では、フレームに切り出
された混合音声が区間情報を参照してスピーチの無音区
間、有音区間、周期的区間、非周期的区間に分離され
る。分離された無音区間は除去部504へ出力され、こ
の除去部504にて無音区間の混合音声が除去される。
除去された無音区間の混合音声はつなぎ合わせ部510
に出力される。
【0033】有音区間については、FFT部505の高
速フーリエ変換によって周波数領域に変換され、混合音
声のパワースペクトルが求められる。
【0034】スペクトルサブトラクション部506で
は、混合音声のパワースペクトルから背景音のベクトル
番号に対応したパワースペクトルが減算され、スピーチ
のパワースペクトルが求められる。このとき、減算結果
が負となるところは0に置き換える。
【0035】次に、ウィーナーフィルタ部507では、
入力したスピーチのベクトル番号に基づきスペクトルサ
ブトラクション部506の出力に対して次式で示される
特性を持つウィーナーフィルタ処理を施す。
【0036】 H(ω)=(スピーチのベクトル番号に対応したパワー
スペクトル)/(混合音声のパワースペクトル) ウィーナーフィルタ部507の出力スペクトルは、IF
FT部508の高速逆フーリエ変換によって時間波形に
復元される。この時間波形の周期的区間はくし形フィル
タ部509へ、非周期的区間はつなぎ合わせ部510へ
出力される。
【0037】くし形フィルタ部509では、IFFT部
508の出力に対して、入力されたピッチデータに基づ
き、ピッチ周波数とその整数倍の周波数成分のみからな
るスピーチを取り出す。
【0038】上述のようにして復元された無音区間、周
期的区間、非周期的区間の各信号波形は、つなぎ合わせ
部510にて加算されて、分離されたスピーチとなる。
【0039】適応フィルタ部511では、分離されたス
ピーチに適応フィルタを施す。フィルタ出力を減算部5
12により混合音声から減算して背景音が分離される。
分離された背景音は適応フィルタ部511にフィードバ
ックされ適応フィルタ部511の出力が波形等価される
ように最適な係数に修正される。
【0040】こうして混合音声から分離されたスピーチ
と背景音は前記混合器6へ出力され、この混合器6によ
り聴取者の好みの割合で混合され最適な音声となるので
ある。
【0041】このように本実施例によれば、従来のスピ
ーチ・エンハンスメントや雑音除去技術では困難であっ
た受信側での信号分離が、信号分離に適した付加情報を
送信側から伝送することによって可能となる。
【0042】また、従来技術では、混合音声から背景音
を分離することは困難であったが、本実施例によれば、
スピーチと背景音の両方を抽出分離でき、分離されたス
ピーチと背景音を聴取者の最も聞きやすい割合で混合す
ることができる。したがって、放送システムに適用した
場合、ニュース番組やドラマなど、多様な背景音を持つ
番組を聴取するのに十分有効なものとなる
【0043】
【発明の効果】以上説明したように本発明によれば、付
加情報の容量を少なく抑えつつ、混合音声からスピーチ
と背景音とを高音質で分離でき、聴取者が自分の好みの
割合で両者を混合することが可能となる。
【図面の簡単な説明】
【図1】本発明に係る混合音声信号受信装置が適用され
た一実施例構成を示すブロック図である。
【図2】付加情報抽出器の一実施例構成を示すブロック
図である。
【図3】スピーチ/背景音分離器の一実施例構成を示す
ブロック図である。
【符号の説明】
2 付加情報抽出器 3 送信機 4 受信機 5 スピーチ/背景音分離器 6 混合器
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04B 14/04 G10L 19/00 H04H 1/00 特許ファイル(PATOLIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 送信側において、スピーチと背景音とを
    混合して混合音声信号を生成するとともに、スピーチと
    背景音とから信号分離用の付加情報信号を生成してこれ
    ら混合音声信号と付加情報信号とが多重された伝送信号
    を受信する装置であって、 前記伝送信号を受信して得られた受信信号中から前記混
    合音声信号と付加情報信号とを分離するとともに、分離
    された付加情報信号に基づいてスピーチと背景音とを分
    離する分離手段と、 この分離手段によって分離されたスピーチと背景音とを
    所望の割合で混合可能な混合手段と、 を備えたことを特徴とする混合音声信号受信装置。
JP03211807A 1991-08-23 1991-08-23 混合音声信号受信装置 Expired - Fee Related JP3131249B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03211807A JP3131249B2 (ja) 1991-08-23 1991-08-23 混合音声信号受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03211807A JP3131249B2 (ja) 1991-08-23 1991-08-23 混合音声信号受信装置

Publications (2)

Publication Number Publication Date
JPH0556007A JPH0556007A (ja) 1993-03-05
JP3131249B2 true JP3131249B2 (ja) 2001-01-31

Family

ID=16611927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03211807A Expired - Fee Related JP3131249B2 (ja) 1991-08-23 1991-08-23 混合音声信号受信装置

Country Status (1)

Country Link
JP (1) JP3131249B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19628292B4 (de) 1996-07-12 2007-08-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Codieren und Decodieren von Stereoaudiospektralwerten
US6985594B1 (en) * 1999-06-15 2006-01-10 Hearing Enhancement Co., Llc. Voice-to-remaining audio (VRA) interactive hearing aid and auxiliary equipment
US6351733B1 (en) * 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7266501B2 (en) 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
GB2365241B (en) * 2000-07-19 2005-01-19 Nec Technologies Introducing background signals to communication systems
US8448648B2 (en) 2002-10-28 2013-05-28 Kiss Nail Products, Inc. Artificial nail and method of forming same
US7677257B2 (en) 2002-10-28 2010-03-16 Kiss Nail Products, Inc. Artificial nail and method of forming same
US7337783B2 (en) 2002-10-28 2008-03-04 Kiss Nail Products, Inc. Fingernail accessory and method of forming an artificial fingernail
US7150281B2 (en) 2002-10-28 2006-12-19 Kiss Nail Products, Inc. Conformable artificial fingernail and method of making same
US7185660B1 (en) 2004-05-13 2007-03-06 Kiss Nail Products, Inc. Artificial fingernail and method of making same
WO2006022308A1 (ja) * 2004-08-26 2006-03-02 Matsushita Electric Industrial Co., Ltd. マルチチャネル信号符号化装置およびマルチチャネル信号復号装置
JP4449987B2 (ja) 2007-02-15 2010-04-14 ソニー株式会社 音声処理装置、音声処理方法およびプログラム

Also Published As

Publication number Publication date
JPH0556007A (ja) 1993-03-05

Similar Documents

Publication Publication Date Title
JPH10509256A (ja) ピッチ操作器を使用する音声信号の変換方法
JP3131249B2 (ja) 混合音声信号受信装置
EP2030199B1 (en) Linear predictive coding of an audio signal
US6289311B1 (en) Sound synthesizing method and apparatus, and sound band expanding method and apparatus
US7162045B1 (en) Sound processing method and apparatus
US20030216907A1 (en) Enhancing the aural perception of speech
GB2327835A (en) Improving speech intelligibility in noisy enviromnment
JP5737808B2 (ja) 音響処理装置およびそのプログラム
US9031835B2 (en) Methods and arrangements for loudness and sharpness compensation in audio codecs
KR20070019718A (ko) 오디오 신호 부호화 장치 및 오디오 신호 복호화 장치
US8170885B2 (en) Wideband audio signal coding/decoding device and method
CN1254221A (zh) 基于窄带信号产生宽带信号的方法装置及其技术设备
JPH1028057A (ja) オーディオ復号化装置及びオーディオ符号化復号化システム
JPH0946233A (ja) 音声符号化方法とその装置、音声復号方法とその装置
JP4657570B2 (ja) 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体
US5687243A (en) Noise suppression apparatus and method
US20050246170A1 (en) Audio signal processing apparatus and method
JP2002341896A (ja) ディジタルオーディオ圧縮回路および伸長回路
JP2000122695A (ja) 後置フィルタ
WO1998006090A1 (en) Speech/audio coding with non-linear spectral-amplitude transformation
JP2000152394A (ja) 軽度難聴者用補聴装置、軽度難聴者対応伝送システム、軽度難聴者対応記録再生装置、及び軽度難聴者対応再生装置
GB2343822A (en) Using LSP to alter frequency characteristics of speech
JP2000148161A (ja) 自動音質音量制御方法と装置
JP3230791B2 (ja) 広帯域音声信号復元方法
WO2010137692A1 (ja) 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees