JP4473913B2 - スペクトル/変調スペクトル域表現における変形による情報信号処理 - Google Patents

スペクトル/変調スペクトル域表現における変形による情報信号処理 Download PDF

Info

Publication number
JP4473913B2
JP4473913B2 JP2007509903A JP2007509903A JP4473913B2 JP 4473913 B2 JP4473913 B2 JP 4473913B2 JP 2007509903 A JP2007509903 A JP 2007509903A JP 2007509903 A JP2007509903 A JP 2007509903A JP 4473913 B2 JP4473913 B2 JP 4473913B2
Authority
JP
Japan
Prior art keywords
spectral
representation
sequence
information signal
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007509903A
Other languages
English (en)
Other versions
JP2007535849A (ja
JP2007535849A5 (ja
Inventor
サッシャ ディスヒ
カルステン リンツマイアー
ユールゲン ヘレ
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2007535849A publication Critical patent/JP2007535849A/ja
Publication of JP2007535849A5 publication Critical patent/JP2007535849A5/ja
Application granted granted Critical
Publication of JP4473913B2 publication Critical patent/JP4473913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02087Noise filtering the noise being separate speech, e.g. cocktail party

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Optical Communication System (AREA)
  • Holo Graphy (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Liquid Crystal (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、全体として音声信号、映像信号または他のマルチメディア信号のような情報信号の処理に関し、特にスペクトル/変調スペクトル域における情報信号の処理に関する。
デジタル音声信号の処理のような信号処理の分野において、多くの場合、信号は搬送波成分と変調成分とで構成される。変調された信号の場合、例えばその信号をフィルタリング、コーディングまたは他の方法による変形を可能にするために、多くの場合に信号を搬送波成分と変調成分とに分解する表現方式が必要となる。
音声コーディングのために、例えば、音声信号をいわゆる変調変換にかけることが知られている。このとき、音声信号は変換によって周波数バンドに分解される。続いて、大きさおよび位相への分解が実行される。位相にはそれ以上の処理はされないが、サブバンドごとの大きさは、第2の変換において多数の変換ブロックを通して再変換される。その結果、それぞれのサブバンドの時間エンベロープの周波数は変調係数に分解される。このような変調変換で構成される音声コーディングは、例えば、エム・ヴィントン(M.Vinton)およびエル・アトラス(L.Atlas)の「拡張可能で漸進的な音声コーディック(A Scalable and Progressive Audio Codec)」、2001年5月7−11日、ソルトレークシティにおける2001 IEEE ICASSPのプロシーディングと、米国特許出願公報US2002/0176353A1:アトラス(Atlas)らの「拡張可能で知覚的にランク付けされた信号コーディングおよびデコーディング(Scalable And Perceptually Ranked Signal Coding And Decoding)」、2002年11月28日発行と、ジェー・トンプソン(J.Thompson)およびエル・アトラス(L.Atlas)の「時間分解能を増大させた音声コーディングのための不均一な変調変換(A Non−uniform Modulation Transform for Audio Coding with Increased Time Resolution)」、2003年4月6−10日、ホンコンにおける2003 IEEE ICASSPのプロシーディングとに記載されている。
非同期および同期復調技術などを含んだ復調される信号の全バンド幅にわたるさらなる各種の復調技術の概要が、例えば、エル・アトラス(L.Atlas)の論文「統合音響変調周波数(Joint Acoustic And Modulation Frequency)」、実用信号処理に関するEURASIPジャーナル7号(Journal on Applied Signal Processing 7 EURASIP)、2003年、第668頁−第675頁に記載されている。
変調変換を用いた音声コーディングのための上述のスキームの欠点は、以下のことである。変調係数と位相とにそれ以上の処理ステップを実行しなければ、変調係数は、可逆的で完全に再構成可能な音声信号のスペクトル/変調スペクトル表現を形成し、すなわち、これは時間領域における元の音声信号に戻さなくても再変換可能である。しかしながら、これらの方法において、変調係数は、最大の圧縮率が得られるように、心理音響的な基準に従ってできるだけ小さい値に低減および/または量子化するようにフィルタされる。しかしながら、このやり方では、得られた信号から個別の変調成分を除去し、または、この成分に意図的に量子化ノイズを導入するという、所望の目的を一般的には達成できない。このことは、変更された変調係数の逆変換の後では、サブバンドの位相は、もはやこれらサブバンドの変更後の大きさと整合せず、元の信号の強い変調成分を継続して含有しているという事実に起因する。サブバンドの位相をそのまま変更されたその大きさと再び結合すると、フィルタされまたは量子化された信号に、これらの変調成分がその位相によって再導入される。すなわち、上述の方法における変調変換と、それに続く変調係数の変形つまり変調係数のフィルタリングと、その後の位相および大きさ成分の合成とを行うことで、スペクトル/変調スペクトル域表現において、別の分析および/または変調変換であればフィルタ除去されているはずの位置に、まだかなりの変調成分を含有している信号が生成される。このように、上述の変調変換ベースの信号処理スキームに基づいて効果的なフィルタリングを行うことはできない。
したがって、さらに制御されたやり方で変調成分と搬送波成分とに従って分離された搬送波成分および変調成分を含む変調された信号を処理することを可能にする、情報信号処理スキームが求められている。
米国特許出願公報US2002/0176353A1 エム・ヴィントン(M.Vinton)およびエル・アトラス(L.Atlas)の「拡張可能で漸進的な音声コーディック(A Scalable and Progressive Audio Codec)」、2001年5月7−11日、ソルトレークシティにおける2001 IEEE ICASSPのプロシーディング ジェー・トンプソン(J.Thompson)およびエル・アトラス(L.Atlas)の「時間分解能を増大させた音声コーディングのための不均一な変調変換(A Non−uniform Modulation Transform for Audio Coding with Increased Time Resolution)」、2003年4月6−10日、ホンコンにおける2003 IEEE ICASSPのプロシーディング エル・アトラス(L.Atlas)の論文「統合音響変調周波数(Joint Acoustic And Modulation Frequency)」、実用信号処理に関するEURASIPジャーナル7号(Journal on Applied Signal Processing 7 EURASIP)、2003年、第668頁−第675頁
それゆえに、本発明の目的は、さらに制御されたやり方で変調成分と搬送波成分とに従って分離される情報信号の処理を可能にする、情報信号のための処理スキームを提供することである。
この目的は、請求項1による装置および請求項18による方法によって達成される。
情報信号を処理するための本発明の装置は、情報信号をブロック単位で変換することによって情報信号を時間/スペクトル表現に変換するための手段と、情報信号を時間/スペクトル表現からスペクトル/変調スペクトル表現に変換するための手段とを含み、変換するための手段は、スペクトル/変調スペクトル表現が情報信号の時間/スペクトル表現の大きさ成分および位相成分の双方によって決まるように設計されている。そこで、ある手段は、変形されたスペクトル/変調スペクトル表現を得るためにスペクトル/変調スペクトル表現における情報信号の操作および/または変形を実行する。さらなる手段は、変形されたスペクトル/変調スペクトル表現に基づいて、最終的に、情報信号の処理されたバージョンを表す処理済情報信号を形成する。
本発明の中核となる考え方は、時間/スペクトル表現および/または時間/周波数表現から、スペクトル/変調スペクトル表現および/または周波数/変調周波数表現への情報信号の変換が情報信号の時間/スペクトル表現の大きさ成分および位相成分の双方に応じて実施されれば、変調成分と搬送波成分とをもっと厳密に分離した情報信号の処理が実現できるということである。これにより、位相と大きさとの再結合を排除し、したがって、合成側の処理済情報信号の時間表現への望ましくない変調成分の再取り込みを排除する。
大きさおよび位相の双方を考慮した時間/スペクトル表現からスペクトル/変調スペクトル表現への情報信号の変換には、情報信号の時間/スペクトル表現が、実際には情報信号だけでなく、情報信号の搬送波スペクトル成分に関する時間ブロックの位相オフセットにも依存しているという問題が関わってくる。すなわち、情報信号を時間表現から時間/スペクトル表現へブロック単位で変換することは、情報信号の搬送波周波数成分に関するブロック繰り返し周波数の非同期性だけによって決まるアップ変調された複素搬送波を含むために、情報信号の時間/スペクトル表現においてスペクトル成分ごとに得られるスペクトル値のシーケンスを生じる。したがって、本発明の実施形態によれば、情報信号の時間/スペクトル表現におけるスペクトル値のシーケンスの復調は、スペクトル成分ごとにスペクトル値の復調されたシーケンスを得るために、スペクトル成分ごとに実行される。このようにして得られたスペクトル値の復調されたシーケンスのその後の変換は、時間/スペクトル表現のスペクトル/変調スペクトル表現へのブロック単位の変換によって、および/または、これらのブロック単位のスペクトル分解によって実行され、これにより変調値のブロックが得られる。これらは、操作されおよび/または変形され、例えば、元の情報信号から変調成分を除去するバンドパスフィルタリングのための対応する重み関数によって重み付けされる。結果として、スペクトル値の復調され変形されたシーケンス、および/または、復調され変形された時間/スペクトル表現が得られる。このようにして得られたスペクトル値の復調され変形されたシーケンスは、複素搬送波によって再度変調され、これにより処理済情報信号の時間/スペクトル表現の部分を表すスペクトル値の変形されたシーケンスが得られる。この表現の時間表現への逆変換は、時間表現および/または時間領域における処理済情報信号を生じ、これは、変調および搬送波成分に関する元の情報信号に関して高い精度で変更することができる。
本発明の好ましい実施形態が添付図面を参照して後に詳細に説明されるが、これらの図としては:
図1は、本発明の実施形態による情報信号を処理するための装置のブロック回路図を示し、
図2は、図1の装置の動作を図解するための概略図を示す。
図1は、本発明の実施形態による情報信号を処理するための装置を示す。図1の10で全般的に示された装置は、処理される情報信号14を受信する入力部12を含む。図1の装置は、典型例として、変調成分が情報信号14から除去されるように情報信号14を処理し、搬送波成分だけを含有する処理済情報信号を得るように設けられる。さらに、装置10は、処理結果および/または処理済情報信号18として搬送波成分を出力するための出力部16を含む。
装置10の内部は、基本的に、情報信号14を時間表現から時間/周波数表現に変換するための部分20と、情報信号を時間/周波数表現から周波数/変調周波数表現に変換するための手段22と、実際の処理、すなわち、情報信号の変形が実行される部分24と、周波数/変調周波数表現において処理された情報信号をこの表現から時間表現に逆変換するための部分26とに分けられる。前述の4つの部分は、入力部12と出力部16との間に、前述の順序で直列に接続され、これらのさらなる詳細な構造およびさらなる詳細な動作を以下に説明する。
装置10の部分20は、入力部12に続いて、ウィンドウ処理手段28および変換手段30をこの順序で含む。特に、ウィンドウ処理手段28の入力端は、情報値のシーケンスとして情報信号14を受信する入力部12に接続される。情報信号がまだアナログ信号の形のままである場合、それを、例えば、A/Dコンバータおよび/または離散サンプリングによって、情報および/またはサンプル値のシーケンスに変換することができる。ウィンドウ処理手段28は、情報値のシーケンスから各情報値と同数のブロックを形成し、さらに、情報値の各ブロックに重み関数によって重み付けを付加的に実行し、ただし、これは、例えば、サイン窓またはKBD窓などに排他的に対応させることはできない。これらのブロックは、例えば50%オーバーラップさせることができるし、させないこともできる。単なる例として、以降の説明では50%のオーバーラップを想定する。好ましい窓関数は、それらが時間/スペクトル表現における良好なサブバンド分離を可能とし、それらが同一の情報値に適用されると相互に対応するそれらの重み付け値の2乗の合計がオーバーラップ領域において1になる特性を有する。
ウィンドウ処理手段28の出力端は、変換手段30の入力端に接続される。ウィンドウ処理手段28から出力された情報値のブロックは、変換手段30によって受信される。そこで、変換手段30は、それらをブロック単位で、DFTまたは別の複素変換のようなスペクトル的に分解する変換にかける。これにより、変換手段30は、ウィンドウ処理手段28から情報信号14を受信すると、情報信号14をスペクトル成分にブロック単位で分解し、時間ブロックごとにスペクトル成分ごとに1つのスペクトル値を含むスペクトル値のブロックを特に生成する。いくつかのスペクトル値をサブバンドに結合することができる。しかしながら、以下の説明では、サブバンドという用語とスペクトル成分という用語とが同義語として用いられる。そこで、時間ブロックごとに、各スペクトル成分および/または各サブバンドのために、1つのスペクトル値、または、以下の説明では想定していないがサブバンド結合がある場合には、いくつかのスペクトル値が与えられることになる。したがって、変換手段30は、このスペクトル成分および/またはこのサブバンドの時間的経過を表現する、スペクトル成分および/またはサブバンドごとのスペクトル値のシーケンスを出力する。変換手段30によるスペクトル値の出力は、情報信号14の時間/周波数表現を表す。
部分22は、搬送波周波数決定手段32と、復調手段として働くミキサ34と、ウィンドウ処理手段36と、第2の変換手段38とを含む。
ウィンドウ処理手段36は、変換手段30の出力端に接続された入力端を含む。その処理手段は、個々のサブバンドのスペクトル値シーケンスを受信し、情報信号14に関するウィンドウ処理手段28と同様に、サブバンドごとのスペクトル値シーケンスをブロックに分割し、適切な重み関数で各ブロックのスペクトル値に重み付けをする。この重み関数については、既に前記で手段28に関して典型例として述べた重み関数の1つとすることができる。サブバンドにおける連続するブロックをオーバーラップさせるか、またはさせないことができ、以下の説明では、説明例として前述同様に50%の相互オーバーラップを想定する。以下の説明では、異なるサブバンドのブロックは相互に整列していると想定し、これについては、図1に関して後に詳細に説明する。ただし、サブバンド間のブロックシーケンスオフセットに関する別のやり方も考えられる。そのウィンドウ処理手段は、出力端から、サブバンドごとに、ウィンドウ処理されたスペクトル値ブロックのシーケンスを出力する。
また、搬送波周波数決定手段32は、サブバンドごとのスペクトル値のシーケンスとしてサブバンドおよび/またはスペクトル成分のスペクトル値を得るために、変換手段30の出力端に接続された入力端を含む。この手段は、各サブバンドについて、サブバンドの個々のスペクトル値が導き出された個々の時間ブロックから得られた搬送波成分を、情報信号14の搬送周波数成分に関して時間において変化する位相オフセットを含めて、検知するように構成されている。搬送波周波数決定手段32は、サブバンドごとに決定された搬送波成分を、その出力端からミキサ34の入力端に出力し、ミキサは、これと別にウィンドウ処理手段36の出力端に接続された入力端を有する。
ミキサ34は、変換手段によって出力されたウィンドウ処理されたスペクトル値のブロックに、サブバンドごとに、それぞれのサブバンドのために搬送波周波数決定手段32によって決定されたそれぞれの搬送波成分の共役複素数を乗じ、これにより、サブバンド、および/または、ウィンドウ処理されたスペクトル値のブロックを復調するように設計されている。
このようにして、ミキサ34の出力端における出力結果は、復調されたサブバンド、および/または、サブバンドごとのウィンドウ処理されたスペクトル値の復調されたブロックのシーケンスである。ミキサ34の出力端は変換手段38の入力端に接続され、後者は、サブバンドごとに、ここでは例として50%ずつ、相互にオーバーラップし、ウィンドウ処理され復調されたスペクトル値のブロックを受信し、これらをブロック単位でスペクトル/変調スペクトル表現に変換および/またはスペクトル的に分解し、この時点では、すべてのサブバンドおよび/またはスペクトル成分を処理することによって、サブバンドスペクトル値シーケンスの復調に関して変形された情報信号14の周波数/変調周波数表現を生成する。変換手段38がサブバンドごとに基づく変換方式を、例えば、DFT、MDCT、MDSTなどとすることができ、さらには、変換手段30と同じ変換方式にすることもできる。図1は、例として、両方の変換手段30、38の変換方式をDFTとしている。
したがって、変換手段38は、各サブバンドおよび/または各スペクトル成分のために、ウィンドウ処理され復調されたスペクトル値のブロックのスペクトル分解を表し以降に変調値と呼ぶ値のブロックを、その出力端に連続的に出力する。変換手段38が変換を実行したサブバンドごとのスペクトル値のブロックは、相互に時間配列され、時間期間ごとの結果が、常に直ちにサブバンドごとの変調値ブロックで構成される変調値のマトリックスとなる。変換手段38は、変調値を、信号処理手段40を含む部分24に送信する。
信号処理手段40は、変換手段38の出力端に接続され、したがって、変調値のブロックを受信する。本例の場合において、装置10は、変調成分抑制の機能を果たすので、信号処理手段40は、変調値の入力されたブロックに周波数領域において効果的なローパスフィルタリングを実行し、すなわち、変調周波数ゼロから始まり、より高いおよび/またはより低い変調周波数になる関数によって変調値の重み付けをする。このように変調値の変形されたブロックは、信号処理手段40によって逆変換部分26に送信される。信号処理手段40によって出力された変調値の変形されたブロックは、情報信号14の変形された周波数/変調周波数表現、または、言い換えれば、ミキサ34による復調によって変形された情報信号18の周波数/変調周波数表現からさらに異なる周波数/変調周波数表現を表す。
次に、逆変換部分26は、2つの部分、すなわち、信号処理手段40から出力された処理済情報信号18を周波数/変調周波数表現から時間/周波数表現に変換するための部分と、その処理済情報信号を時間/周波数表現から時間表現に逆変換するための部分とに分けられる。2つの部分のうち前者は、変換手段38による変換とは逆向きのブロック単位の変換を実行するための変換手段42と、ミキサ46と、結合手段44とを含む。逆変換部分26の後者の部分は、変換手段30による変換とは逆向きのブロック単位の変換を実行するための変換手段48と、結合手段50とを含む。
逆変換手段42は、その入力端が信号処理手段40の出力端に接続され、変調値の変形されたブロックをサブバンド単位でスペクトル表現から逆に時間/周波数表現に変換し、これにより、サブバンドごとにスペクトル値の変形されたブロックのシーケンスを得るためにスペクトル分解を逆にする。逆変換手段42によって出力されたこれらの変形されたスペクトル値ブロックは、信号処理手段40による処理だけでなく、ミキサ34による復調によっても、ウィンドウ処理手段36によって出力されるスペクトル値ブロックとは異なっている。したがって、ミキサ46は、時間ブロックの位相オフセットによって生じる搬送波で再度スペクトル値ブロックを変調するために、サブバンドごとに逆変換手段42によって出力される変形されたスペクトル値ブロックのシーケンスを受信し、それらを複素搬送波と混合し、その複素搬送波は、ミキサ34における情報信号の復調のために対応する位置でおよび/または対応するブロックで用いられた複素搬送波に関する共役複素数である。ミキサ46の出力端に生じる結果は、サブバンドごとの復調なしの変形されたスペクトル値ブロックのシーケンスである。
ミキサ46の出力端は、結合手段44の入力端に接続される。この手段は、それらがミキサ46から受信されるように、各サブバンドについてスペクトル値の隣接するおよび/または連続するブロックの相互に対応するスペクトル値を適切にリンクすることによって、均一なストリームおよび/またはスペクトル値の均一なシーケンスを形成するために、サブバンドごとに、再度アップ変調されたスペクトル値の変形されたブロックのシーケンスを複素搬送波と結合する。この結合は、オーバーラップする場合に相互に対応する重み付け値の2乗を加算すると1になる正特性を有する前述の重み関数を用いる場合、相互に関連するスペクトル値の単純な加算で行われる。結合手段44(OLA=オーバーラップ加算)の出力端からの出力結果は、サブバンドごとのスペクトル値の変形されたシーケンスで構成されている。このようにして、OLA44の出力端からの出力結果は、すべてのスペクトル成分のために、変形されたサブバンドおよび/またはスペクトル値の変形されたシーケンスとなり、情報信号14の変形された時間/周波数表現、および/または、変形された情報信号18の時間/周波数表現を表す。
変換手段48は、スペクトル値シーケンスを受信し、特に、すべてのサブバンドおよび/またはスペクトル成分のためのスペクトル値を順次に常に1つずつ受信し、および/または、変形された情報信号18の部分のスペクトル分解を順次に1つずつ受信する。この変換手段は、スペクトル分解を逆変換することによって、スペクトル分解のシーケンスから変形された時間ブロックのシーケンスを生成する。これらの変形された時間ブロックは、次に、結合手段50によって受信される。結合手段50は、結合手段44と同様に動作する。これは、隣接するおよび/または連続する変形された時間ブロックから相互に対応する情報値を加算することによって、例として50%のオーバーラップしている変形された時間ブロックを結合する。このようにして、結合手段50の出力端の出力結果は、処理済情報信号18を表現する情報値のシーケンスとなる。
上述した装置10の構造および個々の構成要素の動作について、以下に、図1および図2に関してさらに詳細にそれらの動作を説明する。
装置10による情報信号の処理は、入力部12で音声信号14の受信から開始される。情報信号14は、サンプリングされたフォームである。サンプリングは、例えば、アナログ/デジタルコンバータによって行われる。サンプリングは、特定のサンプリング周波数ωsで行われる。結果として情報信号14は、サンプルおよび/または情報値si=s(2π/ωs・i)のシーケンスとして入力部12に到着し、ここで、sはアナログ情報信号であり、siは情報値であり、インデックスiは情報値のためのインデックスである。入力されるサンプルsiの中で、50%のオーバーラップを有する本例では、ウィンドウ処理手段28は、時間ブロックを形成するために2N個の連続するサンプルを常に結合する。例えば、この手段は、インデックスn=0の時間ブロックを形成するためにs0からs2N-1までのサンプルを結合し、インデックスn=1の第2の時間ブロックを形成するためにsNからs3N-1までのサンプルを結合し、インデックスn=2の情報値の第3の時間ブロックを形成するためにs2Nからs4N-1までのサンプルを結合するなどである。ウィンドウ処理手段28は、上述のように、これらのブロックの各々を窓および/または重み関数によって重み付けする。例えば、sn 0からsn 2N-1を時間ブロックnの2N個の情報値とすると、手段28によって出力されるブロックは、最終的に、sn 0→sn 0・g0からsn 2N-1→sn 2N-1・g2N-1として生成され、ここで、i=0から2N−1までのgiは重み関数である。
図2は、ダイアグラム70において例として示したn=0、1、2、3の4つの連続する時間ブロックのための情報値siに適用されたウィンドウ処理関数を示し、このダイアグラムにおいて、時間tはx軸に沿って任意の単位でプロットされ、ウィンドウ処理関数の振幅はy軸に沿って任意の単位でプロットされている。このように、ウィンドウ処理手段28は、2N個の情報値の新しいウィンドウ処理された時間ブロックの各々を、常にN個の情報値の後で変換手段30に送信する。この時間ブロックの繰り返し周波数、はωs/Nである。
変換手段30は、ウィンドウ処理された時間ブロックをスペクトル表現に変換する。変換手段30は、ウィンドウ処理された情報値の時間ブロックのスペクトル分解を、複数の所定サブバンドおよび/またはスペクトル成分に実行する。本例では、変換方式はDFTおよび/または離散フーリエ変換である。2N個の情報値の各々の時間ブロックのために、この例において、情報信号が実数であれば、変換手段30は、N個のスペクトル成分のためのN個の複素数値化されたスペクトル値を生成する。変換手段30によって出力される複素スペクトル値は、情報信号の時間/周波数表現74を表す。この複素スペクトル値は、図2のボックス76に図示されている。変換手段30は、サブバンドおよび/またはスペクトル成分ごとの情報値の連続する時間ブロックごとに、少なくとも1つのスペクトル値を生成するので、変換手段30は、周波数ωs/Nで、サブバンドおよび/またはスペクトル成分ごとにスペクトル値76のシーケンスを出力する。時間ブロックのために出力されるスペクトル値は、図2において74の周波数軸78に沿って水平方向に配置されて示されている。連続する時間ブロックのために出力されるスペクトル値は、軸80に沿って垂直方向に下向きに続く。このように、軸78および80は、情報信号14の時間/周波数表現の周波数および/または時間軸を表す。典型例として、図2は、4つのサブバンドだけを示す。サブバンドごとのスペクトル値のシーケンスは、図2の例示表現において列に沿って流れ、82a、82b、82cおよび82dで示されている。
再度、一時的に図1を参照して、情報信号14を、例として、sin(βt)・(1+μ・sin(αt))で表される関数として説明するが、ここで、αは、例えば、点線84で示される情報信号14のエンベロープの変調周波数であり、また、βは情報信号14の搬送波周波数を表し、tは時間であり、μは変調度である。十分に高いサンプリング周波数ωsによって、時間ブロックごとの変換72によるこの例の情報信号のための出力結果は、スペクトル値76のブロック、すなわち、74の行となり、大抵の場合、この中のスペクトル成分および/または関連スペクトル値は、搬送波周波数βにおいて明確な最大値を有する。しかしながら、このスペクトル成分f=βのためのスペクトル値は、エンベロープ84の変化による連続する時間ブロックのために時間において変化する。したがって、スペクトル成分βのスペクトル値の大きさは、変調周波数αとともに変化する。
ここまでの説明においては、時間ブロックの繰り返し周波数ωs/Nと情報信号14の搬送波周波数との間の周波数不整合によって、さまざまな時間ブロックが搬送波周波数βに関して異なる位相オフセットを有する可能性があることを考慮に入れてこなかった。位相オフセットに応じて、変換72において時間ブロックから得られたスペクトルブロックのスペクトル値は、搬送波exp(j△φf)で変調され、ここで、jは虚数単位を表し、fは周波数を表し、△φはそれぞれの時間ブロックの位相オフセットを表す。本例の場合のように、基本的に等しい搬送波周波数に対しては、位相オフセット△φは直線的に増加する。したがって、サブバンドのスペクトル値は、時間ブロック繰り返し周波数と搬送波周波数との間の周波数不整合に起因して、この2つの周波数の不整合に応じて搬送波成分で変調される。
そこで、これを考慮に入れて、搬送波周波数決定手段32は、時間ブロックの位相オフセットによって生じた、および/または、スペクトル値a(ωb、n)から時間ブロック位相オフセットによって生じたサブバンドにおける搬送波成分を導き出し、ここで、ωbは、N個のすべてのサブバンド中の0≦b<Nにおけるそれぞれのサブバンドの角周波数ωおよび/または周波数f(ω=2πf)であり、nは、n=ωs・tによって時間tに関連付けられた時間ブロックおよび/またはスペクトルブロックインデックスである。このように決定変調搬送波周波数ω(m、f)は、ブロック単位で各サブバンドωbおよび/または各周波数fのために搬送波周波数決定手段32によって決定され、ここで、mは、ブロックインデックスを示し、これについては後でさらに詳しく説明する。このために、搬送波周波数決定手段32は、常に、スペクトル値a(ωb、0)からa(ωb、M−1)のように、サブバンドωbのM個の連続したスペクトル値76を結合する。この手段は、これらのM個のスペクトル値の中で、位相アンラッピングによって位相の挙動および/または経過を決定する。引き続き、この手段は、例えば、最小エラー2乗アルゴリズムによって、位相挙動に最も近似する一次方程式を決定する。一次方程式の、勾配および軸部分、および/または、位相または初期オフセットから、搬送波周波数決定手段32は、時間ブロックmに関するサブバンドbのための所望の変調搬送波周波数ωd、および/または、時間ブロックmに関するサブバンドbのためのスペクトル値ブロック位相オフセットφを得る。この決定は、搬送波周波数決定手段によって、時間において等しいスペクトル値を介してすべてのサブバンドのために、すなわち、0≦b<Nにおけるすべてのサブバンドωbのすべてのスペクトル値ブロックa(ωb0)からa(ωbM-1)のために実行される。このようなやり方で、搬送波周波数決定手段32は、各サブバンドωbのための変調搬送波周波数ωdおよびスペクトル値ブロック位相オフセットφを、次から次のブロックへと決定する。手段32によるすべてのサブバンドのための複素搬送波の決定に基づくブロックへの分割は、ウィンドウ処理のためのウィンドウ処理手段によって用いられる分割でもある。搬送波周波数決定手段32は、複素搬送波のための決定された値を復調手段および/またはミキサ34に出力する。
次に、ミキサ34は、ウィンドウ処理手段36によって出力される個々のサブバンドのスペクトル値のウィンドウ処理されたブロックと、これらのサブバンドスペクトル値ブロックにexp(−j・(ω_d・n+φ))を乗じることによってスペクトル値ブロック位相オフセットφを考慮しているそれぞれの変調搬送波周波数ωdの共役複素数とを混合し、上述のように、ここでは、各サブバンドのためにおよび連続するブロックのための各サブバンドに、相異なるωdおよびφのペアが常に用いられる。このようにして、ミキサ34は、相互に整列される復調されたサブバンドスペクトル値ブロック、すなわち、各々がM個の復調されたスペクトル値からなるN個のスペクトル値ブロックの二次元ブロックを出力する。
時間ブロックオフセットにより生じたサブバンドにおける変調は、ミキサ34による復調によって除去されるので、ブロック内のサブバンドにおけるスペクトル値の位相挙動は、平均してより平坦であり、基本的に位相0の周囲を動く。このやり方によって達成されるのは、変換手段38による次の変換において、スペクトル値の復調されウィンドウ処理されたブロックが、周波数0および/または所定成分に非常によく集中したスペクトル分解をもたらす結果となることである。
ミキサ34による復調84に続く変換手段38による変換86は、各サブバンドおよび/またはスペクトル値の復調されたブロックの各シーケンスにブロック単位で実施される。特に、変換86は、N個のサブバンドの復調されたスペクトル値ブロックをブロック単位でスペクトル分解にかける。スペクトル値のブロックのスペクトル分解の結果は、変調周波数表現ということもできる。このように、相互に整列されたウィンドウ処理され復調されたスペクトル値のN個のブロックのために、この変換86は、マトリックスに寄与するM個の時間ブロックの時間にわたる、情報信号14の周波数/変調周波数表現を表わすM×Nの変調値のマトリックスを生じる。この変調マトリックスは、例として、N=M=4の場合を図2の88に示す。図から分かるように、周波数/変調周波数表現88は、2つの次元、すなわち周波数90および変調周波数92を有する。個々の変調値は、88のボックス93で示される。
変換手段38は、変調マトリックスを処理手段40に送信する。本発明の実施形態によれば、処理手段40は、情報信号14から変調成分をフィルタ除去するように設けられる。したがって、本例の場合において、処理手段40は、周波数/変調周波数マトリックスにおいて変調周波数成分にローパスフィルタリングを実行する。説明のために、図1は、変調周波数がx軸に沿ってプロットされ、変調値の大きさがy軸に沿ってプロットされている図を94で示す。図の94は、図1の情報信号14の例における変調マトリックス88の切断部分、すなわちサイン変調されたサインを表している。特に、図の94は、周波数βすなわち搬送波周波数を有するサブバンドのための変調周波数に沿った変調値の大きさの経過を示している。ミキサ34による復調84によって、変調周波数スペクトルは、少なくとも変換86としてFFTの場合においては、実質的に完全に集中し、および/または、正しく配列されている。特に、搬送波周波数βにおける変調周波数スペクトルは、変調周波数α、すなわち情報信号14のエンベロープ84の変調周波数に位置する2つの側波帯96および98を有する。さらに、変調マトリックス88の変調値は、周波数βで定まった成分100を有する。ここで、信号処理手段40は、周波数/変調周波数表現88から2つの側波帯96および98を除去するために、点線で示されたフィルタ特性102を有するローパスフィルタとして設計されている。このようにして、情報信号14は、その変調成分が除去され、搬送波成分だけが残る。このように変更された変調マトリックスは、処理手段40によって逆変換手段42に送信される。逆変換手段42は、それぞれのサブバンドのための変調値のブロック、すなわち変調マトリックス88の列が変換手段38の変換とは逆向きの変換にかけられるように、各サブバンドのための変形された変調マトリックスを処理し、そのため、これらの変調値ブロックが周波数/変調周波数表現から逆に時間/周波数表現に変換される。このようにして、逆変換手段42は、各サブバンドのための変調値のこのような各ブロックから、サブバンドのためのスペクトル値のブロックを生成する。
変換手段30によるスペクトル値の出力から、上述の説明では、各サブバンドのために、最初のM個のスペクトル値、および/または、M個の連続するスペクトル値の処理について主として述べてきた。しかしながら、手段32、34、36、38、40および42のよる処理も、また、N個のサブバンドの各々のためのM個のスペクトル値の続くブロックのために、すなわち本例では各々50%ずつのM個のスペクトル値のブロックのオーバーラップで、すなわちサブバンドごとにM/2個のスペクトル値のオーバーラップで、繰り返される。図2において、ブロックは、例えば各サブバンドにおいてM=4のスペクトル値に広がる例えばアーチ形状のウィンドウ処理および/または重み関数によって時間/周波数表現74においてm=0、m=1およびm=2で例示的に示されている。これらブロックmの各々のために、変換手段38は、最終的にはそれぞれM×Nの変調値の変調マトリックスを生成し、このマトリックスは、上述した方法で信号処理手段40によってフィルタされおよび/または重み付けされる。続いて、逆変換手段42は、これらの変形された変調マトリックス88、すなわち変形されているがまだ復調されているスペクトル値のブロックのマトリックスから各サブバンドのためのスペクトル値のブロックを生成する。
しかしながら、逆変換手段42によって出力されるサブバンドごとのスペクトル値のブロックは、処理手段40による処理によってだけではなく復調で行われた変更によっても、ウィンドウ処理手段36の出力端における情報信号14から得られるスペクトル値のブロックとは異なっている。したがって、スペクトル値ブロックは、変調手段46において、前に復調された変調搬送波成分を用いて再度変調される。特に、前にexp(−j・(ω_d・n+φ))が乗じられたスペクトル値の対応するブロックは、今回はexp(+j・(ω_d・n+φ))が乗じられ、ここで、nは、それぞれのサブバンドのスペクトル値シーケンスのインデックスを示し、ω_dおよび/またはωdは、それぞれのスペクトル値ブロックのために手段32によって決定された複素変調搬送波の角周波数である。
変調ステージ46の後に得られるサブバンドごとのスペクトル値のブロックのシーケンスは、相互に一致するスペクトル値のブロックを本例では50%でオーバーラップし、さらに、ウィンドウ処理手段36で用いられた重み関数による相互に一致するスペクトル値を結合することによって、すなわち、上述の例のサインまたはKDB窓の場合には加算することによって、サブバンドごとにスペクトル値の均一なストリーム82a−82dを形成するために、結合手段44によって各サブバンドのために結合される。
結合手段44の出力端から得られるサブバンドごとのスペクトル値のストリームは、処理済情報信号18の時間/周波数表現を表す。このストリームは、逆変換手段48によって受信される。各時間ステップnにおいて、周波数表現から時間表現への変換を実行し、各nのための時間ブロックすなわち2πN/ωsの繰り返し持続時間を有する時間ブロックを得るために、すべてのサブバンドωbのためのスペクトル値すなわち0≦b<Nにおけるすべてのスペクトル値a(ωb、n)を用いる。
処理済情報信号は、図1における図に18で示され、そこにおいて、x軸は時間であり、y軸は情報信号18の振幅である。図より分かるように、残っているのは、入力側の情報信号14の搬送波成分だけである。変調成分および/またはエンベロープ成分84は、除去されている。
換言すれば、図1および図2の実施形態は、信号を搬送波成分と変調成分とに分解するために信号適応フィルタバンクを用い、さらに、信号をフィルタするために変調された信号の得られた表現を用いた処理装置を表したものである。ただし、信号処理手段においてフィルタ処理の代わりに、同様に、コーディング、暗号化または圧縮を実行し、あるいは他の方法で変調マトリックスを変形することも可能である。本明細書の導入部に記載された音声コーディングに用いられる大きさ形成を実行する変調変換方法と対比して、この実施形態では、サブバンドごとに搬送波成分に関して復調を実行する。搬送波周波数決定手段32においてこのサブバンド搬送波成分の推定の後、サブバンドごとの復調がこの成分の共役複素数を乗ずることによって達成される。このようにして復調されたサブバンド信号は、引き続きウィンドウ処理手段36および変換手段38によるさらなる周波数分解によって変調領域に変換される。
図1の実施形態において、第1の変換72として50%のオーバーラップでウィンドウ処理するDFTが一例に用いられていたが、偏差および変更も考えられる。第1の変換72からのいくつかのブロックは、ウィンドウ処理手段36によって、この例では50%のオーバーラップで、再度結合され、さらに、ミキサ34によって、搬送波周波数決定手段32によって決定された複素変調器によりサブバンド単位で復調され、引き続いてDFTにより変換された。上述の実施形態において、この変調器の周波数は、復調されるサブバンドの対応するブロックの位相から、搬送波周波数決定手段において、すなわち、対応するブロックのスペクトル値のアンラップされた位相経過を通した直線の近似設定によって導き出された。しかしながら、これもまた他の方法で実施することができる。搬送波周波数決定手段32は、例えば、nからn+M−1までのスペクトルブロック部分ごとに、その部分におけるすべてのサブバンドの位相成分にプレーンを近似的に設定することができる。さらに、搬送波周波数決定手段32がブロック単位で複素変調器の決定を実行するのではなく、サブバンドごとにスペクトル値のストリームにわたって連続的に決定を実行することも可能である。このために、搬送波周波数決定手段32は、例えば、まず、それぞれのサブバンドのスペクトル値のシーケンスの位相をアンラップし、例えばそれらをローパスフィルタし、次に、複素変調器を適合するためにフィルタされた位相経過の局所増大を用いることができる。同様に、ミキサ46の変調部分も、変更することができる。一般に、搬送波周波数決定手段は、スペクトル値のシーケンスの位相の平均勾配が低減され、および/または、アンラップされた位相経過が基本的には一定の位相値、好ましくは位相ゼロの近辺で変化するように、シーケンスにわたる大きさの増加または減少でサブバンドの複素スペクトル値の位相を増減することによって位相挙動に影響を与えることを試みる。
再び述べるが、使用された変換72、86およびその逆の変換手段42および48のために、DFTおよび/またはIDFT以外の型式も考慮されるという事実にしっかりと注意する。例えば、複素復調されたサブバンド信号を、それぞれ実数部と虚数部とに分離した実数値変換によって、周波数/変調周波数表現に変換しおよび/またはスペクトル的に分解することもできる。この実数部は、復調ステージの後では、復調に用いられた搬送波に関するサブバンド信号の振幅変調を表す。また、その虚数部は、この搬送波の周波数変調を表す。手段38および/または42にDFTおよび/またはIDFTを用いた場合、サブバンド信号の振幅変調成分は、変調周波数軸に沿ったDFTスペクトルの対称成分に反映され、一方、搬送波の周波数変調成分は、変調周波数軸に沿ったDFTスペクトルの非対称成分に対応する。
上述の実施形態は、例として、単純なサイン変調されたサイン信号に関して説明されてきた。しかしながら、図1および図2の実施形態は、振幅変調された音声信号のような、任意の周波数の振幅変調された信号の混合のエンベロープの経過をフィルタするためにも適している。エンベロープの個々の周波数成分は、本明細書の導入部に記載されている音声コーディングのための変調変換分析法に従った既に知られている大きさ−位相表現と対照的に、変調マトリックス88において一貫した処理のために直接表現される。また、図1および図2の実施形態によって、微小な変調度の周波数変調された信号、すなわち、第1のDFTのサブバンド幅よりかなり小さい振れの周波数信号のフィルタリングも可能である。
したがって、図1および図2の実施形態は、再度言い換えれば、変調領域においてフィルタする信号適応変換および対応する逆変換に基づく、変調フィルタリングのための装置に関した。フィルタリングの本実施形態において、変調領域における信号操作なしに、図1の装置を完全に再構成できる。フィルタ102のような適切なスペクトル域フィルタを導入することによって、すなわち、ゼロの中心変調周波数からの距離の増加のより変調値の減衰によって、所望のように除去される変調成分を減衰することができる。しかしながら、周波数/変調周波数表現における情報信号処理の他の方式も考えられる。このように、搬送波だけを除外することが望まれることもある。この場合、フィルタリングは、ハイパスフィルタリングとなり、すなわち、これより低い変調周波数に対してはこれより上の変調周波数に対するよりも変調値を多く減衰する所定変調周波数で変調周波数端を有する重み関数により重み付けとなる。さらに他の応用分野において、信号処理手段40における信号処理は、バンドパスフィルタリングとなり、すなわち、異なる情報源から生じる情報信号の成分を分離するために、つまり情報源分離を達成するために、特定の中心変調周波数から落ちている重み関数による重み付けとなる。上述の実施形態を用いることのできるさらなる用途として、音声信号をコーディングするための音声コーディング、妨害された信号の再構成およびエラーキャンセルに関するものがある。また、一般に、装置10は、着信する音声信号における特殊な音響効果を実現するために、音楽効果装置として使用することもできる。したがって、信号処理手段40における処理は、変調値の量子化のように、一部の変調値をゼロに設定し、または、特定のまたはすべての変調値の個々の部分を重み付けするといった、最も多様な手順とすることができる。さらなる用途分野として、図1の装置10は、電子透かし埋め込み装置として用いられる。この電子透かし埋め込み装置は、音声信号14を受信し、処理手段40は、受信した電子透かしを、その電子透かしに従って個々のセグメントおよび/または変調値を変形することによって、音声信号に取り入れることができる。セグメントおよび/または変調値の選択は、連続する変調マトリックスのために時間において異ならせおよび/または変化させることができ、出力された電子透かし入り音声信号18において、電子透かし導入による変形が、心理音響的な隠蔽効果によって人間の耳に聞こえないようにすることができる。
なお、変換手段については、当然ながら、これらを多くの個別バンドパスフィルタリングによってスペクトル表現を生成するフィルタバンクとして設計することができる。さらに、処理後に得られる情報信号18を時間領域表現で出力しなければならないことはない。例えば、情報信号の出力を、時間/スペクトル表現、または、スペクトル/変調スペクトル表現とすることもさらに考えられる。後者の場合には、当然ながら、受信器側で、適切な搬送波によって、例えば、サブバンドおよびスペクトル値ブロックごとに異なり復調84に用いられた複素搬送波を供給することによって、必要な変調46を再度実行できることを確実にしておく必要がある。このようにして、圧縮方法を実現するために上述の実施形態を用いることができる。
なお、場合によっては、本発明のスキームは、ソフトウエアで実施されてもよい。この実施は、対応する方法が実行されるように、プログラム可能なコンピュータシステムと協働することができ、電子的に読み出すことができる制御信号を有する、デジタル記憶媒体、特にフロッピー(登録商標)ディスクまたはCD上で行うことができる。本発明は、一般に、コンピュータプログラム製品がコンピュータ上で実行されるときに、機械で読み出し可能なキャリアに記憶された本発明の方法を実行するためのプログラムコードを有するコンピュータプログラム製品にも存在する。言い換えれば、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、この方法を実行するためのプログラムコードを有するコンピュータプログラムとしても実現することができる。
図1は、本発明の実施形態による情報信号を処理するための装置のブロック回路図を示す。 図2は、図1の装置の動作を図解するための概略図を示す。

Claims (19)

  1. 情報信号(14)を処理するための装置であって、
    前記情報信号の時間表現をブロック単位で変換することによって前記情報信号(14)の時間表現前記情報信号の時間/スペクトル表現(74)に変換するための手段(20)と、
    前記情報信号(14)の前記時間/スペクトル表現(74)の大きさ成分および位相成分の双方を考慮した単一の周波数分解変換によって前記情報信号の前記時間/スペクトル表現スペクトル/変調スペクトル表現(88)に変換するための手段(22)と
    変形されたスペクトル/変調スペクトル表現を得るために前記情報信号の前記スペクトル/変調スペクトル表現(88)を変形するための手段(24、40)と、
    前記変形されたスペクトル/変調スペクトル表現に基づいて前記情報信号(14)の処理されたバージョンを表す処理済情報信号(18)を形成するための手段(26)とを含む、装置。
  2. 前記時間表現を変換するための前記手段(20)は、スペクトル成分ごとの複素スペクトル値のシーケンス(82a、82b、82c、82d)を得るために、前記時間表現を複数のスペクトル成分に分解するように設計されている、請求項1に記載の装置。
  3. 記時間/スペクトル表現(74)前記スペクトル/変調スペクトル表現(88)に変換するための前記手段(22)は、前記スペクトル/変調スペクトル表現(88)の部分を得るために、所定のスペクトル成分のためのスペクトル値の前記シーケンス(82a、82b、82c、82d)をブロック単位でスペクトル的に分解するように構成されている、請求項2に記載の装置。
  4. 前記時間/スペクトル表現(74)を前記スペクトル/変調スペクトル表現(88)に変換するための前記手段(22)は、まず、スペクトル値の前記シーケンス(82a、82b、82c、82d)の位相経過の平均勾配の大きさがスペクトル値の復調されたブロックを得るためにブロック単位で低減されるように、スペクトル値の前記シーケンス(82a、82b、82c、82d)にブロック単位で複素搬送波を乗じ(84)、次に、前記変形されたスペクトル/変調スペクトル表現(88)の前記部分を得るために、スペクトル値の前記復調されたブロックをブロック単位でスペクトル的に分解することによって、所定のスペクトル成分のためのスペクトル値の前記シーケンス(82a、82b、82c、82d)のブロック単位のスペクトル分解を実行するように構成されている、請求項3に記載の装置。
  5. 前記時間/スペクトル表現(74)を前記スペクトル/変調スペクトル表現(88)に変換するための前記手段(22)は、前記情報信号の前記時間/スペクトル表現(74)に応じて、複素スペクトル値の前記シーケンス(82a、82b、82c、82d)にブロック単位で乗じられる前記複素搬送波をブロック単位で変化することによって、所定のスペクトル成分のための複素スペクトル値の前記シーケンス(82a、82b、82c、82d)のブロック単位のスペクトル分解を実行するように構成されている、請求項4に記載の装置。
  6. 前記時間/スペクトル表現(74)を前記スペクトル/変調スペクトル表現(88)に変換するための前記手段(22)は、位相経過を得るために前記複素搬送波をブロック単位で変化するためのスペクトル値の前記シーケンスにおける前記スペクトル値の位相をブロック単位でアンラップし、前記位相経過の平均勾配を決定し、前記平均勾配に基づいて前記複素搬送波を決定することによって、前記変化を実行するように構成されている、請求項5に記載の装置。
  7. 前記時間/スペクトル表現(74)を前記スペクトル/変調スペクトル表現(88)に変換するための前記手段(22)は、前記位相経過から前記位相経過の軸部分を決定し、前記軸部分に基づいて前記複素搬送波をさらに決定することによって、前記変化を実行するように構成されている、請求項6に記載の装置。
  8. 形成するための前記手段(26)は、
    前記所定のスペクトル成分のためのスペクトル値の復調され変形されたブロックを得るために、前記変形されたスペクトル/変調スペクトル表現変形された時間/スペクトル表現に逆変換するための手段(42)と、
    スペクトル値の変形されたブロックを得るために、スペクトル値の前記復調され変形されたブロックに、前記複素搬送波に複素共役する搬送波をブロック単位で乗じるための手段(46)と、
    スペクトル値の変形されたシーケンスを形成し、前記処理済情報信号(18)の時間/スペクトル表現の部分を得るために、スペクトル値の前記変形されたブロックを結合するための手段(44)とを含む、請求項4ないし請求項7のいずれかに記載の装置。
  9. 形成するための前記手段は、
    前記変形されたスペクトル/変調スペクトル表現を変形された時間表現に逆変換するように構成されている、請求項8に記載の装置。
  10. 変形するための前記手段(40)は、前記情報信号の変調フィルタリング、音声コーディング、情報源分離、再構成のために、または、エラーキャンセルのために、または、前記情報信号に電子透かしを重畳するために、前記スペクトル/変調スペクトル表現(88)の前記変調成分の重み付けを実行するように設計されている、請求項1ないし請求項9のいずれかに記載の装置。
  11. 前記情報信号(14)は、音声信号、映像信号、マルチメディア信号または計測信号である、請求項1ないし請求項10のいずれかに記載の装置。
  12. 前記時間/表現を変換するための前記手段(20)は、
    前記情報信号(14)から情報値のブロックのシーケンスを形成するためのブロック形成手段(28)と、
    スペクトル値ブロックのシーケンスを得るために情報値のブロックの前記シーケンスの各々をスペクトル的に分解するための手段(30)であって、各スペクトル値ブロックは所定の複数のスペクトル成分の各々のためのスペクトル値(76)を含み、スペクトル成分ごとのスペクトル値ブロックの前記シーケンスはスペクトル値のシーケンス(82a−82d)を形成する、手段(30)とを含む、請求項1に記載の装置。
  13. 前記時間/スペクトル表現(74)を前記スペクトル/変調スペクトル表現(88)に変換するための前記手段(22)は、
    変調値のブロックを得るためにスペクトル値の前記シーケンス(82a−82d)の所定のシーケンスをスペクトル的に分解するための手段(32−38)を含み、
    変形するための前記手段(24;40)は、前記変形されたスペクトル/変調スペクトル表現(88)の部分である変調値の変形されたブロックを得るために、変調値の前記ブロック(88)を変形するように設計されている、請求項12に記載の装置。
  14. 形成するための前記手段(26)は、スペクトル値の変形されたシーケンスを得るために前記スペクトル分解から変調値の前記変形されたブロックを逆変換し(42、44、46)、情報値の変形されたブロックのシーケンスを得るためにスペクトル値の前記変形されたシーケンスに基づいて変形されたスペクトルブロックのシーケンスを逆変換し(48)、前記処理済情報信号(18)を得るために情報値の前記変形されたブロックを結合する(50)ように設計されている、請求項13に記載の装置。
  15. 情報値のブロックの前記シーケンスの各々をスペクトル的に分解するための前記手段(20)は、まず情報値のブロックの前記シーケンスの各ブロックに窓関数を乗じ、次にそれをスペクトル的に分解するように設計され、形成するための前記手段(26)は、結合(50)の際に、前記窓関数による前記乗算が前記処理済情報信号(18)に影響しないように、情報値の前記変形されたブロックを処理するように設計されている、請求項14に記載の装置。
  16. 情報値のブロックの前記シーケンスの各々をスペクトル的に分解するための前記手段(20)は、前記スペクトル分解においてスペクトル成分ごとに複素スペクトル値のシーケンス(82a−82d)を提供するように設計され、スペクトル値の前記シーケンス(82a−82d)の前記所定のシーケンスをスペクトル的に分解するための前記手段(32、34、36、38)は、まず、スペクトル値の前記所定のシーケンスの前記スペクトル値の位相がスペクトル値の位相変形されたシーケンスを得るために前記シーケンスとともに徐々に増大または減少するような量によって増大または減少されるように、スペクトル値の前記所定のシーケンス(82a−82d)を変形し(34)、次に、変調値の少なくとも1つのブロックを得るために、スペクトル値の前記位相変形されたシーケンスをスペクトル的に分解する(38)ように設計され、形成するための前記手段は、スペクトル値の変形されたシーケンスを得るために前記スペクトル分解から変調値の前記変形されたブロックを逆変換し(42)、スペクトル値の前記少なくとも1つのシーケンスの前記スペクトル値の位相がスペクトル値の変形されたシーケンスを得るために前記シーケンスとともに徐々に増大または減少するような量によって増大または減少されるように、スペクトル値の前記シーケンスの前記所定のシーケンスをスペクトル的に分解するための前記手段(34)とは逆向きにスペクトル値の前記変形されたシーケンスを変形し(46)、情報値の変形されたブロックのシーケンスを得るためにスペクトル値の前記変形されたシーケンスに基づいて、変形されたスペクトルブロックのシーケンスを逆変換し(48)、前記処理済情報信号(18)を得るために情報値の前記変形されたブロックを結合する(50)ように設計されている、請求項13に記載の装置。
  17. 前記単一の周波数分解変換は、単一の離散フーリエ変換である、請求項1ないし請求項16のいずれかに記載の装置。
  18. 情報信号(14)を処理するための方法であって、
    前記情報信号の時間表現をブロック単位で変換することによって前記情報信号(14)の時間表現前記情報信号の時間/スペクトル表現(74)に変換する工程(20)と、
    前記情報信号(14)の前記時間/スペクトル表現(74)の大きさ成分および位相成分の双方を考慮した単一の周波数分解変換によって前記情報信号の前記時間/スペクトル表現スペクトル/変調スペクトル表現(88)に変換する工程(22)と
    変形されたスペクトル/変調スペクトル表現を得るために前記情報信号の前記スペクトル/変調スペクトル表現(88)を変形する工程(24)と、
    前記変形されたスペクトル/変調スペクトル表現に基づいて前記情報信号(14)の処理されたバージョンを表す処理済情報信号(18)を形成する工程(26)とを含む、方法。
  19. コンピュータプログラムがコンピュータ上で動作するときに、請求項18に記載された方法を実行するためのプログラムコードを有する、コンピュータプログラム。
JP2007509903A 2004-04-30 2005-03-22 スペクトル/変調スペクトル域表現における変形による情報信号処理 Active JP4473913B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004021403A DE102004021403A1 (de) 2004-04-30 2004-04-30 Informationssignalverarbeitung durch Modifikation in der Spektral-/Modulationsspektralbereichsdarstellung
PCT/EP2005/003064 WO2005109240A1 (de) 2004-04-30 2005-03-22 Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung

Publications (3)

Publication Number Publication Date
JP2007535849A JP2007535849A (ja) 2007-12-06
JP2007535849A5 JP2007535849A5 (ja) 2009-12-10
JP4473913B2 true JP4473913B2 (ja) 2010-06-02

Family

ID=34965409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007509903A Active JP4473913B2 (ja) 2004-04-30 2005-03-22 スペクトル/変調スペクトル域表現における変形による情報信号処理

Country Status (16)

Country Link
US (1) US7574313B2 (ja)
EP (1) EP1741039B1 (ja)
JP (1) JP4473913B2 (ja)
KR (1) KR100851424B1 (ja)
CN (1) CN100583085C (ja)
AT (1) ATE458225T1 (ja)
AU (1) AU2005241157B8 (ja)
BR (1) BRPI0509818B1 (ja)
CA (1) CA2564970C (ja)
DE (2) DE102004021403A1 (ja)
HK (1) HK1097326A1 (ja)
IL (1) IL178671A (ja)
MX (1) MXPA06012424A (ja)
NO (1) NO337309B1 (ja)
RU (1) RU2351006C2 (ja)
WO (1) WO2005109240A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19947877C2 (de) * 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
DE102004023436B4 (de) * 2004-05-10 2006-06-14 M2Any Gmbh Vorrichtung und Verfahren zum Analysieren eines Informationssignals
DE102006047197B3 (de) 2006-07-31 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten
DE102006051673A1 (de) 2006-11-02 2008-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Nachbearbeiten von Spektralwerten und Encodierer und Decodierer für Audiosignale
US8214200B2 (en) * 2007-03-14 2012-07-03 Xfrm, Inc. Fast MDCT (modified discrete cosine transform) approximation of a windowed sinusoid
EP2015293A1 (en) * 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain
US20090048828A1 (en) * 2007-08-15 2009-02-19 University Of Washington Gap interpolation in acoustic signals using coherent demodulation
US8126578B2 (en) * 2007-09-26 2012-02-28 University Of Washington Clipped-waveform repair in acoustic signals using generalized linear prediction
US9436759B2 (en) 2007-12-27 2016-09-06 Nant Holdings Ip, Llc Robust information extraction from utterances
EP3296992B1 (en) * 2008-03-20 2021-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for modifying a parameterized representation
EP2362376A3 (en) * 2010-02-26 2011-11-02 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using envelope shaping
EP2431970A1 (en) 2010-09-21 2012-03-21 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Watermark generator, watermark decoder, method for providing a watermarked signal based on discrete valued data and method for providing discrete valued data in dependence on a watermarked signal
FR2977439A1 (fr) * 2011-06-28 2013-01-04 France Telecom Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard.
US20130070811A1 (en) * 2011-09-20 2013-03-21 Electronics And Telecommunications Research Institute Transmission/reception apparatus and method for filtered multi-tone system
US8634502B2 (en) * 2011-09-30 2014-01-21 Silicon Laboratories Inc. Receiver with asynchronous and synchronous demodulator
RU2505868C2 (ru) * 2011-12-07 2014-01-27 Ооо "Цифрасофт" Способ встраивания цифровой информации в аудиосигнал
TWI575962B (zh) * 2012-02-24 2017-03-21 杜比國際公司 部份複數處理之重疊濾波器組中的低延遲實數至複數轉換
EP2984650B1 (en) * 2013-04-10 2017-05-03 Dolby Laboratories Licensing Corporation Audio data dereverberation
EP2830065A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
AU2014310548B2 (en) 2013-08-23 2017-04-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an audio signal using an aliasing error signal
EP2963648A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using vertical phase correction
KR102356028B1 (ko) 2015-02-06 2022-01-26 삼성디스플레이 주식회사 표시 장치
KR102125410B1 (ko) * 2015-02-26 2020-06-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 타깃 시간 도메인 포락선을 사용하여 처리된 오디오 신호를 얻도록 오디오 신호를 처리하기 위한 장치 및 방법
RU2746708C1 (ru) * 2020-07-29 2021-04-19 Закрытое акционерное общество "Перспективный мониторинг" Способ и устройство ввода водяного знака в аудиосигнал

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173923A (en) * 1991-11-22 1992-12-22 Bell Communications Research, Inc. Spread-time code division multiple access technique with arbitrary spectral shaping
US5321497A (en) 1992-03-09 1994-06-14 Wyko Corporation Interferometric integration technique and apparatus to confine 2π discontinuity
US5671168A (en) * 1995-07-06 1997-09-23 Technion Research & Development Foundation Ltd. Digital frequency-domain implementation of arrays
ATE184140T1 (de) * 1996-03-07 1999-09-15 Fraunhofer Ges Forschung Codierverfahren zur einbringung eines nicht hörbaren datensignals in ein audiosignal, decodierverfahren, codierer und decodierer
DE19640825C2 (de) 1996-03-07 1998-07-23 Fraunhofer Ges Forschung Codierer zur Einbringung eines nicht hörbaren Datensignals in ein Audiosignal und Decodierer zum decodieren eines nicht hörbar in einem Audiosignal enthaltenen Datensignals
US5724270A (en) * 1996-08-26 1998-03-03 He Holdings, Inc. Wave-number-frequency adaptive beamforming
US5915027A (en) 1996-11-05 1999-06-22 Nec Research Institute Digital watermarking
DE19947877C2 (de) * 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
US6725372B1 (en) 1999-12-02 2004-04-20 Verizon Laboratories Inc. Digital watermarking
JP3507743B2 (ja) 1999-12-22 2004-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮オーディオデータへの電子透かし方法およびそのシステム
WO2001054053A1 (en) 2000-01-24 2001-07-26 Ecole Polytechnique Federale De Lausanne Transform domain allocation for multimedia watermarking
FR2807897B1 (fr) * 2000-04-18 2003-07-18 France Telecom Methode et dispositif d'enrichissement spectral
AU2001284910B2 (en) 2000-08-16 2007-03-22 Dolby Laboratories Licensing Corporation Modulating one or more parameters of an audio or video perceptual coding system in response to supplemental information
US20020168082A1 (en) 2001-03-07 2002-11-14 Ravi Razdan Real-time, distributed, transactional, hybrid watermarking method to provide trace-ability and copyright protection of digital content in peer-to-peer networks
US7136418B2 (en) * 2001-05-03 2006-11-14 University Of Washington Scalable and perceptually ranked signal coding and decoding
US7006452B2 (en) 2001-05-22 2006-02-28 Intel Corporation Matching DSL data link layer protocol detection
DE10129239C1 (de) 2001-06-18 2002-10-31 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal
US6963842B2 (en) * 2001-09-05 2005-11-08 Creative Technology Ltd. Efficient system and method for converting between different transform-domain signal representations
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7243060B2 (en) * 2002-04-02 2007-07-10 University Of Washington Single channel sound separation
JP2005525600A (ja) 2002-05-10 2005-08-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 透かしの埋め込み及び取り出し
US7254500B2 (en) * 2003-03-31 2007-08-07 The Salk Institute For Biological Studies Monitoring and representing complex signals
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
JP4535278B2 (ja) * 2005-07-04 2010-09-01 株式会社デンソー イオン電流検出装置
JP2008001004A (ja) * 2006-06-23 2008-01-10 Canon Inc 液体収納容器の液体供給部の製造方法、液体収納容器

Also Published As

Publication number Publication date
IL178671A0 (en) 2007-02-11
ATE458225T1 (de) 2010-03-15
EP1741039B1 (de) 2010-02-17
JP2007535849A (ja) 2007-12-06
WO2005109240A1 (de) 2005-11-17
DE102004021403A1 (de) 2005-11-24
US7574313B2 (en) 2009-08-11
MXPA06012424A (es) 2007-01-17
AU2005241157B2 (en) 2008-05-22
CA2564970A1 (en) 2005-11-17
KR100851424B1 (ko) 2008-08-11
KR20070015174A (ko) 2007-02-01
NO337309B1 (no) 2016-03-07
NO20065423L (no) 2007-01-26
AU2005241157A1 (en) 2005-11-17
IL178671A (en) 2011-03-31
CA2564970C (en) 2012-02-07
EP1741039A1 (de) 2007-01-10
CN1950815A (zh) 2007-04-18
AU2005241157B8 (en) 2008-11-06
BRPI0509818B1 (pt) 2022-06-07
HK1097326A1 (en) 2007-06-22
BRPI0509818A (pt) 2007-09-18
DE502005009035D1 (de) 2010-04-01
CN100583085C (zh) 2010-01-20
US20070100610A1 (en) 2007-05-03
RU2006142324A (ru) 2008-06-10
RU2351006C2 (ru) 2009-03-27

Similar Documents

Publication Publication Date Title
JP4473913B2 (ja) スペクトル/変調スペクトル域表現における変形による情報信号処理
EP2674943B1 (en) Improved harmonic transposition
RU2251795C2 (ru) Усовершенствованное преобразование спектра/свертка в области поддиапазонов
JP6573703B2 (ja) 高調波転換
JP6386634B2 (ja) オーディオ信号の符号化及び復号化方法並びにその装置
JP2013502607A (ja) マルチチャネルオーディオデコーディング方法及び装置
EP3985666B1 (en) Improved harmonic transposition
CN102376307B (zh) 解码方法及其解码装置
JP2010515090A (ja) 音声コード化の方法および装置
AU2015221516A1 (en) Improved Harmonic Transposition

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091005

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091013

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20091021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4473913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250