JP4726445B2 - 広域音声信号の圧縮装置および復元装置ならびに圧縮方法および復元方法 - Google Patents

広域音声信号の圧縮装置および復元装置ならびに圧縮方法および復元方法 Download PDF

Info

Publication number
JP4726445B2
JP4726445B2 JP2004208615A JP2004208615A JP4726445B2 JP 4726445 B2 JP4726445 B2 JP 4726445B2 JP 2004208615 A JP2004208615 A JP 2004208615A JP 2004208615 A JP2004208615 A JP 2004208615A JP 4726445 B2 JP4726445 B2 JP 4726445B2
Authority
JP
Japan
Prior art keywords
band
dct coefficient
signal
audio signal
dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004208615A
Other languages
English (en)
Other versions
JP2005037949A (ja
Inventor
祐 石 李
浩 棕 朴
昌 用 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2005037949A publication Critical patent/JP2005037949A/ja
Application granted granted Critical
Publication of JP4726445B2 publication Critical patent/JP4726445B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、音声信号の符号化および復号化に係り、特に、音声信号を階層的な帯域幅構造に圧縮し、それを復元する広域音声信号の圧縮装置および復元装置とその方法に関する。
既存の公衆電話交換網(Public Switched Telephone Network:PSTN)基盤の通信では、8kHzで音声信号をサンプリングして4kHzの帯域で音声信号を伝達している。したがって、既存のPSTN基盤の音声通信は、4kHz帯域を外れる音声信号を伝達できないので音質が劣化する。
この問題を改善するため、入力される音声信号を16kHzでサンプリングして8kHzの帯域幅を提供するパケット基盤の広域音声信号の圧縮装置が開発されている。しかし、音声信号の帯域幅が増加すれば音質が向上するが、通信チャンネルのデータ転送量が増加する。したがって、広域音声信号の圧縮装置を効率的に運用するためには、多量のデータ転送のための通信チャンネルを確保する必要がある。
しかし、パケット基盤の通信チャンネルのデータ転送量は、多様な要因によって変わる。したがって、広域音声信号の圧縮装置が必要とする通信チャンネルが確保されずに音質が低下するおそれがある。すなわち、特定の瞬間に通信チャンネルの転送量が不十分であれば、転送期間中に音声パケットが損失して音声信号が伝達されないことがあり得る。
したがって、階層的な帯域構造で音声信号を圧縮する技術が提案された。国際電気通信連合(International Telecommunication Union、以下、ITU)標準G.722がその例である。ITU標準G.722は、低域通過フィルターおよび高域通過フィルターを利用して入力される音声信号を2個の帯域信号に分離し、各帯域を独立的に圧縮する技術を提案している。ITU標準G.722では、各帯域情報は、適応差分パルス符号変調(Adaptive Differential Pulse Code Modulation:ADPCM)方式で圧縮する。しかし、ITU標準G.722で提案している圧縮技術は、データ転送率が非常に高い。
また、ITU標準G722.1は、広域入力信号を周波数領域に変換し、周波数領域をいくつかの副帯域に分離して各副帯域の情報を圧縮する技術を開示する。しかし、このITU標準G.722.1は、音声パケットを階層的な帯域幅構造に圧縮しないだけでなく、既存の標準狭域音声信号の圧縮装置と互換性を有しない。
標準狭域音声信号の圧縮装置と互換性を持つように開発された既存の広域音声信号の圧縮技術は、広域音声信号に低域通過フィルターを適用して狭域音声信号を求め、この狭域音声信号を標準狭域音声信号の圧縮器で符号化し、高域音声信号は別途の方法で圧縮する。狭域音声信号および高域音声信号のパケットは、階層構造で伝達される。
高域音声信号を処理する既存の技術としては、高域音声信号をフィルターバンクを利用して多数の副帯域信号に分離し、各副帯域情報を圧縮する技術がある。また、高域音声信号を圧縮する他の技術として、高域音声信号を離散余弦変換(Discrete Cosine Transform:DCT)または離散フーリエ変換(Discrete Fourier Transform:DFT)を通じて周波数領域に変換し、発生した各周波数係数を量子化する技術がある。
しかし、このような既存の階層的な帯域構造を持つ広域音声信号の圧縮技術は、高域音声信号の圧縮過程で狭域音声信号の特性を活用しないため、圧縮効率が低い。
また、前記広域音声信号の圧縮技術は、高域音声信号の圧縮過程で帯域間と帯域内との相関関係を効率的に使用せず、周波数領域に変換されたあらゆる周波数係数を量子化するため、量子化効率が低く、信号の圧縮時に転送されていない情報を復元するに当って予測性能が低い。
本発明が解決しようとする技術的課題は、既存の標準狭域音声信号の圧縮装置と互換可能な広域音声信号の圧縮装置とその広域音声信号の復元装置、ならびに広域音声信号の圧縮および復元方法を提供するところにある。
本発明が解決しようとする他の技術的課題は、階層的な帯域幅構造に音声信号を圧縮および復元する時、低域音声信号の圧縮情報を利用して高域音声信号を圧縮し、圧縮された信号を復元できる広域音声信号の圧縮および復元装置、ならびにその圧縮方法および復元方法を提供するところにある。
また、本発明が解決しようとする他の技術的課題は、帯域間と帯域内との相関関係を活用して高域音声信号を圧縮し、圧縮された高域音声信号を復元する広域音声信号の圧縮装置および復元装置、ならびにその圧縮方法および復元方法を提供するところにある。
さらに、本発明が解決しようとする他の技術的課題は、音声信号を圧縮する時、音声信号を周波数領域に変換して得た周波数係数を周波数係数および帯域の特性によって区分して量子化し、圧縮された音声信号を復元する広域音声信号の圧縮および復元装置、ならびにその圧縮方法および復元方法を提供するところにある。
さらに、本発明が解決しようとする他の技術的課題は、圧縮で転送されていない情報を予測することによって復元時に情報の損失を最小化できる音声復元装置とその音声復元方法を提供するところにある。
前記技術的課題を達成するために、本発明は、前記広域音声信号の低域音声信号を圧縮し、前記圧縮された低域音声信号を低域音声パケットとして出力する狭域音声圧縮器と、前記狭域音声圧縮器から提供される低域音声信号のエネルギーを利用して前記広域音声信号の高域音声信号を圧縮し、圧縮された高域音声信号を高域音声パケットとして出力する高域音声圧縮器とを含む広域音声信号の圧縮装置を提供する。
前記技術的課題を達成するために、本発明は、圧縮された低域音声パケットおよび圧縮された高域音声パケットを含む広域音声信号を復元するに当って、前記圧縮された低域音声パケットを低域音声信号に復元する狭域音声復元器と、前記狭域音声復元器から提供される低域復元信号のエネルギー情報を利用して前記圧縮された高域音声パケットを高域音声信号に復元する高域音声復元器と、前記狭域音声復元器から出力される低域音声信号と前記高域音声復元器から出力される高域音声信号とを加算して広域復元信号を出力する加算器とを含む広域音声信号復元装置を提供する。
前記技術的課題を達成するために、本発明は、広域音声信号を受信し、前記広域音声信号の低域音声信号のエネルギーを利用して前記広域音声信号の高域音声信号を圧縮する段階と、前記圧縮された高域音声信号を高域音声パケットとして出力する段階とを含む広域音声信号の圧縮方法を提供する。
前記技術的課題を達成するために、本発明は、階層的な帯域幅構造に圧縮された低域音声パケットおよび高域音声パケットを含む広域音声信号を復元するに当って、前記低域音声パケットを低域音声信号に復元する段階と、前記低域音声信号の復元時に求めた低域復元信号のエネルギー情報を利用して前記高域音声パケットを高域音声信号に復元する段階と、前記低域音声信号および前記高域音声信号を加算して広域復元信号を生成する段階とを含む広域音声信号復元方法を提供する。
本発明によれば、既存の標準狭域音声圧縮器と互換可能な階層的な帯域幅構造を持つ広域音声信号の圧縮装置とその復元装置を提供できる。
そして、本発明は、高域音声信号の圧縮過程で低域音声信号の圧縮により検出された低域音声信号のエネルギーを活用し、かつ帯域間と帯域内との相関関係を利用することによって量子化効率を向上させることができる。
また、本発明は、DCT係数を大きさおよび符号によって量子化し、符号の量子化を係数の大きさによって選別的に実施して、復元時に転送されていない符号に対する予測が可能になるために、量子化および予測の効率を向上させた広域音声信号の圧縮および復元装置を提供できる。
以下、添付した図面を参照して本発明の望ましい実施形態について詳細に説明する。
図1は、本発明による広域音声信号の圧縮装置の機能ブロック図である。図1に示すとおり、前記広域音声信号の圧縮装置は、第1帯域変換ユニット102と、狭域音声圧縮器106と、高域音声圧縮器107とを含む。
第1帯域変換ユニット102は、ライン101を通じて入力される広域音声信号を狭域信号に変換する。前記広域音声信号は、アナログ信号を16kHzでサンプリングし、各サンプル信号を16ビット線形パルス符号変調(Pulse Code Modulation:PCM)で量子化した信号である。
第1帯域変換ユニット102は、低域通過フィルター104と、ダウンサンプラー105とで構成される。
低域通過フィルター104は、遮断周波数によって、ライン101を通じて入力される広域音声信号をフィルタリングする。前記遮断周波数は、階層的な帯域幅構造によって定義される狭域の帯域幅にしたがって決定される。たとえば、低域通過フィルター104の遮断周波数は3700Hzである。
ダウンサンプラー105は、1/2ダウンサンプリングにより低域通過フィルター104から出力される信号をサンプリングして狭域低域信号103を出力する。狭域低域信号103は、狭域音声圧縮器106に出力される。
狭域音声圧縮器106は、前記狭域低域信号103を圧縮して低域音声パケット108を出力する。低域音声パケット108は、通信チャンネル(図示せず)に伝達される。
狭域音声圧縮器106は、狭域低域音声信号の圧縮時に低域音声信号のエネルギーを計算する。前記低域音声信号のエネルギーは、フレームの量子化された固定コードブック利得を計算する方式を利用して計算できる。前記低域音声信号のエネルギーに関する情報は、低域音声パケット108に含まれる。そして、狭域音声圧縮器106は、低域音声信号のエネルギー情報を含む低域音声パケット108を通信チャンネル(図示せず)に転送すると同時に、ライン110を通じて前記低域音声信号のエネルギーを高域音声圧縮器107に提供する。
高域音声圧縮器107は、ライン101を通じて転送される広域音声信号のうちの高域音声信号を圧縮して高域音声パケットを出力する。前記高域音声パケットは、ライン109を通じて通信チャンネル(図示せず)に伝達される。
高域音声圧縮器107は図2に図示される。図2に示すとおり、前記高域音声圧縮器107は、フィルターバンク201、帯域RMS(Root−Mean−Square)値計算器203、帯域順位決定器205、帯域信号量子化モジュール207、およびパケット化器209で構成される。
フィルターバンク201は、ライン101を通じて広域音声信号が入力され、その広域音声信号を多数の帯域信号に分割する。たとえば、フィルターバンク201は、中心周波数4000Hz、4800Hz、5800Hz、7000Hzを利用して、前記広域音声信号を4個の帯域信号に分割できる。前記フィルターバンク201は、既存のガンマトーンフィルターバンクであってもよい。
本発明の一実施形態によるフィルターバンク201は、30msecのフレーム単位で動作する。ライン202を通じて出力される各帯域別信号は480サンプルで構成され、分割された帯域は帯域0ないし帯域3に定義できる。
帯域RMS値計算器203は、フィルターバンク201から出力される帯域別信号を受信し、各帯域に対するRMS値を独立的に計算する。計算されたRMS値は、ライン204を通じて帯域順位決定器205に提供される。
帯域順位決定器205は、各帯域のRMS値の大きさによって各帯域の順位を決定する。すなわち、帯域順位決定器205は、RMS値の大きさによって帯域の重要度を決定し、決定された帯域の重要度情報をライン206を通じて出力する。
帯域信号量子化モジュール207は、ライン202を通じて帯域信号を受信し、前記帯域信号を量子化する。帯域信号を量子化する時、帯域信号量子化モジュール207は、ライン206を通じて帯域順位決定器205から出力される帯域の重要度情報と、ライン110を通じて狭域音声圧縮器106から出力される低域音声信号のエネルギー情報とを使用する。フィルターバンク201が30msecフレーム単位で動作する場合、前記帯域信号量子化モジュール207も30msecフレーム単位で動作する。
帯域信号量子化モジュール207は図3に図示される。図3に示すとおり、前記帯域信号量子化モジュール207は、第1DCT演算器301と、大きさ抽出器303と、符号抽出器304と、第2DCT演算器307と、直流(Direct Current:DC)分離器309と、DC量子化モジュール311と、RMS値計算器314と、RMS値量子化モジュール316と、正規化器318と、DCT係数量子化器320と、符号量子化モジュール322と、データ結合部324とで構成される。
第1DCT演算器301は、各帯域信号に対してDCTを実行して各帯域別に第1DCT係数を求める。すなわち、各帯域信号が480サンプルで構成されれば、第1DCT演算器301は、各帯域信号に対して480ポイントのDCT演算を実行して各帯域別に第1DCT係数を求める。この時、各帯域信号は特定の周波数帯域の信号であるため、ライン302を通じて第1DCT演算器301から出力される第1DCT係数は、該当する周波数帯域のDCT係数に限定される。
図2で説明したように、フィルターバンク201で前記広域音声信号を異なる帯域幅を持つ4個の帯域に分割すれば、各帯域別に第1DCT演算器301から出力される各帯域に対する480個のDCT係数のうち、第1DCT係数の開始インデックスおよび終了インデックス並びに第1DCT係数の数は表1のように定義できる。帯域iの第1DCT係数の数はNiと表示する。
Figure 0004726445
各帯域別の第1DCT係数は、ライン302を通じて大きさ抽出器303および符号抽出器304に提供される。大きさ抽出器303は、入力される各帯域別の第1DCT係数の大きさを求める。符号抽出器304は、入力される各帯域別の第1DCT係数の符号を求める。大きさ抽出器303から出力される第1DCT係数等の大きさ情報は、ライン305を通じて第2DCT演算器307に転送される。符号抽出器304から出力される第1DCT係数の符号情報は、ライン306を通じて符号量子化モジュール322に転送される。
第2DCT演算器307は、各帯域別に第2DCT係数を求める。各帯域別に第1DCT係数の数Niが相異なるため、第2DCT演算器307は、各帯域別の第1DCT係数の数Niに合せてNiポイントDCTを実行して各帯域別の第2DCT係数を求める。各帯域別の第2DCT係数は、ライン308を通じてDC分離器309に出力される。
DC分離器309は、各帯域別の第2DCT係数をDC成分と残りのDCT係数とに分離する。ここで、各帯域別のDC成分は第2DCT係数のDC成分であり、残りのDCT係数は第3DCT係数である。第2DCT係数のDC成分はインデックス0に該当するDCT係数であり、第2DCT係数の残りのインデックス1ないしインデックスNi−1の係数が第3DCT係数となる。したがって、各帯域別の第3DCT係数の数はNi−1となる。前記DC成分はライン310を通じて出力され、前記第3DCT係数はライン313を通じて出力される。
DC量子化モジュール311は、第2DCT係数のDC成分を受信して量子化する。DC量子化モジュール311は、図4に図示されたように構成される。図4に示すとおり、DC量子化モジュール311は、帯域間予測器401と、DC量子化器403と、DC逆量子化器404とで構成される。
帯域間予測器401は、各帯域のDC成分に対して帯域間の予測を実行してDC予測誤差を検出する。帯域間予測器401は、1次自己回帰(Auto−Regressive:AR)モデルを使用できる。最初の帯域に対する予測は、ライン110を通じて入力される低域音声信号の量子化されたエネルギー情報を使用して行われる。たとえば、狭域音声圧縮器106としてG.729狭域音声圧縮器を使用する場合、30msecの間に量子化された固定コードブック利得の平均値が前記低域音声信号の量子化されたエネルギー情報であるため、帯域間予測器401は前記固定コードブック利得の平均値を使用して最初の帯域のDC予測誤差を検出する。帯域iのLog DC値をDiとし、帯域iのDC予測誤差をΔiとし、30msecの間の量子化された固定コードブック利得の平均値を
Figure 0004726445
とする時、最初の帯域のDC予測誤差Δ0は下記式(1)により求められる。
Figure 0004726445
式(1)において、Gは予測係数であり、本発明による実施形態ではG=1.0を使用できる。D0は最初の帯域のLog DC値である。
残りの帯域のDC予測誤差は順次検出される。残りの帯域のDC予測誤差は、下記式(2)により求められる。
Figure 0004726445
式(2)において、
Figure 0004726445
は、DC逆量子化器404によって求められた、帯域iの逆量子化されたLog DC値である。Gは予測係数であり、この実施形態ではG=1.0である。
DC量子化器403は、DC予測誤差を受信して量子化する。すなわち、DC量子化器403は、ライン402を通じて受信されたDC予測誤差の統計的特性によって各帯域別に独立的なスカラー量子化を実行して、DC量子化インデックスをライン302を通じて出力する。DC量子化器403から出力されるDC量子化インデックスは、図3のデータ結合部324および図4のDC逆量子化器404に入力される。
DC逆量子化器404は、DC量子化インデックスを利用して帯域間DC予測に必要な逆量子化されたLog DC値
Figure 0004726445
を検出する。逆量子化されたLog DC値
Figure 0004726445
は式(3)を使用して検出される。検出された逆量子化されたLog DC値
Figure 0004726445
は、ライン405を通じて帯域間予測器401に提供される。
Figure 0004726445
図3のRMS値計算器314は、ライン313を通じて第3DCT係数を受信し、各帯域別に第3DCT係数のRMS値を求める。各帯域別に求めた第3DCT係数のRMS値はRMS値量子化モジュール316に提供される。
RMS値量子化モジュール316は、図5に図示されたように構成される。図5に示すとおり、RMS値量子化モジュール316は、帯域内予測器501と、DC逆量子化器504と、RMS値量子化器503とで構成される。
DC逆量子化器504は、図4のDC逆量子化器404と同じ動作を行う。したがって、DC逆量子化器504は、ライン312を通じて前記帯域別のDC量子化インデックスを受信して、帯域別のDC量子化インデックスを利用して帯域別に逆量子化されたLog DC値を求める。この時、求められた帯域別の逆量子化されたLog DC値は、図4のDC逆量子化器404から出力される値と同じ値を持つ。
帯域内予測器501は、ライン505を通じて受信される各帯域の逆量子化されたLog DC値に基づいて、各帯域内でRMS値を予測してRMS予測誤差を求める。検出されたRMS予測誤差502は、RMS値量子化器503に出力される。
RMS値量子化器503は、入力されるRMS予測誤差を量子化してRMS値量子化インデックスをライン317を通じて出力する。帯域内予測器501は、式(4)によって1次ARモデル予測を実施してRMS予測誤差
Figure 0004726445
を求める。
Figure 0004726445
式(4)において、Siは帯域iのLogRMS値であり、Gは予測係数であって本発明による実施形態ではG=1.0である。
RMS値量子化器503は,RMS予測誤差の統計的特性によって各帯域別に独立的なスカラー量子化を実施して、ライン317を通じてRMS値量子化インデックスを出力する。
図3に図示された正規化器318は、ライン313を通じて受信される第3DCT係数を、各帯域別に量子化されたRMS値で正規化する。正規化器318は、前記各帯域別に量子化されたRMS値を、ライン317を通じて受信されるRMS値量子化インデックスから得る。正規化器318は、各帯域別に第3DCT係数を前記量子化されたRMS値で割って正規化された第3DCT係数を求め、その正規化された第3DCT係数をライン319を通じて出力する。
DCT係数量子化器320は、正規化された第3DCT係数を受信してベクトル量子化し、第3DCT係数量子化インデックスをライン321を通じて出力する。すなわち、DCT係数量子化器320は、各帯域別に正規化された第3DCT係数を多数のサブベクトルに分離し、分割ベクトル量子化方法を使用して、サブベクトル単位でベクトル量子化を行う。
また、DCT係数量子化器320は、ライン206を通じて受信される帯域順位情報によって異なる量子化動作を行う。すなわち、各帯域の第1DCT係数の大きさは、帯域内で高い相関関係を持つ。前記の高い相関関係によって、第2DCT係数および第3DCT係数でのエネルギー集中現象が明確に現れる。第3DCT係数のエネルギーの大部分は、上位インデックスを持つDCT係数に分布する。したがって、下位インデックスを持つ第3DCT係数を除去して伝達しなくても、復元される音声信号はほとんど劣化していない。したがって、DCT係数量子化器320は、第3DCT係数のうち上位インデックスの第3DCT係数を量子化する。各帯域の第3DCT係数のうち量子化する係数のインデックスは、ライン206を通じて提供される帯域順位によって決定される。DCT係数量子化器320は、最下順位の帯域では非常に少ない数の第3DCT係数だけ量子化し、順位が高まるにつれてさらに多くの第3DCT係数を量子化する。
たとえば、4個の帯域に対して量子化し、量子化する第3DCT係数を3個のサブベクトルに分割する場合、DCT係数量子化器320は、前記帯域順位情報によって、最下順位の帯域では上位1個のサブベクトルだけ量子化し、二番目に順位の低い帯域では上位2個のサブベクトルだけ量子化し、残りの二つの帯域では3個のサブベクトルをいずれも量子化する。4個の帯域に対する第3DCT係数の全体インデックスと、3個のサブベクトルのインデックスとは、表2のように定義できる。表2で分かるように、インデックス29より下位のインデックスを持つ第3DCT係数は、帯域順位に関係なく常に除去されて伝達されない。これは、各帯域で実際に量子化されるDCT係数は、総計で30個であるからである。
Figure 0004726445
符号量子化モジュール322は、ライン306を通じて第1DCT係数の符号を受信して量子化し、符号量子化インデックスをライン323を通じて出力する。符号量子化モジュール322は図6に図示される。図6に示すとおり、符号量子化モジュール322は、DCT係数逆量子化器601と、DC逆量子化器603と、逆DCT演算器605と、整列器607と、符号量子化器609とで構成される。
DCT係数逆量子化器601は、ライン321を通じて受信される第3DCT係数量子化インデックスに対する逆量子化を実行して、逆量子化された第3DCT係数をライン602を通じて出力する。
DC逆量子化器603は、ライン312を通じて受信される第2DCT係数のDC量子化インデックスに対する逆量子化動作を行って、逆量子化されたDC値をライン604を通じて出力する。
逆DCT演算器605は、前記逆量子化された第3DCT係数および第2DCT係数の逆量子化されたDC値を利用して逆量子化された第2DCT係数を求め、この逆量子化された第2DCT係数を利用して逆量子化された第1DCT係数の大きさを得る。逆DCT演算器605は、前記逆量子化された第1DCT係数の大きさをライン606を通じて出力する。
整列器607は、各帯域内で逆量子化された第1DCT係数の大きさに関する順序情報を求める。
符号量子化器609は、整列器607から提供される順序情報に基づいて、ライン306を通じて受信される第1DCT係数の符号のうちの大きい値を持つ第1DCT係数の符号を量子化し、残りの符号は除去して伝達しない。したがって、符号量子化器609は、第1DCT係数の大きさに基づいて既定の数だけ選択された第1DCT係数の符号を量子化し、1ビットで量子化された各符号量子化インデックスをライン323を通じて出力する。この時、量子化された符号は、第1DCT係数の大きさの順序と同じ順序で出力される。この順序によって音声信号復元過程で符号の再挿入が正確に行われる。表3は、本発明によって各帯域で符号量子化対象となる係数の数の例を示す。
Figure 0004726445
表3から分かるように、符号量子化器609は、全体係数のうち大きい係数の符号を量子化する。たとえば、表3の帯域0の場合に、全体DCT係数の数は44個であるが、符号を量子化する対象となるDCT係数の数は30個である。この時、符号を量子化する対象となるDCT係数は、44個のDCT係数のうち大きさの大きい30個のDCT係数である。
図3のデータ結合部324は、ライン312を通じて受信される第2DCT係数のDC量子化インデックスと、ライン317を通じて受信される第3DCT係数のRMS量子化インデックスと、ライン321を通じて受信される第3DCT係数量子化インデックス、ライン323を通じて受信される第1DCT係数の符号量子化インデックスとを結合し、結合された信号をライン208を通じて出力する。
図2のパケット化器209は、帯域順位決定器205から出力される帯域順位情報および前記データ結合部324から出力される前記結合された信号をパケット化し、パケット化された信号をライン109を通じて出力する。前記パケット化された信号は、高域音声パケットである。
各帯域別の帯域信号が480サンプルで構成されている場合、本発明による量子化動作によって出力される各量子化インデックスに割り当てられるビット数は、表4のように定義できる。このように量子化インデックスに割り当てられたビット数が定義される場合に、高域音声信号は8kbpsの転送率を持つ。
Figure 0004726445
図7は、本発明による広域音声信号復元装置の機能ブロック図である。図7に示すとおり、本発明による広域音声信号復元装置は、狭域音声復元器702と、第2帯域変換ユニット704と、高域音声復元器707と、加算器709とで構成される。
狭域音声復元器702は、図1に示す狭域音声圧縮器106の構造に対応するように構成される。狭域音声復元器702は、ライン701を通じて低域音声パケットを受信して、ライン703を通じて狭域低域音声復元信号を出力する。
第2帯域変換ユニット704は、狭域低域音声復元信号を広域低域復元信号に変換する。第2帯域変換ユニット704は、アップサンプラー710および低域通過フィルター711で構成される。
アップサンプラー710は、ライン703を通じて狭域低域音声復元信号を受信し、サンプル間にゼロサンプルを挿入してアップサンプリングを行う。低域通過フィルター711は図1の低域通過フィルター104と同一の動作を行う。
高域音声復元器707は、ライン706を通じて高域音声パケットを受信し、ライン703を通じて狭域音声復元器702から提供される復元された低域音声信号のエネルギー情報を利用して復元された高域音声信号を求める。高域音声復元器707は、図2の高域音声圧縮器107の構成に対応するように構成される。
高域音声復元器707は、図8に図示される。図8に示すとおり、高域音声復元器707は、逆パケット化器801、符号逆量子化器806、DC逆量子化器808、DCT係数逆量子化器810、RMS値逆量子化器812、乗算器814、逆DCT演算器816、整列器818、符号挿入器820、符号予測モジュール822、逆DCT演算器824、フィルターバンク826、加算器828、およびフレーム遅延器829で構成できる。
逆パケット化器801は、ライン706を通じて高域音声パケットを受信して、前記圧縮装置の各モジュールによって量子化されたインデックスを分解して出力する。
符号逆量子化器806は、ライン802を通じて逆パケット化器801から転送される符号量子化インデックスを逆量子化し、逆量子化した結果を第1DCT係数符号として出力する。
DC逆量子化器808は、ライン803を通じて逆パケット化器801から転送されるDC量子化インデックスと、ライン703を通じて入力される低域音声信号のエネルギー情報とを利用して、第2DCT係数の量子化されたDC値を出力する。DC逆量子化器808は、図4のDC逆量子化器404と同一の動作を行う。
DCT係数逆量子化器810は、ライン804を通じて逆パケット化器801から提供されるDCT係数量子化インデックスと、ライン830を通じて提供される帯域順位情報とを利用して、正規化されかつ量子化された第3DCT係数を出力する。DCT係数逆量子化器810は、図6のDCT係数逆量子化器601と同一の動作を行う。
RMS値逆量子化器812は、ライン805を通じて逆パケット化器801から提供されるRMS量子化インデックスと、ライン809を通じてDC逆量子化器808から提供される第2DCT係数の量子化されたDC値とを利用して、量子化された第3DCT係数のRMS値を出力する。RMS値逆量子化器812は、図3のRMS値量子化モジュール316によって行われる過程の逆の過程を行う。したがって、RMS値逆量子化器812での逆量子化過程は、式(5)のように定義される。
Figure 0004726445
乗算器814は、ライン811を通じて受信される前記第3DCT係数と、ライン813を通じて受信される前記第3DCT係数のRMS値とを乗算して、量子化された第3DCT係数を求める。
逆DCT演算器816は、ライン815を通じて受信される前記量子化された第3DCT係数と、ライン809を通じて受信される第2DCT係数の量子化されたDC値とを結合して、量子化された第1DCT係数の大きさを出力する。逆DCT演算器816は、図6の逆DCT演算器605と同一の動作を行う。
前述したDC逆量子化器808、RMS値逆量子化器812、DCT係数逆量子化器810、乗算器814および逆DCT演算器816は、帯域順位情報、第3DCT係数量子化インデックス、第2DCT係数のDC量子化インデックス、および第3DCT係数のRMS量子化インデックスをそれぞれ逆量子化して逆量子化されたDCTを求める。前述したユニットは、量子化されたDCT値を使用して第1量子化されたDCT係数の大きさを求める逆DCT演算モジュールと定義できる。
整列器818は、ライン817を通じて量子化された第1DCT係数の大きさを受信して、量子化された第1DCT係数の大きさに関する順序情報を得る。
符号挿入器820は、整列器818から提供される順序情報を利用して、ライン807を通じて転送される第1DCT係数符号を第1DCT係数の大きさ順に第1DCT係数の大きさに挿入する。
符号予測モジュール822は、符号挿入器820で符号を割り当てられていない小さな大きさを持つ第1DCT係数の符号を予測する。符号予測モジュール822は、図9のように構成される。図9に示すとおり、符号予測モジュール822は、第1時間軸変換器901、第2時間軸変換器901´、信号予測器904および符号選択器906で構成される。
第1時間軸変換器901は、ライン819を通じて入力される第1DCT係数の大きさに各DCT係数インデックス別に正の符号を挿入し、逆DCTを実行して正の符号に基づいた時間軸情報を出力する。
第2時間軸変換器901´は、ライン819を通じて入力される第1DCT係数の大きさに各DCT係数インデックス別に負の符号を挿入し、逆DCTを実行して負の符号に基づいた時間軸情報を出力する。
本発明による実施形態では、時間軸変換器901、901´は、各符号に基づいた時間軸信号の最初のサンプル値を出力する。すなわち、下記式(6)で定義される時間軸信号に時間インデックスn=0を代入したサンプル値を出力する。下記式(6)において、LはDCTのサンプルポイントである。したがって、前述した第1DCT演算器301で説明したように、480ポイントのDCT演算を実施する場合に、Lは480と設定できる。
Figure 0004726445
式(6)において、
Figure 0004726445
および
Figure 0004726445
は、現在フレームmで第1DCT係数インデックスkに対する時間インデックスnでのサンプル値をそれぞれ示し、
Figure 0004726445
は、インデックスkの第1量子化されたDCT係数の大きさを示す。前記サンプル値は、ライン902、903を通じて出力される。
また、本発明による他の実施形態では、第1時間軸変換器901および第2時間軸変換器901´は、各符号に基づいた時間軸信号の最初のサンプル値での勾配を出力して、前記式(6)で定義される時間軸信号をnに対して微分して微分の結果に時間インデックスn=0を代入して得られる値を出力する。
信号予測器904は、フレーム遅延器829からライン830を通じて提供される以前フレームの量子化された第1DCT係数から、各インデックス別に現在フレームの信号に対する時間軸信号を予測する。信号予測器904は、下記式(7)によって求められる信号に時間軸インデックスn=0を代入して得られる値を時間軸予測情報として出力する。
Figure 0004726445
式(7)において、
Figure 0004726445
は、ライン905を通じて出力されるDCT係数インデックスkに対する時間軸予測情報であり、
Figure 0004726445
は、以前フレームm−1で求めた時間インデックスn+Lに該当するサンプル値を意味する。1フレームの時間インデックスが0からL−1までであるため、
Figure 0004726445
値が以前フレームで求めた現フレームのサンプル値となる。
符号選択器906は、ライン905を通じて受信される各第1DCT係数インデックスに対して予測された時間軸予測情報と、ライン902、903を通じて受信される実際に計算された時間軸情報とを比較して、予測情報に近い符号を第1DCT係数の最終符号として定める。第1DCT係数の最終符号は、ライン823を通じて出力される。
さらに、本発明による他の実施形態において、信号予測器904は、各DCT係数インデックス別に以前フレームの量子化された第1DCT係数を使用して現在フレームの時間軸信号を予測し、時間軸インデックスn=0での勾配を出力する。すなわち、信号予測器904は、式(7)で求められた信号をnに対して微分し、微分の結果にn=0を代入して得た値を出力する。
逆DCT演算器824は、ライン821およびライン823を通じて量子化された第1DCT係数の大きさおよび符号を受信して、その大きさおよび符号を利用して各帯域別に量子化された時間軸信号を出力する。各帯域別に量子化された時間軸信号は、ライン825を通じてフィルターバンク826に入力される。
フィルターバンク826は、図2に図示されたフィルターバンク201に対応するように構成される。したがって、フィルターバンク826において、各帯域はフィルターバンク201で定義された中心周波数と同じ中心周波数により定義される。フィルターバンク826は、各帯域別に量子化された時間軸信号を利用して各帯域別の最終音声信号を得て、その最終音声信号をライン827を通じて出力する。加算器828は、フィルターバンク826から伝達される各帯域別の音声信号を加算して、最終的に復元された高域音声信号を得る。前記復元された高域音声信号は、ライン708を通じて出力される。
前記フィルターバンク826および加算器828は、逆DCT演算器824から出力される各帯域別に量子化された時間軸信号を利用して各帯域別の音声信号を得て、前記各帯域別の音声信号を利用して高域音声信号を復元する復元処理部を構成する。
フレーム遅延器829は、符号挿入器820および符号予測モジュール822から転送される第1DCT係数の大きさおよび符号を受信し、前記第1DCT係数の大きさおよび符号を利用して1フレーム遅延された量子化された第1DCT係数を符号予測モジュール822に提供する。したがって、ライン830を通じてフレーム遅延器829から出力される信号は、以前フレームの高域信号情報(DCT係数)である。
加算器709は、広域音声信号の復元された低域音声信号と、最終的に復元された高域音声信号とを加算して、ライン712を通じて復元された広域音声信号を出力する。
本発明による広域音声信号の低域音声信号に対する圧縮方法は、図1で説明したように、前記広域音声信号を狭域低域音声信号に変換して前記低域音声信号を圧縮する。圧縮された低域音声信号は、低域音声パケットとして転送される。この時、圧縮された低域音声信号は、低域音声信号のエネルギー情報を含む。
図10は、本発明による広域音声信号の圧縮方法において高域音声信号の圧縮過程を示す動作フローチャートである。
広域音声信号がフィルターバンク201に入力されると、第1001段階において、フィルターバンク201により前記広域音声信号を異なる周波数帯域を持つ複数の信号に分解する。
第1002段階において、図2の帯域RMS値計算器203により各周波数帯域別にRMS値を計算して分解された周波数帯域の順位を定め、各周波数帯域別の順位によって各周波数帯域の量子化方法を決定する。
第1003段階において、図2の帯域信号量子化モジュール207により帯域順位情報および前記低域音声信号のエネルギー情報を利用して異なる周波数帯域を持つ複数の信号をDCTして第1DCT係数を求め、第1DCT係数の大きさおよび符号を独立的に抽出する。
第1004段階において、第1DCT係数の大きさを再びDCTして第2DCT係数を求め、前記第2DCT係数をDC成分と第3DCT係数とに分離する。
第1005段階では、第2DCT係数のDC値および第3DCT係数をそれぞれ独立的に量子化する。この時、帯域間予測量子化方法でDC値を量子化し、帯域内の予測量子化方法で量子化されたDC値を使用して第3DCT係数のRMS値を量子化する。
第1006段階では、第1DCT係数符号を量子化して転送する。この時、量子化された第1DCT係数の大きさ順序情報に基づいて、大きさの大きいDCT係数の符号を検出しかつ転送する。
階層的な帯域幅構造に圧縮された低域音声パケットおよび高域音声パケットが受信されると、本発明による広域音声信号復元方法では、図7に示すように、低域音声パケットを低域音声信号に復元し、低域音声信号の復元時に得られる復元された低域音声信号のエネルギー情報を利用して高域音声パケットを高域音声信号に復元する。
図11は、本発明による広域音声復元方法における高域音声信号の復元過程を示す動作フローチャートである。
通信チャンネル(図示せず)を通じて高域音声パケットが受信されると、第1101段階では、受信された高域音声パケットを各モジュール別に逆量子化し、逆量子化された第1DCT係数の大きさが得られる。
第1102段階では、受信された第1DCT係数の符号が、図8で説明したように、量子化された第1DCT係数の大きさの順序情報によって該当するDCT係数に挿入される。
第1103段階では、受信されていない第1DCT係数符号を、図8の符号予測モジュール822により予測し、予測された符号が、該当する量子化された第1DCT係数に挿入される。
第1104段階では、量子化された第1DCT係数に対する逆DCT演算によって帯域別の時間軸信号を求め、図8のフィルターバンク826により最終的に復元された高域音声信号が出力される。
一方、図11に示す方法で復元された高域音声信号は、図7に示す方法で復元された低域音声信号と結合されて広域復元信号を生成する。
本発明は、既存の標準狭域音声圧縮器と互換可能な階層的な帯域幅構造を持つ広域音声信号の圧縮装置および復元装置を提供し、音声信号の符号化および復号化時に有用である。
本発明による広域音声信号の圧縮装置の機能ブロック図である。 図1に図示された高域音声圧縮器の詳細を示す機能ブロック図である。 図2に図示された帯域信号量子化モジュールの詳細を示す機能ブロック図である。 図3に図示されたDC量子化モジュールの詳細を示す機能ブロック図である。 図3に図示されたRMS量子化モジュールの詳細を示す機能ブロック図である。 図3に図示された符号量子化モジュールの詳細を示す機能ブロック図である。 本発明による広域音声信号復元装置の機能ブロック図である。 図7に図示された高域音声復元器の詳細を示す機能ブロック図である。 図8に図示された符号予測モジュールの詳細を示す機能ブロック図である。 本発明による広域音声信号の圧縮方法における高域音声信号の圧縮過程の動作を示すフローチャートである。 本発明による広域音声信号復元方法における高域音声信号の復元過程の動作を示すフローチャートである。
符号の説明
101 ライン
102 第1帯域変換ユニット
103 狭域低域信号
104 低域通過フィルター
105 ダウンサンプラー
106 狭域音声圧縮器
107 高域音声圧縮器
108 低域音声パケット
109 ライン
110 ライン

Claims (48)

  1. 広域音声信号の圧縮装置において、
    前記広域音声信号の低域音声信号を圧縮し、前記圧縮された低域音声信号を低域音声パケットとして出力する狭域音声圧縮器と、
    前記広域音声信号の高域音声信号の複数の帯域に対して、前記狭域音声圧縮器から提供される低域音声信号のエネルギー情報を利用して帯域間予測を行うことによって、前記広域音声信号の高域音声信号を圧縮し、圧縮された高域音声信号を高域音声パケットとして出力する高域音声圧縮器と、を含み、
    前記帯域間予測は、前記広域音声信号の高域音声信号の帯域に離散余弦変換(DCT)を実行して求めた第1DCT係数の大きさに対してさらにDCTを実行して求めた第2DCT係数のDC成分を、前記狭域音声圧縮器から提供される低域音声信号のエネルギー情報を利用して予測するものである、
    広域音声信号の圧縮装置。
  2. 前記狭域音声圧縮器がCELP型の圧縮器である場合、前記低域音声信号のエネルギー情報は、前記高域音声圧縮器のフレームに該当する前記狭域音声圧縮器の量子化された固定コードブック利得であることを特徴とする請求項1に記載の広域音声信号の圧縮装置。
  3. 前記狭域音声圧縮器がCELP系列の圧縮器である場合、前記低域音声信号のエネルギー情報は、前記高域音声圧縮器のフレームに該当する前記狭域音声圧縮器の量子化された固定コードブック利得の平均値であることを特徴とする請求項1に記載の広域音声信号の圧縮装置。
  4. 前記高域音声圧縮器は、
    前記広域音声信号の高域音声信号を異なる周波数帯域の複数個の帯域信号に分解するフィルターバンクと、
    前記フィルターバンクから出力される各帯域信号に対してRMS値を計算する帯域RMS値計算器と、
    前記帯域RMS値計算器で計算されたRMS値に基づいて前記フィルターバンクで分解された帯域信号の順位を定める帯域順位決定器と、
    前記帯域順位決定器で決定された帯域順位情報および前記低域音声信号のエネルギー情報を利用して、前記フィルターバンクで分解された前記複数の帯域信号を量子化して各帯域の量子化インデックスを出力する帯域信号量子化モジュールと、
    前記帯域順位情報および前記帯域信号量子化モジュールから出力される帯域別量子化インデックスをパケット化し、前記パケット化された結果を前記高域音声パケットとして出力するパケット化器と、を含む請求項1に記載の広域音声信号の圧縮装置。
  5. 前記帯域順位決定器は、前記RMS値の大きさ順序によって前記帯域信号の順位を決定することを特徴とする請求項4に記載の広域音声信号の圧縮装置。
  6. 前記帯域順位決定器は、大きいRMS値を持つ帯域信号に高い優先順位を割り当てることを特徴とする請求項4に記載の広域音声信号の圧縮装置。
  7. 前記帯域信号量子化モジュールは、
    前記フィルターバンクから提供される複数の信号に対して離散余弦変換(Discrete Cosine Transform:DCT)を実行して第1DCT係数を求める第1DCT演算器と、
    前記第1DCT係数の大きさを求める大きさ抽出器と、
    前記第1DCT係数の符号を求める符号抽出器と、
    前記大きさ抽出器で抽出された第1DCT係数の大きさに対してDCTを実行して第2DCT係数を求める第2DCT演算器と、
    前記第2DCT係数において、DC成分および前記DC成分を除外したDCT係数を分離し、前記DCT係数を第3DCT係数として出力するDC分離器と、
    前記DC分離器から出力される前記DC成分を量子化するDC量子化モジュールと、
    前記第3DCT係数のRMS値を求めるRMS値計算器と、
    前記RMS値計算器で求めたRMS値を量子化するRMS値量子化モジュールと、
    前記RMS値量子化モジュールから出力されるRMS値量子化インデックスを利用して検出された量子化されたRMS値に基づいて、前記第3DCT係数を正規化する正規化器と、
    前記正規化された第3DCT係数を量子化するDCT係数量子化器と、
    前記符号抽出器から抽出された符号を量子化する符号量子化モジュールと、を含む請求項4に記載の広域音声信号の圧縮装置。
  8. 前記DC量子化モジュールは、前記低域音声信号のエネルギー情報および前記帯域信号のDC成分を利用した帯域間予測によって前記DC成分を量子化することを特徴とする請求項7に記載の広域音声信号の圧縮装置。
  9. 前記DC量子化モジュールは、
    前記低域音声信号のエネルギー情報および前記各帯域信号のDC成分を利用して帯域間予測を行う帯域間予測器と、
    前記帯域間予測器から出力される各帯域信号のDC予測誤差を量子化してDC量子化インデックスを出力するDC量子化器と、
    前記DC量子化器から出力される前記DC量子化インデックスから各帯域信号に対する量子化されたDC予測誤差を求め、前記DC予測誤差から各帯域信号に対する逆量子化されたDC値を求めるDC逆量子化器と、を含むことを特徴とする請求項7に記載の広域音声信号の圧縮装置。
  10. 前記帯域間予測器は、下記式によって帯域間DC予測誤差を求めることを特徴とする請求項9に記載の広域音声信号の圧縮装置。
    Figure 0004726445
    (前記式(1)および(2)において、
    Figure 0004726445
    は高域音声信号のi番目帯域のLog DC値であり、
    Figure 0004726445
    は高域音声信号のi番目帯域の量子化されたLog DC値であり、
    Figure 0004726445
    は低域音声信号のLogエネルギー値であり、Gは帯域間予測器での予測係数であり、
    Figure 0004726445
    は高域音声信号のi番目帯域のDC予測誤差である。)
  11. 前記DC量子化モジュールは、前記DC予測誤差を独立的にスカラー量子化することを特徴とする請求項9に記載の広域音声信号の圧縮装置。
  12. 前記RMS値量子化モジュールは、前記第2DCT係数の量子化されたDC値を利用した帯域内予測によって前記第3DCT係数のRMS値を量子化することを特徴とする請求項7に記載の広域音声信号の圧縮装置。
  13. 前記RMS値量子化モジュールは、
    前記第3DCT係数のRMS値および前記第2DCT係数の量子化されたDC値を利用して帯域内で予測動作を行う帯域内予測器と、
    前記帯域内予測器から出力されるRMS予測誤差を量子化するRMS量子化器と、を含む請求項7に記載の広域音声信号の圧縮装置。
  14. 前記帯域内予測器は、下記式(4)によって帯域内RMS予測誤差
    Figure 0004726445
    を求めることを特徴とする請求項13に記載の広域音声信号の圧縮装置。
    Figure 0004726445
    (前記式(4)において、
    Figure 0004726445
    は高域音声信号のi番目帯域における第3DCT係数のLog RMS値、
    Figure 0004726445
    は高域音声信号のi番目帯域における第2DCT係数の量子化されたLog DC値、Gは前記帯域内予測器の予測係数であり、
    Figure 0004726445
    は高域音声信号のi番目帯域における帯域内RMS予測誤差値である。)
  15. 前記DCT係数量子化器は、各帯域信号の第3DCT係数のうち所定数のDCT係数を量子化して残りの第3DCT係数は除去することを特徴とする請求項7に記載の広域音声信号の圧縮装置。
  16. 前記DCT係数量子化器は、前記帯域順位情報によって、高い優先順位を持つ帯域では前記第3DCT係数を少なく除去し、低い優先順位を持つ帯域では前記第3DCT係数を多く除去することを特徴とする請求項15に記載の広域音声信号の圧縮装置。
  17. 前記DCT係数量子化器は、前記帯域順位情報によって各帯域で量子化するDCT係数の範囲に該当するインデックスを決定し、決定されたインデックスを参照して各帯域別に第3DCT係数を量子化することを特徴とする請求項7に記載の広域音声信号の圧縮装置。
  18. 前記DCT係数量子化器は、前記帯域順位情報によって各帯域で量子化するDCT係数の範囲に該当するインデックスを決定し、前記決定されたDCT係数のインデックスより下位のインデックスに該当する第3DCT係数を除去し、前記決定されたDCT係数インデックスより下位インデックスに該当しない残りの第3DCT係数を量子化する請求項7に記載の広域音声信号の圧縮装置。
  19. 前記DCT係数量子化器は、各帯域で量子化する第3DCT係数を複数のサブベクトルに分割し、前記帯域順位情報によって複数のサブベクトルのうち量子化するサブベクトルと除去するサブベクトルとを選択する分割ベクトル量子化方式によって量子化することを特徴とする請求項7に記載の広域音声信号の圧縮装置。
  20. 前記符号量子化モジュールは、前記第3DCT係数の量子化インデックスおよび前記第2DCT係数のDC量子化インデックスを利用して前記第1量子化されたDCT係数の大きさ順序情報を検出し、前記量子化された第1DCT係数の大きさ順序情報によって前記第1DCT係数の符号を量子化する請求項7に記載の広域音声信号の圧縮装置。
  21. 前記符号量子化モジュールは、前記第1量子化されたDCT係数の大きさ順序情報を利用して、前記第1DCT係数の符号を量子化する第1DCT係数の符号と除去する第1DCT係数の符号とに区分して前記量子化する第1DCT係数の符号を量子化する請求項20に記載の広域音声信号の圧縮装置。
  22. 前記量子化する第1DCT係数の符号は、最大の大きさの第1DCT係数の符号から順次、下位の第1DCT係数の符号まで所定の数の第1DCT係数の符号を含むことを特徴とする請求項21に記載の広域音声信号の圧縮装置。
  23. 前記符号量子化モジュールは、
    前記第3DCT係数の量子化インデックスから逆量子化された第3DCT係数を求めるDCT係数逆量子化器と、
    前記第2DCT係数のDC量子化インデックスから第2DCT係数の逆量子化されたDC値を求めるDC逆量子化器と、
    前記逆量子化された第3DCT係数と第2DCT係数の逆量子化されたDC値をDCT逆変換する逆DCT演算器と、
    前記逆DCT演算器から出力される量子化された第1DCT係数の大きさを大きさ順に整列する整列器と、
    前記整列器から出力される量子化された第1DCT係数の大きさ順序情報によって前記第1DCT係数の符号を量子化する符号量子化器と、を含む請求項7に記載の広域音声信号の圧縮装置。
  24. 前記符号量子化器は、前記整列器から出力される量子化された第1DCT係数の大きさ順序情報を利用して、最大の大きさの第1DCT係数から順次、下位の第1DCT係数の符号まで所定の数の第1DCT係数に該当する符号を量子化し、残りの第1DCT係数の符号は除去することを特徴とする請求項23に記載の広域音声信号の圧縮装置。
  25. 前記広域音声信号の圧縮装置は、
    前記広域音声信号を狭域低域音声信号に変換して前記狭域音声圧縮器に提供する第1帯域変換ユニットをさらに含む請求項1に記載の広域音声信号の圧縮装置。
  26. 圧縮された低域音声パケットおよび圧縮された高域音声パケットから広域音声信号を復元する装置において、
    前記圧縮された低域音声パケットを低域音声信号に復元する狭域音声復元器と、
    前記広域音声信号の高域音声信号の複数の帯域に対して、前記狭域音声復元器から提供される復元された低域音声信号のエネルギー情報を利用して帯域間予測を行うことによって、前記圧縮された高域音声パケットを高域音声信号に復元する高域音声復元器と、
    前記狭域音声復元器から出力される低域音声信号と前記高域音声復元器から出力される高域音声信号とを加算して広域復元信号を出力する加算器と、を含み、
    前記帯域間予測は、復元された高域音声信号を求める元になる量子化された第1DCT係数の大きさを求める元になる第2DCT係数のうちDC成分を、前記狭域音声復元器から提供される低域音声信号のエネルギー情報を利用して予測するものである、
    広域音声信号復元装置。
  27. 前記高域音声復元器は、
    前記高域音声パケットを分解して、符号量子化インデックス、帯域順位情報、第3DCT量子化インデックス、第2DCT係数のDC量子化インデックス、および第3DCT係数のRMS量子化インデックスを出力する逆パケット化器と、
    前記逆パケット化器から出力される符号量子化インデックスを逆量子化する符号逆量子化器と、
    前記逆パケット化器から出力される帯域順位情報、第3DCT量子化インデックス、第2DCT係数のDC量子化インデックス、および第3DCT係数のRMS量子化インデックスをそれぞれ逆量子化して量子化された第2DCT係数を求め、前記量子化された第2DCT係数から量子化された第1DCT係数の大きさを求める逆DCT演算モジュールと、
    前記逆DCT演算モジュールから出力される量子化された第1DCT係数の大きさを大きさ順に整列して前記量子化された第1DCT係数の大きさ順序情報を出力する整列器と、
    前記第1DCT係数の大きさ順序情報に基づいて第1DCT係数の大きさに、前記高域音声パケットから求めた第1DCT係数の符号を挿入する符号挿入器と、
    前記整列器から提供される第1DCT係数の大きさ順序情報に基づいて第1DCT係数の符号情報のうち伝達されていない符号を予測して、その予測された符号を該当する第1DCT係数の大きさに挿入する符号予測モジュールと、
    前記符号挿入器および前記符号予測モジュールから出力される符号が挿入された第1DCT係数を、各帯域別に量子化された時間領域信号に変換する逆DCT演算器と、
    前記逆DCT演算器から出力される各帯域別に量子化された時間領域の信号を利用して各帯域別の音声信号を得て、前記各帯域別の音声信号を利用して高域音声信号を復元する復元処理部と、を含む請求項26に記載の広域音声信号復元装置。
  28. 前記符号挿入器は、前記量子化された第1DCT係数の大きさ順序情報を利用して、最大の大きさを持つ量子化された第1DCT係数から順次、下位の第1DCT係数の符号まで所定の数の前記第1DCT係数の符号を量子化された第1DCT係数に挿入することを特徴とする請求項27に記載の広域音声信号復元装置。
  29. 前記符号予測モジュールは、前記符号挿入器の動作によって符号が割り当てられていない第1DCT係数に対して符号を予測し、予測された符号を該当する第1DCT係数に挿入することを特徴とする請求項27に記載の広域音声信号復元装置。
  30. 前記符号予測モジュールは、
    前記符号が割り当てられていない第1DCT係数の各インデックスに正の符号および負の符号をそれぞれ挿入し、逆DCT演算を通じて各係数のインデックスの符号に対する時間軸情報を出力する複数個の時間軸変換器と、
    前記符号が割り当てられていない第1DCT係数の各インデックスに対して、以前フレームの高域信号情報を利用して各DCT係数インデックス別に現在フレームの時間軸予測情報を出力する信号予測器と、
    各DCT係数インデックスの前記正の符号および負の符号を使用して求められた時間軸情報と前記時間軸予測情報とを比較して各DCT係数インデックスに対する最終符号を決定する符号選択器と、を含むことを特徴とする請求項27に記載の広域音声信号復元装置。
  31. 前記複数個の時間軸変換器は、下記式によって各符号別に時間軸信号を求め、n=0を代入して得た値を出力する請求項30に記載の広域音声信号復元装置。
    Figure 0004726445
    (ここで、
    Figure 0004726445
    および
    Figure 0004726445
    は現在フレームmにおける第1DCT係数のインデックスkに対する時間インデックスnでのサンプル値をそれぞれ示し、
    Figure 0004726445
    は量子化された第1DCT係数の大きさである。)
  32. 前記複数個の時間軸変換器は、下記式をnに対して微分し、n=0を代入してn=0での勾配を出力する請求項30に記載の広域音声信号復元装置。
    Figure 0004726445
    (ここで、
    Figure 0004726445
    および
    Figure 0004726445
    は現在フレームmにおける第1DCT係数のインデックスkに対する時間インデックスnでのサンプル値をそれぞれ示し、
    Figure 0004726445
    は量子化された第1DCT係数の大きさである。)
  33. 前記信号予測器は、下記式(7)によって各DCT係数別に以前フレームのDCT係数から現在フレームの時間軸信号を予測し、n=0を代入した予測情報を出力する請求項30に記載の広域音声信号復元装置。
    Figure 0004726445
    (ここで
    Figure 0004726445
    はDCT係数のインデックスkに対する時間軸予測信号であり、
    Figure 0004726445
    は以前フレームm−1での時間インデックスn+Lに該当する信号であり、
    Figure 0004726445
    は以前フレームでの量子化された第1DCT係数である。)
  34. 前記信号予測器は、下記式(7)をnに対して微分し、n=0を代入してn=0での予測勾配を出力することを特徴とする請求項30に記載の広域音声信号復元装置。
    Figure 0004726445
    (ここで
    Figure 0004726445
    はDCT係数のインデックスkに対する時間軸予測信号であり、
    Figure 0004726445
    は以前フレームm−1で求めた時間インデックスn+Lに該当する信号であり、
    Figure 0004726445
    は以前フレームの量子化された第1DCT係数である。)
  35. 前記符号選択器は、前記複数個の時間軸変換器の出力のうち前記信号予測器から出力される時間軸予測情報に最も近接した符号を最終符号として選択することを特徴とする請求項30に記載の広域音声信号復元装置。
  36. 広域音声信号の圧縮方法において、
    広域音声信号を受信し、前記広域音声信号の高域音声信号の複数の帯域に対して、前記広域音声信号の低域音声信号のエネルギー情報を利用して帯域間予測を行うことによって、前記広域音声信号の高域音声信号を圧縮する段階と、
    前記圧縮された高域音声信号を高域音声パケットとして出力する段階と、を含み、
    前記帯域間予測は、前記広域音声信号の高域音声信号の帯域に離散余弦変換(DCT)を実行して求めた第1DCT係数の大きさに対してさらにDCTを実行して求めた第2DCT係数のDC成分を、前記狭域音声圧縮器から提供される低域音声信号のエネルギー情報を利用して予測するものである、
    広域音声信号の圧縮方法。
  37. 前記方法は、前記広域音声信号の低域音声信号を狭域音声圧縮によって圧縮し、圧縮された低域音声信号を低域音声パケットとして出力する段階をさらに含み、
    前記低域音声信号のエネルギー情報は、前記広域音声信号の低域音声信号の狭域音声圧縮により生成されることを特徴とする請求項36に記載の広域音声信号の圧縮方法。
  38. 前記高域音声信号の圧縮段階は、
    前記広域音声信号の高域音声信号を異なる周波数帯域を持つ複数個の帯域信号に分解する段階と、
    前記複数個の帯域信号の順位を決定する段階と、
    前記決定された順位によって前記複数個の帯域信号を量子化する段階と、を含む請求項36に記載の広域音声信号の圧縮方法。
  39. 前記順位を決定する段階は、前記複数個の帯域信号に対するRMS値に基づいて行われることを特徴とする請求項38に記載の広域音声信号の圧縮方法。
  40. 前記順位を決定する段階は、前記RMS値が大きい値を持つ帯域に高い優先順位が割り当てられるように行われることを特徴とする請求項39に記載の広域音声信号の圧縮方法。
  41. 前記各帯域別に量子化する段階は、
    前記複数の帯域信号にそれぞれDCTを適用して第1DCT係数を求める段階と、
    前記第1DCT係数の大きさおよび符号を独立的に抽出する段階と、
    前記第1DCT係数の大きさにDCTを適用して第2DCT係数を求める段階と、
    前記第2DCT係数におけるDC成分と残りのDCT係数とを分離し、前記残りのDCT係数を第3DCT係数として生成する段階と、
    前記第3DCT係数のRMS値を計算する段階と、
    前記DC成分、前記第3DCT係数のRMS値、前記第3DCT係数および前記第1DCT係数の符号を独立的に量子化する段階と、を含む請求項38に記載の広域音声信号の圧縮方法。
  42. 前記DC成分、前記第3DCT係数のRMS値、前記第3DCT係数および前記第1DCT係数の符号を独立的に量子化する段階は、
    前記DC成分を帯域間予測量子化過程で量子化する段階と、
    前記第3DCT係数のRMS値を帯域内予測量子化過程で量子化する段階と、
    前記第3DCT係数を、各帯域の第3DCT係数のうち所定数の第3DCT係数は量子化され、残りの第3DCT係数は除去されるように量子化する段階と、
    最も大きい値を持つ第1DCT係数の符号が量子化されるように前記第1DCT係数の符号を量子化する段階と、を含む請求項41に記載の広域音声信号の圧縮方法。
  43. 前記DC成分に対する帯域間予測量子化過程は、下記式によって帯域間DC予測誤差を求め、前記帯域間DC予測誤差を量子化することを特徴とする請求項42に記載の広域音声信号の圧縮方法。
    Figure 0004726445
    (前記式で
    Figure 0004726445
    は高域音声信号のi番目帯域のLog DC値であり、
    Figure 0004726445
    は高域音声信号のi番目帯域の量子化されたLog DC値であり、
    Figure 0004726445
    は低域音声信号のLogエネルギーであり、Gは予測器の予測係数であり、
    Figure 0004726445
    は高域音声信号のi番目帯域のDC予測誤差である。)
  44. 前記帯域内予測量子化を使用する第3DCT係数のRMS値の量子化は、前記第3DCT係数のRMS値および前記第2DCT係数の量子化されたDC値を利用して行われることを特徴とする請求項42に記載の広域音声信号の圧縮方法。
  45. 前記第3DCT係数の量子化段階は、前記各帯域の順位情報によって、高い優先順位を持つ帯域で前記第3DCT係数を少なく除去し、低い優先順位を持つ帯域で前記第3DCT係数を多く除去することを特徴とする請求項42に記載の広域音声信号の圧縮方法。
  46. 前記第1DCT係数の符号量子化段階は、最大の大きさを持つ量子化された第1DCT係数から順次、下位の第1DCT係数の符号まで所定の数の前記第1DCT係数の符号を量子化し、残りの第1DCT係数の符号は除去することを特徴とする請求項42に記載の広域音声信号の圧縮方法。
  47. 階層的な帯域幅構造に圧縮された低域音声パケットおよび高域音声パケットから広域音声信号を復元する方法において、
    前記低域音声パケットを低域音声信号に復元する段階と、
    前記広域音声信号の高域音声信号の複数の帯域に対して、前記低域音声信号の復元時に得られる復元された低域音声信号のエネルギー情報を利用して帯域間予測を行うことによって、前記高域音声パケットを高域音声信号に復元する段階と、
    前記低域音声信号および前記高域音声信号を加算して広域復元信号を生成する段階と、を含み、
    前記帯域間予測は、復元された高域音声信号を求める元になる量子化された第1DCT係数の大きさを求める元になる第2DCT係数のうちDC成分を、前記狭域音声復元器から提供される低域音声信号のエネルギー情報を利用して予測するものである、
    広域音声信号の復元方法。
  48. 前記高域音声信号を復元する段階は、
    前記高域音声パケットを各広域音声信号復元のためのモジュール別に逆量子化する段階と、
    前記逆量子化段階により逆量子化された第1DCT係数の大きさを抽出する段階と、
    前記逆量子化段階により逆量子化された第1DCT係数の符号を抽出する段階と、
    前記第1DCT係数の大きさ順序情報によって第1DCT係数に前記第1DCT係数の符号を挿入する段階と、
    前記第1DCT係数の大きさ順序情報および以前フレームの第1DCT係数を利用して受信されていない第1DCT係数符号を予測する段階と、
    前記予測された第1DCT係数の符号を該当する逆量子化された第1DCT係数に挿入する段階と、
    逆量子化された第1DCT係数に対する逆DCT演算によって帯域別の時間領域信号を求めて前記高域音声信号を出力する段階と、を含む請求項47に記載の広域音声信号復元方法。
JP2004208615A 2003-07-16 2004-07-15 広域音声信号の圧縮装置および復元装置ならびに圧縮方法および復元方法 Expired - Fee Related JP4726445B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020030048665A KR100940531B1 (ko) 2003-07-16 2003-07-16 광대역 음성 신호 압축 및 복원 장치와 그 방법
KR2003-048665 2003-07-16

Publications (2)

Publication Number Publication Date
JP2005037949A JP2005037949A (ja) 2005-02-10
JP4726445B2 true JP4726445B2 (ja) 2011-07-20

Family

ID=36643387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004208615A Expired - Fee Related JP4726445B2 (ja) 2003-07-16 2004-07-15 広域音声信号の圧縮装置および復元装置ならびに圧縮方法および復元方法

Country Status (5)

Country Link
US (1) US8433565B2 (ja)
EP (1) EP1498874B1 (ja)
JP (1) JP4726445B2 (ja)
KR (1) KR100940531B1 (ja)
DE (1) DE602004001101T2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243041A (ja) * 2005-02-28 2006-09-14 Yutaka Yamamoto 高域補間装置及び再生装置
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
KR101434198B1 (ko) * 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
KR101261524B1 (ko) * 2007-03-14 2013-05-06 삼성전자주식회사 노이즈를 포함하는 오디오 신호를 저비트율로부호화/복호화하는 방법 및 이를 위한 장치
CN101609680B (zh) * 2009-06-01 2012-01-04 华为技术有限公司 压缩编码和解码的方法、编码器和解码器以及编码装置
US8000968B1 (en) 2011-04-26 2011-08-16 Huawei Technologies Co., Ltd. Method and apparatus for switching speech or audio signals
CN101964189B (zh) * 2010-04-28 2012-08-08 华为技术有限公司 语音频信号切换方法及装置
US8560330B2 (en) * 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding
CN102741831B (zh) * 2010-11-12 2015-10-07 宝利通公司 多点环境中的可伸缩音频
US9905236B2 (en) 2012-03-23 2018-02-27 Dolby Laboratories Licensing Corporation Enabling sampling rate diversity in a voice communication system
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
US10264116B2 (en) * 2016-11-02 2019-04-16 Nokia Technologies Oy Virtual duplex operation
CN112770269B (zh) * 2019-11-05 2022-05-17 海能达通信股份有限公司 宽窄带互通环境下语音通讯方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163056A (ja) * 1994-12-09 1996-06-21 Hitachi Denshi Ltd 音声信号帯域圧縮伝送方式
JPH1130997A (ja) * 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JP2001519552A (ja) * 1997-10-02 2001-10-23 シーメンス アクチエンゲゼルシヤフト ビットレートスケーラブルなオーディオデータストリームを生成する方法および装置
WO2002033696A1 (en) * 2000-10-18 2002-04-25 Nokia Corporation Method and system for estimating artificial high band signal in speech codec

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8421498D0 (en) * 1984-08-24 1984-09-26 British Telecomm Frequency domain speech coding
JPH07334194A (ja) * 1994-06-14 1995-12-22 Matsushita Electric Ind Co Ltd 音声符号化/復号化方法およびそれらの装置
JPH08160996A (ja) * 1994-12-05 1996-06-21 Hitachi Ltd 音声符号化装置
US6353808B1 (en) * 1998-10-22 2002-03-05 Sony Corporation Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal
JP2001217999A (ja) * 2000-02-03 2001-08-10 Nikon Corp 画像入力装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163056A (ja) * 1994-12-09 1996-06-21 Hitachi Denshi Ltd 音声信号帯域圧縮伝送方式
JPH1130997A (ja) * 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JP2001519552A (ja) * 1997-10-02 2001-10-23 シーメンス アクチエンゲゼルシヤフト ビットレートスケーラブルなオーディオデータストリームを生成する方法および装置
WO2002033696A1 (en) * 2000-10-18 2002-04-25 Nokia Corporation Method and system for estimating artificial high band signal in speech codec

Also Published As

Publication number Publication date
KR100940531B1 (ko) 2010-02-10
US8433565B2 (en) 2013-04-30
JP2005037949A (ja) 2005-02-10
DE602004001101D1 (de) 2006-07-20
DE602004001101T2 (de) 2007-06-14
EP1498874A1 (en) 2005-01-19
US20050027516A1 (en) 2005-02-03
EP1498874B1 (en) 2006-06-07
KR20050009384A (ko) 2005-01-25

Similar Documents

Publication Publication Date Title
JP5314720B2 (ja) 階層的な帯域幅構造を有する音声圧縮および復元装置、ならびにその方法
US7596492B2 (en) Apparatus and method for concealing highband error in split-band wideband voice codec and decoding
KR100813259B1 (ko) 입력신호의 계층적 부호화/복호화 장치 및 방법
KR100848324B1 (ko) 음성 부호화 장치 및 그 방법
JP4726445B2 (ja) 広域音声信号の圧縮装置および復元装置ならびに圧縮方法および復元方法
KR100921867B1 (ko) 광대역 오디오 신호 부호화 복호화 장치 및 그 방법
JP5280607B2 (ja) 音声信号圧縮装置及び方法、音声信号復元装置及び方法、ならびにコンピュータ読取可能な記録媒体
KR100352351B1 (ko) 정보부호화방법및장치와정보복호화방법및장치
US7155384B2 (en) Speech coding and decoding apparatus and method with number of bits determination
JP4359949B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
US5231669A (en) Low bit rate voice coding method and device
KR20090029088A (ko) 계층적 부호화 및 복호화 방법 및 장치
JP4274614B2 (ja) オーディオ信号復号方法
JP6713424B2 (ja) 音声復号装置、音声復号方法、プログラム、および記録媒体
JP3468184B2 (ja) 音声通信装置及びその通信方法
JP4618823B2 (ja) 信号符号化装置及び方法
Mohdar et al. Audio compression testing tool for multimedia applications
JP2003195898A (ja) 音声データ処理装置、方法及びプログラム
JPH11145846A (ja) 信号圧縮伸張装置及び方法
JP2000091920A (ja) 画像音声圧縮装置
KR20160098597A (ko) 통신 시스템에서 신호 코덱 장치 및 방법

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110412

R150 Certificate of patent or registration of utility model

Ref document number: 4726445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees