JP6787941B2 - 高周波数帯域幅拡張のための符号化／復号化装置及びその方法 - Google Patents

高周波数帯域幅拡張のための符号化／復号化装置及びその方法 Download PDF

Info

Publication number
JP6787941B2
JP6787941B2 JP2018042309A JP2018042309A JP6787941B2 JP 6787941 B2 JP6787941 B2 JP 6787941B2 JP 2018042309 A JP2018042309 A JP 2018042309A JP 2018042309 A JP2018042309 A JP 2018042309A JP 6787941 B2 JP6787941 B2 JP 6787941B2
Authority
JP
Japan
Prior art keywords
energy
coding
unit
input signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018042309A
Other languages
English (en)
Other versions
JP2018120236A (ja
Inventor
ソン，ホ−サン
ジュ，キ−ヒョン
オ，ウン−ミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2018120236A publication Critical patent/JP2018120236A/ja
Application granted granted Critical
Publication of JP6787941B2 publication Critical patent/JP6787941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012—Comfort noise or silence coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

本発明は、音声信号または音楽信号のようなオーディオ信号を符号化／復号化する方法及びその装置に係り、さらに詳細には、オーディオ信号において、高周波数領域に該当する信号を符号化／復号化する方法及びその装置に関する。
高周波数領域に該当する信号は、低周波数領域に該当する信号に比べ、周波数の微細構造にそれほど敏感ではない。従って、オーディオ信号を符号化するとき、可用ビットの制約を克服するために、コーディングの効率を高めなければならない場合、低周波数領域に対応する信号に多くのビットを割り当てて符号化する一方、高周波数領域に対応する信号に相対的に少ないビットを割り当てて符号化する。
かような方式が適用された技術がＳＢＲ（spectral band replication）である。ＳＢＲ技術は、高域成分信号を包絡線で表現し、これを復号化段階で合成する方式で、符号化効率を向上させる方式である。これは、人間の聴覚特性が高域信号に相対的に低い解像力を有するという事実に基づいたものである。
かようなＳＢＲ技術において、高周波数領域の帯域幅を拡張するための改善された方法が要求される。
本発明の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の基本信号（basic signal）を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記基本信号を利用して、エネルギー制御要素（energy control factor）を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成する人工信号生成部と、ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を人工信号に適用する包絡線適用部と、を含んでもよい。前記推定された包絡線を適用するということは、前記人工信号を、前記人工信号の推定された包絡線によって分けることを意味する。
本発明の一実施形態による符号化装置の前記要素推定部は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、前記基本信号のトーナリティを計算する第２トーナリティ計算部と、前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含んでもよい。
本発明の他の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記周波数領域入力信号の特性及び前記基本信号を利用して、エネルギー制御要素を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
本発明のさらに他の実施形態による符号化装置は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記符号化モードに基づいて、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記符号化モードに基づいて、前記抽出されたエネルギーを制御するエネルギー制御部と、前記符号化モードに基づいて、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
本発明の一実施形態による復号化装置は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化するコア復号化部と、前記コア復号化された時間領域入力信号をアップサンプリングするアップサンプリング部と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含んでもよい。
本発明の一実施形態による復号化装置の前記拡張復号化部は、前記時間領域入力信号のエネルギーを逆量子化する逆量子化部と、前記周波数領域入力信号を利用して、基本信号を生成する基本信号生成部と、前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含んでもよい。
本発明の一実施形態による復号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を、前記人工信号に適用する包絡線適用部と、を含んでもよい。
本発明の一実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
本発明の他の実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
本発明のさらに他の実施形態による符号化方法は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
本発明の一実施形態による復号化方法は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化する段階と、前記コア復号化された時間領域入力信号をアップサンプリングする段階と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する段階と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含んでもよい。
本発明の実施形態によれば、入力信号の基本信号を抽出し、入力信号の高周波数領域のトーナリティと基本信号のトーナリティとを利用して、入力信号のエネルギーを制御することにより、高周波数領域の帯域幅を効率的に拡張することができる。
一実施形態による符号化装置及び復号化装置を図示したブロック図である。 図１の符号化装置の一実施形態を図示したブロック図である。 図１の符号化装置のコア符号化部を図示したブロック図である。 図１の符号化装置の拡張符号化部の一実施形態を図示したブロック図である。 図１の符号化装置の拡張符号化部の他の実施形態を図示したブロック図である。 拡張符号化部の基本信号生成部を図示したブロック図である。 拡張符号化部の要素推定部を図示したブロック図である。 図１の符号化装置のエネルギー量子化部の過程を示したフローチャートである。 一実施形態によって、エネルギーを量子化する過程を示した図面である。 一実施形態によって、人工信号を生成する過程を示した図面である。 一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。 一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。 図１の復号化装置を図示したブロック図である。 図１２の拡張復号化部を図示したブロック図である。 拡張復号化部の逆量子化部の動作を示したフローチャートである。 本発明の一実施形態による符号化方法を示したフローチャートである。 本発明の一実施形態による復号化方法を示したフローチャートである。 図１の符号化装置の他の実施形態を図示したブロック図である。 図１７の符号化装置のエネルギー量子化部の動作を示したブロック図である。 一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。 一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。 一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。 一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。 図１３の逆量子化部の動作を示したブロック図である。 図１の符号化装置のさらに他の実施形態を示したブロック図である。
以下、本発明の実施形態について、添付された図面を参照して詳細に説明する。
図１は、一実施形態による符号化装置１０１及び復号化装置１０２を図示したブロック図である。符号化装置１０１は、入力信号の基本信号（base signal）を生成し、復号化装置１０２に伝送することができる。基本信号は、低周波信号を基に生成され、低周波信号の包絡線情報が除去（whitening）された信号であるから、高周波帯域幅拡張のための励起信号（excitation signal）である。それにより、復号化装置１０２は、受信された基本信号から入力信号を復元することができる。すなわち、符号化装置１０１と復号化装置１０２は、ＳＷＢ ＢＷＥ（super wide band bandwidth extension）を行う。具体的には、ＳＷＢ ＢＷＥは、低周波数領域である０〜６．４ＫＨｚのデコーディングされたＷＢ（wide band）信号を基に、ＳＷＢに対応する高周波数領域である６．４〜１６ＫＨｚ信号を生成することができる。このとき、１６ＫＨｚは、状況によって変動される。そして、デコーディングされたＷＢ信号は、ＬＰＤ（linear prediction domain）基盤のＣＥＬＰ（code excited linear prediction）によって、speech codecを介して生成された信号であるか、あるいは周波数ドメインで量子化を行う方式によって生成された信号であってもよい。周波数ドメインで量子化する方式は、ＭＤＣＴ（modified discrete cosine transform）基盤で行うＡＡＣ（advanced audio coding）を有することができる。
以下では、符号化装置１０１と復号化装置１０２との詳細動作について具体的に説明する。
図２は、図１の符号化装置１０１の構成を図示したブロック図である。図２を参照すれば、符号化装置１０１は、例えば、ダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３及び拡張符号化部２０４を含んでもよい。
ダウンサンプリング部２０１は、ＷＢコーディングのために、時間領域入力信号をダウンサンプリングすることができる。時間領域入力信号であるＳＷＢ（super wide band）信号は、一般的に、３２ＫＨｚサンプリングレートを有する信号であるので、ＷＢコーディングに適するサンプリングレートに変換することが必要である。一例として、ダウンサンプリング部２０１は、３２ＫＨｚサンプリングレートを示す時間領域入力信号を、１２．８ＫＨｚにダウンサンプリングすることができる。
コア符号化部２０２は、ダウンサンプリングされた時間領域入力信号をコア符号化することができる。すなわち、コア符号化部２０２は、ＷＢコーディングを行うことができる。一例として、コア符号化部２０２は、ＣＥＬＰ方式のＷＢコーディングを行うことができる。
周波数変換部２０３は、時間領域入力信号を、周波数領域入力信号に変換することができる。一例として、周波数変換部２０３は、ＦＦＴ（fast Fourier transform）またはＭＤＣＴのうちいずれか一つを利用して、時間領域入力信号を、周波数領域入力信号に変換することができる。以下では、ＭＤＣＴを適用したと仮定して説明する。
拡張符号化部２０４は、周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行うことができる。すなわち、拡張符号化部２０４は、周波数領域入力信号を基に、ＳＷＢ ＢＷＥ符号化を行うことができる。
また、拡張符号化部２０４は、周波数領域入力信号の基本信号と周波数領域入力信号との特性を利用して、帯域幅拡張符号化を行うことができる。その場合、周波数領域入力信号の特性のソースによって、拡張符号化部２０４は、図４及び図５のようなブロック図として具体化される。
拡張符号化部２０４の動作に対しては、図４及び図５で具体的に説明する。
結局、図２で上端pathは、コア符号化過程を示し、下端pathは、帯域幅拡張符号化過程を示す。特に、ＳＷＢ ＢＷＥ符号化過程を介して、入力信号のエネルギー情報が復号化装置１０２に伝達されてもよい
図３は、コア符号化部２０２のブロック図を図示した図面である。図３を参照すれば、コア符号化部２０２は、例えば、信号分類部３０１及び符号化部３０２を含んでもよい。
信号分類部３０１は、ダウンサンプリングされた入力信号（１２．８ＫＨｚ）の特性を分類することができる。すなわち、信号分類部３０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用する符号化モードを決定することができる。例えば、ＩＴＵ−Ｔ Ｇ．７１８コーデックで、信号分類部３０１は、音声信号を、有声音符号化モード（voiced coding mode）、無声音符号化モード（unvoiced coding mode）、転移信号符号化モード（transition coding mode）及び一般的な信号符号化モード（generic coding mode）のうち一つ以上に分類することができる。ここで、無声音符号化モードは、無声音フレームと、ほとんどのinactive frameとを符号化するために設計された。
符号化部３０２は、信号分類部３０１で分類された周波数領域入力信号の特性によって最適化されたコーディングを行うことができる。
図４は、図２の拡張符号化部２０４の一実施形態を図示した図面である。図４を参照すれば、拡張符号化部２０４は、例えば、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５を含んでもよい。一例として、拡張符号化部２０４は、符号化モードを入力されずに、エネルギー制御要素を推定することができる。他の一例として、拡張符号化部２０４は、符号化モードを利用して、エネルギー制御要素を推定することができる。このとき、符号化モードは、コア符号化部２０２から入力される。
基本信号生成部４０１は、周波数領域入力信号の周波数スペクトルを利用して、入力信号の基本信号を生成することができる。基本信号は、ＷＢ信号を基にＳＷＢ ＢＷＥを行うめの信号を意味する。言い替えれば、基本信号は、低周波領域のfine structureを構成する信号を意味する。基本信号を生成する過程については、図６でさらに具体的に説明する。
一例として、要素推定部４０２は、基本信号を利用して、エネルギー制御要素（energy control factor）を推定することができる。すなわち、符号化装置１０１は、復号化装置１０２で、ＳＷＢ領域の信号を生成するために、入力信号のエネルギー情報を伝送する。このとき、要素推定部４０２は、エネルギー情報を知覚的な（perceptual）観点から制御するために、エネルギーを制御するためのパラメータであるエネルギー制御要素を推定することができる。エネルギー制御要素を推定する過程については、図７で具体的に説明する。
他の一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力される。
エネルギー抽出部４０３は、周波数領域入力信号から、エネルギーを抽出することができる。抽出されたエネルギーは、復号化装置１０２に伝送される。エネルギーは、周波数バンド別に抽出される。
エネルギー制御部４０４は、エネルギー制御要素を利用して、入力信号から抽出されたエネルギーを制御することができる。すなわち、エネルギー制御部４０４は、周波数バンド別に抽出されたエネルギーに、エネルギー制御要素を適用することにより、エネルギーを制御することができる。
エネルギー量子化部４０５は、制御されたエネルギーを量子化（quantization）することができる。エネルギーは、ｄＢ（decibel） scaleに変換されて量子化が行われる。具体的には、エネルギー量子化部４０５は、全体エネルギーであるグローバル（global）エネルギーを求めて、グローバルエネルギー、及び周波数バンド別エネルギーとグローバルエネルギーとの差をスカラ量子化することができる。または、最初のバンドは、エネルギーを直接量子化し、二番目以後のバンドは、以前バンドとの差を量子化することができる。また、エネルギー量子化部４０５は、周波数バンドの差値を利用せずに、周波数バンド別にエネルギーを直接量子化することもできる。周波数バンド別にエネルギーを直接量子化する場合、スカラ量子化またはベクトル量子化が利用される。エネルギー量子化部４０５については、図８及び図９で具体的に説明する。
図５は、拡張符号化部２０４の他の実施形態を図示したブロック図である。図５の拡張符号化部２０４は、図４の拡張符号化部２０４と異なり、信号分類部５０１をさらに含んでもよい。一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力されるのではなく、信号分類部５０１から入力されるのである。
信号分類部５０１は、３２ＫＨｚの入力信号を、ＭＤＣＴスペクトルを利用して、周波数領域入力信号の特性を分類することができる。具体的には、信号分類部５０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用される符号化モードを決定することができる。
入力信号の特性が分類されるとき、エネルギー制御要素が信号から抽出されて制御される。一実施形態において、エネルギー制御要素推定に適する信号について、エネルギー制御要素が抽出される。例えば、ノイズ信号や無声音信号のように、トーナル成分を含まない信号は、エネルギー制御要素推定に適さないこともある。このとき、拡張符号化部２０４は、入力信号が無声音符号化モードとして分類された場合、拡張符号化部２０４は、エネルギー制御要素を推定せずに、帯域幅拡張符号化を行うことができる。
図５で、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５に係わる説明は、図４を参照する。
図６は、基本信号生成部４０１を図示したブロック図である。図６を参照すれば、基本信号生成部４０１は、例えば、人工信号生成部６０１、包絡線適用部６０２及び包絡線推定部６０３を含んでもよい。
人工信号生成部６０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成することができる。すなわち、人工信号生成部６０１は、周波数領域入力信号の低周波数スペクトルをコピーし、ＳＷＢ領域の人工信号を生成することができる。人工信号を生成する具体的な過程については、図１０で説明する。
包絡線推定部６０２は、ウィンドウを利用して、基本信号の包絡線を推定することができる。基本信号の包絡線は、ＳＷＢ領域の人工信号の周波数スペクトルに含まれている低周波数領域の包絡線情報を取り除くために使用される。特定周波数インデックスの包絡線は、特定周波数以前と以後との周波数スペクトルを使用して決定される。そして、動き平均（moving average）を介して、包絡線が推定される。一例として、周波数変換時にＭＤＣＴが使用されたとするなら、ＭＤＣＴ変換された周波数スペクトルの絶対値を介して、基本信号の包絡線が推定される。
このとき、包絡線推定部６０２は、whiteningバンドを構成した後、whiteningバンド別に周波数magnitudeの平均を、whiteningバンド内に属した周波数の包絡線として推定することができる。前記whiteningバンドに属する周波数スペクトルの個数は、エネルギーを抽出するバンドよりさらに少なく設定されることができる。
ホワイトニング（whitening）バンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数が多いか、あるいは少ないかということに係わる情報で伝送し、基本信号の平坦化位を調節することができる。例えば、包絡線推定部６０２は、８個のスペクトルから構成された場合と、３個のスペクトルから構成された場合との２種方式に基づいて情報を伝送することができる。このとき、３個のスペクトルから構成された場合、８個のスペクトルから構成された場合より、さらに平坦化された基本信号が生成される。
また、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数の多少いかんに係わる情報を送信せずに、コア符号化部２０２に使用された符号化モードによって決定することができる。コア符号化部２０２は、入力信号の特性によって、入力信号を、有声音符号化モード、無声音符号化モード、transient符号化モード、及びgeneric符号化モードに区分して入力信号を符号化することができる。
このとき、包絡線推定部６０２は、入力信号の特性による符号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、入力信号が有声音符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、入力信号が有声音符号化モード以外の符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。
包絡線適用部６０３は、推定された包絡線を人工信号に適用することができる。かような過程をwhiteningといい、人工信号が包絡線によって平坦化される。包絡線適用部６０３は、人工信号を、周波数インデックスそれぞれの包絡線に分けて基本信号を生成することができる。
図７は、要素推定部４０２を図示したブロック図である。図７を参照すれば、要素推定部４０２は、例えば、第１トーナリティ（tonality）計算部７０１、第２トーナリティ計算部７０２及び要素計算部７０３を含んでもよい。
第１トーナリティ計算部７０１は、周波数領域入力信号の高周波数領域のトーナリティ（tonality）を計算することができる。すなわち、第１トーナリティ計算部７０１は入力信号の高周波数領域であるＳＷＢ領域のトーナリティを計算することができる。
第２トーナリティ計算部７０２は、基本信号のトーナリティを計算することができる。トーナリティは、spectral flatnessを測定することによって計算される。具体的には、下記数式（１）によってトーナリティが計算される。Spectral flatnessは、周波数スペクトルの幾何平均と算術平均との関係を介して測定される。
Figure 0006787941
 要素計算部７０３は、高周波数領域のトーナリティと基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。このとき、エネルギー制御要素は、下記数式（２）によって計算される。
Figure 0006787941
 ここで、αは、エネルギー制御要素を示し、Ｔｏは、入力信号のトーナリティ、Ｔｂは、基本信号のトーナリティを示す。Ｎｂは、ノイジネスス・ファクタ（noisiness factor）であり、信号にノイズ成分が含まれた程度を示す。
エネルギー制御要素は、下記数式（３）によって計算される。
Figure 0006787941
 要素計算部７０３は、それぞれの周波数バンド別に、エネルギー制御要素を計算することができる。計算されたエネルギー制御要素は、入力信号のエネルギーに適用される。このとき、エネルギー制御要素は、エネルギー制御要素が、あらかじめ設定したエネルギー制御要素より小さい場合、入力信号のエネルギーに適用される。
図８は、エネルギー量子化部４０５の動作について説明するためのフローチャートである。段階Ｓ８０１で、エネルギー量子化部４０５は、エネルギー制御要素を利用して、エネルギーベクトルを前処理し、前処理されたエネルギーベクトルのサブベクトルを選択することができる。一例として、エネルギー量子化部４０５は、選択されたエネルギーベクトルそれぞれのエネルギー値について、平均値を差し引いたり、あるいはエネルギーベクトルそれぞれの重要度に係わる加重値を計算することができる。このとき、重要度に係わる加重値、は合成音の音質を最大化する方向に計算される。
そして、エネルギー量子化部４０５は、符号化効率を考慮して、エネルギーベクトルのサブベクトルを適切に選択することができる。そして、補間効果を向上させるために、エネルギー量子化部４０５は、一定間隔でサブベクトルを選択することができる。
一例として、エネルギー量子化部４０５は、下記数式（４）によって、サブベクトルを選択することができる。
ｋ＊ｎ（ｎ＝０ … Ｎ），ｋ＞＝２，Ｎは、ベクトルdimensionより小さい最大整数 （４）
その場合、ｋ＝２になれば、偶数がＮに選択される。
段階Ｓ８０２で、エネルギー量子化部４０５は、選択されたサブベクトルを量子化及び逆量子化する。エネルギー量子化部４０５は、数式（５）によって計算されたＭＳＥ（mean square error）を最小化する量子化インデックスを選択し、サブベクトルを量子化することができる。
Figure 0006787941
 エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ（Trellis coded quantization）及びＬＶＱ（lattice ＶＱ（vector quantization））のうちいずれか一つによって、サブベクトルを量子化することができる。このとき、ベクトル量子化は、multi-stage ＶＱまたはsplit ＶＱなどが可能であり、split ＶＱとmulti−stage ＶＱとを同時に使用することも可能である。量子化インデックスは、復号化装置１０２に伝送される。
そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥ（weighted ＭＳＥ）を利用して、最適化された量子化インデックスを求めることができる。このとき、weighted ＭＳＥは、数式（６）によって計算される。
Figure 0006787941
 段階Ｓ８０３で、エネルギー量子化部４０５は、量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルの値を計算することができる。段階Ｓ８０４で、エネルギー量子化部４０５は、補間された残りのサブベクトルと、原エネルギーベクトルにマッチングされた残りのサブベクトルとの差である補間エラーを計算することができる。
段階Ｓ８０５で、エネルギー量子化部４０５は、補間エラーを量子化することができる。このとき、エネルギー量子化部４０５は、ＭＳＥを最小化する量子化インデックスを利用して、補間エラーを量子化することができる。エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ（trellis coded quantization）及びＬＶＱ（lattice ＶＱ）のうちいずれか一つによって補間エラーを量子化することができる。このとき、ベクトル量子化は、multi−stage ＶＱまたはsplit ＶＱなどが可能であり、split ＶＱとmulti−stage ＶＱとを同時に使用することも可能である。そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥを利用して、最適化された量子化インデックスを求めることができる。
段階Ｓ８０６で、エネルギー量子化部４０５は、選択されて量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算し、段階Ｓ８０５で計算された量子化された補間エラーを加え、最終的に量子化されたエネルギーを計算することができる。そして、エネルギー量子化部４０５は、後処理過程を介して、前処理過程で差し引いた平均値をエネルギー値にさらに加え、最終的に量子化されたエネルギーを計算することができる。
Multi−stage ＶＱで、エネルギー量子化部４０５は、同一のコードブックでもって、量子化性能を向上させるために、Ｋ個のサブベクトルの候補（candidate）を利用して量子化を行う。Ｋが２以上である場合、エネルギー量子化部４０５は、distortion measureを行い、サブベクトルの最適候補を決定することができる。このとき、distortion measureは、２つの方式によって決定される。
第一に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）を最小化させるインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。その場合、計算量が少ないという長所がある。
第二に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原のエネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて、候補を選択することができる。その場合、復元のための計算量が追加されるものの、実際量子化された値を利用してＭＳＥを求めるので、性能にすぐれるという長所がある。
図９は、一実施形態によって、エネルギーを量子化する過程を示した図面である。図９を参照すれば、エネルギーベクトルは、１４dimensionを示す。１st stageで、エネルギー量子化部４０５は、エネルギーベクトルから偶数のみを選択し、７dimensionであるサブベクトルを選択することができる。１st stageで、性能向上のためにエネルギー量子化部４０５は、２個の量子化stageにsplitされたベクトル量子化を利用することができる。
エネルギー量子化部４０５は、２nd stageで、１st stageのエラー信号を利用して量子化を行うことができる。エネルギー量子化部４０５は、選択されたサブベクトルの逆量子化過程を経て、補間エラーを求めることができる。３rd stageで、エネルギー量子化部４０５は、補間エラーを２個にsplitされたベクトル量子化を利用して、量子化することができる。
図１０は、一実施形態による人工信号を生成する過程を図示した図面である。図１０を参照すれば、人工信号生成部６０１は、全体周波数バンドで、低周波数領域であるｆＬ〜６．４ＫＨｚに対応する周波数スペクトル１００１をコピーすることができる。コピーされた周波数スペクトル１００１は、６．４〜１２．８−ｆＬ ＫＨｚ周波数領域までシフトされる。そして、１２．８−ｆＬ〜１６ＫＨｚ周波数領域に対応する周波数スペクトルは、６．４〜１２．８−ｆＬ ＫＨｚ周波数領域の周波数スペクトルがフォールディングされて生成される。すなわち、高周波数領域であるＳＷＢに対応する人工信号は、６．４〜１６ＫＨｚまで生成される。
このとき、周波数スペクトルを生成するときに使用された変換がＭＤＣＴである場合、ｆＬと６．４ｋＨｚとの間に相関関係が存在する。具体的には、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが偶数である場合には、ｆＬの周波数インデックスも偶数である必要がある。一方、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが奇数である場合、ｆＬの周波数インデックスも奇数である必要がある。
例えば、原入力信号に対して、６４０個のスペクトルを抽出するＭＤＣＴを適用した場合、６．４ｋＨｚに対応するインデックスは、２５６番目のインデックスになって（６４００／１６０００＊６４０）偶数になる。その場合、ｆＬは、偶数として選択される必要がある。すなわち、ｆＬは、２（５０Ｈｚ）、４（１００Ｈｚ）などが使用される。この過程は、復号化過程でも同一に適用される。
図１１Ａ及び図１１Ｂは、一実施形態による包絡線推定のためのウィンドウを図示した図面である。図１１Ａ及び図１１Ｂを参照すれば、ウィンドウ１１０１とウィンドウ１１０２とのpeak位置が、現在包絡線を推定しようとする周波数インデックスを意味する。基本信号に係わる包絡線推定は、下記数式（７）によって行われる。
Figure 0006787941
 ウィンドウ１１０１とウィンドウ１１０２は、いつも固定して使用され、その場合には、追加して伝送されるビットが必要ない。または、ウィンドウ１１０１とウィンドウ１１０２とが選択的に使用される場合には、包絡線推定のために、いかなるウィンドウが使用されたを示す情報をビットで表現し、追加して復号化装置１０２に伝達する必要がある。かようなビットは、周波数バンド別に伝送されたり、あるいは１フレームに一度伝送される。
ウィンドウ１１０１とウィンドウ１１０２とを比較すれば、ウィンドウ１１０２は、ウィンドウ１１０１より現在周波数インデックスに対応する周波数スペクトルに、加重値をさらに付け加えて包絡線を推定する。従ってウィンドウ１１０２によって生成された基本信号は、ウィンドウ１１０１によって生成された基本信号より平坦に生成される。ウィンドウの種類は、ウィンドウ１１０１あるいはウィンドウ１１０２によって生成されたそれぞれの基本信号と、入力信号の周波数スペクトルとを比較することによって選択される。また、高周波数領域のトーナリティ比較を介して、類似したトーナリティを有させるウィンドウが選択される。そして、高周波数領域の相関も（correlation）の比較を介して、相関図の高いウィンドウが選択される。
図１２は、図１の復号化装置１０１を図示したブロック図である。図１２の過程は、図２の過程の逆過程からなる。図１２を参照すれば、復号化装置１０２は、例えば、コア復号化部１２０１、アップサンプリング部１２０２、周波数変換部１２０３、拡張復号化部１２０４及び周波数逆変換部１２０５を含んでもよい。
コア復号化部１２０１は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる。コア復号化過程を介して、１２．８ＫＨｚサンプリングレートを有する信号が抽出される。
アップサンプリング部１２０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる。アップサンプリングを介して、３２ＫＨｚサンプリングレートを有する信号が抽出される。
周波数変換部１２０４は、アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換することができる。アップサンプリングされた時間領域入力信号の変換は、符号化装置１０１で使用した周波数変換方式と同一の方法を使用することができるし、例えば、ＭＤＣＴを使用することができる。
拡張復号化部１２０４は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる。拡張復号化部１２０４の動作については、図１３で具体的に説明する。
周波数逆変換部１２０５は、帯域幅拡張復号化が行われた結果に対して、周波数逆変換を行うことができる。周波数変換部１２０３で使用した周波数変換方式の逆過程を遂行することにより、例えば、ＩＭＤＣＴ（inverse modified discrete cosine transform）を行うことができる。
図１３は、図１２の拡張復号化部１２０４を図示したブロック図である。図１３を参照すれば、拡張復号化部１２０４は、例えば、逆量子化部１３０１、ゲイン計算部１３０２、ゲイン適用部１３０３、人工信号生成部１３０４、包絡線推定部１３０５及び包絡線適用部１３０６を含んでもよい。
逆量子化部１３０１は、時間領域入力信号のエネルギーを逆量子化することができる。エネルギーを逆量子化する過程については、図１４で具体的に説明する。
ゲイン計算部１３０２は、逆量子化されたエネルギーと基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。具体的には、ゲインは、逆量子化されたエネルギーと基本信号のエネルギーの比率を介して決定される。一般的にエネルギーは、周波数スペクトルのamplitudeの二乗の和を使用して決定されるから、エネルギーの比率のroot値を使用することができる。
ゲイン適用部１３０３は、計算されたゲインを周波数バンド別に適用することができる。それにより、最終的に、ＳＷＢの周波数スペクトルが決定される。
一例として、ゲイン計算及びゲイン適用は、前述のように、バンドをエネルギーを伝送したバンドと一致させて行うことができる。他の実施形態で、急激なエネルギーの変化を防止するために、全体周波数バンドをサブバンドに分けて遂行することもできる。かような場合において、周辺バンドの逆量子化されたエネルギーが補間（interpolation）され、バンド境界部分でのエネルギーをスムージング（smoothing）させることができる。例えば、それぞれのバンドは、３個のサブバンドに分離し、それぞれバンドの３個サブバンドのうち、中間のサブバンドは、現在バンドの逆量子化されたエネルギーを割り当て、最初及び三番目のサブバンドは、以前バンドあるいは以後バンドの中間バンドに割り当てられたエネルギーと、補間を介して新しくスムージングされたエネルギーとを使用して、ゲイン計算及び適用を行うことができる。すなわち、ゲイン計算及び適用を行う単位をサブバンドで設定して適用することができる。
かようなエネルギー・スムージング方式は、常に固定された方式で適用することができる。また、拡張符号化部２０４で、エネルギー・スムージングが必要であるという情報を伝送し、必要なフレームで適用することができる。このとき、スムージングが必要なフレームであるという情報は、スムージングを行った場合が、スムージングを行っていない場合に比べ、全体エネルギーの量子化エラーが少なくなる場合に選択することができる。
一方、周波数領域入力信号を利用して、基本信号を生成することができる。基本信号を生成する過程は、次のような構成要素を介して行われる。
人工信号生成部１３０４は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。このとき、周波数領域入力信号は、３２ＫＨｚサンプリングレートを有するＷＢ復号化された信号であってもよい。
包絡線推定部１３０５は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。ウィンドウは、符号化装置１０１で、包絡線推定のために使用されたものであり、ウィンドウ種類は、ビット形態でビットストリームに含まれ、復号化装置１０２に伝送される。
包絡線適用部１３０６は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。
符号化装置の包絡線推定部６０２で、ホワイトニングバンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合において、ホワイトニングバンド内に属したスペクトルの個数が多少いかんと係わる情報を復号化装置に伝送した場合、復号化装置の包絡線推定部１３０５が、伝送された方式に基づいて包絡線を推定した後、包絡線適用部１３０６で、包絡線を適用することができる。また、情報伝送なしに、ＷＢコア復号化部に使用されたコア符号化モードによって決定することができる。
コア復号化部１２０１は、周波数領域入力信号の特性によって、有声音復号化モード、無声音復号化モード、transient復号化モード、generic復号化モードのうち、復号化モードを決定して復号化することができる。このとき、包絡線推定部６０２は、周波数領域入力信号の特性による復号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、周波数領域入力信号が有声音復号化モードによって復号化された場合、包絡線推定部１３０５は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、周波数領域入力信号が、有声音復号化モード以外の復号化モードによって符号化された場合、包絡線推定部１３０６は、ホワイトニングバンドに、３個の周波数スペクトルを構成して包絡線を推定することができる。
図１４は、逆量子化部１３０１の動作を図示したフローチャートである。段階Ｓ１４０１で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス１を利用して、エネルギーベクトルの選択されたサブベクトルを逆量子化することができる。
段階Ｓ１４０２で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス２を利用して、選択されていない残りのサブベクトルに対応する補間エラーを逆量子化することができる。
段階Ｓ１４０３で、逆量子化部１３０１は、逆量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算することができる。そして、逆量子化部１３０１は、残りのサブベクトルに逆量子化された補間エラー値を加えることができる。また、逆量子化部１３０１は、後処理過程を介して、前処理過程で差し引いた平均値を加え、最終的な逆量子化されたエネルギーを計算することができる。
図１５は、一実施形態による符号化方法を図示したフローチャートである。符号化装置１０１は、時間領域入力信号をダウンサンプリングすることができる（Ｓ１５０１）。
符号化装置１０１は、ダウンサンプリングされた時間領域入力信号に対して、コア符号化することができる（Ｓ１５０２）。符号化装置１０１は、時間領域入力信号を、周波数領域入力信号に変換することができる（Ｓ１５０３）。
符号化装置１０１は、周波数領域入力信号に対して、帯域幅拡張符号化を行うことができる（Ｓ１５０４）。一例として、符号化装置１０１は、Ｓ１５０２で、一定符号化情報を利用して、帯域幅拡張符号化を行うことができる。このとき、符号化情報は、周波数領域入力信号の特性によって分類された符号化モードを含んでもよい。
一例として、符号化装置１０１は、帯域幅拡張符号化を、次のような過程を介して行うことができる。符号化装置１０１は、周波数領域入力信号の周波数スペクトルを利用して、周波数領域の入力信号の基本信号を生成することができる。他の一例として、符号化装置は、周波数領域入力信号の特性、及び周波数領域入力信号の周波数スペクトルを利用して、周波数領域入力信号の基本信号を生成することができる。このとき、周波数領域入力信号の特性は、コア符号化を介して導き出されたり、あるいは別途の信号分類過程を介して導き出される。そして、符号化装置１０１は、基本信号を利用して、エネルギー制御要素を推定することができる。その後、符号化装置１０１は、周波数領域入力信号からエネルギーを抽出することができる。それにより、符号化装置１０１は、エネルギー制御要素を利用して、抽出されたエネルギーを制御することができる。符号化装置１０１は、制御されたエネルギーを量子化することができる。このとき、基本信号を生成する過程は、次のような方法を介して行われる。
符号化装置１０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、符号化装置１０１は、ウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、符号化装置１０１は、トーナリティまたは相関度（correlation）のうち、いずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することができる。一例として、符号化装置１０１は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することができる。具体的には、符号化装置１０１は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することができる。
その後、符号化装置１０１は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。そして、エネルギー制御要素を推定する過程は、次のような方法を介して行われる。
符号化装置１０１は、周波数領域入力信号の高周波数領域のトーナリティを計算することができる。そして、符号化装置１０１は、基本信号のトーナリティを計算することができる。その後、符号化装置１０１は、高周波数領域のトーナリティと、基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。
また、エネルギーを量子化する過程は、次のような方法を介して行われる。
符号化装置１０１は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、選択されていない残りの（remained）サブベクトルを量子化することができる。このとき、符号化装置１０１は、一定間隔でサブベクトルを選択することができる。
一例として、符号化装置１０１は、サブベクトルの候補（candidate）を選択し、２個以上使用するマルチステージ（multistage）ベクトル量子化を行うことができる。このとき、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。または、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することができる。
図１６は、一実施形態による復号化方法を図示したフローチャートである。復号化装置１０２は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる（Ｓ１６０１）。復号化装置１０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる（Ｓ１６０２）。復号化装置１０２は、アップサンプリングされた時間領域入力信号を周波数変換することができる（Ｓ１６０３）。
復号化装置１０２は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる（Ｓ１６０４）。
具体的には、帯域幅拡張を行う過程は、次のように成り立つ。復号化装置１０２は、時間領域入力信号のエネルギーを逆量子化することができる。このとき、復号化装置１０１は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することができる。
そして、復号化装置１０２は、周波数領域入力信号を利用して、基本信号を生成することができる。その後、復号化装置１０２は、逆量子化されたエネルギーと、基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。最終的には、復号化装置１０２は、計算されたゲインを、周波数バンド別に適用することができる。
具体的には、基本信号を生成する過程は、次のようになる。
復号化装置１０２は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、復号化装置１０２は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、ウィンドウ情報を常に同一に使用するように設定された場合には、ビットストリームにウィンドウが含まれないこともある。その後、復号化装置１０２は、推定された包絡線を人工信号に適用することができる。
図１５及び図１６で説明していない事項は、図１ないし図１４の説明を参照する。
図１７は、他の実施形態による符号化装置１０１の全体構成を図示したブロック図である。図１７を参照すれば、符号化装置１０１は、例えば、符号化モード選択部１７０１及び拡張符号化部１７０２を含んでもよい。
符号化モード選択部１７０１は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択することができる。
具体的には、符号化モード選択部１７０１は、周波数領域入力信号と、時間領域入力信号とを利用して、周波数領域入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び符号化モードに基づいた周波数バンドの個数を決定することができる。ここで、符号化モードは、拡張符号化部１７０２の性能向上のために、コア符号化時に、一定符号化モードと異なる新しい符号化モードのセットに設定される。
一例として、符号化モードは、ノーマル（normal）モード、ハーモニック（harmonic）モード、トランジェント（transient）モード、ノイズ（noise）モードに分類される。まず、符号化モード選択部１７０１は、時間領域の入力信号の長区間エネルギーと、現在フレームの高域エネルギーとの比率を利用して、現在フレームがtransientしたフレームであるか否かを決定することができる。transientした信号区間は、時間領域で、急激なエネルギー変化が示される区間であるので、高域のエネルギーが急激に変化する区間であるといえる。
残り３個の符号化モードを決定する過程は、次の通りである。まず、符号化モード選択部１７０１は、以前フレームと現在フレームとの周波数領域のglobalエネルギーを求めた後、これらの間の比率と、周波数領域の入力信号とを、前もって定義された周波数帯域に分けた後、各周波数帯域の平均エネルギーとpeakエネルギーとを利用して、残り３個のモードを決定することができる。
Harmonicモードは、一般的に、周波数領域信号で、平均エネルギーとpeakエネルギーとの差が最大である信号であるといえる。そしてnoiseモードは、全体的に、エネルギー変化が少ない信号であるといえる。かような２つのモードの信号を除いた残りの信号は、いずれもnormalモードとして決定される。
そして、一実施形態で、normalモード及びharmonicモードで、周波数バンドの個数は、１６個に決定され、transientモードで、周波数バンドの個数は、５個に決定され、noiseモードで、周波数バンドの個数は、１２個に決定される。
拡張符号化部１７０２は、周波数領域入力信号と符号化モードとを利用して、帯域幅拡張符号化を行うことができる。図１７を参照すれば、拡張符号化部１７０２は、例えば、基本信号生成部１７０３、要素推定部１７０４、エネルギー抽出部１７０５、エネルギー制御部１７０６及びエネルギー量子化部１７０７を含んでもよい。基本信号生成部１７０３と要素推定部１７０４とについては、図４の基本信号生成部４０１と要素推定部４０２との説明を参照する。
エネルギー抽出部１７０５は、符号化モードに基づいて、一定周波数バンドの個数によって、各周波数バンドに該当するエネルギーを抽出することができる。エネルギー制御部１７０６は、符号化モードに基づいて、周波数バンドに対応するエネルギーを制御することができる。
基本信号生成部１７０３、要素推定部１７０４及びエネルギー制御部１７０６は、符号化モードによって使用されもし、または使用されないこともある。例えば、normalモードとharmonicモードは、前述の３個構成要素が使用され、transientモードとnoiseモードは、前述の３個構成要素が使用されないこともある。前述の３個の構成要素に係わる詳細的な説明は、図４で説明した部分を参照する。
エネルギー量子化部１７０７は、符号化モードに基づいて制御されたエネルギーを量子化することができる。すなわち、エネルギー制御過程を経たバンドエネルギーは、エネルギー量子化部１７０７で量子化される。
図１８は、エネルギー量子化部１７０７が行う動作を図示した図面である。エネルギー量子化部１７０７は、符号化モードによって、周波数領域入力信号から抽出されたエネルギーを量子化することができる。このとき、エネルギー量子化部１７０７は、符号化モードによって、入力信号の知覚的な特性、及び周波数バンドの個数を考慮し、各入力信号に最適な方式で、バンドエネルギーを量子化することができる。
例えば、符号化モードがtransientモードである場合、エネルギー量子化部１７０７は、５個のバンドエネルギーについて、知覚的特性に基づいた周波数加重方法（frequency weighting method）を利用して、バンドエネルギーを量子化することができる。そして、符号化モードがnormalモードまたはharmonicモードである場合、エネルギー量子化部１７０７は、１６個バンドエネルギーについて、知覚的特性に基づいた不均一ビット割り当て方法（unequal bit allocation method）を利用して、バンドエネルギーを量子化することができる。もし、知覚的特性が明確ではない場合、エネルギー量子化部１７０７は、知覚的特性を考慮せずに、一般的な量子化を行うこともできる。
図１９は、一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。
不均一ビット割り当て方法は、拡張符号化の対象になった入力信号の知覚的特性を考慮したものであり、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーを、さらに正確に量子化することができる方法である。このために、エネルギー量子化部１７０７は、低い周波数帯域に対応するバンドエネルギーに、同じであるか、あるいはさらに多いビットを割り当て、知覚的な重要度を区分することができる。
一例として、エネルギー量子化部１７０７は、相対的に低い帯域である０〜５番周波数帯域にさらに多くのビット割り当てを行い、０〜５番周波数帯域にいずれも同一のビット割り当てを行うようにすることができる。そして、周波数帯域が高くなるほど、エネルギー量子化部１７０７は、さらに少ないビットを割り当てる。かようなビット割り当てによって、周波数帯域０〜１３は、図１９のような方式で量子化される。そして、周波数帯域１４，１５は、図２０のように量子化される。
図２０は、一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。
エネルギー量子化部１７０７は、２個以上の要素（element）を有する量子化対象ベクトルの代表値を予測した後、予測された代表値と、量子化対象ベクトルの少なくとも２個の各要素との間のエラー信号をベクトル量子化することができる。
図２０は、かようなイントラフレーム予測（intra frame prediction）を示し、量子化対象ベクトルの代表値を予測し、エラー信号を導出する方法は、数式（８）の通りである。
Figure 0006787941
 ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ（ｎ）は、エラーエネルギーを意味する。ここで、ｅ（１４）とｅ（１５）は、ベクトル量子化される。
図２１は、一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。
周波数加重方法（frequency weighting method）は、拡張符号化対象である入力信号の知覚的特性として考慮し、不均一ビット割り当て方法と同一に、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーをさらに正確に量子化をする方法である。このために、低い周波数帯域に対応するバンドエネルギーと同じであるか、あるいはさらに高い加重値を付与して知覚的な重要度を区分する。
一例として、エネルギー量子化部１７０７は、相対的に低い周波数帯域である０〜３番周波数帯域に対応するバンドエネルギーに、さらに高い加重値である１．０を付与し、高い周波数帯域である１５番周波数帯域に対応するバンドエネルギーに、さらに低い加重値である０．７を付与して量子化することができる。付与された加重値を使用するために、エネルギー量子化部１７０７は、ＷＭＳＥ値を利用して、最適インデックスを求めることができる。
図２２は、一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。
エネルギー量子化部１７０７は、バンドエネルギーの個数が１６個であるnormalモードについて、図２２のようにベクトル量子化を行うことができる。ここで、エネルギー量子化部１７０７は、不均一ビット割り当て方法、イントラフレーム予測（intra frame prediction）、及びmulti−stage split ＶＱ with energy interpolation技術を利用して、ベクトル量子化を行うことができる。
図２３は、逆量子化部１３０１が行う動作を図示した図面である。図２３の過程は、図１８の過程の逆に遂行することができる。図１７のように、拡張符号化時に符号化モードが使用された場合、拡張復号化部１２０４の逆量子化部１３０１は、符号化モードを復号化することができる。
逆量子化部１３０１は、まず、伝送されたインデックスを利用して、符号化モードを復号化することができる。そして、逆量子化部１３０１は、復号化された符号化モードによって、定められた方式で逆量子化を行うことができる。図２３の符号化モードによって、各逆量子化対象であるブロックは、量子化の逆順に逆量子化される。
ここで使用されたmulti−stage split ＶＱ with energy interpolation方式で量子化された部分は、図１４と同一の方式で逆量子化される。ここにおいて、逆量子化部１３０１は、イントラフレーム予測を利用して、下の数式（９）によって逆量子化することができる。
Figure 0006787941
 ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ＾（ｎ）は、量子化されたエラーエネルギーを意味する。
図２４は、一実施形態による符号化装置１０１の他の構造を図示した図面である。図２４に図示された符号化装置１０１は、例えば、ダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４を含んでもよい。
図２４に図示された符号化装置１０１のダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４は、図２に図示された符号化装置１０１のダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３、拡張符号化部２０４ｄと同一の基本的な動作を遂行することができる。ただし、拡張符号化部２４０４は、コア符号化部２４０２への情報伝送を必要とせず、時間領域の入力信号が直接入力される。
本発明の実施形態による方法は、多様なコンピュータ手段を介して行われるプログラム命令形態で具現され、コンピュータ可読媒体に記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独で、あるいは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものや、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。
以上、本発明は、たとえ限定された実施形態と図面とによって説明したにしても、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならは、かような記載から多様な修正及び変形が可能である。従って、本発明の範囲は、説明された実施形態に限られて決められるものではなく、特許請求の範囲だけではなく、当該特許請求の範囲と均等なものによっても決定されるものである。
以上の実施例に関し、更に、以下の項目を開示する。
（１）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、
前記時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
（２）前記拡張符号化部は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、
前記基本信号と前記周波数領域入力信号とを利用して、エネルギー制御要素を推定する要素推定部と、
前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、
前記制御されたエネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（１）に記載の符号化装置。
（３）前記基本信号生成部は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（２）に記載の符号化装置。
（４）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、
前記包絡線推定部は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（３）に記載の符号化装置。
（５）前記包絡線推定部は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（３）に記載の符号化装置。
（６）前記包絡線推定部は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（５）に記載の符号化装置。
（７）前記要素推定部は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、
前記基本信号のトーナリティを計算する第２トーナリティ計算部と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含むことを特徴とする（２）に記載の符号化装置。
（８）前記エネルギー制御部は、前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（２）に記載の符号化装置。
（９）前記エネルギー量子化部は、エネルギーベクトルのサブベクトルを選択して量子化を遂行した後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（２）に記載の符号化装置。
（１０）前記エネルギー量子化部は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（９）に記載の符号化装置。
（１１）前記エネルギー量子化部は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（９）に記載の符号化装置。
（１２）前記エネルギー量子化部は、前記サブベクトルの候補それぞれについて、各ステージでＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）を最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することを特徴とする（９）に記載の符号化装置。
（１３）前記エネルギー量子化部は、前記サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することを特徴とする（９）に記載の符号化装置。
（１４）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、
前記時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号と、前記周波数領域入力信号の基本信号とを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
（１５）前記拡張符号化部は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、
前記基本信号、と前記周波数領域入力信号との特性を利用して、エネルギー制御要素を推定する要素推定部と、
前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、
前記制御されたエネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（１４）に記載の符号化装置。
（１６）前記拡張符号化部は、前記周波数領域の入力信号の周波数スペクトルを利用して、前記周波数領域入力信号を、特性によって分類する信号分類部をさらに含み、
前記要素推定部は、前記信号分類部で決定された前記周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（１５）に記載の符号化装置。
（１７）前記要素推定部は、前記コア符号化部で決定された前記周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（１５）に記載の符号化装置。
（１８）前記基本信号生成部は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（１５）に記載の符号化装置。
（１９）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、
前記包絡線推定部は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（１８）に記載の符号化装置。
（２０）前記包絡線推定部は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（１８）に記載の符号化装置。
（２１）前記包絡線推定部は、コア符号化モードによってホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（２０）に記載の符号化装置。
（２２）前記要素推定部は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、
前記基本信号のトーナリティを計算する第２トーナリティ計算部と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含むことを特徴とする（１４）に記載の符号化装置。
（２３）前記エネルギー制御部は、前記エネルギー制御要素があらかじめ設定したスレッシュホールドエネルギー制御要素より小さい場合、前記入力信号のエネルギーを制御することを特徴とする（１５）に記載の符号化装置。
（２４）前記エネルギー量子化部は、サブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（１５）に記載の符号化装置。
（２５）前記エネルギー量子化部は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（２４）に記載の符号化装置。
（２６）前記エネルギー量子化部は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（２４）に記載の符号化装置。
（２７）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
符号化モードに基づいて周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記符号化モードに基づいて、エネルギーを制御するエネルギー制御部と、
前記符号化モードに基づいて、前記エネルギーを量子化するエネルギー量子化部と、を含む符号化装置。
（２８）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、
前記周波数領域入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
（２９）前記符号化モード選択部は、
前記周波数領域の入力信号と、前記時間領域入力信号とを利用して、前記周波数領域入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び前記符号化モードに基づいた周波数バンドの個数を決定することを特徴とする（２８）に記載の符号化装置。
（３０）前記拡張符号化部は、
前記符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記符号化モードに基づいて、エネルギーを制御するエネルギー制御部と、
前記符号化モードに基づいて、前記エネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（２８）に記載の符号化装置。
（３１）前記エネルギー抽出部は、前記符号化モードに基づいて、周波数バンドに対応するエネルギーを抽出することを特徴とする（３０）に記載の符号化装置。
（３２）前記エネルギー制御部は、前記周波数領域入力信号の基本信号によって推定されたエネルギー制御要素を利用して、エネルギーを制御することを特徴とする（３０）に記載の符号化装置。
（３３）前記エネルギー量子化部は、前記符号化モードによって、前記周波数領域入力信号に最適な方式によって量子化することを特徴とする（３０）に記載の符号化装置。
（３４）前記エネルギー量子化部は、前記符号化モードがトランジェントモードである場合、周波数バンドについて周波数加重方法を利用して、エネルギーを量子化することを特徴とする（３３）に記載の符号化装置。
（３５）前記周波数加重方法は、知覚的重要度が高い低域周波数バンドに加重値を付与し、エネルギーを量子化する方法であることを特徴とする（３４）に記載の符号化装置。
（３６）前記エネルギー量子化部は、前記符号化モードがノーマルモードまたはハーモニックモードである場合、周波数バンドについて不均一ビット割り当て方法を利用して、エネルギーを量子化することを特徴とする（３３）に記載の符号化装置。
（３７）前記不均一ビット割り当て方法は、知覚的重要度が高い低域周波数バンドに、高域周波数バンドより相対的に多くのビットを割り当ててエネルギーを量子化する方法であることを特徴とする（３６）に記載の符号化装置。
（３８）前記エネルギー量子化部は、２個以上の要素を有する量子化対象ベクトルの代表値を予測した後、前記予測された代表値と、前記量子化対象ベクトルの各要素とのエラー信号をベクトル量子化することを特徴とする（３０）に記載の符号化装置。
（３９）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
ビットストリームに含まれた時間領域入力信号をコア復号化するコア復号化部と、
前記コア復号化された時間領域入力信号をアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号のエネルギーを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含む復号化装置。
（４０）前記拡張復号化部は、
前記時間領域入力信号のエネルギーを逆量子化する逆量子化部と、
前記周波数領域入力信号を利用して、基本信号を生成する基本信号生成部と、
前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、
前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含むことを特徴とする（３９）に記載の復号化装置。
（４１）前記逆量子化部は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することを特徴とする（４０）に記載の復号化装置。
（４２）前記基本信号生成部は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（４０）に記載の復号化装置。
（４３）前記ゲイン計算部とゲイン適用部は、エネルギー・スムージングを適用するためのサブバンドを設定し、補間を介して、サブバンド別にエネルギーを生成し、前記ゲインは、サブバンド単位で計算されることを特徴とする（４０）に記載の復号化装置。
（４４）ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、
前記時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
（４５）前記帯域幅拡張符号化を行う段階は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する段階と、
前記基本信号を利用して、エネルギー制御要素を推定する段階と、
前記周波数領域入力信号から、エネルギーを抽出する段階と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御する段階と、
前記制御されたエネルギーを量子化する段階と、を含むことを特徴とする（４４）に記載の符号化方法。
（４６）前記時間領域入力信号の基本信号を生成する段階は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
ウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（４５）に記載の符号化方法。
（４７）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、
前記基本信号の包絡線を推定する段階は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（４６）に記載の符号化方法。
（４８）前記基本信号の包絡線を推定する段階は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（４６）に記載の符号化方法。
（４９）前記基本信号の包絡線を推定する段階は、
コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（４８）に記載の符号化方法。
（５０）前記エネルギー制御要素を推定する段階は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する段階と、
前記基本信号のトーナリティを計算する段階と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する段階と、を含むことを特徴とする（４５）に記載の符号化方法。
（５１）前記抽出されたエネルギーを制御する段階は、
前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（４５）に記載の符号化方法。
（５２）前記制御されたエネルギーを量子化する段階は、
エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（４５）に記載の符号化方法。
（５３）前記制御されたエネルギーを量子化する段階は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（５２）に記載の符号化方法。
（５４）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（５２）に記載の符号化方法。
（５５）前記制御されたエネルギーを量子化する段階は、
前記サブベクトルの候補それぞれについて、各ステージで、ＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）を最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することを特徴とする（５４）に記載の符号化方法。
（５６）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補それぞれについて、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することを特徴とする（５４）に記載の符号化方法。
（５７）ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、
前記時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
（５８）前記帯域幅拡張符号化を行う段階は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する段階と、
前記周波数領域入力信号の特性及び前記基本信号を利用して、エネルギー制御要素を推定する段階と、
前記周波数領域入力信号から、エネルギーを抽出する段階と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御する段階と、
前記制御されたエネルギーを量子化する段階と、を含むことを特徴とする（５７）に記載の符号化方法。
（５９）前記帯域幅拡張符号化を行う段階は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号を、特性によって分類する段階をさらに含み、
前記エネルギー制御要素を推定する段階は、前記周波数領域入力信号を、特性によって分類する段階で決定された入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（５８）に記載の符号化方法。
（６０）前記エネルギー制御要素を推定する段階は、前記コア符号化を行う段階で決定された周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（５８）に記載の符号化方法。
（６１）前記基本信号を生成する段階は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
ウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（５８）に記載の符号化方法。
（６２）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、前記基本信号の包絡線を推定する段階は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（６１）に記載の符号化方法。
（６３）前記基本信号の包絡線を推定する段階は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（６１）に記載の符号化方法。
（６４）前記基本信号の包絡線を推定する段階は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（６３）に記載の符号化方法。
（６５）前記エネルギー制御要素を推定する段階は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する段階と、
前記基本信号のトーナリティを計算する段階と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する段階と、を含むことを特徴とする（５８）に記載の符号化方法。
（６６）前記抽出されたエネルギーを制御する段階は、前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（５８）に記載の符号化方法。
（６７）前記制御されたエネルギーを量子化する段階は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（５８）に記載の符号化方法。
（６８）前記制御されたエネルギーを量子化する段階は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（６７）に記載の符号化方法。
（６９）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（６７）に記載の符号化方法。
（７０）符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出する段階と、
前記符号化モードに基づいて、エネルギーを制御する段階と、
前記符号化モードに基づいて、前記エネルギーを量子化する段階と、を含む符号化方法。
（７１）周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、
前記周波数領域入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
（７２）前記符号化モードを選択する段階は、
前記周波数領域入力信号と、前記時間領域入力信号とを利用して、前記周波数領域入力信号を分類する段階と、
分類された情報によって、帯域幅拡張符号化の符号化モード、及び前記符号化モードに基づいた周波数バンドの個数を決定する段階と、を含むことを特徴とする（７１）に記載の符号化方法。
（７３）前記帯域幅拡張符号化を行う段階は、
前記符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出する段階と、
前記符号化モードに基づいて、エネルギーを制御する段階と、
前記符号化モードに基づいて、前記エネルギーを量子化する段階と、を含むことを特徴とする（７１）に記載の符号化方法。
（７４）前記エネルギーを抽出する段階は、前記符号化モードに基づいて、周波数バンドに対応するエネルギーを抽出することを特徴とする（７３）に記載の符号化方法。
（７５）前記エネルギーを制御する段階は、前記周波数領域入力信号の基本信号によって推定されたエネルギー制御要素を利用して、エネルギーを制御することを特徴とする（７３）に記載の符号化方法。
（７６）前記エネルギーを量子化する段階は、
前記符号化モードによって、前記周波数領域入力信号に最適な方式によって量子化することを特徴とする（７３）に記載の符号化方法。
（７７）前記エネルギーを量子化する段階は、前記符号化モードがトランジェントモードである場合、周波数バンドについて周波数加重方法を利用して、エネルギーを量子化することを特徴とする（７６）に記載の符号化方法。
（７８）前記周波数加重方法は、知覚的重要度が高い低域周波数バンドに加重値を付与し、エネルギーを量子化する方法であることを特徴とする（７７）に記載の符号化方法。
（７９）前記エネルギーを量子化する段階は、前記符号化モードがノーマルモードまたはハーモニックモードである場合、周波数バンドについて不均一ビット割り当て方法を利用して、エネルギーを量子化することを特徴とする（７６）に記載の符号化方法。
（８０）前記不均一ビット割り当て方法は、知覚的重要度が高い低域周波数バンドに、高域周波数バンドより相対的に多くのビットを割り当ててエネルギーを量子化する方法であることを特徴とする（７９）に記載の符号化方法。
（８１）前記エネルギーを量子化する段階は、２個以上の要素を有する量子化対象ベクトルの代表値を予測した後、前記予測された代表値と、前記量子化対象ベクトルの各要素とのエラー信号をベクトル量子化することを特徴とする（７３）に記載の符号化方法。
（８２）ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化する段階と、
前記コア復号化された時間領域入力信号をアップサンプリングする段階と、
前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含む復号化方法。
（８３）前記帯域幅拡張復号化を行う段階は、
前記時間領域入力信号のエネルギーを逆量子化する段階と、
前記周波数領域入力信号を利用して、基本信号を生成する段階と、
前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算する段階と、
前記計算されたゲインを周波数バンド別に適用する段階と、を含むことを特徴とする（８２）に記載の復号化方法。
（８４）前記逆量子化部は、エネルギーベクトルのサブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することを特徴とする（８３）に記載の復号化方法。
（８５）前記基本信号を生成する段階は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（８４）に記載の復号化方法。
（８６）前記基本信号に適用されるゲインを計算する段階は、エネルギー・スムージングを適用するためのサブバンドを設定し、補間を介して、サブバンド別にエネルギーを生成し、前記ゲインは、サブバンド単位で計算されることを特徴とする（８４）に記載の復号化方法。
（８７）（４４）に記載の方法を遂行するためのプログラムが記録されたコンピュータ可読記録媒体。

Claims (3)

  1. 少なくとも１つのプロセッサを含み、
    前記プロセッサは、
    現在フレームの入力スペクトルに基づき、所定周波数より高い帯域のための基本励起スペクトル(base excitation spectrum)を生成し、
    前記入力スペクトルから前記現在フレームを構成するバンドのエネルギーを取得し、
    前記基本励起スペクトルのトーナリティと前記入力スペクトルのトーナリティとの比率に基づき、前記現在フレームを構成するバンドに対応するエネルギー制御要素を取得し、
    前記現在フレームを構成するバンドに対して得られたエネルギーを前記エネルギー制御要素に基づいて制御し、
    エネルギーベクトルから一定間隔にサブベクトルを選択し、前記選択されたサブベクトルを補間して補間エラーを計算し、前記選択されたサブベクトル及び前記補間エラーを加重平均二乗エラー(weighted mean square error)に基づいて量子化することにより、前記制御されたエネルギーをベクトル量子化する符号化装置。
  2. 前記プロセッサは、前記現在フレームがノントランジェント(non-transient)フレームに該当する場合、前記現在フレームを構成するバンドに対して得られたエネルギーのサイズを前記エネルギー制御要素に基づき調整する請求項１に記載の符号化装置。
  3. 前記ノントランジェント(non-transient)フレームは、ハーモニック(harmonic)フレームとノーマル(normal)フレームを含む請求項２に記載の符号化装置。
JP2018042309A 2010-09-15 2018-03-08 高周波数帯域幅拡張のための符号化／復号化装置及びその方法 Active JP6787941B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20100090582 2010-09-15
KR10-2010-0090582 2010-09-15
KR20100103636 2010-10-22
KR10-2010-0103636 2010-10-22
KR1020100138045A KR101826331B1 (ko) 2010-09-15 2010-12-29 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
KR10-2010-0138045 2010-12-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016230346A Division JP6306676B2 (ja) 2010-09-15 2016-11-28 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Publications (2)

Publication Number Publication Date
JP2018120236A JP2018120236A (ja) 2018-08-02
JP6787941B2 true JP6787941B2 (ja) 2020-11-18

Family

ID=46133534

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013529063A Active JP6111196B2 (ja) 2010-09-15 2011-09-15 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
JP2016230346A Active JP6306676B2 (ja) 2010-09-15 2016-11-28 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
JP2018042309A Active JP6787941B2 (ja) 2010-09-15 2018-03-08 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013529063A Active JP6111196B2 (ja) 2010-09-15 2011-09-15 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
JP2016230346A Active JP6306676B2 (ja) 2010-09-15 2016-11-28 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Country Status (9)

Country Link
US (4) US9183847B2 (ja)
EP (3) EP3745398A1 (ja)
JP (3) JP6111196B2 (ja)
KR (3) KR101826331B1 (ja)
CN (3) CN105719655B (ja)
MX (1) MX354288B (ja)
MY (1) MY167013A (ja)
RU (1) RU2639694C1 (ja)
WO (1) WO2012036487A2 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101983403B (zh) * 2008-07-29 2013-05-22 雅马哈株式会社 演奏相关信息输出装置、具有演奏相关信息输出装置的系统、以及电子乐器
EP2268057B1 (en) * 2008-07-30 2017-09-06 Yamaha Corporation Audio signal processing device, audio signal processing system, and audio signal processing method
JP5782677B2 (ja) 2010-03-31 2015-09-24 ヤマハ株式会社 コンテンツ再生装置および音声処理システム
KR101826331B1 (ko) 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
US9082416B2 (en) * 2010-09-16 2015-07-14 Qualcomm Incorporated Estimating a pitch lag
JP5648123B2 (ja) * 2011-04-20 2015-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声音響符号化装置、音声音響復号装置、およびこれらの方法
EP2728577A4 (en) 2011-06-30 2016-07-27 Samsung Electronics Co Ltd APPARATUS AND METHOD FOR GENERATING A BANDWIDTH EXTENSION SIGNAL
EP2573761B1 (en) 2011-09-25 2018-02-14 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
US8909539B2 (en) * 2011-12-07 2014-12-09 Gwangju Institute Of Science And Technology Method and device for extending bandwidth of speech signal
JP5494677B2 (ja) 2012-01-06 2014-05-21 ヤマハ株式会社 演奏装置及び演奏プログラム
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
CN106847297B (zh) 2013-01-29 2020-07-07 华为技术有限公司 高频带信号的预测方法、编/解码设备
CN110827841B (zh) * 2013-01-29 2023-11-28 弗劳恩霍夫应用研究促进协会 音频解码器
FR3003682A1 (fr) * 2013-03-25 2014-09-26 France Telecom Mixage partiel optimise de flux audio codes selon un codage par sous-bandes
FR3003683A1 (fr) * 2013-03-25 2014-09-26 France Telecom Mixage optimise de flux audio codes selon un codage par sous-bandes
MX343673B (es) * 2013-04-05 2016-11-16 Dolby Int Ab Codificador y decodificador de audio.
PT3011560T (pt) 2013-06-21 2018-11-09 Fraunhofer Ges Forschung Descodificador de áudio contendo um módulo de extensão de largura de banda com um módulo de ajustamento de energia
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US9666202B2 (en) 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
EP3614381A1 (en) 2013-09-16 2020-02-26 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
US10388293B2 (en) * 2013-09-16 2019-08-20 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
CN104517610B (zh) 2013-09-26 2018-03-06 华为技术有限公司 频带扩展的方法及装置
RU2636697C1 (ru) 2013-12-02 2017-11-27 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ кодирования
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
US20150170655A1 (en) * 2013-12-15 2015-06-18 Qualcomm Incorporated Systems and methods of blind bandwidth extension
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
BR112016020988B1 (pt) * 2014-03-14 2022-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Método e codificador para codificação de um sinal de áudio, e, dispositivo de comunicação
KR20240010550A (ko) 2014-03-28 2024-01-23 삼성전자주식회사 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치
US9685164B2 (en) * 2014-03-31 2017-06-20 Qualcomm Incorporated Systems and methods of switching coding technologies at a device
CN111710342B (zh) * 2014-03-31 2024-04-16 弗朗霍弗应用研究促进协会 编码装置、解码装置、编码方法、解码方法及程序
CN105096957B (zh) * 2014-04-29 2016-09-14 华为技术有限公司 处理信号的方法及设备
US9697843B2 (en) 2014-04-30 2017-07-04 Qualcomm Incorporated High band excitation signal generation
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
CN106448688B (zh) 2014-07-28 2019-11-05 华为技术有限公司 音频编码方法及相关装置
CN111968656B (zh) * 2014-07-28 2023-11-10 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
US10061554B2 (en) * 2015-03-10 2018-08-28 GM Global Technology Operations LLC Adjusting audio sampling used with wideband audio
EP3274992B1 (en) 2015-03-27 2020-11-04 Dolby Laboratories Licensing Corporation Adaptive audio filtering
WO2016199596A1 (ja) * 2015-06-10 2016-12-15 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US10134412B2 (en) * 2015-09-03 2018-11-20 Shure Acquisition Holdings, Inc. Multiresolution coding and modulation system
BR112017024480A2 (pt) * 2016-02-17 2018-07-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. pós-processador, pré-processador, codificador de áudio, decodificador de áudio e métodos relacionados para aprimoramento do processamento transiente
EP3723085B1 (en) * 2016-03-21 2022-11-16 Huawei Technologies Co., Ltd. Adaptive quantization of weighted matrix coefficients
EP3288031A1 (en) * 2016-08-23 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding an audio signal using a compensation value
EP3701523B1 (en) 2017-10-27 2021-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise attenuation at a decoder
JP6693551B1 (ja) * 2018-11-30 2020-05-13 株式会社ソシオネクスト 信号処理装置および信号処理方法
US11380343B2 (en) * 2019-09-12 2022-07-05 Immersion Networks, Inc. Systems and methods for processing high frequency audio signal
US10978083B1 (en) 2019-11-13 2021-04-13 Shure Acquisition Holdings, Inc. Time domain spectral bandwidth replication

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE501305C2 (sv) * 1993-05-26 1995-01-09 Ericsson Telefon Ab L M Förfarande och anordning för diskriminering mellan stationära och icke stationära signaler
JP3317470B2 (ja) 1995-03-28 2002-08-26 日本電信電話株式会社 音響信号符号化方法、音響信号復号化方法
JP3707116B2 (ja) * 1995-10-26 2005-10-19 ソニー株式会社 音声復号化方法及び装置
US6377915B1 (en) 1999-03-17 2002-04-23 Yrp Advanced Mobile Communication Systems Research Laboratories Co., Ltd. Speech decoding using mix ratio table
US7117149B1 (en) 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
JP2002202799A (ja) 2000-10-30 2002-07-19 Fujitsu Ltd 音声符号変換装置
EP1701340B1 (en) 2001-11-14 2012-08-29 Panasonic Corporation Decoding device, method and program
US7218251B2 (en) 2002-03-12 2007-05-15 Sony Corporation Signal reproducing method and device, signal recording method and device, and code sequence generating method and device
JP2003304238A (ja) 2002-04-09 2003-10-24 Sony Corp 信号再生方法及び装置、信号記録方法及び装置、並びに符号列生成方法及び装置
US7555434B2 (en) * 2002-07-19 2009-06-30 Nec Corporation Audio decoding device, decoding method, and program
WO2004034379A2 (en) * 2002-10-11 2004-04-22 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
US7519530B2 (en) * 2003-01-09 2009-04-14 Nokia Corporation Audio signal processing
US20040230423A1 (en) * 2003-05-16 2004-11-18 Divio, Inc. Multiple channel mode decisions and encoding
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
US7619995B1 (en) * 2003-07-18 2009-11-17 Nortel Networks Limited Transcoders and mixers for voice-over-IP conferencing
JP5129480B2 (ja) 2003-09-25 2013-01-30 パイエオン インコーポレイテッド 管状臓器の３次元再構成を行うシステム及び血管撮像装置の作動方法
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
FI119533B (fi) * 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
JP4741476B2 (ja) * 2004-04-23 2011-08-03 パナソニック株式会社 符号化装置
CN101686363A (zh) 2004-04-28 2010-03-31 松下电器产业株式会社 流产生装置,流产生方法,编码装置,编码方法,记录介质及其程序
EP1939862B1 (en) * 2004-05-19 2016-10-05 Panasonic Intellectual Property Corporation of America Encoding device, decoding device, and method thereof
US8712768B2 (en) * 2004-05-25 2014-04-29 Nokia Corporation System and method for enhanced artificial bandwidth expansion
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
JP4939424B2 (ja) 2004-11-02 2012-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複素値のフィルタ・バンクを用いたオーディオ信号の符号化及び復号化
KR100707174B1 (ko) * 2004-12-31 2007-04-13 삼성전자주식회사 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법
US7805314B2 (en) * 2005-07-13 2010-09-28 Samsung Electronics Co., Ltd. Method and apparatus to quantize/dequantize frequency amplitude data and method and apparatus to audio encode/decode using the method and apparatus to quantize/dequantize frequency amplitude data
US7587314B2 (en) 2005-08-29 2009-09-08 Nokia Corporation Single-codebook vector quantization for multiple-rate applications
KR20070026939A (ko) 2005-08-29 2007-03-09 주식회사 아이캐시 한 개의 카드번호를 이용한 마일리지 포인트, 전자화폐,전자상품권, 선불카드, 직불카드 및 타 신용카드의통합결제 시스템 및 방법
KR100647336B1 (ko) * 2005-11-08 2006-11-23 삼성전자주식회사 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
KR100795727B1 (ko) * 2005-12-08 2008-01-21 한국전자통신연구원 Ｃｅｌｐ기반의 음성 코더에서 고정 코드북 검색 장치 및방법
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
KR20070115637A (ko) 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
US9159333B2 (en) 2006-06-21 2015-10-13 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
US8010352B2 (en) * 2006-06-21 2011-08-30 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
KR101390188B1 (ko) 2006-06-21 2014-04-30 삼성전자주식회사 적응적 고주파수영역 부호화 및 복호화 방법 및 장치
KR101393298B1 (ko) 2006-07-08 2014-05-12 삼성전자주식회사 적응적 부호화/복호화 방법 및 장치
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US7873514B2 (en) 2006-08-11 2011-01-18 Ntt Docomo, Inc. Method for quantizing speech and audio through an efficient perceptually relevant search of multiple quantization patterns
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
US8214202B2 (en) 2006-09-13 2012-07-03 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for a speech/audio sender and receiver
KR101346358B1 (ko) 2006-09-18 2013-12-31 삼성전자주식회사 대역폭 확장 기법을 이용한 오디오 신호의 부호화/복호화방법 및 장치
US20080071550A1 (en) 2006-09-18 2008-03-20 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode audio signal by using bandwidth extension technique
JP2008096567A (ja) 2006-10-10 2008-04-24 Matsushita Electric Ind Co Ltd オーディオ符号化装置およびオーディオ符号化方法ならびにプログラム
US8639500B2 (en) 2006-11-17 2014-01-28 Samsung Electronics Co., Ltd. Method, medium, and apparatus with bandwidth extension encoding and/or decoding
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
KR101375582B1 (ko) 2006-11-17 2014-03-20 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
ATE547898T1 (de) 2006-12-12 2012-03-15 Fraunhofer Ges Forschung Kodierer, dekodierer und verfahren zur kodierung und dekodierung von datensegmenten zur darstellung eines zeitdomänen-datenstroms
KR101379263B1 (ko) 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
CN101231850B (zh) * 2007-01-23 2012-02-29 华为技术有限公司 编解码方法及装置
FR2912249A1 (fr) * 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
US8060363B2 (en) * 2007-02-13 2011-11-15 Nokia Corporation Audio signal encoding
US8032359B2 (en) * 2007-02-14 2011-10-04 Mindspeed Technologies, Inc. Embedded silence and background noise compression
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
KR101373004B1 (ko) * 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
CN101430880A (zh) 2007-11-07 2009-05-13 华为技术有限公司 一种背景噪声的编解码方法和装置
WO2009066959A1 (en) 2007-11-21 2009-05-28 Lg Electronics Inc. A method and an apparatus for processing a signal
CN101458930B (zh) * 2007-12-12 2011-09-14 华为技术有限公司 带宽扩展中激励信号的生成及信号重建方法和装置
US8422569B2 (en) 2008-01-25 2013-04-16 Panasonic Corporation Encoding device, decoding device, and method thereof
CA2717584C (en) * 2008-03-04 2015-05-12 Lg Electronics Inc. Method and apparatus for processing an audio signal
CN101527138B (zh) * 2008-03-05 2011-12-28 华为技术有限公司 超宽带扩展编码、解码方法、编解码器及超宽带扩展系统
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
US8407046B2 (en) * 2008-09-06 2013-03-26 Huawei Technologies Co., Ltd. Noise-feedback for spectral envelope quantization
JP2010066158A (ja) * 2008-09-11 2010-03-25 Shimadzu Corp シリンジ、及びこのシリンジを用いたインフュージョン試料導入装置
WO2010036061A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US20100114568A1 (en) * 2008-10-24 2010-05-06 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
CN101751926B (zh) * 2008-12-10 2012-07-04 华为技术有限公司 信号编码、解码方法及装置、编解码系统
CN101763856B (zh) * 2008-12-23 2011-11-02 华为技术有限公司 信号分类处理方法、分类处理装置及编码系统
PL3246919T3 (pl) * 2009-01-28 2021-03-08 Dolby International Ab Ulepszona transpozycja harmonicznych
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
JP4892021B2 (ja) 2009-02-26 2012-03-07 株式会社東芝 信号帯域拡張装置
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
US8718804B2 (en) * 2009-05-05 2014-05-06 Huawei Technologies Co., Ltd. System and method for correcting for lost data in a digital audio signal
ES2400661T3 (es) * 2009-06-29 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de extensión de ancho de banda
US8311843B2 (en) * 2009-08-24 2012-11-13 Sling Media Pvt. Ltd. Frequency band scale factor determination in audio encoding based upon frequency band signal energy
PL2489041T3 (pl) * 2009-10-15 2020-11-02 Voiceage Corporation Jednoczesne kształtowanie szumu w dziedzinie czasu i w dziedzinie częstotliwości dla przekształcenia tdac
BR112012009490B1 (pt) * 2009-10-20 2020-12-01 Fraunhofer-Gesellschaft zur Föerderung der Angewandten Forschung E.V. ddecodificador de áudio multimodo e método de decodificação de áudio multimodo para fornecer uma representação decodificada do conteúdo de áudio com base em um fluxo de bits codificados e codificador de áudio multimodo para codificação de um conteúdo de áudio em um fluxo de bits codificados
US8886523B2 (en) * 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
US9443534B2 (en) * 2010-04-14 2016-09-13 Huawei Technologies Co., Ltd. Bandwidth extension system and approach
KR101826331B1 (ko) 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
CN102436820B (zh) * 2010-09-29 2013-08-28 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
US8965756B2 (en) * 2011-03-14 2015-02-24 Adobe Systems Incorporated Automatic equalization of coloration in speech recordings

Also Published As

Publication number Publication date
JP6111196B2 (ja) 2017-04-05
US10418043B2 (en) 2019-09-17
US10152983B2 (en) 2018-12-11
EP2617033B1 (en) 2016-08-03
US20180102132A1 (en) 2018-04-12
KR102013242B1 (ko) 2019-08-22
JP2013538374A (ja) 2013-10-10
KR20120028791A (ko) 2012-03-23
EP2617033A4 (en) 2014-08-27
KR20180014808A (ko) 2018-02-09
KR101826331B1 (ko) 2018-03-22
RU2639694C1 (ru) 2017-12-21
KR101896504B1 (ko) 2018-09-10
EP3745398A1 (en) 2020-12-02
MX354288B (es) 2018-02-22
CN105719655A (zh) 2016-06-29
KR20180100294A (ko) 2018-09-10
US20130282368A1 (en) 2013-10-24
US20120065965A1 (en) 2012-03-15
WO2012036487A3 (en) 2012-06-21
US20160064013A1 (en) 2016-03-03
WO2012036487A2 (en) 2012-03-22
CN103210443A (zh) 2013-07-17
EP2617033A2 (en) 2013-07-24
CN103210443B (zh) 2016-03-09
CN105654958A (zh) 2016-06-08
MY167013A (en) 2018-07-31
JP2017076133A (ja) 2017-04-20
JP2018120236A (ja) 2018-08-02
CN105654958B (zh) 2020-03-13
US9837090B2 (en) 2017-12-05
JP6306676B2 (ja) 2018-04-04
US9183847B2 (en) 2015-11-10
EP3113182A1 (en) 2017-01-04
CN105719655B (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
JP6787941B2 (ja) 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
KR102109938B1 (ko) 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
KR102070432B1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
AU2015202393A1 (en) Apparatus and method for encoding/decoding for high-frequency bandwidth extension

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201029

R150 Certificate of patent or registration of utility model

Ref document number: 6787941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250