JP6111196B2 - 高周波数帯域幅拡張のための符号化／復号化装置及びその方法 - Google Patents

高周波数帯域幅拡張のための符号化／復号化装置及びその方法 Download PDF

Info

Publication number
JP6111196B2
JP6111196B2 JP2013529063A JP2013529063A JP6111196B2 JP 6111196 B2 JP6111196 B2 JP 6111196B2 JP 2013529063 A JP2013529063 A JP 2013529063A JP 2013529063 A JP2013529063 A JP 2013529063A JP 6111196 B2 JP6111196 B2 JP 6111196B2
Authority
JP
Japan
Prior art keywords
energy
unit
encoding
input signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013529063A
Other languages
English (en)
Other versions
JP2013538374A5 (ja
JP2013538374A (ja
Inventor
ソン，ホ−サン
ジュ，キ−ヒョン
オ，ウン−ミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013538374A publication Critical patent/JP2013538374A/ja
Publication of JP2013538374A5 publication Critical patent/JP2013538374A5/ja
Application granted granted Critical
Publication of JP6111196B2 publication Critical patent/JP6111196B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012—Comfort noise or silence coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

本発明は、音声信号または音楽信号のようなオーディオ信号を符号化／復号化する方法及びその装置に係り、さらに詳細には、オーディオ信号において、高周波数領域に該当する信号を符号化／復号化する方法及びその装置に関する。
高周波数領域に該当する信号は、低周波数領域に該当する信号に比べ、周波数の微細構造にそれほど敏感ではない。従って、オーディオ信号を符号化するとき、可用ビットの制約を克服するために、コーディングの効率を高めなければならない場合、低周波数領域に対応する信号に多くのビットを割り当てて符号化する一方、高周波数領域に対応する信号に相対的に少ないビットを割り当てて符号化する。
かような方式が適用された技術がＳＢＲ（spectral band replication）である。ＳＢＲ技術は、高域成分信号を包絡線で表現し、これを復号化段階で合成する方式で、符号化効率を向上させる方式である。これは、人間の聴覚特性が高域信号に相対的に低い解像力を有するという事実に基づいたものである。
かようなＳＢＲ技術において、高周波数領域の帯域幅を拡張するための改善された方法が要求される。
本発明の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の基本信号（basic signal）を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記基本信号を利用して、エネルギー制御要素（energy control factor）を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成する人工信号生成部と、ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を人工信号に適用する包絡線適用部と、を含んでもよい。前記推定された包絡線を適用するということは、前記人工信号を、前記人工信号の推定された包絡線によって分けることを意味する。
本発明の一実施形態による符号化装置の前記要素推定部は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、前記基本信号のトーナリティを計算する第２トーナリティ計算部と、前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含んでもよい。
本発明の他の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記周波数領域入力信号の特性及び前記基本信号を利用して、エネルギー制御要素を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
本発明のさらに他の実施形態による符号化装置は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記符号化モードに基づいて、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記符号化モードに基づいて、前記抽出されたエネルギーを制御するエネルギー制御部と、前記符号化モードに基づいて、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
本発明の一実施形態による復号化装置は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化するコア復号化部と、前記コア復号化された時間領域入力信号をアップサンプリングするアップサンプリング部と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含んでもよい。
本発明の一実施形態による復号化装置の前記拡張復号化部は、前記時間領域入力信号のエネルギーを逆量子化する逆量子化部と、前記周波数領域入力信号を利用して、基本信号を生成する基本信号生成部と、前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含んでもよい。
本発明の一実施形態による復号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を、前記人工信号に適用する包絡線適用部と、を含んでもよい。
本発明の一実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
本発明の他の実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
本発明のさらに他の実施形態による符号化方法は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
本発明の一実施形態による復号化方法は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化する段階と、前記コア復号化された時間領域入力信号をアップサンプリングする段階と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する段階と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含んでもよい。
本発明の実施形態によれば、入力信号の基本信号を抽出し、入力信号の高周波数領域のトーナリティと基本信号のトーナリティとを利用して、入力信号のエネルギーを制御することにより、高周波数領域の帯域幅を効率的に拡張することができる。
一実施形態による符号化装置及び復号化装置を図示したブロック図である。 図１の符号化装置の一実施形態を図示したブロック図である。 図１の符号化装置のコア符号化部を図示したブロック図である。 図１の符号化装置の拡張符号化部の一実施形態を図示したブロック図である。 図１の符号化装置の拡張符号化部の他の実施形態を図示したブロック図である。 拡張符号化部の基本信号生成部を図示したブロック図である。 拡張符号化部の要素推定部を図示したブロック図である。 図１の符号化装置のエネルギー量子化部の過程を示したフローチャートである。 一実施形態によって、エネルギーを量子化する過程を示した図面である。 一実施形態によって、人工信号を生成する過程を示した図面である。 一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。 一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。 図１の復号化装置を図示したブロック図である。 図１２の拡張復号化部を図示したブロック図である。 拡張復号化部の逆量子化部の動作を示したフローチャートである。 本発明の一実施形態による符号化方法を示したフローチャートである。 本発明の一実施形態による復号化方法を示したフローチャートである。 図１の符号化装置の他の実施形態を図示したブロック図である。 図１７の符号化装置のエネルギー量子化部の動作を示したブロック図である。 一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。 一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。 一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。 一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。 図１３の逆量子化部の動作を示したブロック図である。 図１の符号化装置のさらに他の実施形態を示したブロック図である。
以下、本発明の実施形態について、添付された図面を参照して詳細に説明する。
図１は、一実施形態による符号化装置１０１及び復号化装置１０２を図示したブロック図である。符号化装置１０１は、入力信号の基本信号（base signal）を生成し、復号化装置１０２に伝送することができる。基本信号は、低周波信号を基に生成され、低周波信号の包絡線情報が除去（whitening）された信号であるから、高周波帯域幅拡張のための励起信号（excitation signal）である。それにより、復号化装置１０２は、受信された基本信号から入力信号を復元することができる。すなわち、符号化装置１０１と復号化装置１０２は、ＳＷＢ ＢＷＥ（super wide band bandwidth extension）を行う。具体的には、ＳＷＢ ＢＷＥは、低周波数領域である０〜６．４ＫＨｚのデコーディングされたＷＢ（wide band）信号を基に、ＳＷＢに対応する高周波数領域である６．４〜１６ＫＨｚ信号を生成することができる。このとき、１６ＫＨｚは、状況によって変動される。そして、デコーディングされたＷＢ信号は、ＬＰＤ（linear prediction domain）基盤のＣＥＬＰ（code excited linear prediction）によって、speech codecを介して生成された信号であるか、あるいは周波数ドメインで量子化を行う方式によって生成された信号であってもよい。周波数ドメインで量子化する方式は、ＭＤＣＴ（modified discrete cosine transform）基盤で行うＡＡＣ（advanced audio coding）を有することができる。
以下では、符号化装置１０１と復号化装置１０２との詳細動作について具体的に説明する。
図２は、図１の符号化装置１０１の構成を図示したブロック図である。図２を参照すれば、符号化装置１０１は、例えば、ダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３及び拡張符号化部２０４を含んでもよい。
ダウンサンプリング部２０１は、ＷＢコーディングのために、時間領域入力信号をダウンサンプリングすることができる。時間領域入力信号であるＳＷＢ（super wide band）信号は、一般的に、３２ＫＨｚサンプリングレートを有する信号であるので、ＷＢコーディングに適するサンプリングレートに変換することが必要である。一例として、ダウンサンプリング部２０１は、３２ＫＨｚサンプリングレートを示す時間領域入力信号を、１２．８ＫＨｚにダウンサンプリングすることができる。
コア符号化部２０２は、ダウンサンプリングされた時間領域入力信号をコア符号化することができる。すなわち、コア符号化部２０２は、ＷＢコーディングを行うことができる。一例として、コア符号化部２０２は、ＣＥＬＰ方式のＷＢコーディングを行うことができる。
周波数変換部２０３は、時間領域入力信号を、周波数領域入力信号に変換することができる。一例として、周波数変換部２０３は、ＦＦＴ（fast Fourier transform）またはＭＤＣＴのうちいずれか一つを利用して、時間領域入力信号を、周波数領域入力信号に変換することができる。以下では、ＭＤＣＴを適用したと仮定して説明する。
拡張符号化部２０４は、周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行うことができる。すなわち、拡張符号化部２０４は、周波数領域入力信号を基に、ＳＷＢ ＢＷＥ符号化を行うことができる。
また、拡張符号化部２０４は、周波数領域入力信号の基本信号と周波数領域入力信号との特性を利用して、帯域幅拡張符号化を行うことができる。その場合、周波数領域入力信号の特性のソースによって、拡張符号化部２０４は、図４及び図５のようなブロック図として具体化される。
拡張符号化部２０４の動作に対しては、図４及び図５で具体的に説明する。
結局、図２で上端pathは、コア符号化過程を示し、下端pathは、帯域幅拡張符号化過程を示す。特に、ＳＷＢ ＢＷＥ符号化過程を介して、入力信号のエネルギー情報が復号化装置１０２に伝達されてもよい
図３は、コア符号化部２０２のブロック図を図示した図面である。図３を参照すれば、コア符号化部２０２は、例えば、信号分類部３０１及び符号化部３０２を含んでもよい。
信号分類部３０１は、ダウンサンプリングされた入力信号（１２．８ＫＨｚ）の特性を分類することができる。すなわち、信号分類部３０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用する符号化モードを決定することができる。例えば、ＩＴＵ−Ｔ Ｇ．７１８コーデックで、信号分類部３０１は、音声信号を、有声音符号化モード（voiced coding mode）、無声音符号化モード（unvoiced coding mode）、転移信号符号化モード（transition coding mode）及び一般的な信号符号化モード（generic coding mode）のうち一つ以上に分類することができる。ここで、無声音符号化モードは、無声音フレームと、ほとんどのinactive frameとを符号化するために設計された。
符号化部３０２は、信号分類部３０１で分類された周波数領域入力信号の特性によって最適化されたコーディングを行うことができる。
図４は、図２の拡張符号化部２０４の一実施形態を図示した図面である。図４を参照すれば、拡張符号化部２０４は、例えば、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５を含んでもよい。一例として、拡張符号化部２０４は、符号化モードを入力されずに、エネルギー制御要素を推定することができる。他の一例として、拡張符号化部２０４は、符号化モードを利用して、エネルギー制御要素を推定することができる。このとき、符号化モードは、コア符号化部２０２から入力される。
基本信号生成部４０１は、周波数領域入力信号の周波数スペクトルを利用して、入力信号の基本信号を生成することができる。基本信号は、ＷＢ信号を基にＳＷＢ ＢＷＥを行うめの信号を意味する。言い替えれば、基本信号は、低周波領域のfine structureを構成する信号を意味する。基本信号を生成する過程については、図６でさらに具体的に説明する。
一例として、要素推定部４０２は、基本信号を利用して、エネルギー制御要素（energy control factor）を推定することができる。すなわち、符号化装置１０１は、復号化装置１０２で、ＳＷＢ領域の信号を生成するために、入力信号のエネルギー情報を伝送する。このとき、要素推定部４０２は、エネルギー情報を知覚的な（perceptual）観点から制御するために、エネルギーを制御するためのパラメータであるエネルギー制御要素を推定することができる。エネルギー制御要素を推定する過程については、図７で具体的に説明する。
他の一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力される。
エネルギー抽出部４０３は、周波数領域入力信号から、エネルギーを抽出することができる。抽出されたエネルギーは、復号化装置１０２に伝送される。エネルギーは、周波数バンド別に抽出される。
エネルギー制御部４０４は、エネルギー制御要素を利用して、入力信号から抽出されたエネルギーを制御することができる。すなわち、エネルギー制御部４０４は、周波数バンド別に抽出されたエネルギーに、エネルギー制御要素を適用することにより、エネルギーを制御することができる。
エネルギー量子化部４０５は、制御されたエネルギーを量子化（quantization）することができる。エネルギーは、ｄＢ（decibel） scaleに変換されて量子化が行われる。具体的には、エネルギー量子化部４０５は、全体エネルギーであるグローバル（global）エネルギーを求めて、グローバルエネルギー、及び周波数バンド別エネルギーとグローバルエネルギーとの差をスカラ量子化することができる。または、最初のバンドは、エネルギーを直接量子化し、二番目以後のバンドは、以前バンドとの差を量子化することができる。また、エネルギー量子化部４０５は、周波数バンドの差値を利用せずに、周波数バンド別にエネルギーを直接量子化することもできる。周波数バンド別にエネルギーを直接量子化する場合、スカラ量子化またはベクトル量子化が利用される。エネルギー量子化部４０５については、図８及び図９で具体的に説明する。
図５は、拡張符号化部２０４の他の実施形態を図示したブロック図である。図５の拡張符号化部２０４は、図４の拡張符号化部２０４と異なり、信号分類部５０１をさらに含んでもよい。一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力されるのではなく、信号分類部５０１から入力されるのである。
信号分類部５０１は、３２ＫＨｚの入力信号を、ＭＤＣＴスペクトルを利用して、周波数領域入力信号の特性を分類することができる。具体的には、信号分類部５０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用される符号化モードを決定することができる。
入力信号の特性が分類されるとき、エネルギー制御要素が信号から抽出されて制御される。一実施形態において、エネルギー制御要素推定に適する信号について、エネルギー制御要素が抽出される。例えば、ノイズ信号や無声音信号のように、トーナル成分を含まない信号は、エネルギー制御要素推定に適さないこともある。このとき、拡張符号化部２０４は、入力信号が無声音符号化モードとして分類された場合、拡張符号化部２０４は、エネルギー制御要素を推定せずに、帯域幅拡張符号化を行うことができる。
図５で、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５に係わる説明は、図４を参照する。
図６は、基本信号生成部４０１を図示したブロック図である。図６を参照すれば、基本信号生成部４０１は、例えば、人工信号生成部６０１、包絡線適用部６０２及び包絡線推定部６０３を含んでもよい。
人工信号生成部６０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成することができる。すなわち、人工信号生成部６０１は、周波数領域入力信号の低周波数スペクトルをコピーし、ＳＷＢ領域の人工信号を生成することができる。人工信号を生成する具体的な過程については、図１０で説明する。
包絡線推定部６０２は、ウィンドウを利用して、基本信号の包絡線を推定することができる。基本信号の包絡線は、ＳＷＢ領域の人工信号の周波数スペクトルに含まれている低周波数領域の包絡線情報を取り除くために使用される。特定周波数インデックスの包絡線は、特定周波数以前と以後との周波数スペクトルを使用して決定される。そして、動き平均（moving average）を介して、包絡線が推定される。一例として、周波数変換時にＭＤＣＴが使用されたとするなら、ＭＤＣＴ変換された周波数スペクトルの絶対値を介して、基本信号の包絡線が推定される。
このとき、包絡線推定部６０２は、whiteningバンドを構成した後、whiteningバンド別に周波数magnitudeの平均を、whiteningバンド内に属した周波数の包絡線として推定することができる。前記whiteningバンドに属する周波数スペクトルの個数は、エネルギーを抽出するバンドよりさらに少なく設定されることができる。
ホワイトニング（whitening）バンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数が多いか、あるいは少ないかということに係わる情報で伝送し、基本信号の平坦化位を調節することができる。例えば、包絡線推定部６０２は、８個のスペクトルから構成された場合と、３個のスペクトルから構成された場合との２種方式に基づいて情報を伝送することができる。このとき、３個のスペクトルから構成された場合、８個のスペクトルから構成された場合より、さらに平坦化された基本信号が生成される。
また、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数の多少いかんに係わる情報を送信せずに、コア符号化部２０２に使用された符号化モードによって決定することができる。コア符号化部２０２は、入力信号の特性によって、入力信号を、有声音符号化モード、無声音符号化モード、transient符号化モード、及びgeneric符号化モードに区分して入力信号を符号化することができる。
このとき、包絡線推定部６０２は、入力信号の特性による符号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、入力信号が有声音符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、入力信号が有声音符号化モード以外の符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。
包絡線適用部６０３は、推定された包絡線を人工信号に適用することができる。かような過程をwhiteningといい、人工信号が包絡線によって平坦化される。包絡線適用部６０３は、人工信号を、周波数インデックスそれぞれの包絡線に分けて基本信号を生成することができる。
図７は、要素推定部４０２を図示したブロック図である。図７を参照すれば、要素推定部４０２は、例えば、第１トーナリティ（tonality）計算部７０１、第２トーナリティ計算部７０２及び要素計算部７０３を含んでもよい。
第１トーナリティ計算部７０１は、周波数領域入力信号の高周波数領域のトーナリティ（tonality）を計算することができる。すなわち、第１トーナリティ計算部７０１は入力信号の高周波数領域であるＳＷＢ領域のトーナリティを計算することができる。
第２トーナリティ計算部７０２は、基本信号のトーナリティを計算することができる。トーナリティは、spectral flatnessを測定することによって計算される。具体的には、下記数式（１）によってトーナリティが計算される。Spectral flatnessは、周波数スペクトルの幾何平均と算術平均との関係を介して測定される。
Figure 0006111196
 要素計算部７０３は、高周波数領域のトーナリティと基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。このとき、エネルギー制御要素は、下記数式（２）によって計算される。
Figure 0006111196
 ここで、αは、エネルギー制御要素を示し、Ｔｏは、入力信号のトーナリティ、Ｔｂは、基本信号のトーナリティを示す。Ｎｂは、ノイジネスス・ファクタ（noisiness factor）であり、信号にノイズ成分が含まれた程度を示す。
エネルギー制御要素は、下記数式（３）によって計算される。
Figure 0006111196
 要素計算部７０３は、それぞれの周波数バンド別に、エネルギー制御要素を計算することができる。計算されたエネルギー制御要素は、入力信号のエネルギーに適用される。このとき、エネルギー制御要素は、エネルギー制御要素が、あらかじめ設定したエネルギー制御要素より小さい場合、入力信号のエネルギーに適用される。
図８は、エネルギー量子化部４０５の動作について説明するためのフローチャートである。段階Ｓ８０１で、エネルギー量子化部４０５は、エネルギー制御要素を利用して、エネルギーベクトルを前処理し、前処理されたエネルギーベクトルのサブベクトルを選択することができる。一例として、エネルギー量子化部４０５は、選択されたエネルギーベクトルそれぞれのエネルギー値について、平均値を差し引いたり、あるいはエネルギーベクトルそれぞれの重要度に係わる加重値を計算することができる。このとき、重要度に係わる加重値、は合成音の音質を最大化する方向に計算される。
そして、エネルギー量子化部４０５は、符号化効率を考慮して、エネルギーベクトルのサブベクトルを適切に選択することができる。そして、補間効果を向上させるために、エネルギー量子化部４０５は、一定間隔でサブベクトルを選択することができる。
一例として、エネルギー量子化部４０５は、下記数式（４）によって、サブベクトルを選択することができる。
ｋ＊ｎ（ｎ＝０ … Ｎ），ｋ＞＝２，Ｎは、ベクトルdimensionより小さい最大整数 （４）
その場合、ｋ＝２になれば、偶数がＮに選択される。
段階Ｓ８０２で、エネルギー量子化部４０５は、選択されたサブベクトルを量子化及び逆量子化する。エネルギー量子化部４０５は、数式（５）によって計算されたＭＳＥ（mean square error）を最小化する量子化インデックスを選択し、サブベクトルを量子化することができる。
Figure 0006111196
 エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ（Trellis coded quantization）及びＬＶＱ（lattice ＶＱ（vector quantization））のうちいずれか一つによって、サブベクトルを量子化することができる。このとき、ベクトル量子化は、multi-stage ＶＱまたはsplit ＶＱなどが可能であり、split ＶＱとmulti−stage ＶＱとを同時に使用することも可能である。量子化インデックスは、復号化装置１０２に伝送される。
そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥ（weighted ＭＳＥ）を利用して、最適化された量子化インデックスを求めることができる。このとき、weighted ＭＳＥは、数式（６）によって計算される。
Figure 0006111196
 段階Ｓ８０３で、エネルギー量子化部４０５は、量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルの値を計算することができる。段階Ｓ８０４で、エネルギー量子化部４０５は、補間された残りのサブベクトルと、原エネルギーベクトルにマッチングされた残りのサブベクトルとの差である補間エラーを計算することができる。
段階Ｓ８０５で、エネルギー量子化部４０５は、補間エラーを量子化することができる。このとき、エネルギー量子化部４０５は、ＭＳＥを最小化する量子化インデックスを利用して、補間エラーを量子化することができる。エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ（trellis coded quantization）及びＬＶＱ（lattice ＶＱ）のうちいずれか一つによって補間エラーを量子化することができる。このとき、ベクトル量子化は、multi−stage ＶＱまたはsplit ＶＱなどが可能であり、split ＶＱとmulti−stage ＶＱとを同時に使用することも可能である。そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥを利用して、最適化された量子化インデックスを求めることができる。
段階Ｓ８０６で、エネルギー量子化部４０５は、選択されて量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算し、段階Ｓ８０５で計算された量子化された補間エラーを加え、最終的に量子化されたエネルギーを計算することができる。そして、エネルギー量子化部４０５は、後処理過程を介して、前処理過程で差し引いた平均値をエネルギー値にさらに加え、最終的に量子化されたエネルギーを計算することができる。
Multi−stage ＶＱで、エネルギー量子化部４０５は、同一のコードブックでもって、量子化性能を向上させるために、Ｋ個のサブベクトルの候補（candidate）を利用して量子化を行う。Ｋが２以上である場合、エネルギー量子化部４０５は、distortion measureを行い、サブベクトルの最適候補を決定することができる。このとき、distortion measureは、２つの方式によって決定される。
第一に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）を最小化させるインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。その場合、計算量が少ないという長所がある。
第二に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原のエネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて、候補を選択することができる。その場合、復元のための計算量が追加されるものの、実際量子化された値を利用してＭＳＥを求めるので、性能にすぐれるという長所がある。
図９は、一実施形態によって、エネルギーを量子化する過程を示した図面である。図９を参照すれば、エネルギーベクトルは、１４dimensionを示す。１st stageで、エネルギー量子化部４０５は、エネルギーベクトルから偶数のみを選択し、７dimensionであるサブベクトルを選択することができる。１st stageで、性能向上のためにエネルギー量子化部４０５は、２個の量子化stageにsplitされたベクトル量子化を利用することができる。
エネルギー量子化部４０５は、２nd stageで、１st stageのエラー信号を利用して量子化を行うことができる。エネルギー量子化部４０５は、選択されたサブベクトルの逆量子化過程を経て、補間エラーを求めることができる。３rd stageで、エネルギー量子化部４０５は、補間エラーを２個にsplitされたベクトル量子化を利用して、量子化することができる。
図１０は、一実施形態による人工信号を生成する過程を図示した図面である。図１０を参照すれば、人工信号生成部６０１は、全体周波数バンドで、低周波数領域であるｆＬ〜６．４ＫＨｚに対応する周波数スペクトル１００１をコピーすることができる。コピーされた周波数スペクトル１００１は、６．４〜１２．８−ｆＬ ＫＨｚ周波数領域までシフトされる。そして、１２．８−ｆＬ〜１６ＫＨｚ周波数領域に対応する周波数スペクトルは、６．４〜１２．８−ｆＬ ＫＨｚ周波数領域の周波数スペクトルがフォールディングされて生成される。すなわち、高周波数領域であるＳＷＢに対応する人工信号は、６．４〜１６ＫＨｚまで生成される。
このとき、周波数スペクトルを生成するときに使用された変換がＭＤＣＴである場合、ｆＬと６．４ｋＨｚとの間に相関関係が存在する。具体的には、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが偶数である場合には、ｆＬの周波数インデックスも偶数である必要がある。一方、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが奇数である場合、ｆＬの周波数インデックスも奇数である必要がある。
例えば、原入力信号に対して、６４０個のスペクトルを抽出するＭＤＣＴを適用した場合、６．４ｋＨｚに対応するインデックスは、２５６番目のインデックスになって（６４００／１６０００＊６４０）偶数になる。その場合、ｆＬは、偶数として選択される必要がある。すなわち、ｆＬは、２（５０Ｈｚ）、４（１００Ｈｚ）などが使用される。この過程は、復号化過程でも同一に適用される。
図１１Ａ及び図１１Ｂは、一実施形態による包絡線推定のためのウィンドウを図示した図面である。図１１Ａ及び図１１Ｂを参照すれば、ウィンドウ１１０１とウィンドウ１１０２とのpeak位置が、現在包絡線を推定しようとする周波数インデックスを意味する。基本信号に係わる包絡線推定は、下記数式（７）によって行われる。
Figure 0006111196
 ウィンドウ１１０１とウィンドウ１１０２は、いつも固定して使用され、その場合には、追加して伝送されるビットが必要ない。または、ウィンドウ１１０１とウィンドウ１１０２とが選択的に使用される場合には、包絡線推定のために、いかなるウィンドウが使用されたを示す情報をビットで表現し、追加して復号化装置１０２に伝達する必要がある。かようなビットは、周波数バンド別に伝送されたり、あるいは１フレームに一度伝送される。
ウィンドウ１１０１とウィンドウ１１０２とを比較すれば、ウィンドウ１１０２は、ウィンドウ１１０１より現在周波数インデックスに対応する周波数スペクトルに、加重値をさらに付け加えて包絡線を推定する。従ってウィンドウ１１０２によって生成された基本信号は、ウィンドウ１１０１によって生成された基本信号より平坦に生成される。ウィンドウの種類は、ウィンドウ１１０１あるいはウィンドウ１１０２によって生成されたそれぞれの基本信号と、入力信号の周波数スペクトルとを比較することによって選択される。また、高周波数領域のトーナリティ比較を介して、類似したトーナリティを有させるウィンドウが選択される。そして、高周波数領域の相関も（correlation）の比較を介して、相関図の高いウィンドウが選択される。
図１２は、図１の復号化装置１０１を図示したブロック図である。図１２の過程は、図２の過程の逆過程からなる。図１２を参照すれば、復号化装置１０２は、例えば、コア復号化部１２０１、アップサンプリング部１２０２、周波数変換部１２０３、拡張復号化部１２０４及び周波数逆変換部１２０５を含んでもよい。
コア復号化部１２０１は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる。コア復号化過程を介して、１２．８ＫＨｚサンプリングレートを有する信号が抽出される。
アップサンプリング部１２０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる。アップサンプリングを介して、３２ＫＨｚサンプリングレートを有する信号が抽出される。
周波数変換部１２０４は、アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換することができる。アップサンプリングされた時間領域入力信号の変換は、符号化装置１０１で使用した周波数変換方式と同一の方法を使用することができるし、例えば、ＭＤＣＴを使用することができる。
拡張復号化部１２０４は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる。拡張復号化部１２０４の動作については、図１３で具体的に説明する。
周波数逆変換部１２０５は、帯域幅拡張復号化が行われた結果に対して、周波数逆変換を行うことができる。周波数変換部１２０３で使用した周波数変換方式の逆過程を遂行することにより、例えば、ＩＭＤＣＴ（inverse modified discrete cosine transform）を行うことができる。
図１３は、図１２の拡張復号化部１２０４を図示したブロック図である。図１３を参照すれば、拡張復号化部１２０４は、例えば、逆量子化部１３０１、ゲイン計算部１３０２、ゲイン適用部１３０３、人工信号生成部１３０４、包絡線推定部１３０５及び包絡線適用部１３０６を含んでもよい。
逆量子化部１３０１は、時間領域入力信号のエネルギーを逆量子化することができる。エネルギーを逆量子化する過程については、図１４で具体的に説明する。
ゲイン計算部１３０２は、逆量子化されたエネルギーと基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。具体的には、ゲインは、逆量子化されたエネルギーと基本信号のエネルギーの比率を介して決定される。一般的にエネルギーは、周波数スペクトルのamplitudeの二乗の和を使用して決定されるから、エネルギーの比率のroot値を使用することができる。
ゲイン適用部１３０３は、計算されたゲインを周波数バンド別に適用することができる。それにより、最終的に、ＳＷＢの周波数スペクトルが決定される。
一例として、ゲイン計算及びゲイン適用は、前述のように、バンドをエネルギーを伝送したバンドと一致させて行うことができる。他の実施形態で、急激なエネルギーの変化を防止するために、全体周波数バンドをサブバンドに分けて遂行することもできる。かような場合において、周辺バンドの逆量子化されたエネルギーが補間（interpolation）され、バンド境界部分でのエネルギーをスムージング（smoothing）させることができる。例えば、それぞれのバンドは、３個のサブバンドに分離し、それぞれバンドの３個サブバンドのうち、中間のサブバンドは、現在バンドの逆量子化されたエネルギーを割り当て、最初及び三番目のサブバンドは、以前バンドあるいは以後バンドの中間バンドに割り当てられたエネルギーと、補間を介して新しくスムージングされたエネルギーとを使用して、ゲイン計算及び適用を行うことができる。すなわち、ゲイン計算及び適用を行う単位をサブバンドで設定して適用することができる。
かようなエネルギー・スムージング方式は、常に固定された方式で適用することができる。また、拡張符号化部２０４で、エネルギー・スムージングが必要であるという情報を伝送し、必要なフレームで適用することができる。このとき、スムージングが必要なフレームであるという情報は、スムージングを行った場合が、スムージングを行っていない場合に比べ、全体エネルギーの量子化エラーが少なくなる場合に選択することができる。
一方、周波数領域入力信号を利用して、基本信号を生成することができる。基本信号を生成する過程は、次のような構成要素を介して行われる。
人工信号生成部１３０４は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。このとき、周波数領域入力信号は、３２ＫＨｚサンプリングレートを有するＷＢ復号化された信号であってもよい。
包絡線推定部１３０５は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。ウィンドウは、符号化装置１０１で、包絡線推定のために使用されたものであり、ウィンドウ種類は、ビット形態でビットストリームに含まれ、復号化装置１０２に伝送される。
包絡線適用部１３０６は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。
符号化装置の包絡線推定部６０２で、ホワイトニングバンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合において、ホワイトニングバンド内に属したスペクトルの個数が多少いかんと係わる情報を復号化装置に伝送した場合、復号化装置の包絡線推定部１３０５が、伝送された方式に基づいて包絡線を推定した後、包絡線適用部１３０６で、包絡線を適用することができる。また、情報伝送なしに、ＷＢコア復号化部に使用されたコア符号化モードによって決定することができる。
コア復号化部１２０１は、周波数領域入力信号の特性によって、有声音復号化モード、無声音復号化モード、transient復号化モード、generic復号化モードのうち、復号化モードを決定して復号化することができる。このとき、包絡線推定部６０２は、周波数領域入力信号の特性による復号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、周波数領域入力信号が有声音復号化モードによって復号化された場合、包絡線推定部１３０５は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、周波数領域入力信号が、有声音復号化モード以外の復号化モードによって符号化された場合、包絡線推定部１３０６は、ホワイトニングバンドに、３個の周波数スペクトルを構成して包絡線を推定することができる。
図１４は、逆量子化部１３０１の動作を図示したフローチャートである。段階Ｓ１４０１で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス１を利用して、エネルギーベクトルの選択されたサブベクトルを逆量子化することができる。
段階Ｓ１４０２で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス２を利用して、選択されていない残りのサブベクトルに対応する補間エラーを逆量子化することができる。
段階Ｓ１４０３で、逆量子化部１３０１は、逆量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算することができる。そして、逆量子化部１３０１は、残りのサブベクトルに逆量子化された補間エラー値を加えることができる。また、逆量子化部１３０１は、後処理過程を介して、前処理過程で差し引いた平均値を加え、最終的な逆量子化されたエネルギーを計算することができる。
図１５は、一実施形態による符号化方法を図示したフローチャートである。符号化装置１０１は、時間領域入力信号をダウンサンプリングすることができる（Ｓ１５０１）。
符号化装置１０１は、ダウンサンプリングされた時間領域入力信号に対して、コア符号化することができる（Ｓ１５０２）。符号化装置１０１は、時間領域入力信号を、周波数領域入力信号に変換することができる（Ｓ１５０３）。
符号化装置１０１は、周波数領域入力信号に対して、帯域幅拡張符号化を行うことができる（Ｓ１５０４）。一例として、符号化装置１０１は、Ｓ１５０２で、一定符号化情報を利用して、帯域幅拡張符号化を行うことができる。このとき、符号化情報は、周波数領域入力信号の特性によって分類された符号化モードを含んでもよい。
一例として、符号化装置１０１は、帯域幅拡張符号化を、次のような過程を介して行うことができる。符号化装置１０１は、周波数領域入力信号の周波数スペクトルを利用して、周波数領域の入力信号の基本信号を生成することができる。他の一例として、符号化装置は、周波数領域入力信号の特性、及び周波数領域入力信号の周波数スペクトルを利用して、周波数領域入力信号の基本信号を生成することができる。このとき、周波数領域入力信号の特性は、コア符号化を介して導き出されたり、あるいは別途の信号分類過程を介して導き出される。そして、符号化装置１０１は、基本信号を利用して、エネルギー制御要素を推定することができる。その後、符号化装置１０１は、周波数領域入力信号からエネルギーを抽出することができる。それにより、符号化装置１０１は、エネルギー制御要素を利用して、抽出されたエネルギーを制御することができる。符号化装置１０１は、制御されたエネルギーを量子化することができる。このとき、基本信号を生成する過程は、次のような方法を介して行われる。
符号化装置１０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、符号化装置１０１は、ウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、符号化装置１０１は、トーナリティまたは相関度（correlation）のうち、いずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することができる。一例として、符号化装置１０１は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することができる。具体的には、符号化装置１０１は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することができる。
その後、符号化装置１０１は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。そして、エネルギー制御要素を推定する過程は、次のような方法を介して行われる。
符号化装置１０１は、周波数領域入力信号の高周波数領域のトーナリティを計算することができる。そして、符号化装置１０１は、基本信号のトーナリティを計算することができる。その後、符号化装置１０１は、高周波数領域のトーナリティと、基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。
また、エネルギーを量子化する過程は、次のような方法を介して行われる。
符号化装置１０１は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、選択されていない残りの（remained）サブベクトルを量子化することができる。このとき、符号化装置１０１は、一定間隔でサブベクトルを選択することができる。
一例として、符号化装置１０１は、サブベクトルの候補（candidate）を選択し、２個以上使用するマルチステージ（multistage）ベクトル量子化を行うことができる。このとき、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。または、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することができる。
図１６は、一実施形態による復号化方法を図示したフローチャートである。復号化装置１０２は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる（Ｓ１６０１）。復号化装置１０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる（Ｓ１６０２）。復号化装置１０２は、アップサンプリングされた時間領域入力信号を周波数変換することができる（Ｓ１６０３）。
復号化装置１０２は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる（Ｓ１６０４）。
具体的には、帯域幅拡張を行う過程は、次のように成り立つ。復号化装置１０２は、時間領域入力信号のエネルギーを逆量子化することができる。このとき、復号化装置１０１は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することができる。
そして、復号化装置１０２は、周波数領域入力信号を利用して、基本信号を生成することができる。その後、復号化装置１０２は、逆量子化されたエネルギーと、基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。最終的には、復号化装置１０２は、計算されたゲインを、周波数バンド別に適用することができる。
具体的には、基本信号を生成する過程は、次のようになる。
復号化装置１０２は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、復号化装置１０２は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、ウィンドウ情報を常に同一に使用するように設定された場合には、ビットストリームにウィンドウが含まれないこともある。その後、復号化装置１０２は、推定された包絡線を人工信号に適用することができる。
図１５及び図１６で説明していない事項は、図１ないし図１４の説明を参照する。
図１７は、他の実施形態による符号化装置１０１の全体構成を図示したブロック図である。図１７を参照すれば、符号化装置１０１は、例えば、符号化モード選択部１７０１及び拡張符号化部１７０２を含んでもよい。
符号化モード選択部１７０１は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択することができる。
具体的には、符号化モード選択部１７０１は、周波数領域入力信号と、時間領域入力信号とを利用して、周波数領域入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び符号化モードに基づいた周波数バンドの個数を決定することができる。ここで、符号化モードは、拡張符号化部１７０２の性能向上のために、コア符号化時に、一定符号化モードと異なる新しい符号化モードのセットに設定される。
一例として、符号化モードは、ノーマル（normal）モード、ハーモニック（harmonic）モード、トランジェント（transient）モード、ノイズ（noise）モードに分類される。まず、符号化モード選択部１７０１は、時間領域の入力信号の長区間エネルギーと、現在フレームの高域エネルギーとの比率を利用して、現在フレームがtransientしたフレームであるか否かを決定することができる。transientした信号区間は、時間領域で、急激なエネルギー変化が示される区間であるので、高域のエネルギーが急激に変化する区間であるといえる。
残り３個の符号化モードを決定する過程は、次の通りである。まず、符号化モード選択部１７０１は、以前フレームと現在フレームとの周波数領域のglobalエネルギーを求めた後、これらの間の比率と、周波数領域の入力信号とを、前もって定義された周波数帯域に分けた後、各周波数帯域の平均エネルギーとpeakエネルギーとを利用して、残り３個のモードを決定することができる。
Harmonicモードは、一般的に、周波数領域信号で、平均エネルギーとpeakエネルギーとの差が最大である信号であるといえる。そしてnoiseモードは、全体的に、エネルギー変化が少ない信号であるといえる。かような２つのモードの信号を除いた残りの信号は、いずれもnormalモードとして決定される。
そして、一実施形態で、normalモード及びharmonicモードで、周波数バンドの個数は、１６個に決定され、transientモードで、周波数バンドの個数は、５個に決定され、noiseモードで、周波数バンドの個数は、１２個に決定される。
拡張符号化部１７０２は、周波数領域入力信号と符号化モードとを利用して、帯域幅拡張符号化を行うことができる。図１７を参照すれば、拡張符号化部１７０２は、例えば、基本信号生成部１７０３、要素推定部１７０４、エネルギー抽出部１７０５、エネルギー制御部１７０６及びエネルギー量子化部１７０７を含んでもよい。基本信号生成部１７０３と要素推定部１７０４とについては、図４の基本信号生成部４０１と要素推定部４０２との説明を参照する。
エネルギー抽出部１７０５は、符号化モードに基づいて、一定周波数バンドの個数によって、各周波数バンドに該当するエネルギーを抽出することができる。エネルギー制御部１７０６は、符号化モードに基づいて、周波数バンドに対応するエネルギーを制御することができる。
基本信号生成部１７０３、要素推定部１７０４及びエネルギー制御部１７０６は、符号化モードによって使用されもし、または使用されないこともある。例えば、normalモードとharmonicモードは、前述の３個構成要素が使用され、transientモードとnoiseモードは、前述の３個構成要素が使用されないこともある。前述の３個の構成要素に係わる詳細的な説明は、図４で説明した部分を参照する。
エネルギー量子化部１７０７は、符号化モードに基づいて制御されたエネルギーを量子化することができる。すなわち、エネルギー制御過程を経たバンドエネルギーは、エネルギー量子化部１７０７で量子化される。
図１８は、エネルギー量子化部１７０７が行う動作を図示した図面である。エネルギー量子化部１７０７は、符号化モードによって、周波数領域入力信号から抽出されたエネルギーを量子化することができる。このとき、エネルギー量子化部１７０７は、符号化モードによって、入力信号の知覚的な特性、及び周波数バンドの個数を考慮し、各入力信号に最適な方式で、バンドエネルギーを量子化することができる。
例えば、符号化モードがtransientモードである場合、エネルギー量子化部１７０７は、５個のバンドエネルギーについて、知覚的特性に基づいた周波数加重方法（frequency weighting method）を利用して、バンドエネルギーを量子化することができる。そして、符号化モードがnormalモードまたはharmonicモードである場合、エネルギー量子化部１７０７は、１６個バンドエネルギーについて、知覚的特性に基づいた不均一ビット割り当て方法（unequal bit allocation method）を利用して、バンドエネルギーを量子化することができる。もし、知覚的特性が明確ではない場合、エネルギー量子化部１７０７は、知覚的特性を考慮せずに、一般的な量子化を行うこともできる。
図１９は、一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。
不均一ビット割り当て方法は、拡張符号化の対象になった入力信号の知覚的特性を考慮したものであり、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーを、さらに正確に量子化することができる方法である。このために、エネルギー量子化部１７０７は、低い周波数帯域に対応するバンドエネルギーに、同じであるか、あるいはさらに多いビットを割り当て、知覚的な重要度を区分することができる。
一例として、エネルギー量子化部１７０７は、相対的に低い帯域である０〜５番周波数帯域にさらに多くのビット割り当てを行い、０〜５番周波数帯域にいずれも同一のビット割り当てを行うようにすることができる。そして、周波数帯域が高くなるほど、エネルギー量子化部１７０７は、さらに少ないビットを割り当てる。かようなビット割り当てによって、周波数帯域０〜１３は、図１９のような方式で量子化される。そして、周波数帯域１４，１５は、図２０のように量子化される。
図２０は、一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。
エネルギー量子化部１７０７は、２個以上の要素（element）を有する量子化対象ベクトルの代表値を予測した後、予測された代表値と、量子化対象ベクトルの少なくとも２個の各要素との間のエラー信号をベクトル量子化することができる。
図２０は、かようなイントラフレーム予測（intra frame prediction）を示し、量子化対象ベクトルの代表値を予測し、エラー信号を導出する方法は、数式（８）の通りである。
Figure 0006111196
 ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ（ｎ）は、エラーエネルギーを意味する。ここで、ｅ（１４）とｅ（１５）は、ベクトル量子化される。
図２１は、一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。
周波数加重方法（frequency weighting method）は、拡張符号化対象である入力信号の知覚的特性として考慮し、不均一ビット割り当て方法と同一に、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーをさらに正確に量子化をする方法である。このために、低い周波数帯域に対応するバンドエネルギーと同じであるか、あるいはさらに高い加重値を付与して知覚的な重要度を区分する。
一例として、エネルギー量子化部１７０７は、相対的に低い周波数帯域である０〜３番周波数帯域に対応するバンドエネルギーに、さらに高い加重値である１．０を付与し、高い周波数帯域である１５番周波数帯域に対応するバンドエネルギーに、さらに低い加重値である０．７を付与して量子化することができる。付与された加重値を使用するために、エネルギー量子化部１７０７は、ＷＭＳＥ値を利用して、最適インデックスを求めることができる。
図２２は、一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。
エネルギー量子化部１７０７は、バンドエネルギーの個数が１６個であるnormalモードについて、図２２のようにベクトル量子化を行うことができる。ここで、エネルギー量子化部１７０７は、不均一ビット割り当て方法、イントラフレーム予測（intra frame prediction）、及びmulti−stage split ＶＱ with energy interpolation技術を利用して、ベクトル量子化を行うことができる。
図２３は、逆量子化部１３０１が行う動作を図示した図面である。図２３の過程は、図１８の過程の逆に遂行することができる。図１７のように、拡張符号化時に符号化モードが使用された場合、拡張復号化部１２０４の逆量子化部１３０１は、符号化モードを復号化することができる。
逆量子化部１３０１は、まず、伝送されたインデックスを利用して、符号化モードを復号化することができる。そして、逆量子化部１３０１は、復号化された符号化モードによって、定められた方式で逆量子化を行うことができる。図２３の符号化モードによって、各逆量子化対象であるブロックは、量子化の逆順に逆量子化される。
ここで使用されたmulti−stage split ＶＱ with energy interpolation方式で量子化された部分は、図１４と同一の方式で逆量子化される。ここにおいて、逆量子化部１３０１は、イントラフレーム予測を利用して、下の数式（９）によって逆量子化することができる。
Figure 0006111196
 ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ＾（ｎ）は、量子化されたエラーエネルギーを意味する。
図２４は、一実施形態による符号化装置１０１の他の構造を図示した図面である。図２４に図示された符号化装置１０１は、例えば、ダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４を含んでもよい。
図２４に図示された符号化装置１０１のダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４は、図２に図示された符号化装置１０１のダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３、拡張符号化部２０４ｄと同一の基本的な動作を遂行することができる。ただし、拡張符号化部２４０４は、コア符号化部２４０２への情報伝送を必要とせず、時間領域の入力信号が直接入力される。
本発明の実施形態による方法は、多様なコンピュータ手段を介して行われるプログラム命令形態で具現され、コンピュータ可読媒体に記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独で、あるいは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものや、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。
以上、本発明は、たとえ限定された実施形態と図面とによって説明したにしても、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならは、かような記載から多様な修正及び変形が可能である。従って、本発明の範囲は、説明された実施形態に限られて決められるものではなく、特許請求の範囲だけではなく、当該特許請求の範囲と均等なものによっても決定されるものである。

Claims (7)

  1. 現在フレームの入力スペクトルに基づき、所定周波数より高い帯域のための基本励起スペクトル(base excitation spectrum)を生成する信号生成部と、
    前記入力スペクトルから前記現在フレームを構成するバンドのエネルギーを得るエネルギー抽出部と、
    前記基本励起スペクトルのトーナリティと前記入力スペクトルのトーナリティとの比率に基づき、前記現在フレームを構成するバンドに対応するエネルギー制御要素を得るエネルギー制御要素生成部と、
    前記現在フレームを構成するバンドに対して得られたエネルギーを前記エネルギー制御要素を用いて制御するエネルギー制御部と、
    前記制御されたエネルギーを量子化するエネルギー量子化部を備え、
    前記エネルギー制御部は、前記現在フレームがノントランジェント(non-transient)フレームに該当する場合、前記現在フレームを構成するバンドに対して得られたエネルギーのサイズを前記エネルギー制御要素に基づき調整し、
    前記ノントランジェントフレームは、ハーモニック(harmonic)フレームあるいはノーマル(normal)フレームであることを特徴とする符号化装置。
  2. 前記エネルギー量子化部は、ＭＳＥ(mean square error)に基づいて前記制御されたエネルギーを量子化する請求項１に記載の符号化装置。
  3. 前記エネルギー量子化部は、ＷＭＳＥ(weighted mean square error)に基づいて前記制御されたエネルギーを量子化する請求項１に記載の符号化装置。
  4. 前記エネルギー量子化部は、低周波数帯域にさらに大きい加重値を割り当てる請求項３に記載の符号化装置。
  5. 前記エネルギー量子化部は、補間処理に基づいて前記制御されたエネルギーを量子化する請求項１に記載の符号化装置。
  6. 前記エネルギー量子化部は、マルチステージベクトル量子化(multi-stage vector quantization)を使って前記制御されたエネルギーを量子化する請求項１あるいは５に記載の符号化装置。
  7. 前記エネルギー量子化部は、エネルギーベクトルから複数のベクトルを選択し、該選択されたベクトルと、前記選択されたベクトルを補間して得られるエラーを量子化する請求項１に記載の符号化装置。
JP2013529063A 2010-09-15 2011-09-15 高周波数帯域幅拡張のための符号化／復号化装置及びその方法 Active JP6111196B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20100090582 2010-09-15
KR10-2010-0090582 2010-09-15
KR10-2010-0103636 2010-10-22
KR20100103636 2010-10-22
KR10-2010-0138045 2010-12-29
KR1020100138045A KR101826331B1 (ko) 2010-09-15 2010-12-29 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
PCT/KR2011/006819 WO2012036487A2 (en) 2010-09-15 2011-09-15 Apparatus and method for encoding and decoding signal for high frequency bandwidth extension

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016230346A Division JP6306676B2 (ja) 2010-09-15 2016-11-28 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Publications (3)

Publication Number Publication Date
JP2013538374A JP2013538374A (ja) 2013-10-10
JP2013538374A5 JP2013538374A5 (ja) 2014-11-06
JP6111196B2 true JP6111196B2 (ja) 2017-04-05

Family

ID=46133534

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013529063A Active JP6111196B2 (ja) 2010-09-15 2011-09-15 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
JP2016230346A Active JP6306676B2 (ja) 2010-09-15 2016-11-28 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
JP2018042309A Active JP6787941B2 (ja) 2010-09-15 2018-03-08 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016230346A Active JP6306676B2 (ja) 2010-09-15 2016-11-28 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
JP2018042309A Active JP6787941B2 (ja) 2010-09-15 2018-03-08 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Country Status (9)

Country Link
US (4) US9183847B2 (ja)
EP (3) EP3113182A1 (ja)
JP (3) JP6111196B2 (ja)
KR (3) KR101826331B1 (ja)
CN (3) CN103210443B (ja)
MX (1) MX354288B (ja)
MY (1) MY167013A (ja)
RU (1) RU2639694C1 (ja)
WO (1) WO2012036487A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018120236A (ja) * 2010-09-15 2018-08-02 サムスン エレクトロニクス カンパニー リミテッド 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010013752A1 (ja) * 2008-07-29 2010-02-04 ヤマハ株式会社 演奏関連情報出力装置、演奏関連情報出力装置を備えるシステム、及び電子楽器
CN101983513B (zh) * 2008-07-30 2014-08-27 雅马哈株式会社 音频信号处理装置、音频信号处理系统以及音频信号处理方法
JP5782677B2 (ja) 2010-03-31 2015-09-24 ヤマハ株式会社 コンテンツ再生装置および音声処理システム
US9082416B2 (en) * 2010-09-16 2015-07-14 Qualcomm Incorporated Estimating a pitch lag
US9536534B2 (en) * 2011-04-20 2017-01-03 Panasonic Intellectual Property Corporation Of America Speech/audio encoding apparatus, speech/audio decoding apparatus, and methods thereof
CA2966987C (en) 2011-06-30 2019-09-03 Samsung Electronics Co., Ltd. Apparatus and method for generating bandwidth extension signal
EP2573761B1 (en) 2011-09-25 2018-02-14 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
US8909539B2 (en) * 2011-12-07 2014-12-09 Gwangju Institute Of Science And Technology Method and device for extending bandwidth of speech signal
JP5494677B2 (ja) 2012-01-06 2014-05-21 ヤマハ株式会社 演奏装置及び演奏プログラム
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
CN103971693B (zh) * 2013-01-29 2017-02-22 华为技术有限公司 高频带信号的预测方法、编/解码设备
CN117392990A (zh) * 2013-01-29 2024-01-12 弗劳恩霍夫应用研究促进协会 用于码激励线性预测类编码器的无边信息的噪声填充
FR3003683A1 (fr) * 2013-03-25 2014-09-26 France Telecom Mixage optimise de flux audio codes selon un codage par sous-bandes
FR3003682A1 (fr) * 2013-03-25 2014-09-26 France Telecom Mixage partiel optimise de flux audio codes selon un codage par sous-bandes
US10043528B2 (en) * 2013-04-05 2018-08-07 Dolby International Ab Audio encoder and decoder
SG11201510458UA (en) * 2013-06-21 2016-01-28 Fraunhofer Ges Forschung Audio decoder having a bandwidth extension module with an energy adjusting module
EP2830065A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
US9666202B2 (en) 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
CN110867190B (zh) 2013-09-16 2023-10-13 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
KR102315920B1 (ko) * 2013-09-16 2021-10-21 삼성전자주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
CN104517610B (zh) * 2013-09-26 2018-03-06 华为技术有限公司 频带扩展的方法及装置
CA2925037C (en) 2013-12-02 2020-12-01 Huawei Technologies Co., Ltd. Encoding method and apparatus
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
US20150170655A1 (en) * 2013-12-15 2015-06-18 Qualcomm Incorporated Systems and methods of blind bandwidth extension
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
CN110619884B (zh) 2014-03-14 2023-03-07 瑞典爱立信有限公司 音频编码方法和装置
KR20240010550A (ko) * 2014-03-28 2024-01-23 삼성전자주식회사 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치
JPWO2015151451A1 (ja) * 2014-03-31 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法、復号方法、およびプログラム
US9685164B2 (en) * 2014-03-31 2017-06-20 Qualcomm Incorporated Systems and methods of switching coding technologies at a device
CN105096957B (zh) * 2014-04-29 2016-09-14 华为技术有限公司 处理信号的方法及设备
US9697843B2 (en) 2014-04-30 2017-07-04 Qualcomm Incorporated High band excitation signal generation
CN111968656B (zh) * 2014-07-28 2023-11-10 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
CN104143335B (zh) 2014-07-28 2017-02-01 华为技术有限公司 音频编码方法及相关装置
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
US10061554B2 (en) * 2015-03-10 2018-08-28 GM Global Technology Operations LLC Adjusting audio sampling used with wideband audio
EP3800639B1 (en) * 2015-03-27 2022-12-28 Dolby Laboratories Licensing Corporation Adaptive audio filtering
CN107615379B (zh) * 2015-06-10 2021-12-24 索尼公司 信号处理装置、信号处理方法和程序
US10134412B2 (en) * 2015-09-03 2018-11-20 Shure Acquisition Holdings, Inc. Multiresolution coding and modulation system
KR102067044B1 (ko) * 2016-02-17 2020-01-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 과도 프로세싱을 향상시키기 위한 사후 프로세서, 사전 프로세서, 오디오 인코더, 오디오 디코더, 및 관련 방법
CN108701462B (zh) * 2016-03-21 2020-09-25 华为技术有限公司 加权矩阵系数的自适应量化
EP3288031A1 (en) 2016-08-23 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding an audio signal using a compensation value
JP7123134B2 (ja) * 2017-10-27 2022-08-22 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． デコーダにおけるノイズ減衰
JP6693551B1 (ja) * 2018-11-30 2020-05-13 株式会社ソシオネクスト 信号処理装置および信号処理方法
US11380343B2 (en) 2019-09-12 2022-07-05 Immersion Networks, Inc. Systems and methods for processing high frequency audio signal
US10978083B1 (en) 2019-11-13 2021-04-13 Shure Acquisition Holdings, Inc. Time domain spectral bandwidth replication

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE501305C2 (sv) * 1993-05-26 1995-01-09 Ericsson Telefon Ab L M Förfarande och anordning för diskriminering mellan stationära och icke stationära signaler
JP3317470B2 (ja) 1995-03-28 2002-08-26 日本電信電話株式会社 音響信号符号化方法、音響信号復号化方法
JP3707116B2 (ja) * 1995-10-26 2005-10-19 ソニー株式会社 音声復号化方法及び装置
US6377915B1 (en) 1999-03-17 2002-04-23 Yrp Advanced Mobile Communication Systems Research Laboratories Co., Ltd. Speech decoding using mix ratio table
US7117149B1 (en) 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
JP2002202799A (ja) 2000-10-30 2002-07-19 Fujitsu Ltd 音声符号変換装置
CN100395817C (zh) * 2001-11-14 2008-06-18 松下电器产业株式会社 编码设备、解码设备和解码方法
JP2003304238A (ja) 2002-04-09 2003-10-24 Sony Corp 信号再生方法及び装置、信号記録方法及び装置、並びに符号列生成方法及び装置
US7218251B2 (en) 2002-03-12 2007-05-15 Sony Corporation Signal reproducing method and device, signal recording method and device, and code sequence generating method and device
EP1439524B1 (en) * 2002-07-19 2009-04-08 NEC Corporation Audio decoding device, decoding method, and program
WO2004034379A2 (en) * 2002-10-11 2004-04-22 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
US7519530B2 (en) * 2003-01-09 2009-04-14 Nokia Corporation Audio signal processing
US20040230423A1 (en) * 2003-05-16 2004-11-18 Divio, Inc. Multiple channel mode decisions and encoding
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
US7619995B1 (en) * 2003-07-18 2009-11-17 Nortel Networks Limited Transcoders and mixers for voice-over-IP conferencing
JP5129480B2 (ja) 2003-09-25 2013-01-30 パイエオン インコーポレイテッド 管状臓器の３次元再構成を行うシステム及び血管撮像装置の作動方法
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
FI119533B (fi) * 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
WO2005104094A1 (ja) 2004-04-23 2005-11-03 Matsushita Electric Industrial Co., Ltd. 符号化装置
KR100997270B1 (ko) 2004-04-28 2010-11-29 파나소닉 주식회사 스트림 생성 장치, 스트림 생성 방법, 및 기록 매체
EP1939862B1 (en) 2004-05-19 2016-10-05 Panasonic Intellectual Property Corporation of America Encoding device, decoding device, and method thereof
US8712768B2 (en) * 2004-05-25 2014-04-29 Nokia Corporation System and method for enhanced artificial bandwidth expansion
KR100608062B1 (ko) 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
ES2791001T3 (es) 2004-11-02 2020-10-30 Koninklijke Philips Nv Codificación y decodificación de señales de audio mediante el uso de bancos de filtros de valor complejo
KR100707174B1 (ko) 2004-12-31 2007-04-13 삼성전자주식회사 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법
US7805314B2 (en) * 2005-07-13 2010-09-28 Samsung Electronics Co., Ltd. Method and apparatus to quantize/dequantize frequency amplitude data and method and apparatus to audio encode/decode using the method and apparatus to quantize/dequantize frequency amplitude data
KR20070026939A (ko) 2005-08-29 2007-03-09 주식회사 아이캐시 한 개의 카드번호를 이용한 마일리지 포인트, 전자화폐,전자상품권, 선불카드, 직불카드 및 타 신용카드의통합결제 시스템 및 방법
US7587314B2 (en) * 2005-08-29 2009-09-08 Nokia Corporation Single-codebook vector quantization for multiple-rate applications
KR100647336B1 (ko) * 2005-11-08 2006-11-23 삼성전자주식회사 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
KR100795727B1 (ko) * 2005-12-08 2008-01-21 한국전자통신연구원 Ｃｅｌｐ기반의 음성 코더에서 고정 코드북 검색 장치 및방법
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
US8010352B2 (en) * 2006-06-21 2011-08-30 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
US9159333B2 (en) 2006-06-21 2015-10-13 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
KR101390188B1 (ko) 2006-06-21 2014-04-30 삼성전자주식회사 적응적 고주파수영역 부호화 및 복호화 방법 및 장치
KR101393298B1 (ko) 2006-07-08 2014-05-12 삼성전자주식회사 적응적 부호화/복호화 방법 및 장치
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US7873514B2 (en) 2006-08-11 2011-01-18 Ntt Docomo, Inc. Method for quantizing speech and audio through an efficient perceptually relevant search of multiple quantization patterns
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
US8214202B2 (en) 2006-09-13 2012-07-03 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for a speech/audio sender and receiver
KR101346358B1 (ko) 2006-09-18 2013-12-31 삼성전자주식회사 대역폭 확장 기법을 이용한 오디오 신호의 부호화/복호화방법 및 장치
US20080071550A1 (en) 2006-09-18 2008-03-20 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode audio signal by using bandwidth extension technique
JP2008096567A (ja) 2006-10-10 2008-04-24 Matsushita Electric Ind Co Ltd オーディオ符号化装置およびオーディオ符号化方法ならびにプログラム
US8639500B2 (en) 2006-11-17 2014-01-28 Samsung Electronics Co., Ltd. Method, medium, and apparatus with bandwidth extension encoding and/or decoding
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
KR101375582B1 (ko) 2006-11-17 2014-03-20 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
BRPI0718738B1 (pt) 2006-12-12 2023-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador, decodificador e métodos para codificação e decodificação de segmentos de dados representando uma corrente de dados de domínio de tempo
KR101379263B1 (ko) 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
CN101231850B (zh) * 2007-01-23 2012-02-29 华为技术有限公司 编解码方法及装置
FR2912249A1 (fr) * 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
US8060363B2 (en) * 2007-02-13 2011-11-15 Nokia Corporation Audio signal encoding
US8032359B2 (en) * 2007-02-14 2011-10-04 Mindspeed Technologies, Inc. Embedded silence and background noise compression
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
KR101373004B1 (ko) * 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
CN101430880A (zh) 2007-11-07 2009-05-13 华为技术有限公司 一种背景噪声的编解码方法和装置
BRPI0820488A2 (pt) 2007-11-21 2017-05-23 Lg Electronics Inc método e equipamento para processar um sinal
CN101458930B (zh) * 2007-12-12 2011-09-14 华为技术有限公司 带宽扩展中激励信号的生成及信号重建方法和装置
JP5448850B2 (ja) 2008-01-25 2014-03-19 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
EP2259254B1 (en) 2008-03-04 2014-04-30 LG Electronics Inc. Method and apparatus for processing an audio signal
CN101527138B (zh) * 2008-03-05 2011-12-28 华为技术有限公司 超宽带扩展编码、解码方法、编解码器及超宽带扩展系统
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
WO2010028299A1 (en) * 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Noise-feedback for spectral envelope quantization
JP2010066158A (ja) * 2008-09-11 2010-03-25 Shimadzu Corp シリンジ、及びこのシリンジを用いたインフュージョン試料導入装置
EP2169670B1 (en) * 2008-09-25 2016-07-20 LG Electronics Inc. An apparatus for processing an audio signal and method thereof
WO2010047566A2 (en) * 2008-10-24 2010-04-29 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
CN101751926B (zh) * 2008-12-10 2012-07-04 华为技术有限公司 信号编码、解码方法及装置、编解码系统
CN101763856B (zh) * 2008-12-23 2011-11-02 华为技术有限公司 信号分类处理方法、分类处理装置及编码系统
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
EP2674943B1 (en) * 2009-01-28 2015-09-02 Dolby International AB Improved harmonic transposition
JP4892021B2 (ja) 2009-02-26 2012-03-07 株式会社東芝 信号帯域拡張装置
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
US8718804B2 (en) * 2009-05-05 2014-05-06 Huawei Technologies Co., Ltd. System and method for correcting for lost data in a digital audio signal
EP2273493B1 (en) * 2009-06-29 2012-12-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bandwidth extension encoding and decoding
US8311843B2 (en) * 2009-08-24 2012-11-13 Sling Media Pvt. Ltd. Frequency band scale factor determination in audio encoding based upon frequency band signal energy
EP3693963B1 (en) * 2009-10-15 2021-07-21 VoiceAge Corporation Simultaneous time-domain and frequency-domain noise shaping for tdac transforms
PL2491555T3 (pl) * 2009-10-20 2014-08-29 Fraunhofer Ges Forschung Wielotrybowy kodek audio
US9443534B2 (en) * 2010-04-14 2016-09-13 Huawei Technologies Co., Ltd. Bandwidth extension system and approach
US8886523B2 (en) * 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
KR101826331B1 (ko) 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
CN102436820B (zh) * 2010-09-29 2013-08-28 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
US8965756B2 (en) * 2011-03-14 2015-02-24 Adobe Systems Incorporated Automatic equalization of coloration in speech recordings

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018120236A (ja) * 2010-09-15 2018-08-02 サムスン エレクトロニクス カンパニー リミテッド 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

Also Published As

Publication number Publication date
US20120065965A1 (en) 2012-03-15
EP3113182A1 (en) 2017-01-04
CN103210443A (zh) 2013-07-17
JP2017076133A (ja) 2017-04-20
EP2617033A2 (en) 2013-07-24
US10418043B2 (en) 2019-09-17
US20130282368A1 (en) 2013-10-24
KR101896504B1 (ko) 2018-09-10
EP2617033B1 (en) 2016-08-03
JP2013538374A (ja) 2013-10-10
MX354288B (es) 2018-02-22
US10152983B2 (en) 2018-12-11
EP2617033A4 (en) 2014-08-27
WO2012036487A2 (en) 2012-03-22
EP3745398A1 (en) 2020-12-02
US9183847B2 (en) 2015-11-10
US20160064013A1 (en) 2016-03-03
US20180102132A1 (en) 2018-04-12
CN105719655A (zh) 2016-06-29
CN105719655B (zh) 2020-03-27
CN105654958A (zh) 2016-06-08
KR20180100294A (ko) 2018-09-10
KR101826331B1 (ko) 2018-03-22
RU2639694C1 (ru) 2017-12-21
WO2012036487A3 (en) 2012-06-21
CN103210443B (zh) 2016-03-09
CN105654958B (zh) 2020-03-13
US9837090B2 (en) 2017-12-05
KR20180014808A (ko) 2018-02-09
JP6306676B2 (ja) 2018-04-04
JP2018120236A (ja) 2018-08-02
KR20120028791A (ko) 2012-03-23
JP6787941B2 (ja) 2020-11-18
MY167013A (en) 2018-07-31
KR102013242B1 (ko) 2019-08-22

Similar Documents

Publication Publication Date Title
JP6306676B2 (ja) 高周波数帯域幅拡張のための符号化／復号化装置及びその方法
KR102109938B1 (ko) 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
AU2015202393A1 (en) Apparatus and method for encoding/decoding for high-frequency bandwidth extension
AU2016222488A1 (en) Apparatus and method for encoding/decoding for high-frequency bandwidth extension

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161128

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170313

R150 Certificate of patent or registration of utility model

Ref document number: 6111196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250