JPWO2018052004A1 - サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム - Google Patents
サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2018052004A1 JPWO2018052004A1 JP2018539738A JP2018539738A JPWO2018052004A1 JP WO2018052004 A1 JPWO2018052004 A1 JP WO2018052004A1 JP 2018539738 A JP2018539738 A JP 2018539738A JP 2018539738 A JP2018539738 A JP 2018539738A JP WO2018052004 A1 JPWO2018052004 A1 JP WO2018052004A1
- Authority
- JP
- Japan
- Prior art keywords
- signal
- weighted
- sample
- frequency domain
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000004364 calculation method Methods 0.000 claims abstract description 106
- 230000005236 sound signal Effects 0.000 claims abstract description 32
- 238000013139 quantization Methods 0.000 claims description 261
- 230000001131 transforming effect Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 10
- 238000011426 transformation method Methods 0.000 claims 5
- 230000008569 process Effects 0.000 abstract description 34
- 238000001228 spectrum Methods 0.000 description 128
- 238000012545 processing Methods 0.000 description 116
- 238000007906 compression Methods 0.000 description 107
- 230000006835 compression Effects 0.000 description 106
- 230000006870 function Effects 0.000 description 104
- 238000007781 pre-processing Methods 0.000 description 92
- 238000012805 post-processing Methods 0.000 description 87
- 230000006837 decompression Effects 0.000 description 79
- 238000010586 diagram Methods 0.000 description 49
- 238000006243 chemical reaction Methods 0.000 description 38
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 238000005056 compaction Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007788 roughening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/035—Scalar quantisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
この発明の第一実施形態は、符号化装置1および復号装置2からなる。符号化装置1は、フレーム単位で入力された音声や音楽などの音信号(音響信号)を符号化して符号を得て、出力する。符号化装置10が出力する符号は復号装置20へ入力される。復号装置20は入力された符号を復号してフレーム単位の音響信号を出力する。
図11を参照して、第一実施形態の符号化装置1が実行する符号化方法の処理手続きを説明する。
信号前処理部10は、フレーム毎に、符号化装置1へ入力された音響信号Xk(k=0, …, N-1)を受け取り、準瞬時圧伸部100での処理を行い、重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。
準瞬時圧伸部100は、フレーム毎に、符号化装置1へ入力された音響信号Xk(k=0, …, N-1)を受け取り、代表値算出部110および信号圧伸部120での処理を行い、重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。
ステップS12において、代表値算出部110は、フレーム毎に、準瞬時圧伸部100から入力された音響信号Xk(k=0, …, N-1)を受け取り、所定のM(≦N)サンプルによる区間毎に代表値−Xm(m=1, …, N/M)を算出し、信号圧伸部120へ出力する。代表値−Xmとしては、復号装置2でも推定可能な特徴量を用いる。
ステップS13において、信号圧伸部120は、フレーム毎に、代表値算出部110が出力した代表値−Xm(m=1, …, N/M)と、準瞬時圧伸部100から入力されたフレーム毎の音響信号Xk(k=0, …, N-1)とを受け取り、以下のように重み付信号Yk(k=0, …, N-1)を生成し、量子化部17へ出力する。
ステップS14において、量子化部17は、信号前処理部10が出力したフレーム毎の重み付信号Yk(k=0, …, N-1)を受け取り、目標の符号長に適うように重み付信号Ykをスカラー量子化し、量子化信号を出力する。量子化部17は、例えば、従来技術と同様に、重み付信号Ykを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化部17は、量子化信号を可逆符号化部18へ、量子化に使用した量子化幅を多重化部19へそれぞれ出力する。量子化幅は、例えば所定のものを使用してもよいし、可逆符号化部18による圧縮結果の符号長を基にして、符号長が目標の符号長に対して長過ぎる場合には量子化幅を大きくし、符号長が目標の符号長に対して短過ぎる場合には量子化幅を小さくするというようにして探索してもよい。量子化部17は、信号前処理部10と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部10と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
ステップS15において、可逆符号化部18は、量子化部17が出力した量子化信号を受け取り、可逆符号化により量子化信号に対応する符号を割り当て、信号符号を出力する。可逆符号化部18は、信号符号を多重化部19へ出力する。可逆符号化は、例えば一般的なエントロピー符号化を用いてもよいし、MPEG-ALS(参考文献1参照)やG.711.0(参考文献2参照)のような既存の可逆符号化方式を用いてもよい。可逆符号化部18は、信号前処理部10と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部10と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
〔参考文献1〕T. Liebechen, T. Moriya, N. Harada, Y. Kamamoto, and Y. A. Reznik, “The MPEG-4 Audio Lossless Coding (ALS) standard - technology and applications,” in Proc. AES 119th Convention, Paper #6589, Oct., 2005.
〔参考文献2〕ITU-T G.711.0, “Lossless compression of G.711 pulse code modulation,” 2009.
ステップS16において、多重化部19は、量子化部17が出力した量子化幅と、可逆符号化部18が出力した信号符号とを受け取り、量子化幅に対応する符号である量子化幅符号と信号符号とを合わせて出力符号として出力する。量子化幅符号は、量子化幅の値を符号化することにより得る。量子化幅の値を符号化する方法としては、周知の符号化方法を用いればよい。多重化部19は、信号前処理部10と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部10と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
図16を参照して、第一実施形態の復号装置2が実行する復号方法の処理手続きを説明する。
ステップS21において、多重分離部21は、復号装置2へ入力された符号を受け取り、信号符号を可逆復号部22へ、量子化幅符号に対応する量子化幅を逆量子化部23へそれぞれ出力する。量子化幅符号に対応する量子化幅は、量子化幅符号を復号することにより得る。量子化幅符号を復号する方法としては、量子化幅を符号化した周知の符号化方法に対応する復号方法を用いればよい。信号後処理部25は以下で説明する通りサンプル数Nのフレーム毎に動作するが、多重化部19は、信号後処理部25と同じサンプル数Nのフレーム毎に動作させてもよいし、信号後処理部25と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
ステップS22において、可逆復号部22は、多重分離部21が出力した信号符号を受け取り、可逆符号化部18の処理に対応する可逆復号を行い、信号符号に対応する信号を復号量子化信号として逆量子化部23へ出力する。可逆復号部22は、信号後処理部25と同じサンプル数Nのフレーム毎に動作させてもよいし、信号後処理部25と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
ステップS23において、逆量子化部23は、可逆復号部22が出力した復号量子化信号と、多重分離部21が出力した量子化幅とを受け取り、例えば従来技術と同様に、量子化幅に対応する値と復号量子化信号の各サンプル値とをサンプル毎に乗算し、逆量子化された信号を得る。逆量子化部23は、逆量子化された信号をサンプル数Nのフレーム毎の復号重み付信号^Yk(k=0, …, N-1)として信号後処理部25へ出力する。逆量子化部23は、信号後処理部25と同じサンプル数Nのフレーム毎に動作させてもよいし、信号後処理部25と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
信号後処理部25は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を受け取り、準瞬時逆圧伸部250での処理を行い、出力信号^Xk(k=0, …, N-1)を出力する。
準瞬時逆圧伸部250は、フレーム毎に、信号後処理部25から入力された復号重み付信号^Yk(k=0, …, N-1)を受け取り、圧伸代表値算出部260および信号逆圧伸部270での処理を行い、出力信号^Xk(k=0, …, N-1)を出力する。
ステップS24において、圧伸代表値算出部260は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を受け取り、復号装置2に対応する符号化装置1の代表値算出部110と同様にして、Mサンプルによる区間毎に代表値−Ym(m=1, …, N/M)を算出し、圧伸代表値−Ymとして信号逆圧伸部270へ出力する。圧伸代表値−Ymの算出方法は、復号装置2に対応する符号化装置1の代表値算出部110と同じものを用いる。
ステップS25において、信号逆圧伸部270は、フレーム毎に、圧伸代表値算出部260が出力した圧伸代表値−Ym(m=1, …, N/M)と、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)とを受け取り、以下のように出力信号^Xk(k=0, …, N-1)を生成し、出力する。
第一実施形態の信号前処理部10および信号後処理部25は、時間領域の信号で準瞬時圧伸の処理を行ったが、準瞬時圧伸による信号の重み付けは周波数領域で行っても聴覚的に量子化歪みを低減することができる。第二実施形態の符号化装置3および復号装置4では、信号前処理部および信号後処理部の処理を周波数領域で行う。
音声や音楽などの時間領域の音響信号xn(n=0, …, N-1、N(>0)は所定のフレーム内のサンプル数、nはフレーム内でのサンプル番号)がフレーム単位で符号化装置3へ入力される。符号化装置3へ入力された音響信号xnは信号前処理部11へ入力される。
信号前処理部11は、フレーム毎に、符号化装置3へ入力された音響信号xn(n=0, …, N-1)を受け取り、周波数変換部130、準瞬時圧伸部101、および周波数逆変換部140での処理を行い、重み付信号yn(n=0, …, N-1)を量子化部17へ出力する。
周波数変換部130は、フレーム毎に、信号前処理部11から入力された音響信号xn(n=0, …, N-1)を受け取り、例えば以下のような離散コサイン変換を施して周波数スペクトルXk(k=0, …, N-1)に変換し、その周波数スペクトルXkを準瞬時圧伸部101へ出力する。
準瞬時圧伸部101は、フレーム毎に、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)を受け取り、代表値算出部111および信号圧伸部121での処理を行い、重み付周波数スペクトルYk(k=0, …, N-1)を周波数逆変換部140へ出力する。代表値算出部111および信号圧伸部121の処理は、第一実施形態の音響信号Xk(k=0, …, N-1)に代えて周波数スペクトルXk(k=0, …, N-1)を用い、第一実施形態の重み付信号Yk(k=0, …, N-1)に代えて重み付周波数スペクトルYk(k=0, …, N-1)を得ること以外は、第一実施形態の代表値算出部110および信号圧伸部120と同様である。
周波数逆変換部140は、フレーム毎に、準瞬時圧伸部101が出力した重み付周波数スペクトルYk(k=0, …, N-1)を受け取り、例えば以下のような逆離散コサイン変換を施して重み付信号yn(n=0, …, N-1)に変換し、その重み付信号ynを量子化部17へ出力する。
[信号後処理部26]
信号後処理部26は、フレーム毎に、逆量子化部23が出力した復号重み付信号^yn(n=0, …, N-1)を受け取り、周波数変換部280、準瞬時逆圧伸部251、および周波数逆変換部290での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。第二実施形態の復号重み付信号^yn(n=0, …, N-1)は、表記は異なるが、第一実施形態の復号重み付信号^Yk(k=0, …, N-1)と同様に、逆量子化部23が出力した時間領域の復号重み付信号である。
周波数変換部280は、フレーム毎に、信号後処理部26から入力された復号重み付信号^yn(n=0, …, N-1)を受け取り、周波数変換部130と同様にして、復号重み付周波数スペクトル^Yk(k=0, …, N-1)に変換し、その復号重み付周波数スペクトル^Ykを準瞬時逆圧伸部251へ出力する。
準瞬時逆圧伸部251は、フレーム毎に、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、圧伸代表値算出部261および信号逆圧伸部271での処理を行い、復号周波数スペクトル^Xk(k=0, …, N-1)を周波数逆変換部290へ出力する。圧伸代表値算出部261および信号逆圧伸部271の処理は、第一実施形態の復号重み付信号^Yk(k=0, …, N-1)に代えて復号重み付周波数スペクトル^Yk(k=0, …, N-1)を用い、第一実施形態の出力信号^Xk(k=0, …, N-1)に代えて復号周波数スペクトル^Xk(k=0, …, N-1)を得ること以外は、第一実施形態の圧伸代表値算出部260および信号逆圧伸部270と同様である。
周波数逆変換部290は、フレーム毎に、準瞬時逆圧伸部251が出力した復号周波数スペクトル^Xk(k=0, …, N-1)を受け取り、周波数逆変換部140と同様にして、出力信号^xn(n=0, …, N-1)に変換し、その出力信号^xnを出力する。
第二実施形態の信号前処理部11および信号後処理部26は、周波数領域にて準瞬時圧伸を行った後、時間領域に戻して符号化および復号の処理を行った。第三実施形態では、時間領域に戻さず周波数領域のまま符号化および復号の処理を行う。
[信号前処理部12]
信号前処理部12は、フレーム毎に、符号化装置5へ入力された音響信号xn(n=0, …, N-1)を受け取り、周波数変換部130および準瞬時圧伸部101での処理を行い、重み付周波数スペクトルYk(k=0, …, N-1)を量子化部17へ出力する。周波数変換部130および準瞬時圧伸部101の処理は、上述の第二実施形態と同様である。
[可逆復号部22]
可逆復号部22は、多重分離部21が出力した信号符号を受け取り、可逆符号化部18の処理に対応する可逆復号を行い、信号符号に対応する周波数スペクトルを復号量子化周波数スペクトルとして逆量子化部23へ出力する。
逆量子化部23は、可逆復号部22が出力した復号量子化周波数スペクトルと、多重分離部21が出力した量子化幅とを受け取り、例えば従来技術と同様に、量子化幅に対応する値と復号量子化周波数スペクトルの各サンプル値とをサンプル毎に乗算し、逆量子化された信号を得る。逆量子化部23は、逆量子化された信号をサンプル数Nのフレーム毎の復号重み付周波数スペクトル^Yk(k=0, …, N-1)として信号後処理部27へ出力する。
信号後処理部27は、フレーム毎に、逆量子化部23が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、準瞬時逆圧伸部251および周波数逆変換部290での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。準瞬時逆圧伸部251および周波数逆変換部290の処理は、上述の第二実施形態と同様である。
第一実施形態の信号前処理部10および信号後処理部25は、時間領域の信号で準瞬時圧伸の処理を行った後、時間領域のまま符号化および復号の処理を行った。第四実施形態では、時間領域の信号で準瞬時圧伸の処理を行った後、周波数領域に変換して符号化および復号の処理を行う。
音声や音楽などの時間領域の音響信号xn(n=0, …, N-1、N(>0)は所定のフレーム内のサンプル数、nはフレーム内でのサンプル番号)がフレーム単位で符号化装置7へ入力される。符号化装置7へ入力された音響信号xnは信号前処理部13へ入力される。
信号前処理部13は、フレーム毎に、符号化装置7へ入力された音響信号xn(n=0, …, N-1)を受け取り、準瞬時圧伸部100および周波数変換部130での処理を行い、重み付周波数スペクトルYk(k=0, …, N-1)を量子化部17へ出力する。
準瞬時圧伸部100は、フレーム毎に、符号化装置7へ入力された音響信号xn(n=0, …, N-1)を受け取り、代表値算出部110および信号圧伸部120での処理を行い、重み付信号yn(n=0, …, N-1)を周波数変換部130へ出力する。準瞬時圧伸部100の処理は、音響信号xn(n=0, …, N-1)が上述の第一実施形態では音響信号Xk(k=0, …, N-1)と表記され、重み付信号yn(n=0, …, N-1)が上述の第一実施形態では重み付信号Yk(k=0, …, N-1)と表記されていること以外は、上述の第一実施形態と同様である。
周波数変換部130は、フレーム毎に、準瞬時圧伸部100から入力された重み付信号yn(n=0, …, N-1)を受け取り、周波数領域のスペクトルに変換して、重み付周波数スペクトルYk(k=0, …, N-1)を得て、量子化部17へ出力する。周波数変換部130の処理は、上述の第二実施形態と同様である。
[可逆復号部22]
可逆復号部22は、多重分離部21が出力した信号符号を受け取り、可逆符号化部18の処理に対応する可逆復号を行い、信号符号に対応する周波数スペクトルを復号量子化周波数スペクトルとして逆量子化部23へ出力する。
逆量子化部23は、可逆復号部22が出力した復号量子化周波数スペクトルと、多重分離部21が出力した量子化幅とを受け取り、例えば従来技術と同様に、量子化幅に対応する値と復号量子化周波数スペクトルの各サンプル値とをサンプル毎に乗算し、逆量子化された信号を得る。逆量子化部23は、逆量子化された信号を復号重み付周波数スペクトル^Yk(k=0, …, N-1)として信号後処理部28へ出力する。
信号後処理部28は、フレーム毎に、逆量子化部23が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、周波数逆変換部290および準瞬時逆圧伸部250での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。
周波数逆変換部290は、フレーム毎に、逆量子化部23が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、時間領域の信号に変換して、復号重み付信号^yn(n=0, …, N-1)を得て、準瞬時逆圧伸部250へ出力する。周波数逆変換部290の処理は、上述の第二実施形態と同様である。
準瞬時逆圧伸部250は、フレーム毎に、入力された復号重み付信号^yn(n=0, …, N-1)を受け取り、圧伸代表値算出部260および信号逆圧伸部270での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。準瞬時逆圧伸部250の処理は、復号重み付信号^yn(n=0, …, N-1)が上述の第一実施形態では復号重み付信号^Yk(k=0, …, N-1)と表記され、出力信号^xn(n=0, …, N-1)が上述の第一実施形態では出力信号^Xk(k=0, …, N-1)と表記されていること以外は、上述の第一実施形態と同様である。
第一実施形態では時間領域で前処理および後処理を行い、時間領域で符号化処理および復号処理を行う構成を説明した。第二実施形態では周波数領域で前処理および後処理を行い、時間領域で符号化処理および復号処理を行う構成を説明した。第三実施形態では周波数領域で前処理および後処理を行い、周波数領域で符号化処理および復号処理を行う構成を説明した。第四実施形態では時間領域で前処理および後処理を行い、周波数領域で符号化処理および復号処理を行う構成を説明した。すなわち、この発明では、前処理および後処理と、符号化処理および復号処理は、周波数領域と時間領域の任意の組み合わせで実施することができる。言い替えると、この発明の前処理および後処理は、周波数領域の符号化処理および復号処理と時間領域の符号化処理および復号処理とのどちらに対しても適用可能なものである。
準瞬時圧伸の処理を行う複数サンプルの区間は予め決めた長さであればどのように定めても補助情報を用いずに逆変換を行うことができる。しかしながら、聴覚品質を考慮すると、準瞬時圧伸の処理を行う複数サンプルの区間をより適切に定めることができる。
第五実施形態の符号化装置は、第二実施形態の符号化装置3もしくは第三実施形態の符号化装置5において、代表値算出部111および信号圧伸部121の処理を以下のように変更したものである。
代表値算出部111は、フレーム毎に、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)を受け取り、各フレームの周波数スペクトルXk(k=0, …, N-1)を予め定めた個数のサンプルを含むL個の区間(周波数区間)に分割し、その区間毎に代表値−Xm(m=1, …, L)を算出し、信号圧伸部121へ出力する。このとき、各区間に含まれるサンプル数は任意に定めることができる。例えば、K0, …, KL(0=K0<…<KL=N-1)をフレーム内のサンプルの番号を表すものとし、L個の区間を[K0 K1], [K1 K2], …, [KL-1 KL]のように定義する。[Km-1 Km]は、フレーム内の(Km-1+1)番目のサンプルからKm番目のサンプルまでをm番目の区間として定義することを表している。このとき、代表値−Xm(m=1, …, L)は、例えば絶対値平均を用いて、
信号圧伸部121は、フレーム毎に、代表値算出部111が出力した代表値−Xm(m=1, …, L)と、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)とを受け取り、以下のように重み付周波数スペクトルYk(k=0, …, N-1)を生成し、周波数逆変換部140へ出力する。
第五実施形態の復号装置は、第二実施形態の復号装置4において、圧伸代表値算出部261および信号逆圧伸部271の処理を以下のように変更したものである。
圧伸代表値算出部261は、フレーム毎に、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、代表値算出部111と同様にして、各フレームの復号重み付周波数スペクトル^Yk(k=0, …, N-1)を予め定めた個数のサンプルを含むL個の区間(周波数区間)に分割し、その区間毎に代表値−Ym(m=1, …, L)を算出し、圧伸代表値−Ymとして信号逆圧伸部271へ出力する。圧伸代表値−Ymの算出方法は代表値算出部111と同じものを用いる。
信号逆圧伸部271は、フレーム毎に、圧伸代表値算出部261が出力した圧伸代表値−Ym(m=1,…,M')と、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)とを受け取り、以下のように復号周波数スペクトル^Xk(k=0, …, N-1)を生成し、周波数逆変換部290へ出力する。
フレーム内でスペクトルに起伏がなく、一様に大きな値を示すような信号に対して、細かく区間を区切って準瞬時圧伸を行った場合、フレーム内のスペクトルの値を一様に小さくしてしまい、量子化の性能に悪影響を与える場合がある。第六実施形態では、その対策として、準瞬時圧伸の処理を階層的に用いる。例えば、まずフレーム内の粗い区間で準瞬時圧伸を行い、エネルギーの高い区間については例えば圧伸関数の逆関数を用いて値を高めておく。その後、より細かい区間で準瞬時圧伸を行う。逆変換では、まず細かい区間で準瞬時逆圧伸を行い、その後、粗い区間で準瞬時逆圧伸を行うことで元の周波数スペクトルを求める。
第六実施形態の符号化装置は、第二実施形態の符号化装置3において、準瞬時圧伸部101の処理を以下のように変更したものである。ただし、第六実施形態の構成を適用できるのは第二実施形態に限定されず、第一実施形態から第五実施形態のすべての実施形態について適用することができる。第六実施形態の準瞬時圧伸部102は、図32に示すように、代表値算出部112および信号圧伸部122を含み、信号圧伸部122の出力が代表値算出部112へ入力されるように構成される。
準瞬時圧伸部102は、フレーム毎に、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)を受け取り、代表値算出部112および信号圧伸部122での処理を所定の回数繰り返し行った後、重み付周波数スペクトルYk(k=0, …, N-1)を周波数逆変換部140へ出力する。
代表値算出部112は、フレーム毎に、処理対象とする周波数スペクトル~Xk(k=0, …, N-1)を受け取り、Mサンプルの区間毎に代表値−Xm(m=1, …, N/M)を算出し、信号圧伸部122へ出力する。代表値算出部112は、1回目の実行時には、準瞬時圧伸部102から入力された周波数スペクトルXk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取り、2回目以降の実行時には、信号圧伸部122が出力した重み付周波数スペクトルYk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取る。
信号圧伸部122は、フレーム毎に、代表値算出部112が出力した代表値−Xm(m=1, …, N/M)と、処理対象とする周波数スペクトル~Xk(k=0, …, N-1)とを受け取り、以下のように重み付周波数スペクトルYk(k=0, …, N-1)を生成し、周波数逆変換部140へ出力する。信号圧伸部122は、1回目の実行時には、準瞬時圧伸部102から入力された周波数スペクトルXk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取り、2回目以降の実行時には、前回の実行時に出力した重み付周波数スペクトルYk(k=0, …, N-1)を保存しておき、処理対象の周波数スペクトル~Xk(k=0, …, N-1)として利用する。
第六実施形態の復号装置は、第二実施形態の復号装置4において、準瞬時逆圧伸部251の処理を以下のように変更したものである。ただし、第六実施形態の構成を適用できるのは第二実施形態に限定されず、第一実施形態から第五実施形態のすべての実施形態について適用することができる。第六実施形態の準瞬時逆圧伸部252は、図33に示すように、圧伸代表値算出部262および信号逆圧伸部272を含み、信号逆圧伸部272の出力が圧伸代表値算出部262へ入力されるように構成される。
準瞬時逆圧伸部252は、フレーム毎に、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、圧伸代表値算出部262および信号逆圧伸部272での処理を所定の回数繰り返し行い、復号周波数スペクトル^Xk(k=0, …, N-1)を周波数逆変換部290へ出力する。
圧伸代表値算出部262は、フレーム毎に、処理対象とする周波数スペクトル~Yk(k=0, …, N-1)を受け取り、復号装置に対応する符号化装置の代表値算出部112と同様にして、Mサンプルの区間毎に代表値−Ym(m=1, …, N/M)を算出し、圧伸代表値−Ymとして信号逆圧伸部272へ出力する。圧伸代表値−Ymの算出方法は復号装置に対応する符号化装置の代表値算出部112と同じものを用いる。圧伸代表値算出部262は、1回目の実行時には、準瞬時逆圧伸部252から入力された復号重み付周波数スペクトル^Yk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取り、2回目以降の実行時には、信号逆圧伸部272が出力した復号周波数スペクトル^Xk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取る。
信号逆圧伸部272は、フレーム毎に、圧伸代表値算出部262が出力した圧伸代表値−Ym(m=1, …, N/M)と、処理対象とする周波数スペクトル~Yk(k=0, …, N-1)とを受け取り、以下のように復号周波数スペクトル^Xk(k=0, …, N-1)を生成し、周波数逆変換部290へ出力する。信号逆圧伸部272は、1回目の実行時には、準瞬時逆圧伸部252から入力された復号重み付周波数スペクトル^Yk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取り、2回目以降の実行時には、前回の実行時に出力した復号周波数スペクトル^Xk(k=0, …, N-1)を保存しておき、処理対象の周波数スペクトル~Yk(k=0, …, N-1)として利用する。
上述の各実施形態で説明した符号化装置1、7が備える準瞬時圧伸部100、符号化装置3、5が備える準瞬時圧伸部101、復号装置2、8が備える準瞬時逆圧伸部250、および復号装置4、6が備える準瞬時逆圧伸部251は、独立したサンプル列変形装置として構成することも可能である。
フレーム毎の符号長の上限が一定であると、入力される信号のフレーム毎の統計的性質等に依存して圧縮効率が変動し、量子化幅が小さくできるフレームや、大きな量子化幅を用いざるを得ないフレームが現れる。中でも圧縮効率が高く、量子化幅が小さくできるようなフレームにおいては、前処理及び後処理を行わずとも量子化誤差が聴覚的に十分に小さいことが多い。準瞬時圧伸による前処理及び準瞬時逆圧伸による後処理は、復号信号の波形の二乗誤差のような数値的誤差を大きくする代わりに聴覚的な歪を低減するような性質をもっている。従って、入力音響信号や入力音響信号に対応する周波数領域信号の量子化幅の小さいフレームについては、信号の前処理及び後処理を用いて聴覚的な歪を低減しようとするよりも、前処理及び後処理を用いず単純な復号信号の波形の数値的誤差を下げることを目指したほうが、復号信号を再び圧縮したり加工したりする際には都合がよい。
第八実施形態の符号化装置の一例として、第一実施形態の符号化装置1を変更したものについて説明する。第八実施形態の符号化装置41は、図37に示すように、信号前処理部51、量子化部52、可逆符号化部18、および多重化部19を含む。第八実施形態の符号化装置41は、量子化部52が行う処理が複雑であるため、図39を参照して、第八実施形態の符号化装置41が実行する符号化方法の処理手続きを説明する。
ステップS51において、量子化部52は、フレーム毎の音響信号Xk(k=0, …, N-1)を受け取り、目標の符号長に適うように音響信号Xkをスカラー量子化し、量子化信号を得る。ステップS51においては、量子化部52は、例えば、従来技術と同様に、音響信号Xkを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化幅は、例えば、可逆符号化部18による圧縮結果の符号長を基にして、符号長が目標の符号長に対して長過ぎる場合には量子化幅を大きくし、符号長が目標の符号長に対して短過ぎる場合には量子化幅を小さくするというように探索する。すなわち、量子化幅は、探索により得た値であり、最適であると推測される値である。
信号前処理部51は、量子化部52から当該フレームの信号前処理部を動作させるための情報が入力された場合、すなわち、当該フレームの音響信号の量子化幅が所定の閾値以上であるか所定の閾値を超えている場合に限り、符号化装置41へ入力された音響信号Xkを受け取り、第一実施形態の信号前処理部11と同様の処理を行い、フレーム毎の重み付信号Yk(k=0, …, N-1)を量子化部52へ出力する。(ステップS12、S13)
ステップS14において、量子化部52は、信号前処理部51が重み付信号Yk(k=0, …, N-1)を出力したフレーム、すなわち、当該フレームの音響信号の量子化幅が所定の閾値以上であるか所定の閾値を超えているフレームについて、信号前処理部51が出力した当該フレームの重み付信号Yk(k=0, …, N-1)を受け取り、目標の符号長に適うように重み付信号Ykをスカラー量子化し、量子化信号を出力する。ステップS14においては、量子化部52は、例えば、従来技術と同様に、重み付信号Ykを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化幅は、例えば、可逆符号化部18による圧縮結果の符号長を基にして、符号長が目標の符号長に対して長過ぎる場合には量子化幅を大きくし、符号長が目標の符号長に対して短過ぎる場合には量子化幅を小さくするというように探索する。すなわち、量子化幅は、探索により得た値であり、最適であると推測される値である。
可逆符号化部18が行うステップS15、多重化部19が行うステップS16は第一実施形態と同様である。
第八実施形態の復号装置の一例として、第一実施形態の復号装置2を変更したものについて説明する。第八実施形態の復号装置42は、図38に示すように、多重分離部61、可逆復号部22、逆量子化部23、判定部62、および信号後処理部63を含む。以下では、図40を参照して、第八実施形態の復号装置42が実行する復号方法の処理手続きを説明する。
ステップS21において、多重分離部61は、復号装置42へ入力された符号を受け取り、信号符号を可逆復号部22へ、量子化幅符号に対応する量子化幅を逆量子化部23及び判定部62へ、それぞれ出力する。量子化幅を復号により得る処理は多重分離部21と同様である。
可逆復号部22が行うステップS22及び逆量子化部23が行うステップS23は第一実施形態と同様である。
ステップS61において、判定部62は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)及び多重分離部61が出力した量子化幅を受け取り、量子化幅が所定の閾値より小さいまたは所定の閾値以下であるフレームについては、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)をそのまま出力信号^Xk(k=0, …, N-1)として出力し、それ以外のフレームについては、当該フレームの信号後処理部を動作させるための情報と逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を信号後処理部63へ出力する。
信号後処理部63は、判定部62から当該フレームの信号後処理部を動作させるための情報が入力された場合、すなわち、量子化幅が所定の閾値を超えているまたは所定の閾値以上であるフレームについて、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を受け取り、第一実施形態の信号後処理部25と同様の処理を行い、出力信号^Xk(k=0, …, N-1)を得て出力する。(ステップS24、S25)
第一実施形態の符号化装置で用いた式(7)において、準瞬時圧伸の程度を指定するパラメータγは、対数的な準瞬時圧伸を指定するγ=0から準瞬時圧伸無しを指定するγ=1へと、連続的に調節することができる。信号の前処理及び後処理は、入力音響信号や入力音響信号に対応する周波数領域信号の量子化の精度が粗いところほど必要となり、量子化の精度が細かいところほど不要となる傾向にあることから、フレーム毎に準瞬時圧伸の程度を適応的に変化させることで、より信号に即した重み付けを施すことが可能となる。
第九実施形態の符号化装置の一例として、第一実施形態の符号化装置1を変更したものについて説明する。第九実施形態の符号化装置43は、図41に示すように、量子化幅算出部53、圧伸係数選択部54、信号前処理部55、量子化部17、可逆符号化部18、および多重化部56を含む。以下、図42を参照して、第九実施形態の符号化装置43が実行する符号化方法の処理手続きを説明する。
ステップS53において、量子化幅算出部53は、フレーム毎の音響信号Xk(k=0, …, N-1)を受け取り、目標の符号長に適うように音響信号Xkをスカラー量子化するための量子化幅を得る。量子化幅算出部53は、得た量子化幅を圧伸係数選択部54へ出力する。
ステップS54において、圧伸係数選択部54は、フレーム毎に、量子化幅算出部53が出力した量子化幅を受け取り、圧伸係数選択部54に予め記憶された複数個の圧伸係数γの候補値の中から量子化幅の値に対応する1つの候補値を圧伸係数γとして選択する。γの選択は、例えば、0≦γ≦1の範囲で量子化幅の値に反比例する値をγとして選ぶなどにより、量子化幅が大きなフレームではγ=0に近い値を、量子化幅が小さなフレームではγ=1に近い値を選択する。つまり、音響信号の量子化精度が低いフレームでは、より圧伸後の重み付音響信号、または入力音響信号に対応する重み付周波数領域信号のサンプル列のパワーが平坦になるような圧伸関数を、音響信号の量子化精度が高いフレームでは、圧伸の前後における入力音響信号と重み付音響信号、または入力音響信号に対応する周波数領域信号のサンプル列と重み付周波数領域信号のサンプル列間の違いがより小さくなるような圧伸関数を、それぞれ指定するような圧伸係数を選択する。圧伸係数選択部54は、選択により得た圧伸係数γを信号前処理部55及び多重化部56へ出力する。
信号前処理部55は、フレーム毎に、符号化装置43へ入力された音響信号Xk(k=0, …, N-1)と圧伸係数選択部54が出力した圧伸係数γを受け取り、音響信号Xkに対して入力された圧伸係数γを用いて第一実施形態の信号前処理部11と同様の処理を行い、フレーム毎の重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。(ステップS12、S13)
量子化部17が行うステップS14、可逆符号化部18が行うステップS15は第一実施形態と同様である。
ステップS55において、多重化部56は、量子化部17が出力した量子化幅と、可逆符号化部18が出力した信号符号と、圧伸係数選択部54が出力した圧伸係数と、を受け取り、量子化幅に対応する符号である量子化幅符号と、圧伸係数に対応する符号である圧伸係数符号と、信号符号と、を合わせて出力符号として出力する。量子化幅符号は、量子化幅の値を符号化することにより得る。量子化幅の値を符号化する方法としては、周知の符号化方法を用いればよい。圧伸係数符号は、圧伸係数の値を符号化することにより得る。圧伸係数の値を符号化する方法としては、周知の符号化方法を用いればよい。多重化部56は、信号前処理部55と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部55と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
第九実施形態の符号化装置43の変形例として、量子化幅算出部53に代えて入力信号量子化部57を備える例を説明する。第九実施形態の変形例の符号化装置45は、図43に示すように、入力信号量子化部57、圧伸係数選択部54、信号前処理部55、量子化部17、可逆符号化部18、および多重化部56を含む。以下、図44を参照して、第九実施形態の変形例の符号化装置45が実行する符号化方法の処理手続きを説明する。
ステップS57において、入力信号量子化部57は、フレーム毎の音響信号Xk(k=0, …, N-1)を受け取り、目標の符号長に適うように音響信号Xkをスカラー量子化するための量子化幅と、音響信号Xkを量子化幅でスカラー量子化した量子化信号と、を得る。ステップS57においては、入力信号量子化部57は、例えば、従来技術と同様に、音響信号Xkを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化幅を得る方法は第九実施形態の符号化装置43の量子化幅算出部53と同じである。入力信号量子化部57は、得た量子化幅を圧伸係数選択部54および多重化部56へ、量子化信号を可逆符号化部18へ、それぞれ出力する。ただし、このうち量子化幅の多重化部56への出力と量子化信号の可逆符号化部18への出力は、圧伸係数選択部54による制御に従う。
圧伸係数選択部54が行うステップS54は第九実施形態の符号化装置43と同様である。
信号前処理部55には、圧伸係数選択部54が出力した圧伸係数γが入力される。信号前処理部55は、圧伸係数γが1でない場合、つまり準瞬時圧伸無し以外が指定されている場合のみ、フレーム毎に、符号化装置45へ入力された音響信号Xk(k=0, …, N-1)を受け取り、音響信号xnに対して入力された圧伸係数γを用いて第一実施形態の信号前処理部11と同様の処理を行い、フレーム毎の重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。(ステップS12、S13)
量子化部17が行うステップS14は第九実施形態の符号化装置43と同じである。ただし、ステップS14は、圧伸係数γが1でない場合、つまり準瞬時圧伸無し以外が指定されている場合にのみ行われる。
可逆符号化部18が行うステップS15、多重化部56が行うステップS55は第九実施形態の符号化装置43と同様である。
第九実施形態の復号装置の一例として、第一実施形態の復号装置2を変更したものについて説明する。第九実施形態の復号装置44は、図45に示すように、多重分離部64、可逆復号部22、逆量子化部23、および信号後処理部65を含む。以下では、図46を参照して、第九実施形態の復号装置44が実行する復号方法の処理手続きを説明する。
ステップS62において、多重分離部64は、復号装置44へ入力された符号を受け取り、信号符号を可逆復号部22へ、圧伸係数符号に対応する圧伸係数γを信号後処理部65へ、量子化幅符号に対応する量子化幅を逆量子化部23へ、それぞれ出力する。
可逆復号部22が行うステップS22及び逆量子化部23が行うステップS23は第一実施形態と同様である。
信号後処理部65は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)及び、多重分離部64が出力した圧伸係数γを受け取り、復号重み付信号^Ykに対して圧伸係数γを用いて第一実施形態の信号後処理部65と同様の処理を行い、出力信号^Xk(k=0, …, N-1)を得て出力する。(ステップS24、S25)
第八実施形態の符号化装置および復号装置を、第七実施形態で説明したサンプル列変形装置を用いて、信号符号化装置および信号復号装置として構成することも可能である。
第九実施形態の考え方を、第七実施形態で説明したサンプル列変形装置31または33に適用させて、サンプル列変形装置37として構成することができる。このサンプル列変形装置37は、サンプル列変形装置31または33において、第九実施形態で説明した量子化幅算出部と、圧伸係数選択部54が選択する圧伸係数に対応する圧伸関数を選択する処理を行う圧伸関数選択部とをさらに含むように構成する。量子化幅算出部は、所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得る。圧伸関数選択部は、所定時間区間ごとに、圧伸関数として、量子化幅が小さいほど、入力音響信号と重み付音響信号、または、入力音響信号に対応する周波数領域信号のサンプル列と重み付周波数領域信号のサンプル列、が近くなる、または/および、量子化幅が大きいほど、重み付音響信号または重み付周波数領域信号のサンプル列のパワーが平坦になる、圧伸関数を選択する。
準瞬時圧伸は、補助的な情報を追加せずに、次の2つの性質を持つ変換を行うことができる。1.フレーム内において、信号の値または信号の周波数スペクトルの値が、大きいものには相対的に小さな重みをかけ、小さなものには相対的に大きな重みをかける。2.フレーム内において、信号または信号の周波数スペクトルのピーク近傍には、ピークと同じように相対的に小さな重みをかける。以下、上記の構成により、これらが実現される理由を説明する。
上記のように構成することにより、この発明によれば、補助的な情報を追加することなく、音声音響信号に合わせて聴覚特性に適った重み付けを施し、不可逆圧縮符号化の効率を上げることができる。また、第五実施形態の構成によれば、準瞬時圧伸に用いる区間を低周波数では細かく、高周波数では粗く設定することにより、さらに聴覚特性に適った重み付けが実現できる。また、第六実施形態の構成によれば、異なる準瞬時圧伸を複数回用いることにより、より複雑な圧伸を実現し、重み付けの効率を上げることができる。
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この発明の第一実施形態は、符号化装置1および復号装置2からなる。符号化装置1は、フレーム単位で入力された音声や音楽などの音信号(音響信号)を符号化して符号を得て、出力する。符号化装置1が出力する符号は復号装置2へ入力される。復号装置2は入力された符号を復号してフレーム単位の音響信号を出力する。
ステップS12において、代表値算出部110は、フレーム毎に、準瞬時圧伸部100に入力された音響信号Xk(k=0, …, N-1)を受け取り、所定のM(≦N)サンプルによる区間毎に代表値−Xm(m=1, …, N/M)を算出し、信号圧伸部120へ出力する。代表値−Xmとしては、復号装置2でも推定可能な特徴量を用いる。
ステップS21において、多重分離部21は、復号装置2へ入力された符号を受け取り、信号符号を可逆復号部22へ、量子化幅符号に対応する量子化幅を逆量子化部23へそれぞれ出力する。量子化幅符号に対応する量子化幅は、量子化幅符号を復号することにより得る。量子化幅符号を復号する方法としては、量子化幅を符号化した周知の符号化方法に対応する復号方法を用いればよい。信号後処理部25は以下で説明する通りサンプル数Nのフレーム毎に動作するが、多重分離部21は、信号後処理部25と同じサンプル数Nのフレーム毎に動作させてもよいし、信号後処理部25と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
準瞬時逆圧伸部250は、フレーム毎に、逆量子化部23から入力された復号重み付信号^Yk(k=0, …, N-1)を受け取り、圧伸代表値算出部260および信号逆圧伸部270での処理を行い、出力信号^Xk(k=0, …, N-1)を出力する。
周波数変換部130は、フレーム毎に、信号前処理部11に入力された音響信号xn(n=0, …, N-1)を受け取り、例えば以下のような離散コサイン変換を施して周波数スペクトルXk(k=0, …, N-1)に変換し、その周波数スペクトルXkを準瞬時圧伸部101へ出力する。
周波数変換部280は、フレーム毎に、逆量子化部23から入力された復号重み付信号^yn(n=0, …, N-1)を受け取り、周波数変換部130と同様にして、復号重み付周波数スペクトル^Yk(k=0, …, N-1)に変換し、その復号重み付周波数スペクトル^Ykを準瞬時逆圧伸部251へ出力する。
代表値算出部112は、フレーム毎に、処理対象とする周波数スペクトル~Xk(k=0, …, N-1)を受け取り、Mサンプルの区間毎に代表値−Xm(m=1, …, N/M)を算出し、信号圧伸部122へ出力する。代表値算出部112は、1回目の実行時には、準瞬時圧伸部102に入力された周波数スペクトルXk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取り、2回目以降の実行時には、信号圧伸部122が出力した重み付周波数スペクトルYk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取る。
信号圧伸部122は、フレーム毎に、代表値算出部112が出力した代表値−Xm(m=1, …, N/M)と、処理対象とする周波数スペクトル~Xk(k=0, …, N-1)とを受け取り、以下のように重み付周波数スペクトルYk(k=0, …, N-1)を生成し、周波数逆変換部140へ出力する。信号圧伸部122は、1回目の実行時には、準瞬時圧伸部102に入力された周波数スペクトルXk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取り、2回目以降の実行時には、前回の実行時に出力した重み付周波数スペクトルYk(k=0, …, N-1)を保存しておき、処理対象の周波数スペクトル~Xk(k=0, …, N-1)として利用する。
圧伸代表値算出部262は、フレーム毎に、処理対象とする周波数スペクトル~Yk(k=0, …, N-1)を受け取り、復号装置に対応する符号化装置の代表値算出部112と同様にして、Mサンプルの区間毎に代表値−Ym(m=1, …, N/M)を算出し、圧伸代表値−Ymとして信号逆圧伸部272へ出力する。圧伸代表値−Ymの算出方法は復号装置に対応する符号化装置の代表値算出部112と同じものを用いる。圧伸代表値算出部262は、1回目の実行時には、準瞬時逆圧伸部252に入力された復号重み付周波数スペクトル^Yk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取り、2回目以降の実行時には、信号逆圧伸部272が出力した復号周波数スペクトル^Xk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取る。
信号逆圧伸部272は、フレーム毎に、圧伸代表値算出部262が出力した圧伸代表値−Ym(m=1, …, N/M)と、処理対象とする周波数スペクトル~Yk(k=0, …, N-1)とを受け取り、以下のように復号周波数スペクトル^Xk(k=0, …, N-1)を生成し、周波数逆変換部290へ出力する。信号逆圧伸部272は、1回目の実行時には、準瞬時逆圧伸部252に入力された復号重み付周波数スペクトル^Yk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取り、2回目以降の実行時には、前回の実行時に出力した復号周波数スペクトル^Xk(k=0, …, N-1)を保存しておき、処理対象の周波数スペクトル~Yk(k=0, …, N-1)として利用する。
Claims (17)
- 入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号を符号化する符号化装置に入力するための上記重み付周波数領域信号、または、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号に対応する重み付時間領域信号を符号化する符号化装置に入力するための上記重み付時間領域信号に対応する重み付周波数領域信号、を得るサンプル列変形装置であって、
所定時間区間ごとに、入力音響信号に対応する周波数領域信号のサンプル列から、当該周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに、当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する代表値算出部と、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記重み付周波数領域信号のサンプル列として得る信号圧伸部と、
を含むサンプル列変形装置。 - 復号装置が得た重み付周波数領域信号、または、復号装置が得た重み付時間領域信号に対応する重み付周波数領域信号、から復号音響信号に対応する周波数領域信号を得るサンプル列変形装置であって、
所定時間区間ごとに、上記重み付周波数領域信号のサンプル列から、当該重み付周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する圧伸代表値算出部と、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記復号音響信号に対応する周波数領域信号のサンプル列として得る信号逆圧伸部と、
を含むサンプル列変形装置。 - 入力音響信号を変形して得た重み付音響信号を符号化する符号化装置に入力するための上記重み付音響信号、または、入力音響信号を変形して得た重み付音響信号に対応する重み付周波数領域信号を符号化する符号化装置に入力するための上記重み付周波数領域信号に対応する重み付音響信号、を得るサンプル列変形装置であって、
所定時間区間ごとに、時間領域の入力音響信号のサンプル列から、当該入力音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する代表値算出部と、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記入力音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記重み付音響信号のサンプル列として得る信号圧伸部と、
を含むサンプル列変形装置。 - 復号装置が得た時間領域の重み付音響信号、または、復号装置が得た周波数領域の重み付音響信号に対応する時間領域の重み付音響信号、から復号音響信号を得るサンプル列変形装置であって、
所定時間区間ごとに、上記時間領域の重み付音響信号のサンプル列から、当該重み付音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する圧伸代表値算出部と、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記復号音響信号のサンプル列として得る信号逆圧伸部と、
を含むサンプル列変形装置。 - 請求項1または2に記載のサンプル列変形装置であって、
上記複数サンプルによる周波数区間は、低周波数に対応する周波数区間であるほど含まれるサンプル数が少なく、高周波数に対応する周波数区間であるほど含まれるサンプル数が多くなるように設定される、
サンプル列変形装置。 - 請求項1から5のいずれかに記載のサンプル列変形装置であって、
上記複数サンプルによる区間ごとに上記代表値を算出することと、上記算出した代表値の関数値に応じた重みと上記サンプル列の各サンプルとを乗算することを、所定の回数繰り返し実行するものである、
サンプル列変形装置。 - 請求項1または3に記載のサンプル列変形装置であって、
上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得る量子化幅算出部と、
上記所定時間区間ごとに、上記圧伸関数として、
上記量子化幅が小さいほど、上記入力音響信号と上記重み付音響信号、または、上記入力音響信号に対応する周波数領域信号のサンプル列と上記重み付周波数領域信号のサンプル列、が近くなる、
または/および、
上記量子化幅が大きいほど、上記重み付音響信号または上記重み付周波数領域信号のサンプル列のパワーが平坦になる、
圧伸関数を選択する圧伸関数選択部と、
を更に含むサンプル列変形装置。 - 請求項1または3に記載のサンプル列変形装置と、符号化対象信号を符号化して信号符号を得る符号化装置と、を含む信号符号化装置であって、
上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得て、
得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記符号化対象信号として上記符号化装置で符号化し、
それ以外の時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記サンプル列変形装置に入力し、上記サンプル列変形装置が得た上記重み付音響信号または上記重み付周波数領域信号のサンプル列を上記符号化対象信号として上記符号化装置で符号化する
信号符号化装置。 - 請求項2または4に記載のサンプル列変形装置と、信号符号を復号して復号信号を得る復号装置と、を含む信号復号装置であって、
上記所定時間区間ごとに、量子化幅符号を復号して量子化幅を得て、
得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記信号符号を上記復号装置で復号して得た信号を上記復号音響信号または上記復号音響信号に対応する周波数領域信号として得、
それ以外の時間区間については、上記復号装置が得た信号を上記サンプル列変形装置に入力して上記復号音響信号または上記復号音響信号に対応する周波数領域信号を得る
信号復号装置。 - 入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号を符号化する符号化方法に入力するための上記重み付周波数領域信号、または、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号に対応する重み付時間領域信号を符号化する符号化方法に入力するための上記重み付時間領域信号に対応する重み付周波数領域信号、を得るサンプル列変形方法であって、
所定時間区間ごとに、入力音響信号に対応する周波数領域信号のサンプル列から、当該周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに、当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する代表値算出ステップと、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記重み付周波数領域信号のサンプル列として得る信号圧伸ステップと、
を含むサンプル列変形方法。 - 復号により得た重み付周波数領域信号、または、復号により得た重み付時間領域信号に対応する重み付周波数領域信号、から復号音響信号に対応する周波数領域信号を得るサンプル列変形方法であって、
所定時間区間ごとに、上記重み付周波数領域信号のサンプル列から、当該重み付周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する圧伸代表値算出ステップと、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記復号音響信号に対応する周波数領域信号のサンプル列として得る信号逆圧伸ステップと、
を含むサンプル列変形方法。 - 入力音響信号を変形して得た重み付音響信号を符号化する符号化方法に入力するための上記重み付音響信号、または、入力音響信号を変形して得た重み付音響信号に対応する重み付周波数領域信号を符号化する符号化方法に入力するための上記重み付周波数領域信号に対応する重み付音響信号、を得るサンプル列変形方法であって、
所定時間区間ごとに、時間領域の入力音響信号のサンプル列から、当該入力音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する代表値算出ステップと、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記入力音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記重み付音響信号のサンプル列として得る信号圧伸ステップと、
を含むサンプル列変形方法。 - 復号により得た時間領域の重み付音響信号、または、復号により得た周波数領域の重み付音響信号に対応する時間領域の重み付音響信号、から復号音響信号を得るサンプル列変形方法であって、
所定時間区間ごとに、上記時間領域の重み付音響信号のサンプル列から、当該重み付音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する圧伸代表値算出ステップと、
上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記復号音響信号のサンプル列として得る信号逆圧伸ステップと、
を含むサンプル列変形方法。 - 請求項10または12に記載のサンプル列変形方法であって、
上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得る量子化幅算出ステップと、
上記所定時間区間ごとに、上記圧伸関数として、
上記量子化幅が小さいほど、上記入力音響信号と上記重み付音響信号、または、上記入力音響信号に対応する周波数領域信号のサンプル列と上記重み付周波数領域信号のサンプル列、が近くなる、
または/および、
上記量子化幅が大きいほど、上記重み付音響信号または上記重み付周波数領域信号のサンプル列のパワーが平坦になる、
圧伸関数を選択する圧伸関数選択ステップと、
を更に含むサンプル列変形方法。 - 請求項10または12に記載のサンプル列変形方法と、符号化対象信号を符号化して信号符号を得る符号化方法と、を含む信号符号化方法であって、
上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得て、
得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記符号化対象信号として上記符号化方法で符号化し、
それ以外の時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記サンプル列変形方法に入力し、上記サンプル列変形方法が得た上記重み付音響信号または上記重み付周波数領域信号のサンプル列を上記符号化対象信号として上記符号化方法で符号化する
信号符号化方法。 - 請求項11または13に記載のサンプル列変形方法と、信号符号を復号して復号信号を得る復号方法と、を含む信号復号方法であって、
上記所定時間区間ごとに、量子化幅符号を復号して量子化幅を得て、
得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記信号符号を上記復号装置で復号して得た信号を上記復号音響信号または上記復号音響信号に対応する周波数領域信号として得、
それ以外の時間区間については、上記復号装置が得た信号を上記サンプル列変形方法に入力して上記復号音響信号または上記復号音響信号に対応する周波数領域信号を得る
信号復号方法。 - 請求項1から7のいずれかに記載のサンプル列変形装置または請求項8に記載の信号符号化装置または請求項9に記載の信号復号装置としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016180196 | 2016-09-15 | ||
JP2016180196 | 2016-09-15 | ||
JP2017001966 | 2017-01-10 | ||
JP2017001966 | 2017-01-10 | ||
PCT/JP2017/032991 WO2018052004A1 (ja) | 2016-09-15 | 2017-09-13 | サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018052004A1 true JPWO2018052004A1 (ja) | 2019-07-04 |
JP6712643B2 JP6712643B2 (ja) | 2020-06-24 |
Family
ID=61618807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539738A Active JP6712643B2 (ja) | 2016-09-15 | 2017-09-13 | サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11468905B2 (ja) |
EP (1) | EP3514791B1 (ja) |
JP (1) | JP6712643B2 (ja) |
CN (1) | CN109716431B (ja) |
WO (1) | WO2018052004A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05158495A (ja) * | 1991-05-07 | 1993-06-25 | Fujitsu Ltd | 音声符号化伝送装置 |
JP2002123298A (ja) * | 2000-10-18 | 2002-04-26 | Nippon Telegr & Teleph Corp <Ntt> | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
JP2002353820A (ja) * | 2001-05-22 | 2002-12-06 | Sony Corp | 正規化装置、方法、プログラムおよび該プログラムを記録した記録媒体ならびに通信端末装置 |
JP2008547043A (ja) * | 2005-06-17 | 2008-12-25 | ディーティーエス (ビーヴィーアイ) リミテッド | スケール調節可能な圧縮されたオーディオビットストリーム、並びに階層的フィルターバンクおよび多チャンネルジョイントコーディングを使用したコーデック |
JP2009230154A (ja) * | 1997-12-08 | 2009-10-08 | Mitsubishi Electric Corp | 音信号加工装置及び音信号加工方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5694751B2 (ja) * | 2010-12-13 | 2015-04-01 | 日本電信電話株式会社 | 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体 |
ES2704742T3 (es) * | 2011-04-05 | 2019-03-19 | Nippon Telegraph & Telephone | Descodificación de una señal acústica |
WO2013176177A1 (ja) * | 2012-05-23 | 2013-11-28 | 日本電信電話株式会社 | 符号化方法、復号方法、符号化装置、復号装置、プログラム、および記録媒体 |
-
2017
- 2017-09-13 EP EP17850905.5A patent/EP3514791B1/en active Active
- 2017-09-13 US US16/332,583 patent/US11468905B2/en active Active
- 2017-09-13 WO PCT/JP2017/032991 patent/WO2018052004A1/ja unknown
- 2017-09-13 CN CN201780056241.XA patent/CN109716431B/zh active Active
- 2017-09-13 JP JP2018539738A patent/JP6712643B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05158495A (ja) * | 1991-05-07 | 1993-06-25 | Fujitsu Ltd | 音声符号化伝送装置 |
JP2009230154A (ja) * | 1997-12-08 | 2009-10-08 | Mitsubishi Electric Corp | 音信号加工装置及び音信号加工方法 |
JP2002123298A (ja) * | 2000-10-18 | 2002-04-26 | Nippon Telegr & Teleph Corp <Ntt> | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
JP2002353820A (ja) * | 2001-05-22 | 2002-12-06 | Sony Corp | 正規化装置、方法、プログラムおよび該プログラムを記録した記録媒体ならびに通信端末装置 |
JP2008547043A (ja) * | 2005-06-17 | 2008-12-25 | ディーティーエス (ビーヴィーアイ) リミテッド | スケール調節可能な圧縮されたオーディオビットストリーム、並びに階層的フィルターバンクおよび多チャンネルジョイントコーディングを使用したコーデック |
Also Published As
Publication number | Publication date |
---|---|
CN109716431B (zh) | 2022-11-01 |
EP3514791A1 (en) | 2019-07-24 |
EP3514791B1 (en) | 2021-07-28 |
US11468905B2 (en) | 2022-10-11 |
WO2018052004A1 (ja) | 2018-03-22 |
JP6712643B2 (ja) | 2020-06-24 |
CN109716431A (zh) | 2019-05-03 |
US20210335372A1 (en) | 2021-10-28 |
EP3514791A4 (en) | 2020-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102070432B1 (ko) | 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치 | |
KR101330362B1 (ko) | 오디오 인코딩 방법, 오디오 디코딩 방법 및 오디오 인코더 디바이스 | |
US8548801B2 (en) | Adaptive time/frequency-based audio encoding and decoding apparatuses and methods | |
KR100304092B1 (ko) | 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화/복호화 장치 | |
US7599833B2 (en) | Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same | |
JP5583881B2 (ja) | オーディオ信号の変換方法及び変換装置、オーディオ信号の適応的符号化方法及び適応的符号化装置 | |
KR20080025403A (ko) | 디지털 미디어의 효율적인 코딩을 위한 대역을 획득하기위한 주파수 세그먼트화 | |
JP3344962B2 (ja) | オーディオ信号符号化装置、及びオーディオ信号復号化装置 | |
KR102089602B1 (ko) | 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램 | |
JP4978539B2 (ja) | 符号化装置、符号化方法及びプログラム。 | |
JP2003324355A (ja) | 符号化方法及び装置、復号方法及び装置、並びにプログラム及び記録媒体 | |
KR102204136B1 (ko) | 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법 | |
JP3344944B2 (ja) | オーディオ信号符号化装置,オーディオ信号復号化装置,オーディオ信号符号化方法,及びオーディオ信号復号化方法 | |
CN112970063A (zh) | 用于利用生成模型的码率质量可分级编码的方法及设备 | |
JPH09106299A (ja) | 音響信号変換符号化方法および復号化方法 | |
JP4734859B2 (ja) | 信号符号化装置及び方法、並びに信号復号装置及び方法 | |
JP4533386B2 (ja) | オーディオ符号化装置及びオーディオ符号化方法 | |
JP4191503B2 (ja) | 音声楽音信号符号化方法、復号化方法、符号化装置、復号化装置、符号化プログラム、および復号化プログラム | |
JP3353267B2 (ja) | 音響信号変換符号化方法及び復号化方法 | |
JP3353266B2 (ja) | 音響信号変換符号化方法 | |
JP3557164B2 (ja) | オーディオ信号符号化方法及びその方法を実行するプログラム記憶媒体 | |
JPWO2018052004A1 (ja) | サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム | |
JP5635213B2 (ja) | 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体 | |
JP2001298367A (ja) | オーディオ信号符号化方法、オーディオ信号復号化方法およびオーディオ信号符号化/復号化装置と前記方法を実施するプログラムを記録した記録媒体 | |
JPH1091196A (ja) | 音響信号符号化方法および音響信号復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6712643 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |