JP7520922B2 - ステレオ信号符号化方法およびステレオ信号符号化装置 - Google Patents
ステレオ信号符号化方法およびステレオ信号符号化装置 Download PDFInfo
- Publication number
- JP7520922B2 JP7520922B2 JP2022115641A JP2022115641A JP7520922B2 JP 7520922 B2 JP7520922 B2 JP 7520922B2 JP 2022115641 A JP2022115641 A JP 2022115641A JP 2022115641 A JP2022115641 A JP 2022115641A JP 7520922 B2 JP7520922 B2 JP 7520922B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- subbands
- energy
- res
- residual signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 136
- 238000009499 grossing Methods 0.000 claims description 46
- 230000007774 longterm Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 25
- 238000012937 correction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/756—Media network packet handling adapting media to device capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
左チャネル時間領域信号および右チャネル時間領域信号に対して時間領域前処理を行い、
時間領域前処理によって得られる左チャネル時間領域信号および右チャネル時間領域信号に対して時間領域解析を行い、
時間領域前処理によって得られる左チャネル時間領域信号および右チャネル時間領域信号に対して時間周波数領域変換を行って、左チャネル周波数領域信号および右チャネル周波数領域信号を得、
時間領域におけるチャネル間時間差(Inter-channel Time Difference、ITD)パラメータを決定し、
ITDパラメータに基づいて左周波数領域信号および右チャネル周波数領域信号に対して時間シフト調整を行い、
時間シフト調整によって得られる左チャネル周波数領域信号および右チャネル周波数領域信号に基づいてステレオパラメータ、ダウンミックス信号、および残差信号を計算し、ステレオパラメータ、ダウンミックス信号、および残差信号を符号化する。
res_dmx_ratio[b]=res_cod_NRG_S[b]/(res_cod_NRG_S[b]+(1-g(b))・(1-g(b))・res_cod_NRG_M[b]+1)
式中、res_dmx_ratio[b]は、サブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表し、g(b)は、サブバンドインデックス番号がbであるサブバンドのサイドゲインside_gain[b]の関数を表す。
res_dmx_ratio3=pow(res_dmx_ratio2,1.2)
式中、pow()関数は、指数関数を表し、pow(res_dmx_ratio2,1.2)は、res_dmx_ratio2の1.2乗を表す。
res_dmx_ratio=res_nrg_all_curr/dmx_nrg_all_curr
res_dmx_ratio[b]=res_cod_NRG_S[b]/res_cod_NRG_M[b]
式中、res_dmx_ratio[b]は、サブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表す。
res_dmx_ratio_lt=res_dmx_ratio・α+res_dmx_ratio_lt_prev・(1-α)
式中、res_dmx_ratio_ltは、現在のフレームの長期平滑化パラメータを表し、res_dmx_ratioは、第1のパラメータを表し、res_dmx_ratio_lt_prevは、現在のフレームの前のフレームの長期平滑化パラメータを表し、0<α<1であり、
第2のパラメータが事前設定された第3の閾値より大きい場合、第1のパラメータが事前設定された第2の閾値より小さい場合のαの値は、第1のパラメータが事前設定された第2の閾値以上の場合のαの値より大きく、第2の閾値は0以上0.6以下であり、第3の閾値は2.7以上3.7以下であるか、または
第2のパラメータが事前設定された第5の閾値より小さい場合、第1のパラメータが事前設定された第4の閾値より大きい場合のαの値は、第1のパラメータが事前設定された第4の閾値以下の場合のαの値より大きく、第4の閾値は0以上0.9以下であり、第5の閾値は0以上0.71以下であるか、または
第2のパラメータが事前設定された第5の閾値以上であり、事前設定された第3の閾値以下である場合、αの値は、第1のパラメータが事前設定された第2の閾値より小さく、第2のパラメータが事前設定された第3の閾値より大きい場合のαの値より小さく、第2の閾値は0以上0.6以下であり、第3の閾値は2.7以上3.7以下であり、第5の閾値は0以上0.71以下である。
M個のサブバンドの各々のダウンミックス信号エネルギーおよび残差信号エネルギーに基づいて第2のパラメータを決定し、第2のパラメータが第1のエネルギー和と第2のエネルギー和との間の値関係を示し、第1のエネルギー和がM個のサブバンドの残差信号エネルギーとダウンミックス信号エネルギーの和であり、第2のエネルギー和が、現在のフレームの前のフレームの周波数領域信号におけるM個のサブバンドの残差信号エネルギーとダウンミックス信号エネルギーの和であり、現在のフレームのM個のサブバンドが前のフレームのM個のサブバンドと同じサブバンドインデックス番号を有し、
第1のパラメータ、第2のパラメータ、および現在のフレームの前のフレームの長期平滑化パラメータに基づいて現在のフレームの残差信号符号化パラメータを最終的に決定する。
res_dmx_ratio[b]=f(g(b),res_cod_NRG_M[b],res_cod_NRG_S[b])(1)
式中、res_dmx_ratio[b]は、M個のエネルギーパラメータのうちのサブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表し、g(b)は、サブバンドインデックス番号がbであるサブバンドのサイドゲインside_gain[b]の関数を表す。
res_dmx_ratio[b]=res_cod_NRG_S[b]/(res_cod_NRG_S[b]+(1-g(b))・(1-g(b))・res_cod_NRG_M[b]+1)(2)
res_dmx_ratio=max(res_dmx_ratio[0],res_dmx_ratio[1],…,res_dmx_ratio[M-1])(3)
dmx_res_all=res_nrg_all_curr+dmx_nrg_all_curr(6)
frame_nrg_ratio=dmx_res_all/dmx_res_all_prev(7)
frame_nrg_ratio=min(5.0,max(0.2,dmx_res_all/dmx_res_all_prev))(8)
res_dmx_ratio_lt=res_dmx_ratio α+res_dmx_ratio_lt_prev・(1-α)(9)
式中、res_dmx_ratio_ltは、現在のフレームの長期平滑化パラメータを表し、res_dmx_ratioは、第1のパラメータを表し、res_dmx_ratio_lt_prevは、現在のフレームの前のフレームの長期平滑化パラメータを表し、0<α<1である。
第2のパラメータが事前設定された第5の閾値より小さい場合、第1のパラメータが事前設定された第4の閾値より大きい場合のαの値は、第1のパラメータが事前設定された第4の閾値以下の場合のαの値より大きく、第4の閾値は0以上0.9以下であり、第5の閾値は0以上0.71以下であるか、または
第1のパラメータが事前設定された第2の閾値より小さく、第2のパラメータが事前設定された第3の閾値より大きい場合のαの値は、第2のパラメータが事前設定された第5の閾値以上であり、事前設定された第3の閾値以下である場合のαの値より大きく、第2の閾値は0以上0.6以下であり、第3の閾値は2.7以上3.7以下であり、第5の閾値は0以上0.71以下である。
第4の閾値の値が0.4であり、第5の閾値の値が0.21であってもよく、具体的には、frame_nrg_ratioが0.21より小さい場合、res_dmx_ratioが0.4より大きい場合のαの値はres_dmx_ratioが0.4以下の場合のαの値より大きいか、または
第2の閾値の値が0.1であり、第3の閾値の値が3.2であり、第5の閾値の値が0.21であってもよく、具体的には、res_dmx_ratioが0.1より小さく、frame_nrg_ratioが3.2より大きい場合のαの値は、frame_nrg_ratioが0.21以上3.2以下の場合のαの値より大きいか、または
第4の閾値の値が0.4であり、第5の閾値の値が0.21であってもよく、具体的には、res_dmx_ratioが0.4より大きく、frame_nrg_ratioが0.21より小さい場合のαの値は、frame_nrg_ratioが0.21以上3.2以下の場合のαの値より大きい。
res_dmx_ratio[b]=f(res_cod_NRG_M[b],res_cod_NRG_S[b])(10)
式中、res_dmx_ratio[b]は、M個のエネルギーパラメータのうちのサブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表す。
res_dmx_ratio[b]=res_cod_NRG_S[b]/res_cod_NRG_M[b](11)
res_dmx_ratio=max(res_dmx_ratio[0],res_dmx_ratio[1],…,res_dmx_ratio[M-1])(12)
res_dmx_ratio3=pow(res_dmx_ratio2,1.2)(15)
式中、pow()関数は、指数関数を表し、pow(res_dmx_ratio2,1.2)は、res_dmx_ratio2の1.2乗を表す。
res_dmx_ratio=res_nrg_all_curr/dmx_nrg_all_curr(16)
xL_HP(n)=b0・xL(n)+b1・xL(n-1)+b2・xL(n-2)-a1・xL_HP(n-1)-a2・xL_HP(n-2)(18)
DMXi(k)=[L’’(k)+R’’(k)]・c(26)、および
ステレオ信号の現在のフレームの残差信号符号化パラメータを、現在のフレームのM個のサブバンドの各々のダウンミックス信号エネルギーおよび残差信号エネルギーに基づいて決定するように構成された第1の決定モジュール501であって、現在のフレームの残差信号符号化パラメータが、M個のサブバンドの残差信号を符号化するかどうかを示すために使用され、M個のサブバンドがN個のサブバンドの少なくとも一部であり、Nが1より大きい正の整数であり、M≦N、Mが正の整数である、第1の決定モジュール501と、
現在のフレームの残差信号符号化パラメータに基づいて、現在のフレームのM個のサブバンドの残差信号を符号化するかどうかを決定するように構成された、第2の決定モジュール502と
を含む。
res_dmx_ratio[b]=res_cod_NRG_S[b]/(res_cod_NRG_S[b]+(1-g(b))・(1-g(b))・res_cod_NRG_M[b]+1)
式中、res_dmx_ratio[b]は、サブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表し、g(b)は、サブバンドインデックス番号がbであるサブバンドのサイドゲインside_gain[b]の関数を表す。
res_dmx_ratio[b]=res_cod_NRG_S[b]/res_cod_NRG_M[b]
式中、res_dmx_ratio[b]は、サブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表す。
res_dmx_ratio3=pow(res_dmx_ratio2,1.2)
式中、pow()関数は、指数関数を表し、pow(res_dmx_ratio2,1.2)は、res_dmx_ratio2の1.2乗を表す。
res_dmx_ratio=res_nrg_all_curr/dmx_nrg_all_curr
res_dmx_ratio[b]=res_cod_NRG_S[b]/res_cod_NRG_M[b]
式中、res_dmx_ratio[b]は、M個のエネルギーパラメータのうちのサブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表す。
res_dmx_ratio_lt=res_dmx_ratio・α+res_dmx_ratio_lt_prev・(1-α)
式中、res_dmx_ratio_ltは、現在のフレームの長期平滑化パラメータを表し、res_dmx_ratioは、第1のパラメータを表し、res_dmx_ratio_lt_prevは、現在のフレームの前のフレームの長期平滑化パラメータを表し、0<α<1であり、
第2のパラメータが事前設定された第3の閾値より大きい場合、第1のパラメータが事前設定された第2の閾値より小さい場合のαの値は、第1のパラメータが事前設定された第2の閾値以上の場合のαの値より大きく、第2の閾値は0以上0.6以下であり、第3の閾値は2.7以上3.7以下であるか、または
第2のパラメータが事前設定された第5の閾値より大きい場合、第1のパラメータが事前設定された第4の閾値より大きい場合のαの値は、第1のパラメータが事前設定された第4の閾値以下の場合のαの値より大きく、第4の閾値は0以上0.9以下であり、第5の閾値は0以上0.71以下であるか、または
第1のパラメータが事前設定された第2の閾値より小さく、第2のパラメータが事前設定された第3の閾値より大きい場合のαの値は、第2のパラメータが事前設定された第5の閾値以上であり、事前設定された第3の閾値以下である場合のαの値より大きく、第2の閾値は0以上0.6以下であり、第3の閾値は2.7以上3.7以下であり、第5の閾値は0以上0.71以下である。
プログラムを格納するように構成された、メモリ601と、
メモリ601に格納されたプログラムを実行するように構成されたプロセッサ602であって、メモリ内のプログラムが実行されると、プロセッサ602が、ステレオ信号の現在のフレームの残差信号符号化パラメータを、現在のフレームのM個のサブバンドの各々のダウンミックス信号エネルギーおよび残差信号エネルギーに基づいて決定し、現在のフレームの残差信号符号化パラメータが、M個のサブバンドの残差信号を符号化するかどうかを示すために使用され、M個のサブバンドがN個のサブバンドの少なくとも一部であり、Nが1より大きい正の整数であり、M≦N、Nが正の整数であり、残差信号符号化パラメータに基づいて、現在のフレームのM個のサブバンドの残差信号を符号化するかどうかを決定する、ように特に構成される、プロセッサ602と
を含む。
res_dmx_ratio[b]=res_cod_NRG_S[b]/(res_cod_NRG_S[b]+(1-g(b))・(1-g(b))・res_cod_NRG_M[b]+1)
式中、res_dmx_ratio[b]は、サブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表し、g(b)は、サブバンドインデックス番号がbであるサブバンドのサイドゲインside_gain[b]の関数を表す。
res_dmx_ratio[b]=res_cod_NRG_S[b]/res_cod_NRG_M[b]
式中、res_dmx_ratio[b]は、サブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表す。
res_dmx_ratio3=pow(res_dmx_ratio2,1.2)
式中、pow()関数は、指数関数を表し、pow(res_dmx_ratio2,1.2)は、res_dmx_ratio2の1.2乗を表す。
res_dmx_ratio=res_nrg_all_curr/dmx_nrg_all_curr
res_dmx_ratio[b]=res_cod_NRG_S[b]/res_cod_NRG_M[b]
式中、res_dmx_ratio[b]は、M個のエネルギーパラメータのうちのサブバンドインデックス番号がbであるサブバンドのエネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドインデックス番号がbであるサブバンドの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドインデックス番号がbであるサブバンドのダウンミックス信号エネルギーを表す。
res_dmx_ratio_lt=res_dmx_ratio・α+res_dmx_ratio_lt_prev・(1-α)
式中、res_dmx_ratio_ltは、現在のフレームの長期平滑化パラメータを表し、res_dmx_ratioは、第1のパラメータを表し、res_dmx_ratio_lt_prevは、現在のフレームの前のフレームの長期平滑化パラメータを表し、0<α<1であり、
第2のパラメータが事前設定された第3の閾値より大きい場合、第1のパラメータが事前設定された第2の閾値より小さい場合のαの値は、第1のパラメータが事前設定された第2の閾値以上の場合のαの値より大きく、第2の閾値は0以上0.6以下であり、第3の閾値は2.7以上3.7以下であるか、または
第2のパラメータが事前設定された第5の閾値より大きい場合、第1のパラメータが事前設定された第4の閾値より大きい場合のαの値は、第1のパラメータが事前設定された第4の閾値以下の場合のαの値より大きく、第4の閾値は0以上0.9以下であり、第5の閾値は0以上0.71以下であるか、または
第1のパラメータが事前設定された第2の閾値より小さく、第2のパラメータが事前設定された第3の閾値より大きい場合のαの値は、第2のパラメータが事前設定された第5の閾値以上であり、事前設定された第3の閾値以下である場合のαの値より大きく、第2の閾値は0以上0.6以下であり、第3の閾値は2.7以上3.7以下であり、第5の閾値は0以上0.71以下である。
120 復号構成要素
130 移動端末
131 収集構成要素
132 チャネル符号化構成要素
140 移動端末
141 オーディオ再生構成要素
142 チャネル復号構成要素
150 ネットワーク要素
151 チャネル復号構成要素
152 チャネル符号化構成要素
300 ステレオ信号符号化方法
500 装置
501 第1の決定モジュール
502 第2の決定モジュール
600 装置
601 メモリ
602 プロセッサ
Claims (9)
- ステレオ信号符号化方法であって、
ステレオ信号の現在のフレームの残差信号符号化パラメータを、前記現在のフレームのM個のサブバンドの各々のダウンミックス信号エネルギーおよび残差信号エネルギーに基づいて決定するステップであって、前記現在のフレームは、N個のサブバンドを含み、前記M個のサブバンドは前記N個のサブバンドの少なくとも一部であり、Nは1より大きい正の整数であり、M≦N、Mは正の整数である、ステップと、
前記残差信号符号化パラメータに基づいて、前記現在のフレームの前記M個のサブバンドの残差信号を符号化するか否かを決定するステップと
を含み、
前記残差信号符号化パラメータを決定するステップは、
前記M個のサブバンドの各々の前記ダウンミックス信号エネルギーおよび前記残差信号エネルギーに基づいて第1のパラメータを決定するステップであって、前記第1のパラメータは、前記M個のサブバンドの各々の前記ダウンミックス信号エネルギーと前記残差信号エネルギーとの間の値関係を示す、ステップと、
前記M個のサブバンドの各々の前記ダウンミックス信号エネルギーおよび前記残差信号エネルギーに基づいて第2のパラメータを決定するステップであって、前記第2のパラメータは第1のエネルギー和と第2のエネルギー和との間の値関係を示し、前記第1のエネルギー和は前記M個のサブバンドの残差信号エネルギーとダウンミックス信号エネルギーの和であり、前記第2のエネルギー和は、前記現在のフレームの前のフレームの周波数領域信号におけるM個のサブバンドの残差信号エネルギーとダウンミックス信号エネルギーの和であり、前記現在のフレームの前記M個のサブバンドは前記前のフレームの前記M個のサブバンドと同じサブバンドインデックス番号を有する、ステップと、
前記第1のパラメータ、前記第2のパラメータ、および前記現在のフレームの前記前のフレームの長期平滑化パラメータに基づいて前記現在のフレームの前記残差信号符号化パラメータを決定するステップと、を含む、
ステレオ信号符号化方法。 - 前記残差信号符号化パラメータに基づいて、前記M個のサブバンドの前記残差信号を符号化するか否かを決定する前記ステップは、
前記残差信号符号化パラメータを事前設定された第1の閾値と比較するステップであって、前記第1の閾値が0より大きく1.0より小さい、ステップと、
前記残差信号符号化パラメータが前記第1の閾値以下であるとき前記M個のサブバンドの前記残差信号を符号化しないと決定するステップ、または
前記残差信号符号化パラメータが前記第1の閾値より大きいとき前記M個のサブバンドの前記残差信号を符号化すると決定するステップと
を含む、請求項1に記載の方法。 - 前記第1のパラメータを決定するステップは、
前記M個のサブバンドの各々の前記ダウンミックス信号エネルギーおよび前記残差信号エネルギーに基づいてM個のエネルギーパラメータを決定するステップであって、前記M個のエネルギーパラメータは、前記M個のサブバンドの各々の前記ダウンミックス信号エネルギーと前記残差信号エネルギーとの間の前記値関係を各々示し、前記M個のエネルギーパラメータは前記M個のサブバンドと1対1で対応する、ステップと、
前記M個のエネルギーパラメータの中から最大値を有するエネルギーパラメータを前記第1のパラメータとして選択するステップと
を含む、請求項1または2に記載の方法。 - 前記M個のエネルギーパラメータのうちの、サブバンドbのエネルギーパラメータは以下の式を満足し、
res_dmx_ratio[b]=res_cod_NRG_S[b]/res_cod_NRG_M[b]
式中、res_dmx_ratio[b]は、サブバンドbの前記エネルギーパラメータを表し、bは、0以上であり、事前設定された最大サブバンドインデックス番号以下であり、res_cod_NRG_S[b]は、サブバンドbの残差信号エネルギーを表し、res_cod_NRG_M[b]は、サブバンドbのダウンミックス信号エネルギーを表す、請求項3に記載の方法。 - 前記現在のフレームの前記残差信号符号化パラメータは、前記現在のフレームの長期平滑化パラメータであり、前記現在のフレームの前記長期平滑化パラメータは以下の式を満足し、
res_dmx_ratio_lt=res_dmx_ratio・α+res_dmx_ratio_lt_prev・(1-α)
式中、res_dmx_ratio_ltは、前記現在のフレームの前記長期平滑化パラメータを表し、res_dmx_ratioは、前記第1のパラメータを表し、res_dmx_ratio_lt_prevは、前記現在のフレームの前記前のフレームの前記長期平滑化パラメータを表し、0<α<1であり、
前記第2のパラメータが事前設定された第3の閾値より大きい場合、前記第1のパラメータが事前設定された第2の閾値より小さい場合のαの第1の値は、前記第1のパラメータが前記事前設定された第2の閾値以上の場合のαの第2の値より大きく、前記第2の閾値が0以上0.6以下であり、前記第3の閾値が2.7以上3.7以下であるか、または
前記第2のパラメータが事前設定された第5の閾値より小さい場合、前記第1のパラメータが事前設定された第4の閾値より大きい場合のαの第3の値は、前記第1のパラメータが前記事前設定された第4の閾値以下の場合のαの第4の値より大きく、前記第4の閾値が0以上0.9以下であり、前記第5の閾値が0以上0.71以下であるか、または
前記第2のパラメータが事前設定された第5の閾値以上であり、事前設定された第3の閾値以下である場合、αの第5の値は、前記第1のパラメータが事前設定された第2の閾値より小さく、前記第2のパラメータが前記事前設定された第3の閾値より大きい場合のαの第6の値より小さく、前記第2の閾値が0以上0.6以下であり、前記第3の閾値が2.7以上3.7以下であり、前記第5の閾値が0以上0.71以下である、請求項1から4のいずれか一項に記載の方法。 - 前記M個のサブバンドの前記残差信号を符号化すると決定されるとき前記M個のサブバンドのダウンミックス信号および前記残差信号を符号化するステップ、または
前記M個のサブバンドの前記残差信号を符号化しないと決定されるとき前記M個のサブバンドのダウンミックス信号を符号化するステップ
をさらに含む、請求項1から5のいずれか一項に記載の方法。 - ステレオ信号符号化装置であって、
プログラムを格納するように構成された、メモリと、
前記メモリに格納された前記プログラムを実行するように構成されたプロセッサであって、前記メモリ内の前記プログラムが実行されると、前記プロセッサは、コンピュータに請求項1から6のいずれか一項に記載の方法を実行させるように構成される、プロセッサと
を含む、ステレオ信号符号化装置。 - プログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムはコンピュータに請求項1から6のいずれか一項に記載の方法を行わせる、コンピュータ可読記憶媒体。
- コンピュータに請求項1から6のいずれか一項に記載の方法を実行させるよう構成されたコンピュータプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810549237.3A CN110556117B (zh) | 2018-05-31 | 2018-05-31 | 立体声信号的编码方法和装置 |
CN201810549237.3 | 2018-05-31 | ||
PCT/CN2019/076341 WO2019227991A1 (zh) | 2018-05-31 | 2019-02-27 | 立体声信号的编码方法和装置 |
JP2020566740A JP7110401B2 (ja) | 2018-05-31 | 2019-02-27 | ステレオ信号符号化方法およびステレオ信号符号化装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020566740A Division JP7110401B2 (ja) | 2018-05-31 | 2019-02-27 | ステレオ信号符号化方法およびステレオ信号符号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024110194A Division JP2024153672A (ja) | 2018-05-31 | 2024-07-09 | ステレオ信号符号化方法およびステレオ信号符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022163058A JP2022163058A (ja) | 2022-10-25 |
JP7520922B2 true JP7520922B2 (ja) | 2024-07-23 |
Family
ID=68697244
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020566740A Active JP7110401B2 (ja) | 2018-05-31 | 2019-02-27 | ステレオ信号符号化方法およびステレオ信号符号化装置 |
JP2022115641A Active JP7520922B2 (ja) | 2018-05-31 | 2022-07-20 | ステレオ信号符号化方法およびステレオ信号符号化装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020566740A Active JP7110401B2 (ja) | 2018-05-31 | 2019-02-27 | ステレオ信号符号化方法およびステレオ信号符号化装置 |
Country Status (9)
Country | Link |
---|---|
US (3) | US11462224B2 (ja) |
EP (2) | EP3783607B1 (ja) |
JP (2) | JP7110401B2 (ja) |
KR (3) | KR102710464B1 (ja) |
CN (2) | CN114708874A (ja) |
BR (1) | BR112020024257A2 (ja) |
PT (1) | PT3783607T (ja) |
SG (1) | SG11202011324RA (ja) |
WO (1) | WO2019227991A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110556118B (zh) | 2018-05-31 | 2022-05-10 | 华为技术有限公司 | 立体声信号的编码方法和装置 |
US12100403B2 (en) * | 2020-03-09 | 2024-09-24 | Nippon Telegraph And Telephone Corporation | Sound signal downmixing method, sound signal coding method, sound signal downmixing apparatus, sound signal coding apparatus, program and recording medium |
CN118800251A (zh) * | 2023-04-13 | 2024-10-18 | 华为技术有限公司 | 场景音频信号的编码方法和装置 |
CN117079657B (zh) * | 2023-10-16 | 2024-01-26 | 中国铁塔股份有限公司 | 压限处理方法、装置、电子设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008519307A (ja) | 2004-11-04 | 2008-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 多チャンネル音声信号の符号化及び復号化 |
JP2008519306A (ja) | 2004-11-04 | 2008-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 信号の組のエンコード及びデコード |
JP2016531483A (ja) | 2013-07-22 | 2016-10-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4245288B2 (ja) * | 2001-11-13 | 2009-03-25 | パナソニック株式会社 | 音声符号化装置および音声復号化装置 |
WO2003077235A1 (en) * | 2002-03-12 | 2003-09-18 | Nokia Corporation | Efficient improvements in scalable audio coding |
US7318035B2 (en) * | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
DK3561810T3 (da) | 2004-04-05 | 2023-05-01 | Koninklijke Philips Nv | Fremgangsmåde til kodning af venstre og højre audioindgangssignaler, tilsvarende koder, afkoder og computerprogramprodukt |
US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
US7548853B2 (en) * | 2005-06-17 | 2009-06-16 | Shmunk Dmitry V | Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding |
US8321230B2 (en) * | 2006-02-06 | 2012-11-27 | France Telecom | Method and device for the hierarchical coding of a source audio signal and corresponding decoding method and device, programs and signals |
US8571875B2 (en) * | 2006-10-18 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus encoding and/or decoding multichannel audio signals |
CN101067931B (zh) * | 2007-05-10 | 2011-04-20 | 芯晟(北京)科技有限公司 | 一种高效可配置的频域参数立体声及多声道编解码方法与系统 |
CN101393743A (zh) * | 2007-09-19 | 2009-03-25 | 中兴通讯股份有限公司 | 一种可配置参数的立体声编码装置及其编码方法 |
CN101842832B (zh) * | 2007-10-31 | 2012-11-07 | 松下电器产业株式会社 | 编码装置和解码装置 |
KR101428487B1 (ko) * | 2008-07-11 | 2014-08-08 | 삼성전자주식회사 | 멀티 채널 부호화 및 복호화 방법 및 장치 |
CN101635145B (zh) * | 2008-07-24 | 2012-06-06 | 华为技术有限公司 | 编解码方法、装置和系统 |
CN105225667B (zh) * | 2009-03-17 | 2019-04-05 | 杜比国际公司 | 编码器系统、解码器系统、编码方法和解码方法 |
FR2947944A1 (fr) * | 2009-07-07 | 2011-01-14 | France Telecom | Codage/decodage perfectionne de signaux audionumeriques |
KR20110018107A (ko) * | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치 |
KR101710113B1 (ko) | 2009-10-23 | 2017-02-27 | 삼성전자주식회사 | 위상 정보와 잔여 신호를 이용한 부호화/복호화 장치 및 방법 |
CN102243876B (zh) * | 2010-05-12 | 2013-08-07 | 华为技术有限公司 | 预测残差信号的量化编码方法及装置 |
KR101585852B1 (ko) | 2011-09-29 | 2016-01-15 | 돌비 인터네셔널 에이비 | Fm 스테레오 라디오 신호들에서 고품질의 검출 |
WO2013189030A1 (zh) * | 2012-06-19 | 2013-12-27 | 深圳广晟信源技术有限公司 | 对单声道或立体声进行编码的方法 |
EP2690621A1 (en) * | 2012-07-26 | 2014-01-29 | Thomson Licensing | Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side |
US9564138B2 (en) | 2012-07-31 | 2017-02-07 | Intellectual Discovery Co., Ltd. | Method and device for processing audio signal |
US9711150B2 (en) * | 2012-08-22 | 2017-07-18 | Electronics And Telecommunications Research Institute | Audio encoding apparatus and method, and audio decoding apparatus and method |
US20150125023A1 (en) | 2013-03-08 | 2015-05-07 | Ideavillage Products Corp. | Headset with variable acoustic impedance |
EP2830051A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
ES2904275T3 (es) * | 2015-09-25 | 2022-04-04 | Voiceage Corp | Método y sistema de decodificación de los canales izquierdo y derecho de una señal sonora estéreo |
-
2018
- 2018-05-31 CN CN202210345190.5A patent/CN114708874A/zh active Pending
- 2018-05-31 CN CN201810549237.3A patent/CN110556117B/zh active Active
-
2019
- 2019-02-27 KR KR1020237021245A patent/KR102710464B1/ko active IP Right Grant
- 2019-02-27 WO PCT/CN2019/076341 patent/WO2019227991A1/zh unknown
- 2019-02-27 JP JP2020566740A patent/JP7110401B2/ja active Active
- 2019-02-27 KR KR1020207035773A patent/KR102548475B1/ko active IP Right Grant
- 2019-02-27 EP EP19811645.1A patent/EP3783607B1/en active Active
- 2019-02-27 KR KR1020247031583A patent/KR20240145060A/ko active Application Filing
- 2019-02-27 PT PT198116451T patent/PT3783607T/pt unknown
- 2019-02-27 SG SG11202011324RA patent/SG11202011324RA/en unknown
- 2019-02-27 EP EP24164942.5A patent/EP4435777A1/en active Pending
- 2019-02-27 BR BR112020024257-8A patent/BR112020024257A2/pt unknown
-
2020
- 2020-11-25 US US17/104,852 patent/US11462224B2/en active Active
-
2022
- 2022-07-20 JP JP2022115641A patent/JP7520922B2/ja active Active
- 2022-08-11 US US17/886,087 patent/US11978463B2/en active Active
-
2024
- 2024-04-03 US US18/625,538 patent/US20240355343A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008519307A (ja) | 2004-11-04 | 2008-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 多チャンネル音声信号の符号化及び復号化 |
JP2008519306A (ja) | 2004-11-04 | 2008-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 信号の組のエンコード及びデコード |
JP2016531483A (ja) | 2013-07-22 | 2016-10-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20210008091A (ko) | 2021-01-20 |
KR102548475B1 (ko) | 2023-06-26 |
EP4435777A1 (en) | 2024-09-25 |
US11978463B2 (en) | 2024-05-07 |
PT3783607T (pt) | 2024-07-11 |
US11462224B2 (en) | 2022-10-04 |
BR112020024257A2 (pt) | 2021-02-23 |
US20240355343A1 (en) | 2024-10-24 |
KR20230098708A (ko) | 2023-07-04 |
JP7110401B2 (ja) | 2022-08-01 |
KR20240145060A (ko) | 2024-10-04 |
CN114708874A (zh) | 2022-07-05 |
CN110556117B (zh) | 2022-04-22 |
SG11202011324RA (en) | 2020-12-30 |
EP3783607A1 (en) | 2021-02-24 |
KR102710464B1 (ko) | 2024-09-25 |
EP3783607A4 (en) | 2021-06-30 |
EP3783607B1 (en) | 2024-05-08 |
US20220392470A1 (en) | 2022-12-08 |
JP2021525390A (ja) | 2021-09-24 |
WO2019227991A1 (zh) | 2019-12-05 |
US20210082445A1 (en) | 2021-03-18 |
CN110556117A (zh) | 2019-12-10 |
JP2022163058A (ja) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7520922B2 (ja) | ステレオ信号符号化方法およびステレオ信号符号化装置 | |
US8527282B2 (en) | Method and an apparatus for processing a signal | |
US9275648B2 (en) | Method and apparatus for processing audio signal using spectral data of audio signal | |
KR102578950B1 (ko) | 스테레오 신호 인코딩 방법 및 장치 | |
JP7159351B2 (ja) | ダウンミックスされた信号の計算方法及び装置 | |
KR20200027008A (ko) | 스테레오 신호의 인코딩 및 디코딩 방법과, 인코딩 및 디코딩 장치 | |
WO2019170955A1 (en) | Audio coding | |
CN112233682B (zh) | 一种立体声编码方法、立体声解码方法和装置 | |
KR102710541B1 (ko) | 스테레오 코딩 방법 및 디바이스, 및 스테레오 디코딩 방법 및 디바이스 | |
US11961526B2 (en) | Method and apparatus for calculating downmixed signal and residual signal | |
KR102380454B1 (ko) | 시간-도메인 스테레오 인코딩 및 디코딩 방법 및 관련 제품 | |
JP2024153672A (ja) | ステレオ信号符号化方法およびステレオ信号符号化装置 | |
TW201911293A (zh) | 時域立體聲參數的編碼方法和相關產品 | |
KR102727811B1 (ko) | 스테레오 신호 인코딩 방법 및 장치 | |
RU2773421C2 (ru) | Способ и соответствующий продукт для определения режима кодирования/декодирования аудио |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220818 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231002 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7520922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |