JP7167109B2 - 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 - Google Patents
適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 Download PDFInfo
- Publication number
- JP7167109B2 JP7167109B2 JP2020166736A JP2020166736A JP7167109B2 JP 7167109 B2 JP7167109 B2 JP 7167109B2 JP 2020166736 A JP2020166736 A JP 2020166736A JP 2020166736 A JP2020166736 A JP 2020166736A JP 7167109 B2 JP7167109 B2 JP 7167109B2
- Authority
- JP
- Japan
- Prior art keywords
- lpc
- signal
- representation
- noise
- noise estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000003044 adaptive effect Effects 0.000 title claims description 38
- 230000003595 spectral effect Effects 0.000 claims description 54
- 230000015572 biosynthetic process Effects 0.000 claims description 45
- 238000003786 synthesis reaction Methods 0.000 claims description 45
- 238000005562 fading Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001419 dependent effect Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 8
- 230000005284 excitation Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000007774 longterm Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010572 single replacement reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0002—Codebook adaptations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Noise Elimination (AREA)
Description
・最終の3個の既知のISFベクトルの平均を表すISFベクトル、及び
・長期間平均スペクトル形状を表すオフライン練習済みISFベクトル
[備考]
[請求項1]
エラー隠し信号を生成する装置であって、
置き換えLPC(線形予測符号化)表現を生成するためのLPC表現生成部(100)と、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングする、LPC合成部(106,108)と、
良好なオーディオフレームの受信中にノイズ推定を推定するノイズ推定部(206)であって、前記ノイズ推定は前記良好なオーディオフレームに依存している、ノイズ推定部(206)と、を備え、
前記LPC表現生成部(100)は、前記置き換えLPC表現を生成する際に、前記ノイズ推定部(206)によって推定された前記ノイズ推定を使用するよう構成されている、装置。
[請求項2]
請求項1に記載の装置であって、
前記ノイズ推定部(206)は、スペクトル表現(1200,1202)を処理してノイズスペクトル表現(1204)を提供するよう構成され、かつ前記ノイズスペクトル表現をノイズLPC表現へと変換(1206)するよう構成され、前記ノイズLPC表現は前記置き換えLPC表現と同種のLPC表現である、装置。
[請求項3]
請求項1又は2に記載の装置であって、
前記置き換えLPC表現は置き換えファクタを含み、
前記ノイズ推定部(206)は前記ノイズ推定をノイズファクタとして提供するよう構成されている、装置。
[請求項4]
請求項3に記載の装置であって、
前記置き換えファクタはLSF又はISFファクタであり、前記ノイズファクタはLSF又はISFファクタである、装置。
[請求項5]
請求項1~4のいずれか1項に記載の装置であって、
前記ノイズ推定部(206)は、最適平滑化(1210)を有する最小統計手法を過去の復号化済み信号(208)に適用し、前記ノイズ推定を導出するよう構成されている、装置。
[請求項6]
請求項1~5のいずれか1項に記載の装置であって、
前記ノイズ推定部(206)は、前記過去の復号化済み信号からスペクトルノイズ推定(1210)を導出し、前記スペクトルノイズ推定をLPC表現へと変換(214)し、
さらに前記LPC表現をISF又はLSFドメインへ変換(1216)して、前記ノイズ推定を得るよう構成されている、装置。
[請求項7]
請求項1~6のいずれか1項に記載の装置であって、
前記ノイズ推定部(206)はスペクトルノイズ推定(1210)を提供し、
前記スペクトルノイズ推定を時間ドメイン表現へと変換(1212)し、
前記時間ドメイン表現の最初のN個のサンプルを使用してレビンソン-ダービン回帰を実行(1214)するよう構成され、ここでNは前記表現のLPC次数に対応している、装置。
[請求項8]
請求項7に記載の装置であって、
前記時間ドメイン表現は、二乗されたフーリエ変換スペクトルの逆を含む、装置。
[請求項9]
請求項1~8のいずれか1項に記載の装置であって、
前記LPC表現生成部(100)は、推定と最後の良好なLPC表現とを使用して前記置き換えLPC表現を導出するよう構成されている、装置。
[請求項10]
請求項1~9のいずれか1項に記載の装置であって、
前記LPC表現生成部(100)は、先行する良好なLPC表現又は少なくとも2つの先行する良好なLPC表現の平均値を使用して、前記置き換えLPC表現を導出するよう構成され、
幾つかのエラーのある又は欠損したフレームの後で前記置き換えLPC表現が前記ノイズ推定と一致するように、前記平均値又は最後の良好なLPC表現はフェードアウトされる、装置。
[請求項11]
請求項1~10のいずれか1項に記載の装置であって、
前記LPC表現生成部(100)は、追加の置き換えLPC表現を生成するよう構成され、
前記装置はさらに適応型符号帳(104)を含み、
前記LPC合成部(106,108)は、前記置き換えLPC表現を使用して固定型符号帳からの前記符号帳情報をフィルタリングするよう構成され、
前記LPC合成部(106,108)は、前記追加の表現を使用して前記適応型符号帳からの符号帳情報をフィルタリングするよう構成され、
前記LPC表現生成部(100)は、少なくとも2つの良好なLPC表現の平均値を使用して、前記追加の置き換えLPC表現を計算するよう構成されている、
装置。
[請求項12]
請求項11に記載の装置であって、
前記LPC表現生成部は、次式に基づいて前記置き換えLPC表現を計算するよう構成され、
前記LPC表現生成部は、次式に基づいて前記追加の置き換えLPC表現を計算するよう構成され、
ここで、αA及びαBは時間変化するフェーディングファクタであり、ISF-2は最後の良好なフレームのLPC表現であり、isf-3は最後から2番目の良好なフレームのLPC表現であり、isf-4は最後から3番目の良好なフレームのLPC表現であり、isfB -1は置き換えLPC表現であり、isfA -1は追加の置き換えLPC表現であり、ISFはISFドメイン又はLSFドメインにおける値を表している、装置。
[請求項13]
請求項1~12のいずれか1項に記載の装置であって、
隠されるべきエラーの発生前に受信された信号の信号特性を分析するための信号分析部(200)をさらに含み、
前記信号分析部は分析結果を提供するよう構成され、前記LPC表現生成部(100)は時間変化するフェーディングファクタを使用するよう構成され、前記時間変化するフェーディングファクタは前記分析結果に依存して決定される、装置。
[請求項14]
請求項13に記載の装置であって、
前記信号特性は信号安定性又は信号クラスであり、
前記時間変化するフェーディングファクタは、不安定又はノイズクラスにある信号についてのフェーディングファクタが、より安定又は調性クラスにある信号に比べて、より短時間で0まで減少するように決定される、装置。
[請求項15]
請求項1~14のいずれか1項に記載の装置であって、
前記置き換えLPC表現からゲイン情報を計算するためのゲイン計算部と、
前記ゲイン情報を使用して前記置き換えLPC表現のゲイン影響を補償するための補償部と、をさらに含み、
前記補償部は、符号帳情報又はLPC合成出力信号を重み付けするよう構成されている、装置。
[請求項16]
エラー隠し信号を生成する方法であって、
置き換えLPC表現を生成するステップ(100)と、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングするステップ(106,108)と、
良好なオーディオフレームの受信中にノイズ推定を推定するステップ(206)であって、前記ノイズ推定は前記良好なオーディオフレーム表現に依存している、ステップ(206)と、を備え、
前記推定するステップ(206)によって推定された前記ノイズ推定は、前記置き換えLPC表現を生成する際に使用される、方法。
[請求項17]
コンピュータ又はプロセッサ上で作動するとき、請求項14に記載の方法を実行するためのコンピュータプログラム。
Claims (31)
- エラー隠し信号を生成する装置であって、
LPC(線形予測符号化)係数のセットを生成するためのLPC表現生成部(100)と、
前記LPC係数のセットを使用して符号帳ベクトルをフィルタリングし、置き換え信号を取得するLPC合成部(106,108)と、
良好なオーディオフレームの受信中にノイズ推定を推定するノイズ推定部(206)であって、前記ノイズ推定は前記良好なオーディオフレームに依存している、ノイズ推定部(206)と、を備え、
前記LPC表現生成部(100)は、前記LPC係数のセットを生成する際に、前記ノイズ推定部(206)によって推定された前記ノイズ推定と2つ以上の前記良好なオーディオフレームのLPC係数のセットの平均値とを使用(1308,1310)するよう構成され、
前記エラー隠し信号は前記置き換え信号から導出される、装置。 - 請求項1に記載の装置であって、
前記ノイズ推定部(206)は、
過去の復号化済み信号(208)を取得(1200)し、
前記過去の復号化済み信号(208)のスペクトル表現を計算(1202)し、
前記過去の復号化済み信号(208)のスペクトル表現からノイズスペクトル表現を導出(1204)し、
前記ノイズスペクトル表現をノイズLPC表現へと変換(1206)するよう構成され、前記ノイズLPC表現は前記LPC係数のセットと同種のLPC表現である、装置。 - 請求項1又は2に記載の装置であって、
前記LPC係数のセットは置き換えファクタを含み、
前記ノイズ推定部(206)は前記ノイズ推定をノイズファクタとして提供するよう構成されている、装置。 - 請求項3に記載の装置であって、
前記置き換えファクタはLSF(線スペクトル周波数)ファクタ又はISF(イミッタンススペクトル周波数)ファクタであり、前記ノイズファクタはLSFファクタ又はISFファクタである、装置。 - 請求項1~4のいずれか1項に記載の装置であって、
前記ノイズ推定部(206)は、最適平滑化(1210)を有する最小統計手法を過去の復号化済み信号(208)に適用し、前記ノイズ推定を導出するよう構成されている、装置。 - 請求項1~5のいずれか1項に記載の装置であって、
前記ノイズ推定部(206)は、
過去の復号化済み信号(208)からスペクトルノイズ推定を導出(1210)し、
前記スペクトルノイズ推定をLPC係数のセットへと変換(1212、1214)し、
さらに前記LPC係数のセットをISFドメイン又はLSFドメインへ変換(1216)して、前記ノイズ推定を得るよう構成されている、装置。 - 請求項1~6のいずれか1項に記載の装置であって、
前記ノイズ推定部(206)は、
スペクトルノイズ推定を提供(1210)し、
前記スペクトルノイズ推定を時間ドメイン表現へと変換(1212)し、
前記時間ドメイン表現の最初のN個のサンプルを使用してレビンソン-ダービン回帰を実行(1214)するよう構成され、ここでNは前記スペクトルノイズ推定の前記LPC係数のセットのLPC次数に対応している、装置。 - 請求項7に記載の装置であって、
前記時間ドメイン表現は、前記スペクトルノイズ推定の二乗されたフーリエ変換スペクトルの逆フーリエ変換の結果を含む、装置。 - 請求項1~8のいずれか1項に記載の装置であって、
前記LPC表現生成部(100)は、前記ノイズ推定と最後の良好なオーディオフレームのLPC係数のセットとを使用して前記LPC係数のセットを導出するよう構成されている、装置。 - 請求項1~9のいずれか1項に記載の装置であって、
前記LPC表現生成部(100)は、1つの先行する良好なオーディオフレームのLPC係数のセット又は少なくとも2つの先行する良好なオーディオフレームのLPC係数のセットの前記平均値を使用して、前記LPC係数のセットを導出するよう構成され、
幾つかのエラーのある又は欠損したフレームの後で前記LPC係数のセットが前記ノイズ推定と一致するように、前記平均値又は前記先行する良好なオーディオフレームのLPC係数のセットはフェードアウトされる、装置。 - 請求項1~10のいずれか1項に記載の装置であって、
前記LPC表現生成部(100)は、追加のLPC係数のセットを生成するよう構成され、
前記装置はさらに適応型符号帳(104)を含み、
前記LPC合成部(106,108)は、前記ノイズ推定から導出された前記LPC係数のセットを使用して固定型符号帳からの符号帳ベクトルをフィルタリングし、第2の置き換え信号を取得するよう構成され、
前記LPC合成部(106,108)は、前記追加のLPC係数のセットを使用して前記適応型符号帳からの符号帳ベクトルをフィルタリングし、第1の置き換え信号を取得するよう構成され、
前記LPC表現生成部(100)は、少なくとも2つの良好なオーディオフレームのLPC係数のセットの前記平均値を使用して、前記追加のLPC係数のセットを計算するよう構成されており、
前記装置は、前記第1の置き換え信号と前記第2の置き換え信号とを結合して前記エラー隠し信号を取得する、置き換え信号結合部(110)をさらに備える、
装置。 - 請求項11に記載の装置であって、
前記LPC表現生成部(100)は、次式に基づいて前記LPC係数のセットを計算するよう構成され、
- 請求項1~12のいずれか1項に記載の装置であって、
隠されるべきエラーの発生前に受信された信号の信号特性を分析するための信号分析部(200)をさらに含み、
前記信号分析部(200)は分析結果を提供するよう構成され、前記LPC表現生成部(100)は時間変化するフェーディングファクタを使用するよう構成され、前記時間変化するフェーディングファクタは前記分析結果に依存して決定される、装置。 - 請求項13に記載の装置であって、
前記信号特性は信号安定性又は信号クラスであり、
前記時間変化するフェーディングファクタは、不安定又はノイズクラスにある信号についての前記時間変化するフェーディングファクタが、より安定又は調性クラスにある信号に比べて、より短時間で0まで減少するように決定される、装置。 - 請求項1~14のいずれか1項に記載の装置であって、
前記LPC係数のセットからゲイン情報を計算するためのゲイン計算部(600)と、
前記ゲイン情報を使用して前記LPC係数のセットのゲイン影響を補償するための補償部(406、408)と、をさらに含み、
前記補償部(406、408)は、前記符号帳ベクトル又は前記LPC合成部(106,108)の出力信号を重み付けするよう構成されている、装置。 - エラー隠し信号を生成する方法であって、
LPC係数のセットを生成するステップ(100)と、
前記LPC係数のセットを使用して符号帳ベクトルをフィルタリングし、置き換え信号を取得するステップ(106,108)と、
良好なオーディオフレームの受信中にノイズ推定を推定するステップ(206)であって、前記ノイズ推定は前記良好なオーディオフレームに依存している、ステップ(206)と、
を備え、
前記LPC係数のセットを生成するステップ(100)は、前記LPC係数のセットを生成する際に、前記推定するステップ(206)によって推定された前記ノイズ推定と2つ以上の前記良好なオーディオフレームのLPC係数のセットの平均値とを使用(1308,1310)することを含み、
前記エラー隠し信号は前記置き換え信号から導出される、方法。 - コンピュータ又はプロセッサ上で作動するとき、請求項16に記載の方法を実行するためのコンピュータプログラム。
- オーディオ処理システムであって、
オーディオ信号のパケット又はフレームを受信するよう構成されたオーディオ復号器(204)と、
前記オーディオ信号のパケット又はフレームを受信し、あるパケット又はフレームにエラーがあるか又は欠損しているかどうかを決定し、あるパケット又はフレームにエラーがあるか又は欠損していると決定された場合に前記オーディオ復号器(204)に制御メッセージを提供するよう構成された、エラー隠し制御部(200)と、
良好なオーディオフレームの受信中にノイズ推定を推定するノイズ推定部(206)であって、前記ノイズ推定は前記良好なオーディオフレームに依存している、ノイズ推定部(206)と、
を備え、
前記制御メッセージが前記エラー隠し制御部(200)によって提供されたとき、前記オーディオ復号器(204)はエラー隠しモードで作動するよう構成され、
前記制御メッセージが前記エラー隠し制御部(200)によって提供されたとき、前記ノイズ推定部(206)は前記ノイズ推定を前記オーディオ復号器(204)に提供するよう構成され、
前記オーディオ復号器(204)は、
置き換えLPC(線形予測符号化)表現を生成するためのLPC表現生成部(100)と、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングし、エラー隠し信号が導出される元になる置き換え信号を取得する、LPC合成部(106,108)と、
を備え、
前記LPC表現生成部(100)は、前記置き換えLPC表現を生成する際に、前記ノイズ推定部(206)によって推定された前記ノイズ推定を使用するよう構成される、
システム。 - 請求項18に記載のシステムであって、
前記エラー隠し制御部(200)がエラー状況を発見しないとき、前記オーディオ復号器(204)は通常復号化モードで作動するよう構成される、
システム。 - 請求項18に記載のシステムであって、
前記エラー隠し制御部(200)が通常復号化モードからエラー隠しモードへの変更を示したときに、前記ノイズ推定部(206)は前記オーディオ復号器(204)に前記ノイズ推定を提供するよう構成され、前記オーディオ復号器(204)は前記エラー隠しモードでエラー隠しを実行するよう構成される、
システム。 - 請求項18に記載のシステムであって、
前記オーディオ復号器(204)によって実行される通常復号化モードにおける通常ノイズ推定モードから、前記オーディオ復号器(204)によって実行されるエラー隠しモードにおけるノイズ推定準備モードへと切り替えるよう、前記ノイズ推定部(206)は前記エラー隠し制御部(200)によって制御されるよう構成される、
システム。 - 請求項18に記載のシステムであって、
前記ノイズ推定部(206)は、最適平滑化を有する最小統計手法を過去の復号化済み信号(208)に適用し、前記ノイズ推定を導出するよう構成される、システム。 - 請求項18に記載のシステムであって、
前記ノイズ推定部(206)は、
過去の復号化済み信号(208)からスペクトルノイズ推定を導出し、
前記スペクトルノイズ推定をLPC表現へと変換し、
さらに前記LPC表現をISF又はLSFドメインへ変換して、前記ノイズ推定を得るよう構成される、システム。 - 請求項18に記載のシステムであって、
前記ノイズ推定部(206)は、
スペクトルノイズ推定を提供し、
前記スペクトルノイズ推定を時間ドメイン表現へと変換し、
前記時間ドメイン表現の最初のN個のサンプルを使用してレビンソン-ダービン回帰を実行するよう構成され、ここでNは前記置き換えLPC表現のLPC次数に対応している、
システム。 - 請求項24に記載のシステムであって、
前記時間ドメイン表現は、前記スペクトルノイズ推定の二乗されたフーリエ変換スペクトルの逆フーリエ変換の結果を含む、システム。 - 請求項18に記載のシステムであって、
前記LPC表現生成部(100)は、1つの先行する良好なLPC表現又は少なくとも2つの先行する良好なLPC表現の平均値を使用して、前記置き換えLPC表現を導出するよう構成され、
幾つかのエラーのある又は欠損したフレームの後で前記置き換えLPC表現が前記ノイズ推定と一致するように、前記平均値又は前記先行する良好なLPC表現はフェードアウトされる、システム。 - 請求項18に記載のシステムであって、
前記LPC表現生成部(100)は、追加の置き換えLPC表現を生成するよう構成され、
前記システムはさらに適応型符号帳を含み、
前記LPC合成部(106,108)は、前記ノイズ推定から導出された前記置き換えLPC表現を使用して固定型符号帳からの符号帳情報をフィルタリングし、第2の置き換え信号を取得するよう構成され、
前記LPC合成部(106,108)は、前記追加の置き換えLPC表現を使用して前記適応型符号帳からの符号帳情報をフィルタリングし、第1の置き換え信号を取得するよう構成され、
前記LPC表現生成部(100)は、少なくとも2つの良好なLPC表現の平均値を使用して、前記追加の置き換えLPC表現を計算するよう構成されており、
前記システムは、前記第1の置き換え信号と前記第2の置き換え信号とを結合して前記エラー隠し信号を取得する、置き換え信号結合部をさらに備える、
システム。 - 請求項18に記載のシステムであって、
隠されるべきエラーの発生前に受信された信号の信号特性を分析するための信号分析部をさらに含み、
前記信号分析部は分析結果を提供するよう構成され、前記オーディオ復号器(204)は時間変化するフェーディングファクタを使用するよう構成され、前記時間変化するフェーディングファクタは前記分析結果に依存して決定される、システム。 - 請求項28に記載のシステムであって、
前記信号特性は信号安定性又は信号クラスであり、
前記時間変化するフェーディングファクタは、不安定又はノイズクラスにある信号についての前記時間変化するフェーディングファクタが、より安定又は調性クラスにある信号に比べて、より短時間で0まで減少するように決定される、システム。 - オーディオ処理の方法であって、
オーディオ信号のパケット又はフレームを受信することを使用してオーディオ復号化を行うステップと、
前記オーディオ信号のパケット又はフレームを受信し、あるパケット又はフレームにエラーがあるか又は欠損しているかどうかを決定し、あるパケット又はフレームにエラーがあるか又は欠損していると決定された場合に前記オーディオ復号化に制御メッセージを提供する、エラー隠し制御ステップと、
良好なオーディオフレームの受信中にノイズ推定を推定するステップであって、前記ノイズ推定は前記良好なオーディオフレームに依存している、ステップと、
を備え、
前記制御メッセージが提供されたとき、前記オーディオ復号化がエラー隠しモードで作動し、
前記制御メッセージが提供されたとき、前記推定するステップが前記ノイズ推定を前記オーディオ復号化に提供し、
前記オーディオ復号化のステップは、
置き換えLPC表現を生成するステップと、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングし、エラー隠し信号が導出される元になる置き換え信号を取得するステップと、を含み、
前記置き換えLPC表現を生成するステップは、前記置き換えLPC表現を生成する際に、前記推定するステップによって推定された前記ノイズ推定を使用することを含む、
方法。 - コンピュータ上で作動されるとき、オーディオ処理の方法を実行するためのコンピュータプログラムであって、前記方法は、
オーディオ信号のパケット又はフレームを受信することを使用してオーディオ復号化を行うステップと、
前記オーディオ信号のパケット又はフレームを受信し、あるパケット又はフレームにエラーがあるか又は欠損しているかどうかを決定し、あるパケット又はフレームにエラーがあるか又は欠損していると決定された場合に前記オーディオ復号化に制御メッセージを提供する、エラー隠し制御ステップと、
良好なオーディオフレームの受信中にノイズ推定を推定するステップであって、前記ノイズ推定は前記良好なオーディオフレームに依存している、ステップと、
を備え、
前記制御メッセージが提供されたとき、前記オーディオ復号化がエラー隠しモードで作動し、
前記制御メッセージが提供されたとき、前記推定するステップが前記ノイズ推定を前記オーディオ復号化に提供し、
前記オーディオ復号化のステップは、
置き換えLPC表現を生成するステップと、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングし、エラー隠し信号が導出される元になる置き換え信号を取得するステップと、を含み、
前記置き換えLPC表現を生成するステップは、前記置き換えLPC表現を生成する際に、前記推定するステップによって推定された前記ノイズ推定を使用することを含む、
コンピュータプログラム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14160774.7 | 2014-03-19 | ||
EP14160774 | 2014-03-19 | ||
EP14167003 | 2014-05-05 | ||
EP14167003.4 | 2014-05-05 | ||
EP14178761.4 | 2014-07-28 | ||
EP14178761.4A EP2922054A1 (en) | 2014-03-19 | 2014-07-28 | Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018230460A Division JP6773751B2 (ja) | 2014-03-19 | 2018-12-08 | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021006923A JP2021006923A (ja) | 2021-01-21 |
JP7167109B2 true JP7167109B2 (ja) | 2022-11-08 |
Family
ID=51228337
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017500140A Active JP6450511B2 (ja) | 2014-03-19 | 2015-03-04 | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
JP2018230460A Active JP6773751B2 (ja) | 2014-03-19 | 2018-12-08 | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
JP2020166736A Active JP7167109B2 (ja) | 2014-03-19 | 2020-10-01 | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017500140A Active JP6450511B2 (ja) | 2014-03-19 | 2015-03-04 | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
JP2018230460A Active JP6773751B2 (ja) | 2014-03-19 | 2018-12-08 | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
Country Status (18)
Country | Link |
---|---|
US (3) | US10163444B2 (ja) |
EP (2) | EP2922054A1 (ja) |
JP (3) | JP6450511B2 (ja) |
KR (1) | KR101893785B1 (ja) |
CN (2) | CN111370006B (ja) |
AU (1) | AU2015233706B2 (ja) |
BR (1) | BR112016020558B1 (ja) |
CA (1) | CA2942088C (ja) |
ES (1) | ES2662936T3 (ja) |
HK (1) | HK1232337A1 (ja) |
MX (1) | MX357495B (ja) |
MY (1) | MY183512A (ja) |
PL (1) | PL3120347T3 (ja) |
PT (1) | PT3120347T (ja) |
RU (1) | RU2660630C2 (ja) |
SG (1) | SG11201607694UA (ja) |
TW (1) | TWI560704B (ja) |
WO (1) | WO2015139956A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2922055A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information |
EP2922056A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
EP2922054A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation |
NO2780522T3 (ja) * | 2014-05-15 | 2018-06-09 | ||
JPWO2022168559A1 (ja) * | 2021-02-03 | 2022-08-11 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004508597A (ja) | 2000-09-05 | 2004-03-18 | フランス テレコム | オーディオ信号における伝送エラーの抑止シミュレーション |
JP2008058667A (ja) | 2006-08-31 | 2008-03-13 | Sony Corp | 信号処理装置および方法、記録媒体、並びにプログラム |
WO2008056775A1 (fr) | 2006-11-10 | 2008-05-15 | Panasonic Corporation | Dispositif de décodage de paramètre, dispositif de codage de paramètre et procédé de décodage de paramètre |
WO2009084226A1 (ja) | 2007-12-28 | 2009-07-09 | Panasonic Corporation | ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法 |
WO2012110481A1 (en) | 2011-02-14 | 2012-08-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio codec using noise synthesis during inactive phases |
WO2012110447A1 (en) | 2011-02-14 | 2012-08-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for error concealment in low-delay unified speech and audio coding (usac) |
JP6450511B2 (ja) | 2014-03-19 | 2019-01-09 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3316945B2 (ja) | 1993-07-22 | 2002-08-19 | 松下電器産業株式会社 | 伝送誤り補償装置 |
US5574825A (en) | 1994-03-14 | 1996-11-12 | Lucent Technologies Inc. | Linear prediction coefficient generation during frame erasure or packet loss |
DE19526366A1 (de) * | 1995-07-20 | 1997-01-23 | Bosch Gmbh Robert | Verfahren zur Redundanzreduktion bei der Codierung von mehrkanaligen Signalen und Vorrichtung zur Dekodierung von redundanzreduzierten, mehrkanaligen Signalen |
US6208962B1 (en) | 1997-04-09 | 2001-03-27 | Nec Corporation | Signal coding system |
JP3649854B2 (ja) * | 1997-05-09 | 2005-05-18 | 松下電器産業株式会社 | 音声符号化装置 |
CN1134762C (zh) * | 1998-05-27 | 2004-01-14 | Ntt移动通信网株式会社 | 语音译码器和语音译码方法 |
US7072832B1 (en) | 1998-08-24 | 2006-07-04 | Mindspeed Technologies, Inc. | System for speech encoding having an adaptive encoding arrangement |
US7423983B1 (en) | 1999-09-20 | 2008-09-09 | Broadcom Corporation | Voice and data exchange over a packet based network |
JP4218134B2 (ja) | 1999-06-17 | 2009-02-04 | ソニー株式会社 | 復号装置及び方法、並びにプログラム提供媒体 |
US7110947B2 (en) * | 1999-12-10 | 2006-09-19 | At&T Corp. | Frame erasure concealment technique for a bitstream-based feature extractor |
US6757654B1 (en) * | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
US7031926B2 (en) | 2000-10-23 | 2006-04-18 | Nokia Corporation | Spectral parameter substitution for the frame error concealment in a speech decoder |
JP2002202799A (ja) | 2000-10-30 | 2002-07-19 | Fujitsu Ltd | 音声符号変換装置 |
US6968309B1 (en) | 2000-10-31 | 2005-11-22 | Nokia Mobile Phones Ltd. | Method and system for speech frame error concealment in speech decoding |
JP3806344B2 (ja) | 2000-11-30 | 2006-08-09 | 松下電器産業株式会社 | 定常雑音区間検出装置及び定常雑音区間検出方法 |
US7143032B2 (en) | 2001-08-17 | 2006-11-28 | Broadcom Corporation | Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform |
US7379865B2 (en) * | 2001-10-26 | 2008-05-27 | At&T Corp. | System and methods for concealing errors in data transmission |
JP2003295882A (ja) * | 2002-04-02 | 2003-10-15 | Canon Inc | 音声合成用テキスト構造、音声合成方法、音声合成装置及びそのコンピュータ・プログラム |
CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
US20040083110A1 (en) * | 2002-10-23 | 2004-04-29 | Nokia Corporation | Packet loss recovery based on music signal classification and mixing |
JP4698593B2 (ja) * | 2004-07-20 | 2011-06-08 | パナソニック株式会社 | 音声復号化装置および音声復号化方法 |
JP4989971B2 (ja) * | 2004-09-06 | 2012-08-01 | パナソニック株式会社 | スケーラブル復号化装置および信号消失補償方法 |
AU2006208529B2 (en) | 2005-01-31 | 2010-10-28 | Microsoft Technology Licensing, Llc | Method for weighted overlap-add |
US7519535B2 (en) * | 2005-01-31 | 2009-04-14 | Qualcomm Incorporated | Frame erasure concealment in voice communications |
US7610197B2 (en) * | 2005-08-31 | 2009-10-27 | Motorola, Inc. | Method and apparatus for comfort noise generation in speech communication systems |
FR2897977A1 (fr) | 2006-02-28 | 2007-08-31 | France Telecom | Procede de limitation de gain d'excitation adaptative dans un decodeur audio |
WO2008007700A1 (fr) | 2006-07-12 | 2008-01-17 | Panasonic Corporation | Dispositif de décodage de son, dispositif de codage de son, et procédé de compensation de trame perdue |
CN101366079B (zh) * | 2006-08-15 | 2012-02-15 | 美国博通公司 | 用于子带预测编码的基于全带音频波形外插的包丢失隐藏 |
KR101041895B1 (ko) | 2006-08-15 | 2011-06-16 | 브로드콤 코포레이션 | 패킷 손실 후 디코딩된 오디오 신호의 시간 워핑 |
JP5061111B2 (ja) | 2006-09-15 | 2012-10-31 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
WO2008108080A1 (ja) | 2007-03-02 | 2008-09-12 | Panasonic Corporation | 音声符号化装置及び音声復号装置 |
WO2009047461A1 (fr) | 2007-09-21 | 2009-04-16 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite |
CN100524462C (zh) * | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
CN100550712C (zh) | 2007-11-05 | 2009-10-14 | 华为技术有限公司 | 一种信号处理方法和处理装置 |
DE102008004451A1 (de) | 2008-01-15 | 2009-07-23 | Pro Design Electronic Gmbh | Verfahren und Vorrichtung zur Emulation von Hardwarebeschreibungsmodellen zur Herstellung von Prototypen für integrierte Schaltungen |
CN101965612B (zh) | 2008-03-03 | 2012-08-29 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
FR2929466A1 (fr) * | 2008-03-28 | 2009-10-02 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique |
US8301440B2 (en) | 2008-05-09 | 2012-10-30 | Broadcom Corporation | Bit error concealment for audio coding systems |
MX2011000375A (es) | 2008-07-11 | 2011-05-19 | Fraunhofer Ges Forschung | Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada. |
DE102008042579B4 (de) | 2008-10-02 | 2020-07-23 | Robert Bosch Gmbh | Verfahren zur Fehlerverdeckung bei fehlerhafter Übertragung von Sprachdaten |
CN102034476B (zh) | 2009-09-30 | 2013-09-11 | 华为技术有限公司 | 语音帧错误检测的方法及装置 |
KR101761629B1 (ko) | 2009-11-24 | 2017-07-26 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
JP5393608B2 (ja) * | 2010-07-20 | 2014-01-22 | 株式会社日立ハイテクノロジーズ | 自動分析装置 |
EP2458585B1 (en) | 2010-11-29 | 2013-07-17 | Nxp B.V. | Error concealment for sub-band coded audio signals |
US9026434B2 (en) | 2011-04-11 | 2015-05-05 | Samsung Electronic Co., Ltd. | Frame erasure concealment for a multi rate speech and audio codec |
CN105336337B (zh) | 2011-04-21 | 2019-06-25 | 三星电子株式会社 | 针对语音信号或音频信号的量化方法以及解码方法和设备 |
WO2012158159A1 (en) | 2011-05-16 | 2012-11-22 | Google Inc. | Packet loss concealment for audio codec |
WO2012106926A1 (zh) | 2011-07-25 | 2012-08-16 | 华为技术有限公司 | 一种参数域回声控制装置和方法 |
JP5596649B2 (ja) * | 2011-09-26 | 2014-09-24 | 株式会社東芝 | 文書マークアップ支援装置、方法、及びプログラム |
IN2015DN02595A (ja) * | 2012-11-15 | 2015-09-11 | Ntt Docomo Inc | |
US9570083B2 (en) | 2013-04-05 | 2017-02-14 | Dolby International Ab | Stereo audio encoder and decoder |
CN103456307B (zh) * | 2013-09-18 | 2015-10-21 | 武汉大学 | 音频解码器中帧差错隐藏的谱代替方法及系统 |
EP3178441B1 (de) * | 2013-12-20 | 2019-09-04 | Ivoclar Vivadent AG | Verfahren zum verarbeiten eines dentalmaterials, regeleinrichtung für einen dentalofen und dentalofen |
EP2922056A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
EP2922055A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information |
US9837094B2 (en) * | 2015-08-18 | 2017-12-05 | Qualcomm Incorporated | Signal re-use during bandwidth transition period |
-
2014
- 2014-07-28 EP EP14178761.4A patent/EP2922054A1/en not_active Withdrawn
-
2015
- 2015-03-04 WO PCT/EP2015/054486 patent/WO2015139956A1/en active Application Filing
- 2015-03-04 CN CN202010013717.5A patent/CN111370006B/zh active Active
- 2015-03-04 SG SG11201607694UA patent/SG11201607694UA/en unknown
- 2015-03-04 JP JP2017500140A patent/JP6450511B2/ja active Active
- 2015-03-04 AU AU2015233706A patent/AU2015233706B2/en active Active
- 2015-03-04 RU RU2016140812A patent/RU2660630C2/ru active
- 2015-03-04 PL PL15707397T patent/PL3120347T3/pl unknown
- 2015-03-04 MX MX2016012004A patent/MX357495B/es active IP Right Grant
- 2015-03-04 EP EP15707397.4A patent/EP3120347B1/en active Active
- 2015-03-04 MY MYPI2016001681A patent/MY183512A/en unknown
- 2015-03-04 BR BR112016020558-8A patent/BR112016020558B1/pt active IP Right Grant
- 2015-03-04 KR KR1020167028261A patent/KR101893785B1/ko active IP Right Grant
- 2015-03-04 CA CA2942088A patent/CA2942088C/en active Active
- 2015-03-04 PT PT157073974T patent/PT3120347T/pt unknown
- 2015-03-04 ES ES15707397.4T patent/ES2662936T3/es active Active
- 2015-03-04 CN CN201580014728.2A patent/CN106165011B/zh active Active
- 2015-03-11 TW TW104107804A patent/TWI560704B/zh active
-
2016
- 2016-09-16 US US15/267,809 patent/US10163444B2/en active Active
-
2017
- 2017-06-16 HK HK17105994.6A patent/HK1232337A1/zh unknown
-
2018
- 2018-11-01 US US16/178,179 patent/US10621993B2/en active Active
- 2018-12-08 JP JP2018230460A patent/JP6773751B2/ja active Active
-
2020
- 2020-03-27 US US16/833,211 patent/US11423913B2/en active Active
- 2020-10-01 JP JP2020166736A patent/JP7167109B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004508597A (ja) | 2000-09-05 | 2004-03-18 | フランス テレコム | オーディオ信号における伝送エラーの抑止シミュレーション |
JP2008058667A (ja) | 2006-08-31 | 2008-03-13 | Sony Corp | 信号処理装置および方法、記録媒体、並びにプログラム |
WO2008056775A1 (fr) | 2006-11-10 | 2008-05-15 | Panasonic Corporation | Dispositif de décodage de paramètre, dispositif de codage de paramètre et procédé de décodage de paramètre |
WO2009084226A1 (ja) | 2007-12-28 | 2009-07-09 | Panasonic Corporation | ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法 |
WO2012110481A1 (en) | 2011-02-14 | 2012-08-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio codec using noise synthesis during inactive phases |
WO2012110447A1 (en) | 2011-02-14 | 2012-08-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for error concealment in low-delay unified speech and audio coding (usac) |
JP6450511B2 (ja) | 2014-03-19 | 2019-01-09 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 |
Non-Patent Citations (1)
Title |
---|
"Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32kbit/s",Recommendation ITU-T G.718,2008年06月,pp.204-224 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7116521B2 (ja) | パワー補償を使用してエラー隠し信号を生成する装置及び方法 | |
JP7167109B2 (ja) | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 | |
JP6913200B2 (ja) | 個別の符号帳情報についての個別の置き換えlpc表現を用いたエラー隠し信号を生成する装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220601 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7167109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |