JP6817283B2 - 音声/オーディオ信号を処理するための方法および装置 - Google Patents

音声/オーディオ信号を処理するための方法および装置 Download PDF

Info

Publication number
JP6817283B2
JP6817283B2 JP2018242725A JP2018242725A JP6817283B2 JP 6817283 B2 JP6817283 B2 JP 6817283B2 JP 2018242725 A JP2018242725 A JP 2018242725A JP 2018242725 A JP2018242725 A JP 2018242725A JP 6817283 B2 JP6817283 B2 JP 6817283B2
Authority
JP
Japan
Prior art keywords
value
audio
sample value
signal
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018242725A
Other languages
English (en)
Other versions
JP2019061282A (ja
Inventor
▲澤▼新 ▲劉▼
▲澤▼新 ▲劉▼
磊 苗
磊 苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2019061282A publication Critical patent/JP2019061282A/ja
Application granted granted Critical
Publication of JP6817283B2 publication Critical patent/JP6817283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Noise Elimination (AREA)
  • Telephone Function (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

本願は、2014年6月3日に中国特許庁に出願された、「METHOD FOR PROCESSING SPEECH/AUDIO SIGNAL AND APPARATUS」と題する中国特許出願番号201410242233.2に対して優先権を主張する。
本発明は通信分野に関し、詳細には、音声/オーディオ信号を処理するための方法および装置に関する。
現在、音声/オーディオ信号の符号化された情報を復号するとき、より良い聴覚的品質を達成するために、電子デバイスは、復号によって取得された音声/オーディオ信号の雑音成分を再構成する。
現在、電子デバイスは、一般に音声/オーディオ信号にランダム雑音信号を加えることによって、音声/オーディオ信号の雑音成分を再構成する。具体的には、音声/オーディオ信号の雑音成分が再構成された後の信号を取得するために、音声/オーディオ信号およびランダム雑音信号に対して、重み付けされた加算が実行される。音声/オーディオ信号は、時間領域信号、周波数領域信号または励振信号であってよく、または、低周波信号、高周波信号等であってよい。
しかしながら、発明人は、音声/オーディオ信号がオンセットまたはオフセットを有する信号である場合、音声/オーディオ信号の雑音成分を再構成するためのこの方法は、音声/オーディオ信号の雑音成分が再構成された後に取得される信号がエコーを有するという結果になり、それによって、雑音成分が再構成された後に取得される信号の聴覚的品質に影響を及ぼすことを発見する。
本発明の実施形態は、音声/オーディオ信号を処理するための方法および装置を提供し、その結果、オンセットまたはオフセットを有する音声/オーディオ信号について、音声/オーディオ信号の雑音成分が再構成されるとき、音声/オーディオ信号の雑音成分が再構成された後に取得される信号はエコーを有しず、それによって、雑音成分が再構成された後に取得される信号の聴覚的品質を改善する。
第1の態様によると、本発明の実施形態は音声/オーディオ信号を処理するための方法を提供し、ここで、方法は、
ビットストリームを受信し、且つ、ビットストリームを復号して、音声/オーディオ信号を取得するステップと、
音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定するステップであって、ここで、第1の音声/オーディオ信号は、音声/オーディオ信号内にあり、第1の音声/オーディオ信号の雑音成分は、再構築される必要がある、ステップと、
第1の音声/オーディオ信号における各サンプル値の符号および第1の音声/オーディオ信号における各サンプル値の振幅値を決定するステップと、
適応性のある正規化された長さを決定するステップと、
適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値を決定するステップと、
各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号を決定するステップであって、ここで、第2の音声/オーディオ信号は、第1の音声/オーディオ信号のための雑音成分再構成することによって取得される信号である、ステップとを含む。
第1の態様を参照すると、第1の態様の第1の可能な実施方式では、適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値を決定するステップは、
各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算して、各サンプル値に対応する平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定するステップと、
各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算するステップとを含む。
第1の態様の第1の可能な実施方式を参照すると、第1の態様の第2の可能な実施方式では、各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算するステップは、
各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定するステップと、
サンプル値が属するサブバンド内の全てのサンプル値の振幅値の平均値を計算して、計算によって取得される平均値をサンプル値に対応する平均振幅値として使用するステップとを含む。
第1の態様の第2の可能な実施方式を参照すると、第1の態様の第3の可能な実施方式では、各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定するステップは、
適応性のある正規化された長さに従って、事前に設定された順序で、全てのサンプル値に対してサブバンド分類を実行して、各サンプル値について、サンプル値を含むサブバンドをサンプル値が属するサブバンドとして決定するステップか、または、
各サンプル値について、サンプル値の前のm個のサンプル値、サンプル値およびサンプル値の後のn個のサンプル値からなるサブバンドを、サンプル値が属するサブバンドとして決定するステップであって、ここで、mおよびnは適応性のある正規化された長さに依存し、mは0よりも小さくない整数であり、nは0よりも小さくない整数である、ステップを含む。
第1の態様の第1の可能な実施方式、および/または第1の態様の第2の可能な実施方式、および/または第1の態様の第3の可能な実施方式を参照すると、第1の態様の第4の可能な実施方式では、各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算するステップは、
各サンプル値の振幅値から、各サンプル値に対応する振幅外乱値を差し引いて、各サンプル値の振幅値と各サンプル値に対応する振幅外乱値との間の差を取得し、取得された差を、各サンプル値の調整された振幅値として使用するステップを含む。
第1の態様、および/または第1の態様の第1の可能な実施方式、および/または第1の態様の第2の可能な実施方式、および/または第1の態様の第3の可能な実施方式、および/または第1の態様の第4の可能な実施方式を参照すると、第1の態様の第5の可能な実施方式では、適応性のある正規化された長さを決定するステップは、
音声/オーディオ信号内の低周波帯域信号をN個のサブバンドに分割するステップであって、ここで、Nは自然数である、ステップと、
各サブバンドのピーク対平均比を計算して、そのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数を決定するステップと、
音声/オーディオ信号内の高周波帯域信号の信号タイプおよびサブバンドの数に従って、適応性のある正規化された長さを計算するステップとを含む。
第1の態様の第5の可能な実施方式を参照すると、第1の態様の第6の可能な実施方式では、音声/オーディオ信号内の高周波帯域信号の信号タイプおよびサブバンドの数に従って、適応性のある正規化された長さを計算するステップは、
式L=K+α×Mに従って、適応性のある正規化された長さを計算するステップであって、ここで、
Lは適応性のある正規化された長さであり、Kは音声/オーディオ信号内の高周波帯域信号の信号タイプに対応する数値であり、高周波帯域信号の異なる信号タイプは異なる数値Kに対応し、Mはそのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数であり、αは1よりも小さい定数である、ステップを含む。
第1の態様、および/または第1の態様の第1の可能な実施方式、および/または第1の態様の第2の可能な実施方式、および/または第1の態様の第3の可能な実施方式、および/または第1の態様の第4の可能な実施方式を参照すると、第1の態様の第7の可能な実施方式では、適応性のある正規化された長さを決定するステップは、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するステップであって、ここで、第1の長さの値は第2の長さの値よりも大きい、ステップか、または、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するステップか、または、
音声/オーディオ信号内の高周波帯域信号の信号タイプに従って、適応性のある正規化された長さを決定するステップであって、ここで、高周波帯域信号の異なる信号タイプは、異なる適応性のある正規化された長さに対応する、ステップを含む。
第1の態様、および/または第1の態様の第1の可能な実施方式、および/または第1の態様の第2の可能な実施方式、および/または第1の態様の第3の可能な実施方式、および/または第1の態様の第4の可能な実施方式、および/または第1の態様の第5の可能な実施方式、および/または第1の態様の第6の可能な実施方式、および/または第1の態様の第7の可能な実施方式を参照すると、第1の態様の第8の可能な実施方式では、各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号を決定するステップは、
各サンプル値の符号および調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するステップか、または、
修正因子を計算して、修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行して、各サンプル値の符号および修正処理の後に取得された調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するステップを含む。
第1の態様の第8の可能な実施方式を参照すると、第1の態様の第9の可能な実施方式では、修正因子を計算するステップは、
式β=a/Lを使用することによって、修正因子を計算するステップであって、ここで、βは修正因子であり、Lは適応性のある正規化された長さであり、aは1よりも大きい定数である、ステップを含む。
第1の態様の第8の可能な実施方式、および/または第1の態様の第9の可能な実施方式を参照すると、第1の態様の第10の可能な実施方式では、修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行するステップは、
式Y=y×(b-β)を使用することによって、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して修正処理を実行するステップであって、
ここで、Yは修正処理の後に取得された調整された振幅値であり、yは、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値であり、bは定数であるとともに0<b<2である、ステップを含む。
第2の態様によると、本発明の実施形態は音声/オーディオ信号の雑音成分を再構成するための装置を提供し、装置は、
ビットストリームを受信し、且つ、ビットストリームを復号して、音声/オーディオ信号を取得するように構成されるビットストリーム処理ユニットと、
ビットストリーム処理ユニットによって取得された音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定するように構成される信号決定ユニットであって、ここで、第1の音声/オーディオ信号は、復号によって取得された音声/オーディオ信号内にあり、第1の音声/オーディオ信号の雑音成分は、再構築される必要がある、信号決定ユニットと、
信号決定ユニットによって決定された第1の音声/オーディオ信号における各サンプル値の符号および信号決定ユニットによって決定された第1の音声/オーディオ信号における各サンプル値の振幅値を決定するように構成される第1の決定ユニットと、
適応性のある正規化された長さを決定するように構成される第2の決定ユニットと、
第2の決定ユニットによって決定された適応性のある正規化された長さおよび各サンプル値のものであるとともに第1の決定ユニットによって決定された振幅値に従って、各サンプル値の調整された振幅値を決定するように構成される第3の決定ユニットと、
各サンプル値のものであるとともに第1の決定ユニットによって決定された符号および各サンプル値のものであるとともに第3の決定ユニットによって決定された調整された振幅値に従って、第2の音声/オーディオ信号を決定するように構成される第4の決定ユニットであって、ここで、第2の音声/オーディオ信号は、第1の音声/オーディオ信号のための雑音成分再構成することによって取得される信号である、第4の決定ユニットとを含む。
第2の態様を参照すると、第2の態様の第1の可能な実施方式では、第3の決定ユニットは、
各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算して、各サンプル値に対応する平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定するように構成される決定サブユニットと、
各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算するように構成される調整された振幅値計算ユニットとを含む。
第2の態様の第1の可能な実施方式を参照すると、第2の態様の第2の可能な実施方式では、決定サブユニットは、
各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定するように構成される決定モジュールと、
サンプル値が属するサブバンド内の全てのサンプル値の振幅値の平均値を計算して、計算によって取得される平均値をサンプル値に対応する平均振幅値として使用するように構成される計算モジュールとを含む。
第2の態様の第2の可能な実施方式を参照すると、第2の態様の第3の可能な実施方式では、決定モジュールは、具体的には、
適応性のある正規化された長さに従って、事前に設定された順序で、全てのサンプル値に対してサブバンド分類を実行して、各サンプル値について、サンプル値を含むサブバンドをサンプル値が属するサブバンドとして決定するか、または、
各サンプル値について、サンプル値の前のm個のサンプル値、サンプル値およびサンプル値の後のn個のサンプル値からなるサブバンドを、サンプル値が属するサブバンドとして決定するように構成され、ここで、mおよびnは適応性のある正規化された長さに依存し、mは0よりも小さくない整数であり、nは0よりも小さくない整数である。
第2の態様の第1の可能な実施方式、および/または第2の態様の第2の可能な実施方式、および/または第2の態様の第3の可能な実施方式を参照すると、第2の態様の第4の可能な実施方式では、調整された振幅値計算サブユニットは、具体的には、
各サンプル値の振幅値から、各サンプル値に対応する振幅外乱値を差し引いて、各サンプル値の振幅値と各サンプル値に対応する振幅外乱値との間の差を取得し、取得された差を、各サンプル値の調整された振幅値として使用するように構成される。
第2の態様、および/または第2の態様の第1の可能な実施方式、および/または第2の態様の第2の可能な実施方式、および/または第2の態様の第3の可能な実施方式、および/または第2の態様の第4の可能な実施方式を参照すると、第2の態様の第5の可能な実施方式では、第2の決定ユニットは、
音声/オーディオ信号内の低周波帯域信号をN個のサブバンドに分割するように構成される分割サブユニットであって、ここで、Nは自然数である、分割サブユニットと、
各サブバンドのピーク対平均比を計算して、そのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数を決定するように構成される数決定サブユニットと、
音声/オーディオ信号内の高周波帯域信号の信号タイプおよびサブバンドの数に従って、適応性のある正規化された長さを計算するように構成される長さ計算サブユニットとを含む。
第2の態様の第5の可能な実施方式を参照すると、第2の態様の第6の可能な実施方式では、長さ計算サブユニットは、具体的には、
式L=K+α×Mに従って、適応性のある正規化された長さを計算するように構成され、ここで、
Lは適応性のある正規化された長さであり、Kは音声/オーディオ信号内の高周波帯域信号の信号タイプに対応する数値であり、高周波帯域信号の異なる信号タイプは異なる数値Kに対応し、Mはそのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数であり、αは1よりも小さい定数である。
第2の態様、および/または第2の態様の第1の可能な実施方式、および/または第2の態様の第2の可能な実施方式、および/または第2の態様の第3の可能な実施方式、および/または第2の態様の第4の可能な実施方式を参照すると、第2の態様の第7の可能な実施方式では、第2の決定ユニットは、具体的には、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
音声/オーディオ信号内の高周波帯域信号の信号タイプに従って、適応性のある正規化された長さを決定するように構成され、
ここで、第1の長さの値は第2の長さの値よりも大きく、
高周波帯域信号の異なる信号タイプは、異なる適応性のある正規化された長さに対応する。
第2の態様、および/または第2の態様の第1の可能な実施方式、および/または第2の態様の第2の可能な実施方式、および/または第2の態様の第3の可能な実施方式、および/または第2の態様の第4の可能な実施方式、および/または第2の態様の第5の可能な実施方式、および/または第2の態様の第6の可能な実施方式、および/または第2の態様の第7の可能な実施方式を参照すると、第2の態様の第8の可能な実施方式では、第4の決定ユニットは、具体的には、
各サンプル値の符号および調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するか、または、
修正因子を計算して、修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行して、各サンプル値の符号および修正処理の後に取得された調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するように構成される。
第2の態様の第8の可能な実施方式を参照すると、第2の態様の第9の可能な実施方式では、第4の決定ユニットは、具体的には、式β=a/Lを使用することによって、修正因子を計算するように構成され、ここで、βは修正因子であり、Lは適応性のある正規化された長さであり、aは1よりも大きい定数である。
第2の態様の第8の可能な実施方式、および/または第2の態様の第9の可能な実施方式を参照すると、第2の態様の第10の可能な実施方式では、第4の決定ユニットは、具体的には、
式Y=y×(b-β)を使用することによって、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して修正処理を実行するように構成され、
ここで、Yは修正処理の後に取得された調整された振幅値であり、yは、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値であり、bは定数であるとともに0<b<2である。
実施形態では、音声/オーディオ信号を取得するために、ビットストリームが受信されて、且つ、ビットストリームが復号され、音声/オーディオ信号に従って、第1の音声/オーディオ信号が決定され、第1の音声/オーディオ信号における各サンプル値の符号および第1の音声/オーディオ信号における各サンプル値の振幅値が決定され、適応性のある正規化された長さが決定され、適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値が決定され、各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号が決定される。このプロセスでは、元の信号、すなわち、第1の音声/オーディオ信号のみが処理され、且つ、新しい信号は第1の音声/オーディオ信号に追加されず、その結果、雑音成分が再構成された後に取得される第2の音声/オーディオ信号に新しいエネルギーは追加されない。従って、第1の音声/オーディオ信号がオンセットまたはオフセットを有する場合、第2の音声/オーディオ信号にエコーは追加されず、それによって、第2の音声/オーディオ信号の聴覚的品質を改善する。
前述の概要および以下の詳細な説明は、単に例示的なものであるとともに、本発明の保護範囲を限定することを意図しないことは理解されるべきである。
本発明の実施形態における、または従来技術における技術的解決手段をより明確に説明するために、以下では、実施形態または従来技術を説明するために必要とされる添付図面を簡潔に導入する。明らかに、以下の説明における添付図面は、単に本発明のいくつかの実施形態を示し、且つ、当業者は、創造的努力なしにこれらの添付図面から他の図面をさらに導出することができる。
図1は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための方法の概略フローチャートである。 図1Aは、本発明の実施形態に係るサンプル値を分類する例の概略図である。 図1Bは、本発明の実施形態に係るサンプル値を分類する例の別の概略図である。 図2は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための別の方法の概略フローチャートである。 図3は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための別の方法の概略フローチャートである。 図4は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための装置の概略構成図である。 図5は、本発明の実施形態に係る電子デバイスの概略構成図である。
前述の添付図面は本発明の具体的な実施形態を示し、且つ、より詳細な説明は以下で提供される。添付図面および文字の説明は、いかなる方式においても、本発明のアイデアの範囲を限定することを意図されないが、特定の実施形態を参照して、当業者のために本発明の概念を説明することを意図される。
以下では、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決手段を明確且つ完全に説明する。明らかに、説明される実施形態は本発明の実施形態の全てではなく単に一部である。創造的努力なしに本発明の実施形態に基づいて当業者によって取得される全ての他の実施形態は、本発明の保護範囲に包含されるべきである。
多数の具体的な詳細が、本発明の完全な理解を提供するために、以下の詳細な説明内で言及される。しかしながら、当業者は、本発明がこれらの具体的な詳細なしに実施され得ることを理解するべきである。他の実施形態では、公然知られている方法、プロセス、構成要素および回路は、実施形態を不必要に不明瞭にしないために、詳細に説明されない。
図1を参照すると、図1は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための方法のフローチャートである。方法は、以下を含む:
ステップ101: ビットストリームを受信し、且つ、ビットストリームを復号して、音声/オーディオ信号を取得する。
ビットストリームを復号して、音声/オーディオ信号を取得する方法に対する詳細は、本明細書では説明されない。
ステップ102: 音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定し、ここで、第1の音声/オーディオ信号は、復号によって取得される音声/オーディオ信号内にあり、第1の音声/オーディオ信号の雑音成分は、再構築される必要がある信号である。
第1の音声/オーディオ信号は、復号によって取得される音声/オーディオ信号における、低周波帯域信号、高周波帯域信号、フルバンド信号等であってよい。
復号によって取得される音声/オーディオ信号は、低周波帯域信号および高周波帯域信号を含んでよく、または、フルバンド信号を含んでよい。
ステップ103: 第1の音声/オーディオ信号における各サンプル値の符号および第1の音声/オーディオ信号における各サンプル値の振幅値を決定する。
第1の音声/オーディオ信号が異なる実施方式を有するとき、サンプル値の実施方式もまた異なってよい。例えば、第1の音声/オーディオ信号が周波数領域信号である場合、サンプル値はスペクトル係数であってよく、音声/オーディオ信号が時間領域信号である場合、サンプル値はサンプルポイント値であってよい。
ステップ104: 適応性のある正規化された長さを決定する。
適応性のある正規化された長さは、復号によって取得された音声/オーディオ信号の低周波帯域信号および/または高周波帯域信号の関連パラメータに従って決定されてよい。具体的には、関連パラメータは信号タイプ、ピーク対平均比等を含んでよい。例えば、可能な実施方式では、適応性のある正規化された長さを決定するステップは、
音声/オーディオ信号内の低周波帯域信号をN個のサブバンドに分割するステップであって、ここで、Nは自然数である、ステップと、
各サブバンドのピーク対平均比を計算して、そのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数を決定するステップと、
音声/オーディオ信号内の高周波帯域信号の信号タイプおよびサブバンドの数に従って、適応性のある正規化された長さを計算するステップとを含んでよい。
任意で、音声/オーディオ信号内の高周波帯域信号の信号タイプおよびサブバンドの数に従って、適応性のある正規化された長さを計算するステップは、
式L=K+α×Mに従って、適応性のある正規化された長さを計算するステップであって、ここで、
Lは適応性のある正規化された長さであり、Kは音声/オーディオ信号内の高周波帯域信号の信号タイプに対応する数値であり、高周波帯域信号の異なる信号タイプは異なる数値Kに対応し、Mはそのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数であり、αは1よりも小さい定数である、ステップを含んでよい。
別の可能な実施方式では、適応性のある正規化された長さは、音声/オーディオ信号内の低周波帯域信号の信号タイプおよびサブバンドの数に従って計算されてよい。具体的な計算式については、式L=K+α×Mを参照されたい。この場合、Kは音声/オーディオ信号内の低周波帯域信号の信号タイプに対応する数値であることにおいてのみ違いがある。低周波帯域信号の異なる信号タイプは、異なる数値Kに対応する。
第3の可能な実施方式では、適応性のある正規化された長さを決定するステップは、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するステップを含んでよい。第1の長さの値は第2の長さの値よりも大きい。第1の長さの値および第2の長さの値はまた、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比の比、または低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差を使用することによる計算によって取得されてもよい。具体的な計算方法は限定されない。
第4の可能な実施方式では、適応性のある正規化された長さを決定するステップは、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するステップを含んでよい。第1の長さの値は第2の長さの値よりも大きい。第1の長さの値および第2の長さの値はまた、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比の比、または低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差を使用することによる計算によって取得されてもよい。具体的な計算方法は限定されない。
第5の可能な実施方式では、適応性のある正規化された長さを決定するステップは、音声/オーディオ信号内の高周波帯域信号の信号タイプに従って、適応性のある正規化された長さを決定するステップを含んでよい。異なる信号タイプは、異なる適応性のある正規化された長さに対応する。例えば、信号タイプが高調波信号であるとき、対応する適応性のある正規化された長さは32であり、信号タイプが正常信号であるとき、対応する適応性のある正規化された長さは16であり、信号タイプが過渡信号であるとき、対応する適応性のある正規化された長さは8である。
ステップ105: 適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値を決定する。
適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値を決定するステップは、
各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算して、各サンプル値に対応する平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定するステップと、
各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算するステップとを含んでよい。
各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算するステップは、
各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定するステップと、
サンプル値が属するサブバンド内の全てのサンプル値の振幅値の平均値を計算して、計算によって取得される平均値をサンプル値に対応する平均振幅値として使用するステップとを含んでよい。
各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定するステップは、
適応性のある正規化された長さに従って、事前に設定された順序で、全てのサンプル値に対してサブバンド分類を実行して、各サンプル値について、サンプル値を含むサブバンドをサンプル値が属するサブバンドとして決定するステップを含んでよい。
事前に設定された順序は、例えば、低周波から高周波の順序または高周波から低周波の順序であってよく、このことは本明細書では限定されない。
例えば、図1Aを参照すると、昇順のサンプル値がそれぞれx1, x2, x3, …, およびxnであり、且つ、適応性のある正規化された長さが5であると仮定すると、x1からx5は1つのサブバンドに分類されてよく、x6からx10は1つのサブバンドに分類されてよい。類推によって、いくつかのサブバンドが取得される。従って、x1からx5における各サンプル値について、サブバンドx1からx5は、各サンプル値が属するサブバンドであり、且つ、x6からx10における各サンプル値について、サブバンドx6からx10は、各サンプル値が属するサブバンドである。
あるいは、各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定するステップは、
各サンプル値について、サンプル値の前のm個のサンプル値、サンプル値およびサンプル値の後のn個のサンプル値からなるサブバンドを、サンプル値が属するサブバンドとして決定するステップであって、ここで、mおよびnは適応性のある正規化された長さに依存し、mは0よりも小さくない整数であり、nは0よりも小さくない整数である、ステップを含んでよい。
例えば、図1Bを参照すると、昇順のサンプル値がそれぞれx1, x2, x3, …, およびxnであり、適応性のある正規化された長さが5であり、mは2であり、nは2であると仮定される。サンプル値x3について、x1からx5からなるサブバンドは、サンプル値x3が属するサブバンドである。サンプル値x4について、x2からx6からなるサブバンドは、サンプル値x4が属するサブバンドである。残りは類推によって推測されることができる。サンプル値x1およびx2が属するサブバンドを形成する十分なサンプル値がサンプル値x1およびx2の前になく、且つ、サンプル値x(n-1)およびxnが属するサブバンドを形成する十分なサンプル値がサンプル値x(n-1)およびxnの後にないため、実際の適用においては、x1, x2, x(n-1)およびxnが属するサブバンドは自律的に設定されてよい。例えば、サンプル値自身が、サンプル値が属するサブバンドにおけるサンプル値の欠足を補うために追加されてよい。例えば、サンプル値x1について、サンプル値x1の前にサンプル値はなく、且つ、x1, x1, x1, x2およびx3がサンプル値x1が属するサブバンドとして使用されてよい。
各サンプル値に対応する振幅外乱値が、各サンプル値に対応する平均振幅値に従って決定されるとき、各サンプル値に対応する平均振幅値は、各サンプル値に対応する振幅外乱値として直接使用されてよい。あるいは、事前に設定された操作が、各サンプル値に対応する振幅外乱値を取得するために、各サンプル値に対応する平均振幅値に対して実行されてよい。事前に設定された操作は、例えば、平均振幅値に数値が掛けられることであってよい。数値は一般に0よりも大きい。
各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算するステップは、
各サンプル値の振幅値から、各サンプル値に対応する振幅外乱値を差し引いて、各サンプル値の振幅値と各サンプル値に対応する振幅外乱値との間の差を取得し、取得された差を、各サンプル値の調整された振幅値として使用するステップを含んでよい。
ステップ106: 各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号を決定し、ここで、第2の音声/オーディオ信号は、第1の音声/オーディオ信号のための雑音成分再構成することによって取得される信号である。
可能な実施方式では、各サンプル値の新しい値は、第2の音声/オーディオ信号を取得するために、各サンプル値の符号および調整された振幅値に従って決定されてよい。
別の可能な実施方式では、各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号を決定するステップは、
修正因子を計算するステップと
修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行するステップと、
各サンプル値の符号および修正処理の後に取得された調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するステップとを含んでよい。
可能な実施方式では、取得された第2の音声/オーディオ信号は、全てのサンプル値の新しい値を含んでよい。
修正因子は、適応性のある正規化された長さに従って計算されてよい。具体的には、修正因子βはa/Lと等しくてよく、ここで、aは1よりも大きい定数である。
修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行するステップは、
式Y=y×(b-β)を使用することによって、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して修正処理を実行するステップであって、
ここで、Yは修正処理の後に取得された調整された振幅値であり、yは、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値であり、bは定数であるとともに0<b<2である、ステップを含んでよい。
ステップ103における、第1の音声/オーディオ信号における各サンプル値の符号を抽出するステップは、ステップ106の前のいつ行われてもよい。第1の音声/オーディオ信号における各サンプル値の符号を抽出するステップとステップ104とステップ105との間に必要な実行順序はない。
ステップ103とステップ104との間の実行順序は限定されない。
従来技術では、音声/オーディオ信号がオンセットまたはオフセットを有する信号であるとき、音声/オーディオ信号における時間領域信号は1つのフレーム内にあってよい。この場合、音声/オーディオ信号の一部は、極端に大きい信号サンプルポイント値および極端に強力な信号エネルギーを有し、一方で音声/オーディオ信号の別の部分は、極端に小さい信号サンプルポイント値および極端に弱い信号エネルギーを有する。この場合、雑音成分が再構成された後に取得される信号を取得するために、ランダム雑音信号が周波数領域における音声/オーディオ信号に追加される。ランダム雑音信号のエネルギーは、なお時間領域における1つのフレーム内にあるため、雑音成分が再構成された後に取得される周波数領域信号が時間領域信号に変換されるとき、新たに追加されたランダム雑音信号は一般に、変換によって取得された時間領域信号内の、その元のサンプルポイント値が極端に小さい部分の信号エネルギーを増加させる。この部分の信号サンプルポイント値もまた、対応して比較的大きくなる。その結果、雑音成分が再構成された後に取得される信号はいくつかのエコーを有し、このことは、雑音成分が再構成された後に取得される信号の聴覚的品質に影響を及ぼす。
本実施形態では、音声/オーディオ信号に従って、第1の音声/オーディオ信号が決定され、第1の音声/オーディオ信号における各サンプル値の符号および第1の音声/オーディオ信号における各サンプル値の振幅値が決定され、適応性のある正規化された長さが決定され、適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値が決定され、各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号が決定される。このプロセスでは、元の信号、すなわち、第1の音声/オーディオ信号のみが処理され、且つ、新しい信号は第1の音声/オーディオ信号に追加されず、その結果、雑音成分が再構成された後に取得される第2の音声/オーディオ信号に新しいエネルギーは追加されない。従って、第1の音声/オーディオ信号がオンセットまたはオフセットを有する場合、第2の音声/オーディオ信号にエコーは追加されず、それによって、第2の音声/オーディオ信号の聴覚的品質を改善する。
図2を参照すると、図2は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための方法の別の概略フローチャートである。方法は、以下を含む:
ステップ201: ビットストリームを受信し、ビットストリームを復号して、音声/オーディオ信号を取得し、高周波帯域信号を第1の音声/オーディオ信号として決定し、ここで、復号によって取得された音声/オーディオ信号は、低周波帯域信号および高周波帯域信号を含む。
ビットストリームを復号する方法は、本発明では限定されない。
ステップ202: 高周波帯域信号における各サンプル値の符号および高周波帯域信号における各サンプル値の振幅値を決定する。
例えば、高周波帯域信号におけるサンプル値の係数が-4である場合、サンプル値の符号は“-”であり、且つ、振幅値は4である。
ステップ203: 適応性のある正規化された長さを決定する。
適応性のある正規化された長さを決定する方法に対する詳細については、ステップ104における関連する説明を参照されたい。詳細はここでは再び説明されない。
ステップ204: 各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を決定して、各サンプル値に対応する平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定する。
各サンプル値に対応する平均振幅値を決定する方法については、ステップ105における関連する説明を参照されたい。詳細はここでは再び説明されない。
ステップ205: 各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算する。
各サンプル値の調整された振幅値を決定する方法については、ステップ105における関連する説明を参照されたい。詳細はここでは再び説明されない。
ステップ206: 各サンプル値の符号および調整された振幅値に従って、第2の音声/オーディオ信号を決定する。
第2の音声/オーディオ信号は、第1の音声/オーディオ信号の雑音成分が再構成された後に取得される信号である。
このステップにおける具体的な実施については、ステップ106における関連する説明を参照されたい。詳細はここでは再び説明されない。
ステップ202における、第1の音声/オーディオ信号における各サンプル値の符号を決定するステップは、ステップ206の前のいつ行われてもよい。第1の音声/オーディオ信号における各サンプル値の符号を決定するステップとステップ203、ステップ204およびステップ205との間に必要な実行順序はない。
ステップ202とステップ203との間の実行順序は限定されない。
ステップ207: 第2の音声/オーディオ信号と復号によって取得された音声/オーディオ信号における低周波帯域信号とを結合して、出力信号を取得する。
第1の音声/オーディオ信号が、復号によって取得された音声/オーディオ信号における低周波帯域信号である場合、第2の音声/オーディオ信号および復号によって取得された音声/オーディオ信号における高周波帯域信号が、出力信号を取得するために結合されてよい。
第1の音声/オーディオ信号が、復号によって取得された音声/オーディオ信号における高周波帯域信号である場合、第2の音声/オーディオ信号および復号によって取得された音声/オーディオ信号における低周波帯域信号が、出力信号を取得するために結合されてよい。
第1の音声/オーディオ信号が、復号によって取得された音声/オーディオ信号におけるフルバンド信号である場合、第2の音声/オーディオ信号が、出力信号として直接決定されてよい。
本実施形態では、復号によって取得された音声/オーディオ信号における高周波帯域信号の雑音成分を再構成することによって、第2の音声/オーディオ信号を取得するために、高周波帯域信号の雑音成分が最終的に再構成される。従って、高周波帯域信号がオンセットまたはオフセットを有する場合、第2の音声/オーディオ信号にエコーは追加されず、それによって、第2の音声/オーディオ信号の聴覚的品質を改善するとともに、最終的に出力される出力信号の聴覚的品質をさらに改善する。
図3を参照すると、図3は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための方法の別の概略フローチャートである。方法は、以下を含む:
ステップ301からステップ305は、ステップ201からステップ205と同じであり、且つ、詳細はここでは再び説明されない。
ステップ306: 修正因子を計算して、修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行する。
このステップにおける具体的な実施については、ステップ106における関連する説明を参照されたい。詳細はここでは再び説明されない。
ステップ307: 各サンプル値の符号および修正処理の後に取得された調整された振幅値に従って、第2の音声/オーディオ信号を決定する。
このステップにおける具体的な実施については、ステップ106における関連する説明を参照されたい。詳細はここでは再び説明されない。
ステップ302における、第1の音声/オーディオ信号における各サンプル値の符号を決定するステップは、ステップ307の前のいつ行われてもよい。第1の音声/オーディオ信号における各サンプル値の符号を決定するステップとステップ303、ステップ304、ステップ305およびステップ306との間に必要な実行順序はない。
ステップ302とステップ303との間の実行順序は限定されない。
ステップ308: 第2の音声/オーディオ信号と復号によって取得された音声/オーディオ信号における低周波帯域信号とを結合して、出力信号を取得する。
図2に示される実施形態と比較すると、本実施形態では、各サンプル値の調整された振幅値が取得された後、且つ、調整された振幅値内の、0よりも大きい調整された振幅値がさらに修正され、それによって、第2の音声/オーディオ信号の聴覚的品質をさらに改善するとともに、最終的に出力される出力信号の聴覚的品質をさらに改善する。
本発明の実施形態に係る、図2および図3における音声/オーディオ信号の雑音成分を再構成するための例示的な方法では、復号によって取得された音声/オーディオ信号における高周波帯域信号が、第1の音声/オーディオ信号として決定され、且つ、第2の音声/オーディオ信号を最終的に取得するために、第1の音声/オーディオ信号の雑音成分が再構成される。実際の適用においては、本発明の実施形態に係る、音声/オーディオ信号の雑音成分を再構成するための方法に従って、第2の音声/オーディオ信号を最終的に取得するために、復号によって取得された音声/オーディオ信号のフルバンド信号の雑音成分が再構成されてよく、または、復号によって取得された音声/オーディオ信号の低周波帯域信号の雑音成分が再構成される。その実施プロセスについては、図2および図3に示される例示的な方法を参照されたい。第1の音声/オーディオ信号が決定されるとき、フルバンド信号または低周波帯域信号が第1の音声/オーディオ信号として決定されることにおいてのみ違いがある。ここでは、例を1つ1つ使用することによって説明は提供されない。
図4を参照すると、図4は、本発明の実施形態に係る音声/オーディオ信号の雑音成分を再構成するための装置の概略構成図である。装置は電子デバイスに配置されてよい。装置400は、
ビットストリームを受信し、且つ、ビットストリームを復号して、音声/オーディオ信号を取得し、音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定するように構成されるビットストリーム処理ユニット410であって、ここで、第1の音声/オーディオ信号は、復号によって取得された音声/オーディオ信号内にあり、第1の音声/オーディオ信号の雑音成分は、再構築される必要がある、ビットストリーム処理ユニット410と、
ビットストリーム処理ユニット410によって取得される音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定するように構成される信号決定ユニット420と、
信号決定ユニット420によって決定された第1の音声/オーディオ信号における各サンプル値の符号および信号決定ユニット420によって決定された第1の音声/オーディオ信号における各サンプル値の振幅値を決定するように構成される第1の決定ユニット430と、
適応性のある正規化された長さを決定するように構成される第2の決定ユニット440と、
第2の決定ユニット440によって決定された適応性のある正規化された長さおよび各サンプル値のものであるとともに第1の決定ユニット430によって決定された振幅値に従って、各サンプル値の調整された振幅値を決定するように構成される第3の決定ユニット450と、
各サンプル値のものであるとともに第1の決定ユニット430によって決定された符号および各サンプル値のものであるとともに第3の決定ユニット450によって決定された調整された振幅値に従って、第2の音声/オーディオ信号を決定するように構成される第4の決定ユニット460であって、ここで、第2の音声/オーディオ信号は、第1の音声/オーディオ信号のための雑音成分再構成することによって取得される信号である、第4の決定ユニット460とを含んでよい。
任意で、第3の決定ユニット450は、
各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算して、各サンプル値に対応する平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定するように構成される決定サブユニットと、
各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算するように構成される調整された振幅値計算サブユニットとを含んでよい。
任意で、決定サブユニットは、
各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定するように構成される決定モジュールと、
サンプル値が属するサブバンド内の全てのサンプル値の振幅値の平均値を計算して、計算によって取得される平均値をサンプル値に対応する平均振幅値として使用するように構成される計算モジュールとを含んでよい。
任意で、決定モジュールは、具体的には、
適応性のある正規化された長さに従って、事前に設定された順序で、全てのサンプル値に対してサブバンド分類を実行して、各サンプル値について、サンプル値を含むサブバンドをサンプル値が属するサブバンドとして決定するか、または、
各サンプル値について、サンプル値の前のm個のサンプル値、サンプル値およびサンプル値の後のn個のサンプル値からなるサブバンドを、サンプル値が属するサブバンドとして決定するように構成されてよく、ここで、mおよびnは適応性のある正規化された長さに依存し、mは0よりも小さくない整数であり、nは0よりも小さくない整数である。
任意で、調整された振幅値計算サブユニットは、具体的には、
各サンプル値の振幅値から、各サンプル値に対応する振幅外乱値を差し引いて、各サンプル値の振幅値と各サンプル値に対応する振幅外乱値との間の差を取得し、取得された差を、各サンプル値の調整された振幅値として使用するように構成される。
任意で、第2の決定ユニット440は、
音声/オーディオ信号内の低周波帯域信号をN個のサブバンドに分割するように構成される分割サブユニットであって、ここで、Nは自然数である、分割サブユニットと、
各サブバンドのピーク対平均比を計算して、そのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数を決定するように構成される数決定サブユニットと、
音声/オーディオ信号内の高周波帯域信号の信号タイプおよびサブバンドの数に従って、適応性のある正規化された長さを計算するように構成される長さ計算サブユニットとを含んでよい。
任意で、長さ計算サブユニットは、具体的には、
式L=K+α×Mに従って、適応性のある正規化された長さを計算するように構成されてよく、ここで、
Lは適応性のある正規化された長さであり、Kは音声/オーディオ信号内の高周波帯域信号の信号タイプに対応する数値であり、高周波帯域信号の異なる信号タイプは異なる数値Kに対応し、Mはそのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数であり、αは1よりも小さい定数である。
任意で、第2の決定ユニット440は、具体的には、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
音声/オーディオ信号内の高周波帯域信号の信号タイプに従って、適応性のある正規化された長さを決定するように構成されてよく、
ここで、第1の長さの値は第2の長さの値よりも大きく、
高周波帯域信号の異なる信号タイプは、異なる適応性のある正規化された長さに対応する。
任意で、第4の決定ユニット460は、具体的には、
各サンプル値の符号および調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するか、または、
修正因子を計算して、修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行して、各サンプル値の符号および修正処理の後に取得された調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するように構成されてよい。
任意で、第4の決定ユニット460は、具体的には、式β=a/Lを使用することによって、修正因子を計算するように構成されてよく、ここで、βは修正因子であり、Lは適応性のある正規化された長さであり、aは1よりも大きい定数である。
任意で、第4の決定ユニット460は、具体的には、
式Y=y×(b-β)を使用することによって、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して修正処理を実行するように構成されてよく、
ここで、Yは修正処理の後に取得された調整された振幅値であり、yは、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値であり、bは定数であるとともに0<b<2である。
本実施形態では、音声/オーディオ信号に従って、第1の音声/オーディオ信号が決定され、第1の音声/オーディオ信号における各サンプル値の符号および第1の音声/オーディオ信号における各サンプル値の振幅値が決定され、適応性のある正規化された長さが決定され、適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値が決定され、各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号が決定される。このプロセスでは、元の信号、すなわち、第1の音声/オーディオ信号のみが処理され、且つ、新しい信号は第1の音声/オーディオ信号に追加されず、その結果、雑音成分が再構成された後に取得される第2の音声/オーディオ信号に新しいエネルギーは追加されない。従って、第1の音声/オーディオ信号がオンセットまたはオフセットを有する場合、第2の音声/オーディオ信号にエコーは追加されず、それによって、第2の音声/オーディオ信号の聴覚的品質を改善する。
図5を参照すると、図5は、本発明の実施形態に係る電子デバイスの構成図である。電子デバイス500は、プロセッサ510、メモリ520、トランシーバ530およびバス540を含む。
プロセッサ510、メモリ520およびトランシーバ530は、バス540を使用することによって、互いに接続され、且つ、バス540は、ISAバス、PCIバス、EISAバス等であってよい。バスは、アドレスバス、データバス、コントロールバス等に分類されてよい。表示を容易にするために、図5に示されるバスは、1つのみの太線を使用することによって示されるが、1つのバスのみまたは1つのタイプのバスのみがあることは示さない。
メモリ520は、プログラムを記憶するように構成される。具体的には、プログラムはプログラムコードを含んでよく、且つ、プログラムコードはコンピュータ操作命令を含む。メモリ520は高速RAMメモリを含んでよいとともに、少なくとも1つの磁気ディスク記憶等の不揮発性メモリ(non-volatile memory)をさらに含んでよい。
トランシーバ530は別のデバイスに接続するとともに別のデバイスと通信するように構成される。具体的には、トランシーバ530は、ビットストリームを受信するように構成されてよい。
プロセッサ510は、メモリ520内に記憶されるプログラムコードを実行するとともに、ビットストリームを復号して、音声/オーディオ信号を取得し、音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定し、第1の音声/オーディオ信号における各サンプル値の符号および第1の音声/オーディオ信号における各サンプル値の振幅値を決定し、適応性のある正規化された長さを決定し、適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値を決定し、各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号を決定するように構成される。
任意で、プロセッサ510は、具体的には、
各サンプル値の振幅値および適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算して、各サンプル値に対応する平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定し、
各サンプル値の振幅値に従って、且つ、各サンプル値に対応する振幅外乱値に従って、各サンプル値の調整された振幅値を計算するように構成されてよい。
任意で、プロセッサ510は、具体的には、
各サンプル値について、且つ、適応性のある正規化された長さに従って、サンプル値が属するサブバンドを決定し、
サンプル値が属するサブバンド内の全てのサンプル値の振幅値の平均値を計算して、計算によって取得される平均値をサンプル値に対応する平均振幅値として使用するように構成されてよい。
任意で、プロセッサ510は、具体的には、
適応性のある正規化された長さに従って、事前に設定された順序で、全てのサンプル値に対してサブバンド分類を実行して、各サンプル値について、サンプル値を含むサブバンドをサンプル値が属するサブバンドとして決定するか、または、
各サンプル値について、サンプル値の前のm個のサンプル値、サンプル値およびサンプル値の後のn個のサンプル値からなるサブバンドを、サンプル値が属するサブバンドとして決定するように構成されてよく、ここで、mおよびnは適応性のある正規化された長さに依存し、mは0よりも小さくない整数であり、nは0よりも小さくない整数である。
任意で、プロセッサ510は、具体的には、
各サンプル値の振幅値から、各サンプル値に対応する振幅外乱値を差し引いて、各サンプル値の振幅値と各サンプル値に対応する振幅外乱値との間の差を取得し、取得された差を、各サンプル値の調整された振幅値として使用するように構成されてよい。
任意で、プロセッサ510は、具体的には、
音声/オーディオ信号内の低周波帯域信号をN個のサブバンドに分割し、
各サブバンドのピーク対平均比を計算して、そのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数を決定し、
音声/オーディオ信号内の高周波帯域信号の信号タイプおよびサブバンドの数に従って、適応性のある正規化された長さを計算するように構成されてよく、ここで、Nは自然数である。
任意で、プロセッサ510は、具体的には、
式L=K+α×Mに従って、適応性のある正規化された長さを計算するように構成されてよく、ここで、
Lは適応性のある正規化された長さであり、Kは音声/オーディオ信号内の高周波帯域信号の信号タイプに対応する数値であり、高周波帯域信号の異なる信号タイプは異なる数値Kに対応し、Mはそのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数であり、αは1よりも小さい定数である。
任意で、プロセッサ510は、具体的には、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比と高周波帯域信号のピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
音声/オーディオ信号内の低周波帯域信号のピーク対平均比および音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さいとき、適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、低周波帯域信号のピーク対平均比が高周波帯域信号のピーク対平均比よりも小さくないとき、適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
音声/オーディオ信号内の高周波帯域信号の信号タイプに従って、適応性のある正規化された長さを決定するように構成されてよく、
ここで、第1の長さの値は第2の長さの値よりも大きく、
高周波帯域信号の異なる信号タイプは、異なる適応性のある正規化された長さに対応する。
任意で、プロセッサ510は、具体的には、
各サンプル値の符号および調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するか、または、
修正因子を計算して、修正因子に従って、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行して、各サンプル値の符号および修正処理の後に取得された調整された振幅値に従って、各サンプル値の新しい値を決定して、第2の音声/オーディオ信号を取得するように構成されてよい。
任意で、プロセッサ510は、具体的には、式β=a/Lを使用することによって、修正因子を計算するように構成されてよく、ここで、βは修正因子であり、Lは適応性のある正規化された長さであり、aは1よりも大きい定数である。
任意で、プロセッサ510は、具体的には、
式Y=y×(b-β)を使用することによって、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値に対して修正処理を実行するように構成されてよく、
ここで、Yは修正処理の後に取得された調整された振幅値であり、yは、サンプル値の調整された振幅値内の、0よりも大きい調整された振幅値であり、bは定数であるとともに0<b<2である。
本実施形態では、電子デバイスは、音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定し、第1の音声/オーディオ信号における各サンプル値の符号および第1の音声/オーディオ信号における各サンプル値の振幅値を決定し、適応性のある正規化された長さを決定し、適応性のある正規化された長さおよび各サンプル値の振幅値に従って、各サンプル値の調整された振幅値を決定し、各サンプル値の符号および各サンプル値の調整された振幅値に従って、第2の音声/オーディオ信号を決定する。このプロセスでは、元の信号、すなわち、第1の音声/オーディオ信号のみが処理され、且つ、新しい信号は第1の音声/オーディオ信号に追加されず、その結果、雑音成分が再構成された後に取得される第2の音声/オーディオ信号に新しいエネルギーは追加されない。従って、第1の音声/オーディオ信号がオンセットまたはオフセットを有する場合、第2の音声/オーディオ信号にエコーは追加されず、それによって、第2の音声/オーディオ信号の聴覚的品質を改善する。
システムの実施形態は、基本的に、方法の実施形態に対応し、従って、関連する部分については、方法の実施形態における部分的な説明に対して参照が行われてよい。説明されるシステムの実施形態は単に例示的なものである。分離した部分として説明されるユニットは、物理的に分離していてもしていなくてもよく、ユニットとして表示された部分は、物理ユニットであってもなくてもよく、1つの位置に配置されてよく、または複数のネットワークユニットに分配されてよい。モジュールの一部または全ては、実施形態の解決手段の目的を達成するための実際のニーズに従って選択されてよい。当業者は、創造的努力なしに、本発明の実施形態を理解および実施することができる。
本発明は、コンピュータによって実行される実行可能なコンピュータ命令、例えば、プログラムモジュールの一般的な前後関係において説明されることができる。一般に、プログラムユニットは、特定のタスクを実行するための、または特定の抽象データタイプを実施するためのルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。本発明はまた、タスクが通信ネットワークを使用することによって接続されるリモート処理デバイスによって実行される分散コンピューティング環境で実行されてもよい。分散コンピューティング環境では、プログラムモジュールは、ストレージデバイスを含むローカルおよびリモートコンピュータ記憶媒体の両方に配置されてよい。
当業者は、方法における実施方式のステップの全て又は一部は、関連ハードウェアに命令するプログラムによって実施されてよいことを理解することができる。プログラムは、ROM、RAM、磁気ディスクまたは光ディスク等のコンピュータ可読記憶媒体に記憶されてよい。
明細書では、第1および第2等の関係のある用語は、エンティティまたは操作を別のエンティティまたは操作から区別するためだけに使用されるとともに、任意の実際の関係またはシーケンスがこれらのエンティティまたは操作の間に存在することは必要とせず、または暗示しないことはさらに留意されるべきである。さらに、「含む(include)」、「含む(comprise)」またはそれらの任意の他の変形の用語は、非独占的な包含を網羅することが意図され、その結果、要素のリストを含むプロセス、方法、アーティクルまたはデバイスはそれらの要素を含むだけでなく、明白に挙げられていない他の要素もまた含むか、または、そのようなプロセス、方法、アーティクルまたは装置に固有の要素をさらに含む。「〜を含む」によって先導される要素は、より多くの制約なしに、要素を含むプロセス、方法、アーティクルまたは装置内に追加的な同一の要素の存在を排除しない。
前述の説明は、単に、本発明の例示的な実施形態であるが、本発明の保護範囲を限定することを意図されない。本明細書では、具体的な例は、本発明の原理および実施方式を説明するために使用され、且つ、実施形態の説明は、本発明の方法およびコアアイデアをより理解し易くすることのみを意図される。さらに、当業者は、本発明のアイデアに基づいて、具体的な実施方式および適用範囲に関する修正を行うことができる。結論として、本明細書における内容は、本発明の限定として解釈されるべきではない。本発明の精神および原理から逸脱することなく行われたいかなる修正、均等置換または改良も、本発明の保護範囲に包含されるべきである。
410 ビットストリーム処理ユニット
420 信号決定ユニット
430 第1の決定ユニット
440 第2の決定ユニット
450 第3の決定ユニット
460 第4の決定ユニット
510 プロセッサ
520 メモリ
530 トランシーバ

Claims (22)

  1. 音声/オーディオ信号を処理するための方法であって、前記方法は、
    ビットストリームを受信し、且つ、前記ビットストリームを復号して、前記音声/オーディオ信号を取得するステップと、
    前記音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定するステップであって、前記第1の音声/オーディオ信号は、前記音声/オーディオ信号内にあり、前記第1の音声/オーディオ信号の雑音成分は、再構築される必要がある、ステップと、
    前記第1の音声/オーディオ信号における各サンプル値の符号および前記第1の音声/オーディオ信号における各サンプル値の振幅値を決定するステップと、
    サンプル値の個数である適応性のある正規化された長さを決定するステップと、
    前記適応性のある正規化された長さおよび各サンプル値の前記振幅値に従って、各サンプル値の調整された振幅値を決定するステップと、
    各サンプル値の前記符号および各サンプル値の前記調整された振幅値に従って、第2の音声/オーディオ信号を決定するステップであって、前記第2の音声/オーディオ信号は、前記第1の音声/オーディオ信号のための前記雑音成分を再構成することによって取得される信号である、ステップと
    を含む、方法。
  2. 前記適応性のある正規化された長さおよび各サンプル値の前記振幅値に従って、各サンプル値の調整された振幅値を決定する前記ステップは、
    各サンプル値の前記振幅値および前記適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算して、各サンプル値に対応する前記平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定するステップと、
    各サンプル値の前記振幅値に従って、且つ、各サンプル値に対応する前記振幅外乱値に従って、各サンプル値の前記調整された振幅値を計算するステップとを含む、請求項1に記載の方法。
  3. 各サンプル値の前記振幅値および前記適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算する前記ステップは、
    各サンプル値について、且つ、前記適応性のある正規化された長さに従って、前記サンプル値が属するサブバンドを決定するステップと、
    前記サンプル値が属する前記サブバンド内の全てのサンプル値の振幅値の平均値を計算して、計算によって取得される前記平均値を前記サンプル値に対応する前記平均振幅値として使用するステップとを含む、請求項2に記載の方法。
  4. 各サンプル値について、且つ、前記適応性のある正規化された長さに従って、前記サンプル値が属するサブバンドを決定する前記ステップは、
    前記適応性のある正規化された長さに従って、事前に設定された順序で、全てのサンプル値に対してサブバンド分類を実行して、各サンプル値について、前記サンプル値を含むサブバンドを前記サンプル値が属する前記サブバンドとして決定するステップか、または、
    各サンプル値について、前記サンプル値の前のm個のサンプル値、前記サンプル値および前記サンプル値の後のn個のサンプル値からなるサブバンドを、前記サンプル値が属する前記サブバンドとして決定するステップであって、mおよびnは前記適応性のある正規化された長さに依存し、mは0よりも小さくない整数であり、nは0よりも小さくない整数である、ステップを含む、請求項3に記載の方法。
  5. 各サンプル値の前記振幅値に従って、且つ、各サンプル値に対応する前記振幅外乱値に従って、各サンプル値の前記調整された振幅値を計算する前記ステップは、
    各サンプル値の前記振幅値から、各サンプル値に対応する前記振幅外乱値を差し引いて、各サンプル値の前記振幅値と各サンプル値に対応する前記振幅外乱値との間の差を取得し、前記取得された差を、各サンプル値の前記調整された振幅値として使用するステップを含む、請求項2乃至4のいずれか1項に記載の方法。
  6. 適応性のある正規化された長さを決定する前記ステップは、
    前記音声/オーディオ信号内の低周波帯域信号をN個のサブバンドに分割するステップであって、Nは自然数である、ステップと、
    各サブバンドのピーク対平均比を計算して、そのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数を決定するステップと、
    前記音声/オーディオ信号内の高周波帯域信号の信号タイプおよび前記サブバンドの前記数に従って、前記適応性のある正規化された長さを計算するステップとを含む、請求項1乃至5のいずれか1項に記載の方法。
  7. 前記音声/オーディオ信号内の高周波帯域信号の信号タイプおよび前記サブバンドの前記数に従って、前記適応性のある正規化された長さを計算する前記ステップは、
    式L=K+α×Mに従って、前記適応性のある正規化された長さを計算するステップであって、
    Lは前記適応性のある正規化された長さであり、Kは前記音声/オーディオ信号内の前記高周波帯域信号の前記信号タイプに対応する数値であり、高周波帯域信号の異なる信号タイプは異なる数値Kに対応し、Mはそのピーク対平均比が前記事前に設定されたピーク対平均比の閾値よりも大きい前記サブバンドの前記数であり、αは1よりも小さい定数である、ステップを含む、請求項6に記載の方法。
  8. 適応性のある正規化された長さを決定する前記ステップは、
    前記音声/オーディオ信号内の低周波帯域信号のピーク対平均比および前記音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、前記低周波帯域信号の前記ピーク対平均比と前記高周波帯域信号の前記ピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さいとき、前記適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、前記低周波帯域信号の前記ピーク対平均比と前記高周波帯域信号の前記ピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さくないとき、前記適応性のある正規化された長さを事前に設定された第2の長さの値として決定するステップであって、前記第1の長さの値は前記第2の長さの値よりも大きい、ステップか、または、
    前記音声/オーディオ信号内の低周波帯域信号のピーク対平均比および前記音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、前記低周波帯域信号の前記ピーク対平均比が前記高周波帯域信号の前記ピーク対平均比よりも小さいとき、前記適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、前記低周波帯域信号の前記ピーク対平均比が前記高周波帯域信号の前記ピーク対平均比よりも小さくないとき、前記適応性のある正規化された長さを事前に設定された第2の長さの値として決定するステップか、または、
    前記音声/オーディオ信号内の高周波帯域信号の信号タイプに従って、前記適応性のある正規化された長さを決定するステップであって、高周波帯域信号の異なる信号タイプは、異なる適応性のある正規化された長さに対応する、ステップを含む、請求項1乃至5のいずれか1項に記載の方法。
  9. 各サンプル値の前記符号および各サンプル値の前記調整された振幅値に従って、第2の音声/オーディオ信号を決定する前記ステップは、
    各サンプル値の前記符号および前記調整された振幅値に従って、各サンプル値の新しい値を決定して、前記第2の音声/オーディオ信号を取得するステップか、または、
    修正因子を計算して、前記修正因子に従って、前記サンプル値の前記調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行して、各サンプル値の前記符号および前記修正処理の後に取得された調整された振幅値に従って、各サンプル値の新しい値を決定して、前記第2の音声/オーディオ信号を取得するステップを含む、請求項1乃至8のいずれか1項に記載の方法。
  10. 修正因子を計算する前記ステップは、
    式β=a/Lを使用することによって、前記修正因子を計算するステップであって、βは前記修正因子であり、Lは前記適応性のある正規化された長さであり、aは1よりも大きい定数である、ステップを含む、請求項9に記載の方法。
  11. 前記修正因子に従って、前記サンプル値の前記調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行する前記ステップは、
    式Y=y×(b-β)を使用することによって、前記サンプル値の前記調整された振幅値内の、0よりも大きい前記調整された振幅値に対して修正処理を実行するステップであって、
    Yは前記修正処理の後に取得された前記調整された振幅値であり、yは、前記サンプル値の前記調整された振幅値内の、0よりも大きい前記調整された振幅値であり、bは定数であるとともに0<b<2である、ステップを含む、請求項10に記載の方法。
  12. 音声/オーディオ信号の雑音成分を再構成するための装置であって、
    ビットストリームを受信し、且つ、前記ビットストリームを復号して、前記音声/オーディオ信号を取得するように構成されるビットストリーム処理ユニットと、
    前記ビットストリーム処理ユニットによって取得された前記音声/オーディオ信号に従って、第1の音声/オーディオ信号を決定するように構成される信号決定ユニットであって、前記第1の音声/オーディオ信号は、復号によって取得された前記音声/オーディオ信号内にあり、前記第1の音声/オーディオ信号の雑音成分は、再構築される必要がある、信号決定ユニットと、
    前記信号決定ユニットによって決定された前記第1の音声/オーディオ信号における各サンプル値の符号および前記信号決定ユニットによって決定された前記第1の音声/オーディオ信号における各サンプル値の振幅値を決定するように構成される第1の決定ユニットと、
    サンプル値の個数である適応性のある正規化された長さを決定するように構成される第2の決定ユニットと、
    前記第2の決定ユニットによって決定された前記適応性のある正規化された長さおよび各サンプル値のものであるとともに前記第1の決定ユニットによって決定された前記振幅値に従って、各サンプル値の調整された振幅値を決定するように構成される第3の決定ユニットと、
    各サンプル値のものであるとともに前記第1の決定ユニットによって決定された前記符号および各サンプル値のものであるとともに前記第3の決定ユニットによって決定された前記調整された振幅値に従って、第2の音声/オーディオ信号を決定するように構成される第4の決定ユニットであって、前記第2の音声/オーディオ信号は、前記第1の音声/オーディオ信号のための前記雑音成分を再構成することによって取得される信号である、第4の決定ユニットと
    を含む、装置。
  13. 前記第3の決定ユニットは、
    各サンプル値の前記振幅値および前記適応性のある正規化された長さに従って、各サンプル値に対応する平均振幅値を計算して、各サンプル値に対応する前記平均振幅値に従って、各サンプル値に対応する振幅外乱値を決定するように構成される決定サブユニットと、
    各サンプル値の前記振幅値に従って、且つ、各サンプル値に対応する前記振幅外乱値に従って、各サンプル値の前記調整された振幅値を計算するように構成される調整された振幅値計算サブユニットとを含む、請求項12に記載の装置。
  14. 前記決定サブユニットは、
    各サンプル値について、且つ、前記適応性のある正規化された長さに従って、前記サンプル値が属するサブバンドを決定するように構成される決定モジュールと、
    前記サンプル値が属する前記サブバンド内の全てのサンプル値の振幅値の平均値を計算して、計算によって取得される前記平均値を前記サンプル値に対応する前記平均振幅値として使用するように構成される計算モジュールとを含む、請求項13に記載の装置。
  15. 前記決定モジュールは、具体的には、
    前記適応性のある正規化された長さに従って、事前に設定された順序で、全てのサンプル値に対してサブバンド分類を実行して、各サンプル値について、前記サンプル値を含むサブバンドを前記サンプル値が属する前記サブバンドとして決定するか、または、
    各サンプル値について、前記サンプル値の前のm個のサンプル値、前記サンプル値および前記サンプル値の後のn個のサンプル値からなるサブバンドを、前記サンプル値が属する前記サブバンドとして決定するように構成され、mおよびnは前記適応性のある正規化された長さに依存し、mは0よりも小さくない整数であり、nは0よりも小さくない整数である、請求項14に記載の装置。
  16. 前記調整された振幅値計算サブユニットは、具体的には、
    各サンプル値の前記振幅値から、各サンプル値に対応する前記振幅外乱値を差し引いて、各サンプル値の前記振幅値と各サンプル値に対応する前記振幅外乱値との間の差を取得し、前記取得された差を、各サンプル値の前記調整された振幅値として使用するように構成される、請求項13乃至15のいずれか1項に記載の装置。
  17. 前記第2の決定ユニットは、
    前記音声/オーディオ信号内の低周波帯域信号をN個のサブバンドに分割するように構成される分割サブユニットであって、Nは自然数である、分割サブユニットと、
    各サブバンドのピーク対平均比を計算して、そのピーク対平均比が事前に設定されたピーク対平均比の閾値よりも大きいサブバンドの数を決定するように構成される数決定サブユニットと、
    前記音声/オーディオ信号内の高周波帯域信号の信号タイプおよび前記サブバンドの前記数に従って、前記適応性のある正規化された長さを計算するように構成される長さ計算サブユニットとを含む、請求項12乃至16のいずれか1項に記載の装置。
  18. 前記長さ計算サブユニットは、具体的には、
    式L=K+α×Mに従って、前記適応性のある正規化された長さを計算するように構成され、
    Lは前記適応性のある正規化された長さであり、Kは前記音声/オーディオ信号内の前記高周波帯域信号の前記信号タイプに対応する数値であり、高周波帯域信号の異なる信号タイプは異なる数値Kに対応し、Mはそのピーク対平均比が前記事前に設定されたピーク対平均比の閾値よりも大きい前記サブバンドの前記数であり、αは1よりも小さい定数である請求項17に記載の装置。
  19. 前記第2の決定ユニットは、具体的には、
    前記音声/オーディオ信号内の低周波帯域信号のピーク対平均比および前記音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、前記低周波帯域信号の前記ピーク対平均比と前記高周波帯域信号の前記ピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さいとき、前記適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、前記低周波帯域信号の前記ピーク対平均比と前記高周波帯域信号の前記ピーク対平均比との間の差の絶対値が事前に設定された差の閾値よりも小さくないとき、前記適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
    前記音声/オーディオ信号内の低周波帯域信号のピーク対平均比および前記音声/オーディオ信号内の高周波帯域信号のピーク対平均比を計算して、前記低周波帯域信号の前記ピーク対平均比が前記高周波帯域信号の前記ピーク対平均比よりも小さいとき、前記適応性のある正規化された長さを事前に設定された第1の長さの値として決定するか、または、前記低周波帯域信号の前記ピーク対平均比が前記高周波帯域信号の前記ピーク対平均比よりも小さくないとき、前記適応性のある正規化された長さを事前に設定された第2の長さの値として決定するか、または、
    前記音声/オーディオ信号内の高周波帯域信号の信号タイプに従って、前記適応性のある正規化された長さを決定するように構成され、
    前記第1の長さの値は前記第2の長さの値よりも大きく、
    高周波帯域信号の異なる信号タイプは、異なる適応性のある正規化された長さに対応する、請求項12乃至16のいずれか1項に記載の装置。
  20. 前記第4の決定ユニットは、具体的には、
    各サンプル値の前記符号および前記調整された振幅値に従って、各サンプル値の新しい値を決定して、前記第2の音声/オーディオ信号を取得するか、または、
    修正因子を計算して、前記修正因子に従って、前記サンプル値の前記調整された振幅値内の、0よりも大きい調整された振幅値に対して、修正処理を実行して、各サンプル値の前記符号および前記修正処理の後に取得された調整された振幅値に従って、各サンプル値の新しい値を決定して、前記第2の音声/オーディオ信号を取得するように構成される、請求項12乃至19のいずれか1項に記載の装置。
  21. 前記第4の決定ユニットは、具体的には、式β=a/Lを使用することによって、前記修正因子を計算するように構成され、βは前記修正因子であり、Lは前記適応性のある正規化された長さであり、aは1よりも大きい定数である、請求項20に記載の装置。
  22. 前記第4の決定ユニットは、具体的には、
    式Y=y×(b-β)を使用することによって、前記サンプル値の前記調整された振幅値内の、0よりも大きい前記調整された振幅値に対して修正処理を実行するように構成され、
    Yは前記修正処理の後に取得された前記調整された振幅値であり、yは、前記サンプル値の前記調整された振幅値内の、0よりも大きい前記調整された振幅値であり、bは定数であるとともに0<b<2である、請求項21に記載の装置。
JP2018242725A 2014-06-03 2018-12-26 音声/オーディオ信号を処理するための方法および装置 Active JP6817283B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410242233.2A CN105336339B (zh) 2014-06-03 2014-06-03 一种语音频信号的处理方法和装置
CN201410242233.2 2014-06-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016570979A Division JP6462727B2 (ja) 2014-06-03 2015-01-19 音声/オーディオ信号を処理するための方法および装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020213571A Division JP7142674B2 (ja) 2014-06-03 2020-12-23 音声/オーディオ信号を処理するための方法および装置

Publications (2)

Publication Number Publication Date
JP2019061282A JP2019061282A (ja) 2019-04-18
JP6817283B2 true JP6817283B2 (ja) 2021-01-20

Family

ID=54766052

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016570979A Active JP6462727B2 (ja) 2014-06-03 2015-01-19 音声/オーディオ信号を処理するための方法および装置
JP2018242725A Active JP6817283B2 (ja) 2014-06-03 2018-12-26 音声/オーディオ信号を処理するための方法および装置
JP2020213571A Active JP7142674B2 (ja) 2014-06-03 2020-12-23 音声/オーディオ信号を処理するための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016570979A Active JP6462727B2 (ja) 2014-06-03 2015-01-19 音声/オーディオ信号を処理するための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020213571A Active JP7142674B2 (ja) 2014-06-03 2020-12-23 音声/オーディオ信号を処理するための方法および装置

Country Status (19)

Country Link
US (3) US9978383B2 (ja)
EP (3) EP3147900B1 (ja)
JP (3) JP6462727B2 (ja)
KR (3) KR102201791B1 (ja)
CN (2) CN105336339B (ja)
AU (1) AU2015271580B2 (ja)
BR (1) BR112016028375B1 (ja)
CA (1) CA2951169C (ja)
CL (1) CL2016003121A1 (ja)
ES (1) ES2964221T3 (ja)
HK (1) HK1220543A1 (ja)
IL (1) IL249337B (ja)
MX (2) MX362612B (ja)
MY (1) MY179546A (ja)
NZ (1) NZ727567A (ja)
RU (1) RU2651184C1 (ja)
SG (1) SG11201610141RA (ja)
WO (1) WO2015184813A1 (ja)
ZA (1) ZA201608477B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060609A (ja) * 2014-06-03 2021-04-15 華為技術有限公司Huawei Technologies Co.,Ltd. 音声/オーディオ信号を処理するための方法および装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133712B (zh) * 2016-11-30 2021-02-12 华为技术有限公司 一种处理音频数据的方法和装置
CN106847299B (zh) * 2017-02-24 2020-06-19 喜大(上海)网络科技有限公司 延时的估计方法及装置
RU2754497C1 (ru) * 2020-11-17 2021-09-02 федеральное государственное автономное образовательное учреждение высшего образования "Казанский (Приволжский) федеральный университет" (ФГАОУ ВО КФУ) Способ передачи речевых файлов по зашумленному каналу и устройство для его реализации
US20230300524A1 (en) * 2022-03-21 2023-09-21 Qualcomm Incorporated Adaptively adjusting an input current limit for a boost converter

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6261312B1 (en) 1998-06-23 2001-07-17 Innercool Therapies, Inc. Inflatable catheter for selective organ heating and cooling and method of using the same
SE9803698L (sv) * 1998-10-26 2000-04-27 Ericsson Telefon Ab L M Metoder och anordningar i ett telekommunikationssystem
CA2252170A1 (en) * 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
US6687668B2 (en) * 1999-12-31 2004-02-03 C & S Technology Co., Ltd. Method for improvement of G.723.1 processing time and speech quality and for reduction of bit rate in CELP vocoder and CELP vococer using the same
US6631139B2 (en) * 2001-01-31 2003-10-07 Qualcomm Incorporated Method and apparatus for interoperability between voice transmission systems during speech inactivity
US6708147B2 (en) * 2001-02-28 2004-03-16 Telefonaktiebolaget Lm Ericsson(Publ) Method and apparatus for providing comfort noise in communication system with discontinuous transmission
US20030093270A1 (en) * 2001-11-13 2003-05-15 Domer Steven M. Comfort noise including recorded noise
EP1701340B1 (en) * 2001-11-14 2012-08-29 Panasonic Corporation Decoding device, method and program
US7536298B2 (en) * 2004-03-15 2009-05-19 Intel Corporation Method of comfort noise generation for speech communication
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
US7610197B2 (en) * 2005-08-31 2009-10-27 Motorola, Inc. Method and apparatus for comfort noise generation in speech communication systems
WO2008007700A1 (fr) 2006-07-12 2008-01-17 Panasonic Corporation Dispositif de décodage de son, dispositif de codage de son, et procédé de compensation de trame perdue
EP2067138B1 (en) * 2006-09-18 2011-02-23 Koninklijke Philips Electronics N.V. Encoding and decoding of audio objects
CN101320563B (zh) * 2007-06-05 2012-06-27 华为技术有限公司 一种背景噪声编码/解码装置、方法和通信设备
CN101335003B (zh) * 2007-09-28 2010-07-07 华为技术有限公司 噪声生成装置、及方法
US8139777B2 (en) * 2007-10-31 2012-03-20 Qnx Software Systems Co. System for comfort noise injection
CN101483042B (zh) * 2008-03-20 2011-03-30 华为技术有限公司 一种噪声生成方法以及噪声生成装置
MY152252A (en) * 2008-07-11 2014-09-15 Fraunhofer Ges Forschung Apparatus and method for encoding/decoding an audio signal using an aliasing switch scheme
PT2146344T (pt) 2008-07-17 2016-10-13 Fraunhofer Ges Forschung Esquema de codificação/descodificação de áudio com uma derivação comutável
CN101483048B (zh) 2009-02-06 2010-08-25 凌阳科技股份有限公司 光学储存装置及其回路增益值的自动校正方法
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
CN102436820B (zh) * 2010-09-29 2013-08-28 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
KR102053900B1 (ko) * 2011-05-13 2019-12-09 삼성전자주식회사 노이즈 필링방법, 오디오 복호화방법 및 장치, 그 기록매체 및 이를 채용하는 멀티미디어 기기
US20130006644A1 (en) * 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
US8731949B2 (en) 2011-06-30 2014-05-20 Zte Corporation Method and system for audio encoding and decoding and method for estimating noise level
CN102208188B (zh) * 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
US20130132100A1 (en) 2011-10-28 2013-05-23 Electronics And Telecommunications Research Institute Apparatus and method for codec signal in a communication system
IN2014DN03022A (ja) * 2011-11-03 2015-05-08 Voiceage Corp
US20130282372A1 (en) 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
CN105336339B (zh) 2014-06-03 2019-05-03 华为技术有限公司 一种语音频信号的处理方法和装置
US12044962B2 (en) 2019-04-19 2024-07-23 Canon Kabushiki Kaisha Forming apparatus, forming method, and article manufacturing method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060609A (ja) * 2014-06-03 2021-04-15 華為技術有限公司Huawei Technologies Co.,Ltd. 音声/オーディオ信号を処理するための方法および装置
JP7142674B2 (ja) 2014-06-03 2022-09-27 華為技術有限公司 音声/オーディオ信号を処理するための方法および装置
US11462225B2 (en) 2014-06-03 2022-10-04 Huawei Technologies Co., Ltd. Method for processing speech/audio signal and apparatus

Also Published As

Publication number Publication date
CN105336339A (zh) 2016-02-17
KR20170008837A (ko) 2017-01-24
JP2019061282A (ja) 2019-04-18
BR112016028375A2 (pt) 2017-08-22
CA2951169C (en) 2019-12-31
JP7142674B2 (ja) 2022-09-27
US9978383B2 (en) 2018-05-22
AU2015271580B2 (en) 2018-01-18
RU2651184C1 (ru) 2018-04-18
EP3147900A1 (en) 2017-03-29
HK1220543A1 (zh) 2017-05-05
US11462225B2 (en) 2022-10-04
IL249337B (en) 2020-09-30
US10657977B2 (en) 2020-05-19
US20200279572A1 (en) 2020-09-03
KR102201791B1 (ko) 2021-01-11
JP6462727B2 (ja) 2019-01-30
MX362612B (es) 2019-01-28
EP4283614A2 (en) 2023-11-29
SG11201610141RA (en) 2017-01-27
EP3147900B1 (en) 2019-10-02
KR102104561B1 (ko) 2020-04-24
CN110097892B (zh) 2022-05-10
CN105336339B (zh) 2019-05-03
BR112016028375B1 (pt) 2022-09-27
US20180268830A1 (en) 2018-09-20
US20170084282A1 (en) 2017-03-23
MY179546A (en) 2020-11-10
IL249337A0 (en) 2017-02-28
EP3712890B1 (en) 2023-08-30
ZA201608477B (en) 2018-08-29
CA2951169A1 (en) 2015-12-10
EP3712890A1 (en) 2020-09-23
JP2021060609A (ja) 2021-04-15
CL2016003121A1 (es) 2017-04-28
KR20190009440A (ko) 2019-01-28
AU2015271580A1 (en) 2017-01-19
KR101943529B1 (ko) 2019-01-29
NZ727567A (en) 2018-01-26
ES2964221T3 (es) 2024-04-04
MX2016015950A (es) 2017-04-05
EP3147900A4 (en) 2017-05-03
WO2015184813A1 (zh) 2015-12-10
JP2017517034A (ja) 2017-06-22
MX2019001193A (es) 2019-06-12
CN110097892A (zh) 2019-08-06
EP4283614A3 (en) 2024-02-21
KR20200043548A (ko) 2020-04-27

Similar Documents

Publication Publication Date Title
JP6817283B2 (ja) 音声/オーディオ信号を処理するための方法および装置
KR101019398B1 (ko) 오디오 코딩 및 디코딩에서의 여기의 프로세싱
KR101736394B1 (ko) 오디오 신호 인코딩/디코딩 방법 및 오디오 신호 인코딩/디코딩 장치
JP6616470B2 (ja) 符号化方法、復号化方法、符号化装置及び復号化装置
US9779747B2 (en) Coding/decoding method, apparatus, and system for audio signal
AU2014392351B2 (en) Signal processing method and device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200323

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201224

R150 Certificate of patent or registration of utility model

Ref document number: 6817283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250