JP6927385B2 - 復号化装置および方法、並びにプログラム - Google Patents

復号化装置および方法、並びにプログラム Download PDF

Info

Publication number
JP6927385B2
JP6927385B2 JP2020133606A JP2020133606A JP6927385B2 JP 6927385 B2 JP6927385 B2 JP 6927385B2 JP 2020133606 A JP2020133606 A JP 2020133606A JP 2020133606 A JP2020133606 A JP 2020133606A JP 6927385 B2 JP6927385 B2 JP 6927385B2
Authority
JP
Japan
Prior art keywords
gain
value
sample position
interpolation
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020133606A
Other languages
English (en)
Other versions
JP2020187377A (ja
Inventor
優樹 山本
優樹 山本
徹 知念
徹 知念
本間 弘幸
弘幸 本間
潤宇 史
潤宇 史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2020187377A publication Critical patent/JP2020187377A/ja
Priority to JP2021128702A priority Critical patent/JP7215534B2/ja
Application granted granted Critical
Publication of JP6927385B2 publication Critical patent/JP6927385B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G11/00Limiting amplitude; Limiting rate of change of amplitude ; Clipping in general
    • H03G11/008Limiting amplitude; Limiting rate of change of amplitude ; Clipping in general of digital or coded signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G7/00Volume compression or expansion in amplifiers
    • H03G7/002Volume compression or expansion in amplifiers in untuned or low-frequency amplifiers, e.g. audio amplifiers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G7/00Volume compression or expansion in amplifiers
    • H03G7/007Volume compression or expansion in amplifiers of digital or coded signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0012Smoothing of parameters of the decoder interpolation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Stereophonic System (AREA)

Description

本技術は復号化装置および方法、並びにプログラムに関し、特に、より高音質な音声を得ることができるようにした復号化装置および方法、並びにプログラムに関する。
従来、MPEG(Moving Picture Experts Group) AAC(Advanced Audio Coding)(ISO/IEC14496-3:2001)のオーディオ符号化技術では、ビットストリーム中にダウンミックスやDRC(Dinamic Range Compression)の補助情報を記録し、再生側でその環境に応じて補助情報を使用することができる(例えば、非特許文献1参照)。
このような補助情報を用いれば、再生側において音声信号をダウンミックスしたり、DRCにより適切な音量制御を行ったりすることができる。
Information technology Coding of audiovisual objects Part 3:Audio(ISO/IEC 14496-3:2001)
例えば上述した符号化技術では、DRCの補助情報として音量制御のためのDRCゲイン情報を音声信号のフレーム単位で指定することができ、再生側においては、このDRCゲイン情報に基づいて音声信号の音量補正を行うことで、適切な音量の音声を得ることができる。
しかしながら、このようなDRCゲイン情報により示されるゲインは、時間信号である音声信号の1フレーム内の各サンプルに対して同じ値となってしまう。つまり、1フレームに含まれる全サンプルが同じゲインで補正される。
そのため、例えばフレーム間でDRCゲイン情報により示されるゲインの大きさが大きく変化すると、音声信号の時間波形のフレーム間の部分が不連続になってしまい、聴感上の劣化が生じてしまう。
本技術は、このような状況に鑑みてなされたものであり、より高音質な音声を得ることができるようにするものである。
本技術の一側面の復号化装置は、時系列信号の少なくとも2つの連続したゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出すゲイン読み出し部と、前記2つの連続した前記ゲインサンプル位置の間のゲイン値を、前記2つの連続した前記ゲインサンプル位置の前記ゲイン値および前記ゲイン傾き値に基づいて補間した場合に求められる交点のゲインサンプル位置を求める演算部と、前記演算部で求めた前記交点のゲインサンプル位置に基づいて、前記2つの連続した前記ゲインサンプル位置の間にある前記ゲイン値を、線形補間または非線形補間により求める補間処理部とを備える。
本技術の一側面の復号化方法またはプログラムは、時系列信号の少なくとも2つの連続したゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出し、前記2つの連続した前記ゲインサンプル位置の間のゲイン値を、前記2つの連続した前記ゲインサンプル位置の前記ゲイン値および前記ゲイン傾き値に基づいて補間した場合に求められる交点のゲインサンプル位置を求め、前記交点のゲインサンプル位置に基づいて、前記2つの連続した前記ゲインサンプル位置の間にある前記ゲイン値を、線形補間または非線形補間により求めるステップを含む。
本技術の一側面においては、時系列信号の少なくとも2つの連続したゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値が読み出され、前記2つの連続した前記ゲインサンプル位置の間のゲイン値を、前記2つの連続した前記ゲインサンプル位置の前記ゲイン値および前記ゲイン傾き値に基づいて補間した場合に求められる交点のゲインサンプル位置が求められ、前記交点のゲインサンプル位置に基づいて、前記2つの連続した前記ゲインサンプル位置の間にある前記ゲイン値が、線形補間または非線形補間により求められる。
ゲインの線形補間について説明する図である。 ゲイン波形の例を示す図である。 ゲインの非線形補間について説明する図である。 符号化装置の構成例を示す図である。 符号化処理を説明するフローチャートである。 DRC特性を示す図である。 復号化装置の構成例を示す図である。 復号化処理を説明するフローチャートである。 ゲイン復号化処理を説明するフローチャートである。 復号化装置の構成例を示す図である。 ゲイン復号化処理を説明するフローチャートである。 ゲイン波形の補間について説明する図である。 ゲイン波形の補間について説明する図である。 ゲイン波形の補間について説明する図である。 復号化装置の構成例を示す図である。 ゲイン復号化処理を説明するフローチャートである。 ゲイン波形の補間について説明する図である。 ゲイン復号化処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈本技術の概要〉
本技術は、音声信号を再生側で音量補正するときのゲイン値を符号化し、ゲイン値の符号化により得られたゲイン符号列と、音声信号の符号化により得られた信号符号列とを多重化して伝送する技術、およびこれらのゲイン符号列と信号符号列を復号化し、音声信号の音量補正を行う技術に関するものである。
本技術では、音量補正のためのゲイン値として、音声信号のフレーム内のサンプルごとに任意の値を指定することで、より滑らかな時間波形の音声を得ることができるようになされている。これにより、違和感のない高音質な音声を得ることができる。ここで、音量補正のためのゲイン値はdB値とされてもよいし、リニア値とされてもよいが、以下ではゲイン値がリニア値であるものとして説明を続ける。
また、ゲイン値の符号化時に、例えばフレーム内の各サンプル位置のゲイン値のうち、ゲイン波形の変局点等の特徴的な位置や、所定間隔で並ぶ位置のゲイン値など、一部のサンプル位置のゲイン値のみを符号化してゲイン符号列とすれば、ゲイン符号列の符号量を削減することもできる。
この場合、ゲイン符号列の復号化側では、ゲイン符号列の復号化により得られたいくつかのサンプル位置のゲイン値に基づいて、もとのゲイン波形を得る必要がある。
ここで、もとのゲイン波形を得るための手法として、例えば図1に示すように線形補間を行うことで、ゲイン符号列に含まれていないサンプル位置のゲイン値を求める手法が考えられる。
なお、図1において縦軸および横軸は、それぞれゲイン値、および音声信号のフレーム内のサンプル位置を示している。
また、以下、ゲイン符号列に、符号化されたゲイン値が含まれているサンプル位置を、特にゲインサンプル位置とも称することとする。さらに、以下では、ゲイン符号列に含まれている符号化されたサンプル位置およびゲイン値により表される、ゲイン波形上の点も単にゲインサンプル位置とも称することとする。
図1の例では、ゲインサンプル位置G11とゲインサンプル位置G12の情報がゲイン符号列の復号化により得られている。
ここで、フレーム内のk番目のゲインサンプル位置のゲイン値をg[k]とし、k番目のゲインサンプル位置からk+1番目のゲインサンプル位置までのサンプル軸方向のサンプル長(サンプル数)をT[k]と表すとする。
この場合、k番目のゲインサンプル位置G11のサンプル位置がn=0であるとすると、ゲインサンプル位置G11は、座標(0,g[k])で表される点となり、ゲインサンプル位置G12は、座標(T[k],g[k+1])で表される点となる。ここで、nはフレームの先頭からn番目のサンプルの位置であることを示すインデックスである。
また、線形補間により得られる、ゲインサンプル位置G11とゲインサンプル位置G12の間のゲイン波形は、直線L11に示す波形となる。すなわち、ゲインサンプル位置G11とゲインサンプル位置G12の間では、ゲイン値が線形に変化するものとして補間により各サンプル位置のゲイン値が求められている。
ところが、線形補間によりゲイン波形を推定すると、例えば図2の曲線C11に示すように、滑らかなゲイン波形を符号化しようとする場合には、ゲイン波形の符号化すべき点、つまりゲインサンプル位置の数が多くなってしまう。なお、図2において、縦軸および横軸は、それぞれゲイン値、および音声信号のフレーム内のサンプル位置を示している。
この例では、曲線C11に示すゲイン波形は滑らかな波形となっているため、復号化側において、ある程度の精度でゲイン波形を再現しようとすると、多くのゲインサンプル位置でのゲイン値の符号化が必要となる。そうすると、ゲイン符号列と信号符号列を多重化して得られるビットストリームの符号量、すなわちビットレートが高くなってしまう。
そこで、本技術では、より少ない符号量でより高音質な音声を得ることができるようにするために、線形補間に加えて、新たに非線形補間も適宜行うようにした。すなわち、線形補間と非線形補間のうち、より適切な方式が選択されて補間処理が行われ、ゲイン波形が生成されるようにした。なお、非線形の補間は、例えば2次関数や3次関数での補間とすることができる。
例えば、3次関数を利用した非線形補間が行われる場合、図1に示したゲインサンプル位置G11とゲインサンプル位置G12の間のゲイン波形として、図3の曲線C21に示す波形が得られる。なお、図3において縦軸および横軸は、それぞれゲイン値、および音声信号のフレーム内のサンプル位置を示している。また、図3において図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
この例では、ゲイン符号列には、ゲインサンプル位置G11のサンプル位置、ゲイン値、およびゲイン傾き値を示す情報と、ゲインサンプル位置G12のサンプル位置、ゲイン値、およびゲイン傾き値を示す情報とが含まれている。
ここで、ゲイン傾き値とは、もとのゲイン波形のゲインサンプル位置における傾きを示す情報である。以下では、k番目のゲインサンプル位置のゲイン傾き値をs[k]で表すこととする。
図3では、矢印D11がゲインサンプル位置G11のゲイン傾き値s[k]を表しており、矢印D12がゲインサンプル位置G12のゲイン傾き値s[k+1]を表している。
復号化側では、ゲインサンプル位置G11とゲインサンプル位置G12の間のゲイン波形が3次関数を利用した非線形補間により求められ、その結果として曲線C21に示すゲイン波形が得られている。
曲線C21に示すゲイン波形は、例えばゲインサンプル位置G11とゲインサンプル位置G12を通り、かつゲインサンプル位置G11およびゲインサンプル位置G12における傾きが、それぞれs[k]およびs[k+1]となる3次関数の曲線とされる。
このように適宜、非線形補間を利用することで、ゲイン波形が滑らかな波形である場合であっても、より少ないゲインサンプル位置の符号化、つまりより少ない符号量で高精度にゲイン波形を再現することができる。
本技術では、例えば線形補間と非線形補間を切り替えるためのパラメータとして、線形補間による補間方式または非線形補間による補間方式を示す補間モード情報がゲイン符号列に含まれている。そして、復号化側では、この補間モード情報に応じて線形補間と非線形補間の切り替えが行われる。
ここで補間モード情報は、例えば線形補間、2次関数による補間、3次関数による補間を切り替えるための2ビットのインデックスであってもよいし、線形補間と、非線形補間である3次関数による補間とを切り替えるための1ビットのフラグであってもよい。すなわち、補間モード情報は、ゲイン波形を補間する手法を示す情報であれば、どのようなものであってもよい。
さらに、本技術では、補間モード情報が非線形補間による補間方式を示す情報とされた場合、ゲインサンプル位置ごとに、ゲイン値に加えてゲイン傾き値がゲイン符号列に含まれるようになされている。
ここでゲイン傾き値s[k]は、1サンプルあたりのゲイン値の変化を示している。例えば、k番目のゲインサンプル位置のゲイン傾き値s[k]は、k番目のゲインサンプル位置におけるゲイン波形上の点と、k番目のゲインサンプル位置の次のサンプル位置におけるゲイン波形上の点とを結ぶ直線の傾きとされる。なお、ゲイン傾き値は、ゲイン波形上のゲインサンプル位置における傾きを示す値であれば、どのように求められてもよい。
なお、ゲイン傾き値がそのままゲイン符号列に格納されるようにしてもよいし、ゲイン傾き値の量子化値や、ゲイン傾き値のハフマン符号化値などのエントロピ符号化値がゲイン符号列に格納されるようにしてもよい。
〈線形補間について〉
さらに、2つのゲインサンプル位置の間の各サンプル位置のゲイン値を線形補間する方法および非線形補間する方法の具体例について説明する。まず、線形補間する方法について説明する。
補間モード情報により線形補間が行われるとされた場合、復号化側では、ゲイン符号列からゲインサンプル位置ごとにゲイン値が読み出される。
ここで、k番目のゲインサンプル位置のインデックスをkとし、ゲイン符号列から読み出された、k番目のゲインサンプル位置のゲイン値をg[k]とする。また、k番目のゲインサンプル位置からk+1番目のゲインサンプル位置の間のサンプル長をT[k]とし、k+1番目のゲインサンプル位置のサンプル位置を示す情報としてサンプル長T[k]がゲイン符号列に含まれているとする。
いま、k番目のゲインサンプル位置がフレームの先頭位置、つまりn=0番目のサンプル位置であるとする。そのような場合、k番目のゲインサンプル位置と、k+1番目のゲインサンプル位置との間にある、先頭からn番目(但し、0≦n<T[k])にあるサンプルnのゲイン値g_interpolated[n]は、次式(1)により算出される。
Figure 0006927385
なお、式(1)においてa[k]およびb[k]は、それぞれ以下の式(2)および式(3)により求まる値とされる。
Figure 0006927385
Figure 0006927385
すなわち、a[k]およびb[k]は、k番目とk+1番目のゲインサンプル位置を結ぶ直線の傾きと切片を示している。したがって、この例では、図1を参照して説明したように、k番目とk+1番目のゲインサンプル位置の間では、ゲイン値が線形に変化するものとされ、線形補間により各サンプルnのゲイン値が求められている。
〈非線形補間について〉
次に、k番目とk+1番目のゲインサンプル位置の間のサンプルnのゲイン値が非線形補間により求められる場合について説明する。ここでは、非線形補間として、3次関数による補間が行われる場合を例として説明を続ける。
補間モード情報により非線形補間が行われるとされた場合、復号化側では、ゲイン符号列からゲインサンプル位置ごとにゲイン値とゲイン傾き値が読み出される。
ここで、線形補間における場合と同様に、k番目のゲインサンプル位置のゲイン値がg[k]であり、k番目とk+1番目のゲインサンプル位置の間のサンプル長がT[k]であるとする。また、k番目のゲインサンプル位置のゲイン傾き値がs[k]であるとする。
いま、k番目のゲインサンプル位置がフレームの先頭位置、つまりn=0番目のサンプル位置であるとする。そのような場合、k番目のゲインサンプル位置と、k+1番目のゲインサンプル位置との間にある、先頭からn番目(但し、0≦n<T[k])にあるサンプルnのゲイン値g_interpolated[n]は、次式(4)により算出される。
Figure 0006927385
なお、式(4)においてc[k]、d[k]、e[k]、およびf[k]は、それぞれ以下の式(5)乃至式(8)により求まる値とされる。
Figure 0006927385
Figure 0006927385
Figure 0006927385
Figure 0006927385
この例では、図3を参照して説明したように、k番目とk+1番目のゲインサンプル位置の間では、式(4)に示す3次関数によってゲイン値が変化するものとされ、非線形補間、つまり3次関数による補間で各サンプルnのゲイン値が求められている。
以上のように、適宜、非線形補間によりゲイン値を求めることで、例えば図2に示したような滑らかなゲイン波形を、より低いビットレートで符号化することができ、符号化効率を向上させることができる。
〈符号化装置の構成例〉
続いて、以上において説明した本技術を適用した具体的な実施の形態について説明する。
図4は、本技術を適用した符号化装置の一実施の形態の構成例を示す図である。
符号化装置11は、音圧レベル計算回路21、ゲイン計算回路22、ゲイン符号化回路23、信号符号化回路24、および多重化回路25を有している。
音圧レベル計算回路21は、供給されたマルチチャネルの音声信号である入力時系列信号に基づいて、入力時系列信号を構成する各チャネルの音圧レベルを計算し、それらのチャネルごとの音圧レベルの代表値を代表音圧レベルとして求める。
なお、音圧レベルの代表値は入力時系列信号の各フレームについて求められる。また、音圧レベル計算回路21で処理単位とされるフレームは、後述する信号符号化回路24で処理される入力時系列信号のフレームと同期し、信号符号化回路24でのフレーム以下の長さのフレームとされる。
音圧レベル計算回路21は、求めた代表音圧レベルをゲイン計算回路22に供給する。このようにして得られた代表音圧レベルは、例えば11.1chなどの所定数のチャネルの音声信号からなる入力時系列信号のチャネルの代表的な音圧レベルを示している。
ゲイン計算回路22は、音圧レベル計算回路21から供給された代表音圧レベルに基づいてゲイン値を計算し、ゲイン符号化回路23に供給する。
ここで、ゲイン値は、復号化側において入力時系列信号を再生したときに最適な音量の音声が得られるように、入力時系列信号を音量補正するときのゲイン値を示しており、ゲイン計算回路22ではフレーム内のサンプル位置ごとにゲイン値が算出される。
ゲイン符号化回路23は、ゲイン計算回路22から供給されたゲイン値を符号化し、その結果得られたゲイン符号列を多重化回路25に供給する。
ここで、ゲイン符号列には、各ゲインサンプル位置のゲイン値を得るためのゲイン情報と、補間モード情報とが含まれている。
信号符号化回路24は、供給された入力時系列信号を所定の符号化方式、例えばMEPG AACによる符号化手法に代表される一般的な符号化手法により符号化し、その結果得られた信号符号列を多重化回路25に供給する。
多重化回路25は、ゲイン符号化回路23から供給されたゲイン符号列と、信号符号化回路24から供給された信号符号列とを多重化し、その結果得られた出力符号列を出力する。
〈符号化処理の説明〉
次に、符号化装置11の具体的な動作について説明する。
符号化装置11は、入力時系列信号が1フレーム分だけ供給されると、その入力時系列信号を符号化して出力符号列を出力する符号化処理を行う。以下、図5のフローチャートを参照して、符号化装置11による符号化処理について説明する。
ステップS11において、音圧レベル計算回路21は、供給された入力時系列信号に基づいて、入力時系列信号の代表音圧レベルを算出し、ゲイン計算回路22に供給する。
具体的には、音圧レベル計算回路21は、入力時系列信号を構成する各チャネルの音圧レベルを計算し、それらのチャネルの音圧レベルの代表値を代表音圧レベルとする。
例えば、音圧レベルの計算方法は、入力時系列信号を構成するチャネルの音声信号のフレームの最大値やRMS(Root Mean Square)などとされ、入力時系列信号のフレームについて、入力時系列信号を構成するチャネルごとに音圧レベルが求められる。
また、代表音圧レベルとされる代表値の計算方法としては、例えば同じフレームにおける各チャネルの音圧レベルのうちの最大値を代表値とする手法や、各チャネルの音圧レベルから特定の計算式で1つの代表値を算出する手法などを用いることができる。具体的には、例えばITU-R BS.1770-2(03/2011)に記載のラウドネス計算式を用いて代表値を算出することが可能である。
ステップS12において、ゲイン計算回路22は、音圧レベル計算回路21から供給された代表音圧レベルに基づいてゲイン値を算出し、ゲイン符号化回路23に供給する。
例えばゲイン計算回路22は、上位の制御装置により指定されたDRC特性に従ってゲイン値を算出する。
上位の制御装置により指定されるDRC特性は、例えば図6に示すようなDRCの特性とすることができる。なお、図6において、横軸は入力音圧レベル(dBFS)、すなわち代表音圧レベルを示しており、縦軸は出力音圧レベル(dBFS)、すなわち入力時系列信号を音圧レベル補正(音量補正)したときの補正後の音圧レベルを示している。
折れ線L31および折れ線L32は、それぞれ入出力音圧レベルの関係を示している。例えば、折れ線L31に示されるDRC特性によれば、0dBFSの代表音圧レベルの入力があった場合、入力時系列信号の音圧レベルが-27dBFSとなるように音量補正される。
一方、例えば折れ線L32に示されるDRC特性によれば、0dBFSの代表音圧レベルの入力があった場合、入力時系列信号の音圧レベルが-21dBFSとなるように音量補正される。
ゲイン計算回路22では、このような折れ線L31や折れ線L32により示されるDRC特性に従ってゲイン値が決定される。このゲイン値は、信号符号化回路24のフレームと同期したゲイン波形として出力される。すなわち、ゲイン計算回路22では、入力時系列信号の処理対象となっているフレームを構成するサンプルごとにゲイン値が算出される。
より具体的には、例えばゲイン計算回路22は、次式(9)を計算することで、フレームJにおけるゲイン波形g(J,n)を求める。
Figure 0006927385
なお、式(9)において、nはフレーム長をNとしたときに0からN−1までの値をとるサンプルの位置を示しており、Gt(J)は上述したDRC特性、すなわち入力音圧レベルと出力音圧レベルによって定まるフレームJにおける目標ゲインを示している。
また、式(9)におけるAは次式(10)により定まる値とされる。
Figure 0006927385
式(10)において、Fsはサンプリング周波数(Hz)を示しており、Tc(J)はフレームJにおける時定数を示しており、exp(x)は指数関数を表している。また式(9)において、n=0である場合におけるゲイン波形g(J,n-1)として、直前のフレームにおける最後のサンプルのゲイン値が用いられる。
図5のフローチャートの説明に戻り、ステップS13において、ゲイン符号化回路23は、ゲイン符号化処理を行って、ゲイン計算回路22から供給されたゲイン値を符号化する。そして、ゲイン符号化回路23は、ゲイン符号化処理により得られたゲイン符号列を多重化回路25に供給する。
例えば、ゲイン符号化回路23は、ゲイン計算回路22から供給された各サンプル位置のゲイン値、つまり処理対象のフレームのゲイン波形から符号化対象とするゲインサンプル位置を抽出する。例えばゲイン波形における変局点等の特徴的なサンプルがゲインサンプル位置とされるようにしてもよいし、所定間隔で並ぶ各サンプルがゲインサンプル位置とされるようにしてもよい。
ゲイン符号化回路23は、このようにして抽出したゲインサンプル位置ごとに、補間モード情報とゲイン情報を生成する。
例えばゲイン符号化回路23は、いわゆるローカルデコードを行うことで、補間モード情報を生成する。
すなわち、ゲイン符号化回路23は、線形補間と非線形補間について、それぞれ補間により互いに隣接する2つのゲインサンプル位置間のゲイン波形を生成し、そのゲイン波形と実際のゲイン波形との差分を算出する。そして、ゲイン符号化回路23は、求めた差分がより小さい補間方式を示す情報を補間モード情報として生成する。
なお、線形補間が行われるようにするか、または非線形補間が行われるようにするかは、その他、どのような方法で定められてもよい。例えば、処理対象のゲインサンプル位置と、その直前のゲインサンプル位置とでゲイン値が同じであり、直前のゲインサンプル位置のゲイン傾き値が0である場合に線形補間とされ、それ以外の場合には非線形補間とされるようにしてもよい。また、上位の制御装置により線形補間か非線形補間かが指定されるようにしてもよい。
また、ゲイン符号化回路23は、各ゲインサンプル位置について、サンプル位置を示すサンプル長T[k]、ゲイン値g[k]、およびゲイン傾き値s[k]を必要に応じて符号化し、ゲイン情報とする。なお、補間モード情報が線形補間による補間方式を示す情報である場合には、サンプル長およびゲイン値のみが含まれ、ゲイン傾き値が含まれていないゲイン情報が生成される。
ゲイン符号化回路23は、このようにして得られた各ゲインサンプル位置のゲイン情報と補間モード情報とが含まれるゲイン符号列を多重化回路25に供給する。
ステップS14において、信号符号化回路24は、供給された入力時系列信号を所定の符号化方式に従って符号化し、その結果得られた信号符号列を多重化回路25に供給する。
ステップS15において、多重化回路25は、ゲイン符号化回路23から供給されたゲイン符号列と、信号符号化回路24から供給された信号符号列を多重化し、その結果得られた出力符号列を出力する。このようにして1フレーム分の出力符号列がビットストリームとして出力されると、符号化処理は終了する。そして、次のフレームの符号化処理が行われる。
以上のようにして、符号化装置11は、入力時系列信号のフレーム内のサンプルごとにゲイン値を求めてゲインサンプル位置を抽出し、各ゲインサンプル位置のゲイン情報と補間モード情報からなるゲイン符号列を生成する。
このようにフレーム内においてサンプルごとにゲイン値を定めるようにすることで、復号化側において、音声信号のフレーム間の時間波形が滑らかに接続され、より高音質な音声を得ることができるようになる。しかも、ゲイン符号列に補間モード情報が含まれるようにすることで、適宜、非線形補間を利用し、より少ない符号量で高精度にゲイン波形を再現することができるようになる。
〈復号化装置の構成例〉
次に、符号化装置11から出力された出力符号列を入力符号列として入力し、入力符号列の復号化を行う復号化装置について説明する。
図7は、本技術を適用した復号化装置の一実施の形態の構成例を示す図である。
図7に示す復号化装置51は、非多重化回路61、信号復号化回路62、ゲイン復号化回路63、およびゲイン適用回路64を有している。
非多重化回路61は、供給された入力符号列、すなわち符号化装置11から受信した出力符号列を非多重化し、その結果得られた信号符号列を信号復号化回路62に供給するとともに、ゲイン符号列をゲイン復号化回路63に供給する。
信号復号化回路62は、非多重化回路61から供給された信号符号列を復号化し、その結果得られた時系列信号をゲイン適用回路64に供給する。ここで、時系列信号は例えば11.1chや7.1chの音声信号であり、時系列信号を構成する各チャネルの音声信号は、PCM(Pulse Code Modulation)信号とされる。
ゲイン復号化回路63は、非多重化回路61から供給されたゲイン符号列を復号化し、その結果得られたゲイン値をゲイン適用回路64に供給する。ゲイン復号化回路63は、補間処理部71を有しており、補間処理部71は、ゲイン符号列から得られたゲイン情報と補間モード情報とに基づいて、線形補間または非線形補間により、時系列信号の各サンプル位置のゲイン値を算出する。
ゲイン適用回路64は、ゲイン復号化回路63から供給されたゲイン値に基づいて、信号復号化回路62から供給された時系列信号のゲイン調整を行うことで、時系列信号を音量補正し、その結果得られた出力時系列信号を出力する。
〈復号化処理の説明〉
続いて、復号化装置51の動作について説明する。
復号化装置51は、入力符号列が1フレーム分だけ供給されると、その入力符号列を復号化して出力時系列信号を出力する復号化処理を行う。以下、図8のフローチャートを参照して、復号化装置51による復号化処理について説明する。
ステップS41において、非多重化回路61は、符号化装置11から送信された入力符号列を受信して非多重化し、その結果得られた信号符号列を信号復号化回路62に供給するとともに、ゲイン符号列をゲイン復号化回路63に供給する。
ステップS42において、信号復号化回路62は、非多重化回路61から供給された信号符号列を復号化し、その結果得られた時系列信号をゲイン適用回路64に供給する。
ステップS43において、ゲイン復号化回路63はゲイン復号化処理を行って、非多重化回路61から供給されたゲイン符号列を復号化し、その結果得られた処理対象のフレームの各サンプル位置のゲイン値をゲイン適用回路64に供給する。なお、ゲイン復号化処理の詳細は後述する。
ステップS44において、ゲイン適用回路64は、ゲイン復号化回路63から供給されたゲイン値に基づいて、信号復号化回路62から供給された時系列信号のゲイン調整を行い、得られた出力時系列信号を出力する。すなわち、時系列信号の各サンプルにゲイン値が乗算されて、適切な音量の出力時系列信号とされる。
出力時系列信号が出力されると、復号化処理は終了する。
以上のようにして復号化装置51は、ゲイン符号列を復号化し、得られた各サンプル位置のゲイン値を時系列信号に適用して時間領域でゲイン(音量)を調整する。このようにサンプル位置ごとに定められたゲイン値でゲイン調整を行うことで、出力時系列信号のフレーム間の時間波形を滑らかに接続し、より高音質な音声を得ることができる。
しかも、適宜、非線形補間を利用してゲイン波形を得るようにしたので、ゲイン波形が滑らかな波形である場合であっても、より少ない符号量で高精度にゲイン波形を再現することができる。
〈ゲイン復号化処理の説明〉
また、図9のフローチャートを参照して、図8のステップS43の処理に対応するゲイン復号化処理について説明する。
ステップS71において、ゲイン復号化回路63は、非多重化回路61から供給されたゲイン符号列から処理対象とするゲインサンプル位置のゲイン情報を読み出し、必要に応じてゲイン情報として含まれているサンプル長T[k]、ゲイン値g[k]、およびゲイン傾き値s[k]を復号化する。なお、補間モード情報により示される補間方式が線形補間による補間方式である場合には、ゲイン情報にはゲイン傾き値は含まれていない。
例えばゲイン符号列には、各ゲインサンプル位置のゲイン情報と補間モード情報が、フレームの先頭からの距離が近い順番に並べられて格納されている。ゲイン復号化回路63は、ゲイン符号列から順番にゲイン情報と補間モード情報を読み出していくので、フレームの先頭に近いゲインサンプル位置から順番に、処理対象のゲインサンプル位置とされていく。
ステップS72において、ゲイン復号化回路63は、ゲイン符号列から処理対象とするゲインサンプル位置の補間モード情報を読み出す。
なお、ここでは補間モード情報がゲイン符号列に含まれている例について説明するが、補間モード情報が各フレームの入力符号列が含まれるビットストリームのヘッダ等に含まれているようにしてもよいし、補間モード情報が上位の制御装置等から取得されるようにしてもよい。
ステップS73において、補間処理部71は、読み出された補間モード情報により示される補間方式が、線形補間による方式であるか否かを判定する。
ステップS73において、線形補間による方式であると判定された場合、ステップS74において、補間処理部71は、線形補間を行ってゲイン波形を生成する。
具体的には、補間処理部71は、処理対象のゲインサンプル位置のゲイン値g[k]およびサンプル長T[k-1]と、処理対象のゲインサンプル位置よりも1つフレームの先頭側にあるゲインサンプル位置のゲイン値およびサンプル位置とに基づいて、上述した式(1)と同様の計算を行い、ゲインサンプル位置間のゲイン波形を生成する。すなわち、時系列信号の2つのゲインサンプル位置の間にある各サンプル位置のゲイン値が算出され、それらの各サンプル位置のゲイン値からなる波形がゲイン波形とされる。
このようにして隣接する2つのゲインサンプル位置間のゲイン波形が得られると、処理はステップS76に進む。
これに対して、ステップS73において、線形補間による方式でない、すなわち非線形補間による方式であると判定された場合、ステップS75において、補間処理部71は、非線形補間を行ってゲイン波形を生成する。
具体的には、補間処理部71は、処理対象のゲインサンプル位置のゲイン値g[k]、サンプル長T[k-1]、およびゲイン傾き値s[k]と、処理対象のゲインサンプル位置よりも1つフレームの先頭側にあるゲインサンプル位置のゲイン値、サンプル位置、およびゲイン傾き値とに基づいて、上述した式(4)と同様の計算を行い、ゲインサンプル位置間のゲイン波形を生成する。すなわち、時系列信号の2つのゲインサンプル位置の間にある各サンプル位置のゲイン値が算出され、それらの各サンプル位置のゲイン値からなる波形がゲイン波形とされる。
このようにして隣接する2つのゲインサンプル位置間のゲイン波形が得られると、処理はステップS76に進む。
ステップS74またはステップS75において補間によりゲインサンプル位置間のゲイン波形が得られると、ステップS76において、ゲイン復号化回路63は、全てのゲインサンプル位置を処理対象として処理したか否かを判定する。
ステップS76において、まだ全てのゲインサンプル位置を処理していないと判定された場合、処理はステップS71に戻り、上述した処理が繰り返される。すなわち、次のゲインサンプル位置が処理対象として選択され、ゲイン波形が補間により求められる。
これに対してステップS76において、全てのゲインサンプル位置を処理したと判定された場合、ゲイン復号化回路63は、これまでの処理で得られた各サンプル位置のゲイン値からなる1フレーム分のゲイン波形をゲイン適用回路64に供給し、ゲイン復号化処理は終了する。ゲイン復号化処理が終了すると、その後、処理は図8のステップS44へと進む。
以上のようにして復号化装置51は、補間モード情報に応じて線形補間または非線形補間によりゲイン波形を求める。このように、補間モード情報に応じて、適宜、非線形補間によりゲイン波形を得るようにすることで、より少ない符号量で高精度にゲイン波形を再現することができる。
なお、以上においては、ゲインサンプル位置ごとに補間モード情報が生成され、線形補間または非線形補間が切り替えられる例について説明したが、1フレームで1つの補間モード情報が生成されるようにしてもよい。この場合、フレーム単位で線形補間と非線形補間が切り替えられることになる。
また、複数フレーム単位や、1ファイル単位で線形補間と非線形補間が切り替えられるようにしてもよい。例えばファイル単位で補間方式の切り替えが行われる場合、例えばビットストリームのヘッダに1つの補間モード情報が格納される。そして、補間処理部71は、その補間モード情報により示される補間方式で、すなわち線形補間または非線形補間の何れかの方式で各フレームの補間処理を行い、1ファイル分のゲイン波形を求める。
〈第2の実施の形態〉
〈リミティングについて〉
ところで、非線形補間で得られたゲイン波形は、線形補間で得られたゲイン波形とは異なり、2つのゲインサンプル位置間のサンプル位置において、ゲイン符号列に含まれる2つのゲインサンプル位置のゲイン値よりも大きい、または小さい値をとることがある。
例えば図3に示した例では、非線形補間により得られた、曲線C21により示されるゲイン波形の一部において、ゲインサンプル位置G11のゲイン値g[k]よりも小さいゲイン値となる部分がある。また、曲線C21により示されるゲイン波形の一部において、ゲインサンプル位置G12のゲイン値g[k+1]よりも大きいゲイン値となる部分もある。
そのため、非線形補間により得られたゲイン値が、ゲイン値として不適切である、負(マイナス)の値となることがある。そこで、補間で得られるゲイン値が不適切な値となってしまうことを防止するため、次式(11)の計算を行うことで、ゲイン値に対して0を下限値とするリミティングを行うようにしてもよい。
Figure 0006927385
式(11)では、補間により求められたゲイン値g_interpolated[n]と0とのうち、より大きい方が、最終的なゲイン値g_interpolated[n]とされる。したがって、最終的なゲイン値は0以上の値となり、ゲイン値が負の値となるようなことがなくなる。
また、ゲイン調整(音量補正)により、時系列信号をブースト(増幅)させたい場合と、時系列信号をコンプレス(抑圧)させたい場合とがある。
例えば時系列信号をブーストさせたい場合には、ゲイン値が1よりも小さい値となると、そのゲイン値は不適切な値となる。そこで、時系列信号をブーストさせる場合には、次式(12)の計算を行うことで、ゲイン値に対して1を下限値とするリミティングを行うようにしてもよい。
Figure 0006927385
式(12)では、補間により求められたゲイン値g_interpolated[n]と1とのうち、より大きい方が、最終的なゲイン値g_interpolated[n]とされる。したがって、ゲイン値が1未満の値となるようなことがなくなる。換言すれば、ゲイン値は必ず下限値である1以上の値となる。
さらに、例えば時系列信号をコンプレスさせたい場合には、ゲイン値が1よりも大きい値となると、そのゲイン値は不適切な値となる。そこで、時系列信号をコンプレスさせる場合には、次式(13)の計算を行うことで、ゲイン値に対して1を上限値とするリミティングを行うようにしてもよい。
Figure 0006927385
式(13)では、補間により求められたゲイン値g_interpolated[n]と1とのうち、より小さい方が、最終的なゲイン値g_interpolated[n]とされる。したがって、ゲイン値が1より大きい値となるようなことがなくなる。換言すれば、ゲイン値は、必ず上限値である1以下の値となる。
式(12)や式(13)に示すリミティング処理が行われる場合には、符号化されたゲイン波形に関する情報として、ゲイン波形がブーストのためのものであるのか、またはコンプレスのためのものであるかを示すリミティング情報がゲイン復号化回路63に与えられるようにすればよい。例えば、リミティング情報は、上位の制御装置からゲイン復号化回路63に供給されるようにしてもよいし、ゲイン符号列やビットストリームのヘッダなどにリミティング情報が含まれているようにしてもよい。
以下では、ゲイン符号列にリミティング情報が含まれているものとして説明を続ける。この場合、図5のステップS13の処理では、リミティング情報が含まれるゲイン符号列が生成される。
以上のようにゲイン値に対してリミティング処理を施すことで、より適切なゲイン値を得ることができるようになる。これにより、より適切なゲイン調整(音量補正)が可能となり、その結果、より高音質な音声を得ることができる。
〈復号化装置の構成例〉
ゲイン値に対してリミティング処理を施す場合、復号化装置51は、例えば図10に示すように構成される。なお、図10において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図10に示す復号化装置51の構成は、ゲイン復号化回路63に新たにリミティング処理部101が設けられている点で図7の復号化装置51と異なり、その他の構成は図7の復号化装置51と同じ構成とされている。
リミティング処理部101は、補間処理部71により非線形補間が行われて算出されたゲイン値に対してリミティング処理を施し、最終的なゲイン値とする。
〈ゲイン復号化処理の説明〉
次に、復号化装置51が図10に示す構成とされる場合に行われるゲイン復号化処理について説明する。
例えば、復号化装置51では、図8を参照して説明した復号化処理が行われる。但し、ステップS43に対応するゲイン復号化処理では、図11に示すゲイン復号化処理が行われる。以下、図11のフローチャートを参照して、図10の復号化装置51によるゲイン復号化処理について説明する。
なお、ステップS101乃至ステップS105の処理は、図9のステップS71乃至ステップS75の処理と同様であるので、その説明は省略する。
ステップS106において、リミティング処理部101は、ステップS105の処理で得られた各サンプル位置のゲイン値に対して上述した式(11)の計算を行うことで、ゲイン値が負の値とならないように、適宜、ゲイン値を変更する。
さらに、リミティング処理部101は、式(11)の計算によりリミティングされたゲイン値に対して、さらにゲイン符号列に含まれているリミティング情報に応じて、式(12)または式(13)の何れかの計算を行うことで、最終的なゲイン値とする。
具体的には、ゲイン符号列に含まれているリミティング情報がブーストのためのものであることを示している場合、リミティング処理部101は、式(12)の計算を行うことで、ゲイン値が1未満の値とならないようにする。
これに対して、ゲイン符号列に含まれているリミティング情報がコンプレスのためのものであることを示している場合、リミティング処理部101は、式(13)の計算を行うことで、ゲイン値が1より大きい値とならないようにする。
ステップS104において線形補間によりゲイン波形が生成されたか、またはステップS106においてリミティング処理が行われると、ステップS107の処理が行われてゲイン復号化処理は終了するが、ステップS107の処理は図9のステップS76の処理と同様であるので、その説明は省略する。
以上のようにして、復号化装置51は、非線形補間により求めたゲイン値に対してリミティング処理を施す。これにより、より適切なゲイン値でゲイン調整(音量補正)を行うことができる。したがって、より高音質な音声を得ることができる。
〈第3の実施の形態〉
〈ゲイン値の補間について〉
また、以上においては、ゲインサンプル位置ごとに線形補間または非線形補間の何れの補間方式でゲイン値の補間を行うかを切り替えてゲイン波形を得る例について説明したが、基本的には非線形補間が行われ、特定の条件下においてのみ線形補間が行われるようにしてもよい。
例えば、図12に示す折れ線L41に示すゲイン波形を符号化し、復号化側において、非線形補間でゲイン波形を得る場合について考える。なお、図12において縦軸および横軸は、それぞれゲイン値、およびサンプル位置を示している。
符号化装置11において、k番目のゲインサンプル位置G21と、k+1番目のゲインサンプル位置G22とが抽出されて、それらのゲインサンプル位置でのゲイン値、サンプル長、およびゲイン傾き値が含まれるゲイン符号列が得られたとする。
ここで、矢印D21はゲインサンプル位置G21のゲイン傾き値s[k]を表しており、矢印D22はゲインサンプル位置G22のゲイン傾き値s[k+1]を表している。
いま、復号化装置51においてゲイン符号列に含まれるゲイン値、サンプル長、およびゲイン傾き値に基づいて3次関数による非線形補間が行われ、曲線C31に示すゲイン波形が得られたとする。
この例では、非線形補間により得られた曲線C31に示すゲイン波形と、折れ線L41に示すもとのゲイン波形との差分が大きくなってしまっている。
非線形補間によりゲイン波形を求める方式では、この例のようにゲイン値が線形に変化するゲイン波形に対して符号化を行うと、もとのゲイン波形と復号化時に非線形補間して得られたゲイン波形との差分が大きくなってしまう。
この差分を小さくするためには、符号化装置11において、符号化しようとするゲイン値とゲイン傾き値を、非線形補間で得られるゲイン波形を算出して調整するなどの処理(ローカルデコード)が必要となり、符号化の処理量が増えてしまう。
そこで、本技術では、復号化装置51で非線形補間を行う場合において、特定の条件下では線形補間が行われるようにすることで、より少ない符号化の処理量でより高精度にゲイン波形を再現できるようにした。
具体的には、例えばk番目とk+1番目のゲインサンプル位置の間のサンプル位置のゲイン値を補間により求める場合に、それらのゲインサンプル位置のゲイン値とゲイン傾き値から、2つの直線l[k]と直線l[k+1]との交点X[k,k+1]が求められる。
ここで、直線l[k]は、ゲイン波形上のk番目のゲインサンプル位置(点)を通り、ゲイン傾き値s[k]により示される傾きを有する直線である。すなわち、直線l[k]は、サンプル軸方向の座標の値がk番目のゲインサンプル位置と同じ値である場合に、ゲイン軸方向の座標の値としてk番目のゲインサンプル位置のゲイン値g[k]をとり、かつゲイン傾き値s[k]により示される傾きを有する直線である。
同様に直線l[k+1]は、k+1番目のゲインサンプル位置を通り、ゲイン傾き値s[k+1]により示される傾きを有する直線である。
そして、k番目またはk+1番目のゲインサンプル位置のうちの何れかと、求められた交点X[k,k+1]との距離が所定の閾値以下であるか否かが判定される。ここでの判定は、例えば以下の式(14)が成立するか否かとされる。
Figure 0006927385
なお、式(14)において、d_sample[k]およびd_sample[k+1]は、それぞれk番目およびk+1番目のゲインサンプル位置から、交点X[k,k+1]へのサンプル軸方向の距離を示している。また、d_gain[k]およびd_gain[k+1]は、それぞれk番目およびk+1番目のゲインサンプル位置から、交点X[k,k+1]へのゲイン軸方向の距離、つまりゲイン値の差を示している。
さらに、thre_sampleおよびthre_gainは、それぞれサンプル軸方向の距離の閾値、およびゲイン軸方向の距離の閾値を示している。
したがって、式(14)では、距離d_sample[k]が閾値thre_sample以下であり、かつ距離d_gain[k]が閾値thre_gain以下である場合、または距離d_sample[k+1]が閾値thre_sample以下であり、かつ距離d_gain[k+1]が閾値thre_gain以下である場合に、ゲインサンプル位置から、交点X[k,k+1]までの距離が閾値以下であるとされる。
例えばk番目のゲインサンプル位置がフレームの先頭位置、つまりn=0番目のサンプル位置である場合、式(14)における距離d_sample[k]、距離d_gain[k]、距離d_sample[k+1]、および距離d_gain[k+1]は、それぞれ以下の式(15)乃至式(18)により求まる。また、閾値thre_sampleおよび閾値thre_gainは、例えば閾値thre_sample=32、および閾値thre_gain=0.01などとされる。
Figure 0006927385
Figure 0006927385
Figure 0006927385
Figure 0006927385
なお、式(15)乃至式(18)において、abs(x)は、xの絶対値を求めることを示している。
このような式(14)に示す条件式が成立すると判定された場合には、線形補間により、すなわち上述した式(1)の計算によりゲイン波形が求められる。これに対して、式(14)に示す条件式が成立しないと判定された場合には、非線形補間により、すなわち上述した式(4)の計算によりゲイン波形が求められる。
例えば図13に示すように、ゲインサンプル位置G31と、ゲインサンプル位置G32との間の各サンプル位置のゲイン値を補間で求める場合に、式(14)に示す条件式が成立するか否かは、交点CP11が領域TR11または領域TR12の何れかに含まれるか否かを特定することである。なお、図13において縦軸および横軸は、それぞれゲイン値、および時系列信号のフレーム内のサンプル位置を示している。
図13では、ゲインサンプル位置G31がk番目のゲインサンプル位置を示しており、矢印D31がゲインサンプル位置G31のゲイン傾き値s[k]を表している。したがって、直線L51が直線l[k]となる。
同様にゲインサンプル位置G32がk+1番目のゲインサンプル位置を示しており、矢印D32がゲインサンプル位置G32のゲイン傾き値s[k+1]を表している。したがって、直線L52が直線l[k+1]となる。そして、直線L51と直線L52の交点である交点CP11が交点X[k,k+1]となる。
いま、領域TR11が、ゲインサンプル位置G31を中心とし、かつ図中、縦方向および横方向の長さが、それぞれ2×thre_gainおよび2×thre_sampleであるとする。同様に、領域TR12が、ゲインサンプル位置G32を中心とし、かつ図中、縦方向および横方向の長さが、それぞれ2×thre_gainおよび2×thre_sampleであるとする。
この場合、交点CP11が領域TR11内に位置しているか、または交点CP11が領域TR12内に位置している場合に、式(14)に示す条件式が成立することになる。図13の例では、交点CP11が領域TR12内に位置しているため、式(14)に示す条件式が成立する。
図13に示す例では、再現(復元)しようとするもとのゲイン波形は、直線L51と直線L52とからなる波形に近い波形となっていたはずである。すなわち、より詳細には、ゲインサンプル位置G31から交点CP11までの間は直線L51に近い波形であり、交点CP11からゲインサンプル位置G32までの間は直線L52に近い波形であったはずである。
しかし、この例では交点CP11が領域TR12内に位置するため、交点CP11とゲインサンプル位置G32との距離が十分に短く、もとのゲイン波形がゲインサンプル位置G31とゲインサンプル位置G32を結ぶ直線であると近似することができる。
この場合、ゲインサンプル位置G31とゲインサンプル位置G32との間のゲイン波形では、ゲイン値がほぼ線形に変化するということができるので、ゲイン波形を非線形補間で求めるよりも、線形補間で求めた方が、より高精度にゲイン波形を再現することができる。そこで、本技術では上述した式(14)に示す条件式が成立する場合には、線形補間によりゲイン波形が求められるようにした。
したがって、図13の例では、ゲインサンプル位置G31とゲインサンプル位置G32との間の各サンプル位置のゲイン値が線形補間により求められ、これにより例えば図14に示すゲイン波形が得られる。なお、図14において、図13における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図14では、ゲインサンプル位置G31とゲインサンプル位置G32とを結ぶ直線L61が、それらのゲインサンプル位置G31とゲインサンプル位置G32との間のゲイン波形として求められている。
また、例えば上述した図12に示した例においても式(14)に示す条件式が成立するので、線形補間によりゲイン波形が求められる。
図12の例では、交点X[k,k+1]がゲインサンプル位置G22の位置となるので式(14)が成立し、ゲインサンプル位置G21とゲインサンプル位置G22とを結ぶ直線が、それらのゲインサンプル位置間のゲイン波形とされる。したがって、この例では、もとのゲイン波形が正確に再現されることになる。
以上のように特定の条件下において線形補間が行われるようにすることで、基本的に非線形補間が行われるようにする場合において、符号化の処理量を増加させることなく、もとのゲイン波形と復号化後のゲイン波形との差分をより小さくすることができる。
しかも、このような復号化方式とすれば、非線形補間を行う補間方式のみで、線形および非線形の両方の補間に対応することができるので、ゲイン符号列に補間モード情報を含める必要がなくなり、出力符号列のビットレートを低くすることができる。すなわち、出力符号列の符号量をより少なくすることができる。
〈復号化装置の構成例〉
特定の条件下において線形補間が行われる場合、復号化装置51は、例えば図15に示すように構成される。なお、図15において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図15に示す復号化装置51の構成は、ゲイン復号化回路63に新たに演算部131が設けられている点で図7の復号化装置51と異なり、その他の構成は図7の復号化装置51と同じ構成とされている。
演算部131は、上述した式(14)に示した条件式を計算する。
〈ゲイン復号化処理の説明〉
次に、復号化装置51が図15に示す構成とされる場合に行われるゲイン復号化処理について説明する。
例えば符号化装置11では、図5を参照して説明した符号化処理が行われるが、ステップS13のゲイン符号化処理では、ゲイン情報のみが含まれ、補間モード情報が含まれていないゲイン符号列が生成され、多重化により得られた出力符号列が出力される。また、この場合、ゲイン情報には常にゲイン傾き値が含まれている。
そして復号化装置51では、図8を参照して説明した復号化処理が行われる。但し、ステップS43に対応するゲイン復号化処理では、図16に示すゲイン復号化処理が行われる。以下、図16のフローチャートを参照して、図15の復号化装置51によるゲイン復号化処理について説明する。
なお、ステップS131の処理は、図9のステップS71の処理と同様であるので、その説明は省略する。
ステップS132において、演算部131は、読み出されたゲイン情報に基づいて式(14)に示す条件式を計算する。
すなわち、演算部131はゲイン情報として読み出されたゲインサンプル位置のゲイン値、サンプル長、およびゲイン傾き値に基づいて、上述した式(15)乃至式(18)と同様の計算を行う。そして演算部131は、その結果得られたゲインサンプル位置から交点X[k,k+1]までの距離に基づいて式(14)を計算する。
このように、式(15)乃至式(18)の計算を行うことは、直線l[k]および直線l[k+1]を求めるとともに、それらの直線の交点X[k,k+1]を求め、さらにk番目およびk+1番目のゲインサンプル位置のそれぞれにおけるゲイン値と、交点X[k,k+1]のゲイン値との差を求めることである。そして、式(14)の条件式を計算することは、ゲインサンプル位置と交点X[k,k+1]とのゲイン値の差が所定の閾値以下であるか否かを判定することである。
したがって、復号化装置51では、ゲインサンプル位置のゲイン値と、交点X[k,k+1]のゲイン値との差に応じて、線形補間または非線形補間により2つのゲインサンプル位置間の各サンプル位置のゲイン値が求められるということができる。
ステップS133において、補間処理部71は、ステップS132における条件式の計算結果に基づいて、線形補間を行うか否かを判定する。例えば式(14)により示される条件式が成立する場合、線形補間を行うと判定される。
ステップS133において線形補間を行うと判定された場合、ステップS134において、補間処理部71は線形補間を行ってゲイン波形を生成し、その後、処理はステップS136に進む。ステップS134では、図9のステップS74の処理と同様の処理が行われる。
これに対して、ステップS133において線形補間を行わないと判定された場合、ステップS135において、補間処理部71は非線形補間を行ってゲイン波形を生成し、その後、処理はステップS136に進む。なお、ステップS135では、図9のステップS75の処理と同様の処理が行われる。
ステップS134またはステップS135においてゲイン波形が生成されると、ステップS136の処理が行われてゲイン復号化処理は終了するが、ステップS136の処理は図9のステップS76の処理と同様であるので、その説明は省略する。
以上のようにして、復号化装置51は、特定の条件下においては線形補間によりゲイン波形を生成する。これにより、より少ない処理量で、より高精度にもとのゲイン波形を得ることができるとともに、出力符号列の符号量をより少なくすることができる。
〈第3の実施の形態の変形例1〉
〈ゲイン値の補間について〉
なお、第3の実施の形態では、特定の条件下において線形補間が行われると説明したが、ゲインサンプル位置と交点を利用してゲイン値を線形補間してもよい。
すなわち、第3の実施の形態では、2つのゲインサンプル位置間の各サンプル位置のゲイン値が式(1)による線形補間で算出されていた。この実施の形態では、これに代えて、図17に示すように2つの直線L51および直線L52の交点CP11と、2つの各ゲインサンプル位置とを結ぶそれぞれの直線からなる波形が、線形補間により得られたゲイン波形とされる。なお、図17において、図13における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
この例では、ゲインサンプル位置G31と交点CP11とを結ぶ直線、およびゲインサンプル位置G32と交点CP11とを結ぶ直線からなる折れ線L71が、ゲインサンプル位置G31とゲインサンプル位置G32の間のゲイン波形とされる。
図17に示すゲイン波形の例では、より正確にゲイン波形を再現しようとすると、2つのゲインサンプル位置を結ぶ直線で線形補間する場合には、ゲイン波形の符号化時にゲインサンプル位置G31からゲインサンプル位置G32までの区間で、ゲインサンプル位置の数を3つ以上とする必要がある。
すなわち、ゲイン波形の符号化時にゲインサンプル位置G31、交点CP11、およびゲインサンプル位置G32のサンプル位置をゲインサンプル位置としなければ、符号化前のゲイン波形と、復号化により得られるゲイン波形との差分(誤差)が生じてしまう。
これに対して、交点CP11を利用し、折れ線L71をゲイン波形とする場合には、ゲインサンプル位置G31とゲインサンプル位置G32の2つの位置をゲインサンプル位置とするだけで、符号化前のゲイン波形と、復号化により得られるゲイン波形との差分を小さくすることができる。したがって、交点を利用して線形補間を行う手法では、ゲインサンプル位置の数を減らすことができ、これにより出力符号列のビットレートを低く抑え、符号化効率を向上させることができる。
なお、交点を利用して線形補間を行う場合、2つの直線の交点が、2つのゲインサンプル位置の間に位置していなければならない。
例えば図17の例では、サンプル軸方向において、交点CP11がゲインサンプル位置G31とゲインサンプル位置G32の間に位置していなければならない。
そのため、非線形補間を行うか、または線形補間を行うかの判定に用いられる領域が、図13の例と図17の例とで異なる。図17の例では、交点CP11が領域TR21または領域TR22の何れかに含まれる場合、交点を利用した線形補間が行われる。
ここで、領域TR21は、図13に示した領域TR11の右半分の領域、つまり領域TR11のうちのゲインサンプル位置G31よりも図13中、右側にある領域である。同様に、領域TR22は、図13に示した領域TR12の左半分の領域、つまり領域TR12のうちのゲインサンプル位置G32よりも図13中、左側にある領域である。
このように、交点を利用した線形補間が行われる場合、式(14)に対応する条件式は、次式(19)に示すようになる。つまり、次式(19)が成立する場合、交点を利用した線形補間が行われる。
Figure 0006927385
式(19)では距離d_sample[k]が0よりも大きく、閾値thre_sample以下であり、かつ距離d_gain[k]が閾値thre_gain以下である場合、または距離d_sample[k+1]が0より大きく、閾値thre_sample以下であり、かつ距離d_gain[k+1]が閾値thre_gain以下である場合に、ゲインサンプル位置から交点X[k,k+1]までの距離が閾値以下であるとされる。
例えばk番目のゲインサンプル位置がフレームの先頭位置、つまりn=0番目のサンプルである場合、式(19)における距離d_sample[k]、距離d_gain[k]、距離d_sample[k+1]、および距離d_gain[k+1]は、それぞれ以下の式(20)乃至式(23)により求まる。
Figure 0006927385
Figure 0006927385
Figure 0006927385
Figure 0006927385
式(19)に示す条件式が成立しないと判定された場合には、非線形補間により、すなわち上述した式(4)の計算によりゲイン波形が求められる。
これに対して、式(19)に示す条件式が成立すると判定された場合には、線形補間によりゲイン波形が求められる。
例えばk番目のゲインサンプル位置がフレームの先頭位置、つまりn=0番目のサンプル位置である場合、交点X[k,k+1]のサンプル位置、つまりk番目のゲインサンプル位置から交点X[k,k+1]までのサンプル長をT’[k]とすると、サンプル位置T’[k]は次式(24)により求まる。
Figure 0006927385
また、k番目のゲインサンプル位置と、交点X[k,k+1]との間にある、フレーム先頭からn番目(但し、0≦n<T’[k])にあるサンプルnのゲイン値g_interpolated[n]は、次式(25)により算出される。
Figure 0006927385
なお、式(25)においてa1[k]およびb1[k]は、それぞれ以下の式(26)および式(27)により求まる値とされる。
Figure 0006927385
Figure 0006927385
a1[k]およびb1[k]は、k番目のゲインサンプル位置と交点X[k,k+1]とを結ぶ直線の傾きおよび切片を示している。したがって、この例では、図17を参照して説明したように、k番目のゲインサンプル位置G31と交点CP11の間では、ゲイン値が線形に変化するものとされ、線形補間により各サンプルnのゲイン値が求められている。
さらに、交点X[k,k+1]とk+1番目のゲインサンプル位置との間にある、フレーム先頭からn番目(但し、T’[k]≦n<T[k])にあるサンプルnのゲイン値g_interpolated[n]は、次式(28)により算出される。
Figure 0006927385
なお、式(28)においてa2[k]およびb2[k]は、それぞれ以下の式(29)および式(30)により求まる値とされる。
Figure 0006927385
Figure 0006927385
a2[k]およびb2[k]は、交点X[k,k+1]とk+1番目のゲインサンプル位置とを結ぶ直線の傾きおよび切片を示している。したがって、この例では、図17を参照して説明したように、交点CP11とk+1番目のゲインサンプル位置G32の間では、ゲイン値が線形に変化するものとされ、線形補間により各サンプルnのゲイン値が求められている。
以上のように特定の条件下において交点を利用した線形補間が行われる場合、図16を参照して説明したゲイン復号化処理では、ステップS132において演算部131は、読み出されたゲイン情報に基づいて式(19)に示す条件式を計算する。
そして、式(19)に示す条件式が成立する場合には、ステップS134において補間処理部71は、ゲイン情報として読み出されたゲインサンプル位置のゲイン値、サンプル長、およびゲイン傾き値に基づいて、式(24)により交点X[k,k+1]のサンプル位置T’[k]を算出する。さらに、補間処理部71は、得られたサンプル位置T’[k]を用いて式(25)および式(28)の計算を行い、線形補間によりゲイン波形を生成する。
これに対して、式(19)に示す条件式が成立しない場合には、ステップS135において補間処理部71は、非線形補間を行ってゲイン波形を生成する。
このように、特定の条件下において交点を利用した線形補間を行うようにすることで、符号化時の処理量を増加させることなく、符号化前のもとのゲイン波形と、復号化により得られるゲイン波形との差分を小さくすることができる。
また、非線形補間を行う方式のみで、線形および非線形の両方の補間に対応することができるので、ゲイン符号列に補間モード情報を含める必要がなくなり、出力符号列のビットレートを低くすることができる。すなわち、出力符号列の符号量をより少なくすることができる。
〈第4の実施の形態〉
〈ゲイン復号化処理の説明〉
さらに、第3の実施の形態および第3の実施の形態の変形例1では、ゲイン符号列に補間モード情報が含まれておらず、基本的には非線形補間が行われると説明した。
しかし、ゲイン符号列に補間モード情報が含まれており、基本的には補間モード情報により示される補間方式によりゲイン波形が求められるが、補間モード情報により示される補間方式が非線形補間による方式である場合、特定の条件下において線形補間が行われるようにしてもよい。
そのような場合、復号化装置51では、図8を参照して説明した復号化処理が行われる。但し、ステップS43に対応するゲイン復号化処理では、図18に示すゲイン復号化処理が行われる。以下、図18のフローチャートを参照して、図15の復号化装置51によるゲイン復号化処理について説明する。
なお、ステップS161乃至ステップS164の処理は、図9のステップS71乃至ステップS74の処理と同様であるので、その説明は省略する。
ステップS163において、非線形補間による方式であると判定された場合、ステップS165において、演算部131は、読み出されたゲイン情報に基づいて式(14)に示す条件式を計算する。
そして、その後、ステップS166乃至ステップS168の処理が行われるが、これらの処理は図16のステップS133乃至ステップS135の処理と同様であるので、その説明は省略する。なお、ステップS165乃至ステップS168では、第3の実施の形態で説明した処理が行われるようにしてもよいし、第3の実施の形態の変形例1で説明した処理が行われるようにしてもよい。さらに、非線形補間が行われた場合には、リミティング処理が行われるようにしてもよい。
ステップS164、ステップS167、またはステップS168において補間によりゲイン波形が生成されると、その後、処理はステップS169に進む。
ステップS169において、ゲイン復号化回路63は、全てのゲインサンプル位置を処理対象として処理したか否かを判定する。
ステップS169において、まだ全てのゲインサンプル位置を処理していないと判定された場合、処理はステップS161に戻り、上述した処理が繰り返される。
これに対してステップS169において、全てのゲインサンプル位置を処理したと判定された場合、ゲイン復号化回路63は、これまでの処理で得られた、各サンプル位置のゲイン値からなる1フレーム分のゲイン波形をゲイン適用回路64に供給し、ゲイン復号化処理は終了する。ゲイン復号化処理が終了すると、その後、処理は図8のステップS44へと進む。
以上のようにして復号化装置51は、補間モード情報に応じて線形補間または非線形補間によりゲイン波形を求める。このように、補間モード情報に応じて、適宜、非線形補間によりゲイン波形を得るようにすることで、より少ない符号量で高精度にゲイン波形を再現することができる。
しかも、補間モード情報により示される補間方式が、非線形補間による方式である場合でも、特定の条件下で線形補間を行うようにすることで、より少ない符号化の処理量で、より高精度にもとのゲイン波形を再現することができる。また、出力符号列の符号量をより少なくすることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
(1)
時系列信号の少なくとも2つのゲインサンプル位置の符号化されたゲイン値を読み出すゲイン読み出し部と、
前記時系列信号の各サンプル位置の前記ゲイン値を線形補間により求めるか、または非線形補間により求めるかを示す補間情報を読み出す補間情報読み出し部と、
前記ゲインサンプル位置の前記ゲイン値に基づいて、前記時系列信号の2つの前記ゲインサンプル位置の間にある各サンプル位置の前記ゲイン値を、前記補間情報に応じて線形補間または非線形補間により求める補間処理部と
を備える復号化装置。
(2)
前記ゲイン読み出し部は、前記ゲインサンプル位置における前記ゲイン値の傾きを示すゲイン傾き値をさらに読み出し、
前記補間処理部は、非線形補間により前記ゲイン値を求める場合、前記ゲインサンプル位置の前記ゲイン値および前記ゲイン傾き値に基づいて、前記2つの前記ゲインサンプル位置の間にある各サンプル位置の前記ゲイン値を求める
(1)に記載の復号化装置。
(3)
前記ゲイン値が所定の下限値以上の値または所定の上限値以下の値となるように、非線形補間により求められた前記ゲイン値に対してリミティング処理を施すリミティング処理部をさらに備える
(1)または(2)に記載の復号化装置。
(4)
前記リミティング処理部は、0を下限値とするリミティング処理、1を下限値とするリミティング処理、または1を上限値とするリミティング処理を施す
(3)に記載の復号化装置。
(5)
前記ゲインサンプル位置において、その前記ゲインサンプル位置の前記ゲイン値をとり、かつその前記ゲインサンプル位置の前記ゲイン傾き値により示される傾きを有する直線を求め、前記2つの前記ゲインサンプル位置についてそれぞれ求めた前記直線の交点のゲイン値と、前記2つの前記ゲインサンプル位置のそれぞれの前記ゲイン値との差を求める演算部をさらに備え、
前記補間処理部は、前記補間情報が線形補間により前記ゲイン値を求めることを示す情報である場合、線形補間により前記ゲイン値を求め、前記補間情報が非線形補間により前記ゲイン値を求めることを示す情報である場合、前記差に応じて非線形補間または線形補間により前記ゲイン値を求める
(2)乃至(4)の何れか一項に記載の復号化装置。
(6)
時系列信号の少なくとも2つのゲインサンプル位置の符号化されたゲイン値を読み出し、
前記時系列信号の各サンプル位置の前記ゲイン値を線形補間により求めるか、または非線形補間により求めるかを示す補間情報を読み出し、
前記ゲインサンプル位置の前記ゲイン値に基づいて、前記時系列信号の2つの前記ゲインサンプル位置の間にある各サンプル位置の前記ゲイン値を、前記補間情報に応じて線形補間または非線形補間により求める
ステップを含む復号化方法。
(7)
時系列信号の少なくとも2つのゲインサンプル位置の符号化されたゲイン値を読み出し、
前記時系列信号の各サンプル位置の前記ゲイン値を線形補間により求めるか、または非線形補間により求めるかを示す補間情報を読み出し、
前記ゲインサンプル位置の前記ゲイン値に基づいて、前記時系列信号の2つの前記ゲインサンプル位置の間にある各サンプル位置の前記ゲイン値を、前記補間情報に応じて線形補間または非線形補間により求める
ステップを含む処理をコンピュータに実行させるプログラム。
(8)
時系列信号の少なくとも2つのゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出すゲイン読み出し部と、
前記ゲインサンプル位置において、その前記ゲインサンプル位置の前記ゲイン値をとり、かつその前記ゲインサンプル位置の前記ゲイン傾き値により示される傾きを有する直線を求め、2つの前記ゲインサンプル位置についてそれぞれ求めた前記直線の交点のゲイン値と、前記2つの前記ゲインサンプル位置のそれぞれの前記ゲイン値との差を求める演算部と、
前記差に応じて、前記時系列信号の前記2つの前記ゲインサンプル位置の間にある各サンプル位置の前記ゲイン値を線形補間または非線形補間により求める補間処理部と
を備える復号化装置。
(9)
時系列信号の少なくとも2つのゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出し、
前記ゲインサンプル位置において、その前記ゲインサンプル位置の前記ゲイン値をとり、かつその前記ゲインサンプル位置の前記ゲイン傾き値により示される傾きを有する直線を求め、2つの前記ゲインサンプル位置についてそれぞれ求めた前記直線の交点のゲイン値と、前記2つの前記ゲインサンプル位置のそれぞれの前記ゲイン値との差を求め、
前記差に応じて、前記時系列信号の前記2つの前記ゲインサンプル位置の間にある各サンプル位置の前記ゲイン値を線形補間または非線形補間により求める
ステップを含む復号化方法。
(10)
時系列信号の少なくとも2つのゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出し、
前記ゲインサンプル位置において、その前記ゲインサンプル位置の前記ゲイン値をとり、かつその前記ゲインサンプル位置の前記ゲイン傾き値により示される傾きを有する直線を求め、2つの前記ゲインサンプル位置についてそれぞれ求めた前記直線の交点のゲイン値と、前記2つの前記ゲインサンプル位置のそれぞれの前記ゲイン値との差を求め、
前記差に応じて、前記時系列信号の前記2つの前記ゲインサンプル位置の間にある各サンプル位置の前記ゲイン値を線形補間または非線形補間により求める
ステップを含む処理をコンピュータに実行させるプログラム。
51 復号化装置, 61 非多重化回路, 62 信号復号化回路, 63 ゲイン復号化回路, 64 ゲイン適用回路, 71 補間処理部, 101 リミティング処理部, 131 演算部

Claims (3)

  1. 時系列信号の少なくとも2つの連続したゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出すゲイン読み出し部と、
    前記2つの連続した前記ゲインサンプル位置の間のゲイン値を、前記2つの連続した前記ゲインサンプル位置の前記ゲイン値および前記ゲイン傾き値に基づいて補間した場合に求められる交点のゲインサンプル位置を求める演算部と、
    前記演算部で求めた前記交点のゲインサンプル位置に基づいて、前記2つの連続した前記ゲインサンプル位置の間にある前記ゲイン値を、線形補間または非線形補間により求める補間処理部と
    を備える復号化装置。
  2. 時系列信号の少なくとも2つの連続したゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出し、
    前記2つの連続した前記ゲインサンプル位置の間のゲイン値を、前記2つの連続した前記ゲインサンプル位置の前記ゲイン値および前記ゲイン傾き値に基づいて補間した場合に求められる交点のゲインサンプル位置を求め、
    前記交点のゲインサンプル位置に基づいて、前記2つの連続した前記ゲインサンプル位置の間にある前記ゲイン値を、線形補間または非線形補間により求める
    ステップを含む復号化方法。
  3. 時系列信号の少なくとも2つの連続したゲインサンプル位置の符号化されたゲイン値、および前記ゲイン値の傾きを示すゲイン傾き値を読み出し、
    前記2つの連続した前記ゲインサンプル位置の間のゲイン値を、前記2つの連続した前記ゲインサンプル位置の前記ゲイン値および前記ゲイン傾き値に基づいて補間した場合に求められる交点のゲインサンプル位置を求め、
    前記交点のゲインサンプル位置に基づいて、前記2つの連続した前記ゲインサンプル位置の間にある前記ゲイン値を、線形補間または非線形補間により求める
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2020133606A 2013-12-27 2020-08-06 復号化装置および方法、並びにプログラム Active JP6927385B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021128702A JP7215534B2 (ja) 2013-12-27 2021-08-05 復号化装置および方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013272943 2013-12-27
JP2013272943 2013-12-27
JP2019174075A JP6753499B2 (ja) 2013-12-27 2019-09-25 復号化装置および方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019174075A Division JP6753499B2 (ja) 2013-12-27 2019-09-25 復号化装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021128702A Division JP7215534B2 (ja) 2013-12-27 2021-08-05 復号化装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2020187377A JP2020187377A (ja) 2020-11-19
JP6927385B2 true JP6927385B2 (ja) 2021-08-25

Family

ID=53478428

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015554741A Active JP6593173B2 (ja) 2013-12-27 2014-12-12 復号化装置および方法、並びにプログラム
JP2019174075A Active JP6753499B2 (ja) 2013-12-27 2019-09-25 復号化装置および方法、並びにプログラム
JP2020133606A Active JP6927385B2 (ja) 2013-12-27 2020-08-06 復号化装置および方法、並びにプログラム
JP2021128702A Active JP7215534B2 (ja) 2013-12-27 2021-08-05 復号化装置および方法、並びにプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015554741A Active JP6593173B2 (ja) 2013-12-27 2014-12-12 復号化装置および方法、並びにプログラム
JP2019174075A Active JP6753499B2 (ja) 2013-12-27 2019-09-25 復号化装置および方法、並びにプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021128702A Active JP7215534B2 (ja) 2013-12-27 2021-08-05 復号化装置および方法、並びにプログラム

Country Status (14)

Country Link
US (3) US10692511B2 (ja)
EP (2) EP3608909B1 (ja)
JP (4) JP6593173B2 (ja)
KR (3) KR20230042410A (ja)
CN (1) CN105849801B (ja)
AU (1) AU2014371411A1 (ja)
BR (1) BR112016014476B1 (ja)
CA (2) CA3162763A1 (ja)
MX (1) MX2016008172A (ja)
MY (1) MY188538A (ja)
RU (2) RU2764260C2 (ja)
SG (1) SG11201605015XA (ja)
TW (1) TWI644308B (ja)
WO (1) WO2015098564A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5101292B2 (ja) 2004-10-26 2012-12-19 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号の感知音量及び/又は感知スペクトルバランスの計算と調整
TWI529703B (zh) 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5743137B2 (ja) 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
CN112185400A (zh) 2012-05-18 2021-01-05 杜比实验室特许公司 用于维持与参数音频编码器相关联的可逆动态范围控制信息的系统
RU2719690C2 (ru) 2013-01-21 2020-04-21 Долби Лабораторис Лайсэнзин Корпорейшн Аудиокодер и аудиодекодер с метаданными громкости и границы программы
ES2624419T3 (es) 2013-01-21 2017-07-14 Dolby Laboratories Licensing Corporation Sistema y procedimiento para optimizar la sonoridad y el rango dinámico a través de diferentes dispositivos de reproducción
CN116665683A (zh) 2013-02-21 2023-08-29 杜比国际公司 用于参数化多声道编码的方法
CN107093991B (zh) 2013-03-26 2020-10-09 杜比实验室特许公司 基于目标响度的响度归一化方法和设备
WO2014165304A1 (en) 2013-04-05 2014-10-09 Dolby Laboratories Licensing Corporation Acquisition, recovery, and matching of unique information from file-based media for automated file detection
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP3044786B1 (en) 2013-09-12 2024-04-24 Dolby Laboratories Licensing Corporation Loudness adjustment for downmixed audio content
WO2015038475A1 (en) 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation Dynamic range control for a wide variety of playback environments
JP6593173B2 (ja) 2013-12-27 2019-10-23 ソニー株式会社 復号化装置および方法、並びにプログラム
CN110808723A (zh) 2014-05-26 2020-02-18 杜比实验室特许公司 音频信号响度控制
EP4372746A2 (en) 2014-10-10 2024-05-22 Dolby Laboratories Licensing Corporation Transmission-agnostic presentation-based program loudness
CN110312146B (zh) * 2019-06-06 2021-11-09 百度在线网络技术(北京)有限公司 音频处理方法、装置、电子设备和存储介质
KR20190085889A (ko) 2019-06-28 2019-07-19 신원제 태양광 패널 청소기

Family Cites Families (232)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628529A (en) 1985-07-01 1986-12-09 Motorola, Inc. Noise suppression system
US4817151A (en) * 1987-11-09 1989-03-28 Broadcast Technology Partners Selective decoder for compatible FM stereophonic system utilizing companding of difference signal
JPH0364800A (ja) 1989-08-03 1991-03-20 Ricoh Co Ltd 音声符号化及び復号化方式
JPH03254223A (ja) 1990-03-02 1991-11-13 Eastman Kodak Japan Kk アナログデータ伝送方式
JP3137805B2 (ja) * 1993-05-21 2001-02-26 三菱電機株式会社 音声符号化装置、音声復号化装置、音声後処理装置及びこれらの方法
US6022222A (en) * 1994-01-03 2000-02-08 Mary Beth Guinan Icon language teaching system
JP2655485B2 (ja) * 1994-06-24 1997-09-17 日本電気株式会社 音声セル符号化装置
JP3498375B2 (ja) 1994-07-20 2004-02-16 ソニー株式会社 ディジタル・オーディオ信号記録装置
JP3189598B2 (ja) 1994-10-28 2001-07-16 松下電器産業株式会社 信号合成方法および信号合成装置
US5640490A (en) * 1994-11-14 1997-06-17 Fonix Corporation User independent, real-time speech recognition system and method
US5664055A (en) 1995-06-07 1997-09-02 Lucent Technologies Inc. CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US5749064A (en) * 1996-03-01 1998-05-05 Texas Instruments Incorporated Method and system for time scale modification utilizing feature vectors about zero crossing points
JPH1020888A (ja) 1996-07-02 1998-01-23 Matsushita Electric Ind Co Ltd 音声符号化・復号化装置
US6073100A (en) 1997-03-31 2000-06-06 Goodridge, Jr.; Alan G Method and apparatus for synthesizing signals using transform-domain match-output extension
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
CN1144179C (zh) 1997-07-11 2004-03-31 索尼株式会社 声音信号解码方法和装置、声音信号编码方法和装置
US5913194A (en) * 1997-07-14 1999-06-15 Motorola, Inc. Method, device and system for using statistical information to reduce computation and memory requirements of a neural network based speech synthesis system
JPH11168622A (ja) 1997-12-05 1999-06-22 Canon Inc 画像処理装置、画像処理方法および記憶媒体
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
WO2000070769A1 (fr) 1999-05-14 2000-11-23 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'elargissement de la bande d'un signal audio
JP4218134B2 (ja) * 1999-06-17 2009-02-04 ソニー株式会社 復号装置及び方法、並びにプログラム提供媒体
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
JP3454206B2 (ja) 1999-11-10 2003-10-06 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
CA2290037A1 (en) 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
US6657492B1 (en) * 2000-02-24 2003-12-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System for estimating a non-linear characteristic of an amplifier
US6782366B1 (en) * 2000-05-15 2004-08-24 Lsi Logic Corporation Method for independent dynamic range control
SE0004163D0 (sv) 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
JP2002268698A (ja) 2001-03-08 2002-09-20 Nec Corp 音声認識装置と標準パターン作成装置及び方法並びにプログラム
SE0101175D0 (sv) 2001-04-02 2001-04-02 Coding Technologies Sweden Ab Aliasing reduction using complex-exponential-modulated filterbanks
JP4231987B2 (ja) 2001-06-15 2009-03-04 日本電気株式会社 音声符号化復号方式間の符号変換方法、その装置、そのプログラム及び記憶媒体
US7174135B2 (en) 2001-06-28 2007-02-06 Koninklijke Philips Electronics N. V. Wideband signal transmission system
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
EP1351401B1 (en) 2001-07-13 2009-01-14 Panasonic Corporation Audio signal decoding device and audio signal encoding device
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
WO2003042979A2 (en) 2001-11-14 2003-05-22 Matsushita Electric Industrial Co., Ltd. Encoding device and decoding device
JP3926726B2 (ja) 2001-11-14 2007-06-06 松下電器産業株式会社 符号化装置および復号化装置
EP1423847B1 (en) 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US7013011B1 (en) * 2001-12-28 2006-03-14 Plantronics, Inc. Audio limiting circuit
CN1288625C (zh) 2002-01-30 2006-12-06 松下电器产业株式会社 音频编码与解码设备及其方法
JP3815347B2 (ja) 2002-02-27 2006-08-30 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP2003255973A (ja) 2002-02-28 2003-09-10 Nec Corp 音声帯域拡張システムおよび方法
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
JP2003316394A (ja) 2002-04-23 2003-11-07 Nec Corp 音声復号システム、及び、音声復号方法、並びに、音声復号プログラム
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
EP1439524B1 (en) 2002-07-19 2009-04-08 NEC Corporation Audio decoding device, decoding method, and program
JP4728568B2 (ja) 2002-09-04 2011-07-20 マイクロソフト コーポレーション レベル・モードとラン・レングス/レベル・モードの間での符号化を適応させるエントロピー符号化
JP3881943B2 (ja) 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
ES2259158T3 (es) 2002-09-19 2006-09-16 Matsushita Electric Industrial Co., Ltd. Metodo y aparato decodificador audio.
US7330812B2 (en) 2002-10-04 2008-02-12 National Research Council Of Canada Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel
AU2003234420A1 (en) * 2002-12-27 2004-07-29 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
EP2665294A2 (en) 2003-03-04 2013-11-20 Core Wireless Licensing S.a.r.l. Support of a multichannel audio extension
US7020448B2 (en) * 2003-03-07 2006-03-28 Conwise Technology Corporation Ltd. Method for detecting a tone signal through digital signal processing
CN1458646A (zh) * 2003-04-21 2003-11-26 北京阜国数字技术有限公司 一种滤波参数矢量量化和结合量化模型预测的音频编码方法
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
US20050004793A1 (en) 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
US7277537B2 (en) * 2003-09-02 2007-10-02 Texas Instruments Incorporated Tone, modulated tone, and saturated tone detection in a voice activity detection device
KR20050027179A (ko) 2003-09-13 2005-03-18 삼성전자주식회사 오디오 데이터 복원 방법 및 그 장치
US7844451B2 (en) 2003-09-16 2010-11-30 Panasonic Corporation Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums
EP2221808B1 (en) 2003-10-23 2012-07-11 Panasonic Corporation Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof
KR100587953B1 (ko) 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
US7148415B2 (en) * 2004-03-19 2006-12-12 Apple Computer, Inc. Method and apparatus for evaluating and correcting rhythm in audio data
KR20070012808A (ko) * 2004-04-21 2007-01-29 돌비 레버러토리즈 라이쎈싱 코오포레이션 트리 계층 데이터 구조의 순서적 횡단에 의해 비트스트림이기술되는 오디오 비트스트림 포맷
WO2005111568A1 (ja) 2004-05-14 2005-11-24 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、およびこれらの方法
CN1954363B (zh) 2004-05-19 2011-10-12 松下电器产业株式会社 编码装置和编码方法
EP1749296B1 (en) 2004-05-28 2010-07-14 Nokia Corporation Multichannel audio extension
KR100608062B1 (ko) 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
TWI294119B (en) * 2004-08-18 2008-03-01 Sunplus Technology Co Ltd Dvd player with sound learning function
US7716046B2 (en) 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US20060106620A1 (en) 2004-10-28 2006-05-18 Thompson Jeffrey K Audio spatial environment down-mixer
SE0402651D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
MX2007005103A (es) 2004-11-02 2007-07-04 Koninkl Philips Electronics Nv Codificacion y decodificacion de senales de audio utilizando bancos de filtros de valor complejo.
WO2006049205A1 (ja) 2004-11-05 2006-05-11 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置およびスケーラブル符号化装置
KR101220621B1 (ko) 2004-11-05 2013-01-18 파나소닉 주식회사 부호화 장치 및 부호화 방법
US7873515B2 (en) * 2004-11-23 2011-01-18 Stmicroelectronics Asia Pacific Pte. Ltd. System and method for error reconstruction of streaming audio information
KR100657916B1 (ko) 2004-12-01 2006-12-14 삼성전자주식회사 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
US7616710B2 (en) * 2004-12-08 2009-11-10 Electronics And Telecommunications Research Institute Frequency offset estimating method and receiver employing the same
US7676362B2 (en) * 2004-12-31 2010-03-09 Motorola, Inc. Method and apparatus for enhancing loudness of a speech signal
JP5224017B2 (ja) 2005-01-11 2013-07-03 日本電気株式会社 オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
KR100708121B1 (ko) 2005-01-22 2007-04-16 삼성전자주식회사 음성 신호의 대역 확장 방법 및 장치
MX2007012185A (es) 2005-04-01 2007-12-11 Qualcomm Inc Metodo y aparato para cuantificacion de vector de una representacion de envoltura espectral.
JP4804532B2 (ja) 2005-04-15 2011-11-02 ドルビー インターナショナル アクチボラゲット 無相関信号の包絡線整形
US20070005351A1 (en) 2005-06-30 2007-01-04 Sathyendra Harsha M Method and system for bandwidth expansion for voice communications
JP4899359B2 (ja) 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
KR100813259B1 (ko) 2005-07-13 2008-03-13 삼성전자주식회사 입력신호의 계층적 부호화/복호화 장치 및 방법
CN101253556B (zh) 2005-09-02 2011-06-22 松下电器产业株式会社 能量整形装置以及能量整形方法
US7653146B2 (en) * 2005-09-06 2010-01-26 Liquid Xstream Systems Inc. System and method for delivery of video, content on demand and IP packets
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
WO2007037361A1 (ja) 2005-09-30 2007-04-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
KR20080047443A (ko) 2005-10-14 2008-05-28 마츠시타 덴끼 산교 가부시키가이샤 변환 부호화 장치 및 변환 부호화 방법
BRPI0520729B1 (pt) 2005-11-04 2019-04-02 Nokia Technologies Oy Método para a codificação e decodificação de sinais de áudio, codificador para codificação e decodificador para decodificar sinais de áudio e sistema para compressão de áudio digital.
CN101317217B (zh) 2005-11-30 2012-07-18 松下电器产业株式会社 子带编码装置和子带编码方法
JP4876574B2 (ja) 2005-12-26 2012-02-15 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
JP4863713B2 (ja) 2005-12-29 2012-01-25 富士通株式会社 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
US8775526B2 (en) * 2006-01-16 2014-07-08 Zlango Ltd. Iconic communication
US7953604B2 (en) 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US7590523B2 (en) 2006-03-20 2009-09-15 Mindspeed Technologies, Inc. Speech post-processing using MDCT coefficients
JP4976381B2 (ja) 2006-03-31 2012-07-18 パナソニック株式会社 音声符号化装置、音声復号化装置、およびこれらの方法
BRPI0709877B1 (pt) * 2006-04-04 2019-12-31 Dolby Laboratories Licensing Corp método e aparelho para controlar uma característica de intensidade acústica particular de um sinal de áudio
JP5173800B2 (ja) 2006-04-27 2013-04-03 パナソニック株式会社 音声符号化装置、音声復号化装置、およびこれらの方法
DE602007005630D1 (de) 2006-05-10 2010-05-12 Panasonic Corp Codierungseinrichtung und codierungsverfahren
JP2007316254A (ja) * 2006-05-24 2007-12-06 Sony Corp オーディオ信号補間方法及びオーディオ信号補間装置
KR20070115637A (ko) 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
JP2007333785A (ja) 2006-06-12 2007-12-27 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置およびオーディオ信号符号化方法
KR101244310B1 (ko) 2006-06-21 2013-03-18 삼성전자주식회사 광대역 부호화 및 복호화 방법 및 장치
WO2007148925A1 (en) 2006-06-21 2007-12-27 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8239191B2 (en) 2006-09-15 2012-08-07 Panasonic Corporation Speech encoding apparatus and speech encoding method
JP4918841B2 (ja) 2006-10-23 2012-04-18 富士通株式会社 符号化システム
US8295507B2 (en) 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
JP5141180B2 (ja) 2006-11-09 2013-02-13 ソニー株式会社 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
JP4930320B2 (ja) 2006-11-30 2012-05-16 ソニー株式会社 再生方法及び装置、プログラム並びに記録媒体
US8560328B2 (en) 2006-12-15 2013-10-15 Panasonic Corporation Encoding device, decoding device, and method thereof
RU2406165C2 (ru) * 2007-02-14 2010-12-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов
JP4984983B2 (ja) 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
JP2008261978A (ja) 2007-04-11 2008-10-30 Toshiba Microelectronics Corp 再生音量自動調整方法
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
WO2009001874A1 (ja) 2007-06-27 2008-12-31 Nec Corporation オーディオ符号化方法、オーディオ復号方法、オーディオ符号化装置、オーディオ復号装置、プログラム、およびオーディオ符号化・復号システム
JP5071479B2 (ja) 2007-07-04 2012-11-14 富士通株式会社 符号化装置、符号化方法および符号化プログラム
JP5045295B2 (ja) 2007-07-30 2012-10-10 ソニー株式会社 信号処理装置及び方法、並びにプログラム
US8041577B2 (en) 2007-08-13 2011-10-18 Mitsubishi Electric Research Laboratories, Inc. Method for expanding audio signal bandwidth
US20090154726A1 (en) * 2007-08-22 2009-06-18 Step Labs Inc. System and Method for Noise Activity Detection
BRPI0815972B1 (pt) 2007-08-27 2020-02-04 Ericsson Telefon Ab L M método para recuperação de espectro em decodificação espectral de um sinal de áudio, método para uso em codificação espectral de um sinal de áudio, decodificador, e, codificador
CA2697920C (en) 2007-08-27 2018-01-02 Telefonaktiebolaget L M Ericsson (Publ) Transient detector and method for supporting encoding of an audio signal
EP3401907B1 (en) 2007-08-27 2019-11-20 Telefonaktiebolaget LM Ericsson (publ) Method and device for perceptual spectral decoding of an audio signal including filling of spectral holes
CN101868823B (zh) 2007-10-23 2011-12-07 歌乐株式会社 高频插值装置和高频插值方法
KR101373004B1 (ko) 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
JP4733727B2 (ja) 2007-10-30 2011-07-27 日本電信電話株式会社 音声楽音擬似広帯域化装置と音声楽音擬似広帯域化方法、及びそのプログラムとその記録媒体
WO2009057329A1 (ja) 2007-11-01 2009-05-07 Panasonic Corporation 符号化装置、復号装置およびこれらの方法
EP2629293A3 (en) 2007-11-02 2014-01-08 Huawei Technologies Co., Ltd. Method and apparatus for audio decoding
US20090132238A1 (en) 2007-11-02 2009-05-21 Sudhakar B Efficient method for reusing scale factors to improve the efficiency of an audio encoder
EP2220646A1 (en) 2007-11-06 2010-08-25 Nokia Corporation Audio coding apparatus and method thereof
JP2009116275A (ja) 2007-11-09 2009-05-28 Toshiba Corp 雑音抑圧、音声スペクトル平滑化、音声特徴抽出、音声認識及び音声モデルトレーニングための方法及び装置
CN101836250B (zh) 2007-11-21 2012-11-28 Lg电子株式会社 用于处理信号的方法及装置
US8688441B2 (en) 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
CN101903945B (zh) 2007-12-21 2014-01-01 松下电器产业株式会社 编码装置、解码装置以及编码方法
US20100280833A1 (en) 2007-12-27 2010-11-04 Panasonic Corporation Encoding device, decoding device, and method thereof
DE602008005250D1 (de) 2008-01-04 2011-04-14 Dolby Sweden Ab Audiokodierer und -dekodierer
JP5448850B2 (ja) 2008-01-25 2014-03-19 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
KR101413968B1 (ko) 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
US8433582B2 (en) 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
US20090201983A1 (en) 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
AU2009220321B2 (en) 2008-03-03 2011-09-22 Intellectual Discovery Co., Ltd. Method and apparatus for processing audio signal
KR101449434B1 (ko) 2008-03-04 2014-10-13 삼성전자주식회사 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치
EP3296992B1 (en) 2008-03-20 2021-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for modifying a parameterized representation
US8085941B2 (en) * 2008-05-02 2011-12-27 Dolby Laboratories Licensing Corporation System and method for dynamic sound delivery
KR20090122142A (ko) 2008-05-23 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2009154797A2 (en) 2008-06-20 2009-12-23 Rambus, Inc. Frequency responsive bus coding
US8532932B2 (en) * 2008-06-30 2013-09-10 Nellcor Puritan Bennett Ireland Consistent signal selection by signal segment selection techniques
EP2301026B1 (en) 2008-07-11 2020-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal synthesizer and audio signal encoder
BRPI0910811B1 (pt) 2008-07-11 2021-09-21 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio.
JP5203077B2 (ja) 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
KR101576318B1 (ko) 2008-08-08 2015-12-09 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 스펙트럼 평활화 장치, 부호화 장치, 복호 장치, 통신 단말 장치, 기지국 장치 및 스펙트럼 평활화 방법
JP2010079275A (ja) 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
US8407046B2 (en) 2008-09-06 2013-03-26 Huawei Technologies Co., Ltd. Noise-feedback for spectral envelope quantization
US8532983B2 (en) 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Adaptive frequency prediction for encoding or decoding an audio signal
US8798776B2 (en) 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
GB2466201B (en) 2008-12-10 2012-07-11 Skype Ltd Regeneration of wideband speech
GB0822537D0 (en) 2008-12-10 2009-01-14 Skype Ltd Regeneration of wideband speech
BRPI0917762B1 (pt) * 2008-12-15 2020-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Codificador de áudio e decodificador de extensão de largura de banda
CN101770776B (zh) 2008-12-29 2011-06-08 华为技术有限公司 瞬态信号的编码方法和装置、解码方法和装置及处理系统
TWI430264B (zh) 2009-01-16 2014-03-11 Dolby Int Ab 交叉乘積加強之諧波移調
US8457975B2 (en) 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US8463599B2 (en) 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
BRPI1008484A2 (pt) 2009-02-26 2018-01-16 Panasonic Corp codificador, decodificador e método para os mesmos
JP5564803B2 (ja) 2009-03-06 2014-08-06 ソニー株式会社 音響機器及び音響処理方法
CN101853663B (zh) 2009-03-30 2012-05-23 华为技术有限公司 比特分配方法、编码装置及解码装置
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
CO6440537A2 (es) 2009-04-09 2012-05-15 Fraunhofer Ges Forschung Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio
US8392200B2 (en) 2009-04-14 2013-03-05 Qualcomm Incorporated Low complexity spectral band replication (SBR) filterbanks
US8971551B2 (en) 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
TWI675367B (zh) 2009-05-27 2019-10-21 瑞典商杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法,及其機上盒、電腦程式產品、軟體程式及儲存媒體
JP5223786B2 (ja) 2009-06-10 2013-06-26 富士通株式会社 音声帯域拡張装置、音声帯域拡張方法及び音声帯域拡張用コンピュータプログラムならびに電話機
US8515768B2 (en) 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
JP5928539B2 (ja) 2009-10-07 2016-06-01 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
CN102081927B (zh) 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
US8600749B2 (en) 2009-12-08 2013-12-03 At&T Intellectual Property I, L.P. System and method for training adaptation-specific acoustic models for automatic speech recognition
US8447617B2 (en) 2009-12-21 2013-05-21 Mindspeed Technologies, Inc. Method and system for speech bandwidth extension
EP2357649B1 (en) 2010-01-21 2012-12-19 Electronics and Telecommunications Research Institute Method and apparatus for decoding audio signal
TWI529703B (zh) 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
AU2011226211B2 (en) 2010-03-09 2014-01-09 Dolby International Ab Apparatus and method for processing an audio signal using patch border alignment
JP5375683B2 (ja) 2010-03-10 2013-12-25 富士通株式会社 通信装置および電力補正方法
JP2011203483A (ja) 2010-03-25 2011-10-13 Yamaha Corp 音声処理装置
WO2011121782A1 (ja) 2010-03-31 2011-10-06 富士通株式会社 帯域拡張装置および帯域拡張方法
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8793126B2 (en) 2010-04-14 2014-07-29 Huawei Technologies Co., Ltd. Time/frequency two dimension post-processing
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US8560330B2 (en) 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding
CA3209829C (en) 2010-07-19 2024-05-21 Dolby International Ab Processing of audio signals during high frequency reconstruction
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2012058358A (ja) 2010-09-07 2012-03-22 Sony Corp 雑音抑圧装置、雑音抑圧方法およびプログラム
US8407020B1 (en) * 2010-09-28 2013-03-26 The United States Of America As Represented By The Secretary Of The Navy Fast method to search for linear frequency-modulated signals
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9230551B2 (en) 2010-10-18 2016-01-05 Nokia Technologies Oy Audio encoder or decoder apparatus
US8521541B2 (en) * 2010-11-02 2013-08-27 Google Inc. Adaptive audio transcoding
JP5743137B2 (ja) 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
US9171549B2 (en) * 2011-04-08 2015-10-27 Dolby Laboratories Licensing Corporation Automatic configuration of metadata for use in mixing audio programs from two encoded bitstreams
WO2012146290A1 (en) 2011-04-28 2012-11-01 Telefonaktiebolaget L M Ericsson (Publ) Frame based audio signal classification
JP6024077B2 (ja) 2011-07-01 2016-11-09 ヤマハ株式会社 信号送信装置および信号処理装置
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5975243B2 (ja) 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
BR112014007481A2 (pt) 2011-09-29 2017-04-04 Dolby Int Ab detecção de alta qualidade em sinais de rádio fm estéreo
US9354968B2 (en) * 2011-09-30 2016-05-31 Johnson Controls Technology Company Systems and methods for data quality control and cleansing
JP2013102411A (ja) * 2011-10-14 2013-05-23 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム
US9583108B2 (en) * 2011-12-08 2017-02-28 Forrest S. Baker III Trust Voice detection for automated communication system
JP5810946B2 (ja) * 2012-01-31 2015-11-11 富士通株式会社 特定通話検出装置、特定通話検出方法及び特定通話検出用コンピュータプログラム
US9576593B2 (en) * 2012-03-15 2017-02-21 Regents Of The University Of Minnesota Automated verbal fluency assessment
CN104205210A (zh) 2012-04-13 2014-12-10 索尼公司 解码设备和方法、音频信号处理设备和方法以及程序
JP5997592B2 (ja) 2012-04-27 2016-09-28 株式会社Nttドコモ 音声復号装置
CN103765508B (zh) 2012-07-02 2017-11-24 索尼公司 解码装置、解码方法、编码装置和编码方法
BR112014004129A2 (pt) 2012-07-02 2017-06-13 Sony Corp dispositivos e métodos de decodificação e de codificação, e, programa
TWI517142B (zh) 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
CN103748628B (zh) 2012-07-02 2017-12-22 索尼公司 解码装置和方法以及编码装置和方法
US9991861B2 (en) * 2012-08-10 2018-06-05 Bellevue Investments Gmbh & Co. Kgaa System and method for controlled dynamics adaptation for musical content
JP2014123011A (ja) 2012-12-21 2014-07-03 Sony Corp 雑音検出装置および方法、並びに、プログラム
ES2624419T3 (es) * 2013-01-21 2017-07-14 Dolby Laboratories Licensing Corporation Sistema y procedimiento para optimizar la sonoridad y el rango dinámico a través de diferentes dispositivos de reproducción
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
JP6593173B2 (ja) * 2013-12-27 2019-10-23 ソニー株式会社 復号化装置および方法、並びにプログラム
WO2015144587A1 (en) 2014-03-25 2015-10-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder device and an audio decoder device having efficient gain coding in dynamic range control

Also Published As

Publication number Publication date
JPWO2015098564A1 (ja) 2017-03-23
CN105849801A (zh) 2016-08-10
US10692511B2 (en) 2020-06-23
MX2016008172A (es) 2016-10-21
US20200265845A1 (en) 2020-08-20
EP3089161A1 (en) 2016-11-02
BR112016014476A2 (pt) 2020-09-08
EP3089161B1 (en) 2019-10-23
MY188538A (en) 2021-12-20
CA3162763A1 (en) 2015-07-02
TW201537560A (zh) 2015-10-01
WO2015098564A1 (ja) 2015-07-02
US20180197555A1 (en) 2018-07-12
US20230245665A1 (en) 2023-08-03
BR112016014476B1 (pt) 2021-11-23
JP2019215585A (ja) 2019-12-19
US11705140B2 (en) 2023-07-18
CA2934602C (en) 2022-08-30
KR102356012B1 (ko) 2022-01-27
EP3089161A4 (en) 2017-07-12
TWI644308B (zh) 2018-12-11
EP3608909A1 (en) 2020-02-12
CN105849801B (zh) 2020-02-14
JP7215534B2 (ja) 2023-01-31
RU2018132534A (ru) 2018-10-23
RU2764260C2 (ru) 2022-01-14
JP6753499B2 (ja) 2020-09-09
AU2014371411A1 (en) 2016-06-23
JP2021177260A (ja) 2021-11-11
RU2667627C1 (ru) 2018-09-21
KR102513009B1 (ko) 2023-03-22
CA2934602A1 (en) 2015-07-02
KR20220013024A (ko) 2022-02-04
EP3608909B1 (en) 2021-08-25
SG11201605015XA (en) 2016-08-30
JP6593173B2 (ja) 2019-10-23
RU2018132534A3 (ja) 2021-11-11
JP2020187377A (ja) 2020-11-19
KR20230042410A (ko) 2023-03-28
RU2016124464A (ru) 2017-12-22
KR20160102403A (ko) 2016-08-30

Similar Documents

Publication Publication Date Title
JP6927385B2 (ja) 復号化装置および方法、並びにプログラム
JP6531649B2 (ja) 符号化装置および方法、復号化装置および方法、並びにプログラム
US11705139B2 (en) Efficient coding of audio scenes comprising audio objects
USRE49107E1 (en) Audio encoder device and an audio decoder device having efficient gain coding in dynamic range control
RU2630754C2 (ru) Эффективное кодирование звуковых сцен, содержащих звуковые объекты
EP3574583A1 (en) Inversion of dynamic range control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R151 Written notification of patent or utility model registration

Ref document number: 6927385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151