JP5071479B2 - 符号化装置、符号化方法および符号化プログラム - Google Patents

符号化装置、符号化方法および符号化プログラム Download PDF

Info

Publication number
JP5071479B2
JP5071479B2 JP2009521487A JP2009521487A JP5071479B2 JP 5071479 B2 JP5071479 B2 JP 5071479B2 JP 2009521487 A JP2009521487 A JP 2009521487A JP 2009521487 A JP2009521487 A JP 2009521487A JP 5071479 B2 JP5071479 B2 JP 5071479B2
Authority
JP
Japan
Prior art keywords
segment
power
spectrum
correction
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009521487A
Other languages
English (en)
Other versions
JPWO2009004727A1 (ja
Inventor
美由紀 白川
政直 鈴木
義照 土永
孝志 牧内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2009004727A1 publication Critical patent/JPWO2009004727A1/ja
Application granted granted Critical
Publication of JP5071479B2 publication Critical patent/JP5071479B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

この発明は、入力信号を一定のサンプルからなるフレームに分割し、入力信号における高域の周波数帯域を符号化して高域符号化データを生成する符号化装置、符号化方法および符号化プログラムに関する。
従来より、音声や音楽などのオーディオ信号を圧縮または伸張するのにオーディオ符号化技術が多く利用されている。このようなオーディオ符号化技術では、圧縮効率を上げるために、つまり、符号化後の符号化ビット数を削減するため様々な手法が実施されている一方で、符号化後の音質劣化が問題となっている。
そこで、この符号化後の音質劣化を防止する様々な技術が開示されている(特許文献1参照)。また、最近では、音質劣化を防止しつつ、高い圧縮率を実現することができるMPEG−2で用いられるHE−AAC(High−Efficiency Advanced Audio Coding)符号化方式が利用されている(以下、「HE−AAC符号化方式」と表記する)。
このHE−AAC技術を用いたHE−AAC符号化装置とは、入力された音声信号の高域側周波成分を符号化するSBR(Spectral Band Replication)部と、低域側周波数成分を符号化するAAC(Advanced Audio Coding)部とを備える符号化装置である。
具体的には、このHE−AAC符号化装置は、SBR符号化部により高域成分が符号化された高域成分符号化データが生成され、AAC符号化部により低域成分が符号化された低域成分符号化データが生成される。そして、HE−AAC符号化装置は、生成された高域成分符号化データおよび低域成分符号化データを多重化し、HE−AACビットストリームを生成する。
図12は、従来の符号化装置の構成を示す機能ブロック図である。図12に示すように、この符号化装置は、SBR符号器と、AAC符号器と、ビットストリーム生成部とを備えて構成される。
AAC符号器は、入力信号を周波数領域に変換した領域で符号化する技術であり、入力信号の低域の周波数帯域信号から低域成分符号化データを生成する。具体的には、AAC符号器は、入力信号をダウンサンプリングして低域入力信号を取得し、取得した低域入力信号を一定の間隔で分割し、分割した間隔ごとの周波数帯域信号を符号化したAAC符号化情報を生成する。
SBR符号器は、入力された入力信号の低域成分から高域成分を複製するための情報を符号化することにより情報の圧縮を行う。具体的には、SBR符号器は、入力信号の性質(信号変化の大小)に応じて、入力信号を時間および周波数方向に分割したセグメント区間(時間/周波数グリッド)を生成する。そして、SBR符号器は、生成した時間/周波数グリッド内のスペクトルパワーと低域成分から複製できない情報をそれぞれ算出して量子化する。その後、SBR符号器は、さらに隣接グリッドの量子化値の差分情報をハフマン符号化し、入力信号の高域周波数成分を符号化したSBR符号化情報を生成する。
HE−AAC符号化装置は、SBR符号器により生成されたSBR符号化情報とAAC符号器により生成されたAAC符号化情報とを用いて、高域成分符号化情報および低域成分符号化情報を多重化し、HE−AACビットストリームを生成する。
特開2001−282288号公報
しかしながら、従来のHE−AAC符号化方式を用いた符号化装置では、SBR符号化に使用されるビット数を削減することができないという課題があった。
従来のHE−AAC符号化装置では、HE−AACにおいて利用できる全体の符号化ビット数がビットレートにより決定される。つまり、HE−AAC符号化装置では、AAC符号器で利用できるビット数とSBR符号器で利用できるビット数の合計で与えられる。したがって、HE−AAC符号化装置は、低ビットレートの場合は、利用できる全体の符号化ビット数が少ないという性質がある。
また、AAC符号器は、符号化における量子化誤差と符号化ビット数とを任意に制御することが可能である。この時、AAC符号器において量子化誤差と符号化ビット数とは、トレードオフの関係にある。つまり、AAC符号器は、ビット数が少ないと量子化誤差が増大して音質が劣化し、逆に、ビット数が多いと量子化誤差が減少して音質が向上する。
これに対して、SBR符号化では、SBRで利用するビット数を制限する方法が規格になく、入力信号の性質に応じて符号化ビット数が変動する性質がある。つまり、SBR符号化に用いられたビット数が増加すると、AAC符号化に利用できるビット数が減少するため、AAC符号化における量子化誤差が増大する。この結果、従来のHE−AAC符号化装置では、高域成分符号化データと低域成分符号化データとを復号化して音声出力した場合に、全体として音声の劣化が生じてしまう。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、SBR符号化に使用されるビット数を削減することが可能である符号化装置を提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、入力信号を一定のサンプルからなるフレームに分割し、前記入力信号における高域の周波数帯域を符号化して高域符号化データを生成する符号化装置であって、前記入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割するセグメント分割手段と、前記セグメント分割手段により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出する閾値算出手段と、前記閾値算出手段により算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを補正するパワー補正手段と、を備えたことを特徴とする。
また、本発明は、上記の発明において、前記セグメント分割手段により分割されたセグメントごとのスペクトルパワーから、当該スペクトルパワーの特徴を示す特徴パラメタを、分割されたセグメントごとに算出するパラメタ算出手段と、前記パワー補正手段により補正されたセグメントのスペクトルパワーと、前記パラメタ算出手段により算出された特徴パラメタとを符号化する符号化手段とをさらに備えたことを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記検出されたセグメントと隣接するセグメントのスペクトルパワーから、前記検出されたセグメントのスペクトルパワーを補正する補正量を算出し、算出された補正量を前記検出されたセグメントのスペクトルパワーに付加することで、当該スペクトルパワーを補正することを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値に基づいて、前記セグメント分割手段により分割された各セグメントのスペクトルパワーが平滑化する補正量を算出し、算出された補正量を前記検出されたセグメントのスペクトルパワーに付加することで、当該スペクトルパワーを補正することを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記検出されたセグメントと隣接するセグメントのスペクトルパワーから、前記検出されたセグメントのスペクトルパワーを補正する補正量として量子化値を算出し、算出された量子化値を用いて前記検出されたセグメントのスペクトルパワーを補正することを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値に基づいて、前記セグメント分割手段により分割された各セグメントのスペクトルパワーの量子化値が平滑化する補正量を算出し、算出された補正量を用いて前記検出されたセグメントのスペクトルパワーを補正することを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値の範囲内で、前記補正量を算出することを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値の範囲内で、前記量子化値を算出することを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値の範囲内で、最終的に生成される高域側符号化データの符号化ビット数が少なくなるように前記補正量を算出することを特徴とする。
また、本発明は、上記の発明において、前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値の範囲内で、最終的に生成される高域側符号化データの符号化ビット数が少なくなるように前記量子化値を算出することを特徴とする。
また、本発明は、上記の発明において、前記閾値算出手段は、前記セグメント分割手段により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーから時間方向、周波数方向、時間方向および周波数方向のいずれかのマスキング閾値を算出することを特徴とする。
また、本発明は、上記の発明において、入力信号を一定のサンプルからなるフレームに分割し、前記入力信号における高域の周波数帯域を符号化して高域符号化データを生成する符号化装置の符号化方法であって、前記入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割するセグメント分割工程と、前記セグメント分割工程により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出する閾値算出工程と、前記閾値算出工程により算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを補正するパワー補正工程と、を含んだことを特徴とする。
また、本発明は、上記の発明において、入力信号を一定のサンプルからなるフレームに分割し、前記入力信号における高域の周波数帯域を符号化して高域符号化データを生成する方法をコンピュータに実行させる符号化プログラムであって、前記入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割するセグメント分割手順と、前記セグメント分割手順により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出する閾値算出手順と、前記閾値算出手順により算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを補正するパワー補正手順と、をコンピュータに実行させることを特徴とする。
本発明によれば、入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割し、任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出し、算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを補正するので、SBR符号化に使用されるビット数を削減することが可能である。
例えば、SBR符号化器とAAC符号化器とから構成されるHE−AAC符号化装置を用いた場合、SBR符号化器は、入力信号の性質に応じて、入力信号を時間及び周波数方向に分割したセグメント区間(時間/周波数グリッド)を生成し、生成した時間/周波数グリッド内のスペクトルパワーと低域成分から複製できない情報とをそれぞれ算出して量子化するのに際して、聴覚的に聞こえないマスキング閾値以下のスペクトルパワーを補正することで、ハフマン符号化において符号化される量子化値の差分を小さくすることができる。このハフマン符号化では、量子化値の差分が小さいほど短い符号が割り当てられるため、符号化ビット数を少なくすることができる。このようにSBR符号化で使用されるビット数を削減することができるため、AAC符号化で使用できるビット数を多く確保することができる。その結果、AAC符号化の量子化誤差が減少するため、HE−AAC符号化装置で符号化される符号化情報全体として、音質を向上させることが可能である。
また、本発明によれば、分割されたセグメントごとのスペクトルパワーから、当該スペクトルパワーの特徴を示す特徴パラメタを、分割されたセグメントごとに算出し、補正されたセグメントのスペクトルパワーと、算出された特徴パラメタとを符号化するので、SBR符号化において細かい情報を漏らすことなく符号化することが可能である。
また、本発明によれば、検出されたセグメントと隣接するセグメントのスペクトルパワーから、検出されたセグメントのスペクトルパワーを補正する補正量を算出し、算出された補正量を検出されたセグメントのスペクトルパワーに付加することで、当該スペクトルパワーを補正するので、確実に聴覚的に影響のない範囲に対して補正することが可能である。
また、本発明によれば、算出されたマスキング閾値に基づいて、分割された各セグメントのスペクトルパワーが平滑化する補正量を算出し、算出された補正量を検出されたセグメントのスペクトルパワーに付加することで、当該スペクトルパワーを補正するので、SBR符号化に使用されるビット数をさらに削減することが可能である。
また、本発明によれば、検出されたセグメントと隣接するセグメントのスペクトルパワーから、検出されたセグメントのスペクトルパワーを補正する補正量として量子化値を算出し、算出された量子化値を用いて検出されたセグメントのスペクトルパワーを補正するので、SBR符号化に使用されるビット数をさらに削減することが可能である。
また、本発明によれば、算出されたマスキング閾値に基づいて、分割された各セグメントのスペクトルパワーの量子化値が平滑化する補正量を算出し、算出された補正量を用いて検出されたセグメントのスペクトルパワーを補正するので、補正後に実施されるハフマン符号化において符号化される量子化値の差分を小さくすることが可能である。
また、本発明によれば、算出されたマスキング閾値の範囲内で、補正量を算出するので、補正に要するビット数を最小限にとどめることが可能である。
また、本発明によれば、算出されたマスキング閾値の範囲内で、量子化値を算出するので、補正に要するビット数を最小限にとどめることが可能である。
また、本発明によれば、算出されたマスキング閾値の範囲内で、最終的に生成される高域符号化データの符号化ビット数が少なくなるように補正量を算出するので、補正後に実施されるハフマン符号化において符号化される量子化値の差分を小さくすることが可能である。
また、本発明によれば、算出されたマスキング閾値の範囲内で、最終的に生成される高域符号化データの符号化ビット数が少なくなるように量子化値を算出するので、補正後に実施されるハフマン符号化において符号化される量子化値の差分を小さくすることが可能である。
また、本発明によれば、任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーから時間方向、周波数方向、時間方向および周波数方向いずれかのマスキング閾値を算出することとしたので、複数の組み合わせを用いて符号化することが可能である。
以下に添付図面を参照して、この発明に係るオーディオ符号化装置の実施例を詳細に説明する。なお、以下では、実施例1に係るオーディオ符号化装置の概要および特徴、オーディオ符号化装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。
[用語の説明]
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いるオーディオ符号化装置とは、入力された入力信号の高域成分を符号化するSBR符号器(特許請求の範囲に記載の「符号化装置」に対応する。)と、当該入力信号の低域成分を符号化するAAC符号器とを備えたエンコーダのことである。このオーディオ符号化装置は、SBR符号器により生成されたSBR符号化情報と、AAC符号器により生成されたAAC符号化情報とを多重化して、HE−AACビットストリームを生成する。
また、SBR符号器は、入力された入力信号の低域成分から高域成分を複製するための情報を符号化することにより情報の圧縮を行う。具体的には、SBR符号器は、入力信号の性質に応じて、入力信号を時間及び周波数方向に分割したセグメント区間(時間/周波数グリッド)を生成する。そして、SBR符号器は、生成した時間/周波数グリッド内のスペクトルパワーと低域成分から複製できない情報とをそれぞれ算出して量子化する。その後、SBR符号化は、さらに隣接グリッドの量子化値の差分情報をハフマン符号化し、入力信号の高域周波成分を符号化したSBR符号化情報を生成する。このハフマン符号化は、量子化値の差分が小さいほど少ないビット数で符号化することができる。
また、AAC符号器は、入力信号を周波数領域に変換した領域で符号化する技術であり、入力信号の低域の周波数帯域信号から低域符号化データを生成する。具体的には、AAC符号器は、入力信号をダウンサンプリングして低域入力信号を取得し、取得した低域入力信号を一定の間隔で分割し、分割した間隔ごとの周波数帯域信号を符号化したAAC符号化情報を生成する。
ここで、SBR符号器とAAC符号器とで使用されるビット数の関係について説明する。このオーディオ符号化装置では、使用することのできるビット数(例えば、Zビット)が決められている。また、AAC符号化は、SBR符号化の後に、残りビット数(例えば、Yビット)を用いて高域成分のAAC符号化情報を生成する。つまり、SBR符号化において使用されたビット数が「Xビット」であったとすると、AAC符号化で使用することのできるビット数「Yビット」は「Y=Z−X」となる。そのため、SBR符号化において使用されたビット数が多くなると、AAC符号化で使用することのできるビット数が少なくなり、AAC符号器で符号化された符号化データに歪みが発生する。
また、オーディオ符号化装置からHE−AACビットストリームを受信した復号化装置(デコーダ)では、受信したAAC符号化情報を復号して低域データを取得し、SBR符号化情報を復号して高域データ生成に必要な制御信号を取得し、取得された低域データと制御信号とから高域データを生成する。
このように、デコーダは、AACのデコード結果(低域成分)より、SBR符号化情報を用いて高域成分を生成するので、AAC(低域成分)のスペクトル歪がSBR(高域成分)へ伝播することで全体のスペクトル歪が増大し、音質が劣化する。そのため、SBRの符号化ビット数をいかに少なくし、AAC符号化のスペクトル歪みを軽減するかが重要である。
[オーディオ符号化装置の概要および特徴]
次に、実施例1に係るオーディオ符号化装置の概要および特徴を説明する。実施例1に係るオーディオ符号化装置は、入力された入力信号の高域成分を符号化してSBR符号化情報(高域符号化データ)を生成するSBR符号器と、入力された入力信号の低域成分を符号化してAAC符号化情報(低域符号化データ)を生成するAAC符号器と、生成されたSBR符号化情報およびAAC符号化情報を多重化するビットストリーム生成部とから構成される。
このような構成において、実施例1に係るオーディオ符号化装置は、上記したように、入力信号を一定のサンプルからなるフレームに分割し、入力信号における高域の周波数帯域を符号化して高域符号化データを生成することを概要とするものであり、特に、SBR符号化に使用されるビット数を削減することが可能である点に主たる特徴がある。
つまり、実施例1に係るオーディオ符号化装置は、入力信号の性質に応じて、入力信号を時間及び周波数方向に分割したセグメント区間(時間/周波数グリッド)を生成し、生成した時間/周波数グリッド内のスペクトルパワーと低域成分から複製できない情報とをそれぞれ算出して量子化するのに際して、聴覚的に聞こえないマスキング閾値以下のスペクトルパワーを補正することで、ハフマン符号化において符号化される量子化値の差分を小さくすることができ、ハフマン符号化において、ビット数の少ない符号で符号化される。この結果、SBR符号化に使用されるビット数を削減することが可能である。
[オーディオ符号化装置の構成]
次に、図1を用いて、実施例1に係るオーディオ符号化装置の構成を示すブロック図を説明する。図1は、実施例1に係るオーディオ符号化装置の構成を示すブロック図である。図1に示すように、オーディオ符号化装置100は、AAC符号器200、SBR符号器300およびビットストリーム生成部400から構成される。
(AAC符号器)
AAC符号器200は、入力信号が入力された場合に、当該入力信号をダウンサンプリングし、ダウンサンプリングして得られる低域成分をエンコードしてAAC出力としてAAC符号化情報を出力する。
具体的には、AAC符号器200は、オーディオ符号化装置100に入力信号が入力された場合に、当該入力信号を、より低い周波数でサンプリングするダウンサンプリングした信号をAAC符号化し、AAC出力としてAAC符号化情報を後述するビットストリーム生成部400に送信する。
(SBR符号器の構成)
図1に示すように、SBR符号器300は、分析フィルタ部301、時間/周波数グリッド生成部302、パワー算出部303、補助情報算出部304、マスキング閾値算出部305、補正候補探索部306、補正部307、第一量子化部308、第一符号化部309、第二量子化部310、第二符号化部311および多重化部312から構成される。
分析フィルタ部301は、入力信号が入力された場合に、当該入力信号を周波数領域のスペクトル信号に変換する。具体的には、分析フィルタ部301は、オーディオ符号化装置100に入力信号が入力された場合に、入力された入力信号の時間周波数スペクトルを算出して周波数領域のスペクトル信号に変換する。分析フィルタ部301は、この変換によりSBR符号器300で符号化されることとなる入力信号の高域成分を抽出する。そして、分析フィルタ部301は、変換されたスペクトル信号を、後述する時間/周波数グリッド生成部302、パワー算出部303および補助情報算出部304に送信する。
時間/周波数グリッド生成部302は、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割する。具体的には、時間/周波数グリッド生成部302は、分析フィルタ部301により変換されて送信された周波数領域のスペクトル信号を、時間および周波数方向に任意のセグメントに分割する。そして、時間/周波数グリッド生成部302は、分割したセグメントのセグメント分割情報を生成して、後述するパワー算出部303、補助情報算出部304、マスキング閾値算出部305、補正候補探索部306、補正部307および多重化部312に送信する。
パワー算出部303は、任意の数に分割されたセグメントごとにスペクトルパワーを算出する。具体的には、パワー算出部303は、時間/周波数グリッド生成部302により任意の数に分割されて送信されたセグメントごとに、スペクトルパワーを算出する。そして、パワー算出部303は、算出されたスペクトルパワーを、後述するマスキング閾値算出部305、補正候補探索部306および補正部307に送信する。
補助情報算出部304は、任意の数に分割されたセグメントごとにスペクトルの特徴パラメタを算出する。具体的には、補助情報算出部304は、時間/周波数グリッド生成部302により任意の数に分割されて送信されたセグメントごとに、時間周波数スペクトルおよび分解能情報に基づいて、低域成分から複製できない情報であるスペクトルの特徴パラメタを算出する。そして、補助情報算出部304は、算出されたパラメタを、後述する第二量子化部310に送信する。
マスキング閾値算出部305は、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出する。具体的には、マスキング閾値算出部305は、パワー算出部303により算出されて送信された各セグメントごとのスペクトルパワーから、静寂時に聴覚が検知できる音の最小レベルと、隣接するスペクトルパワーが大きいために聴覚的に聞こえなくなる音のレベルとを合わせたマスキング閾値を算出する。そして、マスキング閾値算出部305は、算出されたマスキング閾値を、後述する補正候補探索部306に送信する。
ここで、図2に示すように、マスキング閾値とは、静寂時に聴覚が検知できる音の最小レベルである静的マスキング閾値(最小可聴域)と、ある音(例えば、隣接するスペクトルパワー)のレベルが大きいために、他の音がマスクされて聞こえなくなる音のレベルである動的マスキング閾値とをマージしたものである。このマスキング閾値は、静的マスキング閾値と動的マスキング閾値とを合わせた閾値であり、例えば、図2に示す太線の部分となる。なお、図2は、マスキング閾値を説明するための図である。
ここで、図3を用いて、動的マスキング閾値の算出方法を説明する。図3は、動的マスキング閾値の算出方法を説明するための図である。図3に示すように、f0の音(スペクトルパワー=E0)が、f0(自身)に与えるマスキング閾値(dthr0)は、「dthr0=w(f0)E0」である。また、f0の音(スペクトルパワー=E0)が、f1(f1<f0)に与えるマスキング閾値(dthr1)は、「dthr1=dthr0+SL(f1−f0)」である。また、f0の音(スペクトルパワー=E0)が、f2(f2>f0)に与えるマスキング閾値(dthr2)は、「dthr2=dthr0+SH(f2−f0)」である。ここで、w(f)、SLおよびSHは、重み係数であり、w(f)は、各周波数で一律でもよいし、一律ではなく変えてもよいものとする。
次に、図4を用いて、動的マスキング閾値の算出を説明する。図4は、動的マスキング閾値の算出を説明するための図である。図4に示すように、まず、f0、f1およびf2の音(スペクトルパワーP0、P1およびP2)が自身に与えるマスキング閾値を求める。具体的に例を挙げて説明すると、「dthr0=w(f0)P0」、「dthr1=w(f1)P1」、「dthr2=w(f2)P2」となる。そして、f0の音(パワー「P0」、マスキング「M0」)が、f1の帯域に与えるマスキング閾値「dthr(f0,f1)」を求める。具体的に例を挙げて説明すると、「dthr(f0,f1)=dthr0+SH(f0−f1)」となる。続いて、f2の音(パワー「P2」、マスキング「M2」)が、f1の帯域に与えるマスキング閾値「dthr(f2,f1)」を求める。具体的に例を挙げて説明すると、「dthr(f2,f1)=dthr2+SL(f2−f1)」となる。この結果、M1、M(f0,f1)およびM(f2,f1)の最大値が、f1における新しい動的マスキング閾値となる。具体的には、「dthrA1=max(dhtr1,dthr(f0、f1),dthr(f2,f1))」となる。なお、上記した同様の手順により、全帯域について新しい動的マスキング閾値を求めることとなる。
次に、図5を用いて、マスキング閾値の算出を説明する。図5は、マスキング閾値の算出を説明するための図である。図5に示すように、まず、f0、f1およびf2の動的マスキングと静的マスキングとの大小を比較する。具体的に例を挙げて説明すると、f0、f1およびf2の動的マスキング閾値「dthrA0、dthrA1およびdthrA2」と、f0、f1およびf2の静的マスキング閾値「qthr0、qthr1およびqthr2」との大小を比較する。そして、上記した動的マスキングと静的マスキングとの大きいほうが、その帯域のマスキング閾値となる。具体的に例を挙げて説明すると、M0=max(qthr0,dthrA0)、M1=max(qthr1,dthrA1)およびM2=max(qthr2,dthrA2)となる。なお、マスキング閾値は、動的マスキングのみを利用してもよいし、静的マスキングのみを利用してもよい。
補正候補探索部306は、算出されたマスキング閾値以下において、補正候補となる帯域を探索する。具体的には、補正候補探索部306は、マスキング閾値算出部305により算出されて送信されたマスキング閾値以下において、当該マスキング閾値とセグメントのスペクトルパワーとを比較して得られるセグメントを探索する。そして、補正候補探索部306は、探索されたセグメントを補正候補とする。その後、補正候補探索部306は、探索された補正候補を、後述する補正部307に送信する。
補正部307は、探索された補正候補となる帯域について、マスキング閾値に基づいてスペクトルパワーの補正量を決定し、決定された補正量に基づいてセグメントのスペクトルパワーを補正する。
具体的には、補正部307は、補正候補探索部306により探索されて送信された補正候補となる帯域について、当該補正候補のセグメントのマスキング閾値と、当該補正候補に隣接するセグメントのスペクトルパワーとを比較する。そして、補正部307は、この比較においてマスキング閾値が補正候補に隣接するセグメントのスペクトルパワー以上である帯域のスペクトルパワーを補正量として決定し、決定された補正量に基づいて補正候補のセグメントのスペクトルパワーを補正する。その後、補正部307は、補正されたスペクトルパワーを、後述する第一量子化部308に送信する。
第一量子化部308は、補正部307により補正されたスペクトルパワーを量子化する。そして、第一量子化部308は、量子化されたスペクトルパワーを、後述する第一符号化部309に送信する。
第一符号化部309は、量子化されたスペクトルパワーを符号化する。具体的には、第一符号化部309は、第一量子化部308により量子化されて送信されたスペクトルパワーを一定の規則に基づいて圧縮する符号化を行う。そして、第一符号化部309は、符号化されたスペクトルパワーを、後述する多重化部312に送信する。
第二量子化部310は、補助情報算出部304により算出された低域成分から複製できない情報であるスペクトルの特徴パラメタを量子化する。そして、第二量子化部310は、量子化された特徴パラメタを、後述する第二符号化部311に送信する。
第二符号化部311は、量子化された特徴パラメタを符号化する。具体的には、第二符号化部311は、第二量子化部310により量子化されて送信された特徴パラメタを一定の規則に基づいて圧縮する符号化を行う。そして、第二符号化部311は、符号化された特徴パラメタを、後述する多重化部312に送信する。
多重化部312は、セグメント分割情報と、符号化されたスペクトルパワーと、符号化された特徴パラメタとを多重化する。具体的には、多重化部312は、時間/周波数グリッド生成部302により生成されて送信されたセグメントの分割情報であるセグメント分割情報と、第一符号化部309により符号化されて送信されたスペクトルパワーと、第二符号化部311により符号化されて送信された特徴パラメタとを多重化する。そして、多重化部312は、多重化されたセグメント分割情報と、符号化されたスペクトルパワーと、符号化された特徴パラメタとをSBR出力としてSBR符号化情報を出力し、後述するビットストリーム生成部400に送信する。
オーディオ符号化装置100のビットストリーム生成部400は、出力されたAAC符号化情報とSBR符号化情報とを多重化してビットストリームを生成する。具体的には、オーディオ符号化装置100のビットストリーム生成部400は、AAC符号器200およびSBR符号器300により出力されたAAC符号化情報およびSBR符号化情報を多重化してHE−AACビットストリームを生成する。
[実施例1に係るビットストリーム生成処理のフローチャート]
次に、図6および図7を用いて、実施例1に係るビットストリーム生成処理を説明する。図6は、実施例1に係るビットストリーム生成処理を示すフローチャートである。図7は、実施例1に係るパワー補正処理を示す図である。
図7に示すように、オーディオ符号化装置100のAAC符号器200は、入力信号が入力された場合に(ステップS601肯定)、当該入力信号をダウンサンプリングし、ダウンサンプリングして得られる低域成分をエンコードしてAAC出力としてAAC符号化情報を出力する(ステップS602)。
具体的には、オーディオ符号化装置100のAAC符号器200は、当該オーディオ符号化装置100に入力信号が入力された場合に、当該入力信号を、より低い周波数でサンプリングするダウンサンプリングをして得られる低域成分を、一定の規則に基づいて符号化(音声圧縮)するエンコードをして、AAC出力としてAAC符号化情報を出力する。
続いて、分析フィルタ部301は、入力信号が入力された場合に、当該入力信号を周波数領域のスペクトル信号に変換する(ステップS603)。具体的には、分析フィルタ部301は、オーディオ符号化装置100に入力信号が入力された場合に、入力された入力信号の時間周波数スペクトルを算出して周波数領域のスペクトル信号に変換する。この分析フィルタ部301は、入力信号をスペクトル信号に変換して、SBR符号器300において符号化される高域成分を抽出する。
そして、時間/周波数グリッド生成部302は、分析フィルタ部301により変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割する(ステップS604)。具体的には、時間/周波数グリッド生成部302は、分析フィルタ部301により変換された周波数領域のスペクトル信号を、時間および周波数方向に任意のセグメントに分割する。例えば、図7の(A)に示すように、時間(ti)と周波数(fj)とから構成されるグリッドにおいて、E(t0,f0)、E(t0,f1)およびE(t0,f2)とに分割する。ここでは、時間方向の分割数は「1」とし、周波数方向の分割数は「3」としている。
その後、パワー算出部303は、時間/周波数グリッド生成部302により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、補助情報算出部304は、時間/周波数グリッド生成部302により任意の数に分割されたセグメントごとにスペクトルの特徴パラメタを算出する(ステップS605)。
具体的には、パワー算出部303は、時間/周波数グリッド生成部302により任意の数に分割されたセグメントごとに、スペクトルパワーを生成する。また、補助情報算出部304は、時間/周波数グリッド生成部302により任意の数に分割されたセグメントごとに、時間周波数スペクトルおよび分解能情報に基づいて、低域成分から複製できない情報であるスペクトルの特徴パラメタを算出する。例えば、図7の(B)に示すように、図7の(A)において分割されたE(t0,f0)、E(t0,f1)およびE(t0,f2)のスペクトルパワーを生成する。なお、図7の(B)は、時間「t0」のセグメントの周波数とパワーとの関係を示している。
続いて、マスキング閾値算出部305は、パワー算出部303により算出されたスペクトルパワーからマスキング閾値を算出する(ステップS606)。具体的には、マスキング閾値算出部305は、パワー算出部303により算出されたスペクトルパワーから、静寂時に聴覚が検知できる音の最小レベルと、隣接するスペクトルパワーが大きいために聴覚的に聞こえなくなる音のレベルとを合わせたマスキング閾値を算出する。例えば、図7の(C)に示すように、パワーE(t0,f0)、E(t0,f1)およびE(t0,f2)のマスキング閾値は、それぞれM(t0,f0)、M(t0,f1)およびM(t0,f2)となる。
そして、補正候補探索部306は、マスキング閾値算出部305により算出されたマスキング閾値以下において、補正候補となる帯域を探索する(ステップS607)。具体的には、補正候補探索部306は、マスキング閾値算出部305により算出されたマスキング閾値以下において、当該マスキング閾値とセグメントのスペクトルパワーとを比較して得られるセグメントを探索し、探索されたセグメントを補正候補とする。
その後、補正部307は、補正候補探索部306により探索された補正候補となる帯域について、マスキング閾値に基づいてスペクトルパワーの補正量を決定し、決定された補正量に基づいてセグメントのスペクトルパワーを補正する(ステップS608〜ステップS610)。
具体的には、補正部307は、補正候補探索部306により探索された補正候補となる帯域について、当該補正候補のセグメントのマスキング閾値(例えば、「M」とする。)と、当該補正候補に隣接するセグメントのスペクトルパワー(例えば、「E」とする。)とを比較する。そして、補正部307は、この比較においてマスキング閾値「M」が補正候補に隣接するセグメントのスペクトルパワー「E」以上「M≧E」である帯域のスペクトルパワーを補正量として決定し、決定された補正量に基づいて補正候補のセグメントのスペクトルパワーを補正する。
例えば、図7の(D)に示すように、補正候補のセグメントのマスキング閾値「M(t0,f1)」と、当該補正候補に隣接するセグメントのスペクトルパワー「E(t0,f0)」および「E(t0,f2)」とを比較している。また、例えば、図7の(E)に示すように、この比較の結果、「M(t0,f1)≧E(t0,f0)」となる「E(t0,f0)」を補正量として決定し、決定された補正量に基づいて補正候補のセグメントのスペクトルパワーを補正して「EA(t0,f1)」としている。
続いて、第一量子化部308は、補正部307により補正されたスペクトルパワーを量子化する。そして、第一符号化部309は、第一量子化部308により量子化されたスペクトルパワーを符号化する(ステップS611)。
具体的には、第一量子化部308は、補正部307により補正されたスペクトルパワーの強弱を数値化(ディジタル化)する量子化を行う。そして、第一符号化部309は、第一量子化部308により量子化されたスペクトルパワーを一定の規則に基づいて圧縮する符号化を行う。
その後、第二量子化部310は、補助情報算出部304により算出された特徴パラメタを量子化する。続いて、第二符号化部311は、第二量子化部310により量子化された特徴パラメタを符号化する(ステップS612)。
具体的には、第二量子化部310は、補助情報算出部304により算出された低域成分から複製できない情報であるスペクトルの特徴パラメタを数値化(ディジタル化)する量子化を行う。そして、第二符号化部311は、第二量子化部310により量子化された特徴パラメタを一定の規則に基づいて圧縮する符号化を行う。
そして、多重化部312は、時間/周波数グリッド生成部302により生成されたセグメント分割情報と、第一符号化部309により符号化されたスペクトルパワーと、第二符号化部311により符号化された特徴パラメタとを多重化する(ステップS613)。
具体的には、多重化部312は、時間/周波数グリッド生成部302により生成されたセグメントの分割情報であるセグメント分割情報と、第一符号化部309により符号化されたスペクトルパワーと、第二符号化部311により符号化された特徴パラメタとを多重化する。
続いて、オーディオ符号化装置100のビットストリーム生成部400は、AAC符号器200およびSBR符号器300により出力されたAAC符号化情報とSBR符号化情報とを多重化してビットストリームを生成する(ステップS614)。
具体的には、オーディオ符号化装置100のビットストリーム生成部400は、AAC符号器200およびSBR符号器300により出力されたAAC符号化情報およびSBR符号化情報を多重化してHE−AACビットストリームを生成する。
[実施例1による効果]
このように、実施例1によれば、入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割し、任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出し、算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを補正するので、SBR符号化に使用されるビット数を削減することが可能である。
例えば、SBR符号化器とAAC符号化器とから構成されるHE−AAC符号化装置を用いた場合、SBR符号化器は、入力信号の性質に応じて、入力信号を時間及び周波数方向に分割したセグメント区間(時間/周波数グリッド)を生成し、生成した時間/周波数グリッド内のスペクトルパワーと低域成分から複製できない情報とをそれぞれ算出して量子化するのに際して、聴覚的に聞こえないマスキング閾値以下のスペクトルパワーを補正することで、ハフマン符号化において符号化される量子化値の差分を小さくすることができる。このハフマン符号化では、量子化値の差分が小さいほど短い符号が割り当てられるため、符号化ビット数を少なくすることができる。このようにSBR符号化で使用されるビット数を削減することができるため、AAC符号化で使用できるビット数を多く確保することができる。その結果、AAC符号化の量子化誤差が減少するため、HE−AAC符号化装置で符号化される符号化情報全体として、音質を向上させることが可能である。
また、実施例1によれば、分割されたセグメントごとのスペクトルパワーから、当該スペクトルパワーの特徴を示す特徴パラメタを、分割されたセグメントごとに算出し、補正されたセグメントのスペクトルパワーと、算出された特徴パラメタとを符号化するので、SBR符号化において細かい情報を漏らすことなく符号化することが可能である。
また、実施例1によれば、検出されたセグメントと隣接するセグメントのスペクトルパワーから、検出されたセグメントのスペクトルパワーを補正する補正量を算出し、算出された補正量を検出されたセグメントのスペクトルパワーに付加することで、当該スペクトルパワーを補正するので、確実に聴覚的に影響のない範囲に対して補正することが可能である。
ところで、実施例1では、補正対象を補正する際に、補正対象セグメントのマスキング閾値と、当該マスキング閾値に隣接するセグメントのスペクトルパワーとを比較して補正する場合を説明したが、本発明はこれに限定されるものではなく、補正対象に隣接するセグメントについてスペクトルパワーを量子化および符号化したものと、補正対象についてスペクトルパワーを量子化および符号化したものとを比較して補正することもできる。
そこで、以下の実施例2では、図8を用いて、補正対象に隣接するセグメントについてスペクトルパワーを量子化および符号化したものと、補正対象についてスペクトルパワーを量子化および符号化したものとを比較して補正する場合を説明する。
[実施例2に係るビットストリーム生成処理]
図8は、実施例2に係るビットストリーム生成処理を示すフローチャートである。なお、図8において、ステップS801〜ステップS807は、図6に示したステップS601〜ステップS607と同様であり、また、ステップS817〜ステップS821は、図6に示したステップS610〜ステップS614と同様となるのでその説明を省略する。なお、ここでは、ステップS806において算出された補正候補のマスキング閾値を「M(t0,f1)」として説明する。
図8に示すように、ステップS801〜ステップS807により補正候補を探索されたSBR符号器300は、探索された補正候補となる帯域に隣接するセグメントについて、スペクトルパワーを量子化する(ステップS808)。具体的には、SBR符号器300は、探索された補正候補ではなく、当該補正候補に隣接するセグメントについて、スペクトルパワーを量子化(ディジタル化)する。例えば、補正候補は、「E(t0,f1)」とし、補正候補に隣接するセグメントは、「E(t0,f0)」および「E(t0,f2)」とする。但し、補正候補に隣接するセグメントの大小は、E(t0,f0)<E(t0,f2)とする。
そして、SBR符号器300は、スペクトルパワーを量子化された補正候補に隣接するセグメントを、ハフマン符号化して符号化ビット数を計算する(ステップS809)。具体的には、SBR符号器300は、スペクトルパワーを量子化された補正候補に隣接する各セグメントについて、データの欠落がまったく起こらない可逆圧縮であるハフマン符号化をして、当該各セグメントの符号化ビット数を計算する。ここでは、符号化ビット数の計算結果を「b」とする。
続いて、SBR符号器300は、補正候補「E(t0,f0)」を「EA=Enew=E(t0,f0)」として(ステップS810)、補正候補のスペクトルパワーを修正する(ステップS811)。具体的には、SBR符号器300は、補正候補「E(t0,f0)」を、「EA=Enew」として、当該補正候補「EA」のスペクトルパワーを修正する(「EA=E+ΔE」)。なお、ΔEは、セグメントの量子化値が「1」だけ変化するパワーの変換分であり、当該ΔEの変化量は、正方向だけでなく負方向でもよい。
その後、SBR符号器300は、修正された補正候補「EA」とマスキング閾値「M」とを比較して、補正候補「EA」がマスキング閾値「M」より小さい(EA<M)場合に(ステップS812肯定)、補正候補についてスペクトルパワーを量子化する(ステップS813)。
具体的には、SBR符号器300は、修正された補正候補「EA」と、ステップS806において算出された補正候補のマスキング閾値「M(t0,f1)」とを比較して、補正候補「EA」が算出された補正候補のマスキング閾値「M」より小さい場合に(EA<M)、補正候補が可聴領域以下となり補正が必要となるので、当該補正候補についてスペクトルパワーを量子化する。なお、SBR符号器300は、ステップS812において、補正候補「EA」がマスキング閾値「M」より大きい場合に(ステップS812否定)、ステップS817の処理を行う。
そして、SBR符号器300は、スペクトルパワーを量子化された補正候補のセグメントを、ハフマン符号化して符号化ビット数を計算する(ステップS814)。具体的には、SBR符号器300は、スペクトルパワーを量子化された補正候補のセグメントについて、データの欠落がまったく起こらない可逆圧縮であるハフマン符号化をして、当該補正候補のセグメントの符号化ビット数「bA」を計算する。
続いて、SBR符号器300は、補正候補について、当該補正候補の補正前の符号化ビット数「b」と、当該補正候補の修正後の符号化ビット数「bA」とを比較して、修正前「b」が修正後「bA」より大きい(b>bA)場合に(ステップS815肯定)、補正候補の帯域の補正量を保存する(ステップS816)。
具体的には、SBR符号器300は、補正候補について、当該補正候補の修正前の符号化ビット数「b」と、当該補正候補の修正後の符号化ビット数「bA」とを比較して、修正前「b」が修正後「bA」より大きい場合に(b>bA)、当該補正候補の帯域について、「bA」として保存する。ここでは、「Enew=EA」「b=bA」として保存する。なお、SBR符号器300は、ステップS815において、修正前「b」が修正後「bA」より小さい場合にステップS811から処理し、ステップS816の処理が完了した場合にも同様にステップS811から処理することとなる。
[実施例2による効果]
このように、実施例2によれば、検出されたセグメントと隣接するセグメントのスペクトルパワーから、検出されたセグメントのスペクトルパワーを補正する補正量として量子化値を算出し、算出された量子化値を用いて検出されたセグメントのスペクトルパワーを補正するので、SBR符号化に使用されるビット数をさらに削減することが可能である。
ところで、実施例1では、補正対象を補正する際に、補正対象セグメントのマスキング閾値と、当該マスキング閾値に隣接するセグメントのスペクトルパワーとを比較して補正する場合を説明したが、本発明はこれに限定されるものではなく、補正前の補正対象についてスペクトルパワーを量子化し、量子化されたスペクトルパワーと、当該補正対象のセグメントのマスキング閾値を量子化したものとを比較して補正することもできる。
そこで、以下の実施例3では、図9および図10を用いて、補正前の補正対象についてスペクトルパワーを量子化し、量子化されたスペクトルパワーと、当該補正対象のセグメントのマスキング閾値を量子化したものとを比較して補正する場合を説明する。
[実施例3に係るオーディオ符号化装置の構成]
図9は、実施例3に係るオーディオ符号化装置の構成を示すブロック図である。図9に示すように、オーディオ符号化装置100は、AAC符号器200、SBR符号器300およびビットストリーム生成部400から構成される。
ここで、実施例3に係るオーディオ符号化装置100において、実施例1と異なる点は、「補正前」の補正対象についてスペクトルパワーを量子化する点であり、機能構成や各処理は実施例1と同様のもとなるのでその説明を省略する。
実施例1において、パワー算出部303は、算出したスペクトルパワーを補正部307に送信していたが、実施例3におけるパワー算出部303は、算出したスペクトルパワーを第一量子化部308に送信する。
第一量子化部308は、算出されたスペクトルパワーの量子化を行う。具体的には、第一量子化部308は、パワー算出部303により算出されて送信された補正前の補正候補のスペクトルパワーの量子化を行い補正部307に送信する。
補正部307は、探索された補正候補となる帯域について、当該補正候補のスペクトルパワーの量子化値と、当該補正候補のマスキング閾値の量子化値とを比較して補正量を決定し、決定された補正量に基づいてスペクトルパワーを補正する。
具体的には、補正部307は、補正候補探索部306により探索されて送信された補正候補となる帯域について、第一量子化部307により量子化された補正候補のスペクトルパワーの量子化値を「1」ずつ増減させたものと、当該補正候補のマスキング閾値の量子化値とを比較する。そして、補正部307は、この比較において補正候補のスペクトルパワーの量子化値が、当該補正候補のマスキング閾値の量子化値より小さい範囲で、かつ、ハフマン符号化した際の符号化ビット数が少なくなった場合の値を補正量として決定し、決定された補正量に基づいて補正候補のセグメントのスペクトルパワーの量子化値を補正する。その後、補正部307は、補正されたスペクトルパワーの量子化値を第一符号化部309に送信する。
[実施例3に係るビットストリーム生成処理のフローチャート]
次に、図10を用いて、実施例3に係るビットストリーム生成処理を説明する。図10は、実施例3に係るビットストリーム生成処理を示すフローチャートである。なお、図10において、ステップS1001〜ステップS1007は、図6に示したステップS601〜ステップS607と同様であり、また、ステップS1017〜ステップS1021は、図6に示したステップS610〜ステップS614と同様となるのでその説明を省略する。なお、ここでは、ステップS1006において算出された補正候補のマスキング閾値の量子化値を「Mq」として説明する。
図10に示すように、ステップS1001〜ステップS1007により補正候補を探索されたSBR符号器300は、探索された補正前の補正候補となる帯域についてスペクトルパワーを量子化する(ステップS1008)。具体的には、SBR符号器300は、探索した補正前の補正候補となる帯域について、スペクトルパワーを量子化(ディジタル化)する。例えば、補正候補の量子化値は、「q(t0,f1)」とし、補正候補に隣接するセグメントは、「q(t0,f0)」および「q(t0,f2)」とする。但し、補正候補に隣接するセグメントの量子化値の大小は、q(t0,f0)<q(t0,f2)とする。
そして、SBR符号器300は、スペクトルパワーを量子化された補正候補の帯域を、ハフマン符号化して符号化ビット数を計算する(ステップS1009)。具体的には、SBR符号器300は、スペクトルパワーを量子化された補正候補の帯域について、データの欠落がまったく起こらない可逆圧縮であるハフマン符号化をして、当該補正候補の帯域の符号化ビット数を計算する。ここでは、符号化ビット数の計算結果を「b」とする。
続いて、SBR符号器300は、補正候補の量子化値「q(t0,f1)」を「qA=qnew=q(t0,f1)」として(ステップS1010)、補正候補のスペクトルパワーを修正する(ステップS1011)。具体的には、SBR符号器300は、補正候補の量子化値「q(t0,f1)」を、「qA=qnew」として、当該補正候補の量子化値「qA」のスペクトルパワーを修正する(「qA=qA+Δq」)。なお、Δqは、1ずつ修正してもよいし、N(整数)ずつ修正してもよいし、当該Δqの変換量は、正方向だけでなく負方向でもよい。
その後、SBR符号器300は、修正された補正候補の量子化値「qA」と、マスキング閾値の量子化値「Mq」とを比較して、補正候補の量子化値「qA」がマスキング閾値の量子化値「Mq」より小さい(qA<Mq)場合に(ステップS1012肯定)、補正候補についてスペクトルパワーを量子化する(ステップS1013)。
具体的には、SBR符号器300は、修正された補正候補の量子化値「qA」と、ステップS1006において算出された補正候補のマスキング閾値の量子化値「Mq」とを比較して、補正候補の量子化値「qA」が算出された補正候補のマスキング閾値の量子化値「Mq」より小さい場合に(qA<Mq)、補正候補が可聴領域以下となり補正が必要となるので、当該補正候補についてスペクトルパワーを量子化する。この場合、補正候補のスペクトルパワーの量子化値は、量子化値の領域で補正候補を探索しているため「qA」と等しい。なお、SBR符号器300は、ステップS1012において、補正候補の量子化値「qA」がマスキング閾値の量子化値「Mq」より大きい場合に(ステップS1012否定)、ステップS1017の処理を行う。
そして、SBR符号器300は、スペクトルパワーを量子化された補正候補のセグメントを、ハフマン符号化して符号化ビット数を計算する(ステップS1014)。具体的には、SBR符号器300は、スペクトルパワーを量子化された補正候補のセグメントについて、データの欠落がまったく起こらない可逆圧縮であるハフマン符号化をして、当該補正候補のセグメントの符号化ビット数「bA」を計算する。
続いて、SBR符号器300は、補正候補について、当該補正候補の修正前の符号化ビット数「b」と、当該補正候補の修正後の符号化ビット数「bA」とを比較して、修正前「b」が修正後「bA」より大きい(b>bA)場合に(ステップS1015肯定)、補正候補の帯域の補正量を保存する(ステップS1016)。
具体的には、SBR符号器300は、補正候補について、当該補正候補の修正前の符号化ビット数「b」と、当該補正候補の修正後の符号化ビット数「bA」とを比較して、修正前「b」が修正後「bA」より大きい場合に(b>bA)、当該補正候補の帯域について、「bA」として保存する。ここでは、「qnew=qA」「b=bA」として保存する。なお、SBR符号器300は、ステップS1015において、修正前「b」が修正後「bA」より小さい場合にステップS1011から処理し、ステップS1016の処理が完了した場合にも同様にステップS1011から処理することとなる。
[実施例3による効果]
このように、実施例3によれば、算出されたマスキング閾値に基づいて、分割された各セグメントのスペクトルパワーの量子化値が平滑化する補正量を算出し、算出された補正量を用いて検出されたセグメントのスペクトルパワーを補正するので、補正後に実施されるハフマン符号化において符号化される量子化値の差分を少なくすることが可能である。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、(1)符号化手法、(2)補正手法、(3)システム構成、(4)プログラムにそれぞれ区分けして異なる実施例を説明する。
(1)符号化手法
例えば、実施例1〜3では、周波数方向の符号化をする場合について説明したが、本発明はこれに限定されるものではなく、例えば、時間方向に隣接するグリッドの符号化にも適用することができる。
(2)補正手法
例えば、実施例1〜3では、隣接するセグメントのスペクトルパワーや自身のセグメント(補正候補)のスペクトルパワーから量子化値を算出して補正量としたが、本発明はこれに限定されるものではなく、この補正量を決定するのに際して、マスキング閾値の範囲内で補正量や量子化値を決定したり、マスキング閾値の範囲内で最もビット数が少なくなるように補正量や量子化値を決定したりするようにしてもよい。このようにすることで、補正に要するビット数を最小限にとどめることが可能であり、また、補正後に実施されるハフマン符号化において符号化される量子化値の差分を小さくすることが可能である。
(3)システム構成
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報(例えば、図2に示す「マスキング閾値」など)については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、補正候補探索部306および補正部307を、補正部として統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(4)プログラム
なお、本実施例で説明したオーディオ符号化装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図11を用いて、上記の実施例に示したオーディオ符号化装置と同様の機能を有するオーディオ符号化プログラムを実行するコンピュータの一例を説明する。図11は、オーディオ符号化プログラムを実行するコンピュータを示す図である。
図11に示すように、オーディオ符号化装置としてのコンピュータ110は、キーボード120、HDD130、CPU140、ROM150、RAM160およびディスプレイ170をバス180などで接続して構成される。
ROM150には、上記の実施例1に示したオーディオ符号化装置100と同様の機能を発揮するオーディオ符号化プログラム、つまり、図11に示すように分析フィルタプログラム150aと、時間/周波数グリッド生成プログラム150bと、パワー算出プログラム150cと、補助情報算出プログラム150dと、マスキング閾値算出プログラム150eと、補正候補探索プログラム150fと、補正プログラム150gと、第一量子化プログラム150hと、第一符号化プログラム150iと、第二量子化プログラム150jと、第二符号化プログラム150kと、多重化プログラム150lとが、あらかじめ記憶されている。なお、これらのプログラム150a〜150lについては、図1に示したオーディオ符号化装置の各構成要素と同様、適宜統合または、分散してもよい。
そして、CPU140がこれらのプログラム150a〜プログラム150lをROM150から読み出して実行することで、図11に示すように、プログラム150a〜プログラム150lは、分析フィルタプロセス140aと、時間/周波数グリッド生成プロセス140bと、パワー算出プロセス140cと、補助情報算出プロセス140dと、マスキング閾値算出プロセス140eと、補正候補探索プロセス140fと、補正プロセス140gと、第一量子化プロセス140hと、第一符号化プロセス140iと、第二量子化プロセス140jと、第二符号化プロセス140kと、多重化プロセス140lとして機能するようになる。なお、プロセス140a〜プロセス140lは、図1に示した、分析フィルタ部301と、時間/周波数グリッド生成部302と、パワー算出部303と、補助情報算出部304と、マスキング閾値算出部305と、補正候補探索部306と、補正部307と、第一量子化部308と、第一符号化部309と、第二量子化部310と、第二符号化部311と、多重化部312とにそれぞれ対応する。
そして、CPU140はRAM160に記録されたデータに基づいてオーディオ符号化プログラムを実行する。
なお、上記した各プログラム150a〜150lについては、必ずしも最初からROM150に記憶させておく必要はなく、例えば、コンピュータ110に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、またはコンピュータ110の内外に備えられるHDDなどの「固定用の物理媒体」、さらには公衆回線、インターネット、LAN、WANなどを介してコンピュータ110に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ110がこれから各プログラムを読み出して実行するようにしてもよい。
以上のように、本発明に係る符号化装置、符号化方法および符号化プログラムは、入力信号の性質に応じてスペクトルパワーを補正する場合に有用であり、特に、SBR符号化に使用されるビット数を削減することに適する。
図1は、実施例1に係るオーディオ符号化装置の構成を示すブロック図である。 図2は、マスキング閾値を説明するための図である。 図3は、動的マスキング閾値の算出方法を説明するための図である。 図4は、動的マスキング閾値の算出を説明するための図である。 図5は、マスキング閾値の算出を説明するための図である。 図6は、実施例1に係るビットストリーム生成処理を示すフローチャートである。 図7は、実施例1に係るパワー補正処理を示す図である。 図8は、実施例2に係るビットストリーム生成処理を示すフローチャートである。 図9は、実施例3に係るオーディオ符号化装置の構成を示すブロック図である。 図10は、実施例3に係るビットストリーム生成処理を示すフローチャートである。 図11は、オーディオ符号化プログラムを実行するコンピュータを示す図である。 図12は、従来のHE−AAC符号化装置の構成を示すブロック図である。
100 オーディオ符号化装置
200 AAC符号器
300 SBR符号器
301 分析フィルタ部
302 時間/周波数グリッド生成部
303 パワー算出部
304 補助情報算出部
305 マスキング閾値算出部
306 補正候補探索部
307 補正部
308 第一量子化部
309 第一符号化部
310 第二量子化部
311 第二符号化部
312 多重化部
400 ビットストリーム生成部

Claims (7)

  1. 入力信号を一定のサンプルからなるフレームに分割し、前記入力信号における高域の周波数帯域を符号化して高域符号化データを生成する符号化装置であって、
    前記入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割するセグメント分割手段と、
    前記セグメント分割手段により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出する閾値算出手段と、
    前記閾値算出手段により算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを、当該セグメントのマスキング閾値以下でかつ当該セグメントに隣接するセグメントのスペクトルパワーとの差を小さくするように補正するパワー補正手段と、
    を備えたことを特徴とする符号化装置。
  2. 前記パワー補正手段は、前記検出されたセグメントと隣接するセグメントのスペクトルパワーから、前記検出されたセグメントのスペクトルパワーを補正する補正量を算出し、算出された補正量を前記検出されたセグメントのスペクトルパワーに付加することで、当該スペクトルパワーを補正することを特徴とする請求項1に記載の符号化装置。
  3. 前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値に基づいて、前記セグメント分割手段により分割された各セグメントのスペクトルパワーが平滑化する補正量を算出し、算出された補正量を前記検出されたセグメントのスペクトルパワーに付加することで、当該スペクトルパワーを補正することを特徴とする請求項2に記載の符号化装置。
  4. 前記パワー補正手段は、前記検出されたセグメントのスペクトルの量子化値を、当該セグメントのマスキング値の量子化値より小さい範囲で、当該セグメントに隣接するセグメントのスペクトルパワーの量子化値との差を小さくするように補正することを特徴とする請求項1に記載の符号化装置。
  5. 前記パワー補正手段は、前記閾値算出手段により算出されたマスキング閾値に基づいて、前記セグメント分割手段により分割された各セグメントのスペクトルパワーの量子化値が平滑化する補正量を算出し、算出された補正量を用いて前記検出されたセグメントのスペクトルパワーを補正することを特徴とする請求項1に記載の符号化装置。
  6. 入力信号を一定のサンプルからなるフレームに分割し、前記入力信号における高域の周波数帯域を符号化して高域符号化データを生成する符号化装置の符号化方法であって、
    前記入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割するセグメント分割工程と、
    前記セグメント分割工程により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出する閾値算出工程と、
    前記閾値算出工程により算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを、当該セグメントのマスキング閾値以下でかつ当該セグメントに隣接するセグメントのスペクトルパワーとの差を小さくするように補正するパワー補正工程と、
    を含んだことを特徴とする符号化方法。
  7. 入力信号を一定のサンプルからなるフレームに分割し、前記入力信号における高域の周波数帯域を符号化して高域符号化データを生成する方法をコンピュータに実行させる符号化プログラムであって、
    前記入力信号を周波数領域のスペクトル信号に変換し、変換されたスペクトル信号を、時間方向および周波数方向に任意の数のセグメントに分割するセグメント分割手順と、
    前記セグメント分割手順により任意の数に分割されたセグメントごとにスペクトルパワーを算出し、算出された各セグメントごとのスペクトルパワーからマスキング閾値を算出する閾値算出手順と、
    前記閾値算出手順により算出されたマスキング閾値以下となるスペクトルパワーを持つセグメントを検出し、検出されたセグメントのスペクトルパワーを、当該セグメントのマスキング閾値以下でかつ当該セグメントに隣接するセグメントのスペクトルパワーとの差を小さくするように補正するパワー補正手順と、
    をコンピュータに実行させることを特徴とする符号化プログラム。
JP2009521487A 2007-07-04 2007-07-04 符号化装置、符号化方法および符号化プログラム Expired - Fee Related JP5071479B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/063395 WO2009004727A1 (ja) 2007-07-04 2007-07-04 符号化装置、符号化方法および符号化プログラム

Publications (2)

Publication Number Publication Date
JPWO2009004727A1 JPWO2009004727A1 (ja) 2010-08-26
JP5071479B2 true JP5071479B2 (ja) 2012-11-14

Family

ID=40225797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009521487A Expired - Fee Related JP5071479B2 (ja) 2007-07-04 2007-07-04 符号化装置、符号化方法および符号化プログラム

Country Status (3)

Country Link
US (1) US8244524B2 (ja)
JP (1) JP5071479B2 (ja)
WO (1) WO2009004727A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101606097B1 (ko) * 2009-10-01 2016-03-24 마코 서지컬 코포레이션 보철 부품의 위치 선정 및/또는 수술 도구의 이동 제한용 수술 시스템
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8560330B2 (en) * 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6000854B2 (ja) 2010-11-22 2016-10-05 株式会社Nttドコモ 音声符号化装置および方法、並びに、音声復号装置および方法
JP5609591B2 (ja) * 2010-11-30 2014-10-22 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
RU2571561C2 (ru) * 2011-04-05 2015-12-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования, способ декодирования, кодер, декодер, программа и носитель записи
US9881625B2 (en) * 2011-04-20 2018-01-30 Panasonic Intellectual Property Corporation Of America Device and method for execution of huffman coding
US8958611B2 (en) * 2011-12-29 2015-02-17 Mako Surgical Corporation Interactive CSG subtraction
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
AU2014371411A1 (en) 2013-12-27 2016-06-23 Sony Corporation Decoding device, method, and program
US10008214B2 (en) * 2015-09-11 2018-06-26 Electronics And Telecommunications Research Institute USAC audio signal encoding/decoding apparatus and method for digital radio services
JP6769299B2 (ja) * 2016-12-27 2020-10-14 富士通株式会社 オーディオ符号化装置およびオーディオ符号化方法
EP3435376B1 (en) * 2017-07-28 2020-01-22 Fujitsu Limited Audio encoding apparatus and audio encoding method
US11166775B2 (en) 2017-09-15 2021-11-09 Mako Surgical Corp. Robotic cutting systems and methods for surgical saw blade cutting on hard tissue
SG10201809737UA (en) * 2018-11-01 2020-06-29 Rakuten Inc Information processing device, information processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207489A (ja) * 1997-01-22 1998-08-07 Sharp Corp デジタルデータの符号化方法
JP2001282288A (ja) * 2000-03-28 2001-10-12 Matsushita Electric Ind Co Ltd オーディオ信号の符号化装置及び処理方法
JP2002268693A (ja) * 2001-03-12 2002-09-20 Mitsubishi Electric Corp オーディオ符号化装置
JP2005258158A (ja) * 2004-03-12 2005-09-22 Advanced Telecommunication Research Institute International ノイズ除去装置
WO2007037359A1 (ja) * 2005-09-30 2007-04-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639753A1 (de) 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
JP3173218B2 (ja) * 1993-05-10 2001-06-04 ソニー株式会社 圧縮データ記録方法及び装置、圧縮データ再生方法、並びに記録媒体
JPH0750589A (ja) * 1993-08-04 1995-02-21 Sanyo Electric Co Ltd サブバンド符号化装置
JP3227291B2 (ja) * 1993-12-16 2001-11-12 シャープ株式会社 データ符号化装置
JP3680374B2 (ja) * 1995-09-28 2005-08-10 ソニー株式会社 音声合成方法
JP2000293199A (ja) 1999-04-05 2000-10-20 Nippon Columbia Co Ltd 音声符号化方法および記録再生装置
JP2001343998A (ja) * 2000-05-31 2001-12-14 Yamaha Corp ディジタルオーディオデコーダ
DE60209888T2 (de) * 2001-05-08 2006-11-23 Koninklijke Philips Electronics N.V. Kodieren eines audiosignals
US20050259819A1 (en) * 2002-06-24 2005-11-24 Koninklijke Philips Electronics Method for generating hashes from a compressed multimedia content
US7205424B2 (en) * 2003-06-19 2007-04-17 University Of New Orleans Research And Technology Foundation, Inc. Preparation of ruthenium-based olefin metathesis catalysts
US20050198061A1 (en) * 2004-02-17 2005-09-08 David Robinson Process and product for selectively processing data accesses
JP4168976B2 (ja) 2004-05-28 2008-10-22 ソニー株式会社 オーディオ信号符号化装置及び方法
US7546240B2 (en) * 2005-07-15 2009-06-09 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition
US7516074B2 (en) * 2005-09-01 2009-04-07 Auditude, Inc. Extraction and matching of characteristic fingerprints from audio signals
JP4398416B2 (ja) * 2005-10-07 2010-01-13 株式会社エヌ・ティ・ティ・ドコモ 変調装置、変調方法、復調装置、及び復調方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207489A (ja) * 1997-01-22 1998-08-07 Sharp Corp デジタルデータの符号化方法
JP2001282288A (ja) * 2000-03-28 2001-10-12 Matsushita Electric Ind Co Ltd オーディオ信号の符号化装置及び処理方法
JP2002268693A (ja) * 2001-03-12 2002-09-20 Mitsubishi Electric Corp オーディオ符号化装置
JP2005258158A (ja) * 2004-03-12 2005-09-22 Advanced Telecommunication Research Institute International ノイズ除去装置
WO2007037359A1 (ja) * 2005-09-30 2007-04-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法

Also Published As

Publication number Publication date
WO2009004727A1 (ja) 2009-01-08
JPWO2009004727A1 (ja) 2010-08-26
US8244524B2 (en) 2012-08-14
US20100106511A1 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
JP5071479B2 (ja) 符号化装置、符号化方法および符号化プログラム
JP5922684B2 (ja) マルチチャネルの復号化装置
KR101221918B1 (ko) 신호 처리 방법 및 장치
KR102048672B1 (ko) 신호 처리 장치 및 방법, 및 컴퓨터 판독가능 기록 매체
JP5267362B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
CN109313908B (zh) 用于对音频信号进行编码的音频编码器以及方法
US20080077412A1 (en) Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
KR20090083069A (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
US20130317811A1 (en) Efficient Encoding/Decoding of Audio Signals
KR101809298B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
JP2007187905A (ja) 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
KR102204136B1 (ko) 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법
EP2490216B1 (en) Layered speech coding
US7444289B2 (en) Audio decoding method and apparatus for reconstructing high frequency components with less computation
JP3344944B2 (ja) オーディオ信号符号化装置,オーディオ信号復号化装置,オーディオ信号符号化方法,及びオーディオ信号復号化方法
US20080161952A1 (en) Audio data processing apparatus
JP5361565B2 (ja) 符号化方法、復号方法、符号化器、復号器およびプログラム
KR20080066537A (ko) 부가정보를 가지는 오디오신호의 부호화/복호화 방법 및장치
JP2007178529A (ja) 符号化オーディオ信号再生装置及び符号化オーディオ信号再生方法
US8626501B2 (en) Encoding apparatus, encoding method, decoding apparatus, decoding method, and program
KR20130007521A (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
KR100928967B1 (ko) 오디오 신호의 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees