JP4056407B2 - スケーラブル無損失オーディオ符号化／復号化装置及びその方法 - Google Patents
スケーラブル無損失オーディオ符号化／復号化装置及びその方法 Download PDFInfo
- Publication number
- JP4056407B2 JP4056407B2 JP2003052519A JP2003052519A JP4056407B2 JP 4056407 B2 JP4056407 B2 JP 4056407B2 JP 2003052519 A JP2003052519 A JP 2003052519A JP 2003052519 A JP2003052519 A JP 2003052519A JP 4056407 B2 JP4056407 B2 JP 4056407B2
- Authority
- JP
- Japan
- Prior art keywords
- lossless
- signal
- bitstream
- loss
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000005236 sound signal Effects 0.000 claims description 80
- 101000591286 Homo sapiens Myocardin-related transcription factor A Proteins 0.000 claims description 18
- 102100034099 Myocardin-related transcription factor A Human genes 0.000 claims description 18
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/4006—Conversion to or from arithmetic code
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、オーディオ符号化／復号化システムに係り、特に、損失ビットストリームと無損失ビットストリームとの切り替え操作可能なスケーラブル無損失オーディオ符号化／復号化装置及びその方法に関する。
【０００２】
【従来の技術】
ＭＰ３技術が使用され始めてから、他の多くのＭＰＥＧ技術が全世界的に使われてきている。ほとんどのＭＰＥＧ技術において、元の信号に比べて非常に少ない情報量に圧縮されるが、損失圧縮は、多くの場合、データの損失を伴う。すなわち、符号化された情報の大きさは、大幅に減るが、原音と完全に同一ではない。しかし、インターネットの環境が、ナローバンドからワイドバンドに変わり、まもなく、無線、光通信など大容量の伝送線が構築されれば、よりクリアな音質のサービスを提供されたいという使用者の欲求が高まるであろう。このような傾向に対応して、ＭＰＥＧ標準化機構が無損失符号化側の標準化のための雰囲気を作っており、無損失符号化装置及び復号化装置の提供が要求されている。また、サービスの多様化のために損失符号化されたビットストリームまたは無損失符号化されたビットストリームを選択的に提供できるスケーラブル機能が要求される。
【０００３】
図１は、従来の無損失符号化装置の構成を模式的に示すブロック図である。図１に示すように、従来の無損失符号化装置は、予測器１００と、エラー生成部１１０と、無損失符号化部１２０とを備えて構成される。
【０００４】
予測器１００は、現在入力されている入力オーディオ信号（ＩＮＰＵＴ）から次に入力される入力オーディオ信号を予測し、予測された結果を予測信号として出力する。エラー生成部１１０は、入力オーディオ信号（ＩＮＰＵＴ）と予測器１００で予測された前記予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する。無損失符号化部１２０は、エラー生成部１１０から出力される前記誤差信号を無損失符号化して無損失ビットストリームを生成する。
【０００５】
前記した構造の従来の無損失符号化装置は、スケーラブル機能を提供することができないという問題があった。スケーラブル機能を提供するためには、損失ビットストリームと無損失ビットストリームとを別々に生成して、分離された記憶空間に格納し、切り替え操作を通じて供給サービスする方法しかない。この場合、サーバー側記憶装置に２つのデータを同時に貯蔵しなければならないので、相対的に大容量の記憶空間が必要であり、コストが高くなるという問題もあった。
【０００６】
【発明が解決しようとする課題】
前記問題点を解決するために、本発明の第１の目的は、損失符号化されたビットストリームまたは無損失符号化されたビットストリームを選択的に提供できるスケーラブル機能を有する無損失オーディオ符号化／復号化装置を提供することである。
【０００７】
また、本発明の第２の目的は、損失符号化されたビットストリームまたは無損失符号化されたビットストリームを選択的に提供できるスケーラブル機能を有する無損失オーディオ符号化／復号化方法を提供することである。
【０００８】
【課題を解決するための手段】
（１）前記目的を解決するための本発明に係るスケーラブル無損失オーディオ符号化装置は、入力オーディオ信号を損失符号化し基本階調に損失ビットストリームを生成する損失符号化部と、前記損失ビットストリームを復号化し、この復号化された信号と前記入力オーディオ信号とを比較して、前記損失符号化した時に失われた損失信号を再生する損失信号再生部と前記損失信号を無損失符号化して高位階調に無損失ビットストリームを生成する無損失符号化部と前記損失ビットストリームと前記無損失ビットストリームとを多重化して１つの出力ビットストリームを生成する多重化部とを備え、前記無損失符号化部は、現在入力されている前記損失信号から次に生成される損失信号を予測し、ラプラス分布になるような予測信号を生成する予測器と、前記損失信号と、前記予測器で予測された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する第２エラー生成器と、前記誤差信号を無損失符号化して前記無損失ビットストリームを生成する無損失符号化器とを備えて構成される。
【０００９】
（２）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記出力ビットストリームが、前記損失ビットストリームのフレーム長を表す第１長さフィールドと、前記損失ビットストリームが記録される第１データフィールドと、前記無損失ビットストリームのフレーム長を表す第２長さフィールドと、前記無損失ビットストリームが記録される第２データフィールドとを備えて構成されることが望ましい。
【００１０】
（３）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記損失符号化部が、ＢＳＡＣ符号化器を備えて構成されることが望ましい。
【００１１】
（４）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記損失信号再生部が、前記損失ビットストリームを復号化して損失オーディオ信号を復元する損失復号化器と、前記入力オーディオ信号と復元された前記損失オーディオ信号とを比較して両信号間の誤差を検出し、検出された結果を前記損失信号として出力する第１エラー生成器とを備えて構成されることが望ましい。
【００１２】
（５）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記損失復号化器が、ＢＳＡＣ復号化器を備えて構成されることが望ましい。
【００１４】
（６）前記目的を解決するための本発明に係るスケーラブル無損失オーディオ復号化装置は、オーディオ信号が基本階層で損失符号化された損失ビットストリームと、前記オーディオ信号が損失符号化されて失われた損失信号を高位階層で無損失符号化した無損失ビットストリームと、が混合された混合ビットストリームから、前記オーディオ信号を復号化するスケーラブル無損失オーディオ復号化装置において、前記混合ビットストリームから、前記損失ビットストリーム及び前記無損失ビットストリームを逆多重化して分離する逆多重化部と、前記逆多重化部で分離された前記損失ビットストリームを復号化して基本階層を復元する損失復号化部と、前記逆多重化部で分離された前記無損失ビットストリームを復元して高位階層を復元する無損失復号化部と、前記損失復号化部から復元された基本階層の前記損失オーディオ信号と復元された高位階層の前記無損失オーディオ信号とを加算して復元された無損失オーディオ信号を出力するか、または前記損失復号化部から復元された基本階層の前記損失オーディオ信号だけを選択的に出力する第２信号生成部と、を備える構成とされる。
【００１５】
（７）本発明は、前記スケーラブル無損失オーディオ復号化装置において、前記損失復号化部が、ＢＳＡＣ復号化器を備えて構成されることが望ましい。
【００１６】
（８）本発明は、前記スケーラブル無損失オーディオ復号化装置において、前記無損失復号化部が、前記逆多重化部から分離された前記無損失ビットストリームを復元して誤差信号を生成する無損失復号化器と、前記無損失復号化部で復元された前記誤差信号から原信号を予測する予測器と、予測された前記原信号に復元された前記誤差信号を加算して前記損失信号を生成する第１信号生成部とを備えて構成されることが望ましい。
【００１７】
（９）前記目的を解決するための本発明に係るスケーラブル無損失オーディオ符号化方法は、（ａ）入力オーディオ信号を損失符号化して基本階層に損失ビットストリームを生成する段階と、（ｂ）前記損失ビットストリームを復号化し、復合化された信号と前記入力オーディオ信号とを比較して、前記損失符号化したときに失われた損失信号を再生する段階と、（ｃ）前記損失信号を無損失符号化して高位階層に無損失ビットストリームを生成する段階と、（ｄ）前記損失ビットストリームと前記無損失ビットストリームとを多重化して１つの出力ビットストリームを生成する段階と、を備え、前記段階（ｃ）は、現在入力されている前記損失信号から次に生成される損失信号を予測し、ラニラス分布になるような予測信号を生成する段階と、前記損失信号と、前記生成された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する段階と、前記誤差信号を無損失符号化して前記無損失ビットストリームを生成する段階とを有して構成される。
【００１８】
（１０）本発明は、前記スケーラブル無損失オーディオ符号化方法において、前記段階（ａ）における損失符号化は、ＢＳＡＣ符号化器を用いて符号化し、前記段階（ｂ）における損失ビットストリームの復号化は、ＢＳＡＣ復号化器を用いて復号化する段階を備えて構成されることが望ましい。
【００１９】
（１１）前記目的を解決するための本発明に係る記録媒体は、前記スケーラブル無損失オーディオ符号化方法をコンピュータにて実行可能なプログラムコードで記録されて構成されることが望ましい。
【００２０】
（１２）前記目的を解決するための本発明に係るオーディオ信号が損失符号化されたスケーラブル無損失オーディオ復号化方法は、オーディオ信号が基本階層で損失符号化された損失ビットストリームと、前記オーディオ信号とが損失符号化されて失われた損失信号を高位階層で無損失符号化した無損失ビットストリームと、が混合された混合ビットストリームから前記オーディオ信号を復号化するスケーラブル無損失オーディオ復号化装置において行われるスケーラブル無損失オーディオ復号化方法において、（ｅ）前記混合ビットストリームから、前記損失ビットストリーム及び前記無損失ビットストリームを逆多重化して分離する段階と、（ｆ）分離された前記損失ビットストリームを復号化して損失オーディオ信号を復元する段階と、（ｇ）分離された前記無損失ビットストリームを復号化して前記損失信号を復元する段階と、（ｈ）復元された基本階層の前記損失オーディオ信号と、復元された高位階層の前記損失信号とを加算して復元された無損失オーディオ信号を出力するか、または前記復元された基本階層の前記損失オーディオ信号だけを選択的に出力する段階と、を備えて構成される。
【００２１】
（１３）本発明は、前記スケーラブル無損失オーディオ符号化方法において、前記段階（ｆ）が、ＢＳＡＣ復号化器を用いて損失復号化する段階を備えて構成されることが望ましい。
【００２２】
（１４）本発明は、前記記録媒体において、前記スケーラブル無損失オーディオ復号化方法をコンピュータにて実行可能なプログラムコードで記録されて構成されることが望ましい。
【００２３】
【発明の実施の形態】
以下、添付した図面に基づき、本発明に係るスケーラブル無損失オーディオ符号化／復号化装置の好ましい実施形態の各構成及び動作と、前記本発明に係るスケーラブル無損失オーディオ符号化／復号化装置で行われるスケーラブル無損失オーディオ符号化／復号化方法について詳細に説明する。
【００２４】
図２は、本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の構成を模式的に示すブロック図である。図２に示すように、スケーラブル無損失オーディオ符号化装置は、損失符号化部２００と、損失信号再生部２１０と、無損失符号化部２２０と、混合部２３０とを備えて構成される。
【００２５】
図２に示すように、損失符号化部２００は、入力オーディオ信号（ＩＮＰＵＴ）を損失符号化して損失ビットストリームを生成する。このようにして、損失符号化が行われると、人の耳に影響を与えない一部のオーディオ信号が失われる。ここで、損失符号化部２００は、ＢＳＡＣ符号化器（ＢＳＡＣ：Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）で構成することが望ましい。
【００２６】
損失信号再生部２１０は、損失ビットストリームを復号化して復元した信号と、入力オーディオ信号ＩＮＰＵＴとを比較して、損失符号化部２００で損失符号化された時に失ったオーディオ信号を損失信号として再生する。
【００２７】
損失信号再生部２１０は、以下に説明するように、損失復号化器２１２及び第１エラー生成器２１４を備えて構成することが望ましい。
【００２８】
損失復号化器２１２は、損失符号化部２００から出力される損失ビットストリームを復号化して損失オーディオ信号として復元する。しかし、前記したように、損失符号化部２００で損失符号化過程を経る時、一部のオーディオ信号が失われる。したがって、損失復号化器２１２では、一部のオーディオ信号が失われた損失オーディオ信号として復元されることになる。ここで、損失符号化部２００がＢＳＡＣ符号化器であれば、損失復号化器２１２は、ＢＳＡＣ復号化器であることが望ましい。
【００２９】
また、第１エラー生成器２１４は、入力オーディオ信号ＩＮＰＵＴと、損失復号化部２１２で復元された損失オーディオ信号とを比較して、両信号間の誤差を検出し、検出された結果を損失信号として出力する。
【００３０】
一方、無損失符号化部２２０は、損失信号再生部２１０から入力された損失信号を無損失符号化して無損失ビットストリームとして生成する。ここで、無損失符号化部２２０は、予測器２２２、第２エラー生成器２２４及び無損失符号化器２２６を備えて構成することが望ましい。
【００３１】
図３Ａ、図３Ｂ及び図３Ｃは、図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で生成される主要信号の波形を示す図面である。図３Ａは、入力オーディオ信号（ＩＮＰＵＴ）の波形を、図３Ｂは、第１エラー生成器２１４から生成される損失信号の波形を、図３Ｃは、第２エラー生成器２２４から生成された誤差信号の波形を、各々示す。
【００３２】
予測器２２２は、損失信号生成部２１０から入力される現在の損失信号から次に発生する損失信号を予測する。これは、損失信号に存在するサンプル間の冗長性を除去することによって、符号化するデータの量を減らすためである。第１エラー生成器２１４で生成された損失信号（図３Ｂ参照）は、入力オーディオ信号（ＩＮＰＵＴ、図３Ａ参照）と、損失符号化器２００で量子化されたオーディオ信号との差であるため、全体的な平方自乗平均ＲＭＳ値（ＲＭＳ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）は、もとの前記オーディオ信号に比べて低い値を有する。
【００３３】
しかし、損失符号化部２００で周波数帯別に同一に量子化したものではないため、相変らず時間的冗長性が存在する。したがって、最終的な信号は、時間的冗長性をさらに減らすために時間軸での予測によりラプラス分布になるように制御される。予測方法としては、自己回帰方法や移動平均方法を用いられる。また、単純に低次数固定の予測係数だけでも予測可能である。したがって、予測係数に対する付帯事項を考慮して自己回帰方法、移動平均方法、単純多項式予測法、及び他の任意の予測方法のうちのいずれか１つの方法を用いて、最小のビットを求める予測器を選択すればよい。
【００３４】
第２エラー生成器２２４は、損失信号と予測器で予測された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号（図３Ｃ参照）として出力する。つまり、図３Ｃに示すように、第２エラー生成器２２４で生成された誤差信号は、第１エラー生成器２１４で生成された損失信号（図３Ｂ参照）の時間的冗長性を最小化してＲＭＳ値を最小化することによって、後記する無損失符号化器２２６で符号化されるデータ量を最小化できる。
【００３５】
無損失符号化器２２６は、第２エラー生成部２２４から出力される誤差信号を無損失符号化して、前記無損失ビットストリームとして生成する。
【００３６】
引続き、多重化部２３０は、損失符号化部２００から出力される損失ビットストリームと無損失符号化部２２０で出力される無損失ビットストリームとを多重化して、１つの出力ビットストリームを生成する。
【００３７】
図４は、図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の多重化部２３０から出力されるビットストリームの構造を説明するための図面である。
【００３８】
図４に示すように、出力ビットストリームは、損失ビットストリームのフレーム長を表す第１長さフィールド５００、損失ビットストリームが記録される第１データフィールド５０１、無損失ビットストリームのフレーム長を示す第２長さフィールド５０２及び無損失ビットストリームが記録される第２データフィールド５０３を備えて構成される。
【００３９】
つまり、図２に示す本発明に係るスケーラブル無損失オーディオ符号化装置は、損失符号化された基本階層と、無損失符号化された高位階層とを１つのビットストリームとして生成して、それを伝送することができる。
【００４０】
図５は、図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で符号化されて出力されるオーディオビットストリームを復号化するためのスケーラブル無損失オーディオ復号化装置の１実施例を模式的に示すブロック図である。図５に示すように、前記スケーラブル無損失オーディオ復号化装置は、逆多重化部３００、無損失復号化部３１０、損失復号化部３２０及び第２信号生成部３３０を備えて構成される。
【００４１】
図５に示すように、逆多重化部３００は、図２に示す装置で出力される出力ビットストリームを入力ビットストリームとして入力し、入力ビットストリームから損失ビットストリーム及び無損失ビットストリームを分離する。そして、逆多重化部３００は，図３に示す構造のビットストリームを入力して、損失ビットストリームのフレーム長を表す第１長さフィールド５００を解釈して、損失ビットストリームが記録されている第１データフィールド５０１を分離し、さらに、無損失ビットストリームのフレーム長を表す第２長さフィールド５０２を解釈して、無損失ビットストリームが記録されている第２データフィールド５０３を分離する。
【００４２】
損失復号化部３２０は，逆多重化部３００から分離された損失ビットストリームを復号化して損失オーディオ信号を復元する。しかし、前述したように、損失符号化部２００で損失符号化過程を経る時、一部オーディオ信号が損失される。したがって、損失復号化部３２０では、一部のオーディオ信号が損失された損失オーディオ信号が復元される。ここで、損失符号化部２００がＢＳＡＣ符号化器であれば、損失復号化部３２０は、ＢＳＡＣ復号化器であることが望ましい。
【００４３】
無損失復号化部３１０は、逆多重化部３００で分離された無損失ビットストリームを復号化し、図２に示す無損失符号化部２２０ですでに符号化されている損失信号を復元する。無損失復号化部３１０は、無損失符号化部２２０でのプロセスを逆に行うことによって損失信号を復元できる。無損失復号化部３１０は、無損失復号化器３１２、予測器３１４及び第１信号生成器３１６を備えて構成されることが望ましい。
【００４４】
無損失復号化器３１２は、逆多重化部３００から分離された無損失ビットストリームを復元して、図２に示す第２エラー生成器２２４から出力される誤差信号を復元する。
【００４５】
予測器３１４は、無損失復号化器３１２で復元された誤差信号から原信号を予測する。
【００４６】
第１信号生成器３１６は、予測器３１４で予測された信号に無損失復号化器３１２で復元された誤差信号を加算して損失信号を復元する。
【００４７】
引続き、第２信号生成部３３０は、損失復号化部３２０で復元された損失オーディオ信号と、無損失復号化部３１０で復元された前記損失信号とを加算して無損失オーディオ信号を復元する。すなわち、復元されたオーディオ信号は、入力オーディオ信号（ＩＮＰＵＴ）が損失符号化されつつ一部のオーディオ信号が損失された信号であり、無損失復号化部３１０で復元された前記損失信号は、損失復号化時に損失されたオーディオ信号である。結局、第２信号生成部３３０は、前記損失信号を、損失復号化部３１０で復元された損失オーディオ信号に加算することによって、入力オーディオ信号（ＩＮＰＵＴ）を復元できる。
【００４８】
一方、第２信号生成部３３０は、外部制御によって、損失復号化部３２０で復元されたオーディオ信号だけ選択的に出力するか、または復元されたオーディオ信号に復元された損失信号を加算した無損失オーディオ信号を出力できる。例えば、オーディオサービスを提供するサービス・プロバイダは、本発明に係るスケーラブル無損失復号化装置を用いて、選択的に使用者によって異なるオーディオサービスを提供できる。例えば、ナローバンド・ネットワークを用いる使用者または無料利用者には、損失復号化部３２０で復元された損失オーディオ信号のみを再生させ、一方、ブロードバンド・ネットワークを利用する使用者または有料利用者には、無損失オーディオ信号を再生させるようにすることができる。
【００４９】
また、本発明は、コンピュータにて読取可能な記録媒体にコンピュータにて読取可能なコードとして具現できる。コンピュータにて読取可能な記録媒体は、コンピュータシステムによって読取可能なデータが貯蔵される全ての種類の記録装置を含む。コンピュータにて読取可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ貯蔵装置などがあり、また搬送波（例えば、インターネットを通じた伝送）の形に具現されることも含む。またコンピュータにて読取可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、その分散方式によってコンピュータにて読取可能なコードが貯蔵及び実行される。
【００５０】
【発明の効果】
以上説明した通りに構成される本発明によれば、以下の効果を奏する。すなわち、本発明に係るスケーラブル無損失オーディオ符号化／復号化装置及びその方法によれば、損失符号化された損失ビットストリームと無損失符号化された無損失ビットストリームとを多重化して１つの出力ビットストリームとして生成して伝送し、前記出力ビットストリームから損失ビットストリームのみを復元した損失オーディオ信号または損失ビットストリーム及び無損失ビットストリームを全て復元して混合した無損失オーディオ信号を選択的に生成できる。
【００５１】
なお、本発明に係るスケーラブル無損失オーディオ符号化／復号化装置及びその方法は、図面を参照しながら、本発明に係る望ましい実施形態を参考として説明されたが、この実施形態は、単なる例示的なものに過ぎず、当該分野において通常の知識を有する者であれば、本発明の技術的思想に基づいて、この実施形態より各種の変形及びこれと均等な実施形態を創作することが可能なことは言うまでもない。よって、本発明の真の技術的な保護範囲は、本明細書の特許請求範囲によって定まるべきである。
【図面の簡単な説明】
【図１】従来の無損失符号化装置の構成を模式的に示すブロック図である。
【図２】本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の構成を模式的に示すブロック図である。
【図３Ａ】図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で生成される入力オーディオ信号（ＩＮＰＵＴ）の波形を示す図である。
【図３Ｂ】図２に示すスケーラブル無損失オーディオ符号化装置で生成される損失信号の波形を示す図である。
【図３Ｃ】図２に示す本発明本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で生成される誤差信号の波形を示す図である。
【図４】図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の多重化部から出力されるビットストリームの構造を説明するための図面である。
【図５】図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で符号化されて出力されるオーディオビットストリームを復号化するためのスケーラブル無損失オーディオ復号化装置の１実施例を模式的に示すブロック図である。
【符号の説明】
２００ 損失符号化部
２１０ 損失信号再生部
２２０ 無損失符号化部
２３０ 多重化部
【発明の属する技術分野】
本発明は、オーディオ符号化／復号化システムに係り、特に、損失ビットストリームと無損失ビットストリームとの切り替え操作可能なスケーラブル無損失オーディオ符号化／復号化装置及びその方法に関する。
【０００２】
【従来の技術】
ＭＰ３技術が使用され始めてから、他の多くのＭＰＥＧ技術が全世界的に使われてきている。ほとんどのＭＰＥＧ技術において、元の信号に比べて非常に少ない情報量に圧縮されるが、損失圧縮は、多くの場合、データの損失を伴う。すなわち、符号化された情報の大きさは、大幅に減るが、原音と完全に同一ではない。しかし、インターネットの環境が、ナローバンドからワイドバンドに変わり、まもなく、無線、光通信など大容量の伝送線が構築されれば、よりクリアな音質のサービスを提供されたいという使用者の欲求が高まるであろう。このような傾向に対応して、ＭＰＥＧ標準化機構が無損失符号化側の標準化のための雰囲気を作っており、無損失符号化装置及び復号化装置の提供が要求されている。また、サービスの多様化のために損失符号化されたビットストリームまたは無損失符号化されたビットストリームを選択的に提供できるスケーラブル機能が要求される。
【０００３】
図１は、従来の無損失符号化装置の構成を模式的に示すブロック図である。図１に示すように、従来の無損失符号化装置は、予測器１００と、エラー生成部１１０と、無損失符号化部１２０とを備えて構成される。
【０００４】
予測器１００は、現在入力されている入力オーディオ信号（ＩＮＰＵＴ）から次に入力される入力オーディオ信号を予測し、予測された結果を予測信号として出力する。エラー生成部１１０は、入力オーディオ信号（ＩＮＰＵＴ）と予測器１００で予測された前記予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する。無損失符号化部１２０は、エラー生成部１１０から出力される前記誤差信号を無損失符号化して無損失ビットストリームを生成する。
【０００５】
前記した構造の従来の無損失符号化装置は、スケーラブル機能を提供することができないという問題があった。スケーラブル機能を提供するためには、損失ビットストリームと無損失ビットストリームとを別々に生成して、分離された記憶空間に格納し、切り替え操作を通じて供給サービスする方法しかない。この場合、サーバー側記憶装置に２つのデータを同時に貯蔵しなければならないので、相対的に大容量の記憶空間が必要であり、コストが高くなるという問題もあった。
【０００６】
【発明が解決しようとする課題】
前記問題点を解決するために、本発明の第１の目的は、損失符号化されたビットストリームまたは無損失符号化されたビットストリームを選択的に提供できるスケーラブル機能を有する無損失オーディオ符号化／復号化装置を提供することである。
【０００７】
また、本発明の第２の目的は、損失符号化されたビットストリームまたは無損失符号化されたビットストリームを選択的に提供できるスケーラブル機能を有する無損失オーディオ符号化／復号化方法を提供することである。
【０００８】
【課題を解決するための手段】
（１）前記目的を解決するための本発明に係るスケーラブル無損失オーディオ符号化装置は、入力オーディオ信号を損失符号化し基本階調に損失ビットストリームを生成する損失符号化部と、前記損失ビットストリームを復号化し、この復号化された信号と前記入力オーディオ信号とを比較して、前記損失符号化した時に失われた損失信号を再生する損失信号再生部と前記損失信号を無損失符号化して高位階調に無損失ビットストリームを生成する無損失符号化部と前記損失ビットストリームと前記無損失ビットストリームとを多重化して１つの出力ビットストリームを生成する多重化部とを備え、前記無損失符号化部は、現在入力されている前記損失信号から次に生成される損失信号を予測し、ラプラス分布になるような予測信号を生成する予測器と、前記損失信号と、前記予測器で予測された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する第２エラー生成器と、前記誤差信号を無損失符号化して前記無損失ビットストリームを生成する無損失符号化器とを備えて構成される。
【０００９】
（２）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記出力ビットストリームが、前記損失ビットストリームのフレーム長を表す第１長さフィールドと、前記損失ビットストリームが記録される第１データフィールドと、前記無損失ビットストリームのフレーム長を表す第２長さフィールドと、前記無損失ビットストリームが記録される第２データフィールドとを備えて構成されることが望ましい。
【００１０】
（３）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記損失符号化部が、ＢＳＡＣ符号化器を備えて構成されることが望ましい。
【００１１】
（４）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記損失信号再生部が、前記損失ビットストリームを復号化して損失オーディオ信号を復元する損失復号化器と、前記入力オーディオ信号と復元された前記損失オーディオ信号とを比較して両信号間の誤差を検出し、検出された結果を前記損失信号として出力する第１エラー生成器とを備えて構成されることが望ましい。
【００１２】
（５）本発明は、前記スケーラブル無損失オーディオ符号化装置において、前記損失復号化器が、ＢＳＡＣ復号化器を備えて構成されることが望ましい。
【００１４】
（６）前記目的を解決するための本発明に係るスケーラブル無損失オーディオ復号化装置は、オーディオ信号が基本階層で損失符号化された損失ビットストリームと、前記オーディオ信号が損失符号化されて失われた損失信号を高位階層で無損失符号化した無損失ビットストリームと、が混合された混合ビットストリームから、前記オーディオ信号を復号化するスケーラブル無損失オーディオ復号化装置において、前記混合ビットストリームから、前記損失ビットストリーム及び前記無損失ビットストリームを逆多重化して分離する逆多重化部と、前記逆多重化部で分離された前記損失ビットストリームを復号化して基本階層を復元する損失復号化部と、前記逆多重化部で分離された前記無損失ビットストリームを復元して高位階層を復元する無損失復号化部と、前記損失復号化部から復元された基本階層の前記損失オーディオ信号と復元された高位階層の前記無損失オーディオ信号とを加算して復元された無損失オーディオ信号を出力するか、または前記損失復号化部から復元された基本階層の前記損失オーディオ信号だけを選択的に出力する第２信号生成部と、を備える構成とされる。
【００１５】
（７）本発明は、前記スケーラブル無損失オーディオ復号化装置において、前記損失復号化部が、ＢＳＡＣ復号化器を備えて構成されることが望ましい。
【００１６】
（８）本発明は、前記スケーラブル無損失オーディオ復号化装置において、前記無損失復号化部が、前記逆多重化部から分離された前記無損失ビットストリームを復元して誤差信号を生成する無損失復号化器と、前記無損失復号化部で復元された前記誤差信号から原信号を予測する予測器と、予測された前記原信号に復元された前記誤差信号を加算して前記損失信号を生成する第１信号生成部とを備えて構成されることが望ましい。
【００１７】
（９）前記目的を解決するための本発明に係るスケーラブル無損失オーディオ符号化方法は、（ａ）入力オーディオ信号を損失符号化して基本階層に損失ビットストリームを生成する段階と、（ｂ）前記損失ビットストリームを復号化し、復合化された信号と前記入力オーディオ信号とを比較して、前記損失符号化したときに失われた損失信号を再生する段階と、（ｃ）前記損失信号を無損失符号化して高位階層に無損失ビットストリームを生成する段階と、（ｄ）前記損失ビットストリームと前記無損失ビットストリームとを多重化して１つの出力ビットストリームを生成する段階と、を備え、前記段階（ｃ）は、現在入力されている前記損失信号から次に生成される損失信号を予測し、ラニラス分布になるような予測信号を生成する段階と、前記損失信号と、前記生成された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する段階と、前記誤差信号を無損失符号化して前記無損失ビットストリームを生成する段階とを有して構成される。
【００１８】
（１０）本発明は、前記スケーラブル無損失オーディオ符号化方法において、前記段階（ａ）における損失符号化は、ＢＳＡＣ符号化器を用いて符号化し、前記段階（ｂ）における損失ビットストリームの復号化は、ＢＳＡＣ復号化器を用いて復号化する段階を備えて構成されることが望ましい。
【００１９】
（１１）前記目的を解決するための本発明に係る記録媒体は、前記スケーラブル無損失オーディオ符号化方法をコンピュータにて実行可能なプログラムコードで記録されて構成されることが望ましい。
【００２０】
（１２）前記目的を解決するための本発明に係るオーディオ信号が損失符号化されたスケーラブル無損失オーディオ復号化方法は、オーディオ信号が基本階層で損失符号化された損失ビットストリームと、前記オーディオ信号とが損失符号化されて失われた損失信号を高位階層で無損失符号化した無損失ビットストリームと、が混合された混合ビットストリームから前記オーディオ信号を復号化するスケーラブル無損失オーディオ復号化装置において行われるスケーラブル無損失オーディオ復号化方法において、（ｅ）前記混合ビットストリームから、前記損失ビットストリーム及び前記無損失ビットストリームを逆多重化して分離する段階と、（ｆ）分離された前記損失ビットストリームを復号化して損失オーディオ信号を復元する段階と、（ｇ）分離された前記無損失ビットストリームを復号化して前記損失信号を復元する段階と、（ｈ）復元された基本階層の前記損失オーディオ信号と、復元された高位階層の前記損失信号とを加算して復元された無損失オーディオ信号を出力するか、または前記復元された基本階層の前記損失オーディオ信号だけを選択的に出力する段階と、を備えて構成される。
【００２１】
（１３）本発明は、前記スケーラブル無損失オーディオ符号化方法において、前記段階（ｆ）が、ＢＳＡＣ復号化器を用いて損失復号化する段階を備えて構成されることが望ましい。
【００２２】
（１４）本発明は、前記記録媒体において、前記スケーラブル無損失オーディオ復号化方法をコンピュータにて実行可能なプログラムコードで記録されて構成されることが望ましい。
【００２３】
【発明の実施の形態】
以下、添付した図面に基づき、本発明に係るスケーラブル無損失オーディオ符号化／復号化装置の好ましい実施形態の各構成及び動作と、前記本発明に係るスケーラブル無損失オーディオ符号化／復号化装置で行われるスケーラブル無損失オーディオ符号化／復号化方法について詳細に説明する。
【００２４】
図２は、本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の構成を模式的に示すブロック図である。図２に示すように、スケーラブル無損失オーディオ符号化装置は、損失符号化部２００と、損失信号再生部２１０と、無損失符号化部２２０と、混合部２３０とを備えて構成される。
【００２５】
図２に示すように、損失符号化部２００は、入力オーディオ信号（ＩＮＰＵＴ）を損失符号化して損失ビットストリームを生成する。このようにして、損失符号化が行われると、人の耳に影響を与えない一部のオーディオ信号が失われる。ここで、損失符号化部２００は、ＢＳＡＣ符号化器（ＢＳＡＣ：Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）で構成することが望ましい。
【００２６】
損失信号再生部２１０は、損失ビットストリームを復号化して復元した信号と、入力オーディオ信号ＩＮＰＵＴとを比較して、損失符号化部２００で損失符号化された時に失ったオーディオ信号を損失信号として再生する。
【００２７】
損失信号再生部２１０は、以下に説明するように、損失復号化器２１２及び第１エラー生成器２１４を備えて構成することが望ましい。
【００２８】
損失復号化器２１２は、損失符号化部２００から出力される損失ビットストリームを復号化して損失オーディオ信号として復元する。しかし、前記したように、損失符号化部２００で損失符号化過程を経る時、一部のオーディオ信号が失われる。したがって、損失復号化器２１２では、一部のオーディオ信号が失われた損失オーディオ信号として復元されることになる。ここで、損失符号化部２００がＢＳＡＣ符号化器であれば、損失復号化器２１２は、ＢＳＡＣ復号化器であることが望ましい。
【００２９】
また、第１エラー生成器２１４は、入力オーディオ信号ＩＮＰＵＴと、損失復号化部２１２で復元された損失オーディオ信号とを比較して、両信号間の誤差を検出し、検出された結果を損失信号として出力する。
【００３０】
一方、無損失符号化部２２０は、損失信号再生部２１０から入力された損失信号を無損失符号化して無損失ビットストリームとして生成する。ここで、無損失符号化部２２０は、予測器２２２、第２エラー生成器２２４及び無損失符号化器２２６を備えて構成することが望ましい。
【００３１】
図３Ａ、図３Ｂ及び図３Ｃは、図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で生成される主要信号の波形を示す図面である。図３Ａは、入力オーディオ信号（ＩＮＰＵＴ）の波形を、図３Ｂは、第１エラー生成器２１４から生成される損失信号の波形を、図３Ｃは、第２エラー生成器２２４から生成された誤差信号の波形を、各々示す。
【００３２】
予測器２２２は、損失信号生成部２１０から入力される現在の損失信号から次に発生する損失信号を予測する。これは、損失信号に存在するサンプル間の冗長性を除去することによって、符号化するデータの量を減らすためである。第１エラー生成器２１４で生成された損失信号（図３Ｂ参照）は、入力オーディオ信号（ＩＮＰＵＴ、図３Ａ参照）と、損失符号化器２００で量子化されたオーディオ信号との差であるため、全体的な平方自乗平均ＲＭＳ値（ＲＭＳ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）は、もとの前記オーディオ信号に比べて低い値を有する。
【００３３】
しかし、損失符号化部２００で周波数帯別に同一に量子化したものではないため、相変らず時間的冗長性が存在する。したがって、最終的な信号は、時間的冗長性をさらに減らすために時間軸での予測によりラプラス分布になるように制御される。予測方法としては、自己回帰方法や移動平均方法を用いられる。また、単純に低次数固定の予測係数だけでも予測可能である。したがって、予測係数に対する付帯事項を考慮して自己回帰方法、移動平均方法、単純多項式予測法、及び他の任意の予測方法のうちのいずれか１つの方法を用いて、最小のビットを求める予測器を選択すればよい。
【００３４】
第２エラー生成器２２４は、損失信号と予測器で予測された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号（図３Ｃ参照）として出力する。つまり、図３Ｃに示すように、第２エラー生成器２２４で生成された誤差信号は、第１エラー生成器２１４で生成された損失信号（図３Ｂ参照）の時間的冗長性を最小化してＲＭＳ値を最小化することによって、後記する無損失符号化器２２６で符号化されるデータ量を最小化できる。
【００３５】
無損失符号化器２２６は、第２エラー生成部２２４から出力される誤差信号を無損失符号化して、前記無損失ビットストリームとして生成する。
【００３６】
引続き、多重化部２３０は、損失符号化部２００から出力される損失ビットストリームと無損失符号化部２２０で出力される無損失ビットストリームとを多重化して、１つの出力ビットストリームを生成する。
【００３７】
図４は、図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の多重化部２３０から出力されるビットストリームの構造を説明するための図面である。
【００３８】
図４に示すように、出力ビットストリームは、損失ビットストリームのフレーム長を表す第１長さフィールド５００、損失ビットストリームが記録される第１データフィールド５０１、無損失ビットストリームのフレーム長を示す第２長さフィールド５０２及び無損失ビットストリームが記録される第２データフィールド５０３を備えて構成される。
【００３９】
つまり、図２に示す本発明に係るスケーラブル無損失オーディオ符号化装置は、損失符号化された基本階層と、無損失符号化された高位階層とを１つのビットストリームとして生成して、それを伝送することができる。
【００４０】
図５は、図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で符号化されて出力されるオーディオビットストリームを復号化するためのスケーラブル無損失オーディオ復号化装置の１実施例を模式的に示すブロック図である。図５に示すように、前記スケーラブル無損失オーディオ復号化装置は、逆多重化部３００、無損失復号化部３１０、損失復号化部３２０及び第２信号生成部３３０を備えて構成される。
【００４１】
図５に示すように、逆多重化部３００は、図２に示す装置で出力される出力ビットストリームを入力ビットストリームとして入力し、入力ビットストリームから損失ビットストリーム及び無損失ビットストリームを分離する。そして、逆多重化部３００は，図３に示す構造のビットストリームを入力して、損失ビットストリームのフレーム長を表す第１長さフィールド５００を解釈して、損失ビットストリームが記録されている第１データフィールド５０１を分離し、さらに、無損失ビットストリームのフレーム長を表す第２長さフィールド５０２を解釈して、無損失ビットストリームが記録されている第２データフィールド５０３を分離する。
【００４２】
損失復号化部３２０は，逆多重化部３００から分離された損失ビットストリームを復号化して損失オーディオ信号を復元する。しかし、前述したように、損失符号化部２００で損失符号化過程を経る時、一部オーディオ信号が損失される。したがって、損失復号化部３２０では、一部のオーディオ信号が損失された損失オーディオ信号が復元される。ここで、損失符号化部２００がＢＳＡＣ符号化器であれば、損失復号化部３２０は、ＢＳＡＣ復号化器であることが望ましい。
【００４３】
無損失復号化部３１０は、逆多重化部３００で分離された無損失ビットストリームを復号化し、図２に示す無損失符号化部２２０ですでに符号化されている損失信号を復元する。無損失復号化部３１０は、無損失符号化部２２０でのプロセスを逆に行うことによって損失信号を復元できる。無損失復号化部３１０は、無損失復号化器３１２、予測器３１４及び第１信号生成器３１６を備えて構成されることが望ましい。
【００４４】
無損失復号化器３１２は、逆多重化部３００から分離された無損失ビットストリームを復元して、図２に示す第２エラー生成器２２４から出力される誤差信号を復元する。
【００４５】
予測器３１４は、無損失復号化器３１２で復元された誤差信号から原信号を予測する。
【００４６】
第１信号生成器３１６は、予測器３１４で予測された信号に無損失復号化器３１２で復元された誤差信号を加算して損失信号を復元する。
【００４７】
引続き、第２信号生成部３３０は、損失復号化部３２０で復元された損失オーディオ信号と、無損失復号化部３１０で復元された前記損失信号とを加算して無損失オーディオ信号を復元する。すなわち、復元されたオーディオ信号は、入力オーディオ信号（ＩＮＰＵＴ）が損失符号化されつつ一部のオーディオ信号が損失された信号であり、無損失復号化部３１０で復元された前記損失信号は、損失復号化時に損失されたオーディオ信号である。結局、第２信号生成部３３０は、前記損失信号を、損失復号化部３１０で復元された損失オーディオ信号に加算することによって、入力オーディオ信号（ＩＮＰＵＴ）を復元できる。
【００４８】
一方、第２信号生成部３３０は、外部制御によって、損失復号化部３２０で復元されたオーディオ信号だけ選択的に出力するか、または復元されたオーディオ信号に復元された損失信号を加算した無損失オーディオ信号を出力できる。例えば、オーディオサービスを提供するサービス・プロバイダは、本発明に係るスケーラブル無損失復号化装置を用いて、選択的に使用者によって異なるオーディオサービスを提供できる。例えば、ナローバンド・ネットワークを用いる使用者または無料利用者には、損失復号化部３２０で復元された損失オーディオ信号のみを再生させ、一方、ブロードバンド・ネットワークを利用する使用者または有料利用者には、無損失オーディオ信号を再生させるようにすることができる。
【００４９】
また、本発明は、コンピュータにて読取可能な記録媒体にコンピュータにて読取可能なコードとして具現できる。コンピュータにて読取可能な記録媒体は、コンピュータシステムによって読取可能なデータが貯蔵される全ての種類の記録装置を含む。コンピュータにて読取可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ貯蔵装置などがあり、また搬送波（例えば、インターネットを通じた伝送）の形に具現されることも含む。またコンピュータにて読取可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、その分散方式によってコンピュータにて読取可能なコードが貯蔵及び実行される。
【００５０】
【発明の効果】
以上説明した通りに構成される本発明によれば、以下の効果を奏する。すなわち、本発明に係るスケーラブル無損失オーディオ符号化／復号化装置及びその方法によれば、損失符号化された損失ビットストリームと無損失符号化された無損失ビットストリームとを多重化して１つの出力ビットストリームとして生成して伝送し、前記出力ビットストリームから損失ビットストリームのみを復元した損失オーディオ信号または損失ビットストリーム及び無損失ビットストリームを全て復元して混合した無損失オーディオ信号を選択的に生成できる。
【００５１】
なお、本発明に係るスケーラブル無損失オーディオ符号化／復号化装置及びその方法は、図面を参照しながら、本発明に係る望ましい実施形態を参考として説明されたが、この実施形態は、単なる例示的なものに過ぎず、当該分野において通常の知識を有する者であれば、本発明の技術的思想に基づいて、この実施形態より各種の変形及びこれと均等な実施形態を創作することが可能なことは言うまでもない。よって、本発明の真の技術的な保護範囲は、本明細書の特許請求範囲によって定まるべきである。
【図面の簡単な説明】
【図１】従来の無損失符号化装置の構成を模式的に示すブロック図である。
【図２】本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の構成を模式的に示すブロック図である。
【図３Ａ】図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で生成される入力オーディオ信号（ＩＮＰＵＴ）の波形を示す図である。
【図３Ｂ】図２に示すスケーラブル無損失オーディオ符号化装置で生成される損失信号の波形を示す図である。
【図３Ｃ】図２に示す本発明本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で生成される誤差信号の波形を示す図である。
【図４】図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置の多重化部から出力されるビットストリームの構造を説明するための図面である。
【図５】図２に示す本発明に係る１実施形態のスケーラブル無損失オーディオ符号化装置で符号化されて出力されるオーディオビットストリームを復号化するためのスケーラブル無損失オーディオ復号化装置の１実施例を模式的に示すブロック図である。
【符号の説明】
２００ 損失符号化部
２１０ 損失信号再生部
２２０ 無損失符号化部
２３０ 多重化部
Claims (14)
- 入力オーディオ信号を損失符号化し基本階層に損失ビットストリームを生成する損失符号化部と、前記損失ビットストリームを復号化し、この復号化された信号と前記入力オーディオ信号とを比較して、前記損失符号化した時に失われた損失信号を再生する損失信号再生部と前記損失信号を無損失符号化して高位階層に無損失ビットストリームを生成する無損失符号化部と前記損失ビットストリームと前記無損失ビットストリームとを多重化して１つの出力ビットストリームを生成する多重化部とを備え、
前記無損失符号化部は、
現在入力されている前記損失信号から次に生成される損失信号を予測し、ラプラス分布になるような予測信号を生成する予測器と、
前記損失信号と、前記予測器で予測された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する第２エラー生成器と、
前記誤差信号を無損失符号化して前記無損失ビットストリームを生成する無損失符号化器とを備えることを特徴とするスケーラブル無損失オーディオ符号化装置。 - 前記出力ビットストリームは、
前記損失ビットストリームのフレーム長を表す第１長さフィールドと、
前記損失ビットストリームが記録される第１データフィールドと、
前記無損失ビットストリームのフレーム長を表す第２長さフィールドと、
前記無損失ビットストリームが記録される第２データフィールドと、
を備えることを特徴とする請求項１に記載のスケーラブル無損失オーディオ符号化装置。 - 前記損失符号化部は、ＢＳＡＣ符号化器であることを特徴とする請求項１に記載のスケーラブル無損失オーディオ符号化装置。
- 前記損失信号再生部は、
前記損失ビットストリームを復号化して損失オーディオ信号を復元する損失復号化器と
前記入力オーディオ信号と復元された前記損失オーディオ信号とを比較して両信号間の誤差を検出し、検出された結果を前記損失信号として出力する第１エラー生成器と、
を備えることを特徴とする請求項１に記載のスケーラブル無損失オーディオ符号化装置。 - 前記損失復号化器は、ＢＳＡＣ復号化器であることを特徴とする請求項４に記載のスケーラブル無損失オーディオ符号化装置。
- オーディオ信号が基本階層で損失符号化された損失ビットストリームと、前記オーディオ信号が損失符号化されて失われた損失信号を高位階層で無損失符号化した無損失ビットストリームと、が混合された混合ビットストリームから、前記オーディオ信号を復号化するスケーラブル無損失オーディオ復号化装置において、
前記混合ビットストリームから、前記損失ビットストリーム及び前記無損失ビットストリームを逆多重化して分離する逆多重化部と、
前記逆多重化部で分離された前記損失ビットストリームを復号化して基本階層を復元する損失復号化部と、
前記逆多重化部で分離された前記無損失ビットストリームを復元して高位階層を復元する無損失復号化部と、
前記損失復号化部から復元された基本階層の前記損失オーディオ信号と復元された高位階層の前記無損失オーディオ信号とを加算して復元された無損失オーディオ信号を出力するか、または前記損失復号化部から復元された基本階層の前記損失オーディオ信号だけを選択的に出力する第２信号生成部と、
を備えることを特徴とするスケーラブル無損失オーディオ復号化装置。 - 前記損失復号化部は、ＢＳＡＣ復号化器であることを特徴とする請求項６に記載のスケーラブル無損失オーディオ復号化装置。
- 前記無損失復号化部は、
前記逆多重化部から分離された前記無損失ビットストリームを復元して誤差信号を生成する無損失復号化器と、
前記無損失復号化部で復元された前記誤差信号から原信号を予測する予測器と、
予測された前記原信号に復元された前記誤差信号を加算して前記損失信号を生成する第１の信号生成部と、
を備えることを特徴とする請求項６に記載のスケーラブル無損失オーディオ復号化装置 - （ａ）入力オーディオ信号を損失符号化して基本階層に損失ビットストリームを生成する段階と、
（ｂ）前記損失ビットストリームを復号化し、復合化された信号と前記入力オーディオ信号とを比較して、前記損失符号化したときに失われた損失信号を再生する段階と、
（ｃ）前記損失信号を無損失符号化して高位階層に無損失ビットストリームを生成する段階と、
（ｄ）前記損失ビットストリームと前記無損失ビットストリームとを多重化して１つの出力ビットストリームを生成する段階と、
を備え、
前記段階（ｃ）は、
現在入力されている前記損失信号から次に生成される損失信号を予測し、ラニラス分布になるような予測信号を生成する段階と、
前記損失信号と、前記生成された予測信号とを比較して、両信号間の誤差を検出し、検出された結果を誤差信号として出力する段階と、
前記誤差信号を無損失符号化して前記無損失ビットストリームを生成する段階とを有することを特徴とするスケーラブル無損失オーディオ符号化方法。 - 前記段階（ａ）における損失符号化は、ＢＳＡＣ符号化器を用いて符号化し、前記段階（ｂ）における損失ビットストリームの復号化は、ＢＳＡＣ復号化器を用いて復号化することを特徴とする請求項９に記載のスケーラブル無損失オーディオ符号化方法。
- 請求項９に記載のスケーラブル無損失オーディオ符号化方法をコンピュータにて実行可能なプログラムコードで記録した記録媒体。
- オーディオ信号が基本階層で損失符号化された損失ビットストリームと、前記オーディオ信号とが損失符号化されて失われた損失信号を高位階層で無損失符号化した無損失ビットストリームと、が混合された混合ビットストリームから前記オーディオ信号を復号化するスケーラブル無損失オーディオ復号化装置において行われるスケーラブル無損失オーディオ復号化方法において、
（ｅ）前記混合ビットストリームから、前記損失ビットストリーム及び前記無損失ビットストリームを逆多重化して分離する段階と、
（ｆ）分離された前記損失ビットストリームを復号化して損失オーディオ信号を復元する段階と、
（ｇ）分離された前記無損失ビットストリームを復号化して前記損失信号を復元する段階と、
（ｈ）復元された基本階層の前記損失オーディオ信号と、復元された高位階層の前記損失信号とを加算して復元された無損失オーディオ信号を出力するか、または前記復元された基本階層の前記損失オーディオ信号だけを選択的に出力する段階と、
を備えることを特徴とするスケーラブル無損失オーディオ復号化方法。 - 前記段階（ｆ）は、ＢＳＡＣ復号化器を用いて損失復号化することを特徴とする請求項１２に記載のスケーラブル無損失オーディオ符号化方法。
- 請求項１２に記載のスケーラブル無損失オーディオ復号化方法をコンピュータにて実行可能なプログラムコードで記録した記録媒体。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020012759A KR100908114B1 (ko) | 2002-03-09 | 2002-03-09 | 스케일러블 무손실 오디오 부호화/복호화 장치 및 그 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007150793A Division JP2007279761A (ja) | 2002-03-09 | 2007-06-06 | スケーラブル無損失オーディオ符号化／復号化装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004004578A JP2004004578A (ja) | 2004-01-08 |
| JP4056407B2 true JP4056407B2 (ja) | 2008-03-05 |
Family
ID=28786888
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003052519A Expired - Fee Related JP4056407B2 (ja) | 2002-03-09 | 2003-02-28 | スケーラブル無損失オーディオ符号化／復号化装置及びその方法 |
| JP2007150793A Pending JP2007279761A (ja) | 2002-03-09 | 2007-06-06 | スケーラブル無損失オーディオ符号化／復号化装置及びその方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007150793A Pending JP2007279761A (ja) | 2002-03-09 | 2007-06-06 | スケーラブル無損失オーディオ符号化／復号化装置及びその方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7617097B2 (ja) |
| JP (2) | JP4056407B2 (ja) |
| KR (1) | KR100908114B1 (ja) |
| DE (1) | DE10306685A1 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100354531B1 (ko) * | 1998-05-06 | 2005-12-21 | 삼성전자 주식회사 | 실시간 복호화를 위한 무손실 부호화 및 복호화 시스템 |
| US7742926B2 (en) * | 2003-04-18 | 2010-06-22 | Realnetworks, Inc. | Digital audio signal compression method and apparatus |
| KR100975522B1 (ko) * | 2003-10-28 | 2010-08-13 | 삼성전자주식회사 | 스케일러블 오디오 복/부호화 방법 및 장치 |
| KR100561869B1 (ko) * | 2004-03-10 | 2006-03-17 | 삼성전자주식회사 | 무손실 오디오 부호화/복호화 방법 및 장치 |
| US20080312915A1 (en) * | 2004-06-08 | 2008-12-18 | Koninklijke Philips Electronics, N.V. | Audio Encoding |
| TWI285055B (en) * | 2004-09-30 | 2007-08-01 | Nippon Telegraph & Telephone | Method for progressive lossless video coding, method for progressive lossless video decoding, progressive lossless video coding apparatus, progressive lossless video decoding apparatus, and recording media of progressive lossless video coding program... |
| KR20070070174A (ko) * | 2004-10-13 | 2007-07-03 | 마츠시타 덴끼 산교 가부시키가이샤 | 스케일러블 부호화 장치, 스케일러블 복호 장치 및스케일러블 부호화 방법 |
| KR100710262B1 (ko) * | 2005-07-22 | 2007-04-20 | 엘지전자 주식회사 | 오디오 에러 검출 장치 및 그 방법 |
| JP4640020B2 (ja) * | 2005-07-29 | 2011-03-02 | ソニー株式会社 | 音声符号化装置及び方法、並びに音声復号装置及び方法 |
| US8184691B1 (en) * | 2005-08-01 | 2012-05-22 | Kevin Martin Henson | Managing telemetry bandwidth and security |
| EP1852849A1 (en) * | 2006-05-05 | 2007-11-07 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream |
| EP1852848A1 (en) * | 2006-05-05 | 2007-11-07 | Deutsche Thomson-Brandt GmbH | Method and apparatus for lossless encoding of a source signal using a lossy encoded data stream and a lossless extension data stream |
| EP1855271A1 (en) * | 2006-05-12 | 2007-11-14 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for re-encoding signals |
| EP1881485A1 (en) * | 2006-07-18 | 2008-01-23 | Deutsche Thomson-Brandt Gmbh | Audio bitstream data structure arrangement of a lossy encoded signal together with lossless encoded extension data for said signal |
| US20080100595A1 (en) * | 2006-10-31 | 2008-05-01 | Tpo Displays Corp. | Method for eliminating power-off residual image in a system for displaying images |
| JP2008257221A (ja) * | 2007-03-13 | 2008-10-23 | Matsushita Electric Ind Co Ltd | 信号処理装置 |
| KR100889750B1 (ko) * | 2007-05-17 | 2009-03-24 | 한국전자통신연구원 | 오디오 신호의 무손실 부호화/복호화 장치 및 그 방법 |
| KR101381602B1 (ko) * | 2007-09-17 | 2014-04-04 | 삼성전자주식회사 | 계층적 부호화 및 복호화 방법 및 장치 |
| JP4973422B2 (ja) * | 2007-09-28 | 2012-07-11 | ソニー株式会社 | 信号記録再生装置及び方法 |
| KR101421589B1 (ko) * | 2007-12-28 | 2014-07-22 | 삼성전자주식회사 | 휴대용 단말기의 음향 보정 필터 설계 방법 및 장치 |
| WO2010108332A1 (zh) * | 2009-03-27 | 2010-09-30 | 华为技术有限公司 | 编码和解码方法及装置 |
| EP2237269B1 (en) * | 2009-04-01 | 2013-02-20 | Motorola Mobility LLC | Apparatus and method for processing an encoded audio data signal |
| CN101964188B (zh) * | 2010-04-09 | 2012-09-05 | 华为技术有限公司 | 语音信号编码、解码方法、装置及编解码系统 |
| US9711150B2 (en) * | 2012-08-22 | 2017-07-18 | Electronics And Telecommunications Research Institute | Audio encoding apparatus and method, and audio decoding apparatus and method |
| US10438597B2 (en) * | 2017-08-31 | 2019-10-08 | Dolby International Ab | Decoder-provided time domain aliasing cancellation during lossy/lossless transitions |
| EP3451332B1 (en) * | 2017-08-31 | 2020-03-25 | Dolby International AB | Decoder-provided time domain aliasing cancellation during lossy/lossless transitions |
| GB2624686A (en) * | 2022-11-25 | 2024-05-29 | Lenbrook Industries Ltd | Improvements to audio coding |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0773249B2 (ja) * | 1989-06-29 | 1995-08-02 | 富士通株式会社 | 音声符号化・復号化伝送方式 |
| US5748763A (en) * | 1993-11-18 | 1998-05-05 | Digimarc Corporation | Image steganography system featuring perceptually adaptive and globally scalable signal embedding |
| JP3629826B2 (ja) * | 1995-07-28 | 2005-03-16 | ソニー株式会社 | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 |
| US5777677A (en) * | 1996-02-09 | 1998-07-07 | International Business Machines Corporation | Approximate MPEG decoder with compressed reference frames |
| KR100261254B1 (ko) * | 1997-04-02 | 2000-07-01 | 윤종용 | 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치 |
| KR100251453B1 (ko) * | 1997-08-26 | 2000-04-15 | 윤종용 | 고음질 오디오 부호화/복호화장치들 및 디지털다기능디스크 |
| KR100335611B1 (ko) * | 1997-11-20 | 2002-10-09 | 삼성전자 주식회사 | 비트율 조절이 가능한 스테레오 오디오 부호화/복호화 방법 및 장치 |
| KR100335609B1 (ko) * | 1997-11-20 | 2002-10-04 | 삼성전자 주식회사 | 비트율조절이가능한오디오부호화/복호화방법및장치 |
| WO1999053677A2 (en) | 1998-04-09 | 1999-10-21 | Koninklijke Philips Electronics N.V. | Lossless encoding/decoding in a transmission system |
| JP3406275B2 (ja) | 1999-05-21 | 2003-05-12 | 日本電信電話株式会社 | ディジタル信号符号化方法、ディジタル信号復号化方法、これらの装置及びその各プログラム記録媒体 |
| US6549147B1 (en) * | 1999-05-21 | 2003-04-15 | Nippon Telegraph And Telephone Corporation | Methods, apparatuses and recorded medium for reversible encoding and decoding |
| JP2002016925A (ja) | 2000-04-27 | 2002-01-18 | Canon Inc | 符号化装置及び符号化方法 |
| US6909812B1 (en) * | 2000-07-13 | 2005-06-21 | Lucent Technologies Inc. | Methods and apparatus for nearly lossless-concatenated block transform coding |
| FI109393B (fi) | 2000-07-14 | 2002-07-15 | Nokia Corp | Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite |
| US6677868B2 (en) * | 2001-03-16 | 2004-01-13 | Sharp Laboratories Of America, Inc. | Entropy coding with adaptive syntax to replace high probability symbols with lower probabilities symbols |
| EP2651442B1 (en) * | 2010-12-14 | 2020-04-22 | University of Maryland, Baltimore | Universal anti-tag chimeric antigen receptor-expressing t cells and methods of treating cancer |
-
2002
- 2002-03-09 KR KR1020020012759A patent/KR100908114B1/ko not_active IP Right Cessation
-
2003
- 2003-02-12 DE DE10306685A patent/DE10306685A1/de not_active Ceased
- 2003-02-14 US US10/366,348 patent/US7617097B2/en not_active Expired - Fee Related
- 2003-02-28 JP JP2003052519A patent/JP4056407B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-06 JP JP2007150793A patent/JP2007279761A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE10306685A1 (de) | 2003-10-30 |
| US20030171919A1 (en) | 2003-09-11 |
| JP2004004578A (ja) | 2004-01-08 |
| KR20030073279A (ko) | 2003-09-19 |
| US7617097B2 (en) | 2009-11-10 |
| JP2007279761A (ja) | 2007-10-25 |
| KR100908114B1 (ko) | 2009-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4056407B2 (ja) | スケーラブル無損失オーディオ符号化／復号化装置及びその方法 | |
| JP4740548B2 (ja) | 帯域幅拡張技術を利用して符号化及び復号化を行う方法及び装置 | |
| JP3354863B2 (ja) | ビット率の調節可能なオーディオデータ符号化／復号化方法及び装置 | |
| KR101404335B1 (ko) | 오디오 소스 신호에 대한 손실 엔코드된 데이터 스트림과 무손실 확장 데이터 스트림으로부터 오디오 소스 신호에 대한 무손실 엔코드된 데이터 스트림을 생성하거나 상기 엔코드된 데이터 스트림을 디코딩하기 위한 방법 및 장치 | |
| JP2006031012A (ja) | マルチチャンネルオーディオデータ符号化方法、マルチチャンネルオーディオデータ復号化方法、マルチチャンネルオーディオデータ符号化装置、マルチチャンネルオーディオデータ復号化装置、マルチチャンネルオーディオデータを符号化するためのプログラムを記録した媒体及びマルチチャンネルオーディオデータを復号化するためのプログラムを記録した記録媒体 | |
| KR101237559B1 (ko) | 스케일러블 무손실 비트스트림의 인코딩 방법 | |
| JP3960932B2 (ja) | ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム | |
| KR100528325B1 (ko) | 비트율 조절이 가능한 스테레오 오디오 부호화 및복호화방법 및 그 장치 | |
| KR101015497B1 (ko) | 디지털 데이터의 부호화/복호화 방법 및 장치 | |
| KR100300887B1 (ko) | 디지털 오디오 데이터의 역방향 디코딩 방법 | |
| US6549147B1 (en) | Methods, apparatuses and recorded medium for reversible encoding and decoding | |
| JP4618634B2 (ja) | 圧縮オーディオデータ処理方法 | |
| JP2003330497A (ja) | オーディオ信号の符号化方法及び装置、符号化及び復号化システム、並びに符号化を実行するプログラム及び当該プログラムを記録した記録媒体 | |
| JP3606458B2 (ja) | 音声信号伝送方法及び音声復号方法 | |
| JP2004138789A (ja) | ディジタル信号符号化方法、復号化方法、符号器、復号器及びこれらのプログラム | |
| KR20070008211A (ko) | 스케일러블 대역 확장 음성 부호화/복호화 방법 및 장치 | |
| KR960012477B1 (ko) | 인지 정보량을 이용한 적응적 스테레오 디지탈 오디오 부호화 및 복호화장치 | |
| JP4148259B2 (ja) | 音声符号化方法及び音声復号方法 | |
| JP3606456B2 (ja) | 音声信号伝送方法及び音声復号方法 | |
| JP2003099095A (ja) | オーディオ符号化装置、方法、記録媒体及びプログラム | |
| JP2004140569A (ja) | ディジタル信号符号化方法、復号化方法、これらの符号器、復号器及びこれらのプログラム | |
| JPH0356999A (ja) | 符号化装置 | |
| JP2005208669A (ja) | 音声符号化方法及び音声復号方法 | |
| JP2005208668A (ja) | 音声符号化方法及び音声復号方法 | |
| JP2005208670A (ja) | 音声符号化方法及び音声復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060104 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060403 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060704 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061026 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061027 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070606 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071211 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |