JP5314170B2 - スケーラブルデータの算術復号化方法 - Google Patents

スケーラブルデータの算術復号化方法 Download PDF

Info

Publication number
JP5314170B2
JP5314170B2 JP2012085947A JP2012085947A JP5314170B2 JP 5314170 B2 JP5314170 B2 JP 5314170B2 JP 2012085947 A JP2012085947 A JP 2012085947A JP 2012085947 A JP2012085947 A JP 2012085947A JP 5314170 B2 JP5314170 B2 JP 5314170B2
Authority
JP
Japan
Prior art keywords
decoding
symbol
decoded
arithmetic
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012085947A
Other languages
English (en)
Other versions
JP2012198542A (ja
Inventor
重 會 金
殷 美 ▲呉▼
昌 用 孫
基 ▲硯▼ 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012198542A publication Critical patent/JP2012198542A/ja
Application granted granted Critical
Publication of JP5314170B2 publication Critical patent/JP5314170B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、スケーラブルデータの復号化方法に関する。
オーディオの無損失符号化方式についての技術は、オーディオ放送やアーカイビングの用途で多くの需要がある。無損失のオーディオ符号化において、主要技術は、時間/周波数の変換あるいは線形予測を利用してエントロピー符号化器を適用することが核心技術である。
ビットストリームのリパージング(re-parsing:再解釈)を通じた拡張性を適用する場合には、一つのフレームに該当するビットストリームをサーバ端の任意の位置で切断して復号化端へ伝送する。
図1は、一般的な算術復号化方法を示すフローチャートである。まず、初期化を行った後(ステップ100)、復号化するシンボルを探す(ステップ110)。文脈を利用してシンボルの確率を計算し(ステップ120)、算術復号化を行う(ステップ130)。ビットストリームの終端であるか否かをチェックし(ステップ140)、終端でなければ、再び復号化するシンボルを探して前記の過程を反復し、終端であれば復号化を終了する。
通常、算術復号化過程を経るときは、復号化する全体のシンボルを知るか、または特定の終結コードを挿入して復号化器に復号化がいつ終了されねばならないかを知らせる。しかし、図2のようにビットストリームが切断された場合には、かかる情報が除去された状態であるため、復号化器は、いつ復号化を終了せねばならないかが分からない。つまり、正確な終了時点を知らないので、復号化するときに望まないデータが復号化されうる。
本発明が解決しようとする課題は、前記した問題点を解決するために、復号化エラーなしに復号化を効率的に終了するスケーラブルオーディオデータの算術復号化方法及び装置を提供するところにある。
また、本発明が解決しようとする他の課題は、スケーラブルオーディオデータのビットストリームの切断方法を提供するところにある。
前記の課題を解決するために、本発明に係るスケーラブルデータの算術復号化方法は、スケーラブル算術符号化されたシンボルを復号化するスケーラブルデータの算術復号化方法において、
(a)復号化しようとする前記シンボルと当該シンボルが発生する確率とを利用して当該シンボルを算術復号化するステップ、及び
(b)前記シンボルの復号化完了如何を示すアンビギュイティをチェックして、復号化継続如何を決定するステップとを含む。
前記(b)ステップは、スケーラブル復号化のために、切断された後で残った有効なビットストリームを復号化した後、拡張性のために、切断されたビットストリームを復号化するための仮想のデータを利用して復号化する場合、前記仮想のデータに関係なく前記シンボルが復号化される場合には、復号化を進め続け、前記仮想のデータに依存して前記シンボルが復号化される場合には、前記アンビギュイティが発生したと判断して復号化を完了するステップを含むことを特徴とする。
前記(b)ステップは、(b1)式(1)及び式(2)の右辺値をKとするとき、前記Kを計算してKによって前記シンボルの復号化継続如何を判断するステップと、
Figure 0005314170

Figure 0005314170

(ここで、v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、v2は、切断後に除去されたビットストリームの値、freqは、前記シンボルが発生する確率値、high及びlowは、前記シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表す)
(b2)dummyをv2のビット数としたときに、前記Kが2dummy−1以上であれば、前記シンボルを1に復号化し、前記Kが0以下であれば、前記シンボルを0に復号化するステップ、及び
(b3)前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を中断するステップを含むことが好ましい。
また、スケーラブルデータの算術復号化方法は、前記(a)ステップの前に、復号化しようとする前記シンボルを探すステップ、及び当該シンボルが発生する確率を計算するステップをさらに含むことが望ましい。
また、スケーラブルデータの算術復号化方法は、前記シンボルが発生する確率を計算するステップが、復号化するビットストリームのヘッダ情報からデコーディングモードを探すステップ、及び前記デコーディングモードが文脈基盤の算術符号化モード(Context-Based Arithmetic Coding:CBAC)である場合、復号化しようとする前記シンボルの文脈を参照して当該シンボルが発生する確率を得るステップを含むことが望ましい。
また、スケーラブルデータの算術復号化方法は、前記(a)ステップが、ビットプレーン上の値のうち最初に0でないサンプルが復号化されれば、それに該当する符号ビットを算術復号化し、前記(b3)ステップが、前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を中断し、直前に復号化されたサンプルを0にセッティングして復号化を終了することが望ましい。
また、スケーラブルデータの算術復号化方法は、前記シンボルが発生する確率を計算するステップが、復号化するビットストリームのヘッダ情報からデコーディングモードを探すステップと、前記デコーディングモードがビットプレーンゴロム符号化(Bit Plane Golomb Coding:BPGC)モードである場合、復号化するデータがラプラシアン分布を有すると仮定して復号化しようとする前記シンボルが発生する確率を得るステップを含むことが望ましい。
また、スケーラブルデータの算術復号化方法は、前記(a)ステップが、ビットプレーン上の値のうち最初に0でないサンプルが復号化されれば、それに該当する符号ビットを算術復号化し、前記(b3)ステップが、前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を中断し、直前に復号化されたサンプルを0にセッティングして復号化を終了することが望ましい。
また、スケーラブルデータの算術復号化方法は、前記シンボルが発生する確率を計算するステップが、復号化するビットストリームのヘッダ情報からデコーディングモードを探すステップ、及び前記デコーディングモードが低エネルギーモードである場合、前記ビットストリームのヘッダの確率モデル情報を利用して復号化しようとする前記シンボルが発生する確率を得るステップを含むことが望ましい。
前記の課題を解決するために、本発明に係るスケーラブルデータの算術復号化装置は、スケーラブル算術符号化されたシンボルを復号化するスケーラブルデータの算術復号化装置において、
復号化しようとする前記シンボルと当該シンボルが発生する確率とを利用して当該シンボルを算術復号化するシンボル復号化部、及び
前記シンボルの復号化完了如何を示すアンビギュイティをチェックして、復号化継続如何を決定するアンビギュイティチェック部を備え、
前記アンビギュイティチェック部は、式(1)及び式(2)の右辺値をKとするとき、前記Kを計算してKによって前記シンボルの復号化継続如何を判断する復号化継続如何判断部、
Figure 0005314170

Figure 0005314170

(ここで、v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、v2は、切断後に除去されたビットストリームの値、freqは、前記シンボルが発生する確率値、high及びlowは、前記シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表す)
dummyをv2のビット数としたときに、前記Kが2dummy−1以上であれば、前記シンボルを1に復号化し、前記Kが0以下であれば、前記シンボルを0に復号化する追加復号化部、及び前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を中断する復号化中断部を備えることを特徴とする。
また、スケーラブルデータの算術復号化装置は、復号化しようとする前記シンボルを探して当該シンボルが発生する確率を計算するシンボル決定/確率予測部をさらに備えることが望ましい。
また、前記の他の課題を解決するために、本発明に係るスケーラブルデータのビットストリームの切断方法は、スケーラブルデータのビットストリームのヘッダから当該ビットストリームの長さを解釈するステップ、前記ビットストリームを読み取ってターゲットビットレートに該当するターゲットバイトを計算するステップ、前記計算されたターゲットバイトと実際のビット数とのうち小さい方の値で前記ビットストリームの長さを修正するステップ、及び長さが修正された前記ビットストリームを保存及び伝送するステップを含むことを特徴とする。
また、前記課題を解決するために、本発明に係るスケーラブルオーディオデータの算術復号化方法は、スケーラブルオーディオ算術符号化されたシンボルを復号化する方法において、
(a)復号化しようとする前記シンボルと当該シンボルが発生する確率とを利用して当該シンボルを算術復号化するステップ、及び
(b)前記シンボルの復号化完了如何を示すアンビギュイティをチェックして、復号化継続如何を決定するステップを含み、
前記(b)ステップは、(b1)式(1)及び式(2)の右辺値をKとするとき、前記Kを計算してKによってシンボルの復号化継続如何を判断するステップ、
Figure 0005314170

Figure 0005314170

(ここで、v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、v2は、切断後に除去されたビットストリームの値、freqは、前記シンボルが発生する確率値、high及びlowは、前記シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表す)
(b2)dummyをv2のビット数としたときに、前記Kが2dummy−1以上であれば、前記シンボルを1に復号化し、前記Kが0以下であれば、前記シンボルを0に復号化するステップ、及び
(b3)前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を完了するステップを含むことを特徴とする。
また、前記課題を解決するために、本発明に係るスケーラブルオーディオデータの算術復号化方法は、スケーラブルオーディオ算術符号化されたシンボルを復号化するスケーラブルデータの算術復号化方法において、
(a1)復号化しようとする前記シンボルと当該シンボルが発生する確率とを利用して当該シンボルを算術復号化すると共に、前記シンボルが発生する確率の計算は、復号化するビットストリームのヘッダ情報からデコーディングモードを探して、前記デコーディングモードが文脈基盤の算術符号化モードである場合、復号化しようとする前記シンボルの文脈を参照して当該シンボルが発生する確率を得るステップ、及び
(b)前記シンボルの復号化完了如何を示すアンビギュイティをチェックして、復号化継続如何を決定するステップを含み、
前記(b)ステップは、(b1)式(1)及び式(2)の右辺値をKとするとき、前記Kを計算してKによって前記シンボルの復号化継続如何を判断するステップ、
Figure 0005314170

Figure 0005314170

(ここで、v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、v2は、切断後に除去されたビットストリームの値、freqは、前記シンボルが発生する確率値、high及びlowは、前記シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表す)
(b2)dummyをv2のビット数としたときに、前記Kが2dummy−1以上であれば、前記シンボルを1に復号化し、前記Kが0以下であれば、前記シンボルを0に復号化するステップ、及び
(b3)前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を完了するステップを含むことを特徴とする。
また、スケーラブルオーディオデータの算術復号化方法は、前記(a1)ステップが、ビットプレーン上の値のうち最初に0でないサンプルが復号化されれば、それに該当する符号ビットを算術復号化し、前記(b3)ステップが、前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を中断し、直前に復号化されたサンプルを0にセッティングして復号化を終了することが望ましい。
また、前記の課題を解決するために、本発明に係るスケーラブルオーディオデータの算術復号化方法は、スケーラブルオーディオ算術符号化されたシンボルを復号化するスケーラブルデータの算術復号化方法において、
(a2)復号化しようとする前記シンボルと当該シンボルが発生する確率とを利用して当該シンボルを算術復号化すると共に、前記シンボルが発生する確率の計算は、復号化するビットストリームのヘッダ情報からデコーディングモードを探して、前記デコーディングモードがビットプレーンゴロム符号化モードである場合、復号化するデータがラプラシアン分布を有すると仮定して復号化しようとする前記シンボルが発生する確率を得るステップ、及び
(b)前記シンボルの復号化完了如何を示すアンビギュイティをチェックして、復号化継続如何を決定するステップを含み、
前記(b)ステップは、(b1)式(1)及び式(2)の右辺値をKとするとき、前記Kを計算してKによって前記シンボルの復号化継続如何を判断するステップ、
Figure 0005314170

Figure 0005314170

(ここで、v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、v2は、切断後に除去されたビットストリームの値、freqは、前記シンボルが発生する確率値、high及びlowは、前記シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表す)
(b2)dummyをv2のビット数としたときに、前記Kが2dummy−1以上であれば、前記シンボルを1に復号化し、前記Kが0以下であれば、前記シンボルを0に復号化するステップ、及び
(b3)前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を完了するステップを含むことを特徴とする。
また、スケーラブルオーディオデータの算術復号化方法は、前記(a2)ステップが、ビットプレーン上の値のうち最初に0でないサンプルが復号化されれば、それに該当する符号ビットを算術復号化し、前記(b3)ステップが、前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を中断し、直前に復号化されたサンプルを0にセッティングして復号化を終了することが望ましい。
また、前記課題を解決するために、本発明に係るスケーラブルオーディオデータの算術復号化方法は、スケーラブルオーディオ算術符号化されたシンボルを復号化するスケーラブルデータの算術復号化方法において、
(a3)復号化しようとする前記シンボルと当該シンボルが発生する確率とを利用して当該シンボルを算術復号化すると共に、前記シンボルが発生する確率の計算は、復号化するビットストリームのヘッダ情報からデコーディングモードを探して、前記デコーディングモードが低エネルギーモードである場合、前記ビットストリームのヘッダの確率モデル情報を利用して復号化しようとする前記シンボルが発生する確率を得るステップ、及び
(b)前記シンボルの復号化完了如何を示すアンビギュイティをチェックして、復号化継続如何を決定するステップを含み、
前記(b)ステップは、(b1)式(1)及び式(2)の右辺値をKとするとき、前記Kを計算してKによって前記シンボルの復号化継続如何を判断するステップ、
Figure 0005314170

Figure 0005314170

(ここで、v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、v2は、切断後に除去されたビットストリームの値、freqは、前記シンボルが発生する確率値、high及びlowは、前記シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表す)
(b2)dummyをv2のビット数としたときに、前記Kが2dummy−1以上であれば、前記シンボルを1に復号化し、前記Kが0以下であれば、前記シンボルを0に復号化するステップ、及び
(b3)前記Kが0と2dummy−1との間であれば、前記アンビギュイティが発生したと決定して復号化を完了するステップを含むことを特徴とする。
また、前記他の課題を解決するために、本発明に係るスケーラブルオーディオデータのビットストリームの切断方法は、スケーラブルオーディオデータのビットストリームのヘッダから当該ビットストリームの長さを解釈するステップ、前記ビットストリームを読み取ってターゲットビットレートに該当するターゲットバイトを計算するステップ、前記計算されたターゲットバイトと実際のビット数とのうち小さい方の値で前記ビットストリームの長さを修正するステップ、及び長さが修正された前記ビットストリームを保存及び伝送するステップを含み、前記ターゲットバイトをtarget_bytesとするとき、前記ターゲットバイトは、式(3)および式(4)により求められることを特徴とする。
target_bytes=(target_bits+7)/8 …式(3)
ただし、
target_bits=(int)(target_bitrate/2*1024*osf/sampling_rate+0.5)-16…式(4)
(式(4)において、target_bitrateは、目標にしようとする伝送ビットレート(bit/sec)、sampling_rateは、入力信号のサンプリング周波数(Hz)、osfは、1,2,4のうちのいずれかの値を有する因子(oversampling factor)を表す)
そして、本発明に係るコンピュータで読み取り可能な記録媒体は、本発明に係るスケーラブルデータの算術復号化方法または、スケーラブルデータのビットストリームの切断方法、または、スケーラブルオーディオデータの算術復号化方法、または、スケーラブルオーディオデータのビットストリームの切断方法、をコンピュータに実行させるためのプログラムを記録したことを特徴とする。
本発明に係るスケーラブルオーディオデータの算術復号化方法及び装置によれば、MPEG−4スケーラブル無損失オーディオコーディングで適用された算術コーディングにおいて、拡張性を適用したときに効率的に復号化できる。
また、ビットストリームが切断された場合にも、復号化終了時点が分かり、除去された部分に対しても付加的な復号化が可能である。
一般的な算術復号化方法を示すフローチャートである。 一般的な拡張性のためのビットストリームの切断の場合を示す図である。 一般的な二進算術復号化を行うための擬似コードを示す図である。 ビットストリームが切断された場合の切断点付近でのバッファに入力された値を示す図である。 本実施形態に係るスケーラブルオーディオデータの算術復号化装置の構成を示すブロック図である。 アンビギュイティチェック部の詳細な構成を示すブロック図である。 本実施形態に係るスケーラブルオーディオデータの算術復号化方法を示すフローチャートである。 図7に示したスケーラブルビットストリームの復元継続如何の判断方法を適用してさらにシンボルのサンプルを復号化した例を示す図である。 符号ビットでアンビギュイティが発生する場合、それを処理する例を示す図である。 本実施形態に係るスケーラブルオーディオデータのビットストリームの切断方法を示すフローチャートである。
以下、添付された図面を参照して、本発明の実施形態に係るスケーラブルオーディオデータの算術復号化方法及び装置、及びスケーラブルオーディオデータのビットストリームの切断方法について詳細に説明する。
図3は、一般的な二進算術復号化を行うための擬似コードを示す図である。これは、MPEG−4スケーラブル無損失オーディオコーディングのエントロピー符号化器に使われる算術復号化アルゴリズムである。図3に記載された擬似コードによれば、まず、現在のfrequency/low/high/value値により復号化されたシンボルが決定され、次いで、low/high/value値のリスケーリング及びアップデートが行われる。
図4は、ビットストリームが切断された場合の切断点付近でのバッファに入力された値を示す図である。切断されたバッファインデックス以後(図中右側)のビットストリームには、それ以上有意な情報がないので、意味がない値「XXX」が示されている。ここではその値をv2といい、残りのバッファにある値をv1という。図4に示す例では、v2のビット数が3ビットであるので、v2は0〜7の範囲の値を有する。
図5は、本実施形態に係るスケーラブルオーディオデータの算術復号化装置の構成を示すブロック図である。図5に示す算術復号化装置は、シンボル復号化部520及びアンビギュイティチェック部540を必須要素として備える。図5に示す算術復号化装置は、好ましい形態としてシンボル決定/確率予測部500をさらに備えている。
シンボル決定/確率予測部500は、ビットストリームで復号化しようとするシンボルを探して決定して当該シンボルが発生する確率を計算して予測する。当該シンボルが発生する確率の予測は、次のように行われる。
まず、復号化するビットストリームのヘッダ情報からデコーディングモード(復号化モード)を探す。ここで、デコーディングモードがCBAC(Context-Based Arithmetic Coding)モード(文脈基盤の算術符号化モード)である場合、復号化しようとするシンボルの文脈を参照して当該シンボルが発生する確率を得る。
また、デコーディングモードがBPGC(BitPlane Golomb Coding)モード(ビットプレーンゴロム符号化モード)である場合、復号化するデータがラプラシアン分布を有すると仮定して復号化しようとするシンボルが発生する確率を得る。
また、デコーディングモードが低エネルギーモードである場合、ビットストリームのヘッダの確率モデル情報を利用して復号化しようとするシンボルが発生する確率を得る。
シンボル復号化部520は、シンボル決定/確率予測部500によって予測された確率と、復号化しようとするシンボルとを利用して算術復号化したシンボルを生成する。ここで、ビットプレーン上の符号ビットの復号化は、次のように行われる。MPEG−4スケーラブル無損失ビットストリームの復号化では、ビットプレーン上の値のうち最初に0でないサンプルが復号化された後、それに該当する符号ビットを算術復号化する。しかし、もし、符号値でアンビギュイティが発生したと決定して直ちに復号化を終了すれば、直前に復号化された0でないサンプルの符号が分からない。かかる理由により、符号値で復号化が終了された場合、直前に復号化されたサンプルを0にセッティングして復号化を終了する。なお、アンビギュイティは、シンボルの復号化完了如何を示す。
アンビギュイティチェック部540は、アンビギュイティをチェックして、復号化継続如何を決定するものである。具体的には、アンビギュイティチェック部540は、式(1)及び式(2)の右辺値をKとするとき、Kを計算してKによってシンボルの復号化継続如何を判断する。
Figure 0005314170

Figure 0005314170

ここで、v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、v2は、切断後に除去されたビットストリームの値、freqは、シンボルが発生する確率値、high及びlowは、シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表す(Study on 14496-3:2001/PDAM5,Scalable Lossless Coding(SLS),ISO/IEC JTC 1/SC 29/WG 11 N6792参照)。
式(1)及び式(2)をさらに詳細に説明すれば、次の通りである。図3に示した擬似コードの復号化数式をv1とv2とに分けて展開する。
もし、「(v1+v2−low+1)・214<(high−low+1)・freq」であれば、シンボルsymは1に復号化されて生成される。この条件についてv2を中心に整理すれば、式(1)で表される。
また、もし、「(v1+v2−low+1)・214≧(high−low+1)・freq」であれば、シンボルsymは0に復号化されて生成される。この条件についてv2を中心に整理すれば、式(2)で表される。
式(1)の右辺の値が7より大きい場合には、v2に関係なく1に復号化され、式(2)の右辺の値が0より小さい場合には、v2に関係なく0に復号化される。その他の場合には、復号化アンビギュイティが発生して復号化を終了する。
図6は、アンビギュイティチェック部540の詳細な構成を示すブロック図である。
図6に示したアンビギュイティチェック部540は、復号化継続如何判断部600、追加復号化部620及び復号化中断部640を備える。
復号化継続如何判断部600は、式(1)及び式(2)の右辺値をKとするとき、Kを計算してKによってシンボルの復号化継続如何を判断するものである。
追加復号化部620は、dummyをv2のビット数としたときに、Kが2dummy−1以上であれば、シンボルを1に復号化し、Kが0以下であれば、シンボルを0に復号化するものである。
復号化中断部640は、Kが0と2dummy−1との間であれば、アンビギュイティが発生したと決定して復号化を中断するものである。
図7は、本実施形態に係るスケーラブルオーディオデータの算術復号化方法を示すフローチャートである。以下、図7を参照して、スケーラブルビットストリームの復元継続如何の判断方法を説明する。
まず、シンボル決定/確率予測部500は、算術符号化されたスケーラブルビットストリームで復号化しようとするシンボルを探して決定し(ステップ700)、決定されたシンボルが発生する確率を予測する(ステップ710)。
決定されたシンボルが発生する確率の予測は、次のように行われる。
まず、復号化するビットストリームのヘッダ情報からデコーディングモードを探す。ここで、デコーディングモードがCBACモードである場合、復号化しようとするシンボルの文脈を参照して当該シンボルが発生する確率を得る。
また、デコーディングモードがBPGCモードである場合、復号化するデータがラプラシアン分布を有すると仮定して復号化しようとするシンボルが発生する確率を得る。
また、デコーディングモードが低エネルギーモードである場合、ビットストリームのヘッダの確率モデル情報を利用して復号化しようとするシンボルが発生する確率を得る。
シンボル復号化部520は、ステップ710で予測された確率と、復号化しようとするシンボルとを利用してシンボルを算術復号化して、シンボルを生成する(ステップ720)。続いて、アンビギュイティチェック部540は、復号化継続如何判断部600によって、前記した式(1)及び式(2)の右辺値をKとするとき、Kを計算し、もし、Kが0と2dummy−1との間であると判断すれば(ステップ730:はい)、復号化中断部640によって、アンビギュイティが発生したと決定して算術復号化を中断する(ステップ740)。
アンビギュイティチェック部540は、復号化継続如何判断部600によって、Kが0以下であると判断すれば(ステップ750:はい)、追加復号化部620によって、シンボルSymを0に復号化する(ステップ760)。また、アンビギュイティチェック部540は、復号化継続如何判断部600によって、Kが2dummy−1以上であると判断すれば(ステップ750:いいえ)、シンボルSymを1に復号化する(ステップ770)。
図8は、図7に示したスケーラブルビットストリームの復元継続如何の判断方法を適用してさらにシンボルのサンプルを復号化した例を示す図である。図8では、本実施形態の算術復号化方法によれば、既存の方法に比べて6個多いサンプルが復号化されることが分かる。
MPEG−4スケーラブル無損失復号化では、ビットプレーン上の値のうち最初に0でないサンプルが復号化された後、それに該当する符号ビットを算術復号化する。しかし、もし、符号値(SIGN)でアンビギュイティが発生したと決定されて復号化を終了すれば、直前に復号化された0でないサンプルの符号が分からない。かかる理由により、符号値(SIGN)で復号化が終了された場合、直前に復号化されたサンプルを0にセッティングして復号化を終了する。図9は、符号ビットでアンビギュイティが発生する場合、それを処理する例を示す図である。
一方、本実施形態によるBPGC、CBAC及び低エネルギーモードに対する各算術復号化の擬似コードは、後記する表1及び表2に示す通りである。ここで、主要な関数を説明する。なお、表2は、表1の続きである。
ambiguity_check(f) 関数は、算術復号化におけるアンビギュイティ検出関数である。ここで、fの論理値(argument f)は、1の確率を表す。
terminate_decoding( )関数は、アンビギュイティが発生した場合のLLE(lossless enhancement layer)データの復号化を終了する関数である。
smart_decoding_cbac_bpgc( )関数は、CBACモード/BPGCモードで入力されるビットがない場合、付加的なシンボルを復号化する関数である。本実施形態では、この関数による復号化は、アンビギュイティが存在しなくなるまで続く。この関数は、ambiguity_check(f)関数と、terminate_decoding( )関数とを含む。
smart_decoding_low_energy( )関数は、低エネルギーモードで入力されるビットがない場合、付加的なシンボルを復号化する関数である。この関数も、ambiguity_check(f)関数と、terminate_decoding( )関数とを含む。
Figure 0005314170
Figure 0005314170

本実施形態による切断されたSLS(Scalable Lossless Coding:スケーラブル無損失符号化方式)ビットストリームの算術復号化は、与えられたターゲットビットレート(ビット率)に対応する中間層を復号化する効率的な方法を提供する。これは、たとえ復号化バッファに入るビットがないとしても、復号化バッファ内には、依然として有意の情報を含んでいるという事実に基づく。この復号化過程は、シンボルにアンビギュイティが存在しなくなるまで続く。
後記する表3に示す擬似コードは、算術復号化モジュールでアンビギュイティを検出するアルゴリズムを表す。また、変数num_dummy_bitsは、切断によりvalueバッファに入らないビット数を表す。
Figure 0005314170

後記する表4及び表5に示す擬似コードでは、smart_decoding_cbac_bpgc()関数またはsmart_decoding_low_energy()関数の演算は、変数num_dummy_bitsが0より大きいときに行われる。ここで、表5は表4の続きを示す。
符号ビットエラーを防止するために、現在のスペクトルラインのスペクトル値は、符号ビットを復号化する間にアンビギュイティが発生する場合に0に設定される。
本実施形態に係る算術復号化過程では、あらゆるインデックス変数は、以前の算術復号化過程から行われる。
Figure 0005314170

Figure 0005314170

一方、リパージングによる切断されたビットストリームの生成方式は、ヘッダにビットストリームのサイズが伝送される場合、次のような過程でリパージングしてビットストリームの切断を行う。
図10は、本実施形態に係るスケーラブルオーディオデータのビットストリームの切断方法を示すフローチャートである。図10を参照して、スケーラブルオーディオデータのビットストリームの切断方法を説明する。
まず、ビットストリームのヘッダ情報からビットストリームの長さを解釈する(ステップ1000)。次いで、ビットストリームを読み取る(ステップ1010)。式(3)を利用して、ターゲットビットレートに該当するバイトを計算する(ステップ1020)。このターゲットビットレートは、式(4)で示され、サーバまたはユーザなど外部から与えられうる。
target_bytes=(target_bits+7)/8 …式(3)
target_bits=(int)(target_bitrate/2*1024*osf/sampling_rate+0.5)-16…式(4)
そして、求められたターゲットバイト(target_bytes)でビットストリームの長さを修正する。すなわち、ビットストリームの長さは、実際のビット数と、計算されたtarget_bytesとのうち小さい方の値として修正する(ステップ1030)。そして、ターゲット長ほどビットストリームを保存及び伝送する(ステップ1040)。つまり、長さが修正されたビットストリームを保存及び伝送する。
ビットストリームをリパージングしてビットストリームを切断する方法をさらに詳細に説明すれば、次の通りである。SLSビットストリームは、単純な方法で与えられたターゲットビットレートで切断されうる。lle_ics_lengthの値に対する修正は、切断点前のビットストリームには、LLE復号化結果に影響を与えない。lle_ics_lengthは、LLE復号化手順から独立的である。ビットストリームの切断は、次のように行われうる。
まず、ビットストリームからlle_ics_lengthを読み取る。そして、LLEビットストリームを読み取る。そして、与えられたターゲットビットレートで有効なフレーム長を計算する。有効なフレーム長を計算する最も単純な方法を示す擬似コードは、次の通りである。
target_bits=(int)(target_bitrate/2.*1024.*osf/sampling_rate+0.5)-16
target_bytes=(target_bits+7)/8
ここで、変数target_bitrateは、bit/sec単位を有するターゲットビットレートである。また、変数osfは、オーバーサンプリングファクタを表す。また、変数sampling_rateは、入力オーディオ信号のHz単位のサンプリング周波数を表す。
有効なフレーム長と現在のフレーム長とのうち小さい方の値を取ってlle_ics_lengthを更新する。このことを示す擬似コードは、以下の通りである。
lle_ics_length=min(lle_ics_length,target_bytes)
このようにして、更新されたlle_ics_lengthを有する切断されたビットストリームを生成する。
本発明は、コンピュータで読み取り可能な記録媒体にコンピュータ(情報処理機能を有する装置をいずれも含む)で読み取られるコード(プログラム)として具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ROM(Read Only Memory)、RAM(Random Access Memory)、CD−ROM、磁気テープ、フレキシブルディスク、光データ保存装置などがある。
本発明は、図面に示した実施形態を参考にして説明されたが、これは、例示的なものに過ぎず、当業者であれば、これから多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められねばならない。
本発明は、オーディオデータの復号化関連の技術分野に適用可能である。
500 シンボル決定/確率予測部
520 シンボル復号化部
540 アンビギュイティチェック部
600 復号化継続如何判断部
620 追加復号化部
640 復号化中断部

Claims (3)

  1. スケーラブル算術符号化されたシンボルを復号化するスケーラブルデータの算術復号化方法において、
    (a)復号化しようとする前記シンボルと当該シンボルが発生する確率とを利用して当該シンボルを算術復号化するステップと、
    (b)切断されたビットストリームに対して、切断ポイント直後算術復号化のための仮想のデータと所定の検出関数を用いて、前記シンボルの復号化完了如何を示すアンビギュイティをチェックし、チェック結果によって復号化継続如何を決定するステップと、を含
    ことを特徴とするスケーラブルデータの算術復号化方法。
  2. 前記(a)ステップは、BPGC(Bit-Plane Golomb Code)、CBAC(Context Based Arithmetic Code)あるいはLEMC(Low Energy Mode Code)を含むデコーディングモードのうち一つのデコーディングモードによって行われる、
    請求項1に記載のスケーラブルデータの算術復号化方法
  3. 前記(b)ステップは、
    (b1)以下の式(1)及び式(2)の右辺値をKとするとき、前記Kを計算してKによって前記シンボルの復号化継続如何を判断するステップと、
    Figure 0005314170
    Figure 0005314170
    前記v1は、拡張性のためにビットストリームを切断する場合、残っている有効なビットストリームの値、前記v2は、切断後に除去されたビットストリームの値、前記freqは、前記シンボルが発生する確率値、前記high及びlowは、前記シンボルが発生する確率値の存在する範囲の上限及び下限をそれぞれ表し
    (b2)前記Kが2 dummy −1以上であれば、シンボルを1に復号化し、前記Kが0以下であればシンボルを0に復号化するステップと、
    (b3)前記Kが0と2 dummy −1との間にあれば、アンビギュイティが発生したと決定して復号化を中断するステップと、を含む、
    ことを特徴とするスケーラブルデータの算術復号化方法。
JP2012085947A 2005-01-12 2012-04-04 スケーラブルデータの算術復号化方法 Expired - Fee Related JP5314170B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US64311805P 2005-01-12 2005-01-12
US60/643,118 2005-01-12
US67064305P 2005-04-13 2005-04-13
US60/670,643 2005-04-13
US67336305P 2005-04-21 2005-04-21
US60/673,363 2005-04-21
KR1020050110878A KR100829558B1 (ko) 2005-01-12 2005-11-18 스케일러블 오디오 데이터 산술 복호화 방법 및 장치와스케일러블 오디오 비트스트림 절단 방법
KR10-2005-0110878 2005-11-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006005171A Division JP5313433B2 (ja) 2005-01-12 2006-01-12 スケーラブルデータの算術復号化方法及び装置、スケーラブルデータのビットストリームの切断方法、スケーラブルオーディオデータの算術復号化方法、及びスケーラブルオーディオデータのビットストリームの切断方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2012198542A JP2012198542A (ja) 2012-10-18
JP5314170B2 true JP5314170B2 (ja) 2013-10-16

Family

ID=37173110

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006005171A Expired - Fee Related JP5313433B2 (ja) 2005-01-12 2006-01-12 スケーラブルデータの算術復号化方法及び装置、スケーラブルデータのビットストリームの切断方法、スケーラブルオーディオデータの算術復号化方法、及びスケーラブルオーディオデータのビットストリームの切断方法、並びに記録媒体
JP2012085947A Expired - Fee Related JP5314170B2 (ja) 2005-01-12 2012-04-04 スケーラブルデータの算術復号化方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2006005171A Expired - Fee Related JP5313433B2 (ja) 2005-01-12 2006-01-12 スケーラブルデータの算術復号化方法及び装置、スケーラブルデータのビットストリームの切断方法、スケーラブルオーディオデータの算術復号化方法、及びスケーラブルオーディオデータのビットストリームの切断方法、並びに記録媒体

Country Status (8)

Country Link
US (2) US7330139B2 (ja)
EP (1) EP1681671B1 (ja)
JP (2) JP5313433B2 (ja)
KR (3) KR100829558B1 (ja)
CN (1) CN101673546B (ja)
AT (1) ATE412236T1 (ja)
DE (1) DE602006003233D1 (ja)
WO (1) WO2006075877A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100829558B1 (ko) * 2005-01-12 2008-05-14 삼성전자주식회사 스케일러블 오디오 데이터 산술 복호화 방법 및 장치와스케일러블 오디오 비트스트림 절단 방법
WO2011048099A1 (en) 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using a region-dependent arithmetic coding mapping rule
BR122021008583B1 (pt) 2010-01-12 2022-03-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, método de codificação e informação de áudio, e método de decodificação de uma informação de áudio que utiliza uma tabela hash que descreve tanto valores de estado significativos como limites de intervalo
WO2012114711A1 (ja) * 2011-02-23 2012-08-30 パナソニック株式会社 画像符号化方法および画像復号方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3027089B2 (ja) 1993-08-06 2000-03-27 三菱電機株式会社 符号化方式及び復号方式及び符号化復号方法
KR100261253B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
JP2001501421A (ja) * 1997-06-04 2001-01-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ nレベル情報信号のデータ圧縮及び伸長
KR100335609B1 (ko) 1997-11-20 2002-10-04 삼성전자 주식회사 비트율조절이가능한오디오부호화/복호화방법및장치
KR100622590B1 (ko) * 1998-03-16 2006-09-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 다중 채널 정보신호의 연산 인코딩/디코딩
ES2273474T3 (es) * 1998-03-19 2007-05-01 Koninklijke Philips Electronics N.V. Codificacion/decodificacion aritmetica de una señal de informacion digital.
US6115689A (en) 1998-05-27 2000-09-05 Microsoft Corporation Scalable audio coder and decoder
US6108622A (en) * 1998-06-26 2000-08-22 Lsi Logic Corporation Arithmetic logic unit controller for linear PCM scaling and decimation in an audio decoder
JP3745160B2 (ja) * 1999-04-12 2006-02-15 三菱電機株式会社 符号化装置、復号化装置、符号化方法並びに復号化方法
CN1364341A (zh) * 2000-03-07 2002-08-14 皇家菲利浦电子有限公司 算术编码信息信号的算术译码
JP2002118846A (ja) * 2000-10-05 2002-04-19 Matsushita Electric Ind Co Ltd 画像符号化装置
KR100742341B1 (ko) * 2000-11-10 2007-07-25 삼성전자주식회사 프레임 길이를 모르는 데이터를 디코딩하기 위한 장치 및 그 제어 방법
CN1615590A (zh) * 2002-01-23 2005-05-11 皇家飞利浦电子股份有限公司 数字信息信号的数据压缩和扩展
JP3575466B2 (ja) * 2002-02-21 2004-10-13 ソニー株式会社 エントロピ符号化/復号装置
US7110941B2 (en) * 2002-03-28 2006-09-19 Microsoft Corporation System and method for embedded audio coding with implicit auditory masking
JP3807342B2 (ja) * 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
KR100908116B1 (ko) * 2002-12-12 2009-07-16 삼성전자주식회사 비트율 조절가능한 오디오 부호화 방법, 복호화 방법,부호화 장치 및 복호화 장치
JP4241227B2 (ja) 2003-07-09 2009-03-18 セイコーエプソン株式会社 データ送信装置およびデータ受信装置、データ送信方法およびデータ受信方法、データ通信システム
CN100566178C (zh) * 2003-10-29 2009-12-02 日本电气株式会社 二进制算术码解码器和编码器,算术码解码器和编码器及其方法
KR100829558B1 (ko) * 2005-01-12 2008-05-14 삼성전자주식회사 스케일러블 오디오 데이터 산술 복호화 방법 및 장치와스케일러블 오디오 비트스트림 절단 방법
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
CN100584025C (zh) * 2005-08-04 2010-01-20 华为技术有限公司 一种基于内容自适应的算术解码系统及装置
KR20070038699A (ko) * 2005-10-06 2007-04-11 삼성전자주식회사 스케일러블 오디오 데이터 산술복호화 방법 및 장치

Also Published As

Publication number Publication date
KR101336245B1 (ko) 2013-12-05
CN101673546A (zh) 2010-03-17
JP5313433B2 (ja) 2013-10-09
JP2006195468A (ja) 2006-07-27
US20080122668A1 (en) 2008-05-29
ATE412236T1 (de) 2008-11-15
KR100829558B1 (ko) 2008-05-14
KR20100084492A (ko) 2010-07-26
JP2012198542A (ja) 2012-10-18
KR20110061528A (ko) 2011-06-09
EP1681671A2 (en) 2006-07-19
EP1681671A3 (en) 2006-12-13
DE602006003233D1 (de) 2008-12-04
KR20060082390A (ko) 2006-07-18
WO2006075877A1 (en) 2006-07-20
US7330139B2 (en) 2008-02-12
CN101673546B (zh) 2014-12-17
KR101330209B1 (ko) 2013-11-18
US20060284748A1 (en) 2006-12-21
US7825834B2 (en) 2010-11-02
EP1681671B1 (en) 2008-10-22

Similar Documents

Publication Publication Date Title
CN108880556B (zh) 基于lz77的无损数据压缩方法、误码修复方法及编码器和解码器
KR100946057B1 (ko) 데이터 프레임에 코딩된 부가 데이터의 존재 결정
TWI764409B (zh) 使用在先譜係數以算術解碼和編碼現時譜係數之方法及裝置
JP5314170B2 (ja) スケーラブルデータの算術復号化方法
RU2367087C2 (ru) Кодирование информации без потерь с гарантированной максимальной битовой скоростью
KR20120096541A (ko) 디지털 신호의 압축 또는 압축해제를 위한 방법, 시스템 및 장치
US7426462B2 (en) Fast codebook selection method in audio encoding
US9716515B2 (en) Method for detecting end of record in variable length coded bit stream
KR101001746B1 (ko) 스케일러블 오디오 데이터 산술 복호화 방법 및 장치
KR101001745B1 (ko) 스케일러블 BSAC(Bit Sliced Arithmetic Coding) 오디오 데이터 산술복호화 방법 및 장치
KR20070038699A (ko) 스케일러블 오디오 데이터 산술복호화 방법 및 장치
JP2006211243A (ja) ディジタル信号符号化装置,ディジタル信号符号化方法
CN100568741C (zh) 算术解码方法和设备及截去音频数据比特流的方法和设备
JP6509916B2 (ja) 連結されたrom−ramテーブルに基づいて算術コーディングを遂行する方法及び装置
JP2004184568A (ja) デジタルデータ圧縮符号化装置,デジタルデータ圧縮符号化方法
KR20030054146A (ko) 저전력 가변장 부호화 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130318

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5314170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees