JP5027966B2 - 入力信号をボコーディングする方法および装置およびそのためのコンピュータ読み出し可能信号を有する媒体を含む製造物品 - Google Patents
入力信号をボコーディングする方法および装置およびそのためのコンピュータ読み出し可能信号を有する媒体を含む製造物品 Download PDFInfo
- Publication number
- JP5027966B2 JP5027966B2 JP2001239069A JP2001239069A JP5027966B2 JP 5027966 B2 JP5027966 B2 JP 5027966B2 JP 2001239069 A JP2001239069 A JP 2001239069A JP 2001239069 A JP2001239069 A JP 2001239069A JP 5027966 B2 JP5027966 B2 JP 5027966B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pulse
- track
- pulse position
- computer readable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000004519 manufacturing process Methods 0.000 title 1
- 230000005284 excitation Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 3
- 238000004891 communication Methods 0.000 description 22
- 239000011295 pitch Substances 0.000 description 17
- 230000003044 adaptive effect Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 13
- 230000007774 longterm Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声圧縮に係り、特に、ＣＥＬＰ（code excited linear prediction）ボコーディングに関する。
【０００２】
【従来の技術】
音声エンコーダ／デコーダ（ボコーダ）は、通信チャネルにおいて必要とされる伝送帯域幅を減少させるために、スピーチ信号を圧縮する。通話あたりに必要とされる伝送帯域幅を低減することにより、同じ通信チャネルを介する通話の数を増大させることが可能である。ＬＰＣ（linear predictive coding）技法のような初期のスピーチコーディング技法は、信号の冗長性を除去するためにフィルタを使用し、スピーチ信号を圧縮する。ＬＰＣフィルタは、人間の音声をモデル化することを試みるスペクトル包絡線を再生する。また、ＬＰＣフィルタは、無音声音についての雑音のような入力を受信する一方で、鼻音および母音に対する準周期的入力を受信することにより励起される。
【０００３】
ＣＥＬＰ（code excited linear prediction）ボコーダとして知られるクラスのボコーダが存在する。ＣＥＬＰボコーディングは、主として、４−８ｋｂｐｓにおいて、他の３２ｋｂｐｓスピーチコーディング技法に匹敵するスピーチ品質を達成しうるスピーチデータ圧縮技法である。ＣＥＬＰボコーダは、以前のＬＰＣ技法に対して２つの改善を有する。第１に、ＣＥＬＰボコーダは、ピッチプレディクタ(pitch predictor)を使用してピッチ情報を抽出することにより、より音声の詳細を捉えることを試みる。第２に、ＣＥＬＰボコーダは、実際のスピーチ波形から作られた残留信号から得られた雑音のような信号でＬＰＣフィルタを励起する。
【０００４】
ＣＥＬＰボコーダは、３つのメインコンポーネント、１）短時間予測フィルタ(short term predictive filter)、２）ピッチプレディクターまたは適応形コードブックとしても知られている長時間予測フィルタ（long term predictive filter）、および３）固定コードブックを含む。圧縮は、元のスピーチ信号を表すために使用されるビット数よりも少ない所定数のビットを各コンポーネントに割り当てることによりなされる。第１のコンポーネントは、スピーチ信号中の短時間冗長性を除去するために、線形予測を使用する。短時間プレディクターから生じる誤差、または残留信号は、長時間プレディクターに対するターゲット信号となる。
【０００５】
発声されたスピーチは、準周期的性質を有し、長時間プレディクタは、残差からピッチピリオドを抽出し、以前のピリオドから予測されうる情報を除去する。長時間および短時間予測フィルタの後、得られる残留信号は、ほとんど雑音のような信号である。アナリシス・バイ・シンセサイズ（analysis-by-synthesis ）を使用して、固定コードサーチは、そのベクトルのライブラリーからのエントリーと雑音のような残差を置き換えるために、最適な一致を見出す。最適一致ベクトルを表すコードが、雑音の多い残差の代わりに送信される。代数的ＣＥＬＰ（ＡＣＥＬＰ）ボコーダにおいて、固定コードブックは、数個の非ゼロパルスからなり、パルスのロケーションおよび符号（例えば、＋１または−１）により表現される。
【０００６】
典型的な構成において、ＣＥＬＰボコーダは、到来スピーチ信号を複数のフレームにブロック化、即ち分割し、短時間プレディクタのＬＰＣ係数をフレーム毎に一度更新する。ＬＰＣ残差は、長時間プレディクタおよび固定コードブックサーチのためにサブフレームに分割される。例えば、入力スピーチは、短時間プレディクタのために、１６０サンプルフレームにブロック化され得る。そして、得られるフレームは、５３個のサンプル、５３個のサンプル、および５４個のサンプルのサブフレームに分解され得る。各サブフレームは、長時間プレディクタおよび固定コードブックサーチにより処理される。
【０００７】
図１において、スピーチ信号１００のシングルフレームの一例が示されている。スピーチ信号１００は、異なるピッチの発声信号および非発声信号からなる。発声信号１００は、ＬＰＣフィルタを有するＣＥＬＰボコーダにより受信される。ＣＥＬＰボコーダの第１のステップは、スピーチ信号中の短時間冗長性を除去することである。短時間冗長性を除去した得られる信号は、図２の残留スピーチ信号２００である。
【０００８】
ＬＰＣフィルタは、全ての冗長性情報を除去することができず、フィルタされたスピーチ信号２００中の残った準周期的ピークおよび谷は、ピッチパルスと呼ばれる。そして、短時間予測フィルタが、スピーチ信号２００に適用されて、図３の短時間フィルタされた信号３００となる。長時間予測フィルタは、図３の残留スピーチ信号３００から準周期的ピッチパルスを除去して、図４の雑音に近い信号４００とし、これは、固定コードブックサーチのためのターゲット信号となる。図４は、３個のサブフレーム３５４，３５６，３５８に分割された固定コードブックターゲット信号３５０の１６０サンプルフレームのプロットである。そして、コード値は、通信ネットワークを送信される。
【０００９】
図５において、サブフレーム中にパルスの位置をマップするルックアップテーブル４７０が示されている。サブフレーム内のパルスは、ルックアップテーブル内で、１６個の可能性のある位置４０２のうちの１つにあるように制約される。各トラック４０４は１６個の可能のある位置４０２を有するので、各パルスロケーションを同定するために、４ビットのみが必要とされる。各パルスマッピングは、個々のトラック４０４において生じる。したがって、２つのトラック４０６，４０８が、サブフレームからの２つの信号パルスのパルス位置のマッピングを可能にする。
【００１０】
この例において、図４のサブフレーム３５４は、励起において５３個のサンプルのみを有し、位置０−５２のみを有効位置とする。図５のトラック４０６，４０８が分割されるので、元の励起の長さを超える位置が、各トラック中に存在する。トラック１中の位置５６および６０、およびトラック２中の位置５７および６１は、無効であり、不使用である。図４の最初の２個のパルス３１０，３１２のロケーションは、サンプル１３およびサンプル１７に対応する。
【００１１】
図５のテーブル４００を使用することにより、サンプル１３が、最初のトラック４０６中の位置３ ４１０にあることが決定される。第２のパルスは、サンプル１７中にあり、位置４ ４１２において第２のトラック４０８中にある。したがって、パルスは、それぞれ４ビットとして表現されかつ送信され得る。コードブックは、２個のトラックのみを有するので、図４の他のパルス３１４、サブフレーム３５４中の３１６，３１８，３２０および３２２は無視される。
【００１２】
パルス位置は、トラック中の絶対的パルス位置により制約される。不都合なことに、ＣＥＬＰボコーダは、パルスをトラック中の隣接位置に置く傾向にある。パルスをトラック中の隣接位置に置くことにより、発音のよりバランスしたエンコーディングではなくスピーチ音の開始がエンコードされる。また、ボコーダに対するビットレートが減少し、かつより少ないパルスが使用されるので、音声品質は、パルスのトラック中への非効率的な配置により悪影響を受ける。
【００１３】
【発明が解決しようとする課題】
パルスが隣接トラック位置に配置される可能性を低減する方法が必要とされている。
【００１４】
【課題を解決するための手段】
第１のトラック中の信号パルスの位置に対して、第２のトラック中の信号パルスの配置を実行することにより、絶対的トラック位置配置の非効率さが除去される。信号パルスのエンコーディングの間に、Ｎ＋１個のトラック中のＮ＋１個の信号パルスの相対配置を実行することで、デコードされた信号の信号品質が増大する。増大した信号品質は、トラック中にパルスをより正確に配置することにより、かつトラック内の信号パルス位置の隣接配置の発生を低減することにより、達成される。
【００１５】
【発明の実施の形態】
図６において、相対的にパルス位置が制約された２トラックコードブックテーブルが示されている。テーブル５００は、各トラックに対して１６個の可能性のある信号パルス位置５０６を同定する２個のパルス位置トラック５０２，５０４（共通的に“トラック”と呼ぶ）を含む。トラック１ ５０２およびトラック２５０４中の固定コードブックエントリーゼロないし１３ ５０８が、可能性のある有効パルス位置である。
【００１６】
コードブック中のパルステーブル位置１４ ５１０および１５ ５１２は、両方のトラックにおいて不使用である。また、第１のトラック中の可能性ある第１のパルス位置は、４により分割可能なパルス位置（即ち、０，４，８，…，５２）にあるように制約される。第２のトラック中の第２のパルス位置は、第１のトラック中の第１の信号パルスのインデックス位置５０６に関連している。
【００１７】
隣接トラック位置における信号パルスをエンコードするのではなく、第２の信号パルスの相対的ポジショニングが起きる。トラック中でエンコードされる隣接信号パルスをより少なくすることにより、信号パルスが、ボコーダによりデコードされる信号の音声品質を改善するバーストエネルギの再生をよりよく可能にする。単一信号パルスが、この実施形態において、２個のトラック５０２および５０４の各々においてエンコードされる。第１のトラック中の第１の信号パルスに関連して第２のトラック中の第２の信号パルスを配置することにより、デコードされた発声の品質が増大する。代替的な実施形態において、コードブックテーブルは、２個より多いトラックを含み、トラック中の追加的信号パルスが、以前の信号パルスの以前のトラック位置に関連する。
【００１８】
この実施形態において、第２のトラック中の第２の信号パルスの相対的ロケーションは、第１のトラック中の第１の信号パルスに関連する。代替的な実施形態において、第２のトラック中の第２の信号パルスの相対位置は、第１のシングルパルスサンプル位置に関連する。さらに別の実施形態において、第２のトラック中の信号パルス位置は、逐次的でない順序（即ち、１，−１，７，−７，２，−２，６，−６，３，−３，５，−５，４，−４）でグループ化され得る。
【００１９】
図７において、送信機デバイス６０２および受信機デバイス６０４を有する通信システム６０５が示されている。送信機および受信機通信デバイス６０２，６０４が、通信パス６０６により一緒に結合されている。通信パス６０６は、選択的に、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、ＡＴＭネットワーク、または公衆電話網のようなワイヤベースドネットワーク、またはセルラ、マイクロウェーブまたはサテライトネットワークのようなワイヤレスネットワークであり得る。通信パス６０６の主要な要求条件は、送信機６０２と受信機６０４との間でデジタルデータを転送する能力である。
【００２０】
各デバイス６０２，６０４は、対応する信号入力／出力ユニット６０８，６１０を有する。ユニット６０８，６１０は、送信機デバイス６０２および受信機デバイス６０４へ／からアナログ音声信号を転送する電話デバイスとして示されている。信号入力／出力ユニット６０８は、２ワイヤ通信パス６１２により送信機デバイス６０２に結合されている。同様に、他の信号入力／出力ユニット６１０は、別の２ワイヤ通信パス６１４を介して受信機デバイス６０４に結合されている。代替的な実施形態において、信号入力ユニットは、送信および受信通信デバイスに内蔵されている（即ち、送信および受信デバイスに組み込まれたスピーカおよびマイクロホン）か、またはワイヤレス通信パスを介して通信する（即ち、コードレス電話機）。
【００２１】
送信機デバイス６０２は、２ワイヤ通信パス６１２に結合されたアナログ信号ポート６１６、ＣＥＬＰボコーダ６１８、およびコントローラ６２０を含む。コントローラ６２０は、アナログ信号ポート６１６、ボコーダ６１８、およびネットワークインターフェース６２２に結合されている。また、ネットワークインターフェース６２２は、ボコーダ６１８、コントローラ６２０、通信パス６０６に結合されている。
【００２２】
同様に、受信機デバイス６０４は、別のコントローラ６２６に結合された別のネットワークインターフェース６２４、通信パス６０４、および別のボコーダ６２８を有する。他のコントローラ６２６が、他のボコーダ６２８、他のネットワークインターフェース６２４、別のアナログ信号ポート６３０に結合されている。また、他のアナログ信号ポート６３０が、他の２ワイヤ通信パス６１４に結合されている。
【００２３】
音声信号は、アナログポート６１６において、信号入力デバイス６０８から受信される。コントローラ６２０は、送信機デバイス６０２のための制御およびタイミング信号を提供し、アナログポート１６１が受信された信号をボコーダ６１８へ信号圧縮のために転送することを可能にする。ボコーダ６１８は、受信された信号を圧縮するために、図６に示されたデータ構造を備えた固定コードブックを有する。図６のデータ構造５００は、フィルタされた信号からの第１の信号パルスを、第１のトラック内のパルス位置に関連づける。また、第２の信号パルスは、第２のパルス位置に関連づけられ、第１のトラック中の第１の信号パルスの第１のパルス位置に関連して決定される。
【００２４】
第２のパルス位置を第１のパルス位置に関連して割り当てることにより、トラック中で２つの信号パルスは隣接して割当てられることが防止される。第１の信号パルスは、エンコードされて、第１のトラック５０２中のパルス位置に割り当てられ、第２のトラック５０４中の第２の信号パルスのパルス位置が、第１のトラック５０２に関連してエンコードされる。第２のパルス位置の相関的エンコーディングは、圧縮された信号が、第１のパルス位置が第２のパルス位置に隣接しないというより高い可能性を有する結果となる。そして、圧縮された信号は、図７のボコーダ６１８から、ネットワークインターフェース６２２へ送られる。ネットワークインターフェース６２２は、圧縮された信号を、通信パス６０６を介して受信機デバイス６０４へ送信する。
【００２５】
受信機デバイス６０４中に配置された他のネットワークインターフェース６２４は、圧縮信号を受信する。受信機コントローラ６２６は、受信された圧縮信号が受信機ボコーダ６２８に転送されることを可能にする。受信機ボコーダ６２８は、図６のルックアップテーブル５００を使用することにより、圧縮信号をデコードする。図７のボコーダ６２８は、図６のルックアップテーブル５００を使用して、受信された圧縮信号からアナログ信号を再生成する。ルックアップテーブルは、固定コードブックコントレビューションを再生成し、そして、長時間および短時間プレディクターによりフィルタされる。アナログ信号は、図７の受信機アナログ信号ポート６３０を介して、受信機信号入力／出力デバイス６１０へ送られる。
【００２６】
図８において、送信機６０２によりアナログスピーチ信号の信号処理が示されている。プリプロセッサ７１０は、アナログ信号を受信するための入力を有し、ＬＰフィルタ７１４および信号コンバイナ７１２に結合されている。信号コンバイナ７１２は、プリプロセッサ７１０および合成フィルタ７１６からの信号を結合する。信号コンバイナ７１２の出力は、知覚的重み付けプロセッサ７１８に結合されている。合成フィルタ７１６は、ＬＰ分析フィルタ７１４、信号コンバイナ７１２、別の信号コンバイナ７２０、適応形コードブック７３２、およびピッチアナライザ７２２に結合されている。
【００２７】
ピッチアナライザ７２２は、知覚的重み付けプロセッサ７１８、固定コードブックサーチ７３４、適応形コードブック７３２、合成フィルタ７１６、他の信号コンバイナ７２０、およびパラメータエンコーダ７２４に結合されている。パラメータエンコーダ７２４は、送信機７２８、固定コードブックサーチ７３４、固定コードブック７３０、ＬＰフィルタ７１４、およびピッチアナライザ７２２に結合されている。
【００２８】
アナログ信号が、図７のアナログデバイス６０８からプリプロセッサ７１０において受信される。図８のプリプロセッサ７１０は、信号を処理し、利得および他の信号特性を調節する。そして、プリプロセッサ７１０からの信号は、ＬＰ分析フィルタ７１４および信号コンバイナ７１２の両方に経路選択される。ＬＰ分析フィルタ７１４により生成される係数情報は、合成フィルタ７１６、知覚的重み付けプロセッサ７１８、およびパラメータエンコーダ７２４に送られる。合成フィルタ７１６は、ＬＰフィルタ７１４からのＬＰ係数情報および他の信号コンバイナ７２０からの信号を受信する。
【００２９】
スピーチの粗い短時間スペクトル形状をモデル化する合成フィルタ７１６は、信号コンバイナ７１２によりプリプロセッサ７１０の出力と結合される信号を生成する。信号コンバイナ７１２から得られる信号は、知覚的重み付けプロセッサ７１８によりフィルタされる。知覚的重み付けプロセッサ７１８は、ＬＰフィルタ７１４からのＬＰ係数情報も受信する。知覚的重み付けプロセッサ７１８は、コーディング歪みが、高いスピーチエネルギを含む周波数において信号スペクトルを増幅し、より低いスピーチエネルギを含む周波数を減衰させることにより有効に「マスクされる」ポストフィルタである。
【００３０】
知覚的重み付けプロセッサ７１８の出力は、固定コードブックサーチ７３４およびピッチアナライザ７２２に送られる。固定コードブックサーチ７３４は、パラメータエンコーダ７２４および固定コードブック７３０に送られるコード値を生成する。固定コードブックサーチ７３４は、固定コードブック７３４と分離して示されているが、代替的に、固定コードブック７３０に含めることができ、別個に構成される必要はない。また、固定コードブックサーチは、図６のルックアップテーブル５００のデータ構造へのアクセスを有し、第１のパルス位置に関連する第２のパルス位置の決定は、エンコードされるべきより正確なパルス信号情報を可能にし、コードブックエンコーディング隣接パルスの発生を減少させる。
【００３１】
図８のピッチアナライザ７２２は、パラメータエンコーダ７２４および適応形コードブック７３２へ送られるピッチデータを生成する。適応形コードブック７３２は、ピッチアナライザ７２２からのピッチデータおよび信号コンバイナ７２０からのフィードバック信号を受信し、スピーチ信号の長時間（即ち、周期的）成分をモデル化する。適応形コードブック信号の出力は、信号コンバイナ７２０により、固定コードブック７３０の出力と結合される。
【００３２】
固定コードブック７３０は、固定コードブックサーチ７３４により生成されたコード値を受信し、信号を再生成する。生成された信号は、信号コンバイナ７２０により適応形コードブック７３２からの信号と結合される。得られる結合信号は、スピーチ信号の短時間スペクトル形状をモデル化するために、合成フィルタ７１６により使用され、適応形コードブック７３２へフィードバックされる。
【００３３】
パラメータエンコーダは、固定コードブックサーチ７３４、ピッチアナライザ７２２、およびＬＰフィルタ７１４からのパラメータを受信する。受信されたパラメータを使用するパラメータエンコーダは、圧縮信号を生成する。そして、圧縮信号は、ネットワークを介して送信機７２８により送信される。
【００３４】
上記システムの代替的な実施形態において、ボコーダのエンコーダおよびデコーダ部は、デジタルアンサリングマシンのような同じデバイス中に存在する。そのような実施形態における通信パスは、圧縮信号がメモリに記憶されかつこれから検索されることを可能にするデータバスである。
【００３５】
図９において、本発明の一実施形態によるＣＥＬＰボコーダを有する受信機デバイスの図が示されている。受信機デバイス６０４は、受信機８０２に結合されたネットワークインターフェース６６１を有する。固定コードブック８０４は、受信機８０２およびゲインファクタ“ｃ”８１２に結合されている。信号コンバイナ８０６は、合成フィルタ８０８、ゲインファクタ“ｐ”８１１およびゲインファクタ“ｃ”８１２に結合されている。適応形コードブック８１０は、ゲインファクタ“ｐ”８１１および信号コンバイナ８０６の出力に結合されている。合成フィルタ８０８は、信号コンバイナ８０６および知覚的ポストフィルタ８１４の出力に接続されている。知覚的ポストフィルタは、他のアナログポート６３０および合成フィルタ８０８に結合されている。
【００３６】
圧縮信号は、ネットワークインタフェース６１６において、受信機デバイス６０４により受信される。受信機８０２は、ネットワークインターフェース６１６において受信された圧縮信号からデータをアンパック（unpack）する。データは、固定コードブックインデックス、固定コードブックゲイン、適応形コードブックインデックス、適応形コードブックゲインおよびＬＰ係数に対するインデックスからなる。固定コードブック８０４は、図６のルックアップテーブル５００のデータ構造を含む。
【００３７】
図９の固定コードブック８０４は、信号コンバイナ８０６により、適応形コードブック８１０およびゲインファクタ８１２からの信号と結合される信号を生成する。そして、信号コンバイナ８０６からの結合信号は、合成フィルタ８０８において受信され、適応形コードブック８１０にフィードバックされる。合成フィルタ８０８は、スピーチ信号を再生成するために結合信号を使用する。再生成されたスピーチ信号は、スピーチ信号を調節する知覚的ポストフィルタ８１４を通過させられる。そして、スピーチ信号は、アナログポート６３０により、同様のコードブックを有する受信機へ送られる。
【００３８】
図１０において、以前のパルス位置に関するＮ＋１トラック中のパルス位置を有するルックアップテーブルまたはコードブックを使用するボコーディングの方法のフローチャートが示されている。ステップ９０２において、入力信号（例えば、アナログ音声信号）が、図７の受信機デバイス６０４において受信される。入力信号は、図１０のステップ９０３において信号フレームに分割され、個別の信号部分が処理され得る。各信号フレームは、図１０のステップ９０４において、図８のフィルタ７１４により処理され、残留信号と呼ばれるフィルタされた入力信号となる。
【００３９】
フィルタされた残留信号は、図１０のステップ９０６において、長時間フィルタによりさらにフィルタされ、図８の適応形コードブック７３２は、信号パルスを有するフィルタされた入力信号から長時間信号冗長性を変換または除去する。図１０のステップ９０８において、固定コードブックインデックスは、第１のトラック内の第１の信号パルスのロケーションを同定する。図８の固定コードブック７３０は、図６のルックアップテーブル５００および第１のトラック中の第１のパルス位置への第２のトラック中の第２のパルス位置の相対マッピングを含む。ステップ９０９において、第２のパルス位置のオフセットは、第１のパルス位置に関して決定され、第２のパルスの配置をより正確にする。
【００４０】
ルックアップテーブル５００は、信号から残りのパルス信号を表すバイナリパターンを生成するために、図８の固定コードブック７３０により使用される。バイナリパターンは、図１０のステップ９１０において、パルス位置のインデックスを含む信号にエンコードされる。そして、エンコードされた信号は、ステップ９１２において、通信パスを介して送信される。
【００４１】
現在の技術水準は、ソフトウェアにより構成されたＣＥＬＰボコーダを作るために、汎用デジタルシグナルプロセッサを他の電子的要素と組み合わせることを可能にする。したがって、コンピュータで読み出し可能な信号を有する媒体は、コードブック中のパルス位置を制限するための更なる制約を有するボコーダを具現化するためのソフトウェアコードを含み得る。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、パルスが隣接トラック位置に配置される可能性を低減する方法を提供することができる。
【図面の簡単な説明】
【図１】スピーチ信号の信号フレームを示す図。
【図２】短時間周期フィルタされた単一スピーチフレームを示す図。
【図３】適応形コードブックフィルタされた単一スピーチフレームを示す図。
【図４】３個のサブフレームに分割された１６０サンプルスピーチフレームを構成する既知の方法を示す図。
【図５】１６個の可能性のあるパルス位置のうちの１つに制約される信号パルスを有する既知のＣＥＬＰボコーダコードブックルックアップテーブルを示す図。
【図６】本発明の一実施形態による相対的制約パルス位置を有するＣＥＬＰボコーダコードブックを示す図。
【図７】本発明の一実施形態によるＣＥＬＰボコーディングを使用する送信デバイスおよび受信デバイスを備えた通信システムを示す図。
【図８】本発明の一実施形態による音声信号をエンコードするＣＥＬＰボコーダを有する送信デバイスを示す図。
【図９】本発明の一実施形態によるＣＥＬＰボコーダを有する受信デバイスを示す図。
【図１０】本発明の一実施形態による音声信号をボコーディングする方法を示すフローチャート。
【符号の説明】
１００ スピーチ信号
２００ 残留スピーチ信号
３００ 短時間フィルタされた信号
３１０，３１２,３１４，３１６，３１８，３２０，３２２ パルス
３５０ 固定コードブックターゲット信号
３５４，３５６，３５８ サブフレーム
４００ 雑音に近い信号
４０４,４０６，４０８ トラック
４７０ ルックアップテーブル
５００ データ構造
６００ 通信システム
６０２ 送信機デバイス
６０４ 受信機デバイス
６０６，６１２，６１４ 通信パス
６０８ 信号入力ユニット
６１０ 信号出力ユニット
６１６，６３０ アナログ信号ポート
６１８ ＣＥＬＰボコーダ
６２０，６２６ コントローラ
６２２，６２４ ネットワークインターフェース
６２８ ボコーダ
７１０ プロセッサ
７１２ 信号コンバイナ
７１４ ＬＰフィルタ
７１６ 合成フィルタ
７１８, ８０８ 知覚的重み付けプロセッサ
７２０，８０６ 信号コンバイナ
７２２ ピッチアナライザ
７２４ パラメータエンコーダ
７２８ 送信機
７３１ ゲインファクタ“Ｃ”
７３３ ゲインファクタ“Ｐ”
７３２，８１０ 適応形コードブック
７３４ 固定コードブックサーチ
８０２ 受信機
８０４ 固定コードブック
８１４ 知覚的ポストフィルタ
【発明の属する技術分野】
本発明は、音声圧縮に係り、特に、ＣＥＬＰ（code excited linear prediction）ボコーディングに関する。
【０００２】
【従来の技術】
音声エンコーダ／デコーダ（ボコーダ）は、通信チャネルにおいて必要とされる伝送帯域幅を減少させるために、スピーチ信号を圧縮する。通話あたりに必要とされる伝送帯域幅を低減することにより、同じ通信チャネルを介する通話の数を増大させることが可能である。ＬＰＣ（linear predictive coding）技法のような初期のスピーチコーディング技法は、信号の冗長性を除去するためにフィルタを使用し、スピーチ信号を圧縮する。ＬＰＣフィルタは、人間の音声をモデル化することを試みるスペクトル包絡線を再生する。また、ＬＰＣフィルタは、無音声音についての雑音のような入力を受信する一方で、鼻音および母音に対する準周期的入力を受信することにより励起される。
【０００３】
ＣＥＬＰ（code excited linear prediction）ボコーダとして知られるクラスのボコーダが存在する。ＣＥＬＰボコーディングは、主として、４−８ｋｂｐｓにおいて、他の３２ｋｂｐｓスピーチコーディング技法に匹敵するスピーチ品質を達成しうるスピーチデータ圧縮技法である。ＣＥＬＰボコーダは、以前のＬＰＣ技法に対して２つの改善を有する。第１に、ＣＥＬＰボコーダは、ピッチプレディクタ(pitch predictor)を使用してピッチ情報を抽出することにより、より音声の詳細を捉えることを試みる。第２に、ＣＥＬＰボコーダは、実際のスピーチ波形から作られた残留信号から得られた雑音のような信号でＬＰＣフィルタを励起する。
【０００４】
ＣＥＬＰボコーダは、３つのメインコンポーネント、１）短時間予測フィルタ(short term predictive filter)、２）ピッチプレディクターまたは適応形コードブックとしても知られている長時間予測フィルタ（long term predictive filter）、および３）固定コードブックを含む。圧縮は、元のスピーチ信号を表すために使用されるビット数よりも少ない所定数のビットを各コンポーネントに割り当てることによりなされる。第１のコンポーネントは、スピーチ信号中の短時間冗長性を除去するために、線形予測を使用する。短時間プレディクターから生じる誤差、または残留信号は、長時間プレディクターに対するターゲット信号となる。
【０００５】
発声されたスピーチは、準周期的性質を有し、長時間プレディクタは、残差からピッチピリオドを抽出し、以前のピリオドから予測されうる情報を除去する。長時間および短時間予測フィルタの後、得られる残留信号は、ほとんど雑音のような信号である。アナリシス・バイ・シンセサイズ（analysis-by-synthesis ）を使用して、固定コードサーチは、そのベクトルのライブラリーからのエントリーと雑音のような残差を置き換えるために、最適な一致を見出す。最適一致ベクトルを表すコードが、雑音の多い残差の代わりに送信される。代数的ＣＥＬＰ（ＡＣＥＬＰ）ボコーダにおいて、固定コードブックは、数個の非ゼロパルスからなり、パルスのロケーションおよび符号（例えば、＋１または−１）により表現される。
【０００６】
典型的な構成において、ＣＥＬＰボコーダは、到来スピーチ信号を複数のフレームにブロック化、即ち分割し、短時間プレディクタのＬＰＣ係数をフレーム毎に一度更新する。ＬＰＣ残差は、長時間プレディクタおよび固定コードブックサーチのためにサブフレームに分割される。例えば、入力スピーチは、短時間プレディクタのために、１６０サンプルフレームにブロック化され得る。そして、得られるフレームは、５３個のサンプル、５３個のサンプル、および５４個のサンプルのサブフレームに分解され得る。各サブフレームは、長時間プレディクタおよび固定コードブックサーチにより処理される。
【０００７】
図１において、スピーチ信号１００のシングルフレームの一例が示されている。スピーチ信号１００は、異なるピッチの発声信号および非発声信号からなる。発声信号１００は、ＬＰＣフィルタを有するＣＥＬＰボコーダにより受信される。ＣＥＬＰボコーダの第１のステップは、スピーチ信号中の短時間冗長性を除去することである。短時間冗長性を除去した得られる信号は、図２の残留スピーチ信号２００である。
【０００８】
ＬＰＣフィルタは、全ての冗長性情報を除去することができず、フィルタされたスピーチ信号２００中の残った準周期的ピークおよび谷は、ピッチパルスと呼ばれる。そして、短時間予測フィルタが、スピーチ信号２００に適用されて、図３の短時間フィルタされた信号３００となる。長時間予測フィルタは、図３の残留スピーチ信号３００から準周期的ピッチパルスを除去して、図４の雑音に近い信号４００とし、これは、固定コードブックサーチのためのターゲット信号となる。図４は、３個のサブフレーム３５４，３５６，３５８に分割された固定コードブックターゲット信号３５０の１６０サンプルフレームのプロットである。そして、コード値は、通信ネットワークを送信される。
【０００９】
図５において、サブフレーム中にパルスの位置をマップするルックアップテーブル４７０が示されている。サブフレーム内のパルスは、ルックアップテーブル内で、１６個の可能性のある位置４０２のうちの１つにあるように制約される。各トラック４０４は１６個の可能のある位置４０２を有するので、各パルスロケーションを同定するために、４ビットのみが必要とされる。各パルスマッピングは、個々のトラック４０４において生じる。したがって、２つのトラック４０６，４０８が、サブフレームからの２つの信号パルスのパルス位置のマッピングを可能にする。
【００１０】
この例において、図４のサブフレーム３５４は、励起において５３個のサンプルのみを有し、位置０−５２のみを有効位置とする。図５のトラック４０６，４０８が分割されるので、元の励起の長さを超える位置が、各トラック中に存在する。トラック１中の位置５６および６０、およびトラック２中の位置５７および６１は、無効であり、不使用である。図４の最初の２個のパルス３１０，３１２のロケーションは、サンプル１３およびサンプル１７に対応する。
【００１１】
図５のテーブル４００を使用することにより、サンプル１３が、最初のトラック４０６中の位置３ ４１０にあることが決定される。第２のパルスは、サンプル１７中にあり、位置４ ４１２において第２のトラック４０８中にある。したがって、パルスは、それぞれ４ビットとして表現されかつ送信され得る。コードブックは、２個のトラックのみを有するので、図４の他のパルス３１４、サブフレーム３５４中の３１６，３１８，３２０および３２２は無視される。
【００１２】
パルス位置は、トラック中の絶対的パルス位置により制約される。不都合なことに、ＣＥＬＰボコーダは、パルスをトラック中の隣接位置に置く傾向にある。パルスをトラック中の隣接位置に置くことにより、発音のよりバランスしたエンコーディングではなくスピーチ音の開始がエンコードされる。また、ボコーダに対するビットレートが減少し、かつより少ないパルスが使用されるので、音声品質は、パルスのトラック中への非効率的な配置により悪影響を受ける。
【００１３】
【発明が解決しようとする課題】
パルスが隣接トラック位置に配置される可能性を低減する方法が必要とされている。
【００１４】
【課題を解決するための手段】
第１のトラック中の信号パルスの位置に対して、第２のトラック中の信号パルスの配置を実行することにより、絶対的トラック位置配置の非効率さが除去される。信号パルスのエンコーディングの間に、Ｎ＋１個のトラック中のＮ＋１個の信号パルスの相対配置を実行することで、デコードされた信号の信号品質が増大する。増大した信号品質は、トラック中にパルスをより正確に配置することにより、かつトラック内の信号パルス位置の隣接配置の発生を低減することにより、達成される。
【００１５】
【発明の実施の形態】
図６において、相対的にパルス位置が制約された２トラックコードブックテーブルが示されている。テーブル５００は、各トラックに対して１６個の可能性のある信号パルス位置５０６を同定する２個のパルス位置トラック５０２，５０４（共通的に“トラック”と呼ぶ）を含む。トラック１ ５０２およびトラック２５０４中の固定コードブックエントリーゼロないし１３ ５０８が、可能性のある有効パルス位置である。
【００１６】
コードブック中のパルステーブル位置１４ ５１０および１５ ５１２は、両方のトラックにおいて不使用である。また、第１のトラック中の可能性ある第１のパルス位置は、４により分割可能なパルス位置（即ち、０，４，８，…，５２）にあるように制約される。第２のトラック中の第２のパルス位置は、第１のトラック中の第１の信号パルスのインデックス位置５０６に関連している。
【００１７】
隣接トラック位置における信号パルスをエンコードするのではなく、第２の信号パルスの相対的ポジショニングが起きる。トラック中でエンコードされる隣接信号パルスをより少なくすることにより、信号パルスが、ボコーダによりデコードされる信号の音声品質を改善するバーストエネルギの再生をよりよく可能にする。単一信号パルスが、この実施形態において、２個のトラック５０２および５０４の各々においてエンコードされる。第１のトラック中の第１の信号パルスに関連して第２のトラック中の第２の信号パルスを配置することにより、デコードされた発声の品質が増大する。代替的な実施形態において、コードブックテーブルは、２個より多いトラックを含み、トラック中の追加的信号パルスが、以前の信号パルスの以前のトラック位置に関連する。
【００１８】
この実施形態において、第２のトラック中の第２の信号パルスの相対的ロケーションは、第１のトラック中の第１の信号パルスに関連する。代替的な実施形態において、第２のトラック中の第２の信号パルスの相対位置は、第１のシングルパルスサンプル位置に関連する。さらに別の実施形態において、第２のトラック中の信号パルス位置は、逐次的でない順序（即ち、１，−１，７，−７，２，−２，６，−６，３，−３，５，−５，４，−４）でグループ化され得る。
【００１９】
図７において、送信機デバイス６０２および受信機デバイス６０４を有する通信システム６０５が示されている。送信機および受信機通信デバイス６０２，６０４が、通信パス６０６により一緒に結合されている。通信パス６０６は、選択的に、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、ＡＴＭネットワーク、または公衆電話網のようなワイヤベースドネットワーク、またはセルラ、マイクロウェーブまたはサテライトネットワークのようなワイヤレスネットワークであり得る。通信パス６０６の主要な要求条件は、送信機６０２と受信機６０４との間でデジタルデータを転送する能力である。
【００２０】
各デバイス６０２，６０４は、対応する信号入力／出力ユニット６０８，６１０を有する。ユニット６０８，６１０は、送信機デバイス６０２および受信機デバイス６０４へ／からアナログ音声信号を転送する電話デバイスとして示されている。信号入力／出力ユニット６０８は、２ワイヤ通信パス６１２により送信機デバイス６０２に結合されている。同様に、他の信号入力／出力ユニット６１０は、別の２ワイヤ通信パス６１４を介して受信機デバイス６０４に結合されている。代替的な実施形態において、信号入力ユニットは、送信および受信通信デバイスに内蔵されている（即ち、送信および受信デバイスに組み込まれたスピーカおよびマイクロホン）か、またはワイヤレス通信パスを介して通信する（即ち、コードレス電話機）。
【００２１】
送信機デバイス６０２は、２ワイヤ通信パス６１２に結合されたアナログ信号ポート６１６、ＣＥＬＰボコーダ６１８、およびコントローラ６２０を含む。コントローラ６２０は、アナログ信号ポート６１６、ボコーダ６１８、およびネットワークインターフェース６２２に結合されている。また、ネットワークインターフェース６２２は、ボコーダ６１８、コントローラ６２０、通信パス６０６に結合されている。
【００２２】
同様に、受信機デバイス６０４は、別のコントローラ６２６に結合された別のネットワークインターフェース６２４、通信パス６０４、および別のボコーダ６２８を有する。他のコントローラ６２６が、他のボコーダ６２８、他のネットワークインターフェース６２４、別のアナログ信号ポート６３０に結合されている。また、他のアナログ信号ポート６３０が、他の２ワイヤ通信パス６１４に結合されている。
【００２３】
音声信号は、アナログポート６１６において、信号入力デバイス６０８から受信される。コントローラ６２０は、送信機デバイス６０２のための制御およびタイミング信号を提供し、アナログポート１６１が受信された信号をボコーダ６１８へ信号圧縮のために転送することを可能にする。ボコーダ６１８は、受信された信号を圧縮するために、図６に示されたデータ構造を備えた固定コードブックを有する。図６のデータ構造５００は、フィルタされた信号からの第１の信号パルスを、第１のトラック内のパルス位置に関連づける。また、第２の信号パルスは、第２のパルス位置に関連づけられ、第１のトラック中の第１の信号パルスの第１のパルス位置に関連して決定される。
【００２４】
第２のパルス位置を第１のパルス位置に関連して割り当てることにより、トラック中で２つの信号パルスは隣接して割当てられることが防止される。第１の信号パルスは、エンコードされて、第１のトラック５０２中のパルス位置に割り当てられ、第２のトラック５０４中の第２の信号パルスのパルス位置が、第１のトラック５０２に関連してエンコードされる。第２のパルス位置の相関的エンコーディングは、圧縮された信号が、第１のパルス位置が第２のパルス位置に隣接しないというより高い可能性を有する結果となる。そして、圧縮された信号は、図７のボコーダ６１８から、ネットワークインターフェース６２２へ送られる。ネットワークインターフェース６２２は、圧縮された信号を、通信パス６０６を介して受信機デバイス６０４へ送信する。
【００２５】
受信機デバイス６０４中に配置された他のネットワークインターフェース６２４は、圧縮信号を受信する。受信機コントローラ６２６は、受信された圧縮信号が受信機ボコーダ６２８に転送されることを可能にする。受信機ボコーダ６２８は、図６のルックアップテーブル５００を使用することにより、圧縮信号をデコードする。図７のボコーダ６２８は、図６のルックアップテーブル５００を使用して、受信された圧縮信号からアナログ信号を再生成する。ルックアップテーブルは、固定コードブックコントレビューションを再生成し、そして、長時間および短時間プレディクターによりフィルタされる。アナログ信号は、図７の受信機アナログ信号ポート６３０を介して、受信機信号入力／出力デバイス６１０へ送られる。
【００２６】
図８において、送信機６０２によりアナログスピーチ信号の信号処理が示されている。プリプロセッサ７１０は、アナログ信号を受信するための入力を有し、ＬＰフィルタ７１４および信号コンバイナ７１２に結合されている。信号コンバイナ７１２は、プリプロセッサ７１０および合成フィルタ７１６からの信号を結合する。信号コンバイナ７１２の出力は、知覚的重み付けプロセッサ７１８に結合されている。合成フィルタ７１６は、ＬＰ分析フィルタ７１４、信号コンバイナ７１２、別の信号コンバイナ７２０、適応形コードブック７３２、およびピッチアナライザ７２２に結合されている。
【００２７】
ピッチアナライザ７２２は、知覚的重み付けプロセッサ７１８、固定コードブックサーチ７３４、適応形コードブック７３２、合成フィルタ７１６、他の信号コンバイナ７２０、およびパラメータエンコーダ７２４に結合されている。パラメータエンコーダ７２４は、送信機７２８、固定コードブックサーチ７３４、固定コードブック７３０、ＬＰフィルタ７１４、およびピッチアナライザ７２２に結合されている。
【００２８】
アナログ信号が、図７のアナログデバイス６０８からプリプロセッサ７１０において受信される。図８のプリプロセッサ７１０は、信号を処理し、利得および他の信号特性を調節する。そして、プリプロセッサ７１０からの信号は、ＬＰ分析フィルタ７１４および信号コンバイナ７１２の両方に経路選択される。ＬＰ分析フィルタ７１４により生成される係数情報は、合成フィルタ７１６、知覚的重み付けプロセッサ７１８、およびパラメータエンコーダ７２４に送られる。合成フィルタ７１６は、ＬＰフィルタ７１４からのＬＰ係数情報および他の信号コンバイナ７２０からの信号を受信する。
【００２９】
スピーチの粗い短時間スペクトル形状をモデル化する合成フィルタ７１６は、信号コンバイナ７１２によりプリプロセッサ７１０の出力と結合される信号を生成する。信号コンバイナ７１２から得られる信号は、知覚的重み付けプロセッサ７１８によりフィルタされる。知覚的重み付けプロセッサ７１８は、ＬＰフィルタ７１４からのＬＰ係数情報も受信する。知覚的重み付けプロセッサ７１８は、コーディング歪みが、高いスピーチエネルギを含む周波数において信号スペクトルを増幅し、より低いスピーチエネルギを含む周波数を減衰させることにより有効に「マスクされる」ポストフィルタである。
【００３０】
知覚的重み付けプロセッサ７１８の出力は、固定コードブックサーチ７３４およびピッチアナライザ７２２に送られる。固定コードブックサーチ７３４は、パラメータエンコーダ７２４および固定コードブック７３０に送られるコード値を生成する。固定コードブックサーチ７３４は、固定コードブック７３４と分離して示されているが、代替的に、固定コードブック７３０に含めることができ、別個に構成される必要はない。また、固定コードブックサーチは、図６のルックアップテーブル５００のデータ構造へのアクセスを有し、第１のパルス位置に関連する第２のパルス位置の決定は、エンコードされるべきより正確なパルス信号情報を可能にし、コードブックエンコーディング隣接パルスの発生を減少させる。
【００３１】
図８のピッチアナライザ７２２は、パラメータエンコーダ７２４および適応形コードブック７３２へ送られるピッチデータを生成する。適応形コードブック７３２は、ピッチアナライザ７２２からのピッチデータおよび信号コンバイナ７２０からのフィードバック信号を受信し、スピーチ信号の長時間（即ち、周期的）成分をモデル化する。適応形コードブック信号の出力は、信号コンバイナ７２０により、固定コードブック７３０の出力と結合される。
【００３２】
固定コードブック７３０は、固定コードブックサーチ７３４により生成されたコード値を受信し、信号を再生成する。生成された信号は、信号コンバイナ７２０により適応形コードブック７３２からの信号と結合される。得られる結合信号は、スピーチ信号の短時間スペクトル形状をモデル化するために、合成フィルタ７１６により使用され、適応形コードブック７３２へフィードバックされる。
【００３３】
パラメータエンコーダは、固定コードブックサーチ７３４、ピッチアナライザ７２２、およびＬＰフィルタ７１４からのパラメータを受信する。受信されたパラメータを使用するパラメータエンコーダは、圧縮信号を生成する。そして、圧縮信号は、ネットワークを介して送信機７２８により送信される。
【００３４】
上記システムの代替的な実施形態において、ボコーダのエンコーダおよびデコーダ部は、デジタルアンサリングマシンのような同じデバイス中に存在する。そのような実施形態における通信パスは、圧縮信号がメモリに記憶されかつこれから検索されることを可能にするデータバスである。
【００３５】
図９において、本発明の一実施形態によるＣＥＬＰボコーダを有する受信機デバイスの図が示されている。受信機デバイス６０４は、受信機８０２に結合されたネットワークインターフェース６６１を有する。固定コードブック８０４は、受信機８０２およびゲインファクタ“ｃ”８１２に結合されている。信号コンバイナ８０６は、合成フィルタ８０８、ゲインファクタ“ｐ”８１１およびゲインファクタ“ｃ”８１２に結合されている。適応形コードブック８１０は、ゲインファクタ“ｐ”８１１および信号コンバイナ８０６の出力に結合されている。合成フィルタ８０８は、信号コンバイナ８０６および知覚的ポストフィルタ８１４の出力に接続されている。知覚的ポストフィルタは、他のアナログポート６３０および合成フィルタ８０８に結合されている。
【００３６】
圧縮信号は、ネットワークインタフェース６１６において、受信機デバイス６０４により受信される。受信機８０２は、ネットワークインターフェース６１６において受信された圧縮信号からデータをアンパック（unpack）する。データは、固定コードブックインデックス、固定コードブックゲイン、適応形コードブックインデックス、適応形コードブックゲインおよびＬＰ係数に対するインデックスからなる。固定コードブック８０４は、図６のルックアップテーブル５００のデータ構造を含む。
【００３７】
図９の固定コードブック８０４は、信号コンバイナ８０６により、適応形コードブック８１０およびゲインファクタ８１２からの信号と結合される信号を生成する。そして、信号コンバイナ８０６からの結合信号は、合成フィルタ８０８において受信され、適応形コードブック８１０にフィードバックされる。合成フィルタ８０８は、スピーチ信号を再生成するために結合信号を使用する。再生成されたスピーチ信号は、スピーチ信号を調節する知覚的ポストフィルタ８１４を通過させられる。そして、スピーチ信号は、アナログポート６３０により、同様のコードブックを有する受信機へ送られる。
【００３８】
図１０において、以前のパルス位置に関するＮ＋１トラック中のパルス位置を有するルックアップテーブルまたはコードブックを使用するボコーディングの方法のフローチャートが示されている。ステップ９０２において、入力信号（例えば、アナログ音声信号）が、図７の受信機デバイス６０４において受信される。入力信号は、図１０のステップ９０３において信号フレームに分割され、個別の信号部分が処理され得る。各信号フレームは、図１０のステップ９０４において、図８のフィルタ７１４により処理され、残留信号と呼ばれるフィルタされた入力信号となる。
【００３９】
フィルタされた残留信号は、図１０のステップ９０６において、長時間フィルタによりさらにフィルタされ、図８の適応形コードブック７３２は、信号パルスを有するフィルタされた入力信号から長時間信号冗長性を変換または除去する。図１０のステップ９０８において、固定コードブックインデックスは、第１のトラック内の第１の信号パルスのロケーションを同定する。図８の固定コードブック７３０は、図６のルックアップテーブル５００および第１のトラック中の第１のパルス位置への第２のトラック中の第２のパルス位置の相対マッピングを含む。ステップ９０９において、第２のパルス位置のオフセットは、第１のパルス位置に関して決定され、第２のパルスの配置をより正確にする。
【００４０】
ルックアップテーブル５００は、信号から残りのパルス信号を表すバイナリパターンを生成するために、図８の固定コードブック７３０により使用される。バイナリパターンは、図１０のステップ９１０において、パルス位置のインデックスを含む信号にエンコードされる。そして、エンコードされた信号は、ステップ９１２において、通信パスを介して送信される。
【００４１】
現在の技術水準は、ソフトウェアにより構成されたＣＥＬＰボコーダを作るために、汎用デジタルシグナルプロセッサを他の電子的要素と組み合わせることを可能にする。したがって、コンピュータで読み出し可能な信号を有する媒体は、コードブック中のパルス位置を制限するための更なる制約を有するボコーダを具現化するためのソフトウェアコードを含み得る。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、パルスが隣接トラック位置に配置される可能性を低減する方法を提供することができる。
【図面の簡単な説明】
【図１】スピーチ信号の信号フレームを示す図。
【図２】短時間周期フィルタされた単一スピーチフレームを示す図。
【図３】適応形コードブックフィルタされた単一スピーチフレームを示す図。
【図４】３個のサブフレームに分割された１６０サンプルスピーチフレームを構成する既知の方法を示す図。
【図５】１６個の可能性のあるパルス位置のうちの１つに制約される信号パルスを有する既知のＣＥＬＰボコーダコードブックルックアップテーブルを示す図。
【図６】本発明の一実施形態による相対的制約パルス位置を有するＣＥＬＰボコーダコードブックを示す図。
【図７】本発明の一実施形態によるＣＥＬＰボコーディングを使用する送信デバイスおよび受信デバイスを備えた通信システムを示す図。
【図８】本発明の一実施形態による音声信号をエンコードするＣＥＬＰボコーダを有する送信デバイスを示す図。
【図９】本発明の一実施形態によるＣＥＬＰボコーダを有する受信デバイスを示す図。
【図１０】本発明の一実施形態による音声信号をボコーディングする方法を示すフローチャート。
【符号の説明】
１００ スピーチ信号
２００ 残留スピーチ信号
３００ 短時間フィルタされた信号
３１０，３１２,３１４，３１６，３１８，３２０，３２２ パルス
３５０ 固定コードブックターゲット信号
３５４，３５６，３５８ サブフレーム
４００ 雑音に近い信号
４０４,４０６，４０８ トラック
４７０ ルックアップテーブル
５００ データ構造
６００ 通信システム
６０２ 送信機デバイス
６０４ 受信機デバイス
６０６，６１２，６１４ 通信パス
６０８ 信号入力ユニット
６１０ 信号出力ユニット
６１６，６３０ アナログ信号ポート
６１８ ＣＥＬＰボコーダ
６２０，６２６ コントローラ
６２２，６２４ ネットワークインターフェース
６２８ ボコーダ
７１０ プロセッサ
７１２ 信号コンバイナ
７１４ ＬＰフィルタ
７１６ 合成フィルタ
７１８, ８０８ 知覚的重み付けプロセッサ
７２０，８０６ 信号コンバイナ
７２２ ピッチアナライザ
７２４ パラメータエンコーダ
７２８ 送信機
７３１ ゲインファクタ“Ｃ”
７３３ ゲインファクタ“Ｐ”
７３２，８１０ 適応形コードブック
７３４ 固定コードブックサーチ
８０２ 受信機
８０４ 固定コードブック
８１４ 知覚的ポストフィルタ
Claims (18)
- 入力信号をボコーディングする方法であって、
前記入力信号をフィルタリングして、第１の信号パルスおよび第２の信号パルスを有する信号を得るための、フィルタリングするステップと、
前記第１の信号パルスを、ルックアップテーブルの第１のトラック内の第１のパルス位置からアクセスされた励起パラメータと関連づけることにより、前記第１の信号パルスをエンコードするステップとを含み、前記第１のパルス位置は前記第１のトラック内のパルス位置の所定のセットのうちの１つであり、前記方法がさらに、
前記ルックアップテーブルの第２のトラック内の第１のパルス位置の関数として、第２の信号パルスを、第２のパルス位置からアクセスされた励起パラメータに割当てるステップを含み、前記第２のトラック内の前記第２のパルス位置は前記第１のトラック内の前記第１のパルス位置とは非隣接関係にある、方法。 - 前記フィルタリングするステップが、前記信号を線形予測フィルタで処理するステップをさらに含む、請求項１に記載の方法。
- 前記信号を複数の信号フレームに分割するステップをさらに含む、請求項１に記載の方法。
- 前記分割するステップが、アナログ信号を受信するステップとさらに含む、請求項３に記載の方法。
- 前記分割するステップが、デジタル信号を受信するステップをさらに含む、請求項３に記載の方法。
- 前記割当てるステップが、前記第１の信号パルスから前記第２の信号パルスのオフセットを同定するステップをさらに含む、請求項１に記載の方法。
- 前記同定するステップが、前記第２の信号パルス位置から前記第１の信号パルス位置のオフセットを計算するステップをさらに含む、請求項６に記載の方法。
- 入力信号をボコーディングする装置であって、
入力信号の受信に応答して、少なくとも第１の信号パルスおよび第２の信号パルスを有する信号を生成する線形予測フィルタと、
複数のトラック位置を有するルックアップテーブルを有するプロセッサとを備え、前記第１の信号パルスが第１の複数のトラック位置の第１のトラック位置に割り当てられ、第１のパルス位置は前記第１のトラック内のパルス位置の所定のセットのうちの１つであり、複数の励起パラメータになる前記第１の信号パルスの第１のトラック位置の関数として、前記第２の信号パルスが、第２の複数のパルス位置の第２のトラック位置に割り当てられ、そして、前記第２のトラック内の前記第２のパルス位置は前記第１のトラック内の前記第１のパルス位置とは非隣接関係にあり、前記装置はさらに、
前記プロセッサからの前記複数の励起パラメータの受信に応答して、送信信号において前記複数の励起パラメータを送信する送信機を備える、装置。 - 入力ポートの入力ポート受信に応答して、入力信号を入力信号フレームに分割するためのメモリバッファを有する入力ポートをさらに含む、請求項８に記載の装置。
- 前記プロセッサは、前記信号中の前記第１の信号パルスから前記第２の信号パルスのオフセットを決定する、請求項８に記載の装置。
- 前記プロセッサは、前記第１のトラック位置から前記第２の信号パルスのオフセットを決定する、請求項８に記載の装置。
- 前記入力信号がアナログ信号である、請求項８に記載の装置。
- 前記入力信号がデジタル信号である、請求項８に記載の装置。
- 信号をボコーディングする方法を実行するためのコンピュータ読取可能プログラムコードを有するコンピュータ読取可能信号担持媒体であって、
前記コンピュータ読取可能信号担持媒体の有する前記コンピュータ読取可能プログラムコードは、
入力信号の受信に応答して、少なくとも第１の信号パルスおよび第２の信号パルスを有する信号を生成する線形予測フィルタによって、該入力信号をフィルタリングして、該第１の信号パルスと該第２の信号パルスとを有する信号を得るステップと、
複数のトラック位置を有するルックアップテーブルを有するプロセッサによって、前記第１の信号パルスを該ルックアップテーブルの第１のトラック内の第１のパルス位置に関連づけることにより、前記第１の信号パルスをエンコードするステップと、さらに、
前記プロセッサによって、前記ルックアップテーブルの第２のトラック内の第１のパルス位置の関数として、前記第２の信号パルスを第２のパルス位置に割り当てるステップと、を有し、
前記第１のパルス位置は前記第１のトラック内のパルス位置の所定のセットのうちの１つであり、
前記第２のトラック内の前記第２のパルス位置は前記第１のトラック内の前記第１のパルス位置とは非隣接関係にある、コンピュータ読取可能信号担持媒体。 - 前記コンピュータ読取可能プログラムコードは、前記プロセッサによって、前記第１の信号パルスから前記第２の信号パルスのオフセットを同定するための第２のコンピュータ読取可能プログラムコードを有する、請求項１４に記載のコンピュータ読取可能信号担持媒体。
- 前記第２のコンピュータ読取可能プログラムコードは、前記プロセッサによって、第２のパルス位置から前記第１のパルス位置のオフセットを計算するためのコンピュータ読取可能プログラムコードをさらに有する、請求項１５に記載のコンピュータ読取可能信号担持媒体。
- 前記第１のトラックの前記第１のパルス位置は、４により分割可能な前記第１のトラックのパルス位置にあるように制約される、請求項１に記載の方法。
- 前記第１のトラックの前記第１のパルス位置は、４により分割可能な前記第１のトラックのパルス位置にあるように制約される、請求項８に記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/633,465 US6728669B1 (en) | 2000-08-07 | 2000-08-07 | Relative pulse position in celp vocoding |
| US09/633465 | 2000-08-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002108400A JP2002108400A (ja) | 2002-04-10 |
| JP5027966B2 true JP5027966B2 (ja) | 2012-09-19 |
Family
ID=24539732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001239069A Expired - Fee Related JP5027966B2 (ja) | 2000-08-07 | 2001-08-07 | 入力信号をボコーディングする方法および装置およびそのためのコンピュータ読み出し可能信号を有する媒体を含む製造物品 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US6728669B1 (ja) |
| EP (1) | EP1184842B1 (ja) |
| JP (1) | JP5027966B2 (ja) |
| KR (1) | KR20020012509A (ja) |
| CN (1) | CN1200404C (ja) |
| BR (1) | BR0106825A (ja) |
| CA (1) | CA2350353A1 (ja) |
| DE (1) | DE60101827T2 (ja) |
| TW (1) | TW521265B (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6980948B2 (en) * | 2000-09-15 | 2005-12-27 | Mindspeed Technologies, Inc. | System of dynamic pulse position tracks for pulse-like excitation in speech coding |
| US6847929B2 (en) * | 2000-10-12 | 2005-01-25 | Texas Instruments Incorporated | Algebraic codebook system and method |
| KR100503414B1 (ko) * | 2002-11-14 | 2005-07-22 | 한국전자통신연구원 | 고정 코드북의 집중 검색 방법 및 장치 |
| US20040208169A1 (en) * | 2003-04-18 | 2004-10-21 | Reznik Yuriy A. | Digital audio signal compression method and apparatus |
| US7742926B2 (en) | 2003-04-18 | 2010-06-22 | Realnetworks, Inc. | Digital audio signal compression method and apparatus |
| ES2291939T3 (es) * | 2003-09-29 | 2008-03-01 | Koninklijke Philips Electronics N.V. | Codificacion de señales de audio. |
| US8502706B2 (en) * | 2003-12-18 | 2013-08-06 | Intel Corporation | Bit allocation for encoding track information |
| KR100723400B1 (ko) | 2004-05-12 | 2007-05-30 | 삼성전자주식회사 | 복수의 룩업테이블을 이용한 디지털 신호 부호화 방법 및장치 |
| SG123639A1 (en) * | 2004-12-31 | 2006-07-26 | St Microelectronics Asia | A system and method for supporting dual speech codecs |
| US7224295B2 (en) * | 2005-07-11 | 2007-05-29 | Mediatek Inc. | System and method for modulation and demodulation using code subset conversion |
| KR100900438B1 (ko) * | 2006-04-25 | 2009-06-01 | 삼성전자주식회사 | 음성 패킷 복구 장치 및 방법 |
| US8688437B2 (en) | 2006-12-26 | 2014-04-01 | Huawei Technologies Co., Ltd. | Packet loss concealment for speech coding |
| CN101286321B (zh) * | 2006-12-26 | 2013-01-09 | 华为技术有限公司 | 双脉冲激励的线性测编码 |
| CN102623012B (zh) | 2011-01-26 | 2014-08-20 | 华为技术有限公司 | 矢量联合编解码方法及编解码器 |
| JP5981909B2 (ja) * | 2011-06-15 | 2016-08-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | パルス位置探索装置、符号帳探索装置、及びこれらの方法 |
| WO2013002696A1 (en) | 2011-06-30 | 2013-01-03 | Telefonaktiebolaget Lm Ericsson (Publ) | Transform audio codec and methods for encoding and decoding a time segment of an audio signal |
| CN103946918B (zh) * | 2011-09-28 | 2017-03-08 | Lg电子株式会社 | 语音信号编码方法、语音信号解码方法及使用其的装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4625286A (en) * | 1982-05-03 | 1986-11-25 | Texas Instruments Incorporated | Time encoding of LPC roots |
| NL8500843A (nl) | 1985-03-22 | 1986-10-16 | Koninkl Philips Electronics Nv | Multipuls-excitatie lineair-predictieve spraakcoder. |
| US5754976A (en) | 1990-02-23 | 1998-05-19 | Universite De Sherbrooke | Algebraic codebook with signal-selected pulse amplitude/position combinations for fast coding of speech |
| DE69232202T2 (de) * | 1991-06-11 | 2002-07-25 | Qualcomm, Inc. | Vocoder mit veraendlicher bitrate |
| US5704003A (en) * | 1995-09-19 | 1997-12-30 | Lucent Technologies Inc. | RCELP coder |
| JP4063911B2 (ja) * | 1996-02-21 | 2008-03-19 | 松下電器産業株式会社 | 音声符号化装置 |
| US5708757A (en) * | 1996-04-22 | 1998-01-13 | France Telecom | Method of determining parameters of a pitch synthesis filter in a speech coder, and speech coder implementing such method |
| US5924062A (en) * | 1997-07-01 | 1999-07-13 | Nokia Mobile Phones | ACLEP codec with modified autocorrelation matrix storage and search |
| WO1999010719A1 (en) * | 1997-08-29 | 1999-03-04 | The Regents Of The University Of California | Method and apparatus for hybrid coding of speech at 4kbps |
| US5963897A (en) | 1998-02-27 | 1999-10-05 | Lernout & Hauspie Speech Products N.V. | Apparatus and method for hybrid excited linear prediction speech encoding |
| US6094629A (en) * | 1998-07-13 | 2000-07-25 | Lockheed Martin Corp. | Speech coding system and method including spectral quantizer |
| US6138092A (en) * | 1998-07-13 | 2000-10-24 | Lockheed Martin Corporation | CELP speech synthesizer with epoch-adaptive harmonic generator for pitch harmonics below voicing cutoff frequency |
| US6067511A (en) * | 1998-07-13 | 2000-05-23 | Lockheed Martin Corp. | LPC speech synthesis using harmonic excitation generator with phase modulator for voiced speech |
| US6119082A (en) * | 1998-07-13 | 2000-09-12 | Lockheed Martin Corporation | Speech coding system and method including harmonic generator having an adaptive phase off-setter |
| JP4308345B2 (ja) * | 1998-08-21 | 2009-08-05 | パナソニック株式会社 | マルチモード音声符号化装置及び復号化装置 |
| US6240386B1 (en) * | 1998-08-24 | 2001-05-29 | Conexant Systems, Inc. | Speech codec employing noise classification for noise compensation |
| US6311154B1 (en) * | 1998-12-30 | 2001-10-30 | Nokia Mobile Phones Limited | Adaptive windows for analysis-by-synthesis CELP-type speech coding |
| US6539349B1 (en) * | 2000-02-15 | 2003-03-25 | Lucent Technologies Inc. | Constraining pulse positions in CELP vocoding |
-
2000
- 2000-08-07 US US09/633,465 patent/US6728669B1/en not_active Expired - Lifetime
-
2001
- 2001-06-13 CA CA002350353A patent/CA2350353A1/en not_active Abandoned
- 2001-07-02 EP EP01305719A patent/EP1184842B1/en not_active Expired - Lifetime
- 2001-07-02 DE DE60101827T patent/DE60101827T2/de not_active Expired - Lifetime
- 2001-07-31 BR BR0106825-3A patent/BR0106825A/pt not_active Application Discontinuation
- 2001-08-02 TW TW090118919A patent/TW521265B/zh active
- 2001-08-06 KR KR1020010047214A patent/KR20020012509A/ko not_active Application Discontinuation
- 2001-08-06 CN CNB011245921A patent/CN1200404C/zh not_active Expired - Fee Related
- 2001-08-07 JP JP2001239069A patent/JP5027966B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1337671A (zh) | 2002-02-27 |
| DE60101827T2 (de) | 2004-12-02 |
| US6728669B1 (en) | 2004-04-27 |
| EP1184842A3 (en) | 2002-05-15 |
| JP2002108400A (ja) | 2002-04-10 |
| DE60101827D1 (de) | 2004-02-26 |
| BR0106825A (pt) | 2002-06-04 |
| EP1184842A2 (en) | 2002-03-06 |
| CN1200404C (zh) | 2005-05-04 |
| EP1184842B1 (en) | 2004-01-21 |
| TW521265B (en) | 2003-02-21 |
| CA2350353A1 (en) | 2002-02-07 |
| KR20020012509A (ko) | 2002-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5027966B2 (ja) | 入力信号をボコーディングする方法および装置およびそのためのコンピュータ読み出し可能信号を有する媒体を含む製造物品 | |
| JP4213243B2 (ja) | 音声符号化方法及び該方法を実施する装置 | |
| JP3566652B2 (ja) | 広帯域信号の効率的な符号化のための聴覚重み付け装置および方法 | |
| US5778335A (en) | Method and apparatus for efficient multiband celp wideband speech and music coding and decoding | |
| KR100487943B1 (ko) | 음성 코딩 | |
| JP5232151B2 (ja) | パケットベースのエコー除去および抑制 | |
| KR20020093940A (ko) | 가변율 음성 코더에서 프레임 삭제를 보상하는 방법 | |
| EP1281172A2 (en) | Method and apparatus for compression of speech encoded parameters | |
| JPH0962299A (ja) | コード励振線形予測符号化装置 | |
| JP2009541797A (ja) | 種々の音声フレーム・レートの混合励振線形予測（ｍｅｌｐ）ボコーダ間でトランスコーディングするボコーダ及び関連した方法 | |
| FI118704B (fi) | Menetelmä ja laite lähdekoodauksen tekemiseksi | |
| EP2945158B1 (en) | Method and arrangement for smoothing of stationary background noise | |
| JP3357795B2 (ja) | 音声符号化方法および装置 | |
| JP3964144B2 (ja) | 入力信号をボコーディングする方法と装置 | |
| JP3063668B2 (ja) | 音声符号化装置及び復号装置 | |
| EP1048024A1 (en) | Method for speech coding under background noise conditions | |
| JP2000209663A (ja) | 音声チャネル上で非音声情報を送信する方法 | |
| JP2003522964A (ja) | 背景ノイズが共存する符号化音声の品質を向上させるためのシステムおよび方法 | |
| JP2018511086A (ja) | オーディオ信号を符号化するためのオーディオエンコーダー及び方法 | |
| US6385574B1 (en) | Reusing invalid pulse positions in CELP vocoding | |
| JP4373693B2 (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
| JP3350340B2 (ja) | 音声符号化方法および音声復号化方法 | |
| JPH08160996A (ja) | 音声符号化装置 | |
| JP2817196B2 (ja) | 音声符号化方式 | |
| JP2000101683A (ja) | 音声通信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110622 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110922 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110928 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111021 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111122 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120528 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120625 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5027966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |