JP4229586B2 - エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 - Google Patents
エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 Download PDFInfo
- Publication number
- JP4229586B2 JP4229586B2 JP2000517559A JP2000517559A JP4229586B2 JP 4229586 B2 JP4229586 B2 JP 4229586B2 JP 2000517559 A JP2000517559 A JP 2000517559A JP 2000517559 A JP2000517559 A JP 2000517559A JP 4229586 B2 JP4229586 B2 JP 4229586B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- gain
- audio
- signal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000001629 suppression Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000005236 sound signal Effects 0.000 claims abstract description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 75
- 230000004044 response Effects 0.000 claims description 65
- 230000015572 biosynthetic process Effects 0.000 claims description 53
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000012986 modification Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims 4
- 238000003672 processing method Methods 0.000 claims 1
- OVOUKWFJRHALDD-UHFFFAOYSA-N 2-[2-(2-acetyloxyethoxy)ethoxy]ethyl acetate Chemical compound CC(=O)OCCOCCOCCOC(C)=O OVOUKWFJRHALDD-UHFFFAOYSA-N 0.000 abstract description 11
- 230000003595 spectral effect Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 description 55
- 239000000203 mixture Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000001228 spectrum Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 10
- 238000009499 grossing Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013211 curve analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/035—Scalar quantisation
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/038—Cross-faders therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
- H04B1/667—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Stereophonic System (AREA)
- Control Of Amplification And Gain Control (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、オーディオ信号処理に関し、そこではオーディオ情報の流れが情報フレームの形で配列される。特に、本発明は、フレーム基礎付けられたオーディオ情報流れをスプライスする（継ぐ）ことによって形成されるオーディオ情報流のオーディオ品質を改良することに関する。
【０００２】
【背景技術】
オーディオ又はビデオ資料を編集する工程は、本質的に資料の２つの区分を共に継ぐか若しくは接合するものである。簡単な編集範例は、映画フィルムを切断して継ぐことである。継ぐべき資料の２つの区分は、異なった源、例えば、オーディオ情報の異なったチャンネル又はそれらは同一源から生じるかも知れない。いずれの場合でも、概してスプライスはオーディオ又はビデオ資料に切れ目を生じ、それは知覚可能か若しくは知覚不能である。
【０００３】
オーディオ符号化
ブロック処理
デジタルオーディオが益々用いられることで、アーティファクトを生じることなくオーディオ資料を編集することを一層困難にさせる傾向になっている。これが生じた一部の理由は、ブロックとして処理されなければならないデジタルサンプルブロックの形でデジタルオーディオがしばしば処理又は符号化されるためである。多くの知覚又は心理音響に基礎付けられたオーディオ符号化システムはフィルタバンク又は変換を利用し、信号サンプルブロックを符号化されたサブバンド信号サンプルのブロックに変換するか若しくは原信号のレプリカを復元するためにブロックとして合成フィルター又は逆変換されなければならない係数を変換するようにしている。最低でも、処理されたオーディオ信号の編集はブロック境界でなされなければならず、さもなければ、残余の区分的ブロックによって表されるオーディオ情報は適切に復元され得ない。
【０００４】
残りの本論議全体を通して「コーディング（符号化）」及び「コーダ（符号発生装置）」のような用語は、信号処理のための各種の方法及び装置を指し、「エンコーデッド（符号化された）」のような他の用語は、そのような処理の結果を指す。これらの用語は、情報無関係性又は信号冗長性を低減させるもののような特殊な処理の形を意味しない。例えば、コーディングは、信号を表すパルスコード変調（PCM）を発生させること及びある明細により情報をパターン又はフォーマットに配列することを含む。本開示で用いられるような「ブロック」及び「フレーム」の用語は、情報のグループ又は区間を指し、それは、時にはAES-3/EBUデジタルオーディオ標準として知られる、ANSI S4.40-1992標準のような、他のものを指す同一用語とは異なり得る。ここで用いられる「フィルター」及び「フィルタバンク」のような用語は、直角位相鏡フィルター（QMF）及び変換のようなあらゆる形の再帰的及び非再帰的フィルターを本質的に含む。「フィルターされた」情報は、そのようなフィルターを用いた結果である。より特殊の言及は変換によって実施されるフィルタバンクについてなされる。
【０００５】
プログラム資料を処理かつ符号化するために重複するブロック構造を用いる符号化システムによって、編集には追加の制限が課される。符号化されたブロックの重複特性のために、たとえ符号化されたサンプル又は係数の完全なブロックからであっても原信号は適切に復元され得ない。
【０００６】
この制限は、一般に用いられる重複・ブロック変換、即ち、修正離散余弦変換（DCT）によって明瞭に例示される。それは、プリンセン、ジョンソン及びブラッドレイ（Princen，Johnson，Bradley）の「時間領域エイリアシング相殺に基づくフィルターバンクデザインを用いるサブバンド・変換符号化」（ICASSP 1987 Conf. Proc.，May 1987，pp．2161−64）に記載される。この変換は、奇数積重ね臨界サンプル単一側波帯分析・合成システムの時間領域等価物であり、ここでは、奇数積重ね時間・領域エイリアシング相殺（O-TDAC）と呼ぶ。順方向変換は、互いにブロック長の半分だけ重複するサンプルのブロックに用いられ、変換係数を２（2/10）だけ低下させることによって臨界サンプリングを達成する。しかし、この低下によって失われる情報が、復元された信号に時間領域エイリアシングを生じさせる。合成処理でこのエイリアシングを相殺することが可能で、それは変換係数ブロックに逆変換を適用することによって合成されたサンプルのブロックを発生させ、合成されたサンプルのブロックに適切に形成された合成窓関数を適用し、窓処理されたブロックを重複させて加えることによって行われる。例えば、TDAC符号化システムが一連のブロックB1-B2を発生させると、その後ブロックB1の後半分及びブロックB2の前半分のアーティファクトが互いに相殺される。
【０００７】
TDAC符号化システムからの２つの符号化された情報の流れが、ブロック境界でスプライスされると、結果的に生じる一連のブロックは相互のエイリアシングアーティファクトを相殺しないであろう。例えば、一方の符号化された情報の流れが切断されて、ブロックB1-B2間のブロック境界で終わるようにされ、他方の符号化された情報の流れが切断されて、ブロックA1-A2間のブロック境界で始まるようにされると考えるとどうだろう。これら２つの情報の流れがスプライスされて、ブロックB1がブロックA２の直前に来ると仮定すると、ブロックB1の後半及びブロックA2の前半の各アーティファクトは互いに相殺することはないであろう。
【０００８】
先行技術の方法及び装置は、問題を無視しているか若しくは不十分な解決法を与えているかのいずれかである。一解決法は、各符号化されたオーディオの流れから元のオーディオを復元又は復号し、一方のオーディオの流れを他方のものとクロスフェード（相互フェードイン・フェードアウト）し、結果的に得られるクロスフェードされた流れを新しい符号化されたオーディオの流れに再符号化することによって、未相殺のエイリアシングアーティファクトの可聴性を低減させることである。不幸にして、復号・符号化処理は結果的に得られる信号を劣化させ、つまらない出費を招き、クロスフェードは元に戻しえないのでスプライスした箇所のすぐ両側の信号は個別に元の信号に復元できない。
【０００９】
スペクトルスプラッタ
スプライス編集は、先行技術で扱っていなかった別の問題を引き起こす。この問題は、知覚符号化のような分割・帯域知覚符号化において特に厄介である。知覚分割・帯域符号化では、人の聴覚系臨界帯域幅にふさわしい帯域幅を有するサブバンド信号又は変換係数グループを発生させるために、入力信号にフィルタバンクを適用する。理想的には、各サブバンド信号又は変換係数グループは、原信号のスペクトル成分でノイズを隠蔽させることによって、結果的に生じる量子化ノイズを聞こえないようにするのにちょうど十分なビットで量子化又は符号化される。符号化性能は、各サブバンド信号又は変換係数を発生させるために入力信号に適用されるフィルタバンクの周波数応答特性によって著しく影響される。概して、これらの特性は、より広いフィルター通過域と引換えにフィルター阻止域の周波数における減衰を増加させることによって最適化される。例えば、米国特許第５，１０９，４１７を参照のこと。
【００１０】
スプライス編集は、ある周波数範囲内で顕著な不要スペクトル成分又は「スペクトルスプラッタ（ぱちぱち音）」を発生させる傾向がある。その周波数範囲は、通常通過及び阻止域間のフィルター通過域又は過渡領域以内にあり、フィルター阻止域と考えられている範囲以内にはなく、従って、一般的符号化性能を最適化するためにデザインされているフィルタバンクは、スプライス編集個所で生じるスペクトルスプラッタを減衰させるのに十分な減衰を与えない。これらのアーティファクトは、通常原信号で隠蔽されるには大きすぎるので概して聞き取り得る。
【００１１】
オーディオ及びビデオ符号化
フレーム同期化
オーディオ及びビデオの双方を処理する編集用途では、少なくとも２つの理由からさらに大きな制限が課される。第１の理由は、ビデオのフレーム長が概してオーディオブロック長と等しくないことである。第２の理由は、NTSCのような一定のビデオ標準のみに関する。即ち、NTSCは、オーディオサンプルレートの整数倍とは異なるビデオフレームレートを有する。以下の論議の例ではすべて毎秒４８ｋサンプルのオーディオサンプルレートを想定している。大抵の職業用装置はこのレートを用いる。消費者用装置で典型的に用いられる、毎秒４４．１ｋサンプルのような他のサンプルレートにも同様な考慮が当てはまる。
【００１２】
幾つかのビデオ及びオーディオ符号化標準用のフレーム及びブロック長(長さ)がそれぞれ表I及びIIに示される。「MPEGII」及び「MPEGIII」に関する表の記載項目は、標準ISO/IEC13818−3の国際標準機構の映画専門グループによって特定されたMPEG-2LayerII及びMPEG-2LayerIII符号化技術を指す。「AC-3」に関する記載項目は、ドルビー研究所（Dolby Laboratories，Inc．）によって開発された符号化技術を指し、標準A-52の高級テレビシステム委員会によって特定された。48kHzPCMは、隣接サンプル間の時間間隔である。
【００１３】
【表１】
【００１４】
ビデオ及びオーディオ情報が共に含まれる用途では、オーディオブロック及びビデオフレームは、めったに同期しない。オーディオ・ビデオ同期の発生間の時間間隔が表IIIに示される。例えば、表は毎秒２４フレームの映画フィルムは、MPEGオーディオブロック境界と各３秒周期に一度正確に同期され、AC-3オーディオブロックと各４秒周期に一度正確に同期される。
【００１５】
【表２】
【００１６】
ビデオフレーム対オーディオブロックの数で表される同期発生間の間隔は、表IVに示される。例えば、5オーディオブロック及び４ビデオフレームによって計られる区間内では、AC-3ブロック及びPALフレーム間で正確に一回の同期が発生する。８，００８サンプルのPCMオーディオと同期するためには５フレームのNTSCビデオを要することは重要である。この関係の重要性については以下に述べる。
【００１７】
【表３】
【００１８】
ビデオ及びオーディオ情報が共に束ねられると、編集は概してビデオフレーム境界で起こる。表III及びIVに示す情報からそのような編集はオーディオフレーム境界ではまれにしか起こらないことが分かるであろう。例えば、NTSCビデオ及びAC-3オーディオに関しては、ビデオフレーム境界上の編集がオーディオブロック境界でも起こる確率は、1/960、即ち、約0.1％に過ぎない。勿論、スプライスの両側の編集が両方ともこのように同期されなければならず、さもなければ、若干のオーディオ情報が失われるであろう。従って、2つの任意の編集に関してNTSC/AC-3情報のスプライスがオーディオブロック境界以外で起こり、結果的に1つ又は2つのオーディオ情報ブロックが失われることが殆ど確実であろう。しかし、AC-3はTDAC変換を用いるので、たとえ情報ブロックが失われない場合でも、上記の理由で未相殺エイリアシング歪が結果的に生じるであろう。
【００１９】
この問題は、上記のオーディオブロック処理問題と類似している。先行技術の方法及び装置は、ビデオ・オーディオフレーミング問題を無視するか若しくは類似の不十分な解決策を与えている。即ち、オーディオ情報をビデオ情報との束から外し、符号化されたオーディオ情報を復号し、復元されたオーディオ情報を編集し、オーディオ情報を再符号化しかつビデを情報と共に再び束ねることによってオーディオの後処理を行っている。
【００２０】
データ同期
既に述べた通り、毎秒４８ｋサンプルにおいてPCMオーディオの8008サンプルと同期させるためには、NTSCビデオの5フレームを要する。言い換えると、NTSCビデオフレームは、オーディオ情報を整数のサンプル数には分割しない。各NTSCフレームは、1601.1サンプルに相当する。同様に、NTSCビデオフレームは、符号化されたオーディオ情報を整数の数のサンプル又は係数のブロックには分割しない。これは、オーディオサンプルを、例えば、それぞれ1602,1601,1602,1601及び1602サンプルを含む一連の反復するオーディオフレームに配列することによって適応され得る。しかし、これは編集用途にさらに大きな制限を課す。その理由は、ここでは「スーパーフレーム」と称する連続5フレームの始めにおいてのみ編集がなされなければならないからである。不幸にして、多くの用途においてビデオ情報又はビデオと束にされるオーディオ情報は、スーパーフレーム境界については何らの表示も伝えない。
【００２１】
スーパーフレーム内の可変長オーディオブロックは、多くの符号化用途につき別の問題を惹き起こす。既に述べた通り、多くの符号化用途ではブロックで符号化される情報を処理する。信号が何らかの形の同期信号を伝えない限り、各スーパーフレームのどこに境界があるか若しくは編集でスーパーフレームの一部が除かれたかどうかについてデコーダでは知ることができない。言い換えると、各オーディオフレーム又はブロックの境界がどこであるかをデコーダでは知ることができない。ブロック境界の不確実性をたかだか１サンプルに下げ得る可能性はある。しかし、オーディオ情報がブロックで処理されると、復元されるオーディオ情報の復元を妨げるのには1サンプルの誤差だけで十分である。
【００２２】
【課題を解決するための手段】
本発明の目的は、２つ又はそれ以上のフレームに基礎付けられたオーディオ情報の流れをスプライスすることによって形成される、オーディオ情報の流れによって表されるオーディオの品質を改良することである。
【００２３】
本発明の一面の教示によると、信号処理用の装置又は方法は、それぞれのオーディオチャンネルに対する利得情報と関連し、かつその利得情報を表す多重制御信号を受信し、オーディオチャンネルに符号化されたオーディオ情報を伝えるフレームに配列された入力信号を受信し、制御信号に応答して利得・制御ワードのフレームを発生させ、そこでは利得・制御ワードが、それぞれのフレームのオーディオチャンネルに対する開始利得レベル及び終了利得レベルを表し、符号化されたオーディオ情報及び利得・制御ワードを伝えるフレーム内に配列された出力信号を発生させる。
【００２４】
本発明の他面の教示によると、信号処理用の装置又は方法は、制御信号を受信し、多重オーディオチャンネル用の利得・制御ワード及び符号化されたオーディオ情報を伝える、フレームに配列された入力信号を受信し、入力信号から１つ以上の利得・制御ワードを入手し、対応する1つ以上の修正された利得・制御ワード発生させるために制御信号により１つ以上の利得・制御ワードを修正し、そこでは１つ以上の修正された利得・制御ワード及び修正された利得・制御ワードに対応しない入力利得・制御ワードが、出力信号のそれぞれのフレーム内の開始及び終了利得レベルを表すようにし、符号化されたオーディオ情報、修正された利得・制御ワード及びそれぞれの修正された利得・制御ワードに対応しない入力利得・制御ワードを伝えるフレーム内に配列される情報を伝える出力信号を発生させる。
【００２５】
本発明のさらに他の面によると、信号処理装置及び方法は、利得・制御ワードを伝えるフレーム内に配列される入力信号及び多重オーディオチャンネル用の符号化されたオーディオ情報を受信し、それぞれのオーディオチャンネルにつき入力信号のフレームから符号化されたオーディオ情報及び２つ以上の利得・制御ワードを入手し、符号化されたオーディオ情報を復号することによって出力信号を発生させ、そこでは出力信号が利得・制御ワードの内挿により効果的に変調される。
【００２６】
本発明の各種の特徴及び望ましい実施形態は、以下の議論及び添付図を参照することによってよりよく理解され得る。図面では、幾つかの図面において同一回路には同一参照番号が用いられる。各種の装置を例示する図面は、本発明の理解を支援する主要な成分を示す。簡単のために、実施形態では重要であるが本発明の概念を理解するためには重要でない多くの他の特徴が図面では除外されている。本発明を実施するのに要する信号処理は、マイクロプロセッサ、デジタル信号プロセッサ、ロジックアレイ（論理配列）及び他の形の計算回路回路等各種の広範な方法で達成され得る。信号フィルタは、再帰的、非再帰的及び格子デジタルフィルタ等本質的にあらゆる方法で達成され得る。デジタル及びアナログ技術は、用途の必要性及び特性により各種の組合せで用いられ得る。
【００２７】
オーディオ及びビデオ情報の流れを処理する条件に関して一層特殊なことに触れるが、しかし、本発明の各面はビデオ情報の処理を含まない用途で実施され得る。以下の論議及び図面の内容は、例としてのみ説明されるもので、本発明の範囲を制限するものと理解すべきではない。
【００２８】
【発明の実施形態】
信号及び処理
信号ブロック及びフレーム
図１aは、一連のオーディオブロック１０乃至１８に配列された符号化されるオーディオ情報の流れ及びビデオフレーム1のような一連のビデオフレームに配列されたビデオ情報を例示する。NTSCビデオのようなあるフォーマットにおいて各ビデオフレームは、単一画像を集合的に定める２つのビデオフレームから成る。オーディオブロック１１乃至１７は、ビデオフレーム1で符号化される信号フレーム２１にグループ化される。
【００２９】
表IVで既に述べた通り、ある用途におけるビデオフレームの中には、符号化されるオーディオ情報が整数の数で表されるサンプル、変換係数又は同種のものに分割されないものがある。これは、符号化される信号フレームのグループをそれぞれのスーパーフレームに配列することによって適応され得る。スーパーフレーム３１にグループ化される５つの符号化される信号フレーム２１乃至２５が図１bに例示される。この特殊の配列は、NTSCビデオ及び４８ｋサンプル/secＰＣＭオーディオを用いる用途で用いられ得る。
【００３０】
被処理信号ブロック
オーディオ情報に符号化される一連のブロックは、オーディオ信号の重複する区間を表し得る。幾つかの分割・帯域知覚符号化システムは、例えば、半ブロック長だけ互いに重複するオーディオサンプルのブロックを処理する。概して、これらの重複するサンプルは、分析窓関数によって変調される。
【００３１】
図２aは、分析窓関数の変調包絡線６１乃至６７示す。同包絡線は一連の重複するオーディオブロックの各ブロックに用いられる。重複の長さは、ブロック長の半分と等しい。この重複区間は、上記のO-TDAC変換のような幾つかの分析・合成システムによって一般的に用いられる。
【００３２】
図２bは、符号化される信号フレームに関する一連の重複するブロックに用いられる分析窓関数の結果的に得られる変調包絡線を例示する。図２bに例示されるように、この変調の正味効果、即ち、利得曲線は、重複区間内の隣接ブロックに関する変調包絡線７１乃至７７の合計である。各包絡線を横切る正味効果は単位利得であることが望ましい。
【００３３】
図２cは、符号化される隣接信号フレームに跨る窓関数変調の総合効果を例示する。例示の通り、利得曲線８０乃至８２は重複しかつ加算されて正味効果が単位利得になるようにされる。
【００３４】
分析窓関数のみを用いるシステムでは、すべての窓関数変調の正味効果は、分析窓関数のみの変調効果と等しい。理想的な利得曲線は、分析窓関数の変調包絡線が重複しかつ加算されて定数になることを保証することによって達成される。
【００３５】
分析及び合成窓関数を用いるシステムでは、すべての窓関数変調の正味効果は、分析窓関数及び合成窓関数の積から形成される「積」窓関数と等しい。このようなシステムにおける理想的利得曲線は、積窓関数変調包絡線を重複区間において定数になるように加算することによって達成される。
【００３６】
この開示全体を通して、分析及び合成窓関数を用いる符号化システム及び方法について言及される。このような関係においては、重複される分析窓関数から結果的に得られる利得曲線は、時には定数と同等であると言えるであろう。同様に、重複される合成窓関数から結果的に得られる利得曲線は、時には定数と同等であると言えるであろう。そのような説明は、システム内のすべての窓処理の正味効果に言及することを意図するものであると理解すべきである。
【００３７】
窓関数
分析窓関数の形は、信号の利得曲線に影響するのみならず、対応するフィルタバンクの周波数応答特性にも影響する。
【００３８】
スペクトルスプラッタ
既に述べた通り、多くの分割・帯域知覚符号化システムは、フィルタバンクを用いる。フィルタバンクは、より広いフィルター通過域と引換えにフィルター阻止域の周波数減衰を増強させることによって知覚符号化のために最適化される周波数応答特性を有する。不幸にして、スプライスは、フィルター阻止域と考えられている範囲内にはない周波数範囲内で著しいスペクトルアーティファクト、即ち、「スペクトルスプラッタ」を発生させる傾向がある。一般的な知覚符号化性能を最適化するように計画されるフィルタバンクは、スプライス編集個所で発生されるこれらのスペクトルアーティファクトを聴取不能にするために十分な減衰を与えない。
【００３９】
TDAC変換エイリアシング相殺
O-TDAC変換に関しては、合成変換後の適用後に適用される合成窓関数と共に分析窓関数は、時間領域エイリアシングアーティファクトの相殺を可能にするために多くの制約をも満たさなければならない。
【００４０】
合成変換から復元される信号は、原信号と分析変換によって発生する時間領域エイリアシング成分との和として概念化され得る。図3において、曲線９１、９３及び９５は、逆変換、又は、合成変換から復元されて分析窓関数及び合成窓関数によって変調された入力信号の振幅包絡線の一部を表す。曲線９２、９４及び９６は、逆変換、又は、合成変換から復元されて分析窓関数及び合成窓関数によって変調された時間領域エイリアシング成分を表す。以下の説明及び図から分かるように、時間領域エイリアシング成分は、分析及び合成窓関数によって変調された原入力信号の反映されたレプリカである。
【００４１】
分析O-TDAC 変換及び合成O-TDAC変換の核関数は、ブロックの各半分の窓処理された信号を逆にした映像である時間領域エイリアシング成分を発生させるように設計される。プリンセン他によって開示されるように、O-TDAC変換は、２つの異なった領域で時間領域エイリアシング成分を発生させる。領域２では、時間領域エイリアシング成分は、その領域における原信号を逆に窓処理した映像である。領域１では、時間領域エイリアシング成分は、その領域における原信号を逆に窓処理した映像であるが、映像の振幅が反転される。
【００４２】
例えば、エイリアシング成分９４aは、信号成分９３aの逆に窓操作した映像である。エイリアシング成分９２bは、信号成分９１bの逆に窓操作した映像であるが、反映される成分の振幅は反転される。
【００４３】
隣接ブロックを重複させて加算することによって、原信号が復元されかつエイリアシング成分が相殺される。例えば、信号成分９1b及び９３aは、関数変調の影響なしに信号を復元するために加算され、エイリアシング成分９２b及び９４aは、エイリアシングを相殺するために加算される。同様に、信号成分９３b及び９５aは信号を復元するために加算されかつエイリアシング成分９４b及び９６aはエイリアシングを相殺するために加算される。
【００４４】
スプライス境界の両側の時間領域アーティファクトは、一般的に相殺されない。それは、スプライス直前の合成されたオーディオサンプルの半ブロックのエイリアシングアーティファクトは、スプライス直後の合成されたオーディオブロック半分のエイリアシングアーティファクトの逆ではないからである。
【００４５】
同様な考慮は、プリンセン及びブラッドレイの「時間領域エイリアシング相殺に基づく分析・合成フィルタバンク設計」（IEEE Trans．On Acoust．Speech，Signal Proc．，vol．ASSP-34，pp．1153-1161．）に記載されるような他のエイリアシング相殺フィルタバンクにも当てはまる。このフィルターバンクシステムは、臨界的にサンプリングされる偶数・積重ね単一・側波帯分析・合成システムの時間領域同等物でありかつここでは偶数・積重ね時間・領域エイリアシング相殺（E-TDAC）と呼ばれる。
【００４６】
スプライスにおけるアーティファクト低減利得制御
スプライスによって発生するアーティファクトの可聴性を低減させるために用いられ得る技術は、符号化されるオーディオ信号内に複数の利得制御ワードを組み入れることである。同ワードは、デコーダ又は再生システムに再生信号の振幅を変えるよう指令する。これらの利得・制御ワードを用いる簡単な装置の実施形態については次節で論じられる。
【００４７】
図４aは、装置１００の機能的構成図を例示し、そこではフォーマット回路１１１は、ビデオ情報と、多重オーディオチャンネルを表す符号化されるオーディオ情報と、利得・制御ワードを含むフレームに配列される出力信号とを路１１２に沿って発生させる。フォーマット１１１は、フレームに配列されて多重オーディオチャンネル用のビデオ情報及び符号化されるオーディオ情報を伝える路１０８から受信する信号及び利得・制御ワードを伝える路１１０から受信する信号に応答して出力信号を発生させる。処理回路１０９は、各々が多重オーディオチャンネルの1つと関連する路１０３a及び１０３bから多重制御信号を受信し、各制御信号に応答して路１１０に沿って、それぞれのフレーム内の開始利得及び最終利得を表す一対の利得・制御ワードを発生させる。簡単にするために２つの制御・信号１０３及び２つの関連するオーディオチャンネル１０２のみが示される。この利得・制御技術は、所望なら３つ以上のチャンネルに適用し得る。
【００４８】
図示の実施形態では、符号化回路１０５は、路１０２a及び１０２bから受信する多重オーディオチャンネル信号に応答して多重オーディオ用の符号化されるオーディオ情報を路１０６a及び１０６bに沿って発生させ、フレーム回路１０７は、路１０１から受信するビデオ情報及び路１０６a及び１０６bから受信する符号化されるオーディオ情報をフレーム内に配列することによって路１０８に沿って信号を発生させる。
【００４９】
この利得・制御技術は、路１０８に沿って伝えられる信号と類似の入力信号で用いられ得る。従って、この場合符号化回路１０５及びフレーム１０７は不要である。符号化回路１０５を含む実施形態では、符号化は独立的に各オーディオチャンネル若しくは共に多重オーディオチャンネルに適用され得る。例えば、AC-3符号化技術は、各チャンネル間の冗長性を低減させるか若しくは除去することによって総合振幅要件を低減させるために２つ又はそれ以上のオーディオチャンネルに共に適用され得る。
【００５０】
図４cは、入力信号内の利得・制御ワードにより多重オーディオチャンネルを再生するために出力信号を発生させる装置１４０の機能的構成図を例示する。デフォーマット回路１４２は、路１４１からビデオ情報、符号化されるオーディオ情報及び利得・制御信号を含むフレームに配列される入力信号を受信する。デフォーマット回路１４２は、各入力信号フレームから多重オーディオチャンネルを表す符号化されるオーディオ情報を入手すると共にオーディオチャンネルの各々と関連する一対の利得・制御ワードを入手する。処理回路１４８は、路１４５から利得・制御信号を受信し、それに応答して路１４９a及び１４９bに沿って利得制御信号を発生させる。復号回路１４６は、路１４４a及び１４４bから多重チャンネルの符号化されるオーディオ情報を受信し、それに応答して各オーディオチャンネルにつき出力信号を発生させ、各出力信号の振幅、即ち、レベルが関連する利得制御信号に応答して変化されるようにする。
【００５１】
一対の利得・制御信号は、特殊フレーム内のそれぞれのオーディオチャンネルに関する開始利得及び最終利得を表す。処理回路１４８は、一対の利得・制御ワードの内挿を表す利得制御信号を発生させる。内挿は、線形、方形、対数、即ち、指数のような所望の任意の軌線に従い得る。例えば、線形内挿では、利得制御信号は特殊のフレームを直線的に横切って変化する利得を表す。
【００５２】
復号は、各オーディオチャンネルに独立して用いられるか若しくは多重オーディオチャンネルに共に用いられ得る。例えば、チャンネル間の冗長性を除去又は低減させる符号化の形と相補的であり得る。合成フィルタバンク及び合成窓関数を用いる分割帯域符号化用途では、出力信号は利得制御信号により効果的に変調され得る。これは、フィルタバンクを適用する前に符号化されるオーディオを修正し、合成窓処理前に合成フィルタバンクから得られる合成されるオーディオを修正するか若しくは合成窓関数の適用から得られるオーディオ情報を修正することによって行われ得る。
【００５３】
図４bは、信号内に存在する利得制御ワードを修正する装置１２０の機能的構成図である。デフォーマット回路１２３は、経路１２１からフレーム内に配列される入力信号を受信する。同入力信号は、ビデオ情報、多重オーディオチャンネルを表す符号化されるオーディオ情報及び入力利得・制御ワードから成る。デフォーマット１２３は、入力信号から多重オーディオチャンネルの１つにつき符号化されるオーディオ情報と関連する１つ又はそれ以上の入力利得・制御ワードを入手し、経路１２４a及び１２４bに沿って入力利得制御ワードを送る。処理回路１２６は、経路１２２から受信する制御信号に応答して1つ又はそれ以上の入力利得・制御ワードを修正することによって、経路１２７に沿って１つ又はそれ以上の出力利得・制御ワードを発生させる。フォーマット回路１２８は、経路１２９に沿って出力信号を発生させる。同出力信号は、ビデオ情報、多重オーディオチャンネル用の符号化されるオーディオ情報、出力利得制御ワード及び出力利得制御ワードと対応しない入力利得制御信号を含むフレーム内に配列される。
【００５４】
編集用途において制御信号１２２は、入力信号１２１内のスプライスを示す。それに応答して、処理回路１２６は、装置１４０のような装置を通してスプライス直前の再生信号を減衰させかつスプライスの直後に減衰を反転させるようにする、１つ又はそれ以上の利得制御ワードを発生させる。利得の変化は、幾つかのフレームを横切って伸び得るが、多くの用途において変化はスプライスの一方側の一フレームに限定される。利得変化区間は、利得変化で生じる変調産物の可聴性を利得変化それ自体の可聴性と比較することによって決定され得る。利得制御ワード技術は、編集用途に限定されない。
【００５５】
フレーム境界におけるエイリアシング抑制フィルタバンク
TDAC変換の１つによって与えられるような形のエイリアシング相殺を用いる符号化システムでは、既に述べた理由でスプライス編集においてはスプライスの各側でエイリアシングアーティファクトが相殺されるのが妨げられる。これらの未相殺エイリアシングアーティファクトは、各フレームの開始及び終端においてオーディオブロックに交互にフィルタバンクを用いることによって避けられ得る。例えば、図1aに示されるフレーム２１については、第１フィルターバンクがブロック１１に用いられ、第２フィルターバンクがブロック１２乃至１６に用いられ、第３フィルターバンクがブロック１７に用いられる。これらのフィルタバンクの特性は、各フレームから復元されるオーディオが実質的に未相殺エイリアシングアーティファクトを含まないようにされる。
【００５６】
図５aの装置２００はバッファ回路２０２を含む。同バッファはオーディオ情報のブロックを受信して、オーディオブロックがフレーム内の第１、即ち、開始ブロックか、最終、即ち、終端ブロックか若しくは中間ブロックかどうかを示す制御信号を経路２０３に沿って発生させる。経路２０３から受信される制御信号に応答して、スイッチ２０４が各フレーム内の第１、即ち、開始ブロックを第１フィルターバンク２０５へ方向付け、各フレーム内のすべての中間ブロックを第２フィルターバンク２０６へ方向付け、各フレーム内の最終、即ち、終端ブロックを第３フィルターバンク２０７へ方向付ける。
【００５７】
フォーマット回路２０８は、３つのフィルタバンクの各々から受信したフィルターされたオーディオ情報を経路２０９に沿って送られる出力信号にアセンブルする。
【００５８】
図５bは装置２２０を示し、そこではデフォーマット回路２２２が経路２２１から入力信号を受信し、そこから経路２２４に沿って送られる符号化されるオーディオ情報を入手し、経路２２３に沿って制御信号を発生させ、符号化される情報がフレーム内の第１、即ち、開始ブロックか、最終、即ち、終端ブロックか若しくは中間ブロックかどうかを示すようにする。経路２２３から受信する制御信号に応答してスイッチ２２５が符号化されるオーディオ情報を３つの合成フィルタバンクの１つへ方向付ける。スイッチ２２５は、第１ブロックに対する符号化されるオーディオ情報を第１合成フィルタバンク２２６へ方向付け、中間ブロックに対する符号化されるオーディオ情報を第２合成フィルタバンク２２７へ方向付け、最終ブロックに対する符号化されるオーディオ情報を第３合成フィルタバンク２２８へ方向付ける。バッファ２２９は、３つの合成フィルタバンクから受信する合成されるオーディオブロックに応答して経路２３０に沿って出力信号を発生させる。
【００５９】
第２フィルターバンク
エンコーダの一実施形態において第２フィルターバンクは、引用された上記プリンセン他に開示されるような、O-TDAC変換よるN・点修正DCT及びN・点分析窓関数によって実施される。相補的デコーダにおいては、O-TDAC変換によるN・点修正逆DCT及びN・点合成窓関数によって実施される。順方向及び逆方向O-TDAC変換は、それぞれ式１及び２に示される。
【００６０】
【式１】
ここでk＝周波数指数
ｎ＝信号サンプル数
Ｍ＝サンプルブロック長
ｍ＝O‐TDAC位相項
x(n)＝窓入力信号サンプルn
X（k）＝変換係数k
【００６１】
第２フィルターバンクは、長さがＭ＝Ｎで、エイリアシング映像の２つの領域を発生させ、図３に示されるように２領域間のブロック中点に境界を有する。これらの２つの領域を与えるのに要するＴＤＡＣ位相項はｍ＝Ｎ／２である。
【００６２】
望ましい実施形態では、分析及び合成窓関数は以下に述べる技術により引き出される。これらの窓関数の形状は、図６a曲線２４２に例示される。
【００６３】
第１フィルターバンク
この同じ実施形態においてエンコーダ及び相補的デコーダ内の第１フィルターバンクは、上記修正されるＤＣＴ及び修正される形の窓関数Ｗ2(n)によって実施される。順方向及び逆方向変換は、それぞれ式１及び２に示される。第１フィルターバンクは、長さがＭ＝３Ｎ／２で、エイリアシング映像の単一領域を与える。エイリアシングアーティファクトは、ブロック内信号の反転される端と端とをつないだ映像である。事実上、映像領域２は、長さが零で、２つの領域間の境界はブロックの先端、即ち、右手端である。この単一領域を与えるのに要するＴＤＡＣ位相項はｍ＝０である。
【００６４】
第１フィルターバンクに対する分析及び合成窓関数は同一である。この窓関数の形状は、図６bの曲線２４１によって例示される。それは、３つの区分から構成される。区分１及び２で示される第１及び第２区分は、図６aに示される上記窓関数Ｗ2(x)と同一である。第３区域として示される第３区分は零と等しい。
【００６５】
この第１分析窓関数Ｗ1(n)は、区域３内の信号が零であることを保証する。その結果、区域３から区域１内へ反映されるエイリアシングアーティファクトも零である。区域１から区域３内へ反映されるエイリアシングアーティファクトは概してゼロにはならないが、第１合成窓関数Ｗ1(n)が合成されるオーディオブロックに用いられると区域３内へ反映されるあらゆるアーティファクトは除去されるであろう。その結果、エイリアシングアーティファクトは区域２内のみに存在する。
【００６６】
第３フィルターバンク
この同じ実施形態においてエンコーダ及び相補的デコーダ内の第３フィルターバンクは、上記修正されるＤＣＴ及び窓関数Ｗ2(n)の修正される形状によって実施される。順方向変換及び逆変換は、それぞれ式１及び２に示される。第３フィルターバンクは、長さがＭ＝３Ｎ／２で、エイリアシング映像の単一領域２を与える。エイリアシングアーティファクトは、ブロック内の信号の端と端とをつないだ映像である。事実上、映像領域１は長さがゼロで、２つの領域間の境界は、ブロックの後端、即ち、左手端にある。この単一領域を与えるのに要するＴＤＡＣ位相項はｍ＝３Ｎ／２である。
【００６７】
第３フィルターバンク用の各分析合成窓関数Ｗ3(n)は同一である。適切な窓関数の形状は、図６cの曲線２４３によって例示される。それは３つの区分から構成される。区域１として示される第１区分は零である。区域２及び３として示される第２及び第３区分は、図６aに示される上記窓関数Ｗ2(x)と同一である。
【００６８】
この第３分析窓関数Ｗ3(n)は、区域１内の信号が零であることを保証する。その結果、区域１から区域3へ反映されるエイリアシングアーティファクトはゼロである。区域３から区域１へ反映されるエイリアシングアーティファクトは概してゼロではないであろう。しかし、第３合成窓関数Ｗ3(n)が合成されるオーディオブロックに用いられると、区域１内へ反映されるあらゆるアーティファクトは除去されるであろう。その結果、エイリアスアーティファクトは区域２のみに存在する。
【００６９】
図６dは、窓関数Ｗ1(n)、Ｗ2(n)及びＷ3(n)２４１乃至２４３がどのように相互重複するかを例示する。利得曲線２４０は、端と端とをつないだ窓処理の正味効果を表す。それは、ＴＤＡＣ用で、対応する各分析合成窓関数の積から形成される一連の重複する積窓関数である。分析・合成窓関数Ｗ1(n)によって加重されるブロック１１の区域２内のエイリアシングアーティファクトは、分析・合成窓関数Ｗ2(n)によって加重されるブロック１２の前半分内のエイリアシングアーティファクトによって相殺される。分析・合成窓関数Ｗ3(n)によって加重されるブロック１７の区域２内のエイリアシングアーティファクトは、分析・合成窓関数Ｗ2(n)によって加重されるブロック１６の後半分内のエイリアシングアーティファクトによって相殺される。ブロック１２及び１３又はブロック１５及び１６のような中間ブロック対内の信号復元及びエイリアシング相殺は、従来のＴＤＡＣにより行われる。
【００７０】
この技術を用いることによって、スプライス編集はあらゆるフレーム境界で行われかつエイリア信号アーティファクトが未相殺で残ることはない。
【００７１】
窓関数の導出
窓関数Ｗ2(n)は、次節に記載する技術を用いて基底窓関数から引き出され得る。適切な重複・加算特性を有するあらゆる窓関数が基底窓関数として用いられ得るが、望ましい実施形態で用いられる基底窓関数はカイザ・ベッセル（Kaiser-Bessel）窓関数である。
【００７２】
【式２】
ここでα＝カイザ・ベッセル窓関数アルファ係数
ｎ＝窓サンプル数
N＝サンプル数窓長さ
【式３】
【００７３】
誘導では、カイザ・ベッセル窓関数ＷKＢ(n)を直角窓関数s(n)で巻き込むことによって、（ブロック長−重複区間v）と等しい長さを有する分析・合成積窓関数ＷP(n)を発生させる。即ち
【式４】
これは以下のように単純化される。
【００７４】
【式５】
ここでn＝積・窓サンプル数
v＝窓重複区間内のサンプル数
N＝所望の積・窓の長さ
ＷKＢ(n)＝長さv＋1nの基底窓関数
ＷP(n)＝長さNの誘導された積・窓
【式６】
【００７５】
O-TDAC変換に関して、重複区間v＝N/２、分析窓及び合成窓関数は等しい。従って、いずれかの窓関数は次式から得られる。
【００７６】
【式７】
このようにして得られる分析及び合成窓は、ここではカイザ・ベッセル誘導（ＫＢＤ）窓関数と呼ぶ。積窓関数は、ＫＤＢ積窓関数と呼ぶ。基底カイザ・ベッセル窓関数のアルファ係数は、符号化性能を最適化させるために選んでもよい。多くの用途において符号化の最適アルファ係数は2乃至６である。
【００７７】
フレーム全体を通して未相殺エイリアシングアーティファクトがないことは、スプライスにおいて本質的にあらゆる窓関数が用いられることを可能にする。概して、これらの窓関数は、重複区間に跨る一定の利得曲線を保持し得る形状を有する。各スプライスにおいて、重複区間は多くのフレームを横切って延び得る。しかし、多くの用途では５乃至３０ｍｓｅｃの範囲内にある「スプライス重複区間」を用いることが予想される。以下に述べる理由で、スプライスを横切る重複区間が増大され得ることは重要である。
【００７８】
スプライスにおけるスペクトルスプラッタ・低減フィルタバンク
上記範囲内のアルファ係数は、知覚符号化が最適化されると言う意味で多くの符号化用途にとって最適である。既に述べたように、概して符号化は、より広いフィルター通過域と引換えにフィルター阻止域内の周波数減衰を増大させることによって最適化される。知覚符号化につき最適化されるフィルターの典型的周波数応答の例は、図７の曲線３４２に示される。この曲線は、Ｏ-ＴＤＡＣ分析・合成システムのフレーム利得曲線の周波数応答を表す。同システムは、α＝６のＫＤＢ窓関数を用いかつ２５６サンプルと等しいフレーム重複区間を有する。通過及び阻止域間の境界はきびしく定めてないが、この例において通過域は約200Ｈｚまでを含み、阻止域は約１ｋＨｚ以上に及ぶ。遷移（過渡）区域が両域間に伸びる。
【００７９】
２５６・サンプルブロックに用いられる用途では、スプライス編集は、フィルターの中心周波数の約２００Ｈｚ乃至１ｋＨｚ以内で著しい擬似のスペクトル成分又はスペクトルスプラッタを発生させる傾向がある。他の長さのブロックを用いる用途に関してこの周波数範囲は、ブロック長で割られる２つの定数の項で表され得る。従って、それぞれブロック長で割られる約５０，０００乃至２５６，０００Ｈｚで表される範囲以内に顕著なスペクトルスプラッタが発生する。
【００８０】
図７に示す例では、これらの周波数はフィルター阻止域と考えられるものの外側である。知覚符号化性能を最適化するように設計されフィルタバンクは、スプライス編集において発生されるスペクトルスプラッタの十分な減衰は与えない。これらのアーティファクトは、通常信号によって隠蔽されるには大きすぎるので可聴である。
【００８１】
図7の曲線３４１及び３４３は、2つの他の分析・合成システムの周波数応答を例示する。同システムは、阻止域ではかなりより少ない減衰を与えるが、スプライスにおいて発生されるスペクトルスプラッタによって影響される周波数範囲内でより多い減衰を与える。
【００８２】
スペクトルスプラッタの減衰を増加させるために知覚符号化の幾つかの性能が犠牲になる。周波数応答でスペクトルエネルギの減衰が最適化されるのが望ましく、２５６サンプルブロックをフィルターするシステムに関しては２００Ｈｚ及び６００Ｈｚを含む周波数若しくはそれぞれがブロック長で割られる約５０、０００及び１５０，０００の周波数範囲以内が望ましい。
【００８３】
時には一般的符号化及びスプライスにおけるクロスフェードされるフレームの双方に関する周波数要件を満たす妥協が得られる。そのような妥協が得られない用途では、スプライスが検知されて分析・合成システムの周波数応答が変更される。この変化は合成濾波と共に行われなければならない。それは、分析フィルタバンクは概してスプライス操作を予想できないからである。
【００８４】
図８は、分析・合成システムの端と端とをつないだ周波数応答を変えることによってスプライスにおけるスペクトルスプラッタを低減させるために用いられ得る装置３２０を例示する。この装置においてデフォーマット３２２は経路３２１から入力信号を受信し、そこから経路３２４に沿って送られる符号化されるオーディオ情報を入手し、スプライスがフレームの始め又は終りのいずれで起こるかを示す制御信号を経路３２３に沿って発生させる。スプライスの発生は、入力信号で明示的に伝えられるか若しくは信号で伝えられる他の信号から暗示され得る。
【００８５】
例えば、ＡＥＳ-3/ＥＢＵ標準によると、オーディオ情報の連続ブロックは、ゼロから２５５まで増加し、その後ほぼゼロになるブロック数を含む。2つの不連続な隣接ブロック数は、スプライスを示し得る。しかし、この試験は信頼できない。それは、ＡＥＳ/ＥＢＵデータの流れを処理する装置の中にはこの増加数を示さないものがあるからである。オーデイオの流れが符号化されると、符号化計画は連続的番号付けか若しくは他の形の予測可能な情報を与え得る。もし、情報が期待するものに従わないなら、スプライスの存在を示すために信号が発生され得る。
【００８６】
経路３２３から受信される制御信号に応答して、スイッチ３２５が符号化されるオーディオ信号を３つの合成フィルタバンクの1つへ方向づける。スイッチ３２５は、スプライスに続くフレームの第1ブロックに関する符号化されるオーディオ情報を第1合成フィルタバンク３２６へ、スプライス前のフレーム内の最後のブロックに関する符号化されるオーディオ情報を第3合成フィルタバンク３２８へ、他のブロックに関する符号化されるオーディオ情報を第2合成フィルタバンク３２７へ方向づける。その代わりに、これらの他のブロックに関する符号化されるオーディオ情報は、図５に関して既に述べた技術により3つのフィルタバンクの1つへ方向づけられ得る。バッファ３２９は、3つのフィルタバンクから受信される、合成されるオーディオブロックに応答して経路３３０に沿って出力信号を発生させる。
【００８７】
第1及び第3合成フィルタバンクは、幾つかの分析フィルタバンクと共に所望の周波数方途を達成するように設計される。多くの用途でこの分析フィルタバンクは、一般的符号化性能を第2合成フィルタバンクと最適化させるように設計される。第1及び第3フィルターバンクは、本質的に所望の総合周波数応答を与える任意の方法で実施され得る。概して、2つのフィルタバンクは、同一の周波数応答を有するが、時間・逆転される相互のレプリカであるインパルス応答を有するであろう。変換及び窓関数を用いるフィルタバンクを実施する用途では、適切なフィルタバンクは、スプライスの両側で隣接フレーム間の重複区間を増大させる合成窓関数を用いることによって実施され得る。
【００８８】
合成されるオーディオの変調
これは幾つかの方法で実施され得る。一方法では、合成フィルタバンクから復元される合成されたオーディオ信号を変調し、スプライスの両側のフレームが互いにクロスフェードするようにされる。これは、図４ｃに例示されるような装置１４０で達成され得る。デコーダ１４６は、スプライスに先立つフレームの合成される信号の振幅を所望のスプライス・重複区間に跨って低減させる。事実上、スプライスに先立つフレームの利得曲線は、この区間を横切って単位レベルからある低レベルに低下する。同様にデコード１４６も、スプライスに続くフレーム内の合成信号振幅を所望のスプライス・重複区間を横切って増大させる。実際、スプライスに続くフレームの利得曲線は、この区間を横切って低レベルから単位レベルまで増大する。もし、利得曲線の有効変化が分析・合成窓処理の変調効果を説明するなら、重複されるフレームの総合利得は維持され得る。
【００８９】
利得曲線の有効変化は直線であり得る。図７の曲線３４３は、持続時間約５msecの直線的に先細りになるフレーム利得曲線の周波数応答特性を例示する。毎秒４８ｋサンプルのサンプルレートにおいてこの区間は約５６サンプルに相当する。多くの符号化用途で、変換は２５６サンプルを有するサンプルブロックに用いられる。従って、これらの特殊な用途において、２５６サンプルの傾斜又は直線的に先細りになる利得曲線は、フレーム境界において「終端」ブロック及びこの終端ブロックと重複する隣接ブロックの一部を横切って伸びる。これは終端ブロックに1フィルターバンクを用い、じかに隣接するブロックに他のフィルタバンクを用い、フレーム内部の他のブロックにさらに別のフィルタバンクを用いることと同等である。図８に例示する装置３２０を参照すると、「終端」ブロックに隣接かつ重複するブロックを処理するためには２つの追加の合成フィルタバンクが必要とされるであろう。
【００９０】
この直線的に先細りする湾曲部の周波数応答は、基準応答を表しそれに対して他の周波数応答が評価され得る。概して、この基準に関してスペクトルエネルギの減衰を最適化させるフィルタバンクは、スプライスにおいて発生されるスペクトルスプラッタを低減させるのに有効である。
【００９１】
修正される合成窓関数
分析・合成システムの総合周波数応答を変化させる他の方法は、合成窓を修正し、分析・合成窓処理の正味効果が所望の応答を達成するようにすることである。実際、総合周波数応答は結果的に生じる分析・合成積窓関数により変化される。
【００９２】
図７の曲線３４１は周波数応答を表し、それはスプライスにおいて曲線３４３によって表される、５msecの直線的に先細りする利得曲線周波数応答より大きな範囲までスペクトルスプラッタを減衰させる。曲線３４１の応答は、２５６・点変換及びα＝１のＫＤＢ窓関数を用いて、Ｏ−ＴＤＡＣ分析・合成システムによって達成される。既に述べた通り、曲線３４２はα＝６のＫＤＢ窓関数に相当する。
【００９３】
これらの分析・合成システムの端と端とをつないだ周波数応答は、分析窓関数及び合成窓関数の積から形成される窓の周波数応答と同等である。これは代数的に以下のように表される。
ＷＰ6(n)＝ＷＡ6(n)ＷＳ6(n) (５ａ)
ＷＰ1(n)＝ＷＡ1(n)ＷＳ1(n) (５ｂ)
ここでＷＡ6(n)＝α＝６の分析ＫＢＤ窓関数
ＷＳ6(n)＝α＝６の合成ＫＢＤ窓関数
ＷＰ６(n)＝α＝６のＫＢＤ積窓関数
ＷＡ1(n)＝α＝１の分析ＫＢＤ窓関数
ＷＳ1(n)＝α＝１の合成ＫＢＤ窓関数
ＷＰ1(n)＝α＝１のＫＢＤ積窓関数
【００９４】
端と端とをつないだ周波数応答を他の幾つかの望ましい応答に変換するために合成窓関数が修正されるなら、それ自体及び分析関数の積が所望の応答を有する積窓と同等になるように修正されなければならない。もし、ＷＰ1に相当する周波数応答が望ましくかつ分析窓関数ＷＡ6が信号分析に用いられるなら、この関係は代数的に以下のように表され得る。
ＷＰ1(n)＝ＷＡ6(n)ＷＸ(n) (５ｃ)
ここでＷＸ(n)＝周波数応答を変換するのに要する合成窓関数
これは以下のように表され得る。
ＷＸ(n)＝ＷＰ1(n)／ＷＡ6(n) (５ｄ)
【００９５】
スプライス・重複区間がフレーム内の「終端」ブロックと重複する近接オーディオブロックまで伸びるなら、窓関数ＷＸの実際の形状は、式５ｄで示されるものより幾分複雑になる。これは以下でより詳細に論じられる。とにかく、式５ｄは、フレーム内で他のあらゆるブロックと重複しない終端ブロックのその区分の窓関数ＷＸに必要とされるものを正確に表す。Ｏ−ＴＤＡＣを用いるシステムに関しては、その区分はブロック長の半分と等しいか若しくは０≦ｎ＜N/２に関するものである。
【００９６】
端と端とをつないだ周波数応答をより高いアルファ曲線からより低いアルファ曲線へ変換するために合成窓関数ＷＸが用いられるときには、それはフレーム境界付近で非常に大きな値を持たなければならない。図９に例が示され、そこでは曲線３５１がα＝１のＫＤＢ積窓を例示し、曲線３５６がα＝６のＫＤＢ分析又は合成窓関数を例示し、曲線３５９が式５ｄによる合成窓を例示する。曲線３５６がフレーム境界に近づくにつれて曲線３５２より非常に小さくなる。従って、曲線３５９は非常に大きくなる。不幸にして、曲線３５９のような形状を有しかつ窓関数ＷＸの端で大きく増加する合成窓関数は、非常に好ましくない周波数応答特性を有し、復元される信号の音質を劣化させるであろう。この問題を解決するために用いられ得る２つの技術が以下に論じられる。
【００９７】
サンプル放棄
合成窓関数を修正する第１技術は、分析窓関数が最小値を有するフレーム境界において幾つかのサンプルを捨てることによって窓関数ＷＸの大きな増加を避けることである。放棄されるサンプル数を変えることによって、フレーム重複区間内でサンプルを伝えるのに要する帯域幅は、デコーダの好ましくない周波数応答特性によって生じるシステム性能の低下に対して釣合がとられる。
【００９８】
例えば、積窓関数ＷＰ１に相当する所望の周波数応答を達成するために、フレーム内の最初の３ブロックに関する合成窓関数が修正されかつ信号分析に用いられる窓関数がＷＡ６であるときには、必要な修正される合成窓関数は以下のとおりである。
【００９９】
【式８】
ここでＷＸ1(n)＝第1ブロックの修正される合成窓関数
ＷＸ2(n)＝第２ブロックの修正される合成窓関数
ＷＸ3(n)＝第３ブロックの修正される合成窓関数
ｘ＝フレーム境界で捨てられるサンプル数
【０１００】
図１０ａは、幾つかのｘの値に関して、ＫＢＤα＝６分析窓関数を用いる２５６・点Ｏ−ＴＤＡＣ分析・合成システムを、２５６サンプルと等しいフレーム重複区間を有する、ＫＢＤα＝１分析及び合成窓関数を用いるシステムのものと同等の周波数応答を有する分析・合成システムに変換するために要する、修正される合成窓関数の形状を例示する。曲線３６１、３６２、３６３及び３６４は、それぞれｘ＝８、１６、２４及び３２サンプルに対する修正される合成窓関数である。
【０１０１】
これらの修正された窓関数を用いる合成フィルタバンクの周波数応答は、図１０ｂに示される。曲線３７２、３７３及び３７４は、それぞれｘ＝８、１６及び２４に対する周波数応答である。曲線３７１は、α＝１を有するＫＢＤ窓関数を用いる合成フィルタバンクの周波数応答である。この図から分かるように、ｘ＝１６を有する修正された合成窓関数は、約２００Ｈｚ以上からα＝１を有するＫＢＤ窓関数を用いた合成フィルタバンクよって達成されるものと約同一の範囲まで周波数を減衰させる。言い換えると、分析フィルタバンク及びα＝６分析窓関数と共に用いられるとき、ｘ＝１６サンプルを捨てる合成フィルタバンクは、その分析−合成システムの周波数応答が、α＝１分析及び合成窓関数を用いるシステムの端と端とをつないだ周波数応答と同等である端と端とをつないだ分析・合成周波数応答を達成でき、同時に、α＝１合成フィルタバンクを用いる合成フィルタバンクと殆ど同程度の約２００Ｈｚ以上の周波数を減衰させる合成フィルタバンク周波数応答を与えることができる。
【０１０２】
通常符号化用の低いアルファ値を有するＫＤＢ窓関数を用いるシステムは、概して合成窓関数への修正は少なく、フレーム終端で捨てられるべきサンプルは少なくてよいであろう。フレームの終端で修正を要する合成窓関数は、時間反転を除けば式６ａ乃至６ｃに示される窓関数と類似している。
【０１０３】
フレーム利得曲線変調
合成窓関数を修正する第２技術は、スプライスの両側にすぐ接してフレーム利得曲線が理想的レベルから僅かにずれさせることによって窓関数ＷＸの大きな増加を避ける。利得曲線のずれを変えることによって、ずれによる可聴性がスペクトルスプラッタの可聴性に取って代わる。
【０１０４】
この技術は、修正された合成窓関数がフレーム境界において又はその近くで小さな値を持つよう平滑化する。適切になされると、結果的に生じる合成窓関数は、受容できる周波数応答を有し、利得が比較的小さいところでは、フレーム利得曲線がフレーム境界において又はその近くで理想的ＫＢＤ積窓関数からずれるであろう。理想的クロスフェード利得形状によって与えられるものと比較して、スペクトルスプラッタの減衰の程度はほんの少し悪化するであろう。
【０１０５】
例えば、望ましい周波数応答を達成するために、フレーム内の始めの３ブロックに対する合成窓関数が修正されなければならないときには、第２及び第３ブロックに要する修正された合成窓関数ＷＸは、概してｘ＝０に対して上記式６b及び６cに示されるものと同一である。上記式６aに示される修正された合成窓関数ＷＸ1は、平滑化窓関数長の最初の半分に亘ってそれを点ごとに符号化窓関数と乗ずることによって平滑化される。結果的に生じる第１ブロックに対して修正された合成窓関数は次式である。
【０１０６】
【式９】
ここでＷＭ(n)＝平滑化窓関数
ｐ＝Ｎ未満と仮定される平滑化窓関数の長さ
フレームの終端において要する修正された合成窓関数は、時間逆転を除けばこの窓関数と同一である。
【０１０７】
平滑化窓関数ＷＭは、本質的にあらゆる窓関数に基づき得るが、ＫＢＤ平滑化関数がうまく働くと思われる。この例では、平滑化窓関数は、α＝６を有する長さ１２８のＫＢＤ窓関数である。図１１aでは、曲線３８１は平滑化なしで修正される合成窓関数の形状を例示し、曲線３８２は平滑化と共に修正される合成窓関数の形状を例示する。
【０１０８】
平滑化されかつ修正された窓関数を用いる分析・合成システムの周波数応答は、図１１bに示される。曲線３９１は平滑化されかつ修正された窓関数を用いて結果的に得られる周波数応答を表す。曲線３４１は、α＝１を有するＫＢＤ窓関数を用いる分析・合成システムの周波数応答を表す。曲線３９３は、周波数応答に対する各ピークの包絡線を表し、それは既に論じかつ曲線３４３として例示された、持続時間が約５msecの直線的に先細りされるフレームクロスフェード窓関数を用いることで結果的に得られる。図から分かるように、平滑化されかつ修正される合成窓関数は、α＝１を有するＫＢＤ窓関数を用いる分析・合成システムによって達成される周波数応答と類似の周波数応答を達成する。
【０１０９】
ハイブリッド分析・合成窓関数修正
上記技術では、フレーム利得曲線へのすべての変化は単一合成処理でなされる。その代わりに、分析処理は、各フレーム境界におけるブロックに対する一周波数応答を有するフィルタバンクを用いかつ各内部ブロックに対して他のフィルタバンクを用い得る。フレーム境界におけるブロックに用いられるフィルタバンクは、スプライスにおけるスペクトルスプラッタの十分な減衰を達成させるために、合成処理で要する修正量を低減させるように設計され得る。
【０１１０】
データ同期
ビデオ及びオーディオの双方を処理する用途では、概してビデオフレーム長はオーディオブロック長と等しくない。表III及びIVに示される標準に対しては、各ビデオフレーム及び各オーディオブロックはめったに同期しない。言い換えると、ビデオ境界上のビデオ・オーディオ情報の編集個所は、多分オーディオブロック境界上にはない。その結果、ブロック符号化システムでは、残余の区分ブロックによって表されるオーディオ情報は適切に復元され得ない。この問題を解決する２つの技術が以下で論じられる。
【０１１１】
オーディオサンプルレート変換
第１技術では、外部レートで受信されるオーディオ入力信号が、符号化システムの内部処理で用いられる他のレートに変換される。内部レートは、内部信号に十分な帯域幅を与えかつ好都合なサンプル数がビデオの各フレームとグループ化され得るように選ばれ。復号、又は、再生時において出力信号が内部レートから外部レートへ変換され、それは原入力オーディオ信号の外部レートと等しい必要はない。
【０１１２】
表Ｖは、幾つかのビデオ標準に対してビデオフレーム長、ビデオフレーム長と等しい毎秒４８ｋでのオーディオサンプル数、これらのオーディオサンプル数をサンプルの目標数に変換するのに要する内部レート及び以下に論じる内部オーディオフレーム長を示す。各ビデオ標準に対して括弧内に示される数は、Ｈｚで示されるビデオフレームレートである。３０Ｈｚを超えるビデオフレームに対しては、目標数は８９６である。３０Ｈｚ未満のビデオフレームに対しては、目標数は１７９２である。これらの目標数は例示のために選ばれたが、１２８サンプルずつ互いに重複する２５６サンプルブロックの整数の数に割り切れるので多くの用途にとって好都合である。
【０１１３】
【表４】
【０１１４】
例えば、毎秒４８ｋサンプルでの入力オーディオ信号及び毎秒２５フレームでのＰＡＬビデオ信号を処理する用途では、入力オーディオ信号は毎秒４３ｋサンプルのレートを有する内部信号に変換され得る。内部信号サンプルは、処理用の内部オーディオフレーム内に配列され得る。表Ｖに示される例では、内部オーディオフレーム長は１９２０サンプルである。これらの例では、内部オーディオフレーム長はビデオフレーム長と等しくない。この不等は、一フレーム内の各オーディオサンプルが他のフレーム内のオーディオサンプルと重複するだけのサンプル数のためである。
【０１１５】
図２cに例示される例を参照すると、各フレームは互いに幾つかのサンプル数だけ重複する。このサンプル数がフレーム重複区間を構成する。多くの用途では、フレーム重複区間はそれぞれのフレーム以内の隣接オーディオブロック間の重複区間と等しい。ビデオフレーム長と等しいサンプル数は、一フレームの初めから次のフレームの初めまでの区間に跨るサンプル数である。これは、内部オーディオフレーム長からフレーム重複区間内のサンプル数を引いたものと等しい。
【０１１６】
表Ｖに示される既に論じた例では、ビデオフレーム長と等しいサンプル数は、ビデオフレーム長に依存して１７９２又は８９６のいずれかである。フレーム重複区間は１２８サンプルである。３０Ｈｚを超えるフレームレートに対しては、各内部オーディオフレームは１０２４（８９６＋１２８）サンプルを含み、１２８サンプルずつ互いに重複する２５６サンプルの７ブロック内に配列され得る。低いビデオフレームレートに対しては、各内部オーディオフレームは１９２０（１７９２＋１２８）サンプルを含み、１２８サンプルずつ互いに重複する２５６サンプルの１４ブロック内に配列され得る。
【０１１７】
フレーム境界においてエイリアシングアーティファクトを発生させないフィルタバンクが用いられるときには、フレーム区間は２５６サンプルに増加されるのが望ましく、それは３０Ｈｚを超えるフレームレートに対しては、内部フレーム長を１１５２（８９６＋２５６）まで、また、より低いフレームレートに対しては２０４８（１７９２＋２５６）まで増加させる。
【０１１８】
オーディオ信号を所望のビデオフレームレートと同期させるために要する内部サンプルレートは、そのビデオフレームレートと、ビデオフレーム長と等しいサンプル数との積と等しい。これは次式と同等である。
Ｒ1＝ＲV*（LA−ＬO） （８）
ここでＲ1＝内部サンプルレート
ＲV＝ビデオフレームレート
LA＝内部オーディオフレーム長
ＬO＝フレーム重複区間
【０１１９】
図１２aは装置４００の機能的構成図を例示し、同装置の変換回路４０３では、経路４０２から外部サンプルレートを有する入力オーディオ信号を受信し、入力オーディオ信号を内部サンプルレートを有する内部信号に変換し、内部信号を符号化回路４０４へ送る。内部信号に応答して符号化回路４０４は経路４０５に沿って内部オーディオフレーム内に配列される、符号化された信号を発生させる。フォーマット回路４０６は、経路４０１からフレーム内に配列されるビデオ情報を受信し、経路４０７に沿って出力信号を発生させるために内部オーディオフレームを各ビデオフレームとまとめる。
【０１２０】
図１２bは、装置４１０の機能的構成図を例示し、同装置のデフォーマット回路４１２では、経路４１１からビデオ情報及び符号化されるオーディオ情報から成るフレーム内に配列される入力信号を受信する。デフォーマット回路４１２は、入力信号から、経路４１３に沿って送られるビデオ情報を得て、経路４１４に沿って送られ、内部オーディオフレームに配列された、符号化されるオーディオ情報を得る。デコード回路４１５は、変換回路４１６へ送られる内部サンプルレートを有する内部信号を発生させるために、符号化された情報を復号する。変換回路４１６は、内部信号を外部サンプルレートを有する出力信号に変換する。
【０１２１】
サンプルレート変換には本質的にあらゆる技術が用いられ得る。サンプルレート変換に対する各種の考察及び実施例がアダムス(Adams)及びクオーン(Kwan)の「非同期サンプルレート変換用理論及びＶＳＬＩアーキテクチャ」（Ｊ．Of Audio Engr．Soc．，July 1993，vol．41，no．7/8．Pp．539‐555）に開示される。
【０１２２】
ダイナミックオーディオフレーム調整
サンプルレート変換が用いられないときには、オーディオフレームレートはビデオフレームレートと共に変わらなければならない。内部オーディオフレーム長は、変換を用いる分割帯域符号化のようなブロック処理を容易にする変換長、例えば、適度に大きい２の冪指数の整数倍に設定され得る。次いでフレーム重複区間は、内部オーディオフレーム長と、ビデオフレームに正確にまたがるサンプル数との間の差と等しくなるように設定される。これは次式で表され得る。
ＬO＝ＬA−ＬV （９）
ここでＬV＝オーディオサンプル数で表されるビデオフレーム長
【０１２３】
不幸にして、上記表Ｖに示すように、この技術はＮＴＳＣビデオを処理する用途に対して一層複雑である。それはＮＴＳＣビデオフレームレートがオーディオサンプルレートの整数倍と等しくないからである。表VIに示されるように、毎秒４８ｋサンプルでオーディオの８００８サンプルと同期させるためには、ＮＴＳＣビデオの５フレームが必要である。５フレームのグループをここではスーパーフレームと言う。
【０１２４】
スーパーフレーム内の各ビデオフレームに相当するオーディオサンプル数は一定ではなく変化する。多くの配列が可能であるが、２９．９７ＨｚＮＴＳＣビデオに対する望ましい配列は、それぞれ１６０２、１６０１、１６０２、１６０１及び１６０２サンプルに相当する一連の５フレームである。５９．９４ＨｚＮＴＳＣビデオに対しては類似の列が用いられ、そこでは一対の８０１・サンプルブロックが各１６０２ブロックに対してかつ８０1と８００とのサンプルブロック対が各１６０１ブロックに対して置き換えられ得る。以下の論議は、２９．９７ＨｚＮＴＳＣビデオフレームを処理する用途に対する解明に向けられる。これらの概念は、他のビデオフレームレートにも適用され得る。
【０１２５】
式９に示されるように、デコーダは、ビデオフレーム長ＬVを決定し、重複区間長を正確に決定できるようにしなければならない。デコーダがフレーム境界でのスプライス編集と直面する場合は、スプライスに続くフレームは可能性のある５通りのスーパーフレーム線列の任意の１つを表し得る。各ブロックがデコーダで用いるスーパーフレームと一致しない限り、デコーダはそれらによって表されるオーディオを復元することはできないであろう。これは下記のダイナミック(動的)ビデオフレーム整列技術よって達成され得る。
【０１２６】
この技術によると、図１３aに示される装置４２０では、エンコード回路４２３は、経路４２２からオーディオ情報を受信し、それぞれのスーパーフレーム内の各フレームにつき独特なラベルによって識別される各フレームのスーパーフレーム内に配列され、符号化されたオーディオ情報を発生させる。符号化されたオーディオ情報の各スーパーフレームは、経路４２５に沿って送られ、フレームラベルは経路４２４に沿って送られる。フォーマット回路４２６は、経路４２１からビデオ情報を受信してこのビデオ情報、符号化されたオーディオ情報の各フレーム及び相当するラベルを経路４２７に沿って送られる出力信号にまとめる。
【０１２７】
図１３bに示される装置４３０では、デフォーマット回路４３２が、経路４３１から入力信号を受信し、経路４３３に沿って送られるビデを情報の各フレーム、経路４３５に沿って送られる符号化されたオーディオ情報の一連のスーパーフレーム及び経路４３４に沿って送られる符号化されたオーディオ情報の各フレームに対するラベルを得る。処理回路４３６は、ラベルに応答して符号化されたオーディオ情報の各フレームに対する開始サンプル及びフレーム長を決定し、デコード回路４３８は、処理回路４３６によって決められる開始サンプル及びフレーム長により、符号化されるオーディオ情報の各フレーム復号することによって経路４３９に沿って出力信号を発生させる。
【０１２８】
望ましい実施形態では、各スーパーフレームのフレームは０、１、２、３及び４と呼ばれる。フレーム０の開始サンプルは、ビデオ信号のフレーム境界と正確に同期すると仮定される。スーパーフレーム内の各フレームは、同一構造で発生され、「初期サンプル」、「名目開始サンプル」及び合計１６０３サンプルに対する他の１６０１サンプルを有する。望ましい実施形態では、サンプルは０から１６０２までの番号をつけられ、そこでは名目開始サンプルはサンプル番号１である。従って、ビデオフレーム長は１６０３である。既に論じたとおり、内部オーディオフレーム長はフレーム重複区間のためにより大きくなり得る。好都合な内部オーディオフレーム長は１７９２である。フレーム利得曲線は、１６０３のビデオフレーム長により決められる。今述べた例については、フレーム重複区間は１８９(１７９２−１６０３)である。
【０１２９】
装置４３０は、所望の任意のスーパーフレーム整列を採用しかつ各オーディオフレームの整列を動的に変えて、ビデオ情報との適切な同期が得られるようにする。整列は、開始サンプル及び各フレームに対する長さを動的に選択することによって変えられる。既に述べた通り、スーパーフレーム内の５・フレームパターンにより長さは１６０１及び１６０２間で変わる。この動的整列の効果は、同伴のビデオ情報との同期を保持する、スプライスに続く適切な整列が直ちに得られることである。
【０１３０】
ここで述べる望ましい実施形態では、開始サンプル番号及びビデオフレーム長は次式により得られる。
Ｋ＝（ＦE−ＦD）ｍｏｄ５ （10）
ここでＫ＝整列表アクセスキー
ＦE＝エンコーダフレームラベル
ＦD＝デコーダフレームラベル
【０１３１】
デコーダは、符号化された信号からエンコーダフレームラベルを得る。デコーダフレームラベルは、デコーダによって採用されるスーパーフレーム整列により０乃至４の反復列の形でデコーダによって発生される。
【０１３２】
デコーダは、表へのアクセスキーとしてＫを用いて表VIから適切なフレーム開始サンプル及びビデオフレーム長を得る。
【０１３３】
【表５】
【０１３４】
動的整列の例は図14に例示される。この例では、スーパーフレームはフレーム４５３で始まり、フレーム４５５に続くスプライスによって中断される。スーパーフレーム内の最後のフレーム４５６がスプライスに続き、新しいスーパーフレームがフレーム４５７で始まる。各フレーム内のオーディオ情報の理想的長さは、列４５０のボックス内に示される。エンコーダによって発生される各フレームに対するエンコーダフレームラベルＦEは、列４６１に示される。ラベル０が各スーパーフレームの第１フレームに相当することに注目されたい。この例では、デコーダによって仮定されるデコーダラベルＦDは、列４６２内に示される。式１０によって計算されるこれらの２ラベル間の差は、列４６３内に示される整列表アクセスキーＫを決定する。整列表から決められるように、開始及び終了サンプル数は列４６４内に示される。例えば、０−１６０１の表示は、サンプル０で始まりサンプル１６０１で終わる１６０２・サンプルフレームを示す。
【０１３５】
フレーム４５１では、デコーダが１６０２サンプル長のブロックを処理する。このフレームは、エンコーダスーパーフレーム整列による「理想的」長さより一サンプル長い。従って、フレーム４５２は一サンプル遅く開始しかつ理想的長さより一サンプル短い。これは、サンプル番号１で始まり、スーパーフレームの第１フレームと正確に同期されるフレーム４５３に帰着する。フレーム４５４及び４５５の整列は理想的整列と一致する。
【０１３６】
スプライスの直後、フレーム４５６の整列は理想的配列と一致する。フレーム４５７は、サンプル番号1で始まり、次のスーパーフレーム開始と正確に同期する。フレーム４５７の長さは、理想的長さより１サンプル短いが、それでフレーム４５８は１サンプル早く始まりかつ理想的長さより１サンプル長い長さを有する。フレーム４５９の開始は、理想的なものと一致するが、それより一サンプル短い。従って、フレーム４６０は一サンプル早く始まりかつ理想的なものより一サンプル長い。
【０１３７】
このサンプルが示すように、スプライスによって発生されるあらゆる不連続性にかかわらず、デコーダは各スーパーフレームの開始との正確な同期を達成する。
【０１３８】
式６a乃至６cと共に既に論じたものと類似の方法で適切な端と端とをつないだフレーム利得曲線を達成させるために、装置４３０は修正された窓関数を用いる。各フレームの開示における修正される合成窓関数は、式６aに従って決定され、そこではフレーム境界において「捨てられる」サンプル数ｘは、早期開始サンプルと比較してフレーム開始整列オフセット(偏差)と等しい。例えば、サンプル２で始まるフレームに対してはｘ＝２である。各フレームの終りにおける修正された合成窓関数は、時間反転方法におけるものを除けば、｝式６aにより同様に決定される。
【図面の簡単な説明】
【図１】 ブロック、フレーム及びスーパーフレームの形で配列されるビデオ及びオーディオの構成図で、図１a及び１bで示される。
【図２】 窓関数で変調される重複ブロック及び窓されたブロックを含むフレームの結果的に生じる利得曲線の利得構成図であり、図２乃至図２cで示される。
【図３】 エイリアシング相殺変換によって発生される信号及びエイリアシング成分を例示する。
【図４】 符号化される情報の流れにおいて利得制御ワードを発生させ、変化させかつそれに応答する装置の機能的構成図を例示する。
【図５】 フレーム境界においてエイリアシングアーティファクトを抑制するために交番するフィルタバンクを加える装置の機能的構成図であり、図5a及び5bで示される。
【図６】 フレーム境界においてエイリアシングアーティファクトを抑制するために用いられ得る窓関数構成図であり、図６a乃至６dで示される。
【図７】 フレーム境界における各種の窓関数を用いる結果から得られる周波数応答特性を例示する。
【図８】 各スプライスにおいてスペクトルスプラッタの減衰を増強させるために交番するフィルタバンクを加える装置の機能的構成図を例示する。
【図９】 図８の装置に関する幾つかの窓関数の構成図である。
【図１０】 図８の装置に関する幾つかの窓関数の構成図であり、図１０aで示される。
【図１１】 図８の装置に関する幾つかの窓関数の構成図であり、図１１aで示される。
【図１２】 オーディオサンプル及びビデオフレーム間の同期を行うためにサンプルレート変換に備える装置を例示する機能的構成図であり、図１２a及び１２bで示される。
【図１３】 スプライスを横切るビデオスーパーフレームと同期させるために動的オーディオフレーム整列に備える装置を例示する機能的構成図であり、図１３a及び１３ｂで示される。
【図１４】 ビデオフレーム特性及びスプライスを横切る動的オーディオフレームの効果を示す構成図である。
【産業上の利用分野】
本発明は、オーディオ信号処理に関し、そこではオーディオ情報の流れが情報フレームの形で配列される。特に、本発明は、フレーム基礎付けられたオーディオ情報流れをスプライスする（継ぐ）ことによって形成されるオーディオ情報流のオーディオ品質を改良することに関する。
【０００２】
【背景技術】
オーディオ又はビデオ資料を編集する工程は、本質的に資料の２つの区分を共に継ぐか若しくは接合するものである。簡単な編集範例は、映画フィルムを切断して継ぐことである。継ぐべき資料の２つの区分は、異なった源、例えば、オーディオ情報の異なったチャンネル又はそれらは同一源から生じるかも知れない。いずれの場合でも、概してスプライスはオーディオ又はビデオ資料に切れ目を生じ、それは知覚可能か若しくは知覚不能である。
【０００３】
オーディオ符号化
ブロック処理
デジタルオーディオが益々用いられることで、アーティファクトを生じることなくオーディオ資料を編集することを一層困難にさせる傾向になっている。これが生じた一部の理由は、ブロックとして処理されなければならないデジタルサンプルブロックの形でデジタルオーディオがしばしば処理又は符号化されるためである。多くの知覚又は心理音響に基礎付けられたオーディオ符号化システムはフィルタバンク又は変換を利用し、信号サンプルブロックを符号化されたサブバンド信号サンプルのブロックに変換するか若しくは原信号のレプリカを復元するためにブロックとして合成フィルター又は逆変換されなければならない係数を変換するようにしている。最低でも、処理されたオーディオ信号の編集はブロック境界でなされなければならず、さもなければ、残余の区分的ブロックによって表されるオーディオ情報は適切に復元され得ない。
【０００４】
残りの本論議全体を通して「コーディング（符号化）」及び「コーダ（符号発生装置）」のような用語は、信号処理のための各種の方法及び装置を指し、「エンコーデッド（符号化された）」のような他の用語は、そのような処理の結果を指す。これらの用語は、情報無関係性又は信号冗長性を低減させるもののような特殊な処理の形を意味しない。例えば、コーディングは、信号を表すパルスコード変調（PCM）を発生させること及びある明細により情報をパターン又はフォーマットに配列することを含む。本開示で用いられるような「ブロック」及び「フレーム」の用語は、情報のグループ又は区間を指し、それは、時にはAES-3/EBUデジタルオーディオ標準として知られる、ANSI S4.40-1992標準のような、他のものを指す同一用語とは異なり得る。ここで用いられる「フィルター」及び「フィルタバンク」のような用語は、直角位相鏡フィルター（QMF）及び変換のようなあらゆる形の再帰的及び非再帰的フィルターを本質的に含む。「フィルターされた」情報は、そのようなフィルターを用いた結果である。より特殊の言及は変換によって実施されるフィルタバンクについてなされる。
【０００５】
プログラム資料を処理かつ符号化するために重複するブロック構造を用いる符号化システムによって、編集には追加の制限が課される。符号化されたブロックの重複特性のために、たとえ符号化されたサンプル又は係数の完全なブロックからであっても原信号は適切に復元され得ない。
【０００６】
この制限は、一般に用いられる重複・ブロック変換、即ち、修正離散余弦変換（DCT）によって明瞭に例示される。それは、プリンセン、ジョンソン及びブラッドレイ（Princen，Johnson，Bradley）の「時間領域エイリアシング相殺に基づくフィルターバンクデザインを用いるサブバンド・変換符号化」（ICASSP 1987 Conf. Proc.，May 1987，pp．2161−64）に記載される。この変換は、奇数積重ね臨界サンプル単一側波帯分析・合成システムの時間領域等価物であり、ここでは、奇数積重ね時間・領域エイリアシング相殺（O-TDAC）と呼ぶ。順方向変換は、互いにブロック長の半分だけ重複するサンプルのブロックに用いられ、変換係数を２（2/10）だけ低下させることによって臨界サンプリングを達成する。しかし、この低下によって失われる情報が、復元された信号に時間領域エイリアシングを生じさせる。合成処理でこのエイリアシングを相殺することが可能で、それは変換係数ブロックに逆変換を適用することによって合成されたサンプルのブロックを発生させ、合成されたサンプルのブロックに適切に形成された合成窓関数を適用し、窓処理されたブロックを重複させて加えることによって行われる。例えば、TDAC符号化システムが一連のブロックB1-B2を発生させると、その後ブロックB1の後半分及びブロックB2の前半分のアーティファクトが互いに相殺される。
【０００７】
TDAC符号化システムからの２つの符号化された情報の流れが、ブロック境界でスプライスされると、結果的に生じる一連のブロックは相互のエイリアシングアーティファクトを相殺しないであろう。例えば、一方の符号化された情報の流れが切断されて、ブロックB1-B2間のブロック境界で終わるようにされ、他方の符号化された情報の流れが切断されて、ブロックA1-A2間のブロック境界で始まるようにされると考えるとどうだろう。これら２つの情報の流れがスプライスされて、ブロックB1がブロックA２の直前に来ると仮定すると、ブロックB1の後半及びブロックA2の前半の各アーティファクトは互いに相殺することはないであろう。
【０００８】
先行技術の方法及び装置は、問題を無視しているか若しくは不十分な解決法を与えているかのいずれかである。一解決法は、各符号化されたオーディオの流れから元のオーディオを復元又は復号し、一方のオーディオの流れを他方のものとクロスフェード（相互フェードイン・フェードアウト）し、結果的に得られるクロスフェードされた流れを新しい符号化されたオーディオの流れに再符号化することによって、未相殺のエイリアシングアーティファクトの可聴性を低減させることである。不幸にして、復号・符号化処理は結果的に得られる信号を劣化させ、つまらない出費を招き、クロスフェードは元に戻しえないのでスプライスした箇所のすぐ両側の信号は個別に元の信号に復元できない。
【０００９】
スペクトルスプラッタ
スプライス編集は、先行技術で扱っていなかった別の問題を引き起こす。この問題は、知覚符号化のような分割・帯域知覚符号化において特に厄介である。知覚分割・帯域符号化では、人の聴覚系臨界帯域幅にふさわしい帯域幅を有するサブバンド信号又は変換係数グループを発生させるために、入力信号にフィルタバンクを適用する。理想的には、各サブバンド信号又は変換係数グループは、原信号のスペクトル成分でノイズを隠蔽させることによって、結果的に生じる量子化ノイズを聞こえないようにするのにちょうど十分なビットで量子化又は符号化される。符号化性能は、各サブバンド信号又は変換係数を発生させるために入力信号に適用されるフィルタバンクの周波数応答特性によって著しく影響される。概して、これらの特性は、より広いフィルター通過域と引換えにフィルター阻止域の周波数における減衰を増加させることによって最適化される。例えば、米国特許第５，１０９，４１７を参照のこと。
【００１０】
スプライス編集は、ある周波数範囲内で顕著な不要スペクトル成分又は「スペクトルスプラッタ（ぱちぱち音）」を発生させる傾向がある。その周波数範囲は、通常通過及び阻止域間のフィルター通過域又は過渡領域以内にあり、フィルター阻止域と考えられている範囲以内にはなく、従って、一般的符号化性能を最適化するためにデザインされているフィルタバンクは、スプライス編集個所で生じるスペクトルスプラッタを減衰させるのに十分な減衰を与えない。これらのアーティファクトは、通常原信号で隠蔽されるには大きすぎるので概して聞き取り得る。
【００１１】
オーディオ及びビデオ符号化
フレーム同期化
オーディオ及びビデオの双方を処理する編集用途では、少なくとも２つの理由からさらに大きな制限が課される。第１の理由は、ビデオのフレーム長が概してオーディオブロック長と等しくないことである。第２の理由は、NTSCのような一定のビデオ標準のみに関する。即ち、NTSCは、オーディオサンプルレートの整数倍とは異なるビデオフレームレートを有する。以下の論議の例ではすべて毎秒４８ｋサンプルのオーディオサンプルレートを想定している。大抵の職業用装置はこのレートを用いる。消費者用装置で典型的に用いられる、毎秒４４．１ｋサンプルのような他のサンプルレートにも同様な考慮が当てはまる。
【００１２】
幾つかのビデオ及びオーディオ符号化標準用のフレーム及びブロック長(長さ)がそれぞれ表I及びIIに示される。「MPEGII」及び「MPEGIII」に関する表の記載項目は、標準ISO/IEC13818−3の国際標準機構の映画専門グループによって特定されたMPEG-2LayerII及びMPEG-2LayerIII符号化技術を指す。「AC-3」に関する記載項目は、ドルビー研究所（Dolby Laboratories，Inc．）によって開発された符号化技術を指し、標準A-52の高級テレビシステム委員会によって特定された。48kHzPCMは、隣接サンプル間の時間間隔である。
【００１３】
【表１】
ビデオ及びオーディオ情報が共に含まれる用途では、オーディオブロック及びビデオフレームは、めったに同期しない。オーディオ・ビデオ同期の発生間の時間間隔が表IIIに示される。例えば、表は毎秒２４フレームの映画フィルムは、MPEGオーディオブロック境界と各３秒周期に一度正確に同期され、AC-3オーディオブロックと各４秒周期に一度正確に同期される。
【００１５】
【表２】
ビデオフレーム対オーディオブロックの数で表される同期発生間の間隔は、表IVに示される。例えば、5オーディオブロック及び４ビデオフレームによって計られる区間内では、AC-3ブロック及びPALフレーム間で正確に一回の同期が発生する。８，００８サンプルのPCMオーディオと同期するためには５フレームのNTSCビデオを要することは重要である。この関係の重要性については以下に述べる。
【００１７】
【表３】
ビデオ及びオーディオ情報が共に束ねられると、編集は概してビデオフレーム境界で起こる。表III及びIVに示す情報からそのような編集はオーディオフレーム境界ではまれにしか起こらないことが分かるであろう。例えば、NTSCビデオ及びAC-3オーディオに関しては、ビデオフレーム境界上の編集がオーディオブロック境界でも起こる確率は、1/960、即ち、約0.1％に過ぎない。勿論、スプライスの両側の編集が両方ともこのように同期されなければならず、さもなければ、若干のオーディオ情報が失われるであろう。従って、2つの任意の編集に関してNTSC/AC-3情報のスプライスがオーディオブロック境界以外で起こり、結果的に1つ又は2つのオーディオ情報ブロックが失われることが殆ど確実であろう。しかし、AC-3はTDAC変換を用いるので、たとえ情報ブロックが失われない場合でも、上記の理由で未相殺エイリアシング歪が結果的に生じるであろう。
【００１９】
この問題は、上記のオーディオブロック処理問題と類似している。先行技術の方法及び装置は、ビデオ・オーディオフレーミング問題を無視するか若しくは類似の不十分な解決策を与えている。即ち、オーディオ情報をビデオ情報との束から外し、符号化されたオーディオ情報を復号し、復元されたオーディオ情報を編集し、オーディオ情報を再符号化しかつビデを情報と共に再び束ねることによってオーディオの後処理を行っている。
【００２０】
データ同期
既に述べた通り、毎秒４８ｋサンプルにおいてPCMオーディオの8008サンプルと同期させるためには、NTSCビデオの5フレームを要する。言い換えると、NTSCビデオフレームは、オーディオ情報を整数のサンプル数には分割しない。各NTSCフレームは、1601.1サンプルに相当する。同様に、NTSCビデオフレームは、符号化されたオーディオ情報を整数の数のサンプル又は係数のブロックには分割しない。これは、オーディオサンプルを、例えば、それぞれ1602,1601,1602,1601及び1602サンプルを含む一連の反復するオーディオフレームに配列することによって適応され得る。しかし、これは編集用途にさらに大きな制限を課す。その理由は、ここでは「スーパーフレーム」と称する連続5フレームの始めにおいてのみ編集がなされなければならないからである。不幸にして、多くの用途においてビデオ情報又はビデオと束にされるオーディオ情報は、スーパーフレーム境界については何らの表示も伝えない。
【００２１】
スーパーフレーム内の可変長オーディオブロックは、多くの符号化用途につき別の問題を惹き起こす。既に述べた通り、多くの符号化用途ではブロックで符号化される情報を処理する。信号が何らかの形の同期信号を伝えない限り、各スーパーフレームのどこに境界があるか若しくは編集でスーパーフレームの一部が除かれたかどうかについてデコーダでは知ることができない。言い換えると、各オーディオフレーム又はブロックの境界がどこであるかをデコーダでは知ることができない。ブロック境界の不確実性をたかだか１サンプルに下げ得る可能性はある。しかし、オーディオ情報がブロックで処理されると、復元されるオーディオ情報の復元を妨げるのには1サンプルの誤差だけで十分である。
【００２２】
【課題を解決するための手段】
本発明の目的は、２つ又はそれ以上のフレームに基礎付けられたオーディオ情報の流れをスプライスすることによって形成される、オーディオ情報の流れによって表されるオーディオの品質を改良することである。
【００２３】
本発明の一面の教示によると、信号処理用の装置又は方法は、それぞれのオーディオチャンネルに対する利得情報と関連し、かつその利得情報を表す多重制御信号を受信し、オーディオチャンネルに符号化されたオーディオ情報を伝えるフレームに配列された入力信号を受信し、制御信号に応答して利得・制御ワードのフレームを発生させ、そこでは利得・制御ワードが、それぞれのフレームのオーディオチャンネルに対する開始利得レベル及び終了利得レベルを表し、符号化されたオーディオ情報及び利得・制御ワードを伝えるフレーム内に配列された出力信号を発生させる。
【００２４】
本発明の他面の教示によると、信号処理用の装置又は方法は、制御信号を受信し、多重オーディオチャンネル用の利得・制御ワード及び符号化されたオーディオ情報を伝える、フレームに配列された入力信号を受信し、入力信号から１つ以上の利得・制御ワードを入手し、対応する1つ以上の修正された利得・制御ワード発生させるために制御信号により１つ以上の利得・制御ワードを修正し、そこでは１つ以上の修正された利得・制御ワード及び修正された利得・制御ワードに対応しない入力利得・制御ワードが、出力信号のそれぞれのフレーム内の開始及び終了利得レベルを表すようにし、符号化されたオーディオ情報、修正された利得・制御ワード及びそれぞれの修正された利得・制御ワードに対応しない入力利得・制御ワードを伝えるフレーム内に配列される情報を伝える出力信号を発生させる。
【００２５】
本発明のさらに他の面によると、信号処理装置及び方法は、利得・制御ワードを伝えるフレーム内に配列される入力信号及び多重オーディオチャンネル用の符号化されたオーディオ情報を受信し、それぞれのオーディオチャンネルにつき入力信号のフレームから符号化されたオーディオ情報及び２つ以上の利得・制御ワードを入手し、符号化されたオーディオ情報を復号することによって出力信号を発生させ、そこでは出力信号が利得・制御ワードの内挿により効果的に変調される。
【００２６】
本発明の各種の特徴及び望ましい実施形態は、以下の議論及び添付図を参照することによってよりよく理解され得る。図面では、幾つかの図面において同一回路には同一参照番号が用いられる。各種の装置を例示する図面は、本発明の理解を支援する主要な成分を示す。簡単のために、実施形態では重要であるが本発明の概念を理解するためには重要でない多くの他の特徴が図面では除外されている。本発明を実施するのに要する信号処理は、マイクロプロセッサ、デジタル信号プロセッサ、ロジックアレイ（論理配列）及び他の形の計算回路回路等各種の広範な方法で達成され得る。信号フィルタは、再帰的、非再帰的及び格子デジタルフィルタ等本質的にあらゆる方法で達成され得る。デジタル及びアナログ技術は、用途の必要性及び特性により各種の組合せで用いられ得る。
【００２７】
オーディオ及びビデオ情報の流れを処理する条件に関して一層特殊なことに触れるが、しかし、本発明の各面はビデオ情報の処理を含まない用途で実施され得る。以下の論議及び図面の内容は、例としてのみ説明されるもので、本発明の範囲を制限するものと理解すべきではない。
【００２８】
【発明の実施形態】
信号及び処理
信号ブロック及びフレーム
図１aは、一連のオーディオブロック１０乃至１８に配列された符号化されるオーディオ情報の流れ及びビデオフレーム1のような一連のビデオフレームに配列されたビデオ情報を例示する。NTSCビデオのようなあるフォーマットにおいて各ビデオフレームは、単一画像を集合的に定める２つのビデオフレームから成る。オーディオブロック１１乃至１７は、ビデオフレーム1で符号化される信号フレーム２１にグループ化される。
【００２９】
表IVで既に述べた通り、ある用途におけるビデオフレームの中には、符号化されるオーディオ情報が整数の数で表されるサンプル、変換係数又は同種のものに分割されないものがある。これは、符号化される信号フレームのグループをそれぞれのスーパーフレームに配列することによって適応され得る。スーパーフレーム３１にグループ化される５つの符号化される信号フレーム２１乃至２５が図１bに例示される。この特殊の配列は、NTSCビデオ及び４８ｋサンプル/secＰＣＭオーディオを用いる用途で用いられ得る。
【００３０】
被処理信号ブロック
オーディオ情報に符号化される一連のブロックは、オーディオ信号の重複する区間を表し得る。幾つかの分割・帯域知覚符号化システムは、例えば、半ブロック長だけ互いに重複するオーディオサンプルのブロックを処理する。概して、これらの重複するサンプルは、分析窓関数によって変調される。
【００３１】
図２aは、分析窓関数の変調包絡線６１乃至６７示す。同包絡線は一連の重複するオーディオブロックの各ブロックに用いられる。重複の長さは、ブロック長の半分と等しい。この重複区間は、上記のO-TDAC変換のような幾つかの分析・合成システムによって一般的に用いられる。
【００３２】
図２bは、符号化される信号フレームに関する一連の重複するブロックに用いられる分析窓関数の結果的に得られる変調包絡線を例示する。図２bに例示されるように、この変調の正味効果、即ち、利得曲線は、重複区間内の隣接ブロックに関する変調包絡線７１乃至７７の合計である。各包絡線を横切る正味効果は単位利得であることが望ましい。
【００３３】
図２cは、符号化される隣接信号フレームに跨る窓関数変調の総合効果を例示する。例示の通り、利得曲線８０乃至８２は重複しかつ加算されて正味効果が単位利得になるようにされる。
【００３４】
分析窓関数のみを用いるシステムでは、すべての窓関数変調の正味効果は、分析窓関数のみの変調効果と等しい。理想的な利得曲線は、分析窓関数の変調包絡線が重複しかつ加算されて定数になることを保証することによって達成される。
【００３５】
分析及び合成窓関数を用いるシステムでは、すべての窓関数変調の正味効果は、分析窓関数及び合成窓関数の積から形成される「積」窓関数と等しい。このようなシステムにおける理想的利得曲線は、積窓関数変調包絡線を重複区間において定数になるように加算することによって達成される。
【００３６】
この開示全体を通して、分析及び合成窓関数を用いる符号化システム及び方法について言及される。このような関係においては、重複される分析窓関数から結果的に得られる利得曲線は、時には定数と同等であると言えるであろう。同様に、重複される合成窓関数から結果的に得られる利得曲線は、時には定数と同等であると言えるであろう。そのような説明は、システム内のすべての窓処理の正味効果に言及することを意図するものであると理解すべきである。
【００３７】
窓関数
分析窓関数の形は、信号の利得曲線に影響するのみならず、対応するフィルタバンクの周波数応答特性にも影響する。
【００３８】
スペクトルスプラッタ
既に述べた通り、多くの分割・帯域知覚符号化システムは、フィルタバンクを用いる。フィルタバンクは、より広いフィルター通過域と引換えにフィルター阻止域の周波数減衰を増強させることによって知覚符号化のために最適化される周波数応答特性を有する。不幸にして、スプライスは、フィルター阻止域と考えられている範囲内にはない周波数範囲内で著しいスペクトルアーティファクト、即ち、「スペクトルスプラッタ」を発生させる傾向がある。一般的な知覚符号化性能を最適化するように計画されるフィルタバンクは、スプライス編集個所で発生されるこれらのスペクトルアーティファクトを聴取不能にするために十分な減衰を与えない。
【００３９】
TDAC変換エイリアシング相殺
O-TDAC変換に関しては、合成変換後の適用後に適用される合成窓関数と共に分析窓関数は、時間領域エイリアシングアーティファクトの相殺を可能にするために多くの制約をも満たさなければならない。
【００４０】
合成変換から復元される信号は、原信号と分析変換によって発生する時間領域エイリアシング成分との和として概念化され得る。図3において、曲線９１、９３及び９５は、逆変換、又は、合成変換から復元されて分析窓関数及び合成窓関数によって変調された入力信号の振幅包絡線の一部を表す。曲線９２、９４及び９６は、逆変換、又は、合成変換から復元されて分析窓関数及び合成窓関数によって変調された時間領域エイリアシング成分を表す。以下の説明及び図から分かるように、時間領域エイリアシング成分は、分析及び合成窓関数によって変調された原入力信号の反映されたレプリカである。
【００４１】
分析O-TDAC 変換及び合成O-TDAC変換の核関数は、ブロックの各半分の窓処理された信号を逆にした映像である時間領域エイリアシング成分を発生させるように設計される。プリンセン他によって開示されるように、O-TDAC変換は、２つの異なった領域で時間領域エイリアシング成分を発生させる。領域２では、時間領域エイリアシング成分は、その領域における原信号を逆に窓処理した映像である。領域１では、時間領域エイリアシング成分は、その領域における原信号を逆に窓処理した映像であるが、映像の振幅が反転される。
【００４２】
例えば、エイリアシング成分９４aは、信号成分９３aの逆に窓操作した映像である。エイリアシング成分９２bは、信号成分９１bの逆に窓操作した映像であるが、反映される成分の振幅は反転される。
【００４３】
隣接ブロックを重複させて加算することによって、原信号が復元されかつエイリアシング成分が相殺される。例えば、信号成分９1b及び９３aは、関数変調の影響なしに信号を復元するために加算され、エイリアシング成分９２b及び９４aは、エイリアシングを相殺するために加算される。同様に、信号成分９３b及び９５aは信号を復元するために加算されかつエイリアシング成分９４b及び９６aはエイリアシングを相殺するために加算される。
【００４４】
スプライス境界の両側の時間領域アーティファクトは、一般的に相殺されない。それは、スプライス直前の合成されたオーディオサンプルの半ブロックのエイリアシングアーティファクトは、スプライス直後の合成されたオーディオブロック半分のエイリアシングアーティファクトの逆ではないからである。
【００４５】
同様な考慮は、プリンセン及びブラッドレイの「時間領域エイリアシング相殺に基づく分析・合成フィルタバンク設計」（IEEE Trans．On Acoust．Speech，Signal Proc．，vol．ASSP-34，pp．1153-1161．）に記載されるような他のエイリアシング相殺フィルタバンクにも当てはまる。このフィルターバンクシステムは、臨界的にサンプリングされる偶数・積重ね単一・側波帯分析・合成システムの時間領域同等物でありかつここでは偶数・積重ね時間・領域エイリアシング相殺（E-TDAC）と呼ばれる。
【００４６】
スプライスにおけるアーティファクト低減利得制御
スプライスによって発生するアーティファクトの可聴性を低減させるために用いられ得る技術は、符号化されるオーディオ信号内に複数の利得制御ワードを組み入れることである。同ワードは、デコーダ又は再生システムに再生信号の振幅を変えるよう指令する。これらの利得・制御ワードを用いる簡単な装置の実施形態については次節で論じられる。
【００４７】
図４aは、装置１００の機能的構成図を例示し、そこではフォーマット回路１１１は、ビデオ情報と、多重オーディオチャンネルを表す符号化されるオーディオ情報と、利得・制御ワードを含むフレームに配列される出力信号とを路１１２に沿って発生させる。フォーマット１１１は、フレームに配列されて多重オーディオチャンネル用のビデオ情報及び符号化されるオーディオ情報を伝える路１０８から受信する信号及び利得・制御ワードを伝える路１１０から受信する信号に応答して出力信号を発生させる。処理回路１０９は、各々が多重オーディオチャンネルの1つと関連する路１０３a及び１０３bから多重制御信号を受信し、各制御信号に応答して路１１０に沿って、それぞれのフレーム内の開始利得及び最終利得を表す一対の利得・制御ワードを発生させる。簡単にするために２つの制御・信号１０３及び２つの関連するオーディオチャンネル１０２のみが示される。この利得・制御技術は、所望なら３つ以上のチャンネルに適用し得る。
【００４８】
図示の実施形態では、符号化回路１０５は、路１０２a及び１０２bから受信する多重オーディオチャンネル信号に応答して多重オーディオ用の符号化されるオーディオ情報を路１０６a及び１０６bに沿って発生させ、フレーム回路１０７は、路１０１から受信するビデオ情報及び路１０６a及び１０６bから受信する符号化されるオーディオ情報をフレーム内に配列することによって路１０８に沿って信号を発生させる。
【００４９】
この利得・制御技術は、路１０８に沿って伝えられる信号と類似の入力信号で用いられ得る。従って、この場合符号化回路１０５及びフレーム１０７は不要である。符号化回路１０５を含む実施形態では、符号化は独立的に各オーディオチャンネル若しくは共に多重オーディオチャンネルに適用され得る。例えば、AC-3符号化技術は、各チャンネル間の冗長性を低減させるか若しくは除去することによって総合振幅要件を低減させるために２つ又はそれ以上のオーディオチャンネルに共に適用され得る。
【００５０】
図４cは、入力信号内の利得・制御ワードにより多重オーディオチャンネルを再生するために出力信号を発生させる装置１４０の機能的構成図を例示する。デフォーマット回路１４２は、路１４１からビデオ情報、符号化されるオーディオ情報及び利得・制御信号を含むフレームに配列される入力信号を受信する。デフォーマット回路１４２は、各入力信号フレームから多重オーディオチャンネルを表す符号化されるオーディオ情報を入手すると共にオーディオチャンネルの各々と関連する一対の利得・制御ワードを入手する。処理回路１４８は、路１４５から利得・制御信号を受信し、それに応答して路１４９a及び１４９bに沿って利得制御信号を発生させる。復号回路１４６は、路１４４a及び１４４bから多重チャンネルの符号化されるオーディオ情報を受信し、それに応答して各オーディオチャンネルにつき出力信号を発生させ、各出力信号の振幅、即ち、レベルが関連する利得制御信号に応答して変化されるようにする。
【００５１】
一対の利得・制御信号は、特殊フレーム内のそれぞれのオーディオチャンネルに関する開始利得及び最終利得を表す。処理回路１４８は、一対の利得・制御ワードの内挿を表す利得制御信号を発生させる。内挿は、線形、方形、対数、即ち、指数のような所望の任意の軌線に従い得る。例えば、線形内挿では、利得制御信号は特殊のフレームを直線的に横切って変化する利得を表す。
【００５２】
復号は、各オーディオチャンネルに独立して用いられるか若しくは多重オーディオチャンネルに共に用いられ得る。例えば、チャンネル間の冗長性を除去又は低減させる符号化の形と相補的であり得る。合成フィルタバンク及び合成窓関数を用いる分割帯域符号化用途では、出力信号は利得制御信号により効果的に変調され得る。これは、フィルタバンクを適用する前に符号化されるオーディオを修正し、合成窓処理前に合成フィルタバンクから得られる合成されるオーディオを修正するか若しくは合成窓関数の適用から得られるオーディオ情報を修正することによって行われ得る。
【００５３】
図４bは、信号内に存在する利得制御ワードを修正する装置１２０の機能的構成図である。デフォーマット回路１２３は、経路１２１からフレーム内に配列される入力信号を受信する。同入力信号は、ビデオ情報、多重オーディオチャンネルを表す符号化されるオーディオ情報及び入力利得・制御ワードから成る。デフォーマット１２３は、入力信号から多重オーディオチャンネルの１つにつき符号化されるオーディオ情報と関連する１つ又はそれ以上の入力利得・制御ワードを入手し、経路１２４a及び１２４bに沿って入力利得制御ワードを送る。処理回路１２６は、経路１２２から受信する制御信号に応答して1つ又はそれ以上の入力利得・制御ワードを修正することによって、経路１２７に沿って１つ又はそれ以上の出力利得・制御ワードを発生させる。フォーマット回路１２８は、経路１２９に沿って出力信号を発生させる。同出力信号は、ビデオ情報、多重オーディオチャンネル用の符号化されるオーディオ情報、出力利得制御ワード及び出力利得制御ワードと対応しない入力利得制御信号を含むフレーム内に配列される。
【００５４】
編集用途において制御信号１２２は、入力信号１２１内のスプライスを示す。それに応答して、処理回路１２６は、装置１４０のような装置を通してスプライス直前の再生信号を減衰させかつスプライスの直後に減衰を反転させるようにする、１つ又はそれ以上の利得制御ワードを発生させる。利得の変化は、幾つかのフレームを横切って伸び得るが、多くの用途において変化はスプライスの一方側の一フレームに限定される。利得変化区間は、利得変化で生じる変調産物の可聴性を利得変化それ自体の可聴性と比較することによって決定され得る。利得制御ワード技術は、編集用途に限定されない。
【００５５】
フレーム境界におけるエイリアシング抑制フィルタバンク
TDAC変換の１つによって与えられるような形のエイリアシング相殺を用いる符号化システムでは、既に述べた理由でスプライス編集においてはスプライスの各側でエイリアシングアーティファクトが相殺されるのが妨げられる。これらの未相殺エイリアシングアーティファクトは、各フレームの開始及び終端においてオーディオブロックに交互にフィルタバンクを用いることによって避けられ得る。例えば、図1aに示されるフレーム２１については、第１フィルターバンクがブロック１１に用いられ、第２フィルターバンクがブロック１２乃至１６に用いられ、第３フィルターバンクがブロック１７に用いられる。これらのフィルタバンクの特性は、各フレームから復元されるオーディオが実質的に未相殺エイリアシングアーティファクトを含まないようにされる。
【００５６】
図５aの装置２００はバッファ回路２０２を含む。同バッファはオーディオ情報のブロックを受信して、オーディオブロックがフレーム内の第１、即ち、開始ブロックか、最終、即ち、終端ブロックか若しくは中間ブロックかどうかを示す制御信号を経路２０３に沿って発生させる。経路２０３から受信される制御信号に応答して、スイッチ２０４が各フレーム内の第１、即ち、開始ブロックを第１フィルターバンク２０５へ方向付け、各フレーム内のすべての中間ブロックを第２フィルターバンク２０６へ方向付け、各フレーム内の最終、即ち、終端ブロックを第３フィルターバンク２０７へ方向付ける。
【００５７】
フォーマット回路２０８は、３つのフィルタバンクの各々から受信したフィルターされたオーディオ情報を経路２０９に沿って送られる出力信号にアセンブルする。
【００５８】
図５bは装置２２０を示し、そこではデフォーマット回路２２２が経路２２１から入力信号を受信し、そこから経路２２４に沿って送られる符号化されるオーディオ情報を入手し、経路２２３に沿って制御信号を発生させ、符号化される情報がフレーム内の第１、即ち、開始ブロックか、最終、即ち、終端ブロックか若しくは中間ブロックかどうかを示すようにする。経路２２３から受信する制御信号に応答してスイッチ２２５が符号化されるオーディオ情報を３つの合成フィルタバンクの１つへ方向付ける。スイッチ２２５は、第１ブロックに対する符号化されるオーディオ情報を第１合成フィルタバンク２２６へ方向付け、中間ブロックに対する符号化されるオーディオ情報を第２合成フィルタバンク２２７へ方向付け、最終ブロックに対する符号化されるオーディオ情報を第３合成フィルタバンク２２８へ方向付ける。バッファ２２９は、３つの合成フィルタバンクから受信する合成されるオーディオブロックに応答して経路２３０に沿って出力信号を発生させる。
【００５９】
第２フィルターバンク
エンコーダの一実施形態において第２フィルターバンクは、引用された上記プリンセン他に開示されるような、O-TDAC変換よるN・点修正DCT及びN・点分析窓関数によって実施される。相補的デコーダにおいては、O-TDAC変換によるN・点修正逆DCT及びN・点合成窓関数によって実施される。順方向及び逆方向O-TDAC変換は、それぞれ式１及び２に示される。
【００６０】
【式１】
ｎ＝信号サンプル数
Ｍ＝サンプルブロック長
ｍ＝O‐TDAC位相項
x(n)＝窓入力信号サンプルn
X（k）＝変換係数k
【００６１】
第２フィルターバンクは、長さがＭ＝Ｎで、エイリアシング映像の２つの領域を発生させ、図３に示されるように２領域間のブロック中点に境界を有する。これらの２つの領域を与えるのに要するＴＤＡＣ位相項はｍ＝Ｎ／２である。
【００６２】
望ましい実施形態では、分析及び合成窓関数は以下に述べる技術により引き出される。これらの窓関数の形状は、図６a曲線２４２に例示される。
【００６３】
第１フィルターバンク
この同じ実施形態においてエンコーダ及び相補的デコーダ内の第１フィルターバンクは、上記修正されるＤＣＴ及び修正される形の窓関数Ｗ2(n)によって実施される。順方向及び逆方向変換は、それぞれ式１及び２に示される。第１フィルターバンクは、長さがＭ＝３Ｎ／２で、エイリアシング映像の単一領域を与える。エイリアシングアーティファクトは、ブロック内信号の反転される端と端とをつないだ映像である。事実上、映像領域２は、長さが零で、２つの領域間の境界はブロックの先端、即ち、右手端である。この単一領域を与えるのに要するＴＤＡＣ位相項はｍ＝０である。
【００６４】
第１フィルターバンクに対する分析及び合成窓関数は同一である。この窓関数の形状は、図６bの曲線２４１によって例示される。それは、３つの区分から構成される。区分１及び２で示される第１及び第２区分は、図６aに示される上記窓関数Ｗ2(x)と同一である。第３区域として示される第３区分は零と等しい。
【００６５】
この第１分析窓関数Ｗ1(n)は、区域３内の信号が零であることを保証する。その結果、区域３から区域１内へ反映されるエイリアシングアーティファクトも零である。区域１から区域３内へ反映されるエイリアシングアーティファクトは概してゼロにはならないが、第１合成窓関数Ｗ1(n)が合成されるオーディオブロックに用いられると区域３内へ反映されるあらゆるアーティファクトは除去されるであろう。その結果、エイリアシングアーティファクトは区域２内のみに存在する。
【００６６】
第３フィルターバンク
この同じ実施形態においてエンコーダ及び相補的デコーダ内の第３フィルターバンクは、上記修正されるＤＣＴ及び窓関数Ｗ2(n)の修正される形状によって実施される。順方向変換及び逆変換は、それぞれ式１及び２に示される。第３フィルターバンクは、長さがＭ＝３Ｎ／２で、エイリアシング映像の単一領域２を与える。エイリアシングアーティファクトは、ブロック内の信号の端と端とをつないだ映像である。事実上、映像領域１は長さがゼロで、２つの領域間の境界は、ブロックの後端、即ち、左手端にある。この単一領域を与えるのに要するＴＤＡＣ位相項はｍ＝３Ｎ／２である。
【００６７】
第３フィルターバンク用の各分析合成窓関数Ｗ3(n)は同一である。適切な窓関数の形状は、図６cの曲線２４３によって例示される。それは３つの区分から構成される。区域１として示される第１区分は零である。区域２及び３として示される第２及び第３区分は、図６aに示される上記窓関数Ｗ2(x)と同一である。
【００６８】
この第３分析窓関数Ｗ3(n)は、区域１内の信号が零であることを保証する。その結果、区域１から区域3へ反映されるエイリアシングアーティファクトはゼロである。区域３から区域１へ反映されるエイリアシングアーティファクトは概してゼロではないであろう。しかし、第３合成窓関数Ｗ3(n)が合成されるオーディオブロックに用いられると、区域１内へ反映されるあらゆるアーティファクトは除去されるであろう。その結果、エイリアスアーティファクトは区域２のみに存在する。
【００６９】
図６dは、窓関数Ｗ1(n)、Ｗ2(n)及びＷ3(n)２４１乃至２４３がどのように相互重複するかを例示する。利得曲線２４０は、端と端とをつないだ窓処理の正味効果を表す。それは、ＴＤＡＣ用で、対応する各分析合成窓関数の積から形成される一連の重複する積窓関数である。分析・合成窓関数Ｗ1(n)によって加重されるブロック１１の区域２内のエイリアシングアーティファクトは、分析・合成窓関数Ｗ2(n)によって加重されるブロック１２の前半分内のエイリアシングアーティファクトによって相殺される。分析・合成窓関数Ｗ3(n)によって加重されるブロック１７の区域２内のエイリアシングアーティファクトは、分析・合成窓関数Ｗ2(n)によって加重されるブロック１６の後半分内のエイリアシングアーティファクトによって相殺される。ブロック１２及び１３又はブロック１５及び１６のような中間ブロック対内の信号復元及びエイリアシング相殺は、従来のＴＤＡＣにより行われる。
【００７０】
この技術を用いることによって、スプライス編集はあらゆるフレーム境界で行われかつエイリア信号アーティファクトが未相殺で残ることはない。
【００７１】
窓関数の導出
窓関数Ｗ2(n)は、次節に記載する技術を用いて基底窓関数から引き出され得る。適切な重複・加算特性を有するあらゆる窓関数が基底窓関数として用いられ得るが、望ましい実施形態で用いられる基底窓関数はカイザ・ベッセル（Kaiser-Bessel）窓関数である。
【００７２】
【式２】
ｎ＝窓サンプル数
N＝サンプル数窓長さ
【式３】
誘導では、カイザ・ベッセル窓関数ＷKＢ(n)を直角窓関数s(n)で巻き込むことによって、（ブロック長−重複区間v）と等しい長さを有する分析・合成積窓関数ＷP(n)を発生させる。即ち
【式４】
【００７４】
【式５】
v＝窓重複区間内のサンプル数
N＝所望の積・窓の長さ
ＷKＢ(n)＝長さv＋1nの基底窓関数
ＷP(n)＝長さNの誘導された積・窓
【式６】
O-TDAC変換に関して、重複区間v＝N/２、分析窓及び合成窓関数は等しい。従って、いずれかの窓関数は次式から得られる。
【００７６】
【式７】
【００７７】
フレーム全体を通して未相殺エイリアシングアーティファクトがないことは、スプライスにおいて本質的にあらゆる窓関数が用いられることを可能にする。概して、これらの窓関数は、重複区間に跨る一定の利得曲線を保持し得る形状を有する。各スプライスにおいて、重複区間は多くのフレームを横切って延び得る。しかし、多くの用途では５乃至３０ｍｓｅｃの範囲内にある「スプライス重複区間」を用いることが予想される。以下に述べる理由で、スプライスを横切る重複区間が増大され得ることは重要である。
【００７８】
スプライスにおけるスペクトルスプラッタ・低減フィルタバンク
上記範囲内のアルファ係数は、知覚符号化が最適化されると言う意味で多くの符号化用途にとって最適である。既に述べたように、概して符号化は、より広いフィルター通過域と引換えにフィルター阻止域内の周波数減衰を増大させることによって最適化される。知覚符号化につき最適化されるフィルターの典型的周波数応答の例は、図７の曲線３４２に示される。この曲線は、Ｏ-ＴＤＡＣ分析・合成システムのフレーム利得曲線の周波数応答を表す。同システムは、α＝６のＫＤＢ窓関数を用いかつ２５６サンプルと等しいフレーム重複区間を有する。通過及び阻止域間の境界はきびしく定めてないが、この例において通過域は約200Ｈｚまでを含み、阻止域は約１ｋＨｚ以上に及ぶ。遷移（過渡）区域が両域間に伸びる。
【００７９】
２５６・サンプルブロックに用いられる用途では、スプライス編集は、フィルターの中心周波数の約２００Ｈｚ乃至１ｋＨｚ以内で著しい擬似のスペクトル成分又はスペクトルスプラッタを発生させる傾向がある。他の長さのブロックを用いる用途に関してこの周波数範囲は、ブロック長で割られる２つの定数の項で表され得る。従って、それぞれブロック長で割られる約５０，０００乃至２５６，０００Ｈｚで表される範囲以内に顕著なスペクトルスプラッタが発生する。
【００８０】
図７に示す例では、これらの周波数はフィルター阻止域と考えられるものの外側である。知覚符号化性能を最適化するように設計されフィルタバンクは、スプライス編集において発生されるスペクトルスプラッタの十分な減衰は与えない。これらのアーティファクトは、通常信号によって隠蔽されるには大きすぎるので可聴である。
【００８１】
図7の曲線３４１及び３４３は、2つの他の分析・合成システムの周波数応答を例示する。同システムは、阻止域ではかなりより少ない減衰を与えるが、スプライスにおいて発生されるスペクトルスプラッタによって影響される周波数範囲内でより多い減衰を与える。
【００８２】
スペクトルスプラッタの減衰を増加させるために知覚符号化の幾つかの性能が犠牲になる。周波数応答でスペクトルエネルギの減衰が最適化されるのが望ましく、２５６サンプルブロックをフィルターするシステムに関しては２００Ｈｚ及び６００Ｈｚを含む周波数若しくはそれぞれがブロック長で割られる約５０、０００及び１５０，０００の周波数範囲以内が望ましい。
【００８３】
時には一般的符号化及びスプライスにおけるクロスフェードされるフレームの双方に関する周波数要件を満たす妥協が得られる。そのような妥協が得られない用途では、スプライスが検知されて分析・合成システムの周波数応答が変更される。この変化は合成濾波と共に行われなければならない。それは、分析フィルタバンクは概してスプライス操作を予想できないからである。
【００８４】
図８は、分析・合成システムの端と端とをつないだ周波数応答を変えることによってスプライスにおけるスペクトルスプラッタを低減させるために用いられ得る装置３２０を例示する。この装置においてデフォーマット３２２は経路３２１から入力信号を受信し、そこから経路３２４に沿って送られる符号化されるオーディオ情報を入手し、スプライスがフレームの始め又は終りのいずれで起こるかを示す制御信号を経路３２３に沿って発生させる。スプライスの発生は、入力信号で明示的に伝えられるか若しくは信号で伝えられる他の信号から暗示され得る。
【００８５】
例えば、ＡＥＳ-3/ＥＢＵ標準によると、オーディオ情報の連続ブロックは、ゼロから２５５まで増加し、その後ほぼゼロになるブロック数を含む。2つの不連続な隣接ブロック数は、スプライスを示し得る。しかし、この試験は信頼できない。それは、ＡＥＳ/ＥＢＵデータの流れを処理する装置の中にはこの増加数を示さないものがあるからである。オーデイオの流れが符号化されると、符号化計画は連続的番号付けか若しくは他の形の予測可能な情報を与え得る。もし、情報が期待するものに従わないなら、スプライスの存在を示すために信号が発生され得る。
【００８６】
経路３２３から受信される制御信号に応答して、スイッチ３２５が符号化されるオーディオ信号を３つの合成フィルタバンクの1つへ方向づける。スイッチ３２５は、スプライスに続くフレームの第1ブロックに関する符号化されるオーディオ情報を第1合成フィルタバンク３２６へ、スプライス前のフレーム内の最後のブロックに関する符号化されるオーディオ情報を第3合成フィルタバンク３２８へ、他のブロックに関する符号化されるオーディオ情報を第2合成フィルタバンク３２７へ方向づける。その代わりに、これらの他のブロックに関する符号化されるオーディオ情報は、図５に関して既に述べた技術により3つのフィルタバンクの1つへ方向づけられ得る。バッファ３２９は、3つのフィルタバンクから受信される、合成されるオーディオブロックに応答して経路３３０に沿って出力信号を発生させる。
【００８７】
第1及び第3合成フィルタバンクは、幾つかの分析フィルタバンクと共に所望の周波数方途を達成するように設計される。多くの用途でこの分析フィルタバンクは、一般的符号化性能を第2合成フィルタバンクと最適化させるように設計される。第1及び第3フィルターバンクは、本質的に所望の総合周波数応答を与える任意の方法で実施され得る。概して、2つのフィルタバンクは、同一の周波数応答を有するが、時間・逆転される相互のレプリカであるインパルス応答を有するであろう。変換及び窓関数を用いるフィルタバンクを実施する用途では、適切なフィルタバンクは、スプライスの両側で隣接フレーム間の重複区間を増大させる合成窓関数を用いることによって実施され得る。
【００８８】
合成されるオーディオの変調
これは幾つかの方法で実施され得る。一方法では、合成フィルタバンクから復元される合成されたオーディオ信号を変調し、スプライスの両側のフレームが互いにクロスフェードするようにされる。これは、図４ｃに例示されるような装置１４０で達成され得る。デコーダ１４６は、スプライスに先立つフレームの合成される信号の振幅を所望のスプライス・重複区間に跨って低減させる。事実上、スプライスに先立つフレームの利得曲線は、この区間を横切って単位レベルからある低レベルに低下する。同様にデコード１４６も、スプライスに続くフレーム内の合成信号振幅を所望のスプライス・重複区間を横切って増大させる。実際、スプライスに続くフレームの利得曲線は、この区間を横切って低レベルから単位レベルまで増大する。もし、利得曲線の有効変化が分析・合成窓処理の変調効果を説明するなら、重複されるフレームの総合利得は維持され得る。
【００８９】
利得曲線の有効変化は直線であり得る。図７の曲線３４３は、持続時間約５msecの直線的に先細りになるフレーム利得曲線の周波数応答特性を例示する。毎秒４８ｋサンプルのサンプルレートにおいてこの区間は約５６サンプルに相当する。多くの符号化用途で、変換は２５６サンプルを有するサンプルブロックに用いられる。従って、これらの特殊な用途において、２５６サンプルの傾斜又は直線的に先細りになる利得曲線は、フレーム境界において「終端」ブロック及びこの終端ブロックと重複する隣接ブロックの一部を横切って伸びる。これは終端ブロックに1フィルターバンクを用い、じかに隣接するブロックに他のフィルタバンクを用い、フレーム内部の他のブロックにさらに別のフィルタバンクを用いることと同等である。図８に例示する装置３２０を参照すると、「終端」ブロックに隣接かつ重複するブロックを処理するためには２つの追加の合成フィルタバンクが必要とされるであろう。
【００９０】
この直線的に先細りする湾曲部の周波数応答は、基準応答を表しそれに対して他の周波数応答が評価され得る。概して、この基準に関してスペクトルエネルギの減衰を最適化させるフィルタバンクは、スプライスにおいて発生されるスペクトルスプラッタを低減させるのに有効である。
【００９１】
修正される合成窓関数
分析・合成システムの総合周波数応答を変化させる他の方法は、合成窓を修正し、分析・合成窓処理の正味効果が所望の応答を達成するようにすることである。実際、総合周波数応答は結果的に生じる分析・合成積窓関数により変化される。
【００９２】
図７の曲線３４１は周波数応答を表し、それはスプライスにおいて曲線３４３によって表される、５msecの直線的に先細りする利得曲線周波数応答より大きな範囲までスペクトルスプラッタを減衰させる。曲線３４１の応答は、２５６・点変換及びα＝１のＫＤＢ窓関数を用いて、Ｏ−ＴＤＡＣ分析・合成システムによって達成される。既に述べた通り、曲線３４２はα＝６のＫＤＢ窓関数に相当する。
【００９３】
これらの分析・合成システムの端と端とをつないだ周波数応答は、分析窓関数及び合成窓関数の積から形成される窓の周波数応答と同等である。これは代数的に以下のように表される。
ＷＰ6(n)＝ＷＡ6(n)ＷＳ6(n) (５ａ)
ＷＰ1(n)＝ＷＡ1(n)ＷＳ1(n) (５ｂ)
ここでＷＡ6(n)＝α＝６の分析ＫＢＤ窓関数
ＷＳ6(n)＝α＝６の合成ＫＢＤ窓関数
ＷＰ６(n)＝α＝６のＫＢＤ積窓関数
ＷＡ1(n)＝α＝１の分析ＫＢＤ窓関数
ＷＳ1(n)＝α＝１の合成ＫＢＤ窓関数
ＷＰ1(n)＝α＝１のＫＢＤ積窓関数
【００９４】
端と端とをつないだ周波数応答を他の幾つかの望ましい応答に変換するために合成窓関数が修正されるなら、それ自体及び分析関数の積が所望の応答を有する積窓と同等になるように修正されなければならない。もし、ＷＰ1に相当する周波数応答が望ましくかつ分析窓関数ＷＡ6が信号分析に用いられるなら、この関係は代数的に以下のように表され得る。
ＷＰ1(n)＝ＷＡ6(n)ＷＸ(n) (５ｃ)
ここでＷＸ(n)＝周波数応答を変換するのに要する合成窓関数
これは以下のように表され得る。
ＷＸ(n)＝ＷＰ1(n)／ＷＡ6(n) (５ｄ)
【００９５】
スプライス・重複区間がフレーム内の「終端」ブロックと重複する近接オーディオブロックまで伸びるなら、窓関数ＷＸの実際の形状は、式５ｄで示されるものより幾分複雑になる。これは以下でより詳細に論じられる。とにかく、式５ｄは、フレーム内で他のあらゆるブロックと重複しない終端ブロックのその区分の窓関数ＷＸに必要とされるものを正確に表す。Ｏ−ＴＤＡＣを用いるシステムに関しては、その区分はブロック長の半分と等しいか若しくは０≦ｎ＜N/２に関するものである。
【００９６】
端と端とをつないだ周波数応答をより高いアルファ曲線からより低いアルファ曲線へ変換するために合成窓関数ＷＸが用いられるときには、それはフレーム境界付近で非常に大きな値を持たなければならない。図９に例が示され、そこでは曲線３５１がα＝１のＫＤＢ積窓を例示し、曲線３５６がα＝６のＫＤＢ分析又は合成窓関数を例示し、曲線３５９が式５ｄによる合成窓を例示する。曲線３５６がフレーム境界に近づくにつれて曲線３５２より非常に小さくなる。従って、曲線３５９は非常に大きくなる。不幸にして、曲線３５９のような形状を有しかつ窓関数ＷＸの端で大きく増加する合成窓関数は、非常に好ましくない周波数応答特性を有し、復元される信号の音質を劣化させるであろう。この問題を解決するために用いられ得る２つの技術が以下に論じられる。
【００９７】
サンプル放棄
合成窓関数を修正する第１技術は、分析窓関数が最小値を有するフレーム境界において幾つかのサンプルを捨てることによって窓関数ＷＸの大きな増加を避けることである。放棄されるサンプル数を変えることによって、フレーム重複区間内でサンプルを伝えるのに要する帯域幅は、デコーダの好ましくない周波数応答特性によって生じるシステム性能の低下に対して釣合がとられる。
【００９８】
例えば、積窓関数ＷＰ１に相当する所望の周波数応答を達成するために、フレーム内の最初の３ブロックに関する合成窓関数が修正されかつ信号分析に用いられる窓関数がＷＡ６であるときには、必要な修正される合成窓関数は以下のとおりである。
【００９９】
【式８】
ＷＸ2(n)＝第２ブロックの修正される合成窓関数
ＷＸ3(n)＝第３ブロックの修正される合成窓関数
ｘ＝フレーム境界で捨てられるサンプル数
【０１００】
図１０ａは、幾つかのｘの値に関して、ＫＢＤα＝６分析窓関数を用いる２５６・点Ｏ−ＴＤＡＣ分析・合成システムを、２５６サンプルと等しいフレーム重複区間を有する、ＫＢＤα＝１分析及び合成窓関数を用いるシステムのものと同等の周波数応答を有する分析・合成システムに変換するために要する、修正される合成窓関数の形状を例示する。曲線３６１、３６２、３６３及び３６４は、それぞれｘ＝８、１６、２４及び３２サンプルに対する修正される合成窓関数である。
【０１０１】
これらの修正された窓関数を用いる合成フィルタバンクの周波数応答は、図１０ｂに示される。曲線３７２、３７３及び３７４は、それぞれｘ＝８、１６及び２４に対する周波数応答である。曲線３７１は、α＝１を有するＫＢＤ窓関数を用いる合成フィルタバンクの周波数応答である。この図から分かるように、ｘ＝１６を有する修正された合成窓関数は、約２００Ｈｚ以上からα＝１を有するＫＢＤ窓関数を用いた合成フィルタバンクよって達成されるものと約同一の範囲まで周波数を減衰させる。言い換えると、分析フィルタバンク及びα＝６分析窓関数と共に用いられるとき、ｘ＝１６サンプルを捨てる合成フィルタバンクは、その分析−合成システムの周波数応答が、α＝１分析及び合成窓関数を用いるシステムの端と端とをつないだ周波数応答と同等である端と端とをつないだ分析・合成周波数応答を達成でき、同時に、α＝１合成フィルタバンクを用いる合成フィルタバンクと殆ど同程度の約２００Ｈｚ以上の周波数を減衰させる合成フィルタバンク周波数応答を与えることができる。
【０１０２】
通常符号化用の低いアルファ値を有するＫＤＢ窓関数を用いるシステムは、概して合成窓関数への修正は少なく、フレーム終端で捨てられるべきサンプルは少なくてよいであろう。フレームの終端で修正を要する合成窓関数は、時間反転を除けば式６ａ乃至６ｃに示される窓関数と類似している。
【０１０３】
フレーム利得曲線変調
合成窓関数を修正する第２技術は、スプライスの両側にすぐ接してフレーム利得曲線が理想的レベルから僅かにずれさせることによって窓関数ＷＸの大きな増加を避ける。利得曲線のずれを変えることによって、ずれによる可聴性がスペクトルスプラッタの可聴性に取って代わる。
【０１０４】
この技術は、修正された合成窓関数がフレーム境界において又はその近くで小さな値を持つよう平滑化する。適切になされると、結果的に生じる合成窓関数は、受容できる周波数応答を有し、利得が比較的小さいところでは、フレーム利得曲線がフレーム境界において又はその近くで理想的ＫＢＤ積窓関数からずれるであろう。理想的クロスフェード利得形状によって与えられるものと比較して、スペクトルスプラッタの減衰の程度はほんの少し悪化するであろう。
【０１０５】
例えば、望ましい周波数応答を達成するために、フレーム内の始めの３ブロックに対する合成窓関数が修正されなければならないときには、第２及び第３ブロックに要する修正された合成窓関数ＷＸは、概してｘ＝０に対して上記式６b及び６cに示されるものと同一である。上記式６aに示される修正された合成窓関数ＷＸ1は、平滑化窓関数長の最初の半分に亘ってそれを点ごとに符号化窓関数と乗ずることによって平滑化される。結果的に生じる第１ブロックに対して修正された合成窓関数は次式である。
【０１０６】
【式９】
ｐ＝Ｎ未満と仮定される平滑化窓関数の長さ
フレームの終端において要する修正された合成窓関数は、時間逆転を除けばこの窓関数と同一である。
【０１０７】
平滑化窓関数ＷＭは、本質的にあらゆる窓関数に基づき得るが、ＫＢＤ平滑化関数がうまく働くと思われる。この例では、平滑化窓関数は、α＝６を有する長さ１２８のＫＢＤ窓関数である。図１１aでは、曲線３８１は平滑化なしで修正される合成窓関数の形状を例示し、曲線３８２は平滑化と共に修正される合成窓関数の形状を例示する。
【０１０８】
平滑化されかつ修正された窓関数を用いる分析・合成システムの周波数応答は、図１１bに示される。曲線３９１は平滑化されかつ修正された窓関数を用いて結果的に得られる周波数応答を表す。曲線３４１は、α＝１を有するＫＢＤ窓関数を用いる分析・合成システムの周波数応答を表す。曲線３９３は、周波数応答に対する各ピークの包絡線を表し、それは既に論じかつ曲線３４３として例示された、持続時間が約５msecの直線的に先細りされるフレームクロスフェード窓関数を用いることで結果的に得られる。図から分かるように、平滑化されかつ修正される合成窓関数は、α＝１を有するＫＢＤ窓関数を用いる分析・合成システムによって達成される周波数応答と類似の周波数応答を達成する。
【０１０９】
ハイブリッド分析・合成窓関数修正
上記技術では、フレーム利得曲線へのすべての変化は単一合成処理でなされる。その代わりに、分析処理は、各フレーム境界におけるブロックに対する一周波数応答を有するフィルタバンクを用いかつ各内部ブロックに対して他のフィルタバンクを用い得る。フレーム境界におけるブロックに用いられるフィルタバンクは、スプライスにおけるスペクトルスプラッタの十分な減衰を達成させるために、合成処理で要する修正量を低減させるように設計され得る。
【０１１０】
データ同期
ビデオ及びオーディオの双方を処理する用途では、概してビデオフレーム長はオーディオブロック長と等しくない。表III及びIVに示される標準に対しては、各ビデオフレーム及び各オーディオブロックはめったに同期しない。言い換えると、ビデオ境界上のビデオ・オーディオ情報の編集個所は、多分オーディオブロック境界上にはない。その結果、ブロック符号化システムでは、残余の区分ブロックによって表されるオーディオ情報は適切に復元され得ない。この問題を解決する２つの技術が以下で論じられる。
【０１１１】
オーディオサンプルレート変換
第１技術では、外部レートで受信されるオーディオ入力信号が、符号化システムの内部処理で用いられる他のレートに変換される。内部レートは、内部信号に十分な帯域幅を与えかつ好都合なサンプル数がビデオの各フレームとグループ化され得るように選ばれ。復号、又は、再生時において出力信号が内部レートから外部レートへ変換され、それは原入力オーディオ信号の外部レートと等しい必要はない。
【０１１２】
表Ｖは、幾つかのビデオ標準に対してビデオフレーム長、ビデオフレーム長と等しい毎秒４８ｋでのオーディオサンプル数、これらのオーディオサンプル数をサンプルの目標数に変換するのに要する内部レート及び以下に論じる内部オーディオフレーム長を示す。各ビデオ標準に対して括弧内に示される数は、Ｈｚで示されるビデオフレームレートである。３０Ｈｚを超えるビデオフレームに対しては、目標数は８９６である。３０Ｈｚ未満のビデオフレームに対しては、目標数は１７９２である。これらの目標数は例示のために選ばれたが、１２８サンプルずつ互いに重複する２５６サンプルブロックの整数の数に割り切れるので多くの用途にとって好都合である。
【０１１３】
【表４】
例えば、毎秒４８ｋサンプルでの入力オーディオ信号及び毎秒２５フレームでのＰＡＬビデオ信号を処理する用途では、入力オーディオ信号は毎秒４３ｋサンプルのレートを有する内部信号に変換され得る。内部信号サンプルは、処理用の内部オーディオフレーム内に配列され得る。表Ｖに示される例では、内部オーディオフレーム長は１９２０サンプルである。これらの例では、内部オーディオフレーム長はビデオフレーム長と等しくない。この不等は、一フレーム内の各オーディオサンプルが他のフレーム内のオーディオサンプルと重複するだけのサンプル数のためである。
【０１１５】
図２cに例示される例を参照すると、各フレームは互いに幾つかのサンプル数だけ重複する。このサンプル数がフレーム重複区間を構成する。多くの用途では、フレーム重複区間はそれぞれのフレーム以内の隣接オーディオブロック間の重複区間と等しい。ビデオフレーム長と等しいサンプル数は、一フレームの初めから次のフレームの初めまでの区間に跨るサンプル数である。これは、内部オーディオフレーム長からフレーム重複区間内のサンプル数を引いたものと等しい。
【０１１６】
表Ｖに示される既に論じた例では、ビデオフレーム長と等しいサンプル数は、ビデオフレーム長に依存して１７９２又は８９６のいずれかである。フレーム重複区間は１２８サンプルである。３０Ｈｚを超えるフレームレートに対しては、各内部オーディオフレームは１０２４（８９６＋１２８）サンプルを含み、１２８サンプルずつ互いに重複する２５６サンプルの７ブロック内に配列され得る。低いビデオフレームレートに対しては、各内部オーディオフレームは１９２０（１７９２＋１２８）サンプルを含み、１２８サンプルずつ互いに重複する２５６サンプルの１４ブロック内に配列され得る。
【０１１７】
フレーム境界においてエイリアシングアーティファクトを発生させないフィルタバンクが用いられるときには、フレーム区間は２５６サンプルに増加されるのが望ましく、それは３０Ｈｚを超えるフレームレートに対しては、内部フレーム長を１１５２（８９６＋２５６）まで、また、より低いフレームレートに対しては２０４８（１７９２＋２５６）まで増加させる。
【０１１８】
オーディオ信号を所望のビデオフレームレートと同期させるために要する内部サンプルレートは、そのビデオフレームレートと、ビデオフレーム長と等しいサンプル数との積と等しい。これは次式と同等である。
Ｒ1＝ＲV*（LA−ＬO） （８）
ここでＲ1＝内部サンプルレート
ＲV＝ビデオフレームレート
LA＝内部オーディオフレーム長
ＬO＝フレーム重複区間
【０１１９】
図１２aは装置４００の機能的構成図を例示し、同装置の変換回路４０３では、経路４０２から外部サンプルレートを有する入力オーディオ信号を受信し、入力オーディオ信号を内部サンプルレートを有する内部信号に変換し、内部信号を符号化回路４０４へ送る。内部信号に応答して符号化回路４０４は経路４０５に沿って内部オーディオフレーム内に配列される、符号化された信号を発生させる。フォーマット回路４０６は、経路４０１からフレーム内に配列されるビデオ情報を受信し、経路４０７に沿って出力信号を発生させるために内部オーディオフレームを各ビデオフレームとまとめる。
【０１２０】
図１２bは、装置４１０の機能的構成図を例示し、同装置のデフォーマット回路４１２では、経路４１１からビデオ情報及び符号化されるオーディオ情報から成るフレーム内に配列される入力信号を受信する。デフォーマット回路４１２は、入力信号から、経路４１３に沿って送られるビデオ情報を得て、経路４１４に沿って送られ、内部オーディオフレームに配列された、符号化されるオーディオ情報を得る。デコード回路４１５は、変換回路４１６へ送られる内部サンプルレートを有する内部信号を発生させるために、符号化された情報を復号する。変換回路４１６は、内部信号を外部サンプルレートを有する出力信号に変換する。
【０１２１】
サンプルレート変換には本質的にあらゆる技術が用いられ得る。サンプルレート変換に対する各種の考察及び実施例がアダムス(Adams)及びクオーン(Kwan)の「非同期サンプルレート変換用理論及びＶＳＬＩアーキテクチャ」（Ｊ．Of Audio Engr．Soc．，July 1993，vol．41，no．7/8．Pp．539‐555）に開示される。
【０１２２】
ダイナミックオーディオフレーム調整
サンプルレート変換が用いられないときには、オーディオフレームレートはビデオフレームレートと共に変わらなければならない。内部オーディオフレーム長は、変換を用いる分割帯域符号化のようなブロック処理を容易にする変換長、例えば、適度に大きい２の冪指数の整数倍に設定され得る。次いでフレーム重複区間は、内部オーディオフレーム長と、ビデオフレームに正確にまたがるサンプル数との間の差と等しくなるように設定される。これは次式で表され得る。
ＬO＝ＬA−ＬV （９）
ここでＬV＝オーディオサンプル数で表されるビデオフレーム長
【０１２３】
不幸にして、上記表Ｖに示すように、この技術はＮＴＳＣビデオを処理する用途に対して一層複雑である。それはＮＴＳＣビデオフレームレートがオーディオサンプルレートの整数倍と等しくないからである。表VIに示されるように、毎秒４８ｋサンプルでオーディオの８００８サンプルと同期させるためには、ＮＴＳＣビデオの５フレームが必要である。５フレームのグループをここではスーパーフレームと言う。
【０１２４】
スーパーフレーム内の各ビデオフレームに相当するオーディオサンプル数は一定ではなく変化する。多くの配列が可能であるが、２９．９７ＨｚＮＴＳＣビデオに対する望ましい配列は、それぞれ１６０２、１６０１、１６０２、１６０１及び１６０２サンプルに相当する一連の５フレームである。５９．９４ＨｚＮＴＳＣビデオに対しては類似の列が用いられ、そこでは一対の８０１・サンプルブロックが各１６０２ブロックに対してかつ８０1と８００とのサンプルブロック対が各１６０１ブロックに対して置き換えられ得る。以下の論議は、２９．９７ＨｚＮＴＳＣビデオフレームを処理する用途に対する解明に向けられる。これらの概念は、他のビデオフレームレートにも適用され得る。
【０１２５】
式９に示されるように、デコーダは、ビデオフレーム長ＬVを決定し、重複区間長を正確に決定できるようにしなければならない。デコーダがフレーム境界でのスプライス編集と直面する場合は、スプライスに続くフレームは可能性のある５通りのスーパーフレーム線列の任意の１つを表し得る。各ブロックがデコーダで用いるスーパーフレームと一致しない限り、デコーダはそれらによって表されるオーディオを復元することはできないであろう。これは下記のダイナミック(動的)ビデオフレーム整列技術よって達成され得る。
【０１２６】
この技術によると、図１３aに示される装置４２０では、エンコード回路４２３は、経路４２２からオーディオ情報を受信し、それぞれのスーパーフレーム内の各フレームにつき独特なラベルによって識別される各フレームのスーパーフレーム内に配列され、符号化されたオーディオ情報を発生させる。符号化されたオーディオ情報の各スーパーフレームは、経路４２５に沿って送られ、フレームラベルは経路４２４に沿って送られる。フォーマット回路４２６は、経路４２１からビデオ情報を受信してこのビデオ情報、符号化されたオーディオ情報の各フレーム及び相当するラベルを経路４２７に沿って送られる出力信号にまとめる。
【０１２７】
図１３bに示される装置４３０では、デフォーマット回路４３２が、経路４３１から入力信号を受信し、経路４３３に沿って送られるビデを情報の各フレーム、経路４３５に沿って送られる符号化されたオーディオ情報の一連のスーパーフレーム及び経路４３４に沿って送られる符号化されたオーディオ情報の各フレームに対するラベルを得る。処理回路４３６は、ラベルに応答して符号化されたオーディオ情報の各フレームに対する開始サンプル及びフレーム長を決定し、デコード回路４３８は、処理回路４３６によって決められる開始サンプル及びフレーム長により、符号化されるオーディオ情報の各フレーム復号することによって経路４３９に沿って出力信号を発生させる。
【０１２８】
望ましい実施形態では、各スーパーフレームのフレームは０、１、２、３及び４と呼ばれる。フレーム０の開始サンプルは、ビデオ信号のフレーム境界と正確に同期すると仮定される。スーパーフレーム内の各フレームは、同一構造で発生され、「初期サンプル」、「名目開始サンプル」及び合計１６０３サンプルに対する他の１６０１サンプルを有する。望ましい実施形態では、サンプルは０から１６０２までの番号をつけられ、そこでは名目開始サンプルはサンプル番号１である。従って、ビデオフレーム長は１６０３である。既に論じたとおり、内部オーディオフレーム長はフレーム重複区間のためにより大きくなり得る。好都合な内部オーディオフレーム長は１７９２である。フレーム利得曲線は、１６０３のビデオフレーム長により決められる。今述べた例については、フレーム重複区間は１８９(１７９２−１６０３)である。
【０１２９】
装置４３０は、所望の任意のスーパーフレーム整列を採用しかつ各オーディオフレームの整列を動的に変えて、ビデオ情報との適切な同期が得られるようにする。整列は、開始サンプル及び各フレームに対する長さを動的に選択することによって変えられる。既に述べた通り、スーパーフレーム内の５・フレームパターンにより長さは１６０１及び１６０２間で変わる。この動的整列の効果は、同伴のビデオ情報との同期を保持する、スプライスに続く適切な整列が直ちに得られることである。
【０１３０】
ここで述べる望ましい実施形態では、開始サンプル番号及びビデオフレーム長は次式により得られる。
Ｋ＝（ＦE−ＦD）ｍｏｄ５ （10）
ここでＫ＝整列表アクセスキー
ＦE＝エンコーダフレームラベル
ＦD＝デコーダフレームラベル
【０１３１】
デコーダは、符号化された信号からエンコーダフレームラベルを得る。デコーダフレームラベルは、デコーダによって採用されるスーパーフレーム整列により０乃至４の反復列の形でデコーダによって発生される。
【０１３２】
デコーダは、表へのアクセスキーとしてＫを用いて表VIから適切なフレーム開始サンプル及びビデオフレーム長を得る。
【０１３３】
【表５】
動的整列の例は図14に例示される。この例では、スーパーフレームはフレーム４５３で始まり、フレーム４５５に続くスプライスによって中断される。スーパーフレーム内の最後のフレーム４５６がスプライスに続き、新しいスーパーフレームがフレーム４５７で始まる。各フレーム内のオーディオ情報の理想的長さは、列４５０のボックス内に示される。エンコーダによって発生される各フレームに対するエンコーダフレームラベルＦEは、列４６１に示される。ラベル０が各スーパーフレームの第１フレームに相当することに注目されたい。この例では、デコーダによって仮定されるデコーダラベルＦDは、列４６２内に示される。式１０によって計算されるこれらの２ラベル間の差は、列４６３内に示される整列表アクセスキーＫを決定する。整列表から決められるように、開始及び終了サンプル数は列４６４内に示される。例えば、０−１６０１の表示は、サンプル０で始まりサンプル１６０１で終わる１６０２・サンプルフレームを示す。
【０１３５】
フレーム４５１では、デコーダが１６０２サンプル長のブロックを処理する。このフレームは、エンコーダスーパーフレーム整列による「理想的」長さより一サンプル長い。従って、フレーム４５２は一サンプル遅く開始しかつ理想的長さより一サンプル短い。これは、サンプル番号１で始まり、スーパーフレームの第１フレームと正確に同期されるフレーム４５３に帰着する。フレーム４５４及び４５５の整列は理想的整列と一致する。
【０１３６】
スプライスの直後、フレーム４５６の整列は理想的配列と一致する。フレーム４５７は、サンプル番号1で始まり、次のスーパーフレーム開始と正確に同期する。フレーム４５７の長さは、理想的長さより１サンプル短いが、それでフレーム４５８は１サンプル早く始まりかつ理想的長さより１サンプル長い長さを有する。フレーム４５９の開始は、理想的なものと一致するが、それより一サンプル短い。従って、フレーム４６０は一サンプル早く始まりかつ理想的なものより一サンプル長い。
【０１３７】
このサンプルが示すように、スプライスによって発生されるあらゆる不連続性にかかわらず、デコーダは各スーパーフレームの開始との正確な同期を達成する。
【０１３８】
式６a乃至６cと共に既に論じたものと類似の方法で適切な端と端とをつないだフレーム利得曲線を達成させるために、装置４３０は修正された窓関数を用いる。各フレームの開示における修正される合成窓関数は、式６aに従って決定され、そこではフレーム境界において「捨てられる」サンプル数ｘは、早期開始サンプルと比較してフレーム開始整列オフセット(偏差)と等しい。例えば、サンプル２で始まるフレームに対してはｘ＝２である。各フレームの終りにおける修正された合成窓関数は、時間反転方法におけるものを除けば、｝式６aにより同様に決定される。
【図面の簡単な説明】
【図１】 ブロック、フレーム及びスーパーフレームの形で配列されるビデオ及びオーディオの構成図で、図１a及び１bで示される。
【図２】 窓関数で変調される重複ブロック及び窓されたブロックを含むフレームの結果的に生じる利得曲線の利得構成図であり、図２乃至図２cで示される。
【図３】 エイリアシング相殺変換によって発生される信号及びエイリアシング成分を例示する。
【図４】 符号化される情報の流れにおいて利得制御ワードを発生させ、変化させかつそれに応答する装置の機能的構成図を例示する。
【図５】 フレーム境界においてエイリアシングアーティファクトを抑制するために交番するフィルタバンクを加える装置の機能的構成図であり、図5a及び5bで示される。
【図６】 フレーム境界においてエイリアシングアーティファクトを抑制するために用いられ得る窓関数構成図であり、図６a乃至６dで示される。
【図７】 フレーム境界における各種の窓関数を用いる結果から得られる周波数応答特性を例示する。
【図８】 各スプライスにおいてスペクトルスプラッタの減衰を増強させるために交番するフィルタバンクを加える装置の機能的構成図を例示する。
【図９】 図８の装置に関する幾つかの窓関数の構成図である。
【図１０】 図８の装置に関する幾つかの窓関数の構成図であり、図１０aで示される。
【図１１】 図８の装置に関する幾つかの窓関数の構成図であり、図１１aで示される。
【図１２】 オーディオサンプル及びビデオフレーム間の同期を行うためにサンプルレート変換に備える装置を例示する機能的構成図であり、図１２a及び１２bで示される。
【図１３】 スプライスを横切るビデオスーパーフレームと同期させるために動的オーディオフレーム整列に備える装置を例示する機能的構成図であり、図１３a及び１３ｂで示される。
【図１４】 ビデオフレーム特性及びスプライスを横切る動的オーディオフレームの効果を示す構成図である。
Claims (14)
- ｉ）フレーム内に配列された入力信号を受信するステップであって、それぞれのフレームは、多重オーディオチャンネル用の符号化されたオーディオ情報と各オーディオチャンネル用の関連づけられた利得・制御ワードのグループとを含む、ステップと、
ｊ）前記入力信号のフレームからそれぞれのオーディオチャンネル用の前記符号化されたオーディオ情報と、前記関連づけられた利得・制御ワードのグループとを入手するステップと、
ｋ）前記符号化されたオーディオ情報を復号することによって出力信号を発生させるステップであって、前記出力信号のレベルは、前記関連づけられた利得・制御ワードのグループによって表される開始利得レベルと終了利得レベルとの間で内挿を行うことにより得られる利得曲線によって効果的に変調される、ステップと、
から成る信号処理方法。 - 前記入力信号の前記フレームは、２つ以上のブロックに配列された符号化されたオーディオ情報を含み、前記出力信号を発生させるステップは、１つ又はそれ以上の逆ブロック変換を適用するステップと、それに続いて１つ以上の合成窓関数を適用することを含む、請求項１に記載の方法。
- 前記出力信号は、符号化された情報の前記ブロックを前記変換が適用される前に修正することによって効果的に変調される、請求項２に記載の方法。
- 前記出力信号は、前記変換が適用される後であるが前記合成窓関数が適用される前に、入手可能な情報を修正することによって効果的に変調される、請求項２に記載の方法。
- 前記内挿が実質的に対数的である、請求項１に記載の方法。
- ａ）フレーム内に配列された入力信号を受信するステップであって、それぞれのフレームが多重オーディオチャンネル１０２ a 、１０２ b 用の符号化されたオーディオ情報を含むようにしたステップと、
ｂ）各制御信号が前記多重オーディオチャンネルのそれぞれの１つと関連する、多重制御信号１０３ a 、１０３ b を受信するステップと、
ｃ）前記入力信号のそれぞれのフレームに対する前記制御信号に応答して、利得・制御ワードの各グループが前記オーディオチャンネルのそれぞれの 1 つと関連づけられるような利得・制御ワードのグループを発生させるステップであって、利得・制御ワードのそれぞれのグループは、前記それぞれのフレーム内の前記符号化されたオーディオ情報から前記関連づけられたオーディオチャンネルにオーディオ信号を再生させるための、開始利得レベル及び終了利得レベルを表すようにした、ステップと、
ｄ）フレーム内に配列された出力信号を発生させるステップであって、それぞれのフレームは、前記多重オーディオチャンネル用の前記符号化されたオーディオ情報と、前記関連づけられた利得・制御ワードのグループとを含み、ここで、前記出力信号は、伝送又は記憶に適した形を有する、ステップと、
をさらに具備し、ステップｉ）では、ステップｄ）で発生させた出力信号を前記入力信号として受信することを特徴とする請求項１に記載の方法。 - ｅ）制御信号を受信するステップと、
ｆ）フレーム内に配列された入力信号を受信するステップであって、それぞれのフレームは、多重オーディオチャンネル用の符号化されたオーディオ情報と各オーディオチャンネル用の関連づけられた利得・制御ワードのグループとを含み、ここで、利得・制御ワードのそれぞれのグループは、前記それぞれのフレーム内の前記符号化されたオーディオ情 報から前記関連づけられたオーディオチャンネルにオーディオ信号を再生させるための、開始利得レベル及び終了利得レベルを表すようにした、ステップと、
ｇ）前記制御信号に応答して前記利得・制御ワードの 1 つ以上を修正するステップであって、修正前及び修正後の利得・制御ワードによって表される利得レベルがそれぞれ互いに異なるようにする、ステップと、
ｈ）フレーム内に配列された出力信号を発生させるステップであって、それぞれのフレームは、前記多重オーディオチャンネル用の前記符号化されたオーディオ情報と、前記関連づけられた利得・制御ワードのグループとを含み、ここで、前記出力信号は、伝送又は記憶に適した形を有する、ステップと、
をさらに具備し、ステップｉ）では、ステップｈ）で発生させた出力信号を前記入力信号として受信することを特徴とする請求項１に記載の方法。 - フレーム内に配列される入力信号を受信する装置であって、それぞれのフレームは、多重オーディオチャンネル用の符号化されたオーディオ情報と各オーディオチャンネル用の関連づけられた利得・制御ワードのグループとを含む受信装置と、
前記入力信号のフレームからそれぞれのオーディオチャンネル用の前記符号化されたオーディオ情報と、前記関連づけられた利得・制御ワードのグループとを得る装置と、
前記符号化されたオーディオ情報を復号することによって出力信号を発生させる装置であって、前記出力信号のレベルは、前記関連づけられた利得・制御ワードのグループによって表される開始利得レベルと終了利得レベルとの間で内挿を行うことにより得られる利得曲線によって効果的に変調される発生装置と、
から成る信号処理装置。 - 前記入力信号の前記フレームは、2つ又はそれ以上のブロックに配列された符号化されたオーディオ情報を含み、前記出力信号を発生させるステップは、1つ又はそれ以上の逆ブロック変換を適用するステップと、それに続いて１つ以上の合成窓関数を適用することを含む、請求項８に記載の装置。
- 前記出力信号は、符号化された情報の前記ブロックを前記変換が適用される前に修正することによって効果的に変調される、請求項９に記載の装置。
- 前記出力信号は、前記変換が適用される後であるが前記合成窓関数が適用される前に、入手可能な情報を修正することによって効果的に変調される、請求項９に記載の装置。
- 前記内挿が実質的に対数的である、請求項８に記載の装置。
- フレーム内に配列された入力信号を受信する装置であって、それぞれのフレームが多重オーディオチャンネル１０２ a 、１０２ b 用の符号化されたオーディオ情報を含む装置と、
多重制御信号１０３ a 、１０３ b を受信する装置であって、各制御信号が前記多重オーディオチャンネルのそれぞれの 1 つと関連する、装置と、
前記入力信号のそれぞれのフレームに対する前記制御信号に応答して、利得・制御ワードの各グループが前記オーディオチャンネルのそれぞれの 1 つと関連づけられるような利得・制御ワードのグループを発生させる装置であって、利得・制御ワードのそれぞれのグループは、前記それぞれのフレーム内の前記符号化されたオーディオ情報から前記関連づけられたオーディオチャンネルにオーディオ信号を再生させるための、開始利得レベル及び終了利得レベルを表すようにした、装置と、
フレーム内に配列された出力信号を発生させる装置であって、それぞれのフレームは、前記多重オーディオチャンネル用の前記符号化されたオーディオ情報と、前記関連づけられた利得・制御ワードのグループとを含み、ここで、前記出力信号は、伝送又は記憶に適した形を有する装置と、
をさらに具備し、前記出力信号が前記入力信号として受信されることを特徴とする請求項８に記載の信号処理装置。 - 制御信号を受信する装置と、
フレーム内に配列された入力信号を受信する装置であって、それぞれのフレームは、多重オーディオチャンネル用の符号化されたオーディオ情報と各オーディオチャンネル用の関連づけられた利得・制御ワードのグループとを含み、ここで、利得・制御ワードのそれぞれのグループは、前記それぞれのフレーム内の前記符号化されたオーディオ情報から前記関連づけられたオーディオチャンネルにオーディオ信号を再生させるための、開始利得レベル及び終了利得レベルを表す装置と、
前記制御信号に応答して前記利得・制御ワードの 1 つ又はそれ以上を修正する装置であって、修正前及び修正後の利得・制御ワードによって表される利得レベルがそれぞれ互いに異なる装置と、
前記修正装置に応答して、フレーム内に配列された出力信号を発生させる装置であって、それぞれのフレームは、前記多重オーディオチャンネル用の前記符号化されたオーディオ情報と、前記関連づけられた利得・制御ワードとを含み、ここで、前記出力信号は、伝送又は記憶に適した形を有する発生装置と、
をさらに具備し、前記出力信号が前記入力信号として受信されることを特徴とする請求項８に記載の信号処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/953,324 US5899969A (en) | 1997-10-17 | 1997-10-17 | Frame-based audio coding with gain-control words |
| US08/953,324 | 1997-10-17 | ||
| PCT/US1998/021552 WO1999021371A1 (en) | 1997-10-17 | 1998-10-13 | Frame-based audio coding with gain-control words |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001521347A JP2001521347A (ja) | 2001-11-06 |
| JP2001521347A5 JP2001521347A5 (ja) | 2006-02-09 |
| JP4229586B2 true JP4229586B2 (ja) | 2009-02-25 |
Family
ID=25493823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000517559A Expired - Lifetime JP4229586B2 (ja) | 1997-10-17 | 1998-10-13 | エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US5899969A (ja) |
| EP (1) | EP1023809B1 (ja) |
| JP (1) | JP4229586B2 (ja) |
| KR (1) | KR100591009B1 (ja) |
| AT (1) | ATE200722T1 (ja) |
| AU (1) | AU755358B2 (ja) |
| CA (1) | CA2305534C (ja) |
| DE (1) | DE69800717T2 (ja) |
| DK (1) | DK1023809T3 (ja) |
| ES (1) | ES2156034T3 (ja) |
| WO (1) | WO1999021371A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10511865B2 (en) | 2014-09-09 | 2019-12-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio splicing concept |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4867076B2 (ja) * | 2001-03-28 | 2012-02-01 | 日本電気株式会社 | 音声合成用圧縮素片作成装置、音声規則合成装置及びそれらに用いる方法 |
| JP4359499B2 (ja) * | 2001-06-08 | 2009-11-04 | アイピージー エレクトロニクス ５０３ リミテッド | オーディオ信号の編集 |
| US20030187663A1 (en) | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| US7941037B1 (en) * | 2002-08-27 | 2011-05-10 | Nvidia Corporation | Audio/video timescale compression system and method |
| EP1620811A1 (en) * | 2003-04-24 | 2006-02-01 | Koninklijke Philips Electronics N.V. | Parameterized temporal feature analysis |
| JP4495209B2 (ja) * | 2004-03-12 | 2010-06-30 | ノキア コーポレイション | 符号化済みマルチチャンネルオーディオ信号に基づくモノオーディオ信号の合成 |
| US20060062407A1 (en) * | 2004-09-22 | 2006-03-23 | Kahan Joseph M | Sound card having feedback calibration loop |
| US8521314B2 (en) | 2006-11-01 | 2013-08-27 | Dolby Laboratories Licensing Corporation | Hierarchical control path with constraints for audio dynamics processing |
| JP5285626B2 (ja) * | 2007-03-01 | 2013-09-11 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
| WO2009081003A1 (fr) * | 2007-12-21 | 2009-07-02 | France Telecom | Codage/decodage par transformee, a fenetres adaptatives |
| US11657788B2 (en) | 2009-05-27 | 2023-05-23 | Dolby International Ab | Efficient combined harmonic transposition |
| TWI484481B (zh) | 2009-05-27 | 2015-05-11 | 杜比國際公司 | 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體 |
| US9338523B2 (en) * | 2009-12-21 | 2016-05-10 | Echostar Technologies L.L.C. | Audio splitting with codec-enforced frame sizes |
| US9406303B2 (en) | 2011-11-18 | 2016-08-02 | Sirius Xm Radio Inc. | Systems and methods for implementing cross-fading, interstitials and other effects downstream |
| US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
| US8712076B2 (en) | 2012-02-08 | 2014-04-29 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
| CA2866585C (en) * | 2012-03-06 | 2021-02-23 | Sirius Xm Radio Inc. | Systems and methods for audio attribute mapping |
| CA2870865C (en) | 2012-04-17 | 2020-08-18 | Sirius Xm Radio Inc. | Server side crossfading for progressive download media |
| CN104718572B (zh) * | 2012-06-04 | 2018-07-31 | 三星电子株式会社 | 音频编码方法和装置、音频解码方法和装置及采用该方法和装置的多媒体装置 |
| CN102739323B (zh) * | 2012-06-16 | 2013-09-04 | 天地融科技股份有限公司 | 音频数据传输方法 |
| TWI557727B (zh) | 2013-04-05 | 2016-11-11 | 杜比國際公司 | 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品 |
| US11308928B2 (en) | 2014-09-25 | 2022-04-19 | Sunhouse Technologies, Inc. | Systems and methods for capturing and interpreting audio |
| EP3889954B1 (en) | 2014-09-25 | 2024-05-08 | Sunhouse Technologies, Inc. | Method for extracting audio from sensors electrical signals |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4551688A (en) * | 1984-05-23 | 1985-11-05 | Rockwell International Corporation | Delay compensated automatic gain control |
| US4625240A (en) * | 1984-07-25 | 1986-11-25 | Eeco, Inc. | Adaptive automatic gain control |
| US5109417A (en) * | 1989-01-27 | 1992-04-28 | Dolby Laboratories Licensing Corporation | Low bit rate transform coder, decoder, and encoder/decoder for high-quality audio |
| US5479562A (en) * | 1989-01-27 | 1995-12-26 | Dolby Laboratories Licensing Corporation | Method and apparatus for encoding and decoding audio information |
| NL9000338A (nl) * | 1989-06-02 | 1991-01-02 | Koninkl Philips Electronics Nv | Digitaal transmissiesysteem, zender en ontvanger te gebruiken in het transmissiesysteem en registratiedrager verkregen met de zender in de vorm van een optekeninrichting. |
| EP0520068B1 (en) * | 1991-01-08 | 1996-05-15 | Dolby Laboratories Licensing Corporation | Encoder/decoder for multidimensional sound fields |
| US5394508A (en) * | 1992-01-17 | 1995-02-28 | Massachusetts Institute Of Technology | Method and apparatus for encoding decoding and compression of audio-type data |
| US5369724A (en) * | 1992-01-17 | 1994-11-29 | Massachusetts Institute Of Technology | Method and apparatus for encoding, decoding and compression of audio-type data using reference coefficients located within a band of coefficients |
| US5623577A (en) * | 1993-07-16 | 1997-04-22 | Dolby Laboratories Licensing Corporation | Computationally efficient adaptive bit allocation for encoding method and apparatus with allowance for decoder spectral distortions |
| US5451954A (en) * | 1993-08-04 | 1995-09-19 | Dolby Laboratories Licensing Corporation | Quantization noise suppression for encoder/decoder system |
| US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
| US5920842A (en) * | 1994-10-12 | 1999-07-06 | Pixel Instruments | Signal synchronization |
| EP0738441B1 (en) * | 1994-11-04 | 2002-03-13 | Koninklijke Philips Electronics N.V. | Encoding and decoding of a wideband digital information signal |
| US5727119A (en) * | 1995-03-27 | 1998-03-10 | Dolby Laboratories Licensing Corporation | Method and apparatus for efficient implementation of single-sideband filter banks providing accurate measures of spectral magnitude and phase |
| DE69713971T2 (de) * | 1996-03-19 | 2003-03-20 | Dolby Lab Licensing Corp | Analyse/synthese-filtersystem mit effizienter mit ungerade gestapelter einseitenband-filterbank unter verwendung der tdac-technik |
-
1997
- 1997-10-17 US US08/953,324 patent/US5899969A/en not_active Expired - Lifetime
-
1998
- 1998-10-13 AU AU98009/98A patent/AU755358B2/en not_active Expired
- 1998-10-13 JP JP2000517559A patent/JP4229586B2/ja not_active Expired - Lifetime
- 1998-10-13 WO PCT/US1998/021552 patent/WO1999021371A1/en active IP Right Grant
- 1998-10-13 EP EP98952266A patent/EP1023809B1/en not_active Expired - Lifetime
- 1998-10-13 ES ES98952266T patent/ES2156034T3/es not_active Expired - Lifetime
- 1998-10-13 DK DK98952266T patent/DK1023809T3/da active
- 1998-10-13 CA CA002305534A patent/CA2305534C/en not_active Expired - Lifetime
- 1998-10-13 AT AT98952266T patent/ATE200722T1/de active
- 1998-10-13 KR KR1020007003421A patent/KR100591009B1/ko not_active IP Right Cessation
- 1998-10-13 DE DE69800717T patent/DE69800717T2/de not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10511865B2 (en) | 2014-09-09 | 2019-12-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio splicing concept |
| US11477497B2 (en) | 2014-09-09 | 2022-10-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio splicing concept |
| US11882323B2 (en) | 2014-09-09 | 2024-01-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio splicing concept |
Also Published As
| Publication number | Publication date |
|---|---|
| AU755358B2 (en) | 2002-12-12 |
| AU9800998A (en) | 1999-05-10 |
| EP1023809B1 (en) | 2001-04-18 |
| EP1023809A1 (en) | 2000-08-02 |
| CA2305534C (en) | 2007-03-27 |
| CA2305534A1 (en) | 1999-04-29 |
| DK1023809T3 (da) | 2001-05-07 |
| ATE200722T1 (de) | 2001-05-15 |
| WO1999021371A1 (en) | 1999-04-29 |
| JP2001521347A (ja) | 2001-11-06 |
| KR100591009B1 (ko) | 2006-06-22 |
| DE69800717D1 (de) | 2001-05-23 |
| KR20010024342A (ko) | 2001-03-26 |
| US5899969A (en) | 1999-05-04 |
| DE69800717T2 (de) | 2001-09-13 |
| ES2156034T3 (es) | 2001-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4126681B2 (ja) | エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 | |
| JP4236813B2 (ja) | エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 | |
| JP4229586B2 (ja) | エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 | |
| JP4126680B2 (ja) | エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 | |
| JP4126682B2 (ja) | エイリアシング抑制追加フィルタバンク付フレーム・基礎オーディオ符号化 | |
| JP2001521309A5 (ja) | ||
| JP2001521308A5 (ja) | ||
| JP2001521347A5 (ja) | ||
| JP2001521310A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20051013 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051013 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080813 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080820 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080912 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080922 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081202 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |