JP3539615B2 - 符号化装置、編集装置及び符号化多重化装置並びにそれらの方法 - Google Patents
符号化装置、編集装置及び符号化多重化装置並びにそれらの方法 Download PDFInfo
- Publication number
- JP3539615B2 JP3539615B2 JP05712598A JP5712598A JP3539615B2 JP 3539615 B2 JP3539615 B2 JP 3539615B2 JP 05712598 A JP05712598 A JP 05712598A JP 5712598 A JP5712598 A JP 5712598A JP 3539615 B2 JP3539615 B2 JP 3539615B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- coding
- audio
- editing
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
【０００２】
発明の属する技術分野
従来の技術
発明が解決しようとする課題（図１５〜図１８）
課題を解決するための手段
発明の実施の形態
（１）第１の実施の形態（図１〜図９）
（２）第２の実施の形態（図１０〜図１２）
（３）他の実施の形態（図１３〜図１４）
発明の効果
【０００３】
【発明の属する技術分野】
本発明は符号化装置、編集装置及び符号化多重化装置並びにそれらの方法に関し、例えばデイジタル信号の編集に適用して好適なものである。
【０００４】
【従来の技術】
従来、画像や音声の信号は、Ａ／Ｄ（Analog/Digital）変換してデイジタル符号化したデイジタル信号で扱われることが増えている。デイジタル化方法の代表的なものとして、ＭＰＥＧ（Moving Picture Experts Group）と呼ばれる方式があり、かかるＭＰＥＧ方式では、音声をフレームと呼ばれる所定の単位に分割し、このフレーム毎に圧縮符号化処理を行いオーデイオストリームを生成する。
【０００５】
符号化された音声を編集する場合、一旦ベースバンド信号に復号して編集した後再び符号化することは、音質の劣化を招くとともに編集装置の構成が複雑になるため、符号化されたオーデイオストリームの状態で編集処理を行う事が考えられる。
【０００６】
【発明が解決しようとする課題】
現在デイジタルテレビ放送等で使用されている、ＩＳＯ（International Organization for Standards、国際標準化機構）１１１７２−３で標準化されたいわゆるＭＰＥＧ１ Ｌａｙｅｒ２方式で符号化されたオーデイオストリームの場合、全てのフレームは前後のフレームに依存することなく復号することができるため、全てのフレームにおいて編集を行うことができる。
【０００７】
これに対し、ＩＳＯ１３８１８−７で標準化されたいわゆるＭＰＥＧ２ ＡＡＣ（Advanced Audio Coding ）方式のような、予測符号化を用いた、あるフレームの復号処理が前後のフレームに依存する符号化方法の場合、編集を行うことにより編集の切替え点のフレームを復号した音声に歪みが生じることがある。
【０００８】
図１５において１０は全体としてオーデイオ編集装置を示し、外部よりオーデイオストリームＤ１Ａ及びＤ１Ｂが供給されていると同時に、ストリームサーバ１５よりオーデイオストリームＤ１５Ａ及びＤ１５Ｂが供給されている。オーデイオストリームＤ１Ａ、Ｄ１Ｂ、Ｄ１５Ａ及びＤ１５ＢはそれぞれＭＰＥＧ２
ＡＡＣ方式により符号化された音声データである。
【０００９】
切替器１１Ａは、オーデイオストリームＤ１Ａ及びＤ１５Ａのいずれか一方を選択し、オーデイオストリームＤ１１Ａとして切替器１２に送出する。切替器１１Ｂも同様に、オーデイオストリームＤ１Ｂ及びＤ１５Ｂのいずれか一方を選択し、オーデイオストリームＤ１１Ｂとして切替器１２に送出する。
【００１０】
切替器１２は、オーデイオストリームＤ１１Ａ及びオーデイオストリームＤ１１Ｂを任意の時点で切り換えることにより、編集後のオーデイオストリームＤ１２を生成し外部に送出する。
【００１１】
図１６は、オーデイオ編集装置１０におけるオーデイオストリームの編集状態を示し、図１６（Ａ）に示すオーデイオストリームＤ１１ＡのフレームＡ３と、図１６（Ｂ）に示すオーデイオストリームＤ１１ＢのフレームＢ４とを接続することにより、図１６（Ｃ）に示すオーデイオストリームＤ１２を生成している。フレームＡ３のように編集点の直前となることのできるフレームを編集終了可能点フレームと呼び、フレームＢ４のように編集点の直後となることのできるフレームを編集開始可能点フレームと呼ぶ。
【００１２】
符号化時においてはフレームＡ３の後にフレームＡ４が続いていたが、編集を行つたことにより後のフレームがＢ４に変更されている。オーデイオストリームＤ１１Ａを符号化した符号化部は、編集によつてフレームＡ３の後にどのようなフレームが接続されるのか分からないため、編集終了可能点フレームＡ３を後ろに続くフレームに依存せずに復号できるように符号化しなければならない。同様に符号化時においてはフレームＢ４の前にフレームＢ３が続いていたが、編集を行つたことにより前のフレームがＡ３に変更されている。オーデイオストリームＤ１１Ｂを符号化した符号化部は、編集によつてフレームＢ４の前にどのようなフレームが接続されるのか分からないため、編集開始可能点フレームＢ４を前に続くフレームに依存せずに復号できるように符号化しなければならないという問題がある。
【００１３】
以上はオーデイオストリームを単独で編集する場合について述べたが、例えばテレビジョン番組の編集のように、対応するオーデイオストリームとビデオストリームを同時に編集することが多い。
【００１４】
図１７において、２０は全体としてオーデイオ・ビデオ編集装置を示し、外部よりトランスポートストリームＤ２Ａ及びＤ２Ｂが供給されていると同時に、ストリームサーバ１５よりトランスポートストリームＤ１６Ａ及びＤ１６Ｂが供給されている。トランスポートストリームＤ２Ａ、Ｄ２Ｂ、Ｄ１６Ａ及びＤ１６Ｂは、それぞれＭＰＥＧ２方式により符号化されたビデオストリーム及びＭＰＥＧ２ ＡＡＣ方式により符号化されたオーデイオストリームが多重化されたものである。
【００１５】
切替器２１ＡはトランスポートストリームＤ２Ａ及びＤ１６Ａのいずれか一方を選択し、トランスポートストリームＤ２１Ａとして分離部２４Ａに送出する。分離部２４ＡはトランスポートストリームＤ２１Ａに多重化されているビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ２４Ａ及びオーデイオストリームＤ２５Ａとしてビデオ切替器２７及びオーデイオ切替器２８に送出する。
【００１６】
同様に、切替器２１ＢはトランスポートストリームＤ２Ｂ及びＤ１６Ｂのいずれか一方を選択し、トランスポートストリームＤ２１Ｂとして分離部２４Ｂに送出する。分離部２４ＢはトランスポートストリームＤ２１Ｂに多重化されているビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ２４Ｂ及びオーデイオストリームＤ２５Ｂとしてビデオ切替器２７及びオーデイオ切替器２８に送出する。
【００１７】
ビデオ切替器２７は、ビデオストリームＤ２４Ａ及びビデオストリームＤ２４Ｂを切り換えることにより、編集後のビデオストリームＤ２７を生成し外部に送出する。またオーデイオ切替器２８は、オーデイオストリームＤ２５Ａ及びオーデイオストリームＤ２５Ｂを切り換えることにより、編集後のオーデイオストリームＤ２８を生成し外部に送出する。
【００１８】
ここで、一般的にオーデイオ切替器２７及びビデオ切替器２８は同期して切替を行う。例えば、オーデイオストリームＤ２４ＡとビデオストリームＤ２４Ａ、及びオーデイオストリームＤ２４ＢとビデオストリームＤ２４Ｂはそれぞれテレビジヨン番組の音声と映像として対応しており、ビデオストリームＤ２４Ａのある時点でビデオストリームＤ２４Ｂに切り替えると同時に、オーデイオストリームＤ２５ＡをオーデイオストリームＤ２５Ｂに切り替える。
【００１９】
このように音声と映像を同期して編集する場合、オーデイオストリームにオーデイオギヤツプと呼ばれる無音区間が発生するという問題がある。
【００２０】
図１８（Ａ）において、ビデオストリームＤ２４Ａの編集終了可能点ピクチヤＰｏａと、ビデオストリームＤ２４Ｂの編集開始可能点ピクチヤＰｉｂとをつなぎあわせることにより、ビデオストリームＤ２７を生成している。このとき同時に、オーデイオストリームＤ２５ＡとオーデイオストリームＤ２５Ｂをつなぎあわせることにより、オーデイオストリームＤ２８を生成している。
【００２１】
ここで、編集終了可能点ピクチヤＰｏａと当該編集終了可能点ピクチヤＰｏａに最も近い編集終了可能点フレームＦｏａとは、Ｇａで示される時間差を有している。同様に、編集開始可能点ピクチヤＰｉｂと当該編集開始可能点ピクチヤＰｉｂに最も近い編集開始可能点フレームＦｉｂとは、Ｇｂで示される時間差を有している。そしてオーデイオストリームＤ３２において、時間差Ｇａと時間差Ｇｂの合計がオーデイオギヤツプとなる。
【００２２】
図１８（Ａ）においては、時間差Ｇａ及び時間差Ｇｂはそれぞれ１フレーム分以下であるが、場合によつては図１８（Ｂ）に示すように、時間差Ｇａ及び時間差Ｇｂはそれぞれ数フレーム分になることもあり、このような場合オーデイオギヤツプが長くなつてしまうという問題がある。
【００２３】
本発明は以上の点を考慮してなされたもので、編集作業による歪みやオーデイオギヤツプの少ない符号化装置、編集装置及び符号化多重化装置並びにそれらの方法を提案しようとするものである。
【００２４】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、音声信号の符号化において、編集終了可能符号化単位を符号化する場合、後ろに続く符号化単位との干渉の少ない符号化重み付けパターンを用いるとともに、編集開始可能符号化単位を符号化する場合、前に続く符号化単位との干渉の少ない符号化重み付けパターンを用いるようにすることにより、編集作業による歪みを少なくする。
【００２５】
また音声信号の符号化において、編集開始可能符号化単位を符号化する場合、予測器の使用を停止するとともに予測器の状態変数を初期化することにより、編集作業による歪みを少なくする。
【００２６】
また音声信号の符号化において、編集終了可能音声符号化単位を、編集終了可能映像符号化単位の表示終了の直前に表示を終了する符号化単位とし、編集開始可能音声符号化単位を、編集開始可能映像符号化単位の表示開始の直後に表示を開始する符号化単位とすることにより、オーデイオギヤツプを最小限とする。
【００２７】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２８】
（１）第１の実施の形態
図１において、５０Ａは全体として符号化多重化装置を示し、外部より映像信号Ｓ１Ａ及び音声信号Ｓ２Ａが供給されている。ビデオ符号化部５１は、映像信号Ｓ１ＡをＭＰＥＧ２（Moving Picture Experts Group）方式により符号化し、ビデオストリームＤ５１として送出する。また、オーデイオ符号化部６０は、音声信号Ｓ２ＡをＭＰＥＧ２ ＡＡＣ（Advanced Audio Coding ）方式（以下、ＡＡＣ方式と呼ぶ）により符号化し、オーデイオストリームＤ６０として送出する。多重化部５６はビデオストリームＤ５１及びオーデイオストリームＤ６０をＭＰＥＧ２方式により多重化し、トランスポートストリームＤ５０Ａとして送出する。
【００２９】
このときシステムコントローラ５３は、編集位置指示信号Ｄ５に応じて、編集可能点指示信号Ｄ５４を、ビデオ符号化部５１及びオーデイオ符号化部６０に送出する。編集位置指示信号Ｄ５は、符号化多重化装置５０Ａを操作するオペレータにより、シーンの切れ目等の編集位置としたいタイミングで入力される。
【００３０】
ビデオ符号化部５１は、編集可能点指示信号Ｄ５４に応じて、ビデオストリームＤ５１に編集終了可能点ピクチヤ及び編集開始可能点ピクチヤを設定する。すなわち図２において、編集可能点指示信号Ｄ５４が示す編集位置をＥとすると、編集位置Ｅの直前のピクチヤを編集終了可能点ピクチヤＰｏとし、編集位置Ｅの直後のピクチヤを編集開始可能点ピクチヤＰｉとする。そして編集終了可能点ピクチヤＰｏの予測符号化方式を、前方向予測符号化を用いたＰピクチヤ又はイントラ符号化を用いたＩピクチヤとして符号化し、編集開始可能点ピクチヤＰｉの予測符号化方式を、イントラ符号化を用いたＩピクチヤとして符号化する。そして、かかる編集終了可能点ピクチヤ及び編集開始可能点ピクチヤの設定結果をビデオ編集可能点設定信号Ｄ５２としてシステムコントローラ５３に送出する。
【００３１】
オーデイオ符号化部６０は、編集可能点指示信号Ｄ５４に応じて、オーデイオストリームＤ６０に編集終了可能点フレーム及び編集開始可能点フレームを設定し、かかる編集終了可能点フレーム及び編集開始可能点フレームの設定結果を、オーデイオ編集可能点設定信号Ｄ５９としてシステムコントローラ５３に送出する。すなわち図２において、編集可能点指示信号Ｄ５４が示す編集位置をＥとすると、編集位置Ｅの直前のフレームを編集終了可能点フレームＦｏとし、編集位置Ｅの直後のフレームを編集開始可能点フレームＦｉとすることにより、オーデイオギヤツプＧａ及びＧｂをそれぞれ１フレーム以下とし、オーデイオギヤツプの長さを最小限になるようにする。システムコントローラ５３は、ビデオ編集可能点設定信号Ｄ５２及びオーデイオ編集可能点設定信号Ｄ５９に応じて、編集可能点信号Ｄ５３を多重化部５６に送出する。
【００３２】
ここでオーデイオ符号化部６０は、編集終了可能点フレームＦｏ及び編集開始可能点Ｆｉの変換窓形状を規定するとともに、編集開始可能点フレームＦｉについて予測符号化を停止する。
【００３３】
まず、変換窓形状について説明する。図３は、ＡＡＣ方式における、符号化部に入力されるオーデイオデータのサンプル値をフレーム毎に処理する際の重み付けパターンである変換窓の形状を示している。ＡＡＣ方式においては、４種の変換窓形状を選択して使用することができ、フレーム単位で変換窓形状の選択を変えることが可能である。
【００３４】
図３（Ａ）に示すオンリーロングシークエンスＳ１では、２フレーム分のサンプルに相当する２０４８サンプルの入力区間に対してＭＤＣＴ処理を行うことにより、１０２４本のスペクトル係数を得る。また図３（Ｂ）に示すエイトシヨートシークエンスＳ２では、一つのシヨートウインドウが１２８本のスペクトル係数への変換に対応しており、８個のシヨートウインドウを時間的にオーバーラツプさせながら８回のＭＤＣＴを行うことにより１０２４本のスペクトル係数を得る。図３（Ｃ）に示すロングスタートシークエンスＳ３及び図３（Ｄ）に示すロングストツプシークエンスＳ４は、オンリーロングシークエンスＳ１とエイトシヨートシークエンスＳ２との切り替え区間に用いられる。
【００３５】
図３（Ｅ）は、隣り合うフレームの変換窓の干渉いわゆるオーバーラツプを示す。フレームＦ(n-1) 及びフレームＦ(n) の変換窓はどちらもオンリーロングシークエンスＳ１が選択されている。フレームＦ(n-1) の変換窓Ｗ(n-1) 及びフレームＦ(n) の変換窓Ｗ(n) はフレームＦ(n) においてオーバーラツプしており、フレームＦ(n) の入力オーデイオサンプルはフレームＦ(n-1) 及びフレームＦ(n) の双方の符号化処理対象となる。
【００３６】
すなわち、フレームＦ(n) に相当する区間の復号においては、フレームＦ(n-1) のオーデイオストリームに符号化されていたスペクトル係数をＩＭＤＣＴ処理したサンプル値のうちフレームＦ(n) に相当するオーデイオサンプルと、フレームＦ(n) のオーデイオストリームに符号化されていたスペクトル係数をＩＭＤＣＴ処理したサンプル値のうちフレームＦ(n) に相当するオーデイオサンプルとを、それぞれの変換窓形状に応じた重み付けを行つた後加算することにより、フレームＦ(n) を復号する。
【００３７】
このように復号処理においては、あるフレームとその直前のフレームとが影響し合うため、編集を行うことにより、復号された音声に歪みが生じる場合がある。
【００３８】
図４（Ａ）は、オーデイオストリームＤ６０ＡとオーデイオストリームＤ６０Ｂとを編集点Ｅで接続し、編集後のオーデイオストリームＤ６０Ｃを生成した状態を示す。ここで、オーデイオストリームＤ６０Ａの編集終了可能点フレームＦａ（ｎ−１）の変換窓Ｗａ（ｎ−１）はロングスタートシークエンスＳ３を使用しており、オーデイオストリームＤ６０Ｂの編集開始可能点フレームＦｂ（ｎ）の変換窓Ｗｂ（ｎ）はエイトシヨートシークエンスＳ２を使用している。
【００３９】
オーデイオストリームＤ６０Ｃにおいて、フレームＦｃ（ｎ）で変換窓Ｗａ（ｎ−１）と変換窓Ｗｂ（ｎ）がオーバーラツプする。変換窓Ｗａ（ｎ−１）は、フレームＦｃ（ｎ）に相当する区間の前半分程度しか含まず、変換窓Ｗｂ（ｎ）は、フレームＦｃ（ｎ）に相当する区間の後半分程度しか含まない。このため、変換窓Ｗａ（ｎ−１）と変換窓Ｗｂ（ｎ）とが重なるオーバーラツプ区間Ｌｏはごく短い区間となる。従つてオーデイオストリームＤ６０Ｃを復号化した場合、本来全く異なる音声のフレームであるフレームＦｃ（ｎ−１）とフレームＦｃ（ｎ）とがオーバーラツプして復号される時間は短く、歪みはほとんど発生しない。
【００４０】
これに対し、図４（Ｂ）ではオーデイオストリームＤ６０Ａの編集終了可能点フレームＦａ（ｎ−１）の変換窓Ｗａ（ｎ−１）はオンリーロングシークエンスＳ１を使用しており、オーデイオストリームＤ６０Ｂの編集開始可能点フレームＦｂ（ｎ）の変換窓Ｗｂ（ｎ）はエイトシヨートシークエンスＳ２を使用している。
【００４１】
変換窓Ｗａ（ｎ−１）は、フレームＦｃ（ｎ）に相当する区間のほぼ全体を含んでいる。このため、変換窓Ｗａ（ｎ−１）と変換窓Ｗｂ（ｎ）とが重なるオーバーラツプ区間ＬｏはフレームＦｃ（ｎ）のほぼ全長となる。従つてオーデイオストリームＤ６０Ｃを復号化した場合、本来全く異なる音声のフレームであるフレームＦｃ（ｎ−１）とフレームＦｃ（ｎ）とがオーバーラツプして復号される時間が長くなり、歪みが生じてしまう。
【００４２】
かかる歪みの発生を防止するため、編集終了可能点フレーム及び編集開始可能点フレームの変換窓を、オーバーラツプの少ない形状にする必要がある。
【００４３】
次に、編集開始可能点フレームにおける予測符号化の停止について説明する。ＡＡＣ方式においてはオプシヨンとしてスペクトル係数に対する予測符号化処理が規定されている。かかる予測符号化処理を行うことにより、発生符号量を削減し得る。かかる予測処理は行つても行わなくても良い。しかし、編集開始可能点フレームについて予測符号化を用いた場合、編集後において復号した音声に歪みが発生してしまう。
【００４４】
図５において６０は全体としてオーデイオ符号化部を示し、フイルタバンク６１は、音声信号Ｓ２Ａを所定のフレームに分割した後、各フレームに対しＭＤＣＴ（Modified Discrete Cosine Transform）処理を行うことにより周波数領域の１０２４本のスペクトル係数として符号化し、これをスペクトル係数データＤ６１として予測制御器６２に送出する。以降の処理は、全てフレーム単位で行われる。実際には予測制御器６２以降のブロツクはスペクトル係数の本数分存在しており、複数のスペクトル係数をそれぞれ平行して処理するが、ここでは１系統のブロツクのみを説明する。
【００４５】
オーデイオ符号化部６０において予測処理を行わない場合、予測制御器６２はスペクトル係数データＤ６１をそのまま演算データＤ６２として量子化部６３に送出する。量子化部６３は、演算データＤ６２に対し量子化処理を行い、量子化データＤ６３としてハフマン符号化部６４に送出する。ハフマン符号化部６４は量子化データＤ６３に対しハフマン符号による可変長符号化処理を行い、符号化データＤ６４として送出する。
【００４６】
一方、オーデイオ符号化部６０において予測処理を行う場合、予測制御器６２はスペクトル係数データＤ６１について、予測器６７より供給される予測スペクトル係数データＤ６７を用いて減算処理して差分データを算出し、これを演算データＤ６２として量子化部６３に送出する。
【００４７】
量子化部６３は、演算データＤ６２に対し量子化処理を行い、量子化データＤ６３としてハフマン符号化部６４及び逆量子化部６５に送出する。
【００４８】
ハフマン符号化部６４は、量子化データＤ６３に対しハフマン符号による可変長符号化処理を行い、オーデイオストリームＤ６４として送出する。
【００４９】
逆量子化部６５は、量子化データＤ６３に対し逆量子化処理を行い、演算データＤ６５として予測制御器６６に送出する。予測制御器６６は、演算データＤ６５（差分データ）と予測器６７から供給される予測スペクトル係数データＤ６７とを加算することによりスペクトル係数データを再生し、これを再生スペクトル係数データＤ６６として予測器６７に送出する。
【００５０】
予測器６７は、再生スペクトル係数データＤ６６を基に予測スペクトル係数データＤ６７を算出する。すなわち、予測制御器６２に供給されているスペクトル係数データＤ６１のフレームをＦ(n) とすると、予測器６７はフレームＦ(n-1) までの再生スペクトル係数データＤ６６を基に、再生スペクトル係数データＤ６６の変移状態を示す値である状態変数Ｐを算出する。そして当該状態変数Ｐに基づいてフレームＦ(n) のスペクトル係数データの値を予測することにより予測スペクトル係数データＤ６７を得る。
【００５１】
このようにして得た予測スペクトル係数データＤ６７と、スペクトル係数データＤ６１との差分を算出し、この差分値を量子化及び可変長符号化処理することにより、符号化処理による発生符号量を削減し得る。
【００５２】
ところで、かかる予測符号化処理を用いて符号化したオーデイオストリームを復号化するためには、符号化部が有する予測器の状態変数Ｐと、復号化部が有する予測器の状態変数Ｐとが同一でなければならない。
【００５３】
図６は全体としてオーデイオ復号化部９０を示し、オーデイオ符号化部６０により符号化処理されたオーデイオストリームＤ６４が供給されている。ハフマン復号化部９１はオーデイオストリームＤ６４に対しハフマン符号による可変長復号化処理を行い、量子化データＤ９１として逆量子化部９２に送出する。逆量子化部９２は、量子化データＤ９１に対し逆量子化処理を行い、演算データＤ９２として予測制御器９３に送出する。
【００５４】
オーデイオ符号化部６０による符号化処理において予測符号化が行われていない場合、予測制御器９３は演算データＤ９２をそのままスペクトル係数データＤ９３としてフイルタバンク９４に送出する。フイルタバンク９４はスペクトル係数データＤ９３に対しＩＭＤＣＴ（Inverse Modified Discrete Cosine Transform）処理を行い復号化し、音声信号Ｓ９４として送出する。
【００５５】
一方、オーデイオ符号化部６０による符号化処理において予測符号化が行われていた場合、予測制御器９３は演算データＤ９２（差分データ）について、予測器９５より供給される予測スペクトル係数データＤ９５を加算することによりスペクトル係数データを生成し、これをスペクトル係数データＤ９３としてフイルタバンク９４及び予測器９５に送出する。
【００５６】
フイルタバンク９４はスペクトル係数データＤ９３に対しＩＭＤＣＴ処理を行い復号化し、音声信号Ｓ９４として送出する。
【００５７】
予測器９５は、スペクトル係数データＤ９３を基に予測スペクトル係数データＤ９５を算出する。すなわち、予測制御器９３に供給されている演算データＤ９２のフレームをＦ(n) とすると、予測器９５はフレームＦ(n-1) までのスペクトル係数データＤ９３を基に状態変数Ｐを算出する。そして当該状態変数Ｐに基づいてフレームＦ(n) のスペクトル係数データの値を予測することにより予測スペクトル係数データＤ９５を得る。このようにして得た予測スペクトル係数データＤ９５と、演算データＤ９２を加算することにより、差分値からスペクトル係数データＤ９３を生成する。
【００５８】
ここで、予測符号化を用いて符号化されたオーデイオストリームを編集した場合、編集点の前後において、異なる状態変数Ｐを用いて予測符号化された２つのオーデイオストリームが接続されることになる。このため編集点以降において、符号化部が有する予測器の状態変数Ｐと復号化部が有する予測器の状態変数Ｐとの間に相違が生じる。この状態変数Ｐの相違により、当該状態変数Ｐを用いて算出される予測スペクトル係数データＤ６７とＤ９５の間に相違が生じ、この結果スペクトル係数データＤ９３に誤差が生じる。スペクトル係数データＤ９３の誤差は、再生される音声の歪みとして現れる。かかる誤差は状態変数Ｐに蓄積されていき、スペクトル係数データＤ９３の誤差も増大していく。
【００５９】
かかる歪みの発生を防止するため、編集開始可能点フレームについて予測器の使用を停止し予測符号化を行わないようにするとともに、予測器をリセツトし、当該予測器が有する状態変数Ｐを初期値にリセツトする必要がある。
【００６０】
ＡＡＣ方式では、エイトシヨートシークエンスＳ２を使用したフレームの符号化及び復号化においては全ての予測器を使用しないとともに全ての予測器の状態変数をリセツトしなければならないことが規定されている。このためオーデイオ符号化部６０は、編集終了可能点フレームの変換窓形状をエイトシヨートシークエンスＳ２又はロングスタートシークエンスＳ３とするとともに、編集開始可能点フレームの変換窓形状をエイトシヨートシークエンスＳ２とすることにより、編集点における歪みの発生を防止する。
【００６１】
図７はオーデイオ符号化部６０における符号化処理を示す。ステツプＳＰ１で処理を開始し、ステツプＳＰ２において、符号化するフレームであるフレームＮが編集開始可能点フレームかどうかを判定する。すなわちステツプＳＰ２において肯定結果が得られると、このことはフレームＮが編集開始可能点フレームとして指定されていることを示しており、処理はステツプＳＰ７に進む。ステツプＳＰ７において、エイトシヨートシークエンスＳ２を用いてフレームＮの符号化を行い、ステツプＳＰ５に進む。
【００６２】
これに対し、ステツプＳＰ２において否定結果が得られると、このことはフレームＮが編集開始可能点フレームとして指定されていないことを示しており、処理はステツプＳＰ３に進む。
【００６３】
ステツプＳＰ３において、フレームＮが編集終了可能点フレームかどうかを判定する。すなわちステツプＳＰ３において肯定結果が得られると、このことはフレームＮが編集終了可能点フレームとして指定されていることを示しており、処理はステツプＳＰ６に進む。ステツプＳＰ６において、エイトシヨートシークエンスＳ２またはロングスタートシークエンスＳ３を用いてフレームＮの符号化を行い、ステツプＳＰ５に進む。
【００６４】
これに対し、ステツプＳＰ３において否定結果が得られると、このことはフレームＮが編集終了可能点フレームとして指定されていないことを示しており、処理はステツプＳＰ４に進む。ステツプＳＰ４において、任意の変換窓を用いてフレームＮの符号化を行い、ステツプＳＰ５に進む。
【００６５】
ステツプＳＰ５において、処理フレームを次のフレームに進め、ステツプＳＰ２に戻る。以上の処理を各フレームについて行うことにより、編集点における歪みの無い符号化を行い得る。
【００６６】
ところで編集作業を行うためには、編集終了可能点及び編集開始可能点がトランスポートストリームのどこにあるかという情報が必要である。このため多重化部５６は編集可能点信号Ｄ５３に応じて、編集可能点の位置情報をトランスポートストリームＤ５０Ａに符号化する。
【００６７】
ＭＰＥＧ２方式においては、ＴＳ（Transport Stream）パケツトと呼ばれる１８８バイト長のパケツト毎にデータを多重化する。図８はＭＰＥＧ２方式によるデータの多重化を示し、オーデイオストリームＤ６０は、まずＰＥＳ（Packetized Elementary Stream）パケツトと呼ばれる固定長のパケツトに分割され、このＰＥＳパケツトの連続したストリームであるオーデイオＰＥＳ Ｄ６８となる。このとき、各ＰＥＳパケツトの先頭にはＰＥＳヘツダとよばれるデータ領域が付加される。さらにＰＥＳパケツトはＴＳ（Transport Stream）パケツトと呼ばれる１８８バイト長のパケツトに分割される。このとき、各ＴＳパケツトの先頭にはＴＳパケツトヘツダとよばれるデータ領域が付加される。そしてＴＳパケツトは他のデータによるＴＳパケツトと多重化され、トランスポートストリームＤ５０Ａとなる。
【００６８】
ＴＳパケツトヘツダ内のアダプテーシヨンフイールドと呼ばれるデータ領域には、スプライスカウントダウンと呼ばれる領域が規定されている。このスプライスカウントダウン領域を用いて、編集可能点の位置情報をトランスポートストリームＤ５０Ａに記入する。
【００６９】
すなわち図８に示すように、編集終了可能点フレームＦｏを分割してなるＴＳパケツトを、最も編集点Ｅに近いＴＳパケツトからＴｏ（ｎ）、Ｔｏ（ｎ−１）とすると、ＴＳパケツトＴｏ（ｎ）のスプライスカウントダウンＳＣＤの値を０とし、ＴＳパケツトＴｏ（ｎ−１）のスプライスカウントダウンＳＣＤの値を１とする。また、編集開始可能点フレームＦｉを分割してなるＴＳパケツトを、最も編集点Ｅに近いＴＳパケツトからＴｉ（ｎ）、Ｔｉ（ｎ＋１）とすると、ＴＳパケツトＴｉ（ｎ）のスプライスカウントダウンＳＣＤの値を１とし、ＴＳパケツトＴｉ（ｎ＋１）のスプライスカウントダウンＳＣＤの値を２とする。
【００７０】
かくして、トランスポートストリームＤ５０Ａに編集可能点の位置情報が記入される。編集装置はトランスポートストリームのスプライスカウントダウンＳＣＤの値を参照して編集可能点を検出し、かかる編集可能点でトランスポートストリームの切り替えを行うことにより、歪みの少ない編集をおこなうことができる。
【００７１】
図９において、１００は全体としてオーデイオ・ビデオ編集装置を示し、符号化多重化装置５０ＡからトランスポートストリームＤ５０Ａが供給されているとともに、当該符号化多重化装置５０Ａと同一構成でなる符号化多重化装置５０Ｂから、トランスポートストリームＤ５０Ｂが供給されている。またストリームサーバ４０から、トランスポートストリームＤ４０Ａ及びトランスポートストリームＤ４０Ｂが供給されている。トランスポートストリームＤ４０Ａ及びトランスポートストリームＤ４０Ｂは、予め符号化多重化装置５０Ａ及び符号化多重化装置５０Ｂから送出されたトランスポートストリームＤ５０Ａ及びトランスポートストリームＤ５０Ｂが、ストリームサーバ４０に蓄えられたものである。
【００７２】
選択器７０Ａは、トランスポートストリームＤ５０Ａ及びトランスポートストリームＤ４０Ａのいずれか一方を選択し、これをトランスポートストリームＤ７０Ａとして分離部７５Ａに供給する。分離部７５Ａは、トランスポートストリームＤ７０Ａに多重化されたビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ７５Ａ及びオーデイオストリームＤ７６Ａとしてビデオ切替器７８及びオーデイオ切替器７９に送出する。
【００７３】
同様に選択器７０Ｂは、トランスポートストリームＤ５０Ｂ及びトランスポートストリームＤ４０Ｂのいずれか一方を選択し、これをトランスポートストリームＤ７０Ｂとして分離部７５Ｂに供給する。分離部７５Ｂは、トランスポートストリームＤ７０Ｂに多重化されたビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ７５Ｂ及びオーデイオストリームＤ７６Ｂとしてビデオ切替器７８及びオーデイオ切替器７９に送出する。
【００７４】
ここでシステムコントローラ８２は、トランスポートストリームＤ７０Ａ及びトランスポートストリームＤ７０ＢのスプライスカウントダウンＳＣＤの値を、編集位置情報Ｄ７７Ａ及びＤ７７Ｂとしてそれぞれ分離部７５Ａ及び７５Ｂより常に得ている。またシステムコントローラ８２には、オーデイオ・ビデオ編集装置１００を操作するオペレータにより、編集位置指示信号Ｄ８１が入力される。システムコントローラ８２は、編集位置情報Ｄ７７Ａ、Ｄ７７Ｂ及び編集位置指示信号Ｄ８１を基に歪みの発生することの無い編集終了可能点及び編集開始可能点を検出し、かかる編集終了可能点及び編集開始可能点において、ビデオ切替信号Ｄ８２をビデオ切替器７８に送出するとともに、オーデイオ切替信号Ｄ８３をオーデイオ切替器７９に送出する。
【００７５】
ビデオ切替器７８は、ビデオ切替信号Ｄ８２に応じてビデオストリームＤ７５Ａ及びビデオストリームＤ７５Ｂを切り替え、ビデオストリームＤ７８として送出する。またオーデイオ切替器７９は、オーデイオ切替信号Ｄ８３に応じてオーデイオストリームＤ７６Ａ及びオーデイオストリームＤ７６Ｂを切り替え、オーデイオストリームＤ７９として送出する。
【００７６】
多重化部８０は、ビデオストリームＤ７８及びオーデイオストリームＤ７９をＭＰＥＧ２方式により多重化し、トランスポートストリームＤ８０として送出する。またストリームサーバ４０は、ビデオストリームＤ７８、オーデイオストリームＤ７９及びトランスポートストリームＤ８０を蓄積する。
【００７７】
以上の構成において、符号化多重化装置５０Ａに供給された映像信号Ｓ１Ａは、図１に示されるようにビデオ符号化部５１において符号化処理を受け、ビデオストリームＤ５１として多重化部５６に送出される。また、音声信号Ｓ２Ａはオーデイオ符号化部６０において符号化処理を受け、オーデイオストリームＤ６０として多重化部５６に送出される。
【００７８】
ここでビデオ符号化部５１は、システムコントローラ５３から供給される編集可能点指示信号Ｄ５４に応じて、ビデオストリームＤ５１に編集終了可能点ピクチヤＰｏ及び編集開始可能点ピクチヤＰｉを設定する。またオーデイオ符号化部６０は、システムコントローラ５３から供給される編集可能点指示信号Ｄ５４に応じて、オーデイオストリームＤ６０に編集終了可能点フレームＦｏ及び編集開始可能点フレームＦｉを設定する。このとき、編集終了可能点ピクチヤＰｏの表示終了の直前に表示を終了するフレームを編集終了可能フレームＦｏとし、編集開始可能点ピクチヤＰｉの表示開始の直後に表示を開始するフレームを編集開始可能フレームＦｉとするとともに、編集終了可能フレームＦｏの変換窓をロングスタートシークエンスまたはエイトシヨートシークエンスとし、編集開始可能フレームＦｉの変換窓をエイトシヨートシークエンスとする。
【００７９】
多重化部５６は、ビデオストリームＤ５１及びオーデイオストリームＤ６０を多重化し、トランスポートストリームＤ５０Ａとして送出する。このとき多重化部５６は、システムコントローラＤ５３から供給される編集可能点信号Ｄ５３に応じて、トランスポートストリームＤ５０Ａに編集可能点の位置情報を記入する。
【００８０】
図９に戻りオーデイオ・ビデオ編集装置１００において、トランスポートストリームＤ５０Ａ及びストリームサーバ４０から供給されたトランスポートストリームＤ４０Ａは切替器７０Ａにおいて選択され、トランスポートストリームＤ７０Ａとして分離部７５Ａに供給される。トランスポートストリームＤ７０Ａは分離部７５Ａにおいて、ビデオストリームＤ７５Ａ及びオーデイオストリームＤ７６Ａとして、それぞれビデオ切替器７８及びオーデイオ切替器７９に供給される。同様にトランスポートストリームＤ５０Ｂ及びストリームサーバ４０から供給されたトランスポートストリームＤ４０Ｂは切替器７０Ｂにおいて選択され、トランスポートストリームＤ７０Ｂとして分離部７５Ｂに供給される。トランスポートストリームＤ７０Ｂは分離部７５Ｂにおいて、ビデオストリームＤ７５Ｂ及びオーデイオストリームＤ７６Ｂとして、それぞれビデオ切替器７８及びオーデイオ切替器７９に供給される。
【００８１】
システムコントローラ８２は、トランスポートストリームＤ７０Ａ及びトランスポートストリームＤ７０Ｂの編集可能点の位置情報を編集位置情報Ｄ７７Ａ及びＤ７７Ｂとして得ており、かかる編集位置情報Ｄ７７Ａ及びＤ７７Ｂに応じてビデオ切替信号Ｄ８２及びオーデイオ切替信号Ｄ８３を送出する。ビデオ切替器７８は、システムコントローラ８２から供給されるビデオ切替信号Ｄ８２に応じてビデオストリームＤ７５Ａ及びビデオストリームＤ７５Ｂを切り替え、ビデオストリームＤ７８として送出する。またオーデイオ切替器７８は、システムコントローラ８２から供給されるオーデイオ切替信号Ｄ８３に応じてオーデイオストリームＤ７６Ａ及びオーデイオストリームＤ７６Ｂを切り替え、オーデイオストリームＤ７９として送出する。
【００８２】
以上の構成によれば、音声信号の符号化において、編集終了可能点フレームの変換窓をエイトシヨートシークエンス又はロングスタートシークエンスとするとともに、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより、編集点におけるオーバーラツプを少なくし、編集作業による歪みを減少し得る。
【００８３】
また音声信号の符号化において、編集開始可能点フレームの変換窓を編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより、予測器の使用を停止するとともに予測器の状態変数を初期化し、編集作業による歪みを減少し得る。
【００８４】
また音声信号の符号化において、編集終了可能点フレームを編集終了可能点ピクチヤの表示終了の直前に表示を終了するフレームとし、編集開始可能点フレームを編集開始可能点ピクチヤの表示開始の直後に表示を開始するフレームとすることにより、オーデイオギヤツプを最小限にし得る。
【００８５】
（２）第２の実施の形態
図１０において、１１０Ａは全体として符号化装置を示し、外部より音声信号Ｓ２Ａが供給されている。オーデイオ符号化部１１２は、音声信号Ｓ２ＡをＡＡＣ方式により符号化し、オーデイオストリームＤ１１０Ａとして送出する。
【００８６】
このときシステムコントローラ１１１は、編集位置指示信号Ｄ５に応じて、編集可能点指示信号Ｄ１１１を、オーデイオ符号化部１１２に送出する。編集位置指示信号Ｄ５は、符号化装置１１０Ａを操作するオペレータにより、音声の切れ目等の編集位置としたいタイミングで入力される。オーデイオ符号化部１１０Ａは、編集可能点指示信号Ｄ１１１に応じて、オーデイオストリームＤ１１０Ａに編集終了可能点フレーム及び編集開始可能点フレームを設定する。
【００８７】
すなわち図１１（Ａ）に示すように、編集可能点指示信号Ｄ１１１が示す編集位置をＥとすると、編集位置Ｅの直前のフレームを編集終了可能点フレームＦｏとし、当該編集終了可能点フレームＦｏの変換窓形状をエイトシヨートシークエンスＳ２又はロングスタートシークエンスＳ３とする。また編集位置Ｅの直後のフレームを編集開始可能点フレームＦｉとし、当該編集開始可能点フレームＦｉの変換窓形状をエイトシヨートシークエンスＳ２とすることにより、編集点における歪みの発生を防止する。
【００８８】
同時にオーデイオ符号化部１１２は、編集可能点の位置情報を、オーデイオストリームＤ１１０Ａ内のデータストリームバイトと呼ばれる領域に記入する。データストリームバイトは、ＭＰＥＧ２方式によりユーザが任意に使用できる領域として規定されている。
【００８９】
図１１（Ａ）は、データストリームバイト内に編集可能点の位置情報としてカウントダウン値ＣＤという値を設定した場合を示し、編集終了可能点フレームＦｏのカウントダウン値ＣＤの値を０とし、編集終了可能点フレームＦｏ以前のフレームのカウントダウン値ＣＤの値を１、２……とする。また編集開始可能点フレームＦｉのカウントダウン値ＣＤの値を−１とし、編集開始可能点フレームＦｉ以降のフレームのカウントダウン値ＣＤの値を−２、−３……とする。かかるカウントダウン値ＣＤを参照することにより、編集可能点の位置を知ることができる。
【００９０】
かくして、オーデイオストリームＤ１１０Ａに編集可能点の位置情報が記入される。編集装置はオーデイオストリームＤ１１０Ａのカウントダウン値ＣＤを参照して編集可能点を検出し、かかる編集点でオーデイオストリームの切り替えを行うことにより、歪みの少ない編集を行うことができる。
【００９１】
図１２において、２００は全体としてオーデイオ編集装置を示し、符号化装置１１０ＡからオーデイオストリームＤ１１０Ａが供給されているとともに、当該符号化装置１１０Ａと同一構成でなる符号化装置１１０Ｂから、オーデイオストリームＤ１１０Ｂが供給されている。またストリームサーバ４０から、オーデイオストリームＤ１４０Ａ及びオーデイオストリームＤ１４０Ｂが供給されている。オーデイオストリームＤ１４０Ａ及びオーデイオストリームＤ１４０Ｂは、予め符号化装置１１０Ａ及び符号化装置１１０Ｂから送出されたオーデイオストリームＤ１１０Ａ及びオーデイオストリームＤ１１０Ｂが、ストリームサーバ４０に蓄えられたものである。
【００９２】
選択器１７０Ａは、オーデイオストリームＤ１１０Ａ及びオーデイオストリームＤ１４０Ａのいずれか一方を選択し、これをオーデイオストリームＤ１７０Ａとして検出部１７５Ａを介してオーデイオ切替器１７８に供給する。同様に選択器１７０Ｂは、オーデイオストリームＤ１１０Ｂ及びオーデイオストリームＤ１４０Ｂのいずれか一方を選択し、これをオーデイオストリームＤ１７０Ｂとして検出部１７５Ｂを介してオーデイオ切替器１７８に供給する。
【００９３】
ここでシステムコントローラ１８２は、オーデイオストリームＤ１７０Ａ及びオーデイオストリームＤ１７０Ａのカウントダウン値ＣＤの値を、それぞれ編集位置情報Ｄ１７７Ａ及びＤ１７７Ｂとしてそれぞれ検出部１７５Ａ及び１７５Ｂより常に得ている。またシステムコントローラ１８２には、オーデイオ編集装置２００を操作するオペレータにより、編集位置指示信号Ｄ１８１が入力される。システムコントローラ１８２は、編集位置情報Ｄ１７７Ａ、Ｄ１７７Ｂ及び編集位置指示信号Ｄ１８１を基に歪みの発生することの無い編集終了可能点及び編集開始可能点を検出し、かかる編集終了可能点及び編集開始可能点において、オーデイオ切替信号Ｄ１８３をオーデイオ切替器１７８に送出する。
【００９４】
オーデイオ切替器１７８は、オーデイオ切替信号Ｄ１８３に応じてオーデイオストリームＤ１７０Ａ及びオーデイオストリームＤ１７０Ｂを切り替え、オーデイオストリームＤ２００として送出する。
【００９５】
以上の構成において、符号化装置１１０Ａに供給された音声信号Ｓ２Ａはオーデイオ符号化部１１２において符号化処理を受け、オーデイオストリームＤ１１０Ａとして送出される。
【００９６】
ここでオーデイオ符号化部１１２は、システムコントローラ１１１から供給される編集可能点指示信号Ｄ１１１に応じて、オーデイオストリームＤ１１０Ａに編集終了可能点フレームＦｏ及び編集開始可能点フレームＦｉを設定する。このとき、編集終了可能フレームＦｏの変換窓をロングスタートシークエンスまたはエイトシヨートシークエンスとし、編集開始可能フレームＦｉの変換窓をエイトシヨートシークエンスとする。
【００９７】
またオーデイオ符号化部１１２は、システムコントローラ１１１から供給される編集可能点信号Ｄ１１１に応じて、オーデイオストリームＤ１１０Ａに編集可能点の位置情報を記入する。
【００９８】
オーデイオ編集装置２００において、オーデイオストリームＤ１１０Ａ及びストリームサーバ１４０から供給されたオーデイオストリームＤ１４０Ａは切替器１７０Ａにおいて選択され、オーデイオストリームＤ１７０Ａとして検出部１７５Ａを介して切替器１７８に送出される。同様にオーデイオストリームＤ１１０Ｂ及びストリームサーバ１４０から供給されたオーデイオストリームＤ１４０Ｂは切替器１７０Ｂにおいて選択され、オーデイオストリームＤ１７０Ｂとして検出部１７５Ｂを介して切替器１７８に送出される。
【００９９】
システムコントローラ１８２は、オーデイオストリームＤ１７０Ａ及びＤ１７０Ｂの編集可能点の位置情報を編集位置情報Ｄ１７７Ａ及びＤ１７７Ｂとして得ており、かかる編集位置情報Ｄ１７７Ａ及びＤ１７７Ｂに応じてオーデイオ切替信号Ｄ１８２を送出する。オーデイオ切替器１７８は、システムコントローラ１８２から供給されるオーデイオ切替信号Ｄ１８２に応じてオーデイオストリームＤ１７０Ａ及びオーデイオストリームＤ１７０Ｂを切り替え、オーデイオストリームＤ２００として送出する。
【０１００】
以上の構成によれば、音声信号の符号化において、編集終了可能点フレームの変換窓をエイトシヨートシークエンス又はロングスタートシークエンスとするとともに、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより、編集点におけるオーバーラツプを少なくし、編集作業による歪みを減少し得る。
【０１０１】
また音声信号の符号化において、編集開始可能点フレームを符号化する場合、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより予測器の使用を停止するとともに予測器の状態変数を初期化し、編集作業による歪みを減少し得る。
【０１０２】
（３）他の実施の形態
なお上述の第１の実施の形態及び第２の実施の形態においては、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとして符号化することにより、編集開始可能点フレームにおいて予測器の使用停止及び予測器のリセツトを行うようにしたが、本発明においてはこれに限らず、編集開始可能点フレーム以降において予測器の一部づつを順にリセツトしていき、当該リセツトされた予測器のみを使用して符号化していく、段階リセツトを行うようにしても良い。この場合、編集開始可能点フレームの変換窓を任意の形状とすることができる。
【０１０３】
図１３は段階リセツトの概念を示し、Ｐ０〜Ｐ４の合計５個の予測器が存在しており、各予測器はそれぞれ対応するスペクトル係数について予測符号化を行う。予測器のリセツトは１フレームに１個行われる。
【０１０４】
編集開始可能点フレームＦｏのフレーム番号をＮとすると、まずフレームＮにおいて予測器Ｐ０のリセツトが行われる。当該フレームＮでは全ての予測器は使用できない。次のフレームＮ＋１において予測器Ｐ１のリセツトが行われる。このとき、予測器Ｐ０はすでにリセツトされているため使用可能である。さらにフレームＮ＋２において、予測器Ｐ２のリセツトが行われる。フレームＮ＋２では、予測器Ｐ０及び予測器Ｐ１がリセツトされているため使用可能である。以降のフレームにおいてもリセツトされていない予測器を順次リセツトしていくことにより、フレームＮ＋６では全ての予測器が使用可能となる。
【０１０５】
ＡＡＣ方式においては、リセツトグループ及びスケールフアクターバンドと呼ばれる規格がある。これは予測器をリセツトグループと呼ばれるグループに分け、当該リセツトグループ毎にリセツトを行うとともに、予測器をスケールフアクターバンドと呼ばれるグループに分け、当該スケールフアクターバンド毎に予測器の使用を行うものである。
【０１０６】
図１４（Ａ）はリセツトグループを示し、予測器を１〜３０のグループに分けたものである。１つのフレームでは１つのリセツトグループのみリセツトすることが許されている。リセツトを行うリセツトグループの番号は、オーデイオストリーム内に記入される。また図１４（Ｂ）はスケールフアクターバンドを示し、予測器をスケールフアクターバンドと呼ばれるグループに分け、あるスケールフアクターバンドに含まれる全ての予測器がリセツトされた状態でのみ、当該スケールフアクターバンドに含まれる予測器を使用可能とするものである。
【０１０７】
図１４（Ｃ）はリセツトグループ及びスケールフアクターバンドを用いたリセツトを示し、編集終了可能点フレームＦｏのフレーム番号をＮとすると、まずフレームＮにおいて、リセツトグループ１のリセツトが行われる。以降のフレームにおいて、順次リセツトグループ２以降のリセツトが行われて行く。そしてフレームＮ＋３において、まずスケールフアクターバンド０に含まれる予測器が全てリセツトされ、当該スケールフアクターバンド０に含まれる予測器は次のフレームより使用可能となる。以降、リセツトが進むにつれ使用可能な予測器は増加して行く。
【０１０８】
このように予測器をリセツトグループに分け、編集終了可能点フレーム以降において予測器を当該リセツトグループ毎にリセツトを行うようにすることにより、編集開始可能点フレームの変換窓を任意の形状とすることができる。この場合の構成は、第１の実施の形態及び第２の実施の形態と同一で良い。
【０１０９】
さらに上述の第１の実施の形態及び第２の実施の形態においては、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとして符号化することにより、編集開始可能点フレームにおいて全予測器の使用停止及び全予測器のリセツトを行うようにしたが、本発明においてはこれに限らず、編集開始可能点フレームにおいて強制的に予測器の全てをリセツトするようにしても良い。この場合の構成も、第１の実施の形態及び第２の実施の形態と同一で良い。
【０１１０】
【発明の効果】
上述のように本発明によれば、音声信号の符号化において、編集終了可能符号化単位を後ろに続く符号化単位との干渉の少ない符号化重み付けパターンを用いて符号化するとともに、編集開始可能符号化単位を前に続く符号化単位との干渉の少ない符号化重み付けパターンを用いて符号化することにより、編集作業により発生する歪みを減少し得る。
【０１１１】
また本発明によれば、音声信号の符号化において、編集開始可能符号化単位のを符号化する場合に予測器の使用を停止するとともに予測器を初期化することにより、編集作業により発生する歪みを減少し得る。
【０１１２】
また本発明によれば、音声信号の符号化において、編集終了可能音声符号化単位を、編集終了可能映像符号化単位の表示終了の直前に表示を終了する音声符号化単位とし、編集開始可能音声符号化単位を、編集開始可能映像符号化単位の表示開始の直後に表示を開始する音声符号化単位とすることにより、オーデイオギヤツプを最小にし得る。
【図面の簡単な説明】
【図１】第１の実施の形態による符号化多重化装置を示すブロツク図である。
【図２】編集可能点の設定の説明に供する略線図である。
【図３】変換窓の形状の説明に供する略線図である。
【図４】オーバーラツプによる歪みの説明に供する略線図である。
【図５】オーデイオ符号化部を示すブロツク図である。
【図６】オーデイオ復号化部を示すブロツク図である。
【図７】符号化処理の説明に供するフローチヤートである。
【図８】ＭＰＥＧ２方式によるデータ多重化を示す略線図である。
【図９】第１の実施の形態によるオーデイオ・ビデオ編集装置を示すブロツク図である。
【図１０】第２の実施の形態による符号化装置を示すブロツク図である。
【図１１】編集可能点の記入を示す略線図である。
【図１２】第２の実施の形態によるオーデイオ編集装置を示すブロツク図である。
【図１３】予測器のリセツトを示す図表である。
【図１４】スケールフアクターバンドの説明に供する図表である。
【図１５】オーデイオ編集装置を示すブロツク図である。
【図１６】オーデイオストリームの説明に供する略線図である。
【図１７】オーデイオ・ビデオ編集装置を示すブロツク図である。
【図１８】オーデイオギヤツプを示す略線図である。
【符号の説明】
１０、２００……オーデイオ編集装置、１１Ａ、１１Ｂ、１２、２１Ａ、２１Ｂ、７０Ａ、７０Ｂ、１７０Ａ、１７０Ｂ……切替器、１５、４０、１４０……ストリームサーバ、２０……オーデイオ・ビデオ編集装置、２４Ａ、２４Ｂ……分離部、２７、７８……ビデオ切替器、２８、７９、１７８……オーデイオ切替器、５１……ビデオ符号化部、５３、８２、１１１、１８２……システムコントローラ、５６、８０……多重化部、６０、１１２……オーデイオ符号化部、２００……オーデイオ編集装置。
【目次】
以下の順序で本発明を説明する。
【０００２】
発明の属する技術分野
従来の技術
発明が解決しようとする課題（図１５〜図１８）
課題を解決するための手段
発明の実施の形態
（１）第１の実施の形態（図１〜図９）
（２）第２の実施の形態（図１０〜図１２）
（３）他の実施の形態（図１３〜図１４）
発明の効果
【０００３】
【発明の属する技術分野】
本発明は符号化装置、編集装置及び符号化多重化装置並びにそれらの方法に関し、例えばデイジタル信号の編集に適用して好適なものである。
【０００４】
【従来の技術】
従来、画像や音声の信号は、Ａ／Ｄ（Analog/Digital）変換してデイジタル符号化したデイジタル信号で扱われることが増えている。デイジタル化方法の代表的なものとして、ＭＰＥＧ（Moving Picture Experts Group）と呼ばれる方式があり、かかるＭＰＥＧ方式では、音声をフレームと呼ばれる所定の単位に分割し、このフレーム毎に圧縮符号化処理を行いオーデイオストリームを生成する。
【０００５】
符号化された音声を編集する場合、一旦ベースバンド信号に復号して編集した後再び符号化することは、音質の劣化を招くとともに編集装置の構成が複雑になるため、符号化されたオーデイオストリームの状態で編集処理を行う事が考えられる。
【０００６】
【発明が解決しようとする課題】
現在デイジタルテレビ放送等で使用されている、ＩＳＯ（International Organization for Standards、国際標準化機構）１１１７２−３で標準化されたいわゆるＭＰＥＧ１ Ｌａｙｅｒ２方式で符号化されたオーデイオストリームの場合、全てのフレームは前後のフレームに依存することなく復号することができるため、全てのフレームにおいて編集を行うことができる。
【０００７】
これに対し、ＩＳＯ１３８１８−７で標準化されたいわゆるＭＰＥＧ２ ＡＡＣ（Advanced Audio Coding ）方式のような、予測符号化を用いた、あるフレームの復号処理が前後のフレームに依存する符号化方法の場合、編集を行うことにより編集の切替え点のフレームを復号した音声に歪みが生じることがある。
【０００８】
図１５において１０は全体としてオーデイオ編集装置を示し、外部よりオーデイオストリームＤ１Ａ及びＤ１Ｂが供給されていると同時に、ストリームサーバ１５よりオーデイオストリームＤ１５Ａ及びＤ１５Ｂが供給されている。オーデイオストリームＤ１Ａ、Ｄ１Ｂ、Ｄ１５Ａ及びＤ１５ＢはそれぞれＭＰＥＧ２
ＡＡＣ方式により符号化された音声データである。
【０００９】
切替器１１Ａは、オーデイオストリームＤ１Ａ及びＤ１５Ａのいずれか一方を選択し、オーデイオストリームＤ１１Ａとして切替器１２に送出する。切替器１１Ｂも同様に、オーデイオストリームＤ１Ｂ及びＤ１５Ｂのいずれか一方を選択し、オーデイオストリームＤ１１Ｂとして切替器１２に送出する。
【００１０】
切替器１２は、オーデイオストリームＤ１１Ａ及びオーデイオストリームＤ１１Ｂを任意の時点で切り換えることにより、編集後のオーデイオストリームＤ１２を生成し外部に送出する。
【００１１】
図１６は、オーデイオ編集装置１０におけるオーデイオストリームの編集状態を示し、図１６（Ａ）に示すオーデイオストリームＤ１１ＡのフレームＡ３と、図１６（Ｂ）に示すオーデイオストリームＤ１１ＢのフレームＢ４とを接続することにより、図１６（Ｃ）に示すオーデイオストリームＤ１２を生成している。フレームＡ３のように編集点の直前となることのできるフレームを編集終了可能点フレームと呼び、フレームＢ４のように編集点の直後となることのできるフレームを編集開始可能点フレームと呼ぶ。
【００１２】
符号化時においてはフレームＡ３の後にフレームＡ４が続いていたが、編集を行つたことにより後のフレームがＢ４に変更されている。オーデイオストリームＤ１１Ａを符号化した符号化部は、編集によつてフレームＡ３の後にどのようなフレームが接続されるのか分からないため、編集終了可能点フレームＡ３を後ろに続くフレームに依存せずに復号できるように符号化しなければならない。同様に符号化時においてはフレームＢ４の前にフレームＢ３が続いていたが、編集を行つたことにより前のフレームがＡ３に変更されている。オーデイオストリームＤ１１Ｂを符号化した符号化部は、編集によつてフレームＢ４の前にどのようなフレームが接続されるのか分からないため、編集開始可能点フレームＢ４を前に続くフレームに依存せずに復号できるように符号化しなければならないという問題がある。
【００１３】
以上はオーデイオストリームを単独で編集する場合について述べたが、例えばテレビジョン番組の編集のように、対応するオーデイオストリームとビデオストリームを同時に編集することが多い。
【００１４】
図１７において、２０は全体としてオーデイオ・ビデオ編集装置を示し、外部よりトランスポートストリームＤ２Ａ及びＤ２Ｂが供給されていると同時に、ストリームサーバ１５よりトランスポートストリームＤ１６Ａ及びＤ１６Ｂが供給されている。トランスポートストリームＤ２Ａ、Ｄ２Ｂ、Ｄ１６Ａ及びＤ１６Ｂは、それぞれＭＰＥＧ２方式により符号化されたビデオストリーム及びＭＰＥＧ２ ＡＡＣ方式により符号化されたオーデイオストリームが多重化されたものである。
【００１５】
切替器２１ＡはトランスポートストリームＤ２Ａ及びＤ１６Ａのいずれか一方を選択し、トランスポートストリームＤ２１Ａとして分離部２４Ａに送出する。分離部２４ＡはトランスポートストリームＤ２１Ａに多重化されているビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ２４Ａ及びオーデイオストリームＤ２５Ａとしてビデオ切替器２７及びオーデイオ切替器２８に送出する。
【００１６】
同様に、切替器２１ＢはトランスポートストリームＤ２Ｂ及びＤ１６Ｂのいずれか一方を選択し、トランスポートストリームＤ２１Ｂとして分離部２４Ｂに送出する。分離部２４ＢはトランスポートストリームＤ２１Ｂに多重化されているビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ２４Ｂ及びオーデイオストリームＤ２５Ｂとしてビデオ切替器２７及びオーデイオ切替器２８に送出する。
【００１７】
ビデオ切替器２７は、ビデオストリームＤ２４Ａ及びビデオストリームＤ２４Ｂを切り換えることにより、編集後のビデオストリームＤ２７を生成し外部に送出する。またオーデイオ切替器２８は、オーデイオストリームＤ２５Ａ及びオーデイオストリームＤ２５Ｂを切り換えることにより、編集後のオーデイオストリームＤ２８を生成し外部に送出する。
【００１８】
ここで、一般的にオーデイオ切替器２７及びビデオ切替器２８は同期して切替を行う。例えば、オーデイオストリームＤ２４ＡとビデオストリームＤ２４Ａ、及びオーデイオストリームＤ２４ＢとビデオストリームＤ２４Ｂはそれぞれテレビジヨン番組の音声と映像として対応しており、ビデオストリームＤ２４Ａのある時点でビデオストリームＤ２４Ｂに切り替えると同時に、オーデイオストリームＤ２５ＡをオーデイオストリームＤ２５Ｂに切り替える。
【００１９】
このように音声と映像を同期して編集する場合、オーデイオストリームにオーデイオギヤツプと呼ばれる無音区間が発生するという問題がある。
【００２０】
図１８（Ａ）において、ビデオストリームＤ２４Ａの編集終了可能点ピクチヤＰｏａと、ビデオストリームＤ２４Ｂの編集開始可能点ピクチヤＰｉｂとをつなぎあわせることにより、ビデオストリームＤ２７を生成している。このとき同時に、オーデイオストリームＤ２５ＡとオーデイオストリームＤ２５Ｂをつなぎあわせることにより、オーデイオストリームＤ２８を生成している。
【００２１】
ここで、編集終了可能点ピクチヤＰｏａと当該編集終了可能点ピクチヤＰｏａに最も近い編集終了可能点フレームＦｏａとは、Ｇａで示される時間差を有している。同様に、編集開始可能点ピクチヤＰｉｂと当該編集開始可能点ピクチヤＰｉｂに最も近い編集開始可能点フレームＦｉｂとは、Ｇｂで示される時間差を有している。そしてオーデイオストリームＤ３２において、時間差Ｇａと時間差Ｇｂの合計がオーデイオギヤツプとなる。
【００２２】
図１８（Ａ）においては、時間差Ｇａ及び時間差Ｇｂはそれぞれ１フレーム分以下であるが、場合によつては図１８（Ｂ）に示すように、時間差Ｇａ及び時間差Ｇｂはそれぞれ数フレーム分になることもあり、このような場合オーデイオギヤツプが長くなつてしまうという問題がある。
【００２３】
本発明は以上の点を考慮してなされたもので、編集作業による歪みやオーデイオギヤツプの少ない符号化装置、編集装置及び符号化多重化装置並びにそれらの方法を提案しようとするものである。
【００２４】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、音声信号の符号化において、編集終了可能符号化単位を符号化する場合、後ろに続く符号化単位との干渉の少ない符号化重み付けパターンを用いるとともに、編集開始可能符号化単位を符号化する場合、前に続く符号化単位との干渉の少ない符号化重み付けパターンを用いるようにすることにより、編集作業による歪みを少なくする。
【００２５】
また音声信号の符号化において、編集開始可能符号化単位を符号化する場合、予測器の使用を停止するとともに予測器の状態変数を初期化することにより、編集作業による歪みを少なくする。
【００２６】
また音声信号の符号化において、編集終了可能音声符号化単位を、編集終了可能映像符号化単位の表示終了の直前に表示を終了する符号化単位とし、編集開始可能音声符号化単位を、編集開始可能映像符号化単位の表示開始の直後に表示を開始する符号化単位とすることにより、オーデイオギヤツプを最小限とする。
【００２７】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２８】
（１）第１の実施の形態
図１において、５０Ａは全体として符号化多重化装置を示し、外部より映像信号Ｓ１Ａ及び音声信号Ｓ２Ａが供給されている。ビデオ符号化部５１は、映像信号Ｓ１ＡをＭＰＥＧ２（Moving Picture Experts Group）方式により符号化し、ビデオストリームＤ５１として送出する。また、オーデイオ符号化部６０は、音声信号Ｓ２ＡをＭＰＥＧ２ ＡＡＣ（Advanced Audio Coding ）方式（以下、ＡＡＣ方式と呼ぶ）により符号化し、オーデイオストリームＤ６０として送出する。多重化部５６はビデオストリームＤ５１及びオーデイオストリームＤ６０をＭＰＥＧ２方式により多重化し、トランスポートストリームＤ５０Ａとして送出する。
【００２９】
このときシステムコントローラ５３は、編集位置指示信号Ｄ５に応じて、編集可能点指示信号Ｄ５４を、ビデオ符号化部５１及びオーデイオ符号化部６０に送出する。編集位置指示信号Ｄ５は、符号化多重化装置５０Ａを操作するオペレータにより、シーンの切れ目等の編集位置としたいタイミングで入力される。
【００３０】
ビデオ符号化部５１は、編集可能点指示信号Ｄ５４に応じて、ビデオストリームＤ５１に編集終了可能点ピクチヤ及び編集開始可能点ピクチヤを設定する。すなわち図２において、編集可能点指示信号Ｄ５４が示す編集位置をＥとすると、編集位置Ｅの直前のピクチヤを編集終了可能点ピクチヤＰｏとし、編集位置Ｅの直後のピクチヤを編集開始可能点ピクチヤＰｉとする。そして編集終了可能点ピクチヤＰｏの予測符号化方式を、前方向予測符号化を用いたＰピクチヤ又はイントラ符号化を用いたＩピクチヤとして符号化し、編集開始可能点ピクチヤＰｉの予測符号化方式を、イントラ符号化を用いたＩピクチヤとして符号化する。そして、かかる編集終了可能点ピクチヤ及び編集開始可能点ピクチヤの設定結果をビデオ編集可能点設定信号Ｄ５２としてシステムコントローラ５３に送出する。
【００３１】
オーデイオ符号化部６０は、編集可能点指示信号Ｄ５４に応じて、オーデイオストリームＤ６０に編集終了可能点フレーム及び編集開始可能点フレームを設定し、かかる編集終了可能点フレーム及び編集開始可能点フレームの設定結果を、オーデイオ編集可能点設定信号Ｄ５９としてシステムコントローラ５３に送出する。すなわち図２において、編集可能点指示信号Ｄ５４が示す編集位置をＥとすると、編集位置Ｅの直前のフレームを編集終了可能点フレームＦｏとし、編集位置Ｅの直後のフレームを編集開始可能点フレームＦｉとすることにより、オーデイオギヤツプＧａ及びＧｂをそれぞれ１フレーム以下とし、オーデイオギヤツプの長さを最小限になるようにする。システムコントローラ５３は、ビデオ編集可能点設定信号Ｄ５２及びオーデイオ編集可能点設定信号Ｄ５９に応じて、編集可能点信号Ｄ５３を多重化部５６に送出する。
【００３２】
ここでオーデイオ符号化部６０は、編集終了可能点フレームＦｏ及び編集開始可能点Ｆｉの変換窓形状を規定するとともに、編集開始可能点フレームＦｉについて予測符号化を停止する。
【００３３】
まず、変換窓形状について説明する。図３は、ＡＡＣ方式における、符号化部に入力されるオーデイオデータのサンプル値をフレーム毎に処理する際の重み付けパターンである変換窓の形状を示している。ＡＡＣ方式においては、４種の変換窓形状を選択して使用することができ、フレーム単位で変換窓形状の選択を変えることが可能である。
【００３４】
図３（Ａ）に示すオンリーロングシークエンスＳ１では、２フレーム分のサンプルに相当する２０４８サンプルの入力区間に対してＭＤＣＴ処理を行うことにより、１０２４本のスペクトル係数を得る。また図３（Ｂ）に示すエイトシヨートシークエンスＳ２では、一つのシヨートウインドウが１２８本のスペクトル係数への変換に対応しており、８個のシヨートウインドウを時間的にオーバーラツプさせながら８回のＭＤＣＴを行うことにより１０２４本のスペクトル係数を得る。図３（Ｃ）に示すロングスタートシークエンスＳ３及び図３（Ｄ）に示すロングストツプシークエンスＳ４は、オンリーロングシークエンスＳ１とエイトシヨートシークエンスＳ２との切り替え区間に用いられる。
【００３５】
図３（Ｅ）は、隣り合うフレームの変換窓の干渉いわゆるオーバーラツプを示す。フレームＦ(n-1) 及びフレームＦ(n) の変換窓はどちらもオンリーロングシークエンスＳ１が選択されている。フレームＦ(n-1) の変換窓Ｗ(n-1) 及びフレームＦ(n) の変換窓Ｗ(n) はフレームＦ(n) においてオーバーラツプしており、フレームＦ(n) の入力オーデイオサンプルはフレームＦ(n-1) 及びフレームＦ(n) の双方の符号化処理対象となる。
【００３６】
すなわち、フレームＦ(n) に相当する区間の復号においては、フレームＦ(n-1) のオーデイオストリームに符号化されていたスペクトル係数をＩＭＤＣＴ処理したサンプル値のうちフレームＦ(n) に相当するオーデイオサンプルと、フレームＦ(n) のオーデイオストリームに符号化されていたスペクトル係数をＩＭＤＣＴ処理したサンプル値のうちフレームＦ(n) に相当するオーデイオサンプルとを、それぞれの変換窓形状に応じた重み付けを行つた後加算することにより、フレームＦ(n) を復号する。
【００３７】
このように復号処理においては、あるフレームとその直前のフレームとが影響し合うため、編集を行うことにより、復号された音声に歪みが生じる場合がある。
【００３８】
図４（Ａ）は、オーデイオストリームＤ６０ＡとオーデイオストリームＤ６０Ｂとを編集点Ｅで接続し、編集後のオーデイオストリームＤ６０Ｃを生成した状態を示す。ここで、オーデイオストリームＤ６０Ａの編集終了可能点フレームＦａ（ｎ−１）の変換窓Ｗａ（ｎ−１）はロングスタートシークエンスＳ３を使用しており、オーデイオストリームＤ６０Ｂの編集開始可能点フレームＦｂ（ｎ）の変換窓Ｗｂ（ｎ）はエイトシヨートシークエンスＳ２を使用している。
【００３９】
オーデイオストリームＤ６０Ｃにおいて、フレームＦｃ（ｎ）で変換窓Ｗａ（ｎ−１）と変換窓Ｗｂ（ｎ）がオーバーラツプする。変換窓Ｗａ（ｎ−１）は、フレームＦｃ（ｎ）に相当する区間の前半分程度しか含まず、変換窓Ｗｂ（ｎ）は、フレームＦｃ（ｎ）に相当する区間の後半分程度しか含まない。このため、変換窓Ｗａ（ｎ−１）と変換窓Ｗｂ（ｎ）とが重なるオーバーラツプ区間Ｌｏはごく短い区間となる。従つてオーデイオストリームＤ６０Ｃを復号化した場合、本来全く異なる音声のフレームであるフレームＦｃ（ｎ−１）とフレームＦｃ（ｎ）とがオーバーラツプして復号される時間は短く、歪みはほとんど発生しない。
【００４０】
これに対し、図４（Ｂ）ではオーデイオストリームＤ６０Ａの編集終了可能点フレームＦａ（ｎ−１）の変換窓Ｗａ（ｎ−１）はオンリーロングシークエンスＳ１を使用しており、オーデイオストリームＤ６０Ｂの編集開始可能点フレームＦｂ（ｎ）の変換窓Ｗｂ（ｎ）はエイトシヨートシークエンスＳ２を使用している。
【００４１】
変換窓Ｗａ（ｎ−１）は、フレームＦｃ（ｎ）に相当する区間のほぼ全体を含んでいる。このため、変換窓Ｗａ（ｎ−１）と変換窓Ｗｂ（ｎ）とが重なるオーバーラツプ区間ＬｏはフレームＦｃ（ｎ）のほぼ全長となる。従つてオーデイオストリームＤ６０Ｃを復号化した場合、本来全く異なる音声のフレームであるフレームＦｃ（ｎ−１）とフレームＦｃ（ｎ）とがオーバーラツプして復号される時間が長くなり、歪みが生じてしまう。
【００４２】
かかる歪みの発生を防止するため、編集終了可能点フレーム及び編集開始可能点フレームの変換窓を、オーバーラツプの少ない形状にする必要がある。
【００４３】
次に、編集開始可能点フレームにおける予測符号化の停止について説明する。ＡＡＣ方式においてはオプシヨンとしてスペクトル係数に対する予測符号化処理が規定されている。かかる予測符号化処理を行うことにより、発生符号量を削減し得る。かかる予測処理は行つても行わなくても良い。しかし、編集開始可能点フレームについて予測符号化を用いた場合、編集後において復号した音声に歪みが発生してしまう。
【００４４】
図５において６０は全体としてオーデイオ符号化部を示し、フイルタバンク６１は、音声信号Ｓ２Ａを所定のフレームに分割した後、各フレームに対しＭＤＣＴ（Modified Discrete Cosine Transform）処理を行うことにより周波数領域の１０２４本のスペクトル係数として符号化し、これをスペクトル係数データＤ６１として予測制御器６２に送出する。以降の処理は、全てフレーム単位で行われる。実際には予測制御器６２以降のブロツクはスペクトル係数の本数分存在しており、複数のスペクトル係数をそれぞれ平行して処理するが、ここでは１系統のブロツクのみを説明する。
【００４５】
オーデイオ符号化部６０において予測処理を行わない場合、予測制御器６２はスペクトル係数データＤ６１をそのまま演算データＤ６２として量子化部６３に送出する。量子化部６３は、演算データＤ６２に対し量子化処理を行い、量子化データＤ６３としてハフマン符号化部６４に送出する。ハフマン符号化部６４は量子化データＤ６３に対しハフマン符号による可変長符号化処理を行い、符号化データＤ６４として送出する。
【００４６】
一方、オーデイオ符号化部６０において予測処理を行う場合、予測制御器６２はスペクトル係数データＤ６１について、予測器６７より供給される予測スペクトル係数データＤ６７を用いて減算処理して差分データを算出し、これを演算データＤ６２として量子化部６３に送出する。
【００４７】
量子化部６３は、演算データＤ６２に対し量子化処理を行い、量子化データＤ６３としてハフマン符号化部６４及び逆量子化部６５に送出する。
【００４８】
ハフマン符号化部６４は、量子化データＤ６３に対しハフマン符号による可変長符号化処理を行い、オーデイオストリームＤ６４として送出する。
【００４９】
逆量子化部６５は、量子化データＤ６３に対し逆量子化処理を行い、演算データＤ６５として予測制御器６６に送出する。予測制御器６６は、演算データＤ６５（差分データ）と予測器６７から供給される予測スペクトル係数データＤ６７とを加算することによりスペクトル係数データを再生し、これを再生スペクトル係数データＤ６６として予測器６７に送出する。
【００５０】
予測器６７は、再生スペクトル係数データＤ６６を基に予測スペクトル係数データＤ６７を算出する。すなわち、予測制御器６２に供給されているスペクトル係数データＤ６１のフレームをＦ(n) とすると、予測器６７はフレームＦ(n-1) までの再生スペクトル係数データＤ６６を基に、再生スペクトル係数データＤ６６の変移状態を示す値である状態変数Ｐを算出する。そして当該状態変数Ｐに基づいてフレームＦ(n) のスペクトル係数データの値を予測することにより予測スペクトル係数データＤ６７を得る。
【００５１】
このようにして得た予測スペクトル係数データＤ６７と、スペクトル係数データＤ６１との差分を算出し、この差分値を量子化及び可変長符号化処理することにより、符号化処理による発生符号量を削減し得る。
【００５２】
ところで、かかる予測符号化処理を用いて符号化したオーデイオストリームを復号化するためには、符号化部が有する予測器の状態変数Ｐと、復号化部が有する予測器の状態変数Ｐとが同一でなければならない。
【００５３】
図６は全体としてオーデイオ復号化部９０を示し、オーデイオ符号化部６０により符号化処理されたオーデイオストリームＤ６４が供給されている。ハフマン復号化部９１はオーデイオストリームＤ６４に対しハフマン符号による可変長復号化処理を行い、量子化データＤ９１として逆量子化部９２に送出する。逆量子化部９２は、量子化データＤ９１に対し逆量子化処理を行い、演算データＤ９２として予測制御器９３に送出する。
【００５４】
オーデイオ符号化部６０による符号化処理において予測符号化が行われていない場合、予測制御器９３は演算データＤ９２をそのままスペクトル係数データＤ９３としてフイルタバンク９４に送出する。フイルタバンク９４はスペクトル係数データＤ９３に対しＩＭＤＣＴ（Inverse Modified Discrete Cosine Transform）処理を行い復号化し、音声信号Ｓ９４として送出する。
【００５５】
一方、オーデイオ符号化部６０による符号化処理において予測符号化が行われていた場合、予測制御器９３は演算データＤ９２（差分データ）について、予測器９５より供給される予測スペクトル係数データＤ９５を加算することによりスペクトル係数データを生成し、これをスペクトル係数データＤ９３としてフイルタバンク９４及び予測器９５に送出する。
【００５６】
フイルタバンク９４はスペクトル係数データＤ９３に対しＩＭＤＣＴ処理を行い復号化し、音声信号Ｓ９４として送出する。
【００５７】
予測器９５は、スペクトル係数データＤ９３を基に予測スペクトル係数データＤ９５を算出する。すなわち、予測制御器９３に供給されている演算データＤ９２のフレームをＦ(n) とすると、予測器９５はフレームＦ(n-1) までのスペクトル係数データＤ９３を基に状態変数Ｐを算出する。そして当該状態変数Ｐに基づいてフレームＦ(n) のスペクトル係数データの値を予測することにより予測スペクトル係数データＤ９５を得る。このようにして得た予測スペクトル係数データＤ９５と、演算データＤ９２を加算することにより、差分値からスペクトル係数データＤ９３を生成する。
【００５８】
ここで、予測符号化を用いて符号化されたオーデイオストリームを編集した場合、編集点の前後において、異なる状態変数Ｐを用いて予測符号化された２つのオーデイオストリームが接続されることになる。このため編集点以降において、符号化部が有する予測器の状態変数Ｐと復号化部が有する予測器の状態変数Ｐとの間に相違が生じる。この状態変数Ｐの相違により、当該状態変数Ｐを用いて算出される予測スペクトル係数データＤ６７とＤ９５の間に相違が生じ、この結果スペクトル係数データＤ９３に誤差が生じる。スペクトル係数データＤ９３の誤差は、再生される音声の歪みとして現れる。かかる誤差は状態変数Ｐに蓄積されていき、スペクトル係数データＤ９３の誤差も増大していく。
【００５９】
かかる歪みの発生を防止するため、編集開始可能点フレームについて予測器の使用を停止し予測符号化を行わないようにするとともに、予測器をリセツトし、当該予測器が有する状態変数Ｐを初期値にリセツトする必要がある。
【００６０】
ＡＡＣ方式では、エイトシヨートシークエンスＳ２を使用したフレームの符号化及び復号化においては全ての予測器を使用しないとともに全ての予測器の状態変数をリセツトしなければならないことが規定されている。このためオーデイオ符号化部６０は、編集終了可能点フレームの変換窓形状をエイトシヨートシークエンスＳ２又はロングスタートシークエンスＳ３とするとともに、編集開始可能点フレームの変換窓形状をエイトシヨートシークエンスＳ２とすることにより、編集点における歪みの発生を防止する。
【００６１】
図７はオーデイオ符号化部６０における符号化処理を示す。ステツプＳＰ１で処理を開始し、ステツプＳＰ２において、符号化するフレームであるフレームＮが編集開始可能点フレームかどうかを判定する。すなわちステツプＳＰ２において肯定結果が得られると、このことはフレームＮが編集開始可能点フレームとして指定されていることを示しており、処理はステツプＳＰ７に進む。ステツプＳＰ７において、エイトシヨートシークエンスＳ２を用いてフレームＮの符号化を行い、ステツプＳＰ５に進む。
【００６２】
これに対し、ステツプＳＰ２において否定結果が得られると、このことはフレームＮが編集開始可能点フレームとして指定されていないことを示しており、処理はステツプＳＰ３に進む。
【００６３】
ステツプＳＰ３において、フレームＮが編集終了可能点フレームかどうかを判定する。すなわちステツプＳＰ３において肯定結果が得られると、このことはフレームＮが編集終了可能点フレームとして指定されていることを示しており、処理はステツプＳＰ６に進む。ステツプＳＰ６において、エイトシヨートシークエンスＳ２またはロングスタートシークエンスＳ３を用いてフレームＮの符号化を行い、ステツプＳＰ５に進む。
【００６４】
これに対し、ステツプＳＰ３において否定結果が得られると、このことはフレームＮが編集終了可能点フレームとして指定されていないことを示しており、処理はステツプＳＰ４に進む。ステツプＳＰ４において、任意の変換窓を用いてフレームＮの符号化を行い、ステツプＳＰ５に進む。
【００６５】
ステツプＳＰ５において、処理フレームを次のフレームに進め、ステツプＳＰ２に戻る。以上の処理を各フレームについて行うことにより、編集点における歪みの無い符号化を行い得る。
【００６６】
ところで編集作業を行うためには、編集終了可能点及び編集開始可能点がトランスポートストリームのどこにあるかという情報が必要である。このため多重化部５６は編集可能点信号Ｄ５３に応じて、編集可能点の位置情報をトランスポートストリームＤ５０Ａに符号化する。
【００６７】
ＭＰＥＧ２方式においては、ＴＳ（Transport Stream）パケツトと呼ばれる１８８バイト長のパケツト毎にデータを多重化する。図８はＭＰＥＧ２方式によるデータの多重化を示し、オーデイオストリームＤ６０は、まずＰＥＳ（Packetized Elementary Stream）パケツトと呼ばれる固定長のパケツトに分割され、このＰＥＳパケツトの連続したストリームであるオーデイオＰＥＳ Ｄ６８となる。このとき、各ＰＥＳパケツトの先頭にはＰＥＳヘツダとよばれるデータ領域が付加される。さらにＰＥＳパケツトはＴＳ（Transport Stream）パケツトと呼ばれる１８８バイト長のパケツトに分割される。このとき、各ＴＳパケツトの先頭にはＴＳパケツトヘツダとよばれるデータ領域が付加される。そしてＴＳパケツトは他のデータによるＴＳパケツトと多重化され、トランスポートストリームＤ５０Ａとなる。
【００６８】
ＴＳパケツトヘツダ内のアダプテーシヨンフイールドと呼ばれるデータ領域には、スプライスカウントダウンと呼ばれる領域が規定されている。このスプライスカウントダウン領域を用いて、編集可能点の位置情報をトランスポートストリームＤ５０Ａに記入する。
【００６９】
すなわち図８に示すように、編集終了可能点フレームＦｏを分割してなるＴＳパケツトを、最も編集点Ｅに近いＴＳパケツトからＴｏ（ｎ）、Ｔｏ（ｎ−１）とすると、ＴＳパケツトＴｏ（ｎ）のスプライスカウントダウンＳＣＤの値を０とし、ＴＳパケツトＴｏ（ｎ−１）のスプライスカウントダウンＳＣＤの値を１とする。また、編集開始可能点フレームＦｉを分割してなるＴＳパケツトを、最も編集点Ｅに近いＴＳパケツトからＴｉ（ｎ）、Ｔｉ（ｎ＋１）とすると、ＴＳパケツトＴｉ（ｎ）のスプライスカウントダウンＳＣＤの値を１とし、ＴＳパケツトＴｉ（ｎ＋１）のスプライスカウントダウンＳＣＤの値を２とする。
【００７０】
かくして、トランスポートストリームＤ５０Ａに編集可能点の位置情報が記入される。編集装置はトランスポートストリームのスプライスカウントダウンＳＣＤの値を参照して編集可能点を検出し、かかる編集可能点でトランスポートストリームの切り替えを行うことにより、歪みの少ない編集をおこなうことができる。
【００７１】
図９において、１００は全体としてオーデイオ・ビデオ編集装置を示し、符号化多重化装置５０ＡからトランスポートストリームＤ５０Ａが供給されているとともに、当該符号化多重化装置５０Ａと同一構成でなる符号化多重化装置５０Ｂから、トランスポートストリームＤ５０Ｂが供給されている。またストリームサーバ４０から、トランスポートストリームＤ４０Ａ及びトランスポートストリームＤ４０Ｂが供給されている。トランスポートストリームＤ４０Ａ及びトランスポートストリームＤ４０Ｂは、予め符号化多重化装置５０Ａ及び符号化多重化装置５０Ｂから送出されたトランスポートストリームＤ５０Ａ及びトランスポートストリームＤ５０Ｂが、ストリームサーバ４０に蓄えられたものである。
【００７２】
選択器７０Ａは、トランスポートストリームＤ５０Ａ及びトランスポートストリームＤ４０Ａのいずれか一方を選択し、これをトランスポートストリームＤ７０Ａとして分離部７５Ａに供給する。分離部７５Ａは、トランスポートストリームＤ７０Ａに多重化されたビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ７５Ａ及びオーデイオストリームＤ７６Ａとしてビデオ切替器７８及びオーデイオ切替器７９に送出する。
【００７３】
同様に選択器７０Ｂは、トランスポートストリームＤ５０Ｂ及びトランスポートストリームＤ４０Ｂのいずれか一方を選択し、これをトランスポートストリームＤ７０Ｂとして分離部７５Ｂに供給する。分離部７５Ｂは、トランスポートストリームＤ７０Ｂに多重化されたビデオストリーム及びオーデイオストリームを分離し、それぞれをビデオストリームＤ７５Ｂ及びオーデイオストリームＤ７６Ｂとしてビデオ切替器７８及びオーデイオ切替器７９に送出する。
【００７４】
ここでシステムコントローラ８２は、トランスポートストリームＤ７０Ａ及びトランスポートストリームＤ７０ＢのスプライスカウントダウンＳＣＤの値を、編集位置情報Ｄ７７Ａ及びＤ７７Ｂとしてそれぞれ分離部７５Ａ及び７５Ｂより常に得ている。またシステムコントローラ８２には、オーデイオ・ビデオ編集装置１００を操作するオペレータにより、編集位置指示信号Ｄ８１が入力される。システムコントローラ８２は、編集位置情報Ｄ７７Ａ、Ｄ７７Ｂ及び編集位置指示信号Ｄ８１を基に歪みの発生することの無い編集終了可能点及び編集開始可能点を検出し、かかる編集終了可能点及び編集開始可能点において、ビデオ切替信号Ｄ８２をビデオ切替器７８に送出するとともに、オーデイオ切替信号Ｄ８３をオーデイオ切替器７９に送出する。
【００７５】
ビデオ切替器７８は、ビデオ切替信号Ｄ８２に応じてビデオストリームＤ７５Ａ及びビデオストリームＤ７５Ｂを切り替え、ビデオストリームＤ７８として送出する。またオーデイオ切替器７９は、オーデイオ切替信号Ｄ８３に応じてオーデイオストリームＤ７６Ａ及びオーデイオストリームＤ７６Ｂを切り替え、オーデイオストリームＤ７９として送出する。
【００７６】
多重化部８０は、ビデオストリームＤ７８及びオーデイオストリームＤ７９をＭＰＥＧ２方式により多重化し、トランスポートストリームＤ８０として送出する。またストリームサーバ４０は、ビデオストリームＤ７８、オーデイオストリームＤ７９及びトランスポートストリームＤ８０を蓄積する。
【００７７】
以上の構成において、符号化多重化装置５０Ａに供給された映像信号Ｓ１Ａは、図１に示されるようにビデオ符号化部５１において符号化処理を受け、ビデオストリームＤ５１として多重化部５６に送出される。また、音声信号Ｓ２Ａはオーデイオ符号化部６０において符号化処理を受け、オーデイオストリームＤ６０として多重化部５６に送出される。
【００７８】
ここでビデオ符号化部５１は、システムコントローラ５３から供給される編集可能点指示信号Ｄ５４に応じて、ビデオストリームＤ５１に編集終了可能点ピクチヤＰｏ及び編集開始可能点ピクチヤＰｉを設定する。またオーデイオ符号化部６０は、システムコントローラ５３から供給される編集可能点指示信号Ｄ５４に応じて、オーデイオストリームＤ６０に編集終了可能点フレームＦｏ及び編集開始可能点フレームＦｉを設定する。このとき、編集終了可能点ピクチヤＰｏの表示終了の直前に表示を終了するフレームを編集終了可能フレームＦｏとし、編集開始可能点ピクチヤＰｉの表示開始の直後に表示を開始するフレームを編集開始可能フレームＦｉとするとともに、編集終了可能フレームＦｏの変換窓をロングスタートシークエンスまたはエイトシヨートシークエンスとし、編集開始可能フレームＦｉの変換窓をエイトシヨートシークエンスとする。
【００７９】
多重化部５６は、ビデオストリームＤ５１及びオーデイオストリームＤ６０を多重化し、トランスポートストリームＤ５０Ａとして送出する。このとき多重化部５６は、システムコントローラＤ５３から供給される編集可能点信号Ｄ５３に応じて、トランスポートストリームＤ５０Ａに編集可能点の位置情報を記入する。
【００８０】
図９に戻りオーデイオ・ビデオ編集装置１００において、トランスポートストリームＤ５０Ａ及びストリームサーバ４０から供給されたトランスポートストリームＤ４０Ａは切替器７０Ａにおいて選択され、トランスポートストリームＤ７０Ａとして分離部７５Ａに供給される。トランスポートストリームＤ７０Ａは分離部７５Ａにおいて、ビデオストリームＤ７５Ａ及びオーデイオストリームＤ７６Ａとして、それぞれビデオ切替器７８及びオーデイオ切替器７９に供給される。同様にトランスポートストリームＤ５０Ｂ及びストリームサーバ４０から供給されたトランスポートストリームＤ４０Ｂは切替器７０Ｂにおいて選択され、トランスポートストリームＤ７０Ｂとして分離部７５Ｂに供給される。トランスポートストリームＤ７０Ｂは分離部７５Ｂにおいて、ビデオストリームＤ７５Ｂ及びオーデイオストリームＤ７６Ｂとして、それぞれビデオ切替器７８及びオーデイオ切替器７９に供給される。
【００８１】
システムコントローラ８２は、トランスポートストリームＤ７０Ａ及びトランスポートストリームＤ７０Ｂの編集可能点の位置情報を編集位置情報Ｄ７７Ａ及びＤ７７Ｂとして得ており、かかる編集位置情報Ｄ７７Ａ及びＤ７７Ｂに応じてビデオ切替信号Ｄ８２及びオーデイオ切替信号Ｄ８３を送出する。ビデオ切替器７８は、システムコントローラ８２から供給されるビデオ切替信号Ｄ８２に応じてビデオストリームＤ７５Ａ及びビデオストリームＤ７５Ｂを切り替え、ビデオストリームＤ７８として送出する。またオーデイオ切替器７８は、システムコントローラ８２から供給されるオーデイオ切替信号Ｄ８３に応じてオーデイオストリームＤ７６Ａ及びオーデイオストリームＤ７６Ｂを切り替え、オーデイオストリームＤ７９として送出する。
【００８２】
以上の構成によれば、音声信号の符号化において、編集終了可能点フレームの変換窓をエイトシヨートシークエンス又はロングスタートシークエンスとするとともに、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより、編集点におけるオーバーラツプを少なくし、編集作業による歪みを減少し得る。
【００８３】
また音声信号の符号化において、編集開始可能点フレームの変換窓を編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより、予測器の使用を停止するとともに予測器の状態変数を初期化し、編集作業による歪みを減少し得る。
【００８４】
また音声信号の符号化において、編集終了可能点フレームを編集終了可能点ピクチヤの表示終了の直前に表示を終了するフレームとし、編集開始可能点フレームを編集開始可能点ピクチヤの表示開始の直後に表示を開始するフレームとすることにより、オーデイオギヤツプを最小限にし得る。
【００８５】
（２）第２の実施の形態
図１０において、１１０Ａは全体として符号化装置を示し、外部より音声信号Ｓ２Ａが供給されている。オーデイオ符号化部１１２は、音声信号Ｓ２ＡをＡＡＣ方式により符号化し、オーデイオストリームＤ１１０Ａとして送出する。
【００８６】
このときシステムコントローラ１１１は、編集位置指示信号Ｄ５に応じて、編集可能点指示信号Ｄ１１１を、オーデイオ符号化部１１２に送出する。編集位置指示信号Ｄ５は、符号化装置１１０Ａを操作するオペレータにより、音声の切れ目等の編集位置としたいタイミングで入力される。オーデイオ符号化部１１０Ａは、編集可能点指示信号Ｄ１１１に応じて、オーデイオストリームＤ１１０Ａに編集終了可能点フレーム及び編集開始可能点フレームを設定する。
【００８７】
すなわち図１１（Ａ）に示すように、編集可能点指示信号Ｄ１１１が示す編集位置をＥとすると、編集位置Ｅの直前のフレームを編集終了可能点フレームＦｏとし、当該編集終了可能点フレームＦｏの変換窓形状をエイトシヨートシークエンスＳ２又はロングスタートシークエンスＳ３とする。また編集位置Ｅの直後のフレームを編集開始可能点フレームＦｉとし、当該編集開始可能点フレームＦｉの変換窓形状をエイトシヨートシークエンスＳ２とすることにより、編集点における歪みの発生を防止する。
【００８８】
同時にオーデイオ符号化部１１２は、編集可能点の位置情報を、オーデイオストリームＤ１１０Ａ内のデータストリームバイトと呼ばれる領域に記入する。データストリームバイトは、ＭＰＥＧ２方式によりユーザが任意に使用できる領域として規定されている。
【００８９】
図１１（Ａ）は、データストリームバイト内に編集可能点の位置情報としてカウントダウン値ＣＤという値を設定した場合を示し、編集終了可能点フレームＦｏのカウントダウン値ＣＤの値を０とし、編集終了可能点フレームＦｏ以前のフレームのカウントダウン値ＣＤの値を１、２……とする。また編集開始可能点フレームＦｉのカウントダウン値ＣＤの値を−１とし、編集開始可能点フレームＦｉ以降のフレームのカウントダウン値ＣＤの値を−２、−３……とする。かかるカウントダウン値ＣＤを参照することにより、編集可能点の位置を知ることができる。
【００９０】
かくして、オーデイオストリームＤ１１０Ａに編集可能点の位置情報が記入される。編集装置はオーデイオストリームＤ１１０Ａのカウントダウン値ＣＤを参照して編集可能点を検出し、かかる編集点でオーデイオストリームの切り替えを行うことにより、歪みの少ない編集を行うことができる。
【００９１】
図１２において、２００は全体としてオーデイオ編集装置を示し、符号化装置１１０ＡからオーデイオストリームＤ１１０Ａが供給されているとともに、当該符号化装置１１０Ａと同一構成でなる符号化装置１１０Ｂから、オーデイオストリームＤ１１０Ｂが供給されている。またストリームサーバ４０から、オーデイオストリームＤ１４０Ａ及びオーデイオストリームＤ１４０Ｂが供給されている。オーデイオストリームＤ１４０Ａ及びオーデイオストリームＤ１４０Ｂは、予め符号化装置１１０Ａ及び符号化装置１１０Ｂから送出されたオーデイオストリームＤ１１０Ａ及びオーデイオストリームＤ１１０Ｂが、ストリームサーバ４０に蓄えられたものである。
【００９２】
選択器１７０Ａは、オーデイオストリームＤ１１０Ａ及びオーデイオストリームＤ１４０Ａのいずれか一方を選択し、これをオーデイオストリームＤ１７０Ａとして検出部１７５Ａを介してオーデイオ切替器１７８に供給する。同様に選択器１７０Ｂは、オーデイオストリームＤ１１０Ｂ及びオーデイオストリームＤ１４０Ｂのいずれか一方を選択し、これをオーデイオストリームＤ１７０Ｂとして検出部１７５Ｂを介してオーデイオ切替器１７８に供給する。
【００９３】
ここでシステムコントローラ１８２は、オーデイオストリームＤ１７０Ａ及びオーデイオストリームＤ１７０Ａのカウントダウン値ＣＤの値を、それぞれ編集位置情報Ｄ１７７Ａ及びＤ１７７Ｂとしてそれぞれ検出部１７５Ａ及び１７５Ｂより常に得ている。またシステムコントローラ１８２には、オーデイオ編集装置２００を操作するオペレータにより、編集位置指示信号Ｄ１８１が入力される。システムコントローラ１８２は、編集位置情報Ｄ１７７Ａ、Ｄ１７７Ｂ及び編集位置指示信号Ｄ１８１を基に歪みの発生することの無い編集終了可能点及び編集開始可能点を検出し、かかる編集終了可能点及び編集開始可能点において、オーデイオ切替信号Ｄ１８３をオーデイオ切替器１７８に送出する。
【００９４】
オーデイオ切替器１７８は、オーデイオ切替信号Ｄ１８３に応じてオーデイオストリームＤ１７０Ａ及びオーデイオストリームＤ１７０Ｂを切り替え、オーデイオストリームＤ２００として送出する。
【００９５】
以上の構成において、符号化装置１１０Ａに供給された音声信号Ｓ２Ａはオーデイオ符号化部１１２において符号化処理を受け、オーデイオストリームＤ１１０Ａとして送出される。
【００９６】
ここでオーデイオ符号化部１１２は、システムコントローラ１１１から供給される編集可能点指示信号Ｄ１１１に応じて、オーデイオストリームＤ１１０Ａに編集終了可能点フレームＦｏ及び編集開始可能点フレームＦｉを設定する。このとき、編集終了可能フレームＦｏの変換窓をロングスタートシークエンスまたはエイトシヨートシークエンスとし、編集開始可能フレームＦｉの変換窓をエイトシヨートシークエンスとする。
【００９７】
またオーデイオ符号化部１１２は、システムコントローラ１１１から供給される編集可能点信号Ｄ１１１に応じて、オーデイオストリームＤ１１０Ａに編集可能点の位置情報を記入する。
【００９８】
オーデイオ編集装置２００において、オーデイオストリームＤ１１０Ａ及びストリームサーバ１４０から供給されたオーデイオストリームＤ１４０Ａは切替器１７０Ａにおいて選択され、オーデイオストリームＤ１７０Ａとして検出部１７５Ａを介して切替器１７８に送出される。同様にオーデイオストリームＤ１１０Ｂ及びストリームサーバ１４０から供給されたオーデイオストリームＤ１４０Ｂは切替器１７０Ｂにおいて選択され、オーデイオストリームＤ１７０Ｂとして検出部１７５Ｂを介して切替器１７８に送出される。
【００９９】
システムコントローラ１８２は、オーデイオストリームＤ１７０Ａ及びＤ１７０Ｂの編集可能点の位置情報を編集位置情報Ｄ１７７Ａ及びＤ１７７Ｂとして得ており、かかる編集位置情報Ｄ１７７Ａ及びＤ１７７Ｂに応じてオーデイオ切替信号Ｄ１８２を送出する。オーデイオ切替器１７８は、システムコントローラ１８２から供給されるオーデイオ切替信号Ｄ１８２に応じてオーデイオストリームＤ１７０Ａ及びオーデイオストリームＤ１７０Ｂを切り替え、オーデイオストリームＤ２００として送出する。
【０１００】
以上の構成によれば、音声信号の符号化において、編集終了可能点フレームの変換窓をエイトシヨートシークエンス又はロングスタートシークエンスとするとともに、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより、編集点におけるオーバーラツプを少なくし、編集作業による歪みを減少し得る。
【０１０１】
また音声信号の符号化において、編集開始可能点フレームを符号化する場合、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとすることにより予測器の使用を停止するとともに予測器の状態変数を初期化し、編集作業による歪みを減少し得る。
【０１０２】
（３）他の実施の形態
なお上述の第１の実施の形態及び第２の実施の形態においては、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとして符号化することにより、編集開始可能点フレームにおいて予測器の使用停止及び予測器のリセツトを行うようにしたが、本発明においてはこれに限らず、編集開始可能点フレーム以降において予測器の一部づつを順にリセツトしていき、当該リセツトされた予測器のみを使用して符号化していく、段階リセツトを行うようにしても良い。この場合、編集開始可能点フレームの変換窓を任意の形状とすることができる。
【０１０３】
図１３は段階リセツトの概念を示し、Ｐ０〜Ｐ４の合計５個の予測器が存在しており、各予測器はそれぞれ対応するスペクトル係数について予測符号化を行う。予測器のリセツトは１フレームに１個行われる。
【０１０４】
編集開始可能点フレームＦｏのフレーム番号をＮとすると、まずフレームＮにおいて予測器Ｐ０のリセツトが行われる。当該フレームＮでは全ての予測器は使用できない。次のフレームＮ＋１において予測器Ｐ１のリセツトが行われる。このとき、予測器Ｐ０はすでにリセツトされているため使用可能である。さらにフレームＮ＋２において、予測器Ｐ２のリセツトが行われる。フレームＮ＋２では、予測器Ｐ０及び予測器Ｐ１がリセツトされているため使用可能である。以降のフレームにおいてもリセツトされていない予測器を順次リセツトしていくことにより、フレームＮ＋６では全ての予測器が使用可能となる。
【０１０５】
ＡＡＣ方式においては、リセツトグループ及びスケールフアクターバンドと呼ばれる規格がある。これは予測器をリセツトグループと呼ばれるグループに分け、当該リセツトグループ毎にリセツトを行うとともに、予測器をスケールフアクターバンドと呼ばれるグループに分け、当該スケールフアクターバンド毎に予測器の使用を行うものである。
【０１０６】
図１４（Ａ）はリセツトグループを示し、予測器を１〜３０のグループに分けたものである。１つのフレームでは１つのリセツトグループのみリセツトすることが許されている。リセツトを行うリセツトグループの番号は、オーデイオストリーム内に記入される。また図１４（Ｂ）はスケールフアクターバンドを示し、予測器をスケールフアクターバンドと呼ばれるグループに分け、あるスケールフアクターバンドに含まれる全ての予測器がリセツトされた状態でのみ、当該スケールフアクターバンドに含まれる予測器を使用可能とするものである。
【０１０７】
図１４（Ｃ）はリセツトグループ及びスケールフアクターバンドを用いたリセツトを示し、編集終了可能点フレームＦｏのフレーム番号をＮとすると、まずフレームＮにおいて、リセツトグループ１のリセツトが行われる。以降のフレームにおいて、順次リセツトグループ２以降のリセツトが行われて行く。そしてフレームＮ＋３において、まずスケールフアクターバンド０に含まれる予測器が全てリセツトされ、当該スケールフアクターバンド０に含まれる予測器は次のフレームより使用可能となる。以降、リセツトが進むにつれ使用可能な予測器は増加して行く。
【０１０８】
このように予測器をリセツトグループに分け、編集終了可能点フレーム以降において予測器を当該リセツトグループ毎にリセツトを行うようにすることにより、編集開始可能点フレームの変換窓を任意の形状とすることができる。この場合の構成は、第１の実施の形態及び第２の実施の形態と同一で良い。
【０１０９】
さらに上述の第１の実施の形態及び第２の実施の形態においては、編集開始可能点フレームの変換窓をエイトシヨートシークエンスとして符号化することにより、編集開始可能点フレームにおいて全予測器の使用停止及び全予測器のリセツトを行うようにしたが、本発明においてはこれに限らず、編集開始可能点フレームにおいて強制的に予測器の全てをリセツトするようにしても良い。この場合の構成も、第１の実施の形態及び第２の実施の形態と同一で良い。
【０１１０】
【発明の効果】
上述のように本発明によれば、音声信号の符号化において、編集終了可能符号化単位を後ろに続く符号化単位との干渉の少ない符号化重み付けパターンを用いて符号化するとともに、編集開始可能符号化単位を前に続く符号化単位との干渉の少ない符号化重み付けパターンを用いて符号化することにより、編集作業により発生する歪みを減少し得る。
【０１１１】
また本発明によれば、音声信号の符号化において、編集開始可能符号化単位のを符号化する場合に予測器の使用を停止するとともに予測器を初期化することにより、編集作業により発生する歪みを減少し得る。
【０１１２】
また本発明によれば、音声信号の符号化において、編集終了可能音声符号化単位を、編集終了可能映像符号化単位の表示終了の直前に表示を終了する音声符号化単位とし、編集開始可能音声符号化単位を、編集開始可能映像符号化単位の表示開始の直後に表示を開始する音声符号化単位とすることにより、オーデイオギヤツプを最小にし得る。
【図面の簡単な説明】
【図１】第１の実施の形態による符号化多重化装置を示すブロツク図である。
【図２】編集可能点の設定の説明に供する略線図である。
【図３】変換窓の形状の説明に供する略線図である。
【図４】オーバーラツプによる歪みの説明に供する略線図である。
【図５】オーデイオ符号化部を示すブロツク図である。
【図６】オーデイオ復号化部を示すブロツク図である。
【図７】符号化処理の説明に供するフローチヤートである。
【図８】ＭＰＥＧ２方式によるデータ多重化を示す略線図である。
【図９】第１の実施の形態によるオーデイオ・ビデオ編集装置を示すブロツク図である。
【図１０】第２の実施の形態による符号化装置を示すブロツク図である。
【図１１】編集可能点の記入を示す略線図である。
【図１２】第２の実施の形態によるオーデイオ編集装置を示すブロツク図である。
【図１３】予測器のリセツトを示す図表である。
【図１４】スケールフアクターバンドの説明に供する図表である。
【図１５】オーデイオ編集装置を示すブロツク図である。
【図１６】オーデイオストリームの説明に供する略線図である。
【図１７】オーデイオ・ビデオ編集装置を示すブロツク図である。
【図１８】オーデイオギヤツプを示す略線図である。
【符号の説明】
１０、２００……オーデイオ編集装置、１１Ａ、１１Ｂ、１２、２１Ａ、２１Ｂ、７０Ａ、７０Ｂ、１７０Ａ、１７０Ｂ……切替器、１５、４０、１４０……ストリームサーバ、２０……オーデイオ・ビデオ編集装置、２４Ａ、２４Ｂ……分離部、２７、７８……ビデオ切替器、２８、７９、１７８……オーデイオ切替器、５１……ビデオ符号化部、５３、８２、１１１、１８２……システムコントローラ、５６、８０……多重化部、６０、１１２……オーデイオ符号化部、２００……オーデイオ編集装置。
Claims (11)
- 外部から入力された編集位置指示信号に基づいて、編集可能点指示信号を出力する制御手段と、
外部から入力された音声信号を所定長の符号化単位に分割し、当該符号化単位それぞれに符号化重み付けパターンをかけた後符号化して符号化音声信号を生成する音声符号化手段と
を具え、
上記音声符号化手段は、上記編集可能点指示信号によつて示される編集位置直前の上記符号化単位を、編集終了可能符号化単位としてその後に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化するとともに、上記編集位置直後の上記符号化単位を、編集開始可能符号化単位としてその前に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化する
ことを特徴とする符号化装置。 - 上記音声符号化手段は、上記編集終了可能符号化単位及び上記編集開始可能符号化単位の位置情報を、上記符号化音声信号に記入する
ことを特徴とする請求項１に記載の符号化装置。 - 上記音声符号化手段は、
上記編集開始可能符号化単位を符号化するとき、予測動作を停止するとともに当該音声符号化手段が有する状態変数を初期化する
ことを特徴とする請求項１に記載の符号化装置。 - 外部から入力された映像信号をピクチヤ毎に符号化して符号化映像信号を生成する映像符号化手段と、
上記符号化音声信号及び上記符号化映像信号を多重化する多重化手段と
を具え、
上記編集位置は上記ピクチヤの境界でなり、
上記映像符号化手段は、上記編集位置の直前の上記ピクチヤを編集終了可能ピクチヤとしてイントラ符号化又は前方向予測符号化するとともに、上記編集位置の直後の上記ピクチヤを編集開始可能ピクチヤとしてイントラ符号化する
ことを特徴とする請求項１に記載の符号化装置。 - 上記映像符号化手段は、上記編集終了可能ピクチヤ及び上記編集開始可能ピクチヤの位置情報を上記符号化映像信号に記入する
ことを特徴とする請求項４に記載の符号化装置。 - 外部から入力された編集位置指示信号に基づいて、編集可能点指示信号を出力する制御ステツプと、
外部から入力された音声信号を所定長の符号化単位に分割し、当該符号化単位それぞれに符号化重み付けパターンをかけた後符号化して符号化音声信号を生成する音声符号化ステツプと
を具え、
上記音声符号化ステツプは、上記編集可能点指示信号によつて示される編集位置の直前の上記符号化単位を、編集終了可能符号化単位としてその後に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化するとともに、上記編集位置の直後の上記符号化単位を、編集開始可能符号化単位としてその前に続く上記音声符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化する
ことを特徴とする符号化方法。 - 外部から入力される、音声信号を所定長の符号化単位に分割した後当該符号化単位それぞれに符号化重み付けパターンをかけて符号化してなる複数本の符号化音声信号を、切り替えて接続することにより編集処理を行い、編集符号化信号として出力する編集装置において、
第１の上記符号化音声信号における、その後に続く上記符号化単位との干渉の 少ない上記符号化重み付けパターンを用いて符号化された上記符号化単位でなる編集終了可能符号化単位の位置と、第２の上記符号化音声信号における、その前に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化された上記符号化単位でなる編集開始可能符号化単位の位置とを検出し、当該検出結果に基づいて切替信号を送出する検出手段と、
上記切替信号に基づいて上記第１及び第２の符号化音声信号を切り替え、上記編集終了可能符号化単位までの上記第１の符号化音声信号と、上記編集開始可能符号化単位からの上記第２の符号化音声信号とを接続して上記編集符号化信号を生成する切替手段と
を具えることを特徴とする編集装置。 - 上記符号化音声信号には、上記編集終了可能符号化単位及び上記編集開始可能符号化単位の位置情報が記入されており、
上記検出手段は、上記符号化音声信号から取得した上記編集終了可能符号化単位及び上記編集開始可能符号化単位の上記位置情報に基づいて上記切替信号を生成する
ことを特徴とする請求項７に記載の編集装置。 - 外部から入力される、音声信号を所定長の符号化単位に分割した後当該符号化単位それぞれに符号化重み付けパターンをかけて符号化してなる複数本の符号化音声信号を、切り替えて接続することにより編集処理を行い、編集符号化信号として出力する編集方法において、
第１の上記符号化音声信号における、その後に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化された上記符号化単位でなる編集終了可能符号化単位の位置と、第２の上記符号化音声信号における、その前に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化された上記符号化単位でなる編集開始可能符号化単位の位置とを検出し、当該検出結果に基づいて切替信号を送出する検出ステツプと、
上記切替信号に基づいて上記第１及び第２の符号化音声信号を切り替え、上記 編集終了可能符号化単位までの上記第１の符号化音声信号と、上記編集開始可能符号化単位からの上記第２の符号化音声信号とを接続して上記編集符号化信号を生成する切替ステツプと
を具えることを特徴とする編集方法。 - 外部から入力された編集位置指示信号に基づいて、編集可能点指示信号を出力する制御手段と、
外部から入力された音声信号を所定長の符号化単位に分割し、当該符号化単位それぞれに符号化重み付けパターンをかけた後符号化して符号化音声信号を生成する音声符号化手段と、
外部から入力された映像信号をピクチヤ毎に符号化して符号化映像信号を生成する映像符号化手段と、
上記符号化音声信号及び上記符号化映像信号を多重化する多重化手段と
を具え、
上記音声符号化手段は、上記編集可能点指示信号によつて示される編集位置直前の上記符号化単位を、編集終了可能符号化単位としてその後に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化するとともに、上記編集位置直後の上記符号化単位を、編集開始可能符号化単位としてその前に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化する
ことを特徴とする符号化多重化装置。 - 外部から入力された編集位置指示信号に基づいて、編集可能点指示信号を出力する制御ステツプと、
外部から入力された音声信号を所定長の符号化単位に分割し、当該符号化単位それぞれに符号化重み付けパターンをかけた後符号化して符号化音声信号を生成する音声符号化ステツプと、
外部から入力された映像信号をピクチヤ毎に符号化して符号化映像信号を生成する映像符号化ステツプと、
上記符号化音声信号及び上記符号化映像信号を多重化する多重化ステツプと
を具え、
上記音声符号化ステツプは、上記編集可能点指示信号によつて示される編集位置直前の上記符号化単位を、編集終了可能符号化単位としてその後に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化するとともに、上記編集位置直後の上記符号化単位を、編集開始可能符号化単位としてその前に続く上記符号化単位との干渉の少ない上記符号化重み付けパターンを用いて符号化する
ことを特徴とする符号化多重化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05712598A JP3539615B2 (ja) | 1998-03-09 | 1998-03-09 | 符号化装置、編集装置及び符号化多重化装置並びにそれらの方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05712598A JP3539615B2 (ja) | 1998-03-09 | 1998-03-09 | 符号化装置、編集装置及び符号化多重化装置並びにそれらの方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11259096A JPH11259096A (ja) | 1999-09-24 |
| JP3539615B2 true JP3539615B2 (ja) | 2004-07-07 |
Family
ID=13046852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05712598A Expired - Fee Related JP3539615B2 (ja) | 1998-03-09 | 1998-03-09 | 符号化装置、編集装置及び符号化多重化装置並びにそれらの方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3539615B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276196A (ja) * | 1999-03-29 | 2000-10-06 | Victor Co Of Japan Ltd | オーディオ符号化ストリーム復号化方法 |
| US6438518B1 (en) * | 1999-10-28 | 2002-08-20 | Qualcomm Incorporated | Method and apparatus for using coding scheme selection patterns in a predictive speech coder to reduce sensitivity to frame error conditions |
| JP3806770B2 (ja) * | 2000-03-17 | 2006-08-09 | 松下電器産業株式会社 | 窓処理装置および窓処理方法 |
| JP4411499B2 (ja) * | 2000-06-14 | 2010-02-10 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに記録媒体 |
| JP4867076B2 (ja) * | 2001-03-28 | 2012-02-01 | 日本電気株式会社 | 音声合成用圧縮素片作成装置、音声規則合成装置及びそれらに用いる方法 |
| JP4359499B2 (ja) * | 2001-06-08 | 2009-11-04 | アイピージー エレクトロニクス ５０３ リミテッド | オーディオ信号の編集 |
| JP4552802B2 (ja) | 2005-08-10 | 2010-09-29 | ソニー株式会社 | 記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体 |
| EP2996269A1 (en) | 2014-09-09 | 2016-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio splicing concept |
-
1998
- 1998-03-09 JP JP05712598A patent/JP3539615B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11259096A (ja) | 1999-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6339760B1 (en) | Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data | |
| JP4150083B2 (ja) | 符号化ストリーム生成装置及び方法、ならびに編集システム及び方法 | |
| JP5032314B2 (ja) | オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置 | |
| WO1996031981A1 (fr) | Procede et systeme de mise en forme de signaux video comprimes, et decodeur | |
| JPH10145798A (ja) | デジタル符号化信号処理方式 | |
| JPH11275576A (ja) | 画像伝送方法，画像処理方法，画像処理装置，及びデ―タ記憶媒体 | |
| JP2002501702A (ja) | ビデオ及び音声信号処理 | |
| JP3539615B2 (ja) | 符号化装置、編集装置及び符号化多重化装置並びにそれらの方法 | |
| JP2000165802A (ja) | ストリーム編集装置と編集方法 | |
| JP3191583B2 (ja) | 情報復号化装置 | |
| JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
| JP2000078531A (ja) | オ―ディオデ―タ編集方法、編集システム | |
| WO2003036967A1 (fr) | Appareil et procede de traitement de signaux video, programme et moyen d'enregistrement | |
| JP3748234B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| KR100900607B1 (ko) | 멀티미디어 데이터 복호장치 | |
| JP2002010203A (ja) | マルチメディアデータ編集装置 | |
| JP3588153B2 (ja) | データ編集方法及び編集装置 | |
| JP3427505B2 (ja) | 画像符号化方法と編集装置 | |
| JP3792770B2 (ja) | 記録再生装置 | |
| JP3166572B2 (ja) | 動画像音声圧縮装置 | |
| JP2002135774A (ja) | 圧縮映像情報の伝送装置 | |
| JP2001211420A (ja) | ディスク記録媒体における圧縮符号化ストリームの編集方法および編集装置 | |
| JP2937180B2 (ja) | 映像符号化方法およびこの映像符号化方法による符号データが格納された記録媒体 | |
| JP2005051633A (ja) | 編集装置、ビットレート制御方法及びビットレート制御プログラム | |
| JP4523606B2 (ja) | 動画像記録方法および動画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040318 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080402 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |