JP4402834B2 - ガードバンドを用いるビデオ信号内へ圧縮されたデジタルオーディオ信号を埋め込む方法及び装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は概してビデオ/オーディオアプリケーション（応用業務）におけるオーディオ信号処理に関する。特に、本発明は、信号処理遅延の通常変動がビデオ及びオーディオ情報の整列、即ち、整列状態を乱さないように、空隙又は保護周波数帯域（ガードバンド）で分離されたオーディオ情報のブロック系列を符号化するブロックコーデイング（符号化）方法に関する。
【０００２】
【発明の背景】
デジタルオーディオ情報をビデオ情報のフレーム内に埋め込む各種の面を限定する、幾つかの国際標準が開発されてきている。例えば、映画・テレビエンジニア学会（ＳＭＰＴＥ）によって発行された標準ＳＭＰＴＥ２５９Ｍは、逐次デジタルインタフェース（ＳＤＩ）を定めている。そこでは、４チャンネルまでのデジタルオーディオ信号が、成分及び合成逐次デジタルビデオ信号内に埋め込まれ得る。標準ＳＭＰＴＥ２７２Ｍは、どのようにしてデジタルデジタルオーディオ信号がビデオ情報フレーム以内の補助的データ空間に埋め込まれるべきかの完全な定義を与える。
【０００３】
デジタルオーディオ情報それ自体の逐次伝送、即ち、送信は各種の国際標準の主題である。例えば、オーディオエンジニアリングソサエティ（ＡＥＳ）によって発行された標準ＡＥＳ３（ＡＮＳＩ Ｓ４．４０）は、線形パルスコード変調（ＰＣＭ）の形で表わされる２チャンネルデジタルオーディオの逐次送信を定める。この標準によると、２チャンネル用ＰＣＭサンプルは飛越し走査されかつ対で伝えられる。
【０００４】
殆どすべての記録及び放送応用業務（アプリケーション）における共通の活動は、埋め込まれたビデオ/オーディオ情報流れの編集、即ち、切断及び新しい単一流れを形成するために切取られた流れをスプライス（接合）することである。同様な活動では、多重情報流れを合体するか若しくは多重流れ間の切替えによって情報流れを発生させる。普通ではビデオ情報は、編集又は切断点がビデオフレームと正常に整列されるようにする基本的な同期基準である。
【０００５】
ＡＥＳ１１のような標準は、スタジオ業務（操作）でデジタルオーディオ設備を同期させる推奨実施手段を定める。ＡＥＳ１１は、ジッタ又は処理遅延によって生じるタイミング不確実性を制御することに向けられると共にビデオフレーム情報をＡＥＳ３デジタルオーディオ情報流れの２サンプルフレームと整列させることを考慮している。この標準を堅持する装置及び方法は、同期された信号が所与の時間に亘って同一数のフレームを有しかつ共通のタイミングを持つサンプルを含むことを保証し得る。不幸にして、ビデオ情報及びそれより大きい間隔をもつオーディオ情報との整列状態を定める標準又は実施手段は現存しない。その結果、異なった製造業者からの装置及び同一製造業者からの装置でさえ、オーディオ情報及びビデオ情報の相対的整列状態にかなりの大きさの不確実性がもたらされるような、タイミング及び処理遅延上の変動を有する。
【０００６】
この整列上の不確実性は、ＡＥＳ３標準で定められるようなオーディオ情報の線形表示を用いる応用業務では殆ど問題にならない。各編集点がオーディオ情報の２サンプルフレーム間で起こるように限定されているので、ビデオ/オーディオ整列上のあらゆる不確実性がオーディオ情報の損失に帰着することはない。それは人に提供される音声と画像との相対的タイミングに影響を与えるのみで、これが気づかれることはなさそうである。
【０００７】
しかし、より多くのオーディオチャンネルをビデオ/オーディオデータ流れ内に埋め込むビットレート低減符号化技術を用いる適用業務が増えている。これらの符号化技術は、符号化された情報のブロックを発生させるために１２８又はそれ以上のオーディオサンプルのサンプルブロックにしばしば用いられる。これらのサンプルブロックは典型的に３乃至１２ｍｓの間隔に跨るオーディオ情報を表わす。これらの符号化処理で発生される符合化された情報の各ブロックは最小単位の情報を表わし、それから原オーディオ情報の1区分の適度に正確な複製（レプリカ）が回復され得る。スプリットバンド（分割帯域）コーディング技術は、オーディオ信号の周波数サブバンド表示に心理音響学に基づく符号化を用いることによってビットレートを低減させる。周波数サブバンド表示は、複数の帯域濾波フィルタを用いることによって又は１つ又はそれ以上の変換を用いることによって発生され得る。論議を容易にするために、これらのスプリットバンド符号化技術は、サブバンド信号を発生させるためにフィルタバンクを用いるとの観点から記載される。
【０００８】
【発明が解決すべき課題】
上記整列上の不確実性はこれらのブロックコーディング適用業務では重要である。その理由は、編集点が符号化されたブロック境界以内にくることは、そのブロックの１部分と残りの信号とが切り離されるという結果になるからである。符号化されたブロックの部分的損失は、回復された信号中の、概して３ｍｓ又はそれ以上の持続期間に亘る損失によって明らかになるであろう。そのような損失は人の聴覚システムで識別されそうであろう。
【０００９】
この問題は、処理後の処理を用いることによって避けられ得る。即ち、同処理では符号化されたオーディオに復号処理を用い、回復されたＰＣＭ表示を必要に応じて編集しかつ編集されたＰＣＭオーディオ情報に符号化処理を用いて新しい符号化された表示を発生させることによって、原オーディオ信号のＰＣＭ表示が回復される。この解決は、追加のコスト及び復号/再符号化処理から結果的に生じるオーディオ品質の劣化のためにつまらない。さらに、以下に説明する論議を読んだ後でより良く理解される理由で、復号/再符号化処理がオーディオ情報流れに追加の遅延を導入するので後処理には興味がない。
【００１０】
【課題を解決するための手段】
本発明の目的は、上記のような問題を回避すると同時に編集及び切替えのような作用を可能にする、埋め込まれたビデオ/オーディオ情報の処理に備えることである。
【００１１】
本発明の１面の教示によると、本発明の方法は、オーディオ情報を伝える入力オーディオ信号を受信し、列をなすビデオフレームに対する時間基準を示すビデオフレーム基準を受信し、入力オーディオ信号にブロック符号化処理を用いて、ビットレートが低減された形のオーディオ情報から符号化されたオーディオ情報のブロックを発生させると共に符号化されたオーディオ情報ブロックを時間圧縮し、複数の列をなす時間圧縮されたブロックから成り、それぞれの列の開始ブロックと、先行する列の終端ブロックとが、それぞれのビデオフレーム基準との時間整列を行う空隙だけ離れているようなオーディオ流れにアセンブルすることから成る。
【００１２】
本発明及びその望ましい実施形態の各種の特徴は、幾つかの図面では同一参照番号で同一要素が示される添付図と共に以下の論議を参照することによってよりよく理解されるであろう。以下の論議及び図面の内容は例としてのみ説明され、本発明の範囲を限定するものと理解すべきではない。
【００１３】
【実施形態】
システム概観
図１は、多重ビデオ/オーディオデータ流れを記録かつ伝送するシステムの１実施形態を例示し、本発明の各面を有利に利用し得るシステムの１例を表す。明確化のために、他のすべての図と同様に本図は、装置を同期させるために用いられるマスタクロック信号を伝える信号経路(路)は示さない。本論議では、経路２１、２２、２３及び２４に沿って発生されるようなこれらの信号は標準ＳＭＰＴＥ ２５９Ｍ及びＳＭＰＴＥ ２７２Ｍに準拠するが、本発明を実施するためには、特定の標準又は信号フォーマットは肝要ではない。例えば、同システムの代わりの実施形態では、各々がそれぞれのビデオ及びオーディオ情報を伝える別別の信号は、経路２１乃至２４に沿って発生され、ルータ（ルート設定手段）３１はビデオ及びオーディオ情報を別々に伝送する回路要素を含む。そのような実施形態ではＳＤＩ逆(脱)埋め込み手段がＳＤＩ埋め込み手段１２及びルータ３１間に挿入される。この代わりの実施形態は、本発明を実施するために特定の信号フォーマットは肝要でないことを証明するために言及される。
【００１４】
ビデオテープレコーダ（ＶＴＲ）１６は、経路１からビデオ情報を受信し、経路２からオーディオ情報を受信してこのビデオ/オーディオ情報をテープ上に記録する。次いで、ＶＴＲ１６は、テープ上に記録されたビデオ/オーディオ情報を読取り、埋め込まれたオーディオ情報を有するビデオ情報を伝える再生信号を経路２１に沿って発生させる。同様に、ＶＴＲ１７は、経路３及び４からビデオ及びオーディオ情報をそれぞれ受信し、その後埋め込まれたオーディオ情報を有するビデオ情報を伝える再生信号を経路２２に沿って発生させる。
【００１５】
ＶＴＲ１６、ＶＴＲ１７及びＶＴＲ１８は、再生中にオーディオ情報をビデオ情報内へ埋め込む逐次デジタルインタフエース（ＳＤＩ）埋め込み手段のような回路要素を含む。
【００１６】
ＳＤＩ埋め込み手段１１は、経路５及び６からビデオ及びオーディオ情報をそれぞれ受信し、埋め込まれたデジタルオーディオ情報を有するデジタルビデオ情報を伝える信号を経路１４に沿って発生させる。ＳＤＩ逆埋め込み手段のような回路要素を含むＶＴＲ１８は、ビデオ/オーディオデータ信号からオーディオ情報を抽出し、テープ上に分離されたビデオ及びオーディオ情報を記録する。次いで、ＶＴＲ１８はテープからビデオ及びオーディオ情報を回復させ、ビデオ及び埋め込まれたオーディオ情報を伝える再生信号を経路２３に沿って発生させるために、ＳＤＩ埋め込み手段のような回路要素を用いる。しかし、デジタルデータレコーダがＶＴＲの代わりに置き換えられるなら、ビデオ/オーディオデータ流れそれ自体が記録されかつ再生され得るので、埋め込み手段及び逆埋め込み手段は共に不要である。
【００１７】
ＳＤＩ埋め込み手段１２は、経路７及び８からビデオ及びオーディオ情報を受信し、埋め込まれたデジタルオーディオ情報を有するデジタルビデオ情報を伝える信号を経路４に沿って発生させる。
【００１８】
ＳＤＩルータ３１は、経路２１、２２、２３及び２４からビデオ/オーディオ信号を受信し、これらの信号を経路３４に沿って再生/記録装置４１へ選択的に伝えるか又は切り替える。ＳＤＩルータ３１によって受信される信号の数は重要ではない。再生/記録装置４１は、経路３４に沿って通される信号を用いる任意の装置を表す。例えば、それはＶＴＲのような記録装置又はテレビセットのような再生装置でもよい。さらに、再生/記録装置４１は、ＳＤＩ逆埋め込み手段３１に関して離れて配置され、その場合には経路３４は通信又は放送チャンネルを表わす。
【００１９】
ビデオ/オーディオ整列状態の偏移
ＶＴＲ１６、１７、１８及びＳＤＩ埋め込み手段１１、１２の回路遅延は、ビデオ情報とオーディオ情報の相対的整列状態を変え得る。その結果、再生信号２１のビデオ情報及びオーディオ情報の整列状態は、例えば、それぞれ経路１及び２から受信したビデオ情報とオーディオ情報と間の整列状態とは偏移していることがある。異なった製造業者からの装置間で変わる整列状態の変化量は、同一製造業者からの装置間でも変わり、たとえ所与の１装置以内であっても、例えば、バッファの初期化状態の関数として変わり得る。
【００２０】
図２Ａを参照すると、信号１１１はビデオフレーム基準１０１及び１０２と特定の整列状態を有するオーディオ情報を表わす。これらのビデオフレーム基準の各々は、それぞれのビデオフレーム内の特定の基準点を示す。例えば、ＮＴＳＣビデオ情報のための共通基準点は、各フレーム内のライン１０のためのビデオ情報と一致する。ＰＡＬビデオ情報のための共通基準点は、各フレーム内のライン１と一致する。
【００２１】
図２Ｂでは、信号１２１は信号１１１によって伝えられるものと同一のビデオ情報を表わすが、信号１１１より遅らされる。その結果、信号１２１とビデオフレーム基準との整列状態は、信号１１１との整列状態とは偏移する。図２Ｃでは、信号１３１は信号１１１によって伝えられるものと同一のビデオ情報を表わすが、信号１１１より進められる。それゆえに、信号１３１とビデオフレーム基準との整列状態は、信号１２１との整列状態の偏移とは逆になるように変化する。
【００２２】
図１を参照して、図２Ａで表わされるオーディオ情報及びオーディオの整列状態が、図１における経路１/２、３/４、５/６及び７/８によって伝えられるとしたらどうだろう。図２Ａ乃至２Ｃで例示されるような整列状態の異なった偏移が、経路２１乃至２４に沿って発生される信号内に存在しそうであろう。さらに、図２Ａ乃至２Ｃで例示される整列状態が、それぞれ経路２１乃至２３に沿って発生される信号内に存在するとしたらどうだろう。ＳＤＩルータ３１がこれら３つの経路から受信される信号間で切り替える場合には、経路３４に沿って送られる信号に埋め込まれるオーディオ情報内には小さな不連続性が起こるであろう。もし、オーディオ情報が、ＰＣＭのような線形形式で表わされるなら、この不連続性は僅かなサンプルのみに関するので、多分不連続性は聴取者によって知覚され得ないであろう。異なったオーディオ内容を有する２信号間の不連続性を識別するのは特に困難であろう。
【００２３】
符号化の効果
しかし、より大きな数のオーディオチャンネルをビデオ/オーディオデータ流れ内に埋め込む関心が増大している。これらのより大きな数のオーディオチャンネル内の情報容量がオーディオ情報のために利用可能なスペースの容量を越える場合には、幾つかの形式の帯域幅又はビットレート圧縮が用いられる。このような圧縮の一例が心理音響学原理に基づくオーディオ符号化である。
【００２４】
これらの符号化技術は、符号化された情報のブロックを発生させるためにオーディオサンプルのブロックにしばしば用いられる。これらのサンプルブロックは、概して３乃至１２ｍｓの間隔に跨るオーディオ情報を表わす。これらの符号化処理によって発生される符号化された情報の各ブロックは、最小単位の情報を表わし、同情報から原オーディオ情報の区分の適度に正確なレプリカが回復され得る。
【００２５】
一続き、即ち、一系列の符号化された情報ブロック１１２は、パルスの列として図２Ａに表わされる。これらのブロックによって伝えられる情報は、信号１１１内のオーディオ情報の符号化された表示である。パルスの形状及びサイズは重要ではない。パルス列は、互いに接するか又は、望ましくは互いに重複するオーディオサンプルのブロックに相当する符号化された情報を伝える一続きのブロックを示唆することのみが意図される。図２Ａに示される例では、隣接ビデオフレーム基準間の間隔を跨ぐオーディオ情報は、符号化された情報の６つのブロックによって表わされる。ビデオ/オーディオ応用業務におけるオーディオコーデイングの品質を改良する各種の要件は、ＷＯ-Ａ ９９/２１１８７に開示される。
【００２６】
ブロック符号化技術が図１のシステムで用いられる場合、ＳＤＩルータ３１が経路２１乃至２４を通して受信する信号は、ブロック内に符号化されたオーディオ情報を含む。既に述べた通り、符号化された情報ブロック及びビデオフレーム基準間では整列状態の偏移が変化し得る。これは、ビデオフレーム基準１０１と、例えば、それぞれ図２Ａ、２Ｂ及び２Ｃに示されるブロック１１２、１２２及び１３２との間の異なった整列状態によって例示される。上記のように、図２Ａ乃至２Ｃに例示された整列状態がそれぞれ経路２１乃至２３に沿って発生される信号内に存在するとしたらどうだろう。ＳＤＩルータ３１が、ビデオフレーム基準１０１において、経路２２を介して受信する信号（図２Ｂに例示される）から、経路２３を介して受信される信号（図２Ｃに例示される）へ切り替えるとき、スイッチ点におけるかなりの量のオーディオ情報は経路２３に沿って送られる信号から回復され得ない。
【００２７】
一方ではオーディオ情報を回復するためには全ブロックが必要とされるが、他方ではスイッチ点後当該ブロックの一部が失われるので、スイッチ点に先立つブロック１２３で伝えられるオーディオ情報は回復され得ない。同様に、スイッチ点後ブロック１３３で伝えられるオーディオ情報は、スイッチ点に先立つブロック１３３の一部が失われるので回復され得ない。
【００２８】
この問題は図１に例示された型のシステムにとって独特ではない。例えば、単一ＶＴＲに関するテープ編集又はオーディオダビングでもまた問題はおこる。
【００２９】
以下にさらに詳説されるように、本発明はオーディオ情報の損失なしにビデオ/オーディオ整列上のかなりの変動が許容されるように、符号化されるオーディオ流れに保護バンド又は空隙を形成することによってこの問題を克服する。
【００３０】
符号化信号プロセッサ
図３は、図１に例示されたようなシステム内へ各種の方法で組入れられ得るビデオ/オーディオプロセッサを例示する。図示される実施形態では、埋め込まれたオーディオ情報を有するビデオ情報を伝える複数の信号が入力信号経路６１−１、６１−２及び６１−３から受信される。図には３つの入力信号経路が示されるが、本発明の実施形態は本質的にあらゆる数の入力信号用の信号経路を備え得る。信号分配器６２は、切替え、合体、編集、スプライシング及び記憶/検索等広範囲の信号分配処理を表わす。簡単のために、本明細書での例示及び論議は、信号分配器６２は複数のビデオ/オーディオ信号を受信し、埋め込まれたオーディオ情報を有するビデオ情報を伝える単一信号を経路６３に沿って発生させるためにこれらの信号を或る方法で処理、分配する。デフォーマッタ６４は経路６３からビデオ/オーディオ情報を受信し、埋め込まれたオーディオ情報を抽出してそれを経路６５に沿って送る。ビデオ情報は経路６９に沿って送られ得る。オーディオ信号プロセッサ６６は、経路６５からオーディオ情報を受信し、符号化された情報のブロックを経路６７に沿って発生させるために、オーディオ情報にブロック符号化処理を用いる。フォーマッタ６８は、経路６７から符号化された情報のブロックを受信し、一系列内の開始ブロック及び先行系列内の終端ブロック間に空隙又はガード（保護）バンドを有する符号化された情報の複数のブロック系列から成る出力信号を経路７０に沿って発生させる。マスタクロック信号のような基準信号を用いることで、空隙又はガードバンドがビデオ情報と時間整列される。
【００３１】
上記のように、図は装置を同期するために用いられるマスタクロック信号を伝える信号経路は例示しない。望ましい実施形態では、オーディオ信号プロセッサ６６はマスタクロック信号と整列されるオーディオサンプルブロックを形成する。この整列状態は図２Ａに例示され、そこでは隣接サンプルブロック間の境界がビデオフレーム基準１０１及び１０２と一致するが、他の整列状態も用いられ得る。
【００３２】
図５Ａを参照すると、ブロック１１２−２の系列は信号区分１１１−２を表す符号化された情報を伝え、それはビデオフレーム基準１０１及び１０２間の一部信号の仮想的時間圧縮表示である。同様に、ブロック１１２−１系列は信号区分１１１−１を表す符号化された情報を伝えかつブロック１１２−３系列は信号区分１１１−３を表す符号化された情報を伝える。オーディオ信号プロセッサ６６及びフォーマッタ６８はオーディオ情報の符号化された表示を伝えるブロックの系列を発生させ、そこでは、例えば、ガードバンド又は空隙は系列１１２−１の終端ブロック及び系列１１２−２の開始ブロック間に形成されている。
【００３３】
図２Ａ乃至２Ｃに例示された整列の偏移もまた図５Ａ乃至５Ｃに例示される。これらの図面では、系列１２２−１、１２２−２、１２２−３、１３２−１、１３２−２及び１３２−３は、それぞれ信号区分１２１−１、１２１−２、１２１−３、１３１−１、１３１−２及び１３１−３を表す符号化された情報を伝える。図５Ｂ及び５Ｃから分かるように、ビデオフレーム基準１０１及び１０２における潜在スイッチ点がガードバンド内で起こるので、整列状態の偏移の結果としてオーディオ情報の損失は起こらない。
【００３４】
図３に示される信号プロセッサは、例えば、埋め込まれたＡＥＳ３又はＰＣＭオーディオ情報を含むビデオ信号を処理するためにＳＤＩルータ内へ組み込まれ得る。信号分配器６２を省略する実施形態が、ＶＴＲ又はＳＤＩ埋め込み手段内へ組み込まれ得る。同様にデフォーマッタ６４を省略する他の実施形態がＶＴＲ又はＳＤＩ埋め込み手段の入力回路内へ組み込まれ得る。
【００３５】
図４は、図３に例示された実施形態内へ組み込むのに適すると共に以下に述べる別の効用を有する符号化オーディオ信号プロセッサの一実施形態を例示する。この実施形態によると、オーディオ信号プロセッサ６６は複数のフィルタバンク７１、７２及び７３を有する。フィルタバンク７１は、経路６５−１から受信した信号に応答して、経路７５−１乃至７５−３に沿って複数の周波数サブバンド信号を発生させる。フィルタバンク７２は、経路６５−２から受信した信号に応答して、経路７６−１乃至７６−３に沿って複数の周波数サブバンド信号を発生させる。フィルタバンク７３は、経路６５−３から受信した信号に応答して、経路７７−１乃至７７−３に沿って複数の周波数サブバンド信号を発生させる。フィルタバンク７１、７２及び７３は、帯域濾波フィルタバンク、バンド分割フィルタの縦続接続セット及び1つ又はそれ以上の時間領域-周波数領域変換等の多くの方法で実施され得る。各フィルタバンクにつき３つのフィルタバンク及び３つのサブバンド信号のみが示されるが、実施形態は各々が２４又はそれ以上のサブバンド信号発生させかつ各々が人の聴覚システムの臨界帯域幅と釣合うか若しくはそれ以下の帯域幅を有する周波数サブバンドを表すそれ以上の多くのフィルタバンクを含み得る。エンコーダ７９はサブバンド信号にブロック符号化処理を加えて、経路６５−１、６５−２及び６５−３を介して受信するオーディオ情報を符号化された形で表すブロック系列を経路６７ａに沿って発生させる。
【００３６】
分割帯域符号化は本発明の実施上肝要ではない。ブロックコンパンド（ブロック圧縮伸長型）ＰＣＭ又はデルタ変調のような符号化形式も用いられ得る。
【００３７】
一実用的実施形態では符号化オーディオ信号プロセッサは、線形ＰＣＭ又は、その代わりに、１つのＡＥＳ３データ流れの形で８つのオーディオ情報を受信し、８つのフィルタバンク及び1つのエンコーダを用いる。同エンコーダは、２チャンネルのオーディオ情報を伝えるために要するものより大きくない空間又は帯域幅で伝えられ得るガードバンドを有する符号化された情報ブロックを発生させるためにブロック符号化処理を用いる。
【００３８】
重複ブロック及びウインド関数
情報ブロックを表すために図で用いられるパルス列は、隣接ブロックは当接するが互いに重複しないことを示唆する。ブロックの特定の配列は本発明の実施上重大ではないが、望ましい実施形態では互いに重複するブロックが処理される。概してオーディオ情報の重複されたブロックは、隣接ブロックの重複されたサンプルの合計が定数と実質的に等しくなるようにウインド関数によって加重又は変調される。
【００３９】
図６はブロックの系列を例示する。系列内の開始ブロック１４１は隣接ブロック１４２と重複する。系列内の全ブロックは、時間領域内の対応するオーディオ情報を加重するために用いられるウインド関数の形状を有する包絡線によって表される。系列内の終端ブロック１４６は、先行ブロック及び後続ブロック（図示せず）と重複する。重複の量及びウインド関数の選択は符号化性能に著しい影響を与え得るが、特定のウインド関数又は重複量は本発明にとって決定的ではない。望ましい実施形態では、重複の量はブロック長さの半分でありかつウインド関数はカイザベッセル（Kaiser-Bessel）関数から得られる。
【００４０】
既に説明した通り、オーディオ信号プロセッサ８６はビデオフレーム基準と整列されるオーディオ情報を発生させる。オーディオ情報のブロック系列を発生させる実施形態では、ビデオフレーム基準が任意の系列ブロック内の任意の点と本質的に一致するように整列され得る。図６に示される例では、開始ブロック１４１の始めはビデオフレーム基準１００と一致する。
【００４１】
ある応用業務では、同時発生（一致）の正確な点はビデオフレーム毎に変わり得る。例えば、デジタルオーディオ情報をＮＴＳＣビデオ情報と組み合わせる応用例では、オーディオサンプリングレートがビデオフレームレートの整数倍ではないので、連続するビデオフレームは異なった数のオーディオサンプルを持ち得る。
【００４２】
ブロック長さ、ウインド関数及びビデオ/オーディオ配列に関する各種の用件は、既に言及してＷＯ-Ａ９９/２１１８７で論じられる。
【図面の簡単な説明】
【図１】 多重ビデオ/オーディオデータ流れを記録かつ伝送するシステムの機能構成図である。
【図２】 図２Ａ乃至２Ｃは、ビデオフレーム基準と各種の整列形を有する仮想オーディオ信号の図式表現である。
【図３】 埋め込まれたオーディオ情報を有するビデオ信号処理装置の１実施形態の機能構成図である。
【図４】 本発明の各面による符号化オーディオ信号プロセッサの１実施形態の機能構成図である。
【図５】 図５Ａ乃至５Ｃは、本発明により処理されかつビデオフレーム基準と各種の整列形を有する仮想オーディオ信号の図式表現である。
【図６】 ウインド関数によって加重された重複オーディオ情報の図式概略表現である。

Claims (10)

1. オーディオ情報を処理する方法であって、
   前記オーディオ情報を伝える入力オーディオ信号を受信し、
   列をなすビデオフレームに対する時間基準を示すビデオフレーム基準を受信し、
   前記入力オーディオ信号にブロック符号化処理を用いて、ビットレートが低減された形で前記オーディオ情報から符号化されたオーディオ情報のブロックを発生させると共に、該符号化されたオーディオ情報のブロックを時間圧縮し、
   前記時間圧縮されたブロックを、前記時間圧縮されたブロックの複数の列をなす符号化されたオーディオ流れにアセンブルし、それぞれの列の開始ブロックと先行する列の終端ブロックとが、それぞれのビデオフレーム基準との時間整列を行う空隙だけ離れるようにすることから成るオーディオ情報処理方法。
2. 前記ブロック符号化処理では、前記オーディオ情報を、符号化前より冗長性が少なく知覚的無関係性の少ない形に符号化する、請求項１の方法。
3. 前記ブロック符号化処理は、
   前記入力オーディオ信号の複数の周波数サブバンド表示を発生させるために、該入力オーディオ信号に帯域濾波フィルタバンク若しくは１つ又はそれ以上の変換を用い、
   心理音響学原理に従って前記周波数サブバンド表示にビットを適応的に割り当てることによって、符号化されたオーディオ情報の前記ブロックを発生させることを含む、請求項２の方法。
4. 前記ビデオフレームの各々がフレーム間隔と等しい持続期間を有し、前記空隙の持続期間が前記フレームインターバルの約１％乃至約２０％の範囲内にある、請求項１乃至３のいずれか１つの方法。
5. 前記ブロック符号化処理を前記オーディオ情報の重複ブロックに用いる、請求項１乃至４のいずれか１つの方法。
6. オーディオ情報を処理する装置であって、
   前記オーディオ情報を伝える入力オーディオ信号を受信する手段と、
   列をなすビデオフレームに対する時間基準を示すビデオフレーム基準を受信する手段と、
   前記入力オーディオ信号にブロック符号化処理を用いて、ビットレートが低減された形で前記オーディオ情報から符号化されたオーディオ情報のブロックを発生させると共に、該符号化されたオーディオ情報のブロックを時間圧縮する手段と、
   前記時間圧縮されたブロックを、前記時間圧縮されたブロックの複数の列をなす符号化されたオーディオ流れにアセンブルし、それぞれの列の開始ブロックと先行する列の終端ブロックとが、それぞれのビデオフレーム基準との時間整列を行う空隙だけ離れるようにする手段とから成るオーディオ情報処理装置。
7. 前記ブロック符号化処理では、前記オーディオ情報を、符号化前より冗長性が少なく知覚的無関係性の少ない形に符号化する、請求項６の装置。
8. 前記ブロック符号化処理は、
   前記入力オーディオ信号の複数の周波数サブバンド表示を発生させるために、該入力オーディオ信号に帯域濾波フィルタバンク若しくは１つ又はそれ以上の変換を用いる手段と、
   心理音響学原理に従って前記周波数サブバンド表示にビットを適応的に割り当てることによって、符号化されたオーディオ情報の前記ブロックを発生させる手段とを含む、請求項７の装置。
9. 前記ビデオフレームの各々がフレーム間隔と等しい持続期間を有し、前記空隙の持続期間が前記フレーム間隔の約１％乃至約２０％の範囲内にある、請求項６乃至８のいずれか１つの装置。
10. 符号化されたオーディオ情報の前記ブロックを発生させる手段が、前記オーディオ情報の重複ブロックに前記ブロック符号化処理を用いる、請求項６乃至９のいずれか１つの装置。

Images