JP4368431B2

JP4368431B2 - バンドエッジにおけるビデオ信号内へのオーディオ信号の組み込み

Info

Publication number: JP4368431B2
Application number: JP33882096A
Authority: JP
Inventors: ラモントホブスガリー; リンジョンソンバイロン
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1995-12-28
Filing date: 1996-12-19
Publication date: 2009-11-18
Anticipated expiration: 2016-12-19
Also published as: US5761303A; EP0782335B1; EP0782335A3; CA2183692A1; CA2183692C; JP2008035566A; DE69609151T2; EP0782335A2; JPH09224224A; DE69609151D1

Description

【０００１】
【発明の分野】
本発明は分離されたキャリアによるオーディオ信号伝送と対照的に、ビデオ信号内にデジタル化されたオーディオ信号の組み込みに関する。
【０００２】
【発明の背景】
ビデオ信号は通常２キャリア、ビデオ信号用とオーディオ信号用を使用する。総合的な複雑さはおそらくビデオ信号内へオーディオ信号を組み込むことにより低減される。
このように組み込むにはビデオ信号に使用される情報の総量が、割り当てられたバンド幅を十分には占めていないことが必要とされる。典型的に割り当てられたバンド幅は６ＭＨｚである。或る１つのビデオ標準のもとでは３０フレームのビデオ情報が１秒ごとに伝送される。各フレームには５２５本の走査線情報が含まれる。通常この標準のもとではバンド幅の中に追加情報を挿入するのに有効な領域は存在しない。
【０００３】
【発明の要旨】
本発明の１つの形式において、オーディオ信号がサンプリングされる。２つのサンプルが関連したビデオ信号の各走査線の中に挿入される。１つは該走査線の最初に、他方は最後に挿入される。各サンプルはその走査線内に含まれるビデオ信号の約６％に取って代わる。
全走査線におけるこの置き換え６％の累積的な効果はビデオ映像の左右両サイドにおいて２つの狭い垂直バンドのノイズのような映像を生成することである。本発明によりこのバンドが取り除かれる。
【０００４】
【詳細な説明】
ＡＦＤ圧縮
図１は毎秒３０フレームで走査するビデオ信号と、加えてそれに随伴するオーディオトラックを表している。本発明は示されるようにフレーム数を減少させる。
この減少を実現するアプローチの１つは、全ての４フレームの３つが除去あるいはドロップされ、そして４つの各セットの内残った単一のフレームが伝送される、交互フィールドドロップ（ＡＦＤ）法と呼ばれる。このアプローチはフレーム数を毎秒３０から７．５へ減少させる。ドロップしたフレームに対応したオーディオ信号については、該ドロップしたフレームに対応するオーディオトラックの前面に示すように、自分自身はドロップされない。このフレームレートの低減はビデオ信号が必要とするバンド幅を減少させる。
【０００５】
サンプリングされたオーディオ
オーディオは図示するようにサンプリグレート１５．７３４ＫＨｚでサンプリングされる。このサンプリングレートは他の図で示される水平同期パルスの周波数と同一である。水平同期パルスそれぞれはビデオの走査線１本と関連しているため、水平同期パルスの周波数で映像をサンプリングすることによりオーディオサンプルの積分倍数が、後に更に詳細説明するようにビデオ走査線それぞれに挿入出来るようになる。サンプリグされたオーディオが図３で示すように、先ず図２で引き合いに出し説明したビデオ信号に挿入される。図２で先行技術の通常のビデオ信号を示す。この信号の関連のある２つの部分は前方ポーチと後方ポーチである。本発明により図３で示すように、各前方ポーチに先だってオーディオサンプルのある部分を置き、各後方ポーチの直後に他のサンプルを置く。
【０００６】
オーディオサンプルが各走査線のビデオ信号の１部分に取って代わる、あるいは上書きされる。すなわち信号受信機が全ての走査線を「スタックアップ（積み上げ）」した時、走査線全ての左側部分及び右側部分が集合して狭い垂直のノイズのようなイメージの２つのバンドを生成する。イメージがノイズのようであるというのはオーディオ情報からビデオ画素生成しているからである。
あとで説明するように本発明はこの問題をこれら２つの垂直バンドをカバーするために、残ったイメージ部分を「ストレッチング（引き延ばす）」事によって解決する。
図１と図３のオーディオサンプルは２進数の形を取る。これら２進数はＭ−ＡＳＫ（Ｍ−振幅シフトキー）として知られる技術によってビデオ信号に挿入される。図４でＭ−ＡＳＫを説明している。
【０００７】
Ｍ−ＡＳＫ
単一ビット記号
図４Ａは１つの４記号数を表すＭ−ＡＳＫを示す。各記号は１ビットから成る。各ビットは高々可能な２つの値しか取れないため、各ビットを表すのに電圧として２つのレベルで十分である。（実際には電圧レベルというより電圧範囲が使われる。）
このようにして図４Ａで示すように「０」とラベルの付いた電圧範囲に降下したらどんな信号でもゼロと見なされ、そして「１」とラベルの付いた範囲に入ったらどんな信号でも１と見なされる。
この波形は符号化された数１００１を表示している。
【０００８】
２ビット記号
図４Ｂはもう１つ別の４記号数を表すＭ−ＡＳＫを示す。しかし各記号は２ビットから成る。２ビット数は４つの可能な値が取れるため、各記号を表すのに４つの電圧レベルが必要である。この４つの電圧レベルが図示されている。
この波形は数０１１０００１１の符号を示しており、４つの記号に分割されそれぞれ２ビットで表示している。
【０００９】
３ビット記号
図４Ｃはもう１つ別の４記号数を表すＭ−ＡＳＫを示す。しかし各記号は３ビットから成る。３ビット数は８つの可能な値が取れるため、各記号を表すのに８つの電圧レベルが必要である。この８つの電圧レベルが図示されている。
この波形は数００１０１００００１１１の符号を示しており、４つの記号に分割されそれぞれ３ビットで表示している。
【００１０】
一般の場合
一般的な場合においてはＫビットから成る記号は２のＫ乗に等しい電圧レベル数を必要とする。図４Ａ、図４Ｂおよび図４Ｃは一般の場合と一致している。図４Ａにおいて各記号は１ビット（Ｋ＝１）である。各記号に割り当てられたビットの当該数は２（２¹＝２）である。
図４Ｂにおいて各記号は２ビット（Ｋ＝２）である。各記号に割り当てられたビットの当該数は４（２²＝４）である。など。
【００１１】
サンプルの挿入
図３は非常に近似的な仕方でオーディオサンプルの挿入を示している。図５はより詳細にその挿入を示している。オーディオサンプルはビデオ情報の最初と最後に挿入された図５で示される２つのバンドに入れられている。この２つのバンドについては更に詳細に定量的説明を行う。
【００１２】
定量的議論
これまで議論されていないが、オーバーヘッドビットがいくつか例えばエラー訂正のため各オーディオサンプルに付加されている。各サンプルにおける全ビット数（オーディオ情報プラスオーバーヘッド）は１８である。この１８ビットのグループを「パケット」と名付ける。
【００１３】
走査線毎に４パケット
これまでに述べたように１つのオーディオサンプルは各ビデオ走査線に関し導き出される。これまで議論したようにＡＦＤ圧縮の許で４ビデオフレームは全て単一のフレームに低減される。しかしながらオーディオ情報の総量は影響を受けない。このようにしてオーディオサンプルの４フレーム分の分量は単一のビデオフレームに挿入されなければならない。
【００１４】
非常に一般的な仕方で言い換えると、オーディオサンプリングレートは水平同期パルスの周波数に等しいため、オーディオサンプルの数は単一フレームで生成される走査線数（両方の場合にも５２５本）に等しい。しかしビデオフレーム数が７５％低減（全ての４つが１つに低減）されているため、４フレームに関するオーディオが単一フレームに詰め込まれる必要がある。このようにして各走査線は、当該同期周波数によるサンプリングで生成された単一サンプルの代わりに、４つのオーディオサンプルを伝送しなければならない。
（この言い換えは、例えばあるオーディオ情報が捨てられ他の情報がそのオーディオ信号に付加されたため、一般的原理を単に例示しているだけに見えるかもしれない。）
【００１５】
４パケットは２４記号へＡＳＫ変調された７２ビットから成る
４個の１８ビットパケットは各ビデオ走査線と関連していて、走査線当たりオーディオは７２ビット（４×１８＝７２）である。Ｍ−ＡＳＫ符号化が採用され（図４Ｃのように）８レベルが使用され、記号長がそれぞれ３ビットとなる。７２ビットが２４記号（７２／３＝２４）に低減される。
このようにして４個の１８ビットパケットが、それぞれ３ビットの２４記号として符号化される。この２４記号が図５においてバンド１が１２記号を含みバンド２がその他の１２記号を含むとして示されている。
【００１６】
タイミング
図５において各バンドは１２記号を含んでおり、しかも各バンドの長さは１６マイクロ秒である。各記号は１．３３マイクロ秒の長さＴを占めている（１６／１２＝１．３３）。この２つのバンドは、全３２マイクロ秒として、ビデオ情報の左と右に１６マイクロ秒を占める。ビデオ情報は該走査線の残り２２２マイクロ秒を占める。
【００１７】
これらの時間間隔があるとすればこの２つのバンド（つまりオーディオ情報）は全走査線の約１２．６パーセントを占める（３２／（２２２＋３２）＝０．１２６）。通常これらバンドは集団的に左側に一つ右側にもう１つと２つの垂直なノイズのような縞を発生させる。本発明はオーディオで引き起こされたノイズのような縞を取り去りそしてビデオ情報を上に記した１２．６％だけ引き延ばすことによってこれを収容改善する。
この引き延ばしはマトリックス計算を含む（ビデオイメージは画素のマトリックスである）。そのような計算は先行技術で知られている。
【００１８】
トレーニング・シーケンス
図５は基準レベルを示す。単位はＩＲＥで図の左に示している。これらレベルをあらかじめ設定することはたやすいことではない。例えばレベル０と２０ＩＲＥと定義された範囲が前もってそれぞれ０及び８０ミリボルト（ｍＶ）と設定されたと仮定しよう。送信機がこの範囲にはいるように試みに５０ｍＶの信号を送ったとしても、受信機は色々なファクターにより例えば３８ｍＶの信号として受け取るかもしれない。受信機は意図した信号を受信しなかった。
この問題を解決するために送信機はトレーニングシーケンスを周期的に送信することにより図５で示すようなレベルを定義する。図６はそのようなトレーニングシーケンスの一つである。
【００１９】
トレーニングシーケンスは一連の９信号であり、全体として３ビット記号に必要とされる８間隔を定義する。トレーニング信号それぞれは図に示すように２４．４４マイクロ秒の持続期間である。
トレーニングシーケンスは伝送チャネルがその他の点でアイドル状態、例えば垂直ブランキング間隔（ＶＢＩ）の時に周期的な時間で送信される。ＶＢＩの間、電子銃が切られ、それでトレーニングシーケンスが送られている最中でもトレーニングシーケンスはビデオイメージには効果を持たない。
トレーニングシーケンスは図６に示すように同じ高さのステップを持つ階段である。しかしながら一般的には同一のステップ高は必要としない。すなわちレベル８０ＩＲＥは必ずしも２０ＩＲＥの４倍の電圧であることを必要としない。
【００２０】
このレベル設定の一つのアプローチを図７のフローチャートで示す。送信機は特定レベルに対応するアナログ信号を送信し、そして実際において受信機に受信されたものについて問い合わせる。受信機はその信号を計測し、そして該信号長を示す２進数を送信する。（一般にアナログ信号に影響を与える減衰はその２進数には影響しない）送信機がその２進数を受信したとき送信機はその信号減衰を決定できる。この処理は全てのレベルについて繰り返される。
【００２１】
信号それぞれの減衰に基づいて送信機は適宜そのレベルを設定する。例えば６番目のレベルは殆ど減衰せず７番のレベルが大幅に減衰していることが発見されたとしたら、望ましいことではないが通常、６番と７番のレベルは互いに接近させるだろう。送信機はより明確に分離するためにこれらレベルを再定義しようとする。
【００２２】
エンコーダ
図８はオーディオサンプルをビデオ信号に挿入するのに適したエンコーダのブロック図である。ビデオ同期検出器３０が水平同期パルスを検出する。位相同期ループ（ＰＬＬ）３３が同期パルスと同位相の３個のクロック信号を生成する。図で示すように２つのクロック信号は１３．５ＭＨｚおよび２７ＭＨｚで動き、オーディオロジックブロック３４とＡＦＤビデオエンコーダ３５で示される処理システムのクロックとして使用される。もう１つのクロックは１５．７３４ＫＨｚであり水平同期パルスの周波数と同一である。
【００２３】
後者のクロックはシグマデルタコーデック３６のトリガーに使用され、シフトレジスタ３９と一緒に、バス３７上で水平同期パルスと同一の周波数で１４ビットサンプルのシーケンスを生成する。（１６ビットはサンプリングで発生させられるがそれぞれの２つの最下位ビットは落とされる。）バス３７上に生成された各１４ビットワードは図１で示したサンプルの１つ例えばサンプルＳ１に該当する。
【００２４】
これら１４ビットワードは図８のラッチ４５の中に保持されそこで付加的なオーバーヘッドのビット、例えばエラー訂正ビットを付け加えることが出来る。４つのオーバーヘッドビットの付与によって、セクション「定量的議論」において議論した１８ビットワードに相当するバス４８上の１８ビットワードとなる。
【００２５】
マルチプレクサ５１は各１８ビットワードを６個の３ビットワードのシーケンスに分割する。各３ビットワードがこれまで議論した該記号に相当する。各３ビットワードは８レベルＡＳＫ５４によって（図４Ｃに示されたパターンに適合させるために）適切なレベルに変換される。
【００２６】
クロック信号５７に基づいて記号は１２記号グループへグループ化され、そして図５で（部分的に）示された信号を生成するために、該ＡＳＫ５４から取り出されマルチプレクサ６０でビデオ信号に多重化される。この信号はビデオＤＡＣ６３によって通常のアナログ信号へ再変換される。
ＶＢＩトレーニングシーケンサは図６で示したトレーニングシーケンスを発生する。このトレーニングシーケンスはマルチプレクサ６０と６６によりビデオ信号へ挿入される。
【００２７】
デコーダ
図９はデコーダを例示している。この全体的な機能は（１）ビデオ情報を抽出すること、（２）ビデオイメージを１２．６パーセントだけ引き延ばすことで垂直な縞のノイズを除去すること、及び（３）オーディオ情報を回復させることである。
【００２８】
ブロック７０は入ってくるアナログビデオ信号をデジタル化する。デジタル化された信号は、ビデオ情報を抽出するビデオデコーダ７３へ送られ、そして図３で示されたようなオーディオサンプルでビデオデータを上書きすることで作られた垂直な縞をカバーするために、１２．６パーセントだけビデオイメージを引き延ばす伸張器７６へ運ばれる。コンポーネント７３及び７６はそれ自身先行技術である。
ブロック７９は水平同期パルスを検出し、そして位相同期ループ（ＰＬＬ）を使用し、ブロック８２で示す処理回路によって１３．５ＭＨｚで動作するクロック信号を発生する。
【００２９】
デジタルシグナルプロセッサ（ＤＳＰ）はブロック８８においてバス８５上のビデオ信号からオーディオ情報を抽出する。一方，そうしている間にブロック９２はビデオルミナンス信号のピークレベルを計算し、そしてブロック９５はピークのビデオレベルと（図６で示した）受信したトレーニングレベルに基づいて、（図５で示した）９個のレベルを計算処理する。
ブロック９７はオーディオ情報から３ビット記号を引き出し、そしてブロック１００はこれらを６個の記号グループへ組み入れる。これらグループがこれまで議論した１８ビットパケットに相当する。
【００３０】
（オプションになる）エラー訂正はブロック１０３で実行される。（図８のバス３７のデータに相当する）オーディオ情報の１４ビットは図９のバス１０９に生成される。並列１４ビットグループはシフトレジスタ１１２によって直列ビットストリームへ変換され、そして示すようにオーディオを再生するデジタル／アナログ（Ｄ／Ａ）変換器１１５へ送られる。そのオーディオは該Ｄ／Ａ変換器への入力クロックによって（示されてない）ビデオと同期が取られる。
【００３１】
重要な考察
１．通常の「ビデオ信号」は実際には分離されたキャリアで搬送される２個の分離信号から成る。例えばチャネル５は７７．２５ＭＨｚのビデオキャリアと８１．７５ＭＨｚのオーディオキャリアを含む。（Ｅ．Ｃ．ジョルダン編「無線、電子、コンピュータ及び通信技術者のための参考データ」インディアナ、インディアナポリス、ハワードＫ．サムズ会社；１９８５年、第７版、セクション３５を参照）
どちらのキャリアもそれ自身でそれぞれの情報を他方のキャリア無しで搬送できる。すなわちもしオーディオキャリアが妨害された場合テレビ受信機は、それにもかかわらず依然ビデオイメージを表示する。逆に言えばもしビデオ信号が妨げられたとしても、受信機は依然オーディオを再生する。
対照的に本発明においては単一のキャリアがオーディオとビデオの両者を含んでいる。
【００３２】
２．図５における信号にはいくつのタイプの情報が含まれている。或るタイプはビデオ情報でありビデオラインに含まれる。別のタイプはオーディオ情報でありバンド１及び２に含まれる。３番目のタイプは「コントロール信号」といえるものであり、例えばカラーバーストあるいは水平同期パルスである。
該情報とコントロール信号の間の一つの大きな相違はその情報信号（つまりビデオとオーディオ情報）には、映像あるいは音声を再生するため復号化される情報があることである。コントロール信号にはそのような情報はないが、主として該情報信号を視聴者に理解できる形に「フォーマット」するために作用している。
【００３３】
３．ビデオフレーム数の低減が議論された。低減することは本発明の実現に際して厳密には必要ない。該低減はビデオ信号に必要とされるバンド幅を減少させる。いくつかの場合低減は必要ではないであろう。
【００３４】
４．本発明はビデオ会議に際し特に有用である。ＡＦＤ圧縮はビデオ会議への利用に適している。
【００３５】
５．図６に示したトレーニング信号の持続時間は２４．４４マイクロ秒である。この持続時間は受信機が各トレーニング信号の有意平均を得るのに十分な時間を提供する。（実際トレーニング信号は示されたような完璧に直角を成す波形になることはない。それどころかノイズが乗るだろう。）
【００３６】
６．１つの安全措置としてオーディオはスクランブルをかけることが出来る。或る単純なスクランブル処理の一つは各グループ内の６個の３ビットワードの順序を図８のマルチプレクサ５１と関連させて再編成することである。例えば６個の各グループ内の最初の順序が１、２、３、４、５、６であったとする。この順序は３、２、１、６、５、４へ再編成できる。図９で示すデコーダはスクランブルの順序を知っておりそれに従ってスクランブルを解く。
この順序は動的に変更できる。たとえば該６個のラインの編成が可能な６の階乗あるいは７２０の可能なシーケンスが存在する。事前に決めた時間にエンコーダが新しいシーケンスを選択できる。デコーダはそれに従うかあるいはその新しいシーケンスについて知らされる。
【００３７】
オーディオは暗号化することもできる。例えばエンコーダは暗号化された３ビットワードを生成するために照会用の或るワードかキーで各３ビットワードとＥＸ−ＯＲ演算することが出来る。デコーダが暗号化された該３ビットワードについて同一のキーでＥＸ−ＯＲ演算すると元の３ビットワードが得られる。
【００３８】
７．本発明は、他の情報に加えて、オーディオ情報・・・ビデオ情報・・・オーディオ情報・・・図５ではオーディオ情報を表すバンド１・・・ビデオ情報を表すビデオライン、及びオーディオ情報を表すバンド２という繰り返しシーケンスから成る単一の信号を含む。
【図面の簡単な説明】
【図１】ビデオ信号のフレーム数の低減及びオーディオ信号のデジタル化を表す図である。
【図２】先行技術によるビデオ信号を示す図である。
【図３】サンプリングされたオーディオ信号をビデオ信号に挿入した図である。
【図４Ａ】Ｍ−ＡＳＫ符号化の概念を示す図である。
【図４Ｂ】Ｍ−ＡＳＫ符号化の概念を示す図である。
【図４Ｃ】Ｍ−ＡＳＫ符号化の概念を示す図である。
【図５】図３に示したサンプリングされたオーディオ信号の挿入をより詳しく例示した図である。
【図６】図５の左に示したＩＲＥレベルを規定するために伝送されるトレーニングシーケンスを表す図である。
【図７】本発明の１部分で使用される論理を示すフローチャートである。
【図８】サンプリングされたオーディオ信号をビデオ信号に挿入するために使用されるエンコーダのブロック図である。
【図９】ビデオ信号からオーディオ情報を抽出するために使用されるデコーダのブロック図である。
【符号の説明】
１０…
３０…ビデオ同期検出器
３３…位相同期ループ
３４…オーディオロジック
３５…ＡＦＤビデオエンコーダ
３６…シグマデルタコーデック
３９…シフトレジスタ
５１、６０、６６…マルチプレクサ
５４…８レベルＡＳＫ
６３…ビデオＤＡＣ
６８…ＶＢＩトレーニングシーケンサ
７３…ＡＦＤビデオエンコーダ
７６…ビデオ画素伸張器
９７…８レベルＡＳＫ検出器
１００…データ結合器
１０３…（必要な場合）エラー訂正
１１２…シフトレジスタ
１１５…デジタル／アナログ変換器

Claims

ビデオ情報を含む信号を送信する方法において、
該ビデオ情報を含む周期的信号を送信し、
該ビデオ情報からビデオフレームをドロップさせて、該周期的信号中に利用可能なスペースを生成し、
オーディオ情報をサンプリングし、
該サンプリングされたオーディオ情報をＡＳＫを用いて符号化し、そして
該符号化されたオーディオ情報を該周期的信号の該利用可能なスペースに挿入することからなるビデオ情報を含む信号を送信する方法。
請求項１に記載の方法において
該周期的な信号が前方ポーチと後方ポーチを含むこと；及び
該オーディオ情報の挿入は、該前方ポーチと該後方ポーチへオーディオ情報を挿入することを含むビデオ情報を含む信号を送信する方法。
請求項１に記載の方法において
該オーディオ情報の挿入は、該周期的信号の各周期において残存ビデオ信号に先行する部分と後行する部分にオーディオを挿入することを含むことを特徴とするビデオ情報を含む信号を送信する方法。
請求項１に記載の方法において、
ＡＳＫ符号化に使用される範囲を規定するために基準レベルのシーケンスを送信するステップを含むことを特徴とするビデオ情報を含む信号を送信する方法。