JPH11220498A - 信号伝送方法 - Google Patents

信号伝送方法

Info

Publication number
JPH11220498A
JPH11220498A JP10300950A JP30095098A JPH11220498A JP H11220498 A JPH11220498 A JP H11220498A JP 10300950 A JP10300950 A JP 10300950A JP 30095098 A JP30095098 A JP 30095098A JP H11220498 A JPH11220498 A JP H11220498A
Authority
JP
Japan
Prior art keywords
signal
packet
image
energy
packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10300950A
Other languages
English (en)
Inventor
Kovasevich Jerena
コヴァセヴィッチ ジェレナ
Man Lung Ng Francis
マン ルング ング フランシス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Lucent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lucent Technologies Inc filed Critical Lucent Technologies Inc
Publication of JPH11220498A publication Critical patent/JPH11220498A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

(57)【要約】 【課題】 処理オーバーヘッドや伝送しなければならな
いデータの量をほとんど増大させることなく、パケット
損失の存在下でデータを伝送する。 【解決手段】 信号送信システム10は、各パケットが
ほぼ等しい累積画像信号エネルギーを有するように、画
像信号の各部分をパケットに割り当て、ネットワーク1
8を通じてそのパケットを送信する。画像は、例えばコ
サイン変調正規直交フィルタバンク14を用いてサブバ
ンドに分割される。次に、エネルギー等化アルゴリズム
16を用いて、パケットの累積画像信号エネルギーがほ
ぼ等しくなるように、サブバンドをパケットに割り当て
る。画像のDCバンドを分離して各パケットに挿入する
ことも可能である。また、パケットは、そのパケット内
の各サブバンドを識別するラベルを有し、受信器が、合
成フィルタバンクの対応するチャネルに適当なサブバン
ドを送ることができるようにしている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データの伝送
に関し、特に、復元された信号品質に対するパケット損
失の影響が最小になるように、損失のあるパケットネッ
トワークを通じてデータを伝送する技術に関する。
【0002】
【従来の技術】多くのデータ伝送アプリケーションにお
いて、相異なる容量のネットワークリンクをデータが
「ホップ」することは一般的である。例えば、代表的な
シナリオには、無線リンクを通じての大容量ネットワー
クリンクスイッチングがある。このようなホッピングが
起こるネットワークを一般に不均一ネットワークとい
う。不均一ネットワークでは、小容量リンクへのホップ
に適応するようにパケットを廃棄しなければならないこ
とがある。パケットは、ネットワークにおいて、伝送エ
ラーや輻輳によっても損失する可能性がある。リアルタ
イム伝送制約などの制限によりパケット再送が現実的な
選択肢でない場合、パケット損失にもかかわらず最も意
味のある情報をできるだけ受信器に提供することが重要
である。
【0003】
【発明が解決しようとする課題】画像データが伝送され
るアプリケーションでは、パケット損失の問題を軽減す
るための従来のアプローチは、画像をレイヤに分けて多
重解像度で送ることである。このアプローチでは、デー
タを相異なる重要度の部分に分ける。そして、パケット
は、含まれるデータの優先度の表示でラベル付けされ
る。こうして、パケットを廃棄する必要のあるシナリオ
では、ネットワーク制御メカニズムを用いて、まず最低
優先度のパケットを捨てる。受信器では、高優先度とラ
ベル付けされ、従って廃棄されなかったパケットで運ば
れた高優先度の本質的な情報から、画像は復元される。
ビデオデータ伝送で用いられる同様の技術は、G. Karls
son and M. Vetterli, "Three-Dimensional Subband Co
ding of Video", Proc. IEEE Int. Conf. Acoust., Spe
ech and Signal Proc., pp.1100-1103, New York, NY,A
pril 1988、に記載されている。この技術は、追加デー
タの導入を必要としないが、各パケットの内容を調べて
優先度を判定する追加の複雑さ(計算量)を必要とす
る。また、この技術は一般に、インターネットを通じて
の伝送には適用することができない。インターネット
は、IP(Internet Protocol)に基づいており、優先レ
ベルを備えていないからである。また、非同期転送モー
ド(ATM)に基づく広帯域ネットワークを通じての伝
送にも適用することができない。ATMは2つの優先レ
ベルしか設けることができないからである。従って、こ
のような重要なネットワークでは、受信器で復元される
画像に対して所望の品質レベルを保証するために、パケ
ット再送、冗長パケット伝送あるいはその他の非効率的
な技術に依らざるを得なくなることがある。
【0004】
【課題を解決するための手段】本発明は、処理オーバー
ヘッドや伝送しなければならないデータの量をほとんど
増大させることなく、パケット損失の存在下でデータを
伝送する、改善された技術に関するものである。本発明
の技術は、インターネットや広帯域ATMネットワーク
を含む、広範囲の損失のあるパケットネットワークを通
じてのデータ伝送での使用に適しており、また、生のあ
るいは圧縮された画像データや、ビデオ、オーディオお
よびその他の種類のデータでの使用も可能である。本発
明は、一般に、信号データをパケットに分割した場合に
すべてのパケットがほぼ同じ重要性を有するように信号
データを表現する。その結果、損失のあるパケットネッ
トワークでパケットがランダムに損失した場合、復元さ
れる信号における劣化は、どのパケットが損失したかに
かかわらずほぼ一様になる。
【0005】本発明の実施例では、信号送信システム
は、各パケットがほぼ等しい累積画像信号エネルギーを
有するように、画像信号の部分部分をパケットに割り当
て、ネットワークを通じてそのパケットを送信する。1
つの可能な実装では、画像は、コサイン変調正規直交フ
ィルタバンクを用いてサブバンドに分割される。その
後、エネルギー等化アルゴリズムを用いて、パケットの
累積画像信号エネルギーがほぼ等しくなるように、サブ
バンドをパケットに割り当てる。画像のDCバンドを画
像のその他の部分から分離して各パケットに挿入するこ
とも可能である。また、パケットは、そのパケット内の
各サブバンドを識別するラベルを有し、受信器が、合成
フィルタバンクの対応するチャネルに適当なサブバンド
を送ることができるようにしている。
【0006】本発明の送信システムのもう1つの可能な
実装は、画像内のピクセルがさまざまな空間位置へマッ
ピングされるように、画像をスクランブル処理するスク
ランブラを有する。これにより、白色化された画像が生
成され、その後、サブバンドに分割される。白色化画像
の使用により、サブバンドを決定論的にパケットに割り
当てることが可能となる。従って、各パケットは、それ
が含むスクランブル画像の部分を識別する1つのラベル
を含むだけでよい。パケットは、さらに、スクランブル
画像のDCバンドから導出される全輝度インジケータを
含むことも可能である。受信器は、この全輝度インジケ
ータを用いて、所定のスクランブルされたローパス画像
をスケールし、スケールされたローパススクランブル画
像を、スクランブル画像のサブバンドを再結合する合成
フィルタバンクの出力に加える。その後、再結合スクラ
ンブル画像はアンスクランブル(スクランブル解除)さ
れて、原画像が復元される。上記の例示的な実装はいず
れも、パケット損失の存在下で、復元された画像品質に
グレースフルデグラデーションを提供する。ビデオ、オ
ーディオ、音声あるいはその他の種類のデータを処理す
る代替実施例も可能である。
【0007】
【発明の実施の形態】以下、例示的な画像伝送システム
に関して本発明の説明を行う。説明する技術は、圧縮さ
れていない、すなわち「生(raw)」画像データを伝送す
る際に用いるのに特に適しているが、圧縮画像データの
伝送にも適用可能であるとともに、オーディオ、ビデオ
および音声データを含むさまざまな他の種類のデータの
伝送にも、圧縮形式でも非圧縮形式でも、適用可能であ
る。さらに、本発明は、ホログラフィック画像表現の一
般的問題に対する解を提供する。ここで、「エネルギー
等化」という用語は、パケットの集合にわたる累積信号
エネルギーのおおよその等化を含むことを意図してい
る。「パケット」という用語は、ネットワークを通じて
の伝送に適した単位としての画像データの任意のグルー
プあるいは集合を含むことを意図している。
【0008】本発明によれば、伝送される画像は、パケ
ットに分割された場合に、すべてのパケットがほぼ同じ
重要性を有するように表現される。その結果、損失のあ
るネットワークでパケットがランダムに廃棄された場合
に、復元画像における劣化は、どのパケットが廃棄され
るかにかかわらず一様になる。これにより、各パケット
に優先度インジケータを含めることに伴う処理オーバー
ヘッドが避けられ、かなりの量の冗長な情報を送信する
必要がなくなる。
【0009】fを、次のように記号的にn個の成分fi
に分けることができる画像列とする。
【数1】 ただし、各fiは1個のパケットに入れられて伝送され
る。説明を簡単にするため、各パケットはネットワーク
において廃棄される確率が等しいと仮定する。上記のよ
うに、本発明は、各パケットが同等に重要な情報を伝送
する。換言すれば、fiのうちのいずれかと画像f自体
の誤差は実質的に等しい。従って、fiを選択するため
の第1の基準は、すべてのi,jに対して、 ‖f−fi2=‖f−fj2 (2) と表される。画像列fは、臨界的にサンプリングされ、
コサイン変調される、高速実装正規直交フィルタバンク
を用いて成分fiに分解される。このようなフィルタバ
ンクについて詳細には、M. Vetterli and J. Kovacevi
c, "Wavelets andSubband Coding", Signal Processin
g, Prentice-Hall, Englewood Cliffs, NJ,1995、に記
載されている。このようなフィルタバンクは、二乗総和
可能な数列fの正規直交展開を実行するように設定され
る。ただし、分析フィルタバンクの出力が信号展開係数
を与え、合成フィルタバンクの出力がfiを与える。従
って、fiを選択するためのもう1つの条件は、i≠j
であるすべてのi,jに対して、 〈fi,fj〉=0 (3) となる。
【0010】上記の(1)および(2)から、同等に重
要なfiに対する基準は次式を意味する。
【数2】 一方、(3)は次式を意味する。
【数3】 従って、最終的に、すべてのi,jに対して、 ‖f−fi2=‖f−fj2 ⇔ ‖fi2=‖fj2 となる。このように、(2)が成り立つためには、画像
成分fiは等エネルギーであることが必要である。本発
明は、この基準を用いて、画像成分をパケットへとグル
ープ化する。例えば、画像のk個のサブバンドは、各パ
ケットがk/n個のサブバンドを有し、各パケットのデ
ータレートを等しくし、各パケットのエネルギーが等し
くなるように、n個のパケットへと分配される。
【0011】図1に、各画像データパケットがほぼ等し
いエネルギーを有することを保証する等エネルギー分配
基準を利用する本発明の第1実施例による画像伝送シス
テム10を示す。原画像はDC減算器12に、そして、
分析フィルタバンク14に入力される。DC減算器12
は、画像からDCバンドを取り出してそれを直接にエネ
ルギー等化装置16に入力する。分析フィルタバンク1
4の出力もまたエネルギー等化装置16に入力される。
DCバンドは通常、他の高周波サブバンドよりもずっと
高いエネルギーを有するため、DC減算器12は、DC
バンドを、画像の他のサブバンドから減算し、他のサブ
バンドは分析フィルタバンク14に入力される。その
後、DCバンドは、エネルギー等化装置16で、各パケ
ットに加えられる。また、エネルギー等化装置16は、
受信器が合成フィルタバンク20の各ブランチに各サブ
バンドを正しくチャネル化することができるように、パ
ケットにラベル付けを行う。DCバンド加算およびパケ
ットラベル付けは、次のファクタだけ、各パケットに伴
うオーバーヘッドを増大させる。
【数4】 ただし、h、wは、それぞれ、画像の高さおよび幅であ
る。和の第2項は、各パケットに加算されるDCバンド
によるオーバーヘッドであり、第3項は、受信端での正
しいチャネル化に必要なパケットのラベル付けによるも
のである。データ増大の主な源は第2項によるものであ
り、これは、サブバンドの数kの増大あるいはパケット
の数nの減少とともに減少する。パケットラベル付けに
よるオーバーヘッドはあまり大きくない。その理由は、
このラベル付けは、各パケットごとにサブバンド番号を
送信することにしか関係しないからである。
【0012】分析フィルタバンク14は、二乗総和可能
画像列fの正規直交展開を実行するように設定された、
上記の臨界サンプリング正規直交フィルタバンクとして
実現される。これにより、分析フィルタバンク14の出
力は、信号展開の係数を与える。正規直交フィルタバン
クは、コサイン変調フィルタを利用するのが望ましい。
その理由は、コサイン変調フィルタでは、バンク内のす
べてのフィルタが単一のプロトタイプフィルタの変調に
よって得られるという点で効率的に実装されるからであ
る。コサイン変調正規直交フィルタバンクの代わりに、
アンダーサンプリングあるいはオーバーサンプリングフ
ィルタバンクなどの他のタイプのフィルタバンクも使用
可能である。一般に、画像を複数のサブバンドに分割す
ることが可能な任意のタイプのフィルタバンクを使用可
能である。
【0013】エネルギー等化装置16は、何個のサブバ
ンドを使用すべきか、および、何個のパケットを送信す
べきかを決定し、エネルギー等化アルゴリズムを実行し
て、各サブバンドをn個のパケットのうちの1つに割り
当てる。何個のサブバンドを使用すべきかの決定は、許
容される最大エネルギー差に基づいて行われる(詳細は
後述)。送信されたパケットは、損失のあるネットワー
ク18を通り、受信器に送られる。受信器は、DCバン
ドを受信パケットから取り出して直接にDC加算器22
に入力するとともに、サブバンドを合成フィルタバンク
20に入力するように、受信パケットを処理する。パケ
ットラベルを用いて各サブバンドを合成フィルタバンク
20の正しいブランチにチャネル化する。DC加算器の
出力は復元画像である。
【0014】上記のように、システム10内のエネルギ
ー等化装置16は、分析フィルタバンク14からのk個
のサブバンドを、n個のパケットがほぼ等しいエネルギ
ーを有するようにn個のパケットに分配する。n個のパ
ケットのそれぞれのサイズを等しくしなければならない
ため、各パケットは一般に等しい数のサブバンドを有す
る。すなわち、kはmnに等しくなければならない。サ
ブバンド分配問題は、k個の数を、各箱が正確にm個の
数を含むようにn個の箱に分配し、各箱内の数の総和が
できるだけ近くなるようにするものとして特徴づけられ
る。この分配問題は、計算機科学では、最長タスク完了
時間("makespan")を最小にするようにk個のタスクを
n個の同一のプロセッサに割り当てることを要求する並
列マシンスケジューリング問題として知られている。並
列マシンスケジューリング問題について詳細には、例え
ば、E. G. Coffman and G. S. Lueker, "Probabilistic
Analysis of Packing and Partitioning Algorithms",
Wiley, New York, 1991、に記載されている。
【0015】各箱が同数の数を含むという制約は個数(c
ardinality)バランスのあるスケジューリングとして知
られており、各プロセッサに割り当てられるタスクの数
【数5】 である。個数バランスのあるスケジューリングに対する
例示的なアルゴリズムは、・G. S. Lueker, "A Note on
the Average-Case Behavior of a Simple Diffe rencing Method for Partitioning", Operations Resea
rch Letters, 6:285-288, 1987 ・N. Karmarkar and R. M. Karp, "The Differencing M
ethod for Set Partitioning", Technical Report, Uni
versity of California at Berkeley, Berkeley, CA, 1
982 ・E. G. Coffman, G. N. Frederickson and G. S. Luek
er, "A Note on Expected Makespans for Largest-Firs
t Sequences of Independent Tasks on Two Processor
s", Math. Oper., Res., 9:260-266, 1984 に記載されている。これらのアルゴリズムは一般に、処
理時間に対して単純な確率分布関数を仮定している。多
くの画像伝送アプリケーションでは、対応する分布関数
は一般に未知であり、仮にそれを評価することができた
としても、単純な解析的形式になる見込みはない。以下
の説明では、計算機科学の用語ではなく信号処理の用語
を用いることにする。すなわち、サブバンド、パケッ
ト、エネルギーおよびパケットエネルギーを、それぞ
れ、タスク、プロセッサ、時間およびmakespanの代わり
に用いる。
【0016】本発明は、k個のサブバンドをn個のパケ
ットに分配するエネルギー等化アルゴリズムにおいて、
パケットがほぼ等しいエネルギーを有し、パケットエネ
ルギーの最大差は、サブバンドエネルギー分布関数にか
かわらずエネルギーの非減少順にサブバンドを整列(ソ
ート)した後にサブバンドエネルギーの最大差によって
上から抑えられる。
【0017】図2は、パケット数nが2でサブバンド数
kが2mである場合に本発明のエネルギー等化アルゴリ
ズムを適用した実施例の流れ図である。このアルゴリズ
ムでは、サブバンドはエネルギーの非減少順に整列さ
れ、引き続くサブバンドを、最大エネルギーのものから
最小エネルギーのものまで対にする。ただし、各サブバ
ンド対は重なり合わない。次に、サブバンド対を、その
エネルギー差の非減少順に整列する。次に、サブバンド
対に対して、2個のパケットを、対をなすサブバンドの
うちエネルギーの大きいほうのサブバンドに累積エネル
ギーが小さいほうのパケットを割り当て、エネルギーの
小さいほうのサブバンドに他方のパケットを割り当てる
ようにして、割り当てる。このプロセスをさらに詳細に
図2に示す。
【0018】図2のステップ30で、サブバンドエネル
ギーσiを非減少順に整列する。すなわち、 σ1≧σ2≧...≧σk とする。k=2mと仮定する。kが奇数の場合、エネル
ギーが0に等しいダミーサブバンドσk+1を追加するこ
とができる。ステップ32で、サブバンドエネルギーの
対を、最大のものから最小のものへと形成する。各サブ
バンドエネルギー対は、2項組(σ2i-1,σ2i)(i=
1,2,...,m)を有する。ステップ34は、δiを、
差σ2i-1−σ2i(i=1,2,...,m)として定義
し、jがj番目に大きいδiのインデックスとなるよう
に非減少順にδiを整列する。すなわち、 δ1≧δ2≧...≧δm (4) である。ステップ36で、i=1,2,...,mに対し
て、サブバンドエネルギー(σ2i-1,σ2i)を2個のパ
ケットに割り当てる。サブバンドエネルギーσ2i -1は、
累積エネルギーの小さいほうのパケットに割り当てら
れ、サブバンドエネルギーσ2iは、他方のパケットに割
り当てられる。
【0019】図2のエネルギー等化アルゴリズムの動作
の例として、k=10個のサブバンドがあり、サブバン
ドエネルギーσiが{12,8,5,4,1,17,1
3,3,9,7}で与えられると仮定する。図2のステ
ップ30および32に従って、これらのサブバンドエネ
ルギーを非減少順に整列してから、図3のAに示される
対を生成する。各対の下の数字は、その対の2つのサブ
バンドエネルギーの差δiに相当する。ステップ34に
従って、これらの対を、それらの差の非減少順に整列す
る。その結果、図3のBに示される順序が得られる。最
後に、ステップ36に従って、サブバンドエネルギーを
2個のパケットに分配する。対のうちの大きいほうのエ
ネルギーを、累積エネルギーの小さいほうのパケットに
割り当てる。その結果得られるサブバンドのパケットへ
の割当てを次の表1に示す。この例における2個のパケ
ットの累積エネルギーをそれぞれE1およびE2で表す。
表1から分かるように、本発明のエネルギー等化アルゴ
リズムは、2個のパケットのそれぞれに対してほぼ等し
い累積エネルギーを生成する。
【0020】表1:パケットへのサブバンドの割当て
【表1】
【0021】以下、サブバンドをそのエネルギーの非減
少順に整列した後、累積パケットエネルギーの最大差
が、サブバンドエネルギーの最大差によって抑えられる
ことを示す。すべてのサブバンドの全エネルギーをEで
表し、2個のパケットの累積パケットエネルギーE1
よびE2で表す。2個のパケットのエネルギー差は、最
大エネルギー差δ1によって上から抑えられる。すなわ
ち、|E2−E1|≦δ1である。エネルギーが(σ1 i
σ2 i)のi番目のサブバンド対が割り当てられる前の2
個のパケットの累積エネルギーをE1 i-1およびE2 i-1
表す。一般性を失うことなく、E1 i-1≦E2 i-1およびσ
1 i≦σ2 iと仮定すると、σ2 iは第1のパケットに割り当
てられ、σ1 iは第2のパケットに割り当てられる。d
i-1=E2 i-1−E1 i-1およびδi=σ2 i−σ1 iとする。d
0=E2 0−E1 0と仮定する。すると、次式が従う。 |di|=|E2 i−E1 i| =|(E2 i-1+σ1 i)−(E1 i-1+σ2 i)| =|(E2 i-1−E1 i-1)−(+σ2 i−σ1 i)| =|di-1−δi| (5) 帰納法により、次式を示すことができる。 |dm|≦δ1 (6) すなわち、2個のパケットのエネルギー差は、サブバン
ド対の最大サブバンドエネルギー差より大きくならな
い。定義により、|d1|=|E2 1−E1 1|=|δ1|で
ある。従って、(6)はm=1に対して成り立つ。次
に、m=iに対しても成り立つ、すなわち、 |di|≦δ1 (7) と仮定する。(5)を用いると、|di+1|=|di−δ
i+1|であることが分かる。diはδi+1と同じ符号でな
ければならないから、|di+1|=|di−δi+1|≦|
i|≦δ1である。従って、(6)はm=i+1に対し
ても成り立ち、帰納法により(6)はすべてのmに対し
て成り立つ。
【0022】次に、与えられた最大累積パケットエネル
ギー差εを提供するのに必要な最小サブバンド数kを決
定するプロセスについて説明する。上記の2個のパケッ
トの場合、与えられたεに必要なサブバンド数の下限を
決定することができる。直交フィルタバンクに入力され
る入力信号を考える。分析フィルタの周波数は重なり合
っていないと仮定すると、サブバンド信号も周波数は重
なり合わない。入力信号の振幅−周波数応答の最大振幅
はMであり、各サブバンドのバンド幅はBwであると仮
定する。ここで、Bw≦ε/Mである。各サブバンドの
エネルギーはε以下である。従って、各サブバンド対の
エネルギー差はε以下である。すると、(4)により、 ε≧δ1≧δ2≧...≧δm である。上記の(5)〜(7)で示したのと同じ議論に
より、|dm|≦δ1≦εとなる。以上から、Bw≦ε/
Mは、|dm|≦εの十分条件であることが分かる。Bw
が与えられると、Bw=π/kであるため、サブバンド
数kは次式のように決定される。 k≧πM/ε 従って、許容可能な最大エネルギー差が与えられると、
それを達成するのに必要な最小サブバンド数を決定する
ことができる。注意すべき点であるが、このような結果
は一般のnパケットの場合には決定可能でないことがあ
る。
【0023】図4に、本発明の代替実施例による画像伝
送システム40を示す。本発明のこの実施例は、上記の
システム10に比べてオーバーヘッドが少ない。システ
ム40は、スクランブラ42、DC減算器44および分
析フィルタバンク46を有する。送信されたパケット
は、損失のあるネットワーク48を通り、受信端に入力
される。受信端は、合成フィルタバンク50、DC加算
器52およびアンスクランブラ54を有する。原入力画
像はスクランブラ42に入力される。スクランブラ42
は、受信端のアンスクランブラ54がスクランブル画像
をアンスクランブルすることができるように、画像内の
各ピクセルを相異なる空間位置に決定論的にマッピング
する。スクランブラ42の目的は、出力画像の各サブバ
ンドがほぼ等しいエネルギーを有するように、入力画像
を白色化することである。その結果、上記のエネルギー
等化アルゴリズムは不要となる。また、スクランブラ4
2の出力においてすべてのサブバンドはほぼ等しいエネ
ルギーを有するため、サブバンドをパケットに決定論的
に分配することができる。従って、図1のシステム10
の場合のようにパケット内で各サブバンドにラベル付け
する代わりに、システム40は各パケットにラベル付け
するだけでよい。受信端のアンスクランブラ54がサブ
バンドを再構成して復元画像を得ることができるよう
に、各パケットとともに1個のラベルが送信される。
【0024】各サブバンドのエネルギーは、DCバンド
によって示される全輝度を除いてはほぼ等しいため、あ
る画像クラスのスクランブル画像は視覚的に同様に見え
ることになる。具体的には、与えられた画像クラスのス
クランブル画像のDCバンドは、全輝度が既知であれ
ば、相互に交換して使用することができる。従って、図
1のシステム10とは異なり、システム40では、DC
バンド全体ではなく、全輝度のみが、各サブバンドと組
み合わされる。これにより、画像伝送プロセスに伴うオ
ーバーヘッドがさらに減少する。受信端において、各受
信パケットのサブバンドは合成フィルタバンク50に入
力される。次に、合成フィルタバンク50の出力は、D
C加算器52で、所定のスクランブルされたローパス画
像に加えられる。DC加算器52は、所定のスクランブ
ルローパス画像を、各パケットで送られる原画像の全輝
度の分だけスケールする。最後に、受信されたスクラン
ブル画像をあんスクランブラ54であんスクランブルし
て復元画像を得る。図4のシステム40における輝度情
報およびパケットラベル付けに伴うオーバーヘッドは次
式で与えられる。
【数6】 ただし、h、wはそれぞれ画像の高さおよび幅である。
従って、図4のシステム40で実現される画像伝送技術
は、一般に、図1のシステム10よりも少ないオーバー
ヘッドしか要求しない。
【0025】上記の画像伝送技術を、例示的な自然画
像、漫画、コンピュータ生成市松模様画像およびテキス
ト画像を含むさまざまな画像に適用するいくつかの実験
を実行した。それぞれの場合で用いられた分析および合
成フィルタバンク波、8個のパケットに分割される64
個のサブバンドを有し、各パケットのサイズは32Kb
itであった。それぞれのタイプの画像に対して、図1
の実施例および図4の実施例はいずれも、パケット損失
の存在下で画像品質のグレースフルデグラデーションを
示した。一般に、パケット損失が少ない場合は、図1の
実施例が図4の実施例よりも良好な復元画像品質を与え
る。パケット損失が増大すると、図1の実施例における
支配的な画像劣化アーティファクトはにじみ(blur)であ
るのに対して、図4の実施例では支配的なアーティファ
クトはショットノイズである。図1または図4の実施例
のいずれを選択するかは、復元画像の品質、好ましいタ
イプの劣化アーティファクトおよびオーバーヘッドの間
のトレードオフの問題である。
【0026】本発明の上記の実施例は単なる例示であ
る。本発明の代替実施例としては、他のタイプのエネル
ギー等化アルゴリズムを利用するもの、あるいは、複数
のパケットにわたりエネルギーがほぼ一定になるように
画像データをパケットに分配する別の技術を利用するも
のが可能である。1つの可能な代替法として、最も重要
なデータブロック(例えば、画像をローパスフィルタリ
ングしたバージョンに対応するデータブロック)のコピ
ーを各パケットに入れるものがある。それにより、受信
器は、最重要情報があらゆるパケットにありそれを確実
に得られるため、画像を復元することができる。さら
に、本発明は、さまざまなタイプの生および圧縮画像デ
ータに使用可能である。例えば、周知のJPEG標準に
従って圧縮された画像は、圧縮画像の離散コサイン変換
(DCT)のDC成分を各パケットに入れることによっ
て伝送することができる。
【0027】
【発明の効果】以上述べたごとく、本発明によれば、処
理オーバーヘッドや伝送しなければならないデータの量
をほとんど増大させることなく、パケット損失の存在下
でデータを伝送する、改善された技術が実現される。本
発明の技術は、インターネットや広帯域ATMネットワ
ークを含む、広範囲の損失のあるパケットネットワーク
を通じてのデータ伝送での使用に適しており、また、生
のあるいは圧縮された画像データや、ビデオ、オーディ
オおよびその他の種類のデータでの使用も可能である。
本発明は、一般に、信号データをパケットに分割した場
合にすべてのパケットがほぼ同じ重要性を有するように
信号データを表現する。その結果、損失のあるパケット
ネットワークでパケットがランダムに損失した場合、復
元される信号における劣化は、どのパケットが損失した
かにかかわらずほぼ一様になる。
【図面の簡単な説明】
【図1】エネルギー等化法を用いて画像データを伝送用
パケットに分配する、本発明の実施例による画像伝送シ
ステムの図である。
【図2】図1の画像伝送システムで用いられる例示的な
エネルギー等化アルゴリズムを説明する流れ図である。
【図3】図2のエネルギー等化アルゴリズムの動作の例
におけるサブバンドエネルギー対の順序を説明する図で
ある。
【図4】画像スクランブルを用いて画像データパケット
に対するエネルギー等化を行う、本発明のもう1つの実
施例による画像伝送システムの図である。
【符号の説明】
10 画像伝送システム 12 DC減算器 14 分析フィルタバンク 16 エネルギー等化装置 18 損失のあるネットワーク 20 合成フィルタバンク 22 DC加算器 40 画像伝送システム 42 スクランブラ 44 DC減算器 46 分析フィルタバンク 48 損失のあるネットワーク 50 合成フィルタバンク 52 DC加算器 54 アンスクランブラ
フロントページの続き (71)出願人 596077259 600 Mountain Avenue, Murray Hill, New Je rsey 07974−0636U.S.A. (72)発明者 フランシス マン ルング ング アメリカ合衆国,カリフォルニア,ミルピ タス,ミルモント ドライブ 1775

Claims (33)

    【特許請求の範囲】
  1. 【請求項1】 ネットワークを通じて信号を伝送する方
    法において、該方法は、 信号の各部分を複数のパケットに割り当てる割当てステ
    ップと、 前記ネットワークを通じて前記パケットを受信器へ伝送
    するステップとからなり、 前記割当てステップは、与えられた伝送中のパケット損
    失量に対して、前記受信器において復元される信号の品
    質が、いずれのパケットが損失するかにかかわらずほぼ
    一様になるように行われることを特徴とする信号伝送方
    法。
  2. 【請求項2】 前記信号は圧縮または非圧縮の画像信号
    であることを特徴とする請求項1に記載の方法。
  3. 【請求項3】 前記信号は圧縮または非圧縮のビデオ信
    号であることを特徴とする請求項1に記載の方法。
  4. 【請求項4】 前記信号は圧縮または非圧縮のオーディ
    オ信号であることを特徴とする請求項1に記載の方法。
  5. 【請求項5】 前記信号は圧縮または非圧縮の音声信号
    であることを特徴とする請求項1に記載の方法。
  6. 【請求項6】 前記復元される信号の品質は、信号自体
    と、与えられた数のパケットのグループから生成される
    復元信号の間の復元誤差が、いずれのパケットが該グル
    ープに入るかにかかわらずほぼ一様であるという意味で
    ほぼ一様であることを特徴とする請求項1に記載の方
    法。
  7. 【請求項7】 前記割当てステップは、 前記信号を複数のサブバンドに分割する分割ステップ
    と、 パケットの累積信号エネルギーがほぼ等しくなるように
    エネルギー等化アルゴリズムに従って前記サブバンドを
    パケットに割り当てるステップとを含むことを特徴とす
    る請求項1に記載の方法。
  8. 【請求項8】 前記分割ステップは、前記信号の少なく
    とも一部をコサイン変調正規直交分析フィルタバンクに
    入力するステップを含むことを特徴とする請求項7に記
    載の方法。
  9. 【請求項9】 前記エネルギー等化アルゴリズムは、 前記サブバンドのエネルギーを非減少順に整列するステ
    ップと、 最大から最小への順でサブバンドエネルギーの対を形成
    するステップと、 前記対のサブバンドエネルギーどうしの差を非減少順に
    整列するステップと、 与えられたサブバンドエネルギー対の大きいほうのサブ
    バンドエネルギーを累積エネルギーが低いほうのパケッ
    トに割り当て、小さいほうのサブバンドエネルギーを他
    方のパケットに割り当てるように、前記サブバンドエネ
    ルギーを相異なるパケットに割り当てるステップとを含
    むことを特徴とする請求項7に記載の方法。
  10. 【請求項10】 前記信号のDCバンドを残りの信号か
    ら分離するステップと、 前記DCバンドを各パケットに挿入するステップとをさ
    らに有することを特徴とする請求項7に記載の方法。
  11. 【請求項11】 与えられたパケットに、該パケット内
    の各サブバンドを識別する1個以上のラベルを含めるス
    テップをさらに有することを特徴とする請求項7に記載
    の方法。
  12. 【請求項12】 前記割当てステップは、 前記信号を白色化して白色化信号を生成する白色化ステ
    ップと、 前記白色化信号を複数のサブバンドに分割するステップ
    と、 前記サブバンドを決定論的にパケットに割り当てるステ
    ップとを含むことを特徴とする請求項1に記載の方法。
  13. 【請求項13】 与えられたパケットに、該パケット内
    に含まれる前記白色化信号の部分を識別する1個のラベ
    ルを含めるステップをさらに有することを特徴とする請
    求項12に記載の方法。
  14. 【請求項14】 前記信号は画像であり、前記白色化ス
    テップは、前記画像内のピクセルが相異なる空間位置に
    マッピングされて白色化スクランブル画像を生成するよ
    うに前記画像をスクランブルすることを含むことを特徴
    とする請求項12に記載の方法。
  15. 【請求項15】 前記スクランブル画像のDCバンドを
    残りの画像から分離するステップと、 前記DCバンドから導出される全輝度インジケータを各
    パケットに挿入するステップとをさらに有することを特
    徴とする請求項14に記載の方法。
  16. 【請求項16】 前記受信器において、前記全輝度イン
    ジケータを用いて、所定のスクランブルローパス画像を
    スケールするステップと、 スケールされた所定のスクランブルローパス画像を、前
    記スクランブル画像のサブバンドを再結合する合成フィ
    ルタバンクの出力に加えるステップとをさらに有するこ
    とを特徴とする請求項15に記載の方法。
  17. 【請求項17】 ネットワークを通じて信号を伝送する
    装置において、該装置は、 送信器内で、前記信号を複数の部分に分割し、前記ネッ
    トワークを通じて受信器へ伝送される複数のパケットに
    割り当てるフィルタバンクを有し、 前記送信器は、与えられた伝送中のパケット損失量に対
    して、前記受信器において復元される信号の品質が、い
    ずれのパケットが損失するかにかかわらずほぼ一様にな
    るように、前記信号の各部分をパケットに割り当てるこ
    とを特徴とする信号伝送装置。
  18. 【請求項18】 前記フィルタバンクは、圧縮または非
    圧縮の画像信号を複数の部分に分割してパケットに割り
    当てることを特徴とする請求項17に記載の装置。
  19. 【請求項19】 前記フィルタバンクは、圧縮または非
    圧縮のビデオ信号を複数の部分に分割してパケットに割
    り当てることを特徴とする請求項17に記載の装置。
  20. 【請求項20】 前記フィルタバンクは、圧縮または非
    圧縮のオーディオ信号を複数の部分に分割してパケット
    に割り当てることを特徴とする請求項17に記載の装
    置。
  21. 【請求項21】 前記フィルタバンクは、圧縮または非
    圧縮の音声信号を複数の部分に分割してパケットに割り
    当てることを特徴とする請求項17に記載の装置。
  22. 【請求項22】 前記復元される信号の品質は、信号自
    体と、与えられた数のパケットのグループから生成され
    る復元信号の間の復元誤差が、いずれのパケットが該グ
    ループに入るかにかかわらずほぼ一様であるという意味
    でほぼ一様であることを特徴とする請求項17に記載の
    装置。
  23. 【請求項23】 前記フィルタバンクはコサイン変調正
    規直交分析フィルタバンクであることを特徴とする請求
    項17に記載の装置。
  24. 【請求項24】 前記フィルタバンクは、前記信号を複
    数のサブバンドに分割してパケットに割り当てることを
    特徴とする請求項17に記載の装置。
  25. 【請求項25】 前記送信器は、パケットの累積信号エ
    ネルギーがほぼ等しくなるように、前記ネットワークを
    通じて前記受信器へ伝送されるパケットに信号のサブバ
    ンドを割り当てるエネルギー等化手段を有することを特
    徴とする請求項24に記載の装置。
  26. 【請求項26】 前記エネルギー等化手段は、前記サブ
    バンドのエネルギーを非減少順に整列し、最大から最小
    への順でサブバンドエネルギーの対を形成し、前記対の
    サブバンドエネルギーどうしの差を非減少順に整列し、
    与えられたサブバンドエネルギー対の大きいほうのサブ
    バンドエネルギーを累積エネルギーが低いほうのパケッ
    トに割り当てるとともに小さいほうのサブバンドエネル
    ギーを他方のパケットに割り当てるように前記サブバン
    ドエネルギーを相異なるパケットに割り当てることを特
    徴とする請求項25に記載の装置。
  27. 【請求項27】 前記送信器は、前記信号のDCバンド
    を残りの信号から分離するDC減算器を有し、 前記エネルギー等化手段は、前記DCバンドを各パケッ
    トに挿入することを特徴とする請求項25に記載の装
    置。
  28. 【請求項28】 前記エネルギー等化手段は、与えられ
    たパケットに、該パケット内の各サブバンドを識別する
    1個以上のラベルを含めることを特徴とする請求項25
    に記載の装置。
  29. 【請求項29】 前記送信器は、前記信号を白色化して
    白色化信号を生成し、 前記フィルタバンクは、前記白色化信号を複数のサブバ
    ンドに分割し、該サブバンドを決定論的にパケットに割
    り当てることを特徴とする請求項17に記載の装置。
  30. 【請求項30】 前記送信器は、与えられたパケット
    に、該パケット内に含まれる前記白色化信号の部分を識
    別する1個のラベルを含めることを特徴とする請求項2
    9に記載の装置。
  31. 【請求項31】 前記信号は画像であり、前記送信器
    は、前記画像内のピクセルが相異なる空間位置にマッピ
    ングされて白色化スクランブル画像を生成するように前
    記画像をスクランブルすることによって前記信号を白色
    化することを特徴とする請求項29に記載の装置。
  32. 【請求項32】 前記送信器は、前記スクランブル画像
    のDCバンドを残りの画像から分離するDC減算器を有
    し、 前記DCバンドから導出される全輝度インジケータが各
    パケットに挿入されることを特徴とする請求項31に記
    載の装置。
  33. 【請求項33】 前記受信器において、前記全輝度イン
    ジケータは、所定のスクランブルローパス画像をスケー
    ルするために用いられ、スケールされた所定のスクラン
    ブルローパス画像は、前記スクランブル画像のサブバン
    ドを再結合する合成フィルタバンクの出力に加えられる
    ことを特徴とする請求項32に記載の装置。
JP10300950A 1997-10-24 1998-10-22 信号伝送方法 Pending JPH11220498A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/957,117 US6301222B1 (en) 1997-10-24 1997-10-24 Signal data transmission over lossy packet networks
US08/957117 1997-10-24

Publications (1)

Publication Number Publication Date
JPH11220498A true JPH11220498A (ja) 1999-08-10

Family

ID=25499094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10300950A Pending JPH11220498A (ja) 1997-10-24 1998-10-22 信号伝送方法

Country Status (2)

Country Link
US (2) US6301222B1 (ja)
JP (1) JPH11220498A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445717B1 (en) * 1998-05-01 2002-09-03 Niwot Networks, Inc. System for recovering lost information in a data stream
US6487319B1 (en) * 1998-11-18 2002-11-26 Sarnoff Corporation Apparatus and method for identifying the location of a coding unit
DE69938094T2 (de) 1998-11-30 2009-02-05 Matsushita Electric Industries Co. Ltd., Kadoma Paketwiederübertragungskontrolle mit Prioritätsinformationen
US6977691B1 (en) * 1999-09-21 2005-12-20 Texas Instruments Incorporated System for nonlinear viewing of television show segments
US6754203B2 (en) 2001-11-27 2004-06-22 The Board Of Trustees Of The University Of Illinois Method and program product for organizing data into packets
JP4365653B2 (ja) * 2003-09-17 2009-11-18 パナソニック株式会社 音声信号送信装置、音声信号伝送システム及び音声信号送信方法
US8139642B2 (en) * 2005-08-29 2012-03-20 Stmicroelectronics S.R.L. Method for encoding signals, related systems and program product therefor
US7536299B2 (en) * 2005-12-19 2009-05-19 Dolby Laboratories Licensing Corporation Correlating and decorrelating transforms for multiple description coding systems
US20120294518A1 (en) * 2009-08-21 2012-11-22 National Taiwan University Contrast improvement method and system for photoacoustic imaging

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0139803B1 (fr) * 1983-10-28 1987-10-14 International Business Machines Corporation Procédé de reconstitution d'informations perdues dans un système de transmission numérique de la voix et système de transmission utilisant ledit procédé
US4974187A (en) * 1989-08-02 1990-11-27 Aware, Inc. Modular digital signal processing system
US5222080A (en) * 1991-03-20 1993-06-22 U S West Advanced Technologies, Inc. Method and apparatus for signal reconstruction
EP0709009A1 (en) * 1993-06-16 1996-05-01 GOULD, Kim V.W. System and method for transmitting video material
US5434567A (en) * 1994-09-09 1995-07-18 Kabushiki Kaisha Toshiba Encoding image signals by further transforming transformed DC signals
US5754702A (en) * 1994-12-02 1998-05-19 Allied Signal Inc. Scale oriented interband prediction method for image data compression and reconstruction

Also Published As

Publication number Publication date
US6215787B1 (en) 2001-04-10
US6301222B1 (en) 2001-10-09

Similar Documents

Publication Publication Date Title
Dang et al. Image encryption for secure internet multimedia applications
US5682404A (en) Method and apparatus for signal transmission and reception
JP4004707B2 (ja) 情報を含む信号のマルチレート符号化のための技法
US6263017B1 (en) Method and apparatus for signal transmission and reception
US7260722B2 (en) Digital multimedia watermarking for source identification
EP2270717B1 (en) Method and apparatus for decoding images
US6049330A (en) Method and apparatus for optimizing storage of compressed images in memory
EP1107232A2 (en) Joint stereo coding of audio signals
EP1326355A2 (en) Exploitation of null packets in packetized digital television systems
US20020129243A1 (en) System for selective encryption of data packets
JP2011045140A (ja) データ圧縮
EP1487148A1 (en) Data processing apparatus and method thereof
JPH0630391A (ja) 大域ブロック変換を用いた圧縮画像データに頑強性を付与するための装置および方法
CN100407609C (zh) 编码分组传送接收方法及其装置
CN102237094A (zh) 处理/发送比特流以及接收/处理比特流的方法和设备
JPH11220498A (ja) 信号伝送方法
WO2001063774A1 (en) Partial redundancy encoding of speech
US6606600B1 (en) Scalable subband audio coding, decoding, and transcoding methods using vector quantization
JP2620489B2 (ja) ビデオイメージをコーディングする方法
Sadourny et al. A proposal for supporting selective encryption in JPSEC
Normand et al. Controlled redundancy for image coding and high-speed transmission
Frajka et al. Progressive image coding with spatially variable resolution
AU771301B2 (en) Quality priority image storage and communication
Naimi et al. Multiple description image coding using contourlet transform
JPH1141573A (ja) 情報多重化方法、情報抽出方法及びそれらの装置