JPH10136383A - 内容基盤によって分割された映像客体のスケーラブル伝送方法 - Google Patents
内容基盤によって分割された映像客体のスケーラブル伝送方法Info
- Publication number
- JPH10136383A JPH10136383A JP21471797A JP21471797A JPH10136383A JP H10136383 A JPH10136383 A JP H10136383A JP 21471797 A JP21471797 A JP 21471797A JP 21471797 A JP21471797 A JP 21471797A JP H10136383 A JPH10136383 A JP H10136383A
- Authority
- JP
- Japan
- Prior art keywords
- video
- transmission
- video object
- information
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Details Of Television Systems (AREA)
Abstract
(57)【要約】
【課題】 映像情報を伝送する伝送網の伝送速度の変動
による再生映像の劣化を低減する伝送方法を提供する。 【解決手段】 映像フレームの映像情報を映像客体別に
符号化し、符号化した情報を多重化して伝送網を介して
伝送する方法において、同一の背景を共有する映像フレ
ームから、他の映像客体により遮られる部分を補間した
背景の映像客体の映像情報を求め、映像客体別の映像情
報に優先順位を付与し、現時点における伝送網の伝送速
度を求め、求めた伝送速度で、映像フレームのフレーム
周波数の変更なしに伝送可能なデータ量を求め、求めた
データ量の範囲で、優先順位の高い映像客体の映像情報
の順に送信を行う。
による再生映像の劣化を低減する伝送方法を提供する。 【解決手段】 映像フレームの映像情報を映像客体別に
符号化し、符号化した情報を多重化して伝送網を介して
伝送する方法において、同一の背景を共有する映像フレ
ームから、他の映像客体により遮られる部分を補間した
背景の映像客体の映像情報を求め、映像客体別の映像情
報に優先順位を付与し、現時点における伝送網の伝送速
度を求め、求めた伝送速度で、映像フレームのフレーム
周波数の変更なしに伝送可能なデータ量を求め、求めた
データ量の範囲で、優先順位の高い映像客体の映像情報
の順に送信を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像情報を符号
化して伝送する方法に係り、特に、インターネット(Int
ernet)のように回線の伝送速度が変動する伝送網におけ
る動画像情報の伝送することに好適な伝送方法に関す
る。
化して伝送する方法に係り、特に、インターネット(Int
ernet)のように回線の伝送速度が変動する伝送網におけ
る動画像情報の伝送することに好適な伝送方法に関す
る。
【０００２】
【従来の技術】動画像の映像情報の符号化方式には、動
画像の内容基盤(Content-Based)により符号化を行う方
式がある。この符号化方式は、各場面に登場する内容
（例えば、人、机、椅子）を映像客体（Video Object）
として分離して、映像客体別に符号化を行う。
画像の内容基盤(Content-Based)により符号化を行う方
式がある。この符号化方式は、各場面に登場する内容
（例えば、人、机、椅子）を映像客体（Video Object）
として分離して、映像客体別に符号化を行う。
【０００３】図１に、内容基盤による符号化方式が適用
された従来の動画像情報伝送システムの処理構成を示
す。
された従来の動画像情報伝送システムの処理構成を示
す。
【０００４】送信側では、送信対象の映像フレームシー
ケンスを取り込むと、内容基盤により映像客体に分割し
て（１１）、映像客体毎のシーケンス、すなわち、客体
Ａシーケンス、客体Ｂシーケンス、および、背景を表す
客体Ｃシーケンスを得る。そして、各客体シーケンスを
それぞれ符号化し（１２）、符号化した客体シーケンス
を多重化して（１３）、１つのビットストリームを形成
した後、伝送網を介して伝送する（１４）。なお、例え
ば、符号化した客体シーケンスには、客体シーケンスの
表示時間や表示位置を表す時・空間情報が含まれる。
ケンスを取り込むと、内容基盤により映像客体に分割し
て（１１）、映像客体毎のシーケンス、すなわち、客体
Ａシーケンス、客体Ｂシーケンス、および、背景を表す
客体Ｃシーケンスを得る。そして、各客体シーケンスを
それぞれ符号化し（１２）、符号化した客体シーケンス
を多重化して（１３）、１つのビットストリームを形成
した後、伝送網を介して伝送する（１４）。なお、例え
ば、符号化した客体シーケンスには、客体シーケンスの
表示時間や表示位置を表す時・空間情報が含まれる。
【０００５】受信側では、伝送網よりビットストリーム
を受信し（１５）、符号化された映像客体シーケンスを
分離する（１６）。そして、映像客体別に復号化を行う
ことで、符号化前の映像客体シーケンスを再生し（１
７）、時・空間情報を用いて、映像客体シーケンスから
映像フレームシーケンスを復元する（１８）。
を受信し（１５）、符号化された映像客体シーケンスを
分離する（１６）。そして、映像客体別に復号化を行う
ことで、符号化前の映像客体シーケンスを再生し（１
７）、時・空間情報を用いて、映像客体シーケンスから
映像フレームシーケンスを復元する（１８）。
【０００６】映像客体別の符号化としては、予測符号化
を用い、映像客体内で予測するＩ（Intra）タイプ、時
間の順方向に予測するＰ（Predictive）タイプ、およ
び、時間の双方向に予測するＢ（Bidirectionally Pred
ictive）タイプの各符号化を使用する。Ｉタイプでは、
符号化対象の画像情報のみを用いて符号化を行う。Ｐタ
イプでは、過去のＩあるいはＰタイプの映像客体１個を
用いて符号化を行う。そして、Ｂタイプでは、過去と未
来にあるＩあるいはＰタイプの映像客体を２つ用いて符
号化を行う。
を用い、映像客体内で予測するＩ（Intra）タイプ、時
間の順方向に予測するＰ（Predictive）タイプ、およ
び、時間の双方向に予測するＢ（Bidirectionally Pred
ictive）タイプの各符号化を使用する。Ｉタイプでは、
符号化対象の画像情報のみを用いて符号化を行う。Ｐタ
イプでは、過去のＩあるいはＰタイプの映像客体１個を
用いて符号化を行う。そして、Ｂタイプでは、過去と未
来にあるＩあるいはＰタイプの映像客体を２つ用いて符
号化を行う。
【０００７】また、各映像客体の符号化では、Ｉタイ
プ、Ｐタイプ、Ｂタイプの各符号化が、一定のパターン
で選択される。例えば、ＩＰＢＢＰ，ＩＰＢＢＰ，ＩＰ
ＢＢＰの順で符号化がなされる。この際の一定パターン
（ＩＰＢＢＰ）の映像客体の集合を、ＧＯＰ（Group Of
Pictures）という。
プ、Ｐタイプ、Ｂタイプの各符号化が、一定のパターン
で選択される。例えば、ＩＰＢＢＰ，ＩＰＢＢＰ，ＩＰ
ＢＢＰの順で符号化がなされる。この際の一定パターン
（ＩＰＢＢＰ）の映像客体の集合を、ＧＯＰ（Group Of
Pictures）という。
【０００８】
【発明が解決しようとする課題】ところで、インターネ
ットのように、多くの利用者により共用される伝送網で
は、トラフィック量の変化の影響で、端末間の通信情報
の伝送速度（平均伝送速度）が時々刻々に変化する。こ
のような伝送網を介して、注文形ビデオ・サービス（Vi
deo on Demand）のような動画像情報の伝送サービスを
提供する場合には、動画像情報の伝送速度の変化によ
り、サービスの品質が低下するという問題が生じる。例
えば、伝送速度が低下した場合には、動画像情報の受信
に遅延が生じ、フレーム周波数の低下やフレームの欠落
などにより再生映像の品質が劣化する。
ットのように、多くの利用者により共用される伝送網で
は、トラフィック量の変化の影響で、端末間の通信情報
の伝送速度（平均伝送速度）が時々刻々に変化する。こ
のような伝送網を介して、注文形ビデオ・サービス（Vi
deo on Demand）のような動画像情報の伝送サービスを
提供する場合には、動画像情報の伝送速度の変化によ
り、サービスの品質が低下するという問題が生じる。例
えば、伝送速度が低下した場合には、動画像情報の受信
に遅延が生じ、フレーム周波数の低下やフレームの欠落
などにより再生映像の品質が劣化する。
【０００９】そこで、本発明は、映像情報を伝送する伝
送網の伝送速度の変動による再生映像の劣化を低減する
伝送方法を提供することを目的とする。
送網の伝送速度の変動による再生映像の劣化を低減する
伝送方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、映像フレームシーケンスを同一背景を有
したサブシーケンスに分ける初期化部、符号化部、多重
化部、多重化された映像客体ビットストリームをスケー
ラブル伝送するスケーラブル伝送部、受信部、分離化
部、復号化部、および、フレーム合成部を備える、スケ
ーラブル伝送システムに適用される、内容基板によって
分割された映像客体のスケーラブル伝送方法において、
伝送される映像客体の集合TxSetを、補償した背景客体
と、初期フレームに属する他の映像客体とで構成し、ｉ
（ｉは整数）を１と定める第１段階と、前記集合TxSet
を伝送し、この集合TxSetが動映像シーケンスの最後の
部分であるかどうかを確認して、最後の部分であれば終
了し、そうでなければ集合TxSetの伝送における伝送許
容データ量を計算する第２段階と、続くフレームにより
ｉ番目の映像客体評価グループを構成して、映像客体評
価グループ内の映像客体に優先順位を付与し、TxSetは
空集合、ｊ（ｊは整数）は１、TxSetのデータ量は０と
それぞれ定める第３段階と、前記集合TxSetのデータ量
と伝送順位がｊ番目である映像客体のデータ量との加算
結果と、前記伝送許容データ量とを比較する第４段階
と、前記加算結果が前記伝送許容データ量以下の場合、
伝送順位がｊ番目である映像客体を集合TxSetに追加
し、前記ｊ番目の映像客体が、ｉ番目の映像客体評価グ
ループの最後の構成要素であるかどうかを確認する第５
段階と、前記ｊ番目の映像客体が最後の構成要素でなけ
れば、ｊをｊ＋１と更新した後で前記第４段階に復帰
し、一方、前記ｊ番目の映像客体が最後の構成要素であ
るか、または、前記第４段階で前記加算結果が伝送許容
データ量より大きい場合には、ｉをｉ＋１と更新して前
記第２段階に復帰する第６段階とを含むことを特徴とす
る、内容基板によって分割された映像客体のスケーラブ
ル伝送方法を提供する。
め、本発明は、映像フレームシーケンスを同一背景を有
したサブシーケンスに分ける初期化部、符号化部、多重
化部、多重化された映像客体ビットストリームをスケー
ラブル伝送するスケーラブル伝送部、受信部、分離化
部、復号化部、および、フレーム合成部を備える、スケ
ーラブル伝送システムに適用される、内容基板によって
分割された映像客体のスケーラブル伝送方法において、
伝送される映像客体の集合TxSetを、補償した背景客体
と、初期フレームに属する他の映像客体とで構成し、ｉ
（ｉは整数）を１と定める第１段階と、前記集合TxSet
を伝送し、この集合TxSetが動映像シーケンスの最後の
部分であるかどうかを確認して、最後の部分であれば終
了し、そうでなければ集合TxSetの伝送における伝送許
容データ量を計算する第２段階と、続くフレームにより
ｉ番目の映像客体評価グループを構成して、映像客体評
価グループ内の映像客体に優先順位を付与し、TxSetは
空集合、ｊ（ｊは整数）は１、TxSetのデータ量は０と
それぞれ定める第３段階と、前記集合TxSetのデータ量
と伝送順位がｊ番目である映像客体のデータ量との加算
結果と、前記伝送許容データ量とを比較する第４段階
と、前記加算結果が前記伝送許容データ量以下の場合、
伝送順位がｊ番目である映像客体を集合TxSetに追加
し、前記ｊ番目の映像客体が、ｉ番目の映像客体評価グ
ループの最後の構成要素であるかどうかを確認する第５
段階と、前記ｊ番目の映像客体が最後の構成要素でなけ
れば、ｊをｊ＋１と更新した後で前記第４段階に復帰
し、一方、前記ｊ番目の映像客体が最後の構成要素であ
るか、または、前記第４段階で前記加算結果が伝送許容
データ量より大きい場合には、ｉをｉ＋１と更新して前
記第２段階に復帰する第６段階とを含むことを特徴とす
る、内容基板によって分割された映像客体のスケーラブ
ル伝送方法を提供する。
【００１１】
【発明の実施の形態】以下、添付された図面を参照し
て、本発明の実施形態を詳しく説明する。
て、本発明の実施形態を詳しく説明する。
【００１２】図２は、本発明の実施形態に係る、動画像
データスケーラブル伝送システムの処理構成を示す図で
ある。
データスケーラブル伝送システムの処理構成を示す図で
ある。
【００１３】図示する動画像データスケーラブル伝送シ
ステムは、入力された映像信号のデータを内容基盤によ
り映像客体別のデータに分離する初期化部（２１）と、
映像客体別に符号化を行う符号化部（１２）と、符号化
結果のデータを多重化する多重化部（１３）と、多重化
により得られるビットストリームを伝送するスケーラブ
ル伝送部（２４）と、伝送されたビットストリームを受
信する受信部（１５）と、ビットストリームを映像客体
別のデータに分離する分離部（１６）と、映像客体別に
復号化を行う復号化部（１７）と、復号化結果のデータ
からフレームを構成して、映像信号を出力するフレーム
合成部（１８）とにより構成される。
ステムは、入力された映像信号のデータを内容基盤によ
り映像客体別のデータに分離する初期化部（２１）と、
映像客体別に符号化を行う符号化部（１２）と、符号化
結果のデータを多重化する多重化部（１３）と、多重化
により得られるビットストリームを伝送するスケーラブ
ル伝送部（２４）と、伝送されたビットストリームを受
信する受信部（１５）と、ビットストリームを映像客体
別のデータに分離する分離部（１６）と、映像客体別に
復号化を行う復号化部（１７）と、復号化結果のデータ
からフレームを構成して、映像信号を出力するフレーム
合成部（１８）とにより構成される。
【００１４】なお、初期化部（２１）、符号化部（１
２）、多重化部（１３）、および、ビットストリームを
伝送するスケーラブル伝送部（２４）は、送信側機能を
構成し、１つの端末装置内に組み込むことができる。同
様に、受信部（１５）、分離部（１６）、復号化部（１
７）、および、フレーム合成部（１８）は、受信側機能
を構成する。これら送信側機能と受信側機能の両方を１
つの端末内に実現することも可能である。また、これら
送信側機能および受信側機能は、プロセッサが処理プロ
グラムを実行するとで実現することもできる。
２）、多重化部（１３）、および、ビットストリームを
伝送するスケーラブル伝送部（２４）は、送信側機能を
構成し、１つの端末装置内に組み込むことができる。同
様に、受信部（１５）、分離部（１６）、復号化部（１
７）、および、フレーム合成部（１８）は、受信側機能
を構成する。これら送信側機能と受信側機能の両方を１
つの端末内に実現することも可能である。また、これら
送信側機能および受信側機能は、プロセッサが処理プロ
グラムを実行するとで実現することもできる。
【００１５】この動画像データスケーラブル伝送システ
ムは、初期化部（２１）と、スケーラブル伝送部（２
４）とに重要な特徴があり、他の部分の機能は図１の伝
送システムと基本的に同じである。このため、以下で
は、初期化部（２１）と、スケーラブル伝送部（２４）
とに重点を置いて説明を行う。
ムは、初期化部（２１）と、スケーラブル伝送部（２
４）とに重要な特徴があり、他の部分の機能は図１の伝
送システムと基本的に同じである。このため、以下で
は、初期化部（２１）と、スケーラブル伝送部（２４）
とに重点を置いて説明を行う。
【００１６】初期化部（２１）は、入力された映像フレ
ームシーケンスを同一の背景を有するサブ・シーケンス
に分ける機能と、サブシーケンスの各フレームのデータ
を内容基盤により映像客体（例えば、人Ａ、人Ｂ、背景
Ｃ）別に分割する機能と、分割した各映像客体に優先順
位を定める機能と、背景を表す映像客体のデータを補償
する機能とを有する。
ームシーケンスを同一の背景を有するサブ・シーケンス
に分ける機能と、サブシーケンスの各フレームのデータ
を内容基盤により映像客体（例えば、人Ａ、人Ｂ、背景
Ｃ）別に分割する機能と、分割した各映像客体に優先順
位を定める機能と、背景を表す映像客体のデータを補償
する機能とを有する。
【００１７】初期化部（２１）は、まず、映像フレーム
シーケンスを、同一の背景を共有するサブ・シーケンス
に分け、各フレームのデータを映像客体別に分割する。
分割した各映像客体には、サブ・シーケンス内で他の映
像客体と区別するための識別番号を付与する。これによ
り、例えば、あるフレームに登場する人が識別情報によ
り映像客体Ａとされている場合、その人は、同じサブ・
シーケンス内の他のフレームにおいても映像客体Ａとし
て認識される。
シーケンスを、同一の背景を共有するサブ・シーケンス
に分け、各フレームのデータを映像客体別に分割する。
分割した各映像客体には、サブ・シーケンス内で他の映
像客体と区別するための識別番号を付与する。これによ
り、例えば、あるフレームに登場する人が識別情報によ
り映像客体Ａとされている場合、その人は、同じサブ・
シーケンス内の他のフレームにおいても映像客体Ａとし
て認識される。
【００１８】また、初期化部（２１）は、サブ・シーケ
ンスにおいて、背景を表す映像客体の補償を行う。背景
の映像客体は、その一部が他の映像客体によって遮ら
れ、その部分のデータが欠落したものとなる。背景の補
償では、図３に示すように、サブ・シーケンス内の背景
の映像客体のデータの和集合を演算することで、サブ・
シーケンスの全てを通じて遮られる部分を除く背景全体
のデータを得る。
ンスにおいて、背景を表す映像客体の補償を行う。背景
の映像客体は、その一部が他の映像客体によって遮ら
れ、その部分のデータが欠落したものとなる。背景の補
償では、図３に示すように、サブ・シーケンス内の背景
の映像客体のデータの和集合を演算することで、サブ・
シーケンスの全てを通じて遮られる部分を除く背景全体
のデータを得る。
【００１９】図４は、連続する複数のフレームにおけ
る、映像客体、ＧＯＰ構成、優先順位の一例を示す図で
ある。図の例では、８フレームからなるフレームシーケ
ンスにおいて映像客体Ａ，Ｂ，Ｃ，Ｄにより映像が構成
される。各映像客体の符号化タイプ（Ｉ，Ｐ，Ｂ）の繰
り返し周期は、ＧＯＰ長さ（構成要素数）を示す。ま
た、各映像客体のＧＯＰの長さの最小公倍数分のフレー
ム毎に、そこに属する映像客体の集合（映像客体評価グ
ループ）を構成する。図の例でのＧＯＰの長さは、映像
客体Ａ，Ｂ，Ｃが４、映像客体Ｄが２であるため、映像
客体評価グループを構成するフレーム数は４となる。
る、映像客体、ＧＯＰ構成、優先順位の一例を示す図で
ある。図の例では、８フレームからなるフレームシーケ
ンスにおいて映像客体Ａ，Ｂ，Ｃ，Ｄにより映像が構成
される。各映像客体の符号化タイプ（Ｉ，Ｐ，Ｂ）の繰
り返し周期は、ＧＯＰ長さ（構成要素数）を示す。ま
た、各映像客体のＧＯＰの長さの最小公倍数分のフレー
ム毎に、そこに属する映像客体の集合（映像客体評価グ
ループ）を構成する。図の例でのＧＯＰの長さは、映像
客体Ａ，Ｂ，Ｃが４、映像客体Ｄが２であるため、映像
客体評価グループを構成するフレーム数は４となる。
【００２０】初期化部（２１）は、映像客体評価グルー
プ内の各映像客体に、第１等級、第２等級、・・・とい
うように伝送優先等級（図４の ( )内の数値）を付与す
る。高い伝送優先等級が付与された映像客体ほど、その
データが他の映像客体のデータよりも優先的に伝送され
る。この優先等級は、映像客体の内容、重要度、動きの
特性によって、自動的にあるいは使用者の指定により、
決定される。自動的に決定を行う場合には、例えば、動
きの大きい（速い）映像客体ほど高い優先等級を付与す
るようにする。
プ内の各映像客体に、第１等級、第２等級、・・・とい
うように伝送優先等級（図４の ( )内の数値）を付与す
る。高い伝送優先等級が付与された映像客体ほど、その
データが他の映像客体のデータよりも優先的に伝送され
る。この優先等級は、映像客体の内容、重要度、動きの
特性によって、自動的にあるいは使用者の指定により、
決定される。自動的に決定を行う場合には、例えば、動
きの大きい（速い）映像客体ほど高い優先等級を付与す
るようにする。
【００２１】さらに、初期化部（２１）は、映像客体評
価グループ内の映像客体に、フレーム毎に第１位、第２
位、・・・というように伝送優先順位（図４の○内の数
値）を付与する。優先順位は、符号化タイプにより、Ｉ
タイプ、Ｐタイプ、Ｂタイプの順で高い優先順位が定め
られる。例えば、図４の映像客体評価グループｊの映像
客体Ｂのデータは、伝送優先等級が第３等級であるた
め、第１等級および第２等級の映像客体ＡおよびＣのデ
ータより伝送優先順位が低く、フレーム毎の伝送優先順
位はＩタイプ、Ｂタイプ、Ｐタイプの順で、第９位から
第１２位とされる。
価グループ内の映像客体に、フレーム毎に第１位、第２
位、・・・というように伝送優先順位（図４の○内の数
値）を付与する。優先順位は、符号化タイプにより、Ｉ
タイプ、Ｐタイプ、Ｂタイプの順で高い優先順位が定め
られる。例えば、図４の映像客体評価グループｊの映像
客体Ｂのデータは、伝送優先等級が第３等級であるた
め、第１等級および第２等級の映像客体ＡおよびＣのデ
ータより伝送優先順位が低く、フレーム毎の伝送優先順
位はＩタイプ、Ｂタイプ、Ｐタイプの順で、第９位から
第１２位とされる。
【００２２】多重化部（２４）は、映像客体評価グルー
プについて、個別に符号化された各映像客体のデータ
を、伝送優先等級の高い映像客体の順に並べ、さらに、
各映像客体について、伝送優先順位の高いデータの順に
並べて、多重化する。
プについて、個別に符号化された各映像客体のデータ
を、伝送優先等級の高い映像客体の順に並べ、さらに、
各映像客体について、伝送優先順位の高いデータの順に
並べて、多重化する。
【００２３】スケーラブル伝送部（２４）は、図５に示
すフローに従い、スケーラブル伝送処理を行う。図５に
おいて、TxSetは、伝送する映像客体のデータの集合、T
xSetSizeは、TxSetのデータ量、TxRateは現在の伝送速
度、Object(j)は、伝送優先順位が第ｊ位である映像客
体のデータ、ObjSize(j)は、Object(j)のデータ量、egs
は映像客体評価グループの伝送データ量をそれぞれ示し
ている。
すフローに従い、スケーラブル伝送処理を行う。図５に
おいて、TxSetは、伝送する映像客体のデータの集合、T
xSetSizeは、TxSetのデータ量、TxRateは現在の伝送速
度、Object(j)は、伝送優先順位が第ｊ位である映像客
体のデータ、ObjSize(j)は、Object(j)のデータ量、egs
は映像客体評価グループの伝送データ量をそれぞれ示し
ている。
【００２４】まず、スケーラブル伝送部（２４）は、多
重化部（２４）より取り込んだ、補償した背景客体のデ
ータと、フレーム０に属する映像客体のデータとを、映
像客体データの集合TxSetに設定し、映像客体評価グル
ープを指定する変数ｉに１を設定する（５０１）。そし
て、映像客体データの集合TxSetを伝送網で伝送し（５
０２）、その集合TxSetが映像フレームシーケンスの最
後の部分であるかどうかを判定して（５０３）、最後の
部分である場合にはスケーラブル伝送を終了する。最後
の部分でない場合には、集合TxSetの伝送状態から、現
在の伝送網での伝送速度TxRateを計算する。伝送速度Tx
Rateは、例えば、直前の一定期間において送信したデー
タの量と、その一定期間の比により求めることができ
る。次に、送信側の入力映像と同じフレーム周波数の映
像再生を受信側で行うための、映像客体評価グループｉ
の伝送データ量egsを計算する（５０５）。この伝送デ
ータ量egsは、入力映像のフレーム周波数をfrate、映像
客体評価グループに含まれるフレーム数をnとすると、
次式により計算される。
重化部（２４）より取り込んだ、補償した背景客体のデ
ータと、フレーム０に属する映像客体のデータとを、映
像客体データの集合TxSetに設定し、映像客体評価グル
ープを指定する変数ｉに１を設定する（５０１）。そし
て、映像客体データの集合TxSetを伝送網で伝送し（５
０２）、その集合TxSetが映像フレームシーケンスの最
後の部分であるかどうかを判定して（５０３）、最後の
部分である場合にはスケーラブル伝送を終了する。最後
の部分でない場合には、集合TxSetの伝送状態から、現
在の伝送網での伝送速度TxRateを計算する。伝送速度Tx
Rateは、例えば、直前の一定期間において送信したデー
タの量と、その一定期間の比により求めることができ
る。次に、送信側の入力映像と同じフレーム周波数の映
像再生を受信側で行うための、映像客体評価グループｉ
の伝送データ量egsを計算する（５０５）。この伝送デ
ータ量egsは、入力映像のフレーム周波数をfrate、映像
客体評価グループに含まれるフレーム数をnとすると、
次式により計算される。
【００２５】egs = TxRate / frate × n 次に、ｉ番目の映像客体評価グループを構成し、フレー
ム毎の各映像客体に優先順位を決めて（５０６）、集合
TxSetを空集合とし、優先順位ｊに１、データ量変数TxS
etSizeに０をそれぞれ設定する（５０７）。そして、デ
ータ量変数TxSetSizeと、優先順位ｊの映像客体のデー
タ量ObjSize(j)との和が、伝送データ量egs以下である
かどうかを判定する（５０８）。伝送データ量egs以下
である場合には、集合TxSetに、優先順位ｊの映像客体
のデータObjct(j)を追加して、データ量変数TxSetSize
をデータ量ObjSize(j)だけ増加させる（５０９）。そし
て、映像客体のデータObjct(j)がｉ番目の映像客体評価
グループの最後の要素であるかどうかを判定し（５１
０）、最後の要素でない場合は変数ｊを１増加させ（５
１１）、上記ステップ５０８に処理を戻す。映像客体の
データObjct(j)が最後の要素である場合、または、上記
ステップ５０８でデータ量変数TxSetSizeと映像客体の
データ量ObjSize(j)との和が伝送データ量egsを越えた
場合には、変数ｉを１増加させ（５１２）、集合TxSet
を伝送する上記ステップ５０２に処理を戻す。
ム毎の各映像客体に優先順位を決めて（５０６）、集合
TxSetを空集合とし、優先順位ｊに１、データ量変数TxS
etSizeに０をそれぞれ設定する（５０７）。そして、デ
ータ量変数TxSetSizeと、優先順位ｊの映像客体のデー
タ量ObjSize(j)との和が、伝送データ量egs以下である
かどうかを判定する（５０８）。伝送データ量egs以下
である場合には、集合TxSetに、優先順位ｊの映像客体
のデータObjct(j)を追加して、データ量変数TxSetSize
をデータ量ObjSize(j)だけ増加させる（５０９）。そし
て、映像客体のデータObjct(j)がｉ番目の映像客体評価
グループの最後の要素であるかどうかを判定し（５１
０）、最後の要素でない場合は変数ｊを１増加させ（５
１１）、上記ステップ５０８に処理を戻す。映像客体の
データObjct(j)が最後の要素である場合、または、上記
ステップ５０８でデータ量変数TxSetSizeと映像客体の
データ量ObjSize(j)との和が伝送データ量egsを越えた
場合には、変数ｉを１増加させ（５１２）、集合TxSet
を伝送する上記ステップ５０２に処理を戻す。
【００２６】以上のようにして、本実施形態の伝送シス
テムでは、伝送網での伝送速度が変化する場合にも、送
信側の入力映像と同じフレーム周波数の動画像データを
受信側に伝送することができる。このため、受信側で
は、送信側の入力映像と同じフレーム周波数および画面
サイズで動画像を再生することができる。また、映像客
体のデータに優先順位を付与し、その優先順位によって
選択的に映像客体のデータを伝送するため、場面の重要
情報が優先的に伝送される。このため、この伝送システ
ムによれば、伝送網での動画像データの伝送速度が変化
する場合にも、良好な映像再生を行うことができる。
テムでは、伝送網での伝送速度が変化する場合にも、送
信側の入力映像と同じフレーム周波数の動画像データを
受信側に伝送することができる。このため、受信側で
は、送信側の入力映像と同じフレーム周波数および画面
サイズで動画像を再生することができる。また、映像客
体のデータに優先順位を付与し、その優先順位によって
選択的に映像客体のデータを伝送するため、場面の重要
情報が優先的に伝送される。このため、この伝送システ
ムによれば、伝送網での動画像データの伝送速度が変化
する場合にも、良好な映像再生を行うことができる。
【００２７】なお、本発明は、以上で説明した実施形態
には限定されない。以上の実施形態の構成および処理手
順は、本発明の技術思想を外れない範囲で置き換え、変
形および変更が可能である。
には限定されない。以上の実施形態の構成および処理手
順は、本発明の技術思想を外れない範囲で置き換え、変
形および変更が可能である。
【００２８】
【発明の効果】以上で説明したように、本発明によれ
は、映像情報を伝送する伝送網の伝送速度の変動による
再生映像の劣化を低減する伝送方法を提供することがで
きる。
は、映像情報を伝送する伝送網の伝送速度の変動による
再生映像の劣化を低減する伝送方法を提供することがで
きる。
【図１】 従来の動画像伝送システムの処理構成を示す
図である。
図である。
【図２】 本発明が適用された動画像スケーラブル伝送
システムの処理構成を示す図である。
システムの処理構成を示す図である。
【図３】 背景補償方法の説明図である。
【図４】 映像客体、ＧＯＰ構成、伝送優先順位の設定
例を示す図である。
例を示す図である。
【図５】 スケーラブル伝送の手順を示すフローチャー
トである。
トである。
２１：初期化部 １２：符号化部 １３：多重化部 ２４：スケーラブル伝送部 １５：受信部 １６：分離部 １７：復号化部 １８：フレーム合成部 TxSet ： 伝送する映像客体のデータの集合 TxSetSize ： TxSetのデータ量 TxRate ： 現在の伝送速度 Object(j) ： 伝送優先順位が第ｊ位である映像客体の
データ ObjSize(j) ： Object(j)のデータ量 egs ： 映像客体評価グループの伝送データ量
データ ObjSize(j) ： Object(j)のデータ量 egs ： 映像客体評価グループの伝送データ量
Claims (4)
- 【請求項１】映像フレームシーケンスを同一背景を有し
たサブシーケンスに分ける初期化部、符号化部、多重化
部、多重化された映像客体ビットストリームをスケーラ
ブル伝送するスケーラブル伝送部、受信部、分離化部、
復号化部、および、フレーム合成部を備える、スケーラ
ブル伝送システムに適用される、内容基板によって分割
された映像客体のスケーラブル伝送方法において、 伝送される映像客体の集合TxSetを、補償した背景客体
と、初期フレームに属する他の映像客体とで構成し、ｉ
（ｉは整数）を１と定める第１段階と、 前記集合TxSetを伝送し、この集合TxSetが動映像シーケ
ンスの最後の部分であるかどうかを確認して、最後の部
分であれば終了し、そうでなければ集合TxSetの伝送に
おける伝送許容データ量を計算する第２段階と、 続くフレームによりｉ番目の映像客体評価グループを構
成して、映像客体評価グループ内の映像客体に優先順位
を付与し、TxSetは空集合、ｊ（ｊは整数）は１、TxSet
のデータ量は０とそれぞれ定める第３段階と、 前記集合TxSetのデータ量と伝送順位がｊ番目である映
像客体のデータ量との加算結果と、前記伝送許容データ
量とを比較する第４段階と、 前記加算結果が前記伝送許容データ量以下の場合、伝送
順位がｊ番目である映像客体を集合TxSetに追加し、前
記ｊ番目の映像客体が、ｉ番目の映像客体評価グループ
の最後の構成要素であるかどうかを確認する第５段階
と、 前記ｊ番目の映像客体が最後の構成要素でなければ、ｊ
をｊ＋１と更新した後で前記第４段階に復帰し、一方、
前記ｊ番目の映像客体が最後の構成要素であるか、また
は、前記第４段階で前記加算結果が伝送許容データ量よ
り大きい場合には、ｉをｉ＋１と更新して前記第２段階
に復帰する第６段階とを含むことを特徴とする、内容基
板によって分割された映像客体のスケーラブル伝送方
法。 - 【請求項２】映像フレームシーケンスの映像情報を符号
化して伝送網を介して伝送する送信段階と、該伝送情報
を受信して、前記映像フレームシーケンスと同内容の映
像情報を再生する受信段階とを有する伝送方法におい
て、 前記送信段階は、 前記映像フレームシーケンスを同一の背景を共有するサ
ブシーケンスに分割し、該サブシーケンスの映像情報を
映像客体別に分割して、他の映像客体により遮られる部
分を補間することで背景の映像客体の映像情報を補償す
る段階と、 各映像客体の映像情報を映像客体別に符号化する段階
と、 前記映像フレームシーケンスを伝送グループに分割し、
該伝送グループに含まれる映像客体別の映像情報に伝送
優先順位を付与する段階と、 前記伝送グループの情報を優先順位の高い映像客体の情
報の順に多重化する段階と、 現時点における前記伝送網の伝送速度を求める段階と、 受信側でフレーム周波数の変更なしに前記伝送グループ
の映像情報を再生するための該伝送グループの許容デー
タ量を、前記伝送速度を基に求める段階と、 求めた許容データ量の範囲で、前記伝送グループの優先
順位の高い映像客体の情報の順に送信を行う段階とを有
することを特徴とする内容基盤に依って分割された映像
客体のスケーラブル伝送方法。 - 【請求項３】映像フレームシーケンスの映像情報を符号
化して送信する送信機能を有するスケーラブル伝送端末
において、 前記送信情報を受信して、前記映像フレームシーケンス
と同内容の映像情報を再生する端末に、伝送網を介して
接続され、 前記映像フレームシーケンスを同一の背景を共有するサ
ブシーケンスに分割し、該サブシーケンスの映像情報を
映像客体別に分割して、他の映像客体により遮られる部
分を補間することで背景の映像客体の映像情報を補償す
る手段と、 各映像客体の映像情報を映像客体別に符号化する手段
と、 前記映像フレームシーケンスを伝送グループに分割し、
該伝送グループに含まれる映像客体別の映像情報に伝送
優先順位を付与する手段と、 前記伝送グループの情報を優先順位の高い映像客体の情
報の順に多重化する手段と、 現時点における前記伝送網の伝送速度を求める手段と、 受信側でフレーム周波数の変更なしに前記伝送グループ
の映像情報を再生するための該伝送グループの許容デー
タ量を、前記伝送速度を基に求める手段と、 求めた許容データ量の範囲で、前記伝送グループの優先
順位の高い映像客体の情報の順に送信を行う手段とを有
することを特徴とするスケーラブル伝送端末。 - 【請求項４】映像フレームシーケンスの映像情報を符号
化して送信する送信機能を有するスケーラブル伝送端末
に、処理プログラムを提供する記憶媒体において、 前記処理プログラムの実施する処理には、 前記映像フレームシーケンスを同一の背景を共有するサ
ブシーケンスに分割し、該サブシーケンスの映像情報を
映像客体別に分割して、他の映像客体により遮られる部
分を補間することで背景の映像客体の映像情報を補償す
る処理と、 各映像客体の映像情報を映像客体別に符号化する処理
と、 前記映像フレームシーケンスを伝送グループに分割し、
該伝送グループに含まれる映像客体別の映像情報に伝送
優先順位を付与する処理と、 前記伝送グループの情報を優先順位の高い映像客体の情
報の順に多重化する処理と、 現時点における前記伝送網の伝送速度を求める処理と、 受信側でフレーム周波数の変更なしに前記伝送グループ
の映像情報を再生するための該伝送グループの許容デー
タ量を、前記伝送速度を基に求める処理と、 求めた許容データ量の範囲で、前記伝送グループの優先
順位の高い映像客体の情報の順に送信を行う処理とが含
まれることを特徴とする記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960049300A KR100211055B1 (ko) | 1996-10-28 | 1996-10-28 | 내용기반으로 분할된 영상객체들의 스케러블 전송방법 |
| KR96-49300 | 1996-10-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10136383A true JPH10136383A (ja) | 1998-05-22 |
Family
ID=19479357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21471797A Pending JPH10136383A (ja) | 1996-10-28 | 1997-08-08 | 内容基盤によって分割された映像客体のスケーラブル伝送方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6025877A (ja) |
| JP (1) | JPH10136383A (ja) |
| KR (1) | KR100211055B1 (ja) |
| GB (1) | GB2318698B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100459376B1 (ko) * | 2001-12-14 | 2004-12-03 | 박유상 | 영상 객체 합성기 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5898833A (en) * | 1996-12-31 | 1999-04-27 | Intel Corporation | Method and apparatus for increasing the effective bandwidth of video sequences transmitted over a network by using cached data |
| US7630570B1 (en) * | 1998-05-06 | 2009-12-08 | At&T Intellectual Property Ii, L.P. | Method and apparatus to prioritize video information during coding and decoding |
| US6876991B1 (en) | 1999-11-08 | 2005-04-05 | Collaborative Decision Platforms, Llc. | System, method and computer program product for a collaborative decision platform |
| US8564661B2 (en) * | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US20050162515A1 (en) * | 2000-10-24 | 2005-07-28 | Objectvideo, Inc. | Video surveillance system |
| US9892606B2 (en) * | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US8711217B2 (en) * | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US7868912B2 (en) * | 2000-10-24 | 2011-01-11 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US20050146605A1 (en) * | 2000-10-24 | 2005-07-07 | Lipton Alan J. | Video surveillance system employing video primitives |
| JP3852752B2 (ja) * | 2001-11-16 | 2006-12-06 | パイオニア株式会社 | 通信情報の帯域幅制御装置および方法 |
| KR100657314B1 (ko) * | 2005-05-04 | 2006-12-20 | 삼성전자주식회사 | 멀티미디어 스트리밍 송신 장치 및 방법 |
| US8026945B2 (en) | 2005-07-22 | 2011-09-27 | Cernium Corporation | Directed attention digital video recordation |
| EP3041195A1 (en) * | 2007-01-12 | 2016-07-06 | University-Industry Cooperation Group Of Kyung Hee University | Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format |
| CN101035279B (zh) * | 2007-05-08 | 2010-12-15 | 孟智平 | 一种在视频资源中使用信息集的方法 |
| WO2010057170A1 (en) * | 2008-11-17 | 2010-05-20 | Cernium Corporation | Analytics-modulated coding of surveillance video |
| KR101516996B1 (ko) | 2013-10-18 | 2015-05-04 | 주식회사 엘지유플러스 | 단말기에서 디스플레이장치로 영상데이터를 송신하는 영상송신방법 및 상기 영상송신방법에 의해 송신된 영상데이터를 수신 및 재생하는 영상수신 및 재생방법 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5754766A (en) * | 1991-04-17 | 1998-05-19 | Shaw; Venson M. | Integrated circuit system for direct document execution |
| JP2530090B2 (ja) * | 1992-02-28 | 1996-09-04 | 三星電子株式会社 | 映像信号符号化装置 |
| JP2778412B2 (ja) * | 1993-05-20 | 1998-07-23 | 国際電信電話株式会社 | 動き補償フレーム間コンポジットｔｖ信号直接符号化装置 |
| DE4405803C2 (de) * | 1994-02-23 | 1997-04-30 | Bosch Gmbh Robert | Verfahren zur Quellcodierung |
| CA2145914A1 (en) * | 1994-05-27 | 1995-11-28 | Alexandros Eleftheriadis | Model-assisted coding of video sequences at low bit rates |
| KR0159575B1 (ko) * | 1994-10-31 | 1999-01-15 | 배순훈 | 영역 분할 부호화 방식의 인접 영역간 불연속 처리 장치 |
| US5629736A (en) * | 1994-11-01 | 1997-05-13 | Lucent Technologies Inc. | Coded domain picture composition for multimedia communications systems |
| US5687095A (en) * | 1994-11-01 | 1997-11-11 | Lucent Technologies Inc. | Video transmission rate matching for multimedia communication systems |
| US5623312A (en) * | 1994-12-22 | 1997-04-22 | Lucent Technologies Inc. | Compressed-domain bit rate reduction system |
| US5786855A (en) * | 1995-10-26 | 1998-07-28 | Lucent Technologies Inc. | Method and apparatus for coding segmented regions in video sequences for content-based scalability |
| US5745178A (en) * | 1996-01-22 | 1998-04-28 | Lucent Technologies Inc. | Global rate control for model-assisted coding of low bit rate video |
-
1996
- 1996-10-28 KR KR1019960049300A patent/KR100211055B1/ko not_active IP Right Cessation
-
1997
- 1997-08-08 JP JP21471797A patent/JPH10136383A/ja active Pending
- 1997-08-11 GB GB9716874A patent/GB2318698B/en not_active Expired - Fee Related
- 1997-10-28 US US08/959,084 patent/US6025877A/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100459376B1 (ko) * | 2001-12-14 | 2004-12-03 | 박유상 | 영상 객체 합성기 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2318698A (en) | 1998-04-29 |
| KR19980029966A (ko) | 1998-07-25 |
| GB9716874D0 (en) | 1997-10-15 |
| KR100211055B1 (ko) | 1999-07-15 |
| GB2318698B (en) | 2000-07-05 |
| US6025877A (en) | 2000-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5684527A (en) | Adaptively controlled multipoint videoconferencing system | |
| JPH10136383A (ja) | 内容基盤によって分割された映像客体のスケーラブル伝送方法 | |
| US5260783A (en) | Layered DCT video coder for packet switched ATM networks | |
| US5764277A (en) | Group-of-block based video signal combining for multipoint continuous presence video conferencing | |
| KR100881531B1 (ko) | 비디오스트림 스위칭을 위한 멀티미디어 서버 구동 방법 | |
| EP0601766B1 (en) | Audiovisual communication system using variable length packets | |
| US5969765A (en) | Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus | |
| KR100311943B1 (ko) | 변경 압축 영역 비디오 합성시스템과 중앙속도 제어처리기 | |
| US5623312A (en) | Compressed-domain bit rate reduction system | |
| US5227875A (en) | System for transmitting encoded image data with quick image expansion and contraction | |
| US6058122A (en) | Device for splitting a screen in MPEG image signals at a completely compressed domain and the method thereof | |
| EP1906670B1 (en) | Receiving apparatus and method with storage of the high resolution versions of video objects | |
| EP1142327B1 (en) | Increased video playback framerate in video applications | |
| US5737023A (en) | Hierarchical motion estimation for interlaced video | |
| US6603501B1 (en) | Videoconferencing using distributed processing | |
| US6504850B1 (en) | Encoded signal transmission method and encoded signal transmission apparatus | |
| JPH11313301A (ja) | 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置 | |
| Huang | Modeling and analysis for packet video | |
| JP3586484B2 (ja) | 多地点会議用画面合成システムおよび方法 | |
| JP2002290973A (ja) | マルチメディア通信装置 | |
| Sun et al. | A coded-domain video combiner for multipoint continuous presence video conferencing | |
| Pereira et al. | Very low bit-rate audio-visual applications | |
| JP2001145103A (ja) | 送信装置及び通信システム | |
| KR100275930B1 (ko) | 화상회의 시스템에서 복수의 픽쳐를 하나의 화면에 표시하기 위한 화면 형성방법 | |
| JP3028828B2 (ja) | 多地点間動画像伝送システムにおける動画像符号化装置及び多地点間接続装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040806 |
|
| RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20040806 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040809 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041118 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20041118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080408 |