JP4463170B2 - 映像信号伝送方法および装置 - Google Patents

Description

本発明は映像伝送に関し、特に、基本階層と向上階層からなるＭＰＥＧ４タイプの映像を伝送するための映像伝送装置および方法に関するものである。

ＭＰＥＧ−４標準ではスケーラビリティという重要な機能が提供される。“階層符号化”としても知られている伸縮的な符号化(scalable coding)は、伸縮的な復号化動作を可能にする方式の符号化の表現を生成できるようにする。スケーラビリティは、復号化するビットストリームの比率に符合する解像度及び/又は画質の映像を生成するのに適したサブセットのデータを復号化できるようにする。
このような機能は、多様な解像度及び/又は画質で同時に利用可能な映像シーケンスを必要とする様々なアプリケーションで有用である。実際に、ビットストリームが伸縮的である場合、ユーザーはビットストリームのうち一部だけにアクセスして、前記ユーザーの復号器、またはディスプレイ、つまり利用可能な帯域幅に符合する基本映像を提供できる一方、他のユーザーは全体のビットストリームを用いてさらに優れた画質を再生することができる。

スケーラビリティは、時間スケーラビリティ、ＳＮＲ(Signal to Noise Ratio)スケーラビリティ、および空間スケーラビリティの３つのタイプで分類される。各タイプのスケーラビリティは一つ以上の階層を含む。各タイプのスケーラビリティにおいて、下部階層と上部階層とで構成される少なくとも２つの階層が考慮される。

下部階層は基本階層とも称され、所定のフレームレートで符号化される。上部階層は向上階層とも称され（高いフレームレートを有するビデオ信号を形成するために）、基本階層で抜けた情報を提供して、ディスプレイの側面でさらに高い解像度を提供するように符号化される。復号器は、ビデオストリームを復号化するに必要な最小限のデータに当たる基本階層のみを復号化することもでき、さらに高い解像度が必要な場合、基本階層及び向上階層を共に復号化することもできる。

上述したように、スケーラビリティは一つの送信映像について復号器と伝送ネットワークの状態によって伸縮的な画質を提供することができる。しかし、スケーラビリティは、実際のネットワークを介して映像を伝送する場合、これを支援するためのシステムの実現が難しい。

本発明は上記のような問題点を解決するためのもので、スケーラビリティを有する映像の実際のネットワークを介した伝送を支援することのできるシステムを提案することに目的がある。

上記目的を達成するために、本発明の一実施例によれば、映像信号を２以上の階層信号に符号化して伝送する映像伝送装置において、前記映像信号を第１ストリームに符号化する第１符号化器;前記映像信号を第２ストリームに符号化する第２符号化器;前記第１ストリームと前記第２ストリームを一つのストリームに多重化する階層統合多重化器;前記多重化した一つのストリームが一つの実時間伝送プロトコルヘッダーを有するようにパケット化するＲＴＰパケット化装置を含んでなる映像伝送装置が提供される。

また、本発明の他の実施例によれば、映像信号を２以上の階層信号に符号化して伝送する映像伝送方法において、入力された前記映像信号を第１ストリームに符号化する段階；前記入力された前記映像信号を第２ストリームに符号化する段階；前記第１ストリームと前記第２ストリームを一つのストリームに多重化する段階；前記多重化した一つのストリームが一つの実時間伝送プロトコル（ＲＴＰ）ヘッダーを有するようにパケット化する段階を備えてなる映像伝送方法が提供される。

上記目的を達成するために、本発明は、例えば、以下の手段を提供する。
（項目１）
映像信号を２以上の階層信号に符号化して伝送する映像伝送装置において、
前記映像信号を第１ストリームに符号化する第１符号化器;
前記映像信号を第２ストリームに符号化する第２符号化器;
前記第１ストリームと前記第２ストリームを一つのストリームに多重化する階層統合多重化器;
前記多重化した一つのストリームが一つの実時間伝送プロトコル（ＲＴＰ; Real-time Transport Protocol）ヘッダーを有するようにパケット化するＲＴＰパケット化装置を含んでなる映像伝送装置。
（項目２）
前記第１ストリーム及び第２ストリームのうち何れか一方は基本階層ストリームで、他方は向上階層ストリームであることを特徴とする項目１に記載の映像伝送装置。
（項目３）
前記パケット化手段は、基本階層パケットと向上階層パケットを構成するマクロブロックの位置が同一であるようにパケット化することを特徴とする項目２に記載の映像伝送装置。
（項目４）
映像信号を２以上の階層信号に符号化して伝送する映像伝送方法において、
ａ）前記映像信号を第１ストリームに符号化する段階；
ｂ）前記映像信号を第２ストリームに符号化する段階；
ｃ）前記第１ストリームと前記第２ストリームを一つのストリームに多重化する段階；
ｄ）前記多重化した一つのストリームが一つの実時間伝送プロトコル（ＲＴＰ）ヘッダーを有するようにパケット化する段階；
を備えてなる映像伝送方法。
（項目５）
前記第１ストリーム及び第２ストリームのうち何れか一方は基本階層ストリームで、他方は向上階層ストリームであることを特徴とする項目４に記載の映像伝送方法。
（項目６）
前記パケット化手段は、基本階層パケットと向上階層パケットを構成するマクロブロックの位置が同一であるようにパケット化することを特徴とする項目５に記載の映像伝送方法。

本発明によれば、スケーラビリティを用いて、一つの送信映像に対して復号器と伝送ネットワークの状態によって伸縮的な画質を提供できるシステムをさらに容易に実現することができる。

以下、本発明に係る映像信号伝送方法および装置の好適な実施例について、添付の図面に基づいて詳細に説明する。

まず、図１及び図２を参照して、本発明に係る第１実施例について説明する。

図１に示したように、伝送する映像信号が基本階層符号化器１００Ａ及び向上階層符号化器１００Ｂにそれぞれ入力される。すると、前記基本階層符号化器１００Ａ及び前記向上階層符号化器１００Ｂはそれぞれ基本階層ビットストリーム及び向上階層ビットストリームを出力する。

前記基本階層符号化器１００Ａ及び前記向上階層符号化器１００Ｂは、図２に示したように、両符号化器が並列的に連結され構成され、基本階層ビットストリーム及び向上階層ビットストリームをそれぞれ生成して出力する。

前記出力された基本階層ビットストリーム及び向上階層ビットストリームは、有無線ネットワークを介して伝送されるために、ＴＣＰ(Transmission Control Protocol)又はＵＤＰ(User Datagram Protocol)ソケットを開かなければならず、ＲＴＰ（Real-Time Transport Protocol及びＲＴＣＰ(ＲＴＰ control Protocol)セッションの個数も２つが必要となる。

これに対し、再び図１を参照すると、前記基本階層符号化器１００Ａ及び前記向上階層符号化器１００Ｂから出力される基本階層ビットストリーム及び向上階層ビットストリームは、それぞれＲＴＰ/ＲＴＣＰセッションのためにＲＴＰパケット化ディバイス３００Ａ及び３００Ｂに入力された後、ＲＴＰパケット化が行われ、これによってそれぞれのストリームにＲＴＰヘッダーが付加されているのが分かる。

このようにＲＴＰパケット化された基本階層パケット３５０Ａ、及び向上階層パケット３５０Ｂは、以後に必要なプロセッシングを経てユーザーの映像受信装置に送信される。

かかる本発明の第１実施例に係るＭＰＥＧ−４シンテックス(syntex)を表で示すと次の通りである。

表１

以下では図３を参照して本発明に係る第２実施例について説明する。

図３に示したように、伝送する映像信号が基本階層符号化器１００Ａ及び向上階層符号化器１００Ｂにそれぞれ入力される。すると、前記基本階層符号化器１００Ａ及び前記向上階層符号化器１００Ｂは、基本階層ビットストリーム及び向上階層ビットストリームをそれぞれ出力する。

前記出力された基本階層ビットストリーム及び向上階層ビットストリームは、共に階層統合多重化器２００に入力され、一つのストリームに統合される。そして、前記統合されたストリームはＲＴＰパケット化ディバイス３００に入力された後、ＲＴＰパケット化が行われ、前記パケット化されたストリームにＲＴＰヘッダーが付加される。

このようにＲＴＰパケット化された統合型ストリーム３５０は、以後に必要なプロセッシングを経てユーザーの映像受信装置に送信される。

かかる本発明の第２実施例によるＭＰＥＧ−４シンテックスを表で示すと次の通りである。

表２

表２はＲＴＰに載せられるＭＰＥＧ−４ビデオパケットの生成と関連したビデオオブジェクトプレーンのシンテクシス構造を示す。本発明の第２実施例のシンテクシス構造では、第１実施例と比較して、基本階層のビデオパケットに向上階層のビデオ情報を統合してパケット化するために、向上階層情報の挿入と関連したフィールドが追加される。即ち、ＲＴＰに載せられるＭＰＥＧ−４ビデオ情報はパケットレベルの情報なので、表２に示したようなパケットレベルでの向上階層情報の挿入が必要となる。

これについて具体的に説明すると、“enhancement_data_start_code”が挿入された後、向上階層情報が含まれる。この際、基本階層のパケットに挿入される向上情報は、前記基本階層に含まれているマクロブロックと同一の位置のマクロブロックに関する情報を有する。これは基本階層パケットと、向上階層パケットを構成するマクロブロックの位置が全て同一であるという意味である。

第２実施例を第１実施例と比較すると、第１実施例の映像伝送装置では、基本階層及び向上階層のそれぞれのストリーム別にＲＴＰパケット化を行い、ＲＴＰヘッダーが付加された。

しかし、第２実施例の映像伝送装置では、統合された一つのストリームに対してのみＲＴＰパケット化を行い、ＲＴＰヘッダーが付加されるので、第１実施例の映像伝送装置に比べてシステムが簡単になる一方、ＲＴＰヘッダーによって発生するネットワークのオーバーヘッドトラフィックが５０％程度減少し、これによって有効帯域幅もその分増加する。

また、同一のマクロブロックに対する基本階層情報と向上階層情報とが一つのＲＴＰパケットにまとまれ伝送されるため、基本階層と向上階層の間の同期化問題が自然に解決される。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。

スケーラビリティを有する映像の実際のネットワークを介した伝送を支援することのできるシステムを提案する。

映像信号を２以上の階層信号に符号化して伝送する映像伝送装置において、前記映像信号を第１ストリームに符号化する第１符号化器;前記映像信号を第２ストリームに符号化する第２符号化器;前記第１ストリームと前記第２ストリームを一つのストリームに多重化する階層統合多重化器;前記多重化した一つのストリームが一つの実時間伝送プロトコルヘッダーを有するようにパケット化するＲＴＰパケット化装置を含んでなる映像伝送装置が提供される。

本発明の第１実施例に係る映像伝送装置の構造を示すブロック図である。 信号対雑音比スケーラビリティの場合における基本階層符号化器、及び向上階層符号化器をより詳細に示すブロック図である。 本発明の第２実施例に係る映像伝送装置の構造を示すブロック図である。

Claims (5)

1. 符号化された映像信号を伝送する映像伝送装置であって、
   該装置は、
   映像信号を符号化して、複数の基本階層パケットを含む基本階層ストリームを生成する基本階層符号化器（１００Ａ）であって、該複数の基本階層パケットの各々は、該符号化された映像信号のマクロブロックのセットに関連する、基本階層符号化器（１００Ａ）と、
   該映像信号を符号化して、複数の向上階層パケットを含む向上階層ストリームを生成する向上階層符号化器（１００Ｂ）と、
   該複数の基本階層パケットの各々に、向上データ開始符号および選択されたマクロブロックに対する向上階層情報を挿入することにより、該基本階層ストリームおよび該向上階層ストリームを単一の統合されたストリームへと統合する階層統合多重化器（２００）であって、該向上データ開始符号は、該向上階層情報の挿入の開始位置を示し、該複数の基本階層パケットの各々に対する該選択されたマクロブロックは、該複数の基本階層パケットのうちのそれぞれに関連したマクロブロックの同一のセットである、階層統合多重化器（２００）と、
   実時間伝送プロトコル（ＲＴＰ）に従って該統合されたストリームをパケット化する実時間伝送プロトコル（ＲＴＰ）パケット化器（３００）と
   を備え、
   該単一の統合されたストリームに対して該ＲＴＰパケット化が実行されて、ＲＴＰヘッダーを該単一の統合されたストリームに付加し、
   該パケット化器は、基本階層パケットを構成するマクロブロックの位置が向上階層パケットを構成するマクロブロックの位置と同一であるように、パケット化を実行する、映像伝送装置。
2. 前記映像信号は、ＭＰＥＧ４の映像信号である、請求項１に記載の映像伝送装置。
3. 符号化された映像信号を伝送する方法であって、
   該方法は、
   映像信号を符号化して、複数の基本階層パケットを含む基本階層ストリームを生成するステップであって、該複数の基本階層パケットの各々は、該符号化された映像信号のマクロブロックのセットに関連する、ステップと、
   該映像信号を符号化して、複数の向上階層パケットを含む向上階層ストリームを生成するステップと、
   該複数の基本階層パケットの各々に、向上データ開始符号および選択されたマクロブロックに対する向上階層情報を挿入することにより、該基本階層ストリームおよび該向上階層ストリームを単一の統合されたストリームへと統合するステップであって、該向上データ開始符号は、該向上階層情報の挿入の開始位置を示し、該複数の基本階層パケットの各々に対する該選択されたマクロブロックは、該複数の基本階層パケットのうちのそれぞれに関連したマクロブロックの同一のセットである、ステップと、
   実時間伝送プロトコル（ＲＴＰ）に従って該統合されたストリームをパケット化するステップと
   を含み、
   該パケット化するステップにおいて、該単一の統合されたストリームに対して該ＲＴＰパケット化が実行されて、ＲＴＰヘッダーを該単一の統合されたストリームに付加し、
   該パケット化するステップにおいて、基本階層パケットを構成するマクロブロックの位置が向上階層パケットを構成するマクロブロックの位置と同一であるように、該ＲＴＰパケット化が実行される、方法。
4. 前記映像信号は、ＭＰＥＧ４の映像信号である、請求項３に記載の方法。
5. 前記ＲＴＰパケット化されたストリームを映像受信装置に伝送することをさらに含む、請求項３または請求項４に記載の方法。

Images