JP4947049B2 - 符号化ストリーム送信装置 - Google Patents

Description

本発明は、符号化ストリームをパケットで送信する符号化ストリーム送信装置に関する。

符号化された動画像データ（符号化ストリーム）を、ＩＰネットワークなどの通信ネットワークを経由してパケットで伝送する通信システムが普及しつつある。符号化ストリームなどのマルチメディアデータをパケットで伝送する場合の通信プロトコルとして、ＲＴＰ（Real-time Transport Protocol）がある。ＲＴＰは、例えば、ＩＰ（Internet Protocol）層の上位層の通信プロトコルであるＵＤＰ（User Datagram protocol）のさらに上位層の通信プロトコルとして使用される。

ＲＴＰにおけるパケット（ＲＴＰパケット）は、例えば図１に示すように、ＲＴＰヘッダ部とＲＴＰペイロード部とで構成される（例えば、特許文献１参照。）。ＲＴＰヘッダ部は、タイムスタンプおよびマーカビット（Ｍ）を含む。

タイムスタンプは、パケット（具体的には、最初のオクテット）が送信される時刻を示す。パケットの受信側において、タイムスタンプは、パケットの再生をスケジュールするために使用される。

マーカビットは、符号化ストリーム内の重要なイベント（例えば、符号化ストリームの最後のパケットおよびフレームの区切り）を示す。パケットの受信側において、マーカビットは、符号化ストリーム内の重要なイベントを判別するために使用される。

タイムスタンプおよびマーカビットのそれぞれのパラメータ（時刻およびイベントを示す値）は、符号化ストリームから算出される。

なお、符号化ストリームの符号化情報（例えば、時間解像度）を送信する方式には、符号化情報を符号化ストリームに含めて送信する方式と、符号化情報を符号化ストリームとは別に送信する方式とがある。これらの方式は、例えば、特許文献２に記載されている。ここで、符号化ストリームの符号化情報は、例えば、時間解像度であり、符号化ストリームの符号化に関する情報である。
特開２００５−３２８１３１号公報（段落００１１、図２） 特開２００６−１３５８３号公報（段落０００７、図２）

伝送路を介して符号化ストリームを受信し、受信した符号化ストリームをパケット化してパケット通信網に送出する符号化ストリーム送信装置がある。このような符号化ストリーム送信装置において、上記のようにタイムスタンプおよびマーカビットのパラメータを符号化ストリームから算出する場合がある。

この場合、伝送路においてビット誤りが生じた符号化ストリームが受信されたり、伝送路においてデータの欠落（データロス）が生じたりすると、パケットに、正当なタイムスタンプを設定できないという課題がある。また、伝送路においてビット誤りが生じた符号化ストリームが受信されたり、伝送路においてデータロスが生じたりすると、パケットに、正当なマーカビットを設定できないという課題がある。

本発明は、上記の課題を解決するための発明であって、パケットに設定されるタイムスタンプ等の時刻情報と、マーカビット等のフレームの区切りを示す情報との少なくともどちらか一方の確度を改善することが可能な符号化ストリーム送信装置を提供することを目的とする。

上記目的を達成するために、本発明の符号化ストリーム送信装置は、符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、前記符号化ストリームを受信する符号化ストリーム受信部と、前記符号化ストリームの符号化情報を受信する制御情報受信部と、前記制御情報受信部が受信した符号化情報と、前記符号化ストリーム受信部が受信した符号化ストリームとを使用して時間増加分を算出し、前回算出した時刻情報の値に前記時間増加分を加えることにより時刻情報の値を算出し、前記算出した時刻情報の値に基づき、前記算出した時刻情報の値を出力するか、あるいは前記算出した時刻情報に所定の値を加えて算出した時刻情報の値を出力する時刻情報算出部と、前記時刻情報算出部が出力した時刻情報をヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケット化部と、を含む。

上記の発明によれば、時刻情報の値が正当でない場合、その値が補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、パケットに、正当な時刻情報を設定することが可能になる。したがって、パケットに設定される時刻情報の確度を改善することが可能になる。

また、前記符号化ストリーム受信部は、ＭＰＥＧ−４方式の符号化ストリームを受信し、前記時刻情報算出部は、前記符号化ストリーム受信部が受信した符号化ストリームに含まれるmodulo_time_baseとvop_time_incrementとのうちの少なくともどちらか一方を使用して前記時刻情報を算出することが望ましい。

また、前記制御情報受信部は、前記符号化情報としてＭＰＥＧ−４方式のＤＣＩを受信し、前記ＤＣＩからvop_time_increment_resolutionを抽出し、前記時刻情報算出部は、前記制御情報受信部が抽出した前記vop_time_increment_resolutionと、前記符号化ストリーム受信部が受信した符号化ストリームとを使用して前記時刻情報を算出することが望ましい。

また、前記制御情報受信部は、前記符号化情報としてＩＥＴＦ勧告ＲＦＣ２３２７（ＳＤＣ）による符号化情報を受信することが望ましい。

また、前記制御情報受信部は、前記符号化情報としてＩＴＵ−Ｔ勧告Ｈ．２４５による符号化情報を受信することが望ましい。

また、前記制御情報受信部は、前記符号化情報としてＭＰＥＧ−４方式のＤＣＩを受信することが望ましい。

本発明によれば、パケットに設定される時刻情報と、フレームの区切りを示す情報との少なくともどちらか一方の確度を改善することが可能になる。

図１はＲＴＰパケットの構成の一例を示す説明図である。 図２は本発明による符号化ストリーム送信装置としてのパケット送信装置を含む通信システムの一例を示したシステム構成図である。 図３は第１の実施の形態のパケット送信装置の構成例を示したブロック図である。 図４は第２の実施の形態のパケット送信装置の構成例を示したブロック図である。 図５は第３の実施の形態のパケット送信装置の構成例を示したブロック図である。

図２は、本発明による符号化ストリーム送信装置としてのパケット送信装置１００を含む通信システムの一例を示したシステム構成図である。図２において、パケット送信装置１００は、伝送路１０１および１０２と接続される。

伝送路１０１は、符号化ストリームを出力する装置（図示せず）が送信した符号化ストリームと、その符号化ストリームの符号化情報とをパケット送信装置１００に伝送する。伝送路１０２は、パケット送信装置１００がパケット化した符号化ストリームを、符号化ストリームを受信する装置（図示せず）に伝送する。以下、符号化ストリームを出力する装置を符号化ストリーム出力装置といい、パケット化された符号化ストリームを受信する装置をパケット受信装置という。

以下、ＭＰＥＧ−４を符号化方式の一例として用いる。また、ＲＴＰにおけるパケット（ＲＴＰパケット）をパケットの一例として用いる。

また、符号化ストリーム出力装置が、符号化情報であるＤＣＩ（Decoder Configuration Information）を含む符号化ストリームを送信してもよいが、以下では、符号化ストリーム出力装置が、符号化ストリームとは別に符号化情報を送信する場合を例に説明する。

（実施の形態１）
図３は、第１の実施の形態のパケット送信装置２の構成例を示したブロック図である。図３に示したパケット送信装置２は、図２に示したパケット送信装置１００に対応する。

パケット送信装置２は、符号化ストリーム受信部２１と、符号化ストリームパケット化部２２と、制御情報受信部２３と、時刻情報算出部２４とを含む。

なお、符号化ストリーム出力装置は、少なくとも以下のような情報を含む符号化情報を、符号化ストリームの送信開始時等に送信する。
（１）時間解像度（vop_time_increment_resolution）。

また、符号化ストリーム出力装置は、符号化ストリームをＶＯＰ（video_object_plane）単位で送信する。ここで、ＶＯＰにおけるＶＯＰヘッダには、例えば、以下のような情報が含まれる。
（２）タイムベース（modulo_time_base）。
（３）経過時刻（例えば、vop_time_increment）。

modulo_time_baseは、秒単位の情報であり、vop_time_incrementは、秒単位より小さい単位の情報である。modulo_time_baseは、前ＶＯＰの秒単位の値と現ＶＯＰの秒単位の値との変化分を示す。vop_time_incrementは、vop_time_increment_resolutionが示す精度であり、秒単位より小さい単位の変化分の情報を示す。以下、modulo_time_baseとvop_time_incrementとの組み合わせを、時間増分値ということがある。

符号化ストリーム受信部２１は、符号化ストリーム出力装置から伝送路１０１を経由して符号化ストリーム１１１を受信する。また、符号化ストリーム受信部２１は、符号化データ２１２を出力する。

制御情報受信部２３は、符号化ストリーム出力装置から伝送路１０１を経由して、符号化ストリーム１１１の符号化情報１３１を受信する。また、制御情報受信部２３は、時間解像度２３２を出力する。

時刻情報算出部２４は、制御情報受信部２３が出力した時間解像度２３２と、符号化ストリーム受信部２１が出力した符号化データ２１２とを使用して、時刻情報２４１の値を算出する。また、時刻情報算出部２４は、その値の時刻情報２４１を出力する。

符号化ストリームパケット化部２２は、時刻情報算出部２４が出力した時刻情報２４１をＲＴＰヘッダ部に設定し、かつ、符号化ストリーム受信部２１が出力した符号化データ２１２をＲＴＰペイロード部に設定して、符号化ストリーム１１１をＲＴＰパケット化する。また、符号化ストリームパケット化部２２は、ＲＴＰパケット化された符号化ストリーム１１１を、ＲＴＰパケット１２１として伝送路１０２に送出する。ＲＴＰパケット１２１は、伝送路１０２を介して、パケット受信装置に送信される。

次に、パケット送信装置２の動作を図２および図３を参照して説明する。

制御情報受信部２３は、符号化ストリーム出力装置から伝送路１０１を経由して符号化情報１３１を受信すると、符号化情報１３１から、vop_time_increment_resolutionを抽出する。制御情報受信部２３は、その抽出したvop_time_increment_resolutionを時間解像度２３２として時刻情報算出部２４に出力する。

符号化ストリーム受信部２１は、符号化ストリーム出力装置から伝送路１０１を経由して符号化ストリーム１１１を受信すると、伝送路１０１で伝送するために付与されたヘッダ情報等を符号化ストリーム１１１から削除する。符号化ストリーム受信部２１は、そのヘッダ情報等が削除された符号化ストリーム１１１を、符号化データ２１２として符号化ストリームパケット化部２２および時刻情報算出部２４に出力する。

時刻情報算出部２４は、符号化ストリーム受信部２１から符号化データ２１２を受信し、制御情報受信部２３から時間解像度２３２を受信する。

時刻情報算出部２４は、符号化データ２１２から時間増分値を抽出する。そして、時刻情報算出部２４は、その抽出した時間増分値と、時間解像度２３２とを使用して、時刻情報２４１の値を算出する。

具体的には、先ず、時刻情報算出部２４は、時間解像度２３２を用いてvop_time_incrementの単位を確認することで、時間増分値の精度を確認する。その後、時刻情報算出部２４は、以下の計算により時刻情報２４１の値を算出する。

（前回算出した時刻情報が示す値）＋（時間増分値）＝（時刻情報２４１の値）
なお、時刻情報算出部２４は、時刻情報２４１の値を算出する度に、算出した値の時刻情報２４１を保存する。また、ここでは、時刻情報算出部２４は、時間増分値として、modulo_time_baseとvop_time_incrementとの組み合わせを使用している。しかしながら、時刻情報算出部２４は、時間増分値として、modulo_time_baseとvop_time_incremenとの少なくともどちらか一方を使用すればよい。

時刻情報算出部２４は、さらに、以下のような処理も実行する。

時刻情報算出部２４は、その算出した時間情報２４１の値が正当か否かを判断する。

時間情報２４１の値が正当でない場合、時刻情報算出部２４は、その値を補正する。例えば、時刻情報２４１の値が負の値になった場合、時刻情報算出部２４は、受け付けたmodulo_time_baseの値を、時刻情報２４１の値が正の値になるまで増加させる。また、例えば、前回算出された時刻情報が示す値に比べて時刻情報２４１の値が過大であるなど、算出された時刻情報２４１の値が異常な値である場合、時刻情報算出部２４は、前回算出した時刻情報が示す値に妥当な値を加算した値を時刻情報２４１の値にするなどの補正を行なうことが好ましい。

このような補正が行なわれることにより、伝送路においてビット誤りまたはデータロスが生じたときに、ＲＴＰヘッダ部に設定されるタイムスタンプの確度が改善される。

時刻情報算出部２４は、時刻情報２４１の値を補正すると、補正した値の時刻情報２４１を符号化ストリームパケット化部２２に出力する。

一方、時刻情報２４１の値が正当である場合、時刻情報算出部２４は、算出した値の時刻情報２４１を符号化ストリームパケット化部２２に出力する。

符号化ストリームパケット化部２２は、符号化ストリーム受信部２１から符号化データ２１２を受信し、時刻情報算出部２４から時刻情報２４１を受信する。

符号化ストリームパケット化部２２は、符号化データ２１２をＲＴＰパケット化する。このとき、符号化ストリームパケット化部２２は、ＲＴＰパケットのＲＴＰヘッダ部におけるタイムスタンプに時刻情報２４１を設定し、かつ、ＲＴＰペイロード部に符号化データ２１２を設定する。そして、符号化ストリームパケット化部２２は、ＲＴＰパケット化された符号化データ２１２を、ＲＴＰパケット１２１として伝送路１０２に送出する。

なお、第１の実施の形態では、符号化ストリーム出力装置が符号化情報を符号化ストリームとは別に送信する場合を例にしたが、符号化ストリーム出力装置は、符号化情報を符号化ストリームに含めて送信するようにしてもよい。

ただし、符号化ストリーム１１１とは別に送信される符号化情報１３１に含まれる情報（vop_time_increment_resolution）を使用して時刻情報２４１の値を算出する場合では、符号化ストリームに含まれる情報を使用して時刻情報２４１の値を算出する場合に比べて、時刻情報２４１の確度が向上することが期待される。つまり、伝送路においてビット誤りまたはデータロスが生じたときに、符号化ストリーム１１１とは別に送信される符号化情報１３１に含まれる情報を使用して時刻情報２４１の値を算出する場合では、符号化ストリームに含まれる情報を使用して時刻情報２４１の値を算出する場合に比べて、時刻情報２４１の値が誤った値になる可能性が低くなる。

なお、符号化方式としてＭＰＥＧ−４を例にして説明したが、符号化方式は、ＭＰＥＧ−４に限られず、他の符号化方式でもよい。

また、伝送路１０１が回線交換網であって、ＩＴＵ−Ｕ勧告Ｈ．２４５を呼制御に使用するようなシステムでは、制御情報受信部２３は、ＩＴＵ−Ｕ勧告Ｈ．２４５における符号化情報（例えば、Open Logical Channelで記述されている符号化情報）を受信してもよい。この場合、そのＨ．２４５における符号化情報が含む上記のタイムベースや時間増分値に相当する情報を用いてタイムスタンプを算出することができる。つまり、伝送路１０１が回線交換網である場合、制御情報受信部２３を、Ｈ．２４５処理部で実現することができる。

また、伝送路１０１がパケット交換網であって、ＩＥＴＦ勧告ＲＦＣ２３２７（ＳＤＰ：Session Description Protocol）を用いて符号化情報等の制御情報を送受信するシステムでは、制御情報受信部２３は、ＳＤＰにおける符号化情報（例えば、”config= ”で記述されている符号化情報）を受信してもよい。この場合、そのＳＤＰにおける符号化情報が含む上記のタイムベースや時間増分値に相当する情報を用いてタイムスタンプを算出することができる。つまり、伝送路１０１がパケット交換網である場合、制御情報受信部２３を、ＳＤＰ処理部で実現することができる。

また、伝送路１０１が回線交換網である場合、ＩＴＵ−Ｕ勧告Ｈ．２４５における符号化情報の代わりに、ＩＴＵ−Ｕ勧告Ｈ．２２３における符号化情報が用いられてもよい。つまり、伝送路１０１が回線交換網である場合、符号化ストリーム受信部２１を、ＩＴＵ−Ｕ勧告Ｈ．２２３処理部で実現することができる。

また、伝送路１０１が回線交換網である場合、ＳＤＰにおける符号化情報の代わりに、ＲＴＰパケットが含む符号化情報が用いられてもよい。つまり、伝送路１０１がパケット交換網である場合、符号化ストリーム受信部２１を、ＲＴＰパケット受信部で実現することができる。

本実施例によれば、時刻情報算出部２４は、制御情報受信部２３が受信した符号化情報と、符号化ストリーム受信部２１が受信した符号化ストリームとを使用して時刻情報の値を算出する。時刻情報算出部２４は、その値が正当でない場合、その時刻情報を補正し、その補正した時刻情報を出力する。符号化ストリームパケット化部２２は、時刻情報算出部２４が出力した時刻情報をヘッダ部に設定して、符号化ストリームをパケット化する。

この場合、時刻情報が正当でない場合、その時刻情報が補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、パケットに、正当な時刻情報を設定することが可能になる。したがって、パケットに設定される時刻情報の確度を改善することが可能になる。

（実施の形態２）
図４は、第２の実施の形態のパケット送信装置の構成例を示したブロック図である。図４に示したパケット送信装置３は、図２に示したパケット送信装置１００に対応する。

パケット送信装置３は、符号化ストリーム受信部２１と、符号化ストリームパケット化部３２と、制御情報受信部３３と、フレーム区切り抽出部３４とを含む。

なお、符号化ストリーム出力装置は、少なくとも以下のような情報を含む符号化情報を、符号化ストリームの送信開始時等に送信する。
（４）プロファイルおよびレベル（profile_and_level_indication）。

profile_and_level_indicationは、符号化ツールの組み合わせ等（プロファイル）と、画像サイズおよびビットレート等（レベル）とを指定する情報である。

符号化ストリーム受信部２１は、符号化ストリーム出力装置から伝送路１０１を経由して符号化ストリーム１１１を受信する。また、符号化ストリーム受信部２１は、符号化データ２１２を出力する。

制御情報受信部３３は、符号化ストリーム出力装置から伝送路１０１を経由して符号化情報１３１を受信する。また、制御情報受信部２３は、プロファイル３３２を出力する。

フレーム区切り抽出部３４は、制御情報受信部３３が出力したプロファイル３３２を使用して、符号化ストリーム受信部２１が出力した符号化データ２１２からフレーム区切り（ＭＰＥＧ符号化ストリームにおけるフレームの区切り）を抽出する。また、フレーム区切り抽出部３４は、そのフレーム区切りを示す情報をフレーム区切り情報３４１として出力する。

符号化ストリームパケット化部３２は、フレーム区切り抽出部３４が出力したフレーム区切り情報３４１をＲＴＰヘッダ部に設定し、かつ、符号化ストリーム受信部２１が出力した符号化データ２１２をＲＴＰペイロード部に設定して、符号化ストリーム１１１をＲＴＰパケット化する。また、符号化ストリームパケット化部３２は、ＲＴＰパケット化された符号化ストリーム１１１を、ＲＴＰパケット１２１として出力する。ＲＴＰパケット１２１は、伝送路１０２を介して、パケット受信装置に送信される。

次に、パケット送信装置３の動作を図２および図４を参照して説明する。

制御情報受信部３３は、符号化ストリーム出力装置から伝送路１０１を経由して符号化情報１３１を受信すると、符号化情報１３１からprofile_and_level_indicationを抽出する。制御情報受信部３３、その抽出したprofile_and_level_indicationをプロファイル３３２としてフレーム区切り抽出部３４に出力する。

符号化ストリーム受信部２１は、符号化ストリーム出力装置から伝送路１０１を経由して符号化ストリーム１１１を受信すると、伝送路１０１で伝送するために付与されたヘッダ情報等を符号化ストリーム１１１から削除する。符号化ストリーム受信部２１は、そのヘッダ情報等が削除された符号化ストリーム１１１を、符号化データ２１２として符号化ストリームパケット化部３２およびフレーム区切り抽出部３４に出力する。

フレーム区切り抽出部３４は、符号化ストリーム受信部２１から符号化データ２１２を受信し、制御情報受信部３３からプロファイル３３２を受信する。

フレーム区切り抽出部３４は、プロファイル３３２を使用して、符号化データ２１２からフレーム区切りを抽出する。

例えば、先ず、フレーム区切り抽出部３４は、フレーム区切りとして用いるスタートコードを決定する。なお、スタートコードは、vop_start_codeでもよいし、他のスタートコードでもよい。

続いて、フレーム区切り抽出部３４は、符号化データ２１２にその決定したスターコードが存在するか否かを検出する。フレーム区切り抽出部３４は、符号化データ２１２にスタートコードが存在することを検出すると、そのスターコードをフレームの区切りとして抽出する。フレーム区切り抽出部３４は、そのフレームの区切りを示すフレーム区切り情報３４１（有意な値（例えば「１」）のフレーム区切り情報３４１）を出力する。一方、そうでない場合、フレームの区切りでないことを示すフレーム区切り情報３４１（例えば「０」のフレーム区切り情報３４１）を出力する。

フレーム区切り抽出部３４は、さらに、以下のような処理も実行する。

例えば、フレーム区切り抽出部３４は、スタートコードをフレームの区切りとして抽出した場合、それに続く符号化データ２１２（具体的には、符号化データ２１２の符号化タイプなど）を解析して、そのフレームの区切りが正当か否かを確認する。

フレームの区切りが正当でない場合、フレーム区切り抽出部３４は、フレームの区切りを補正する。例えば、フレーム区切り抽出部３４は、「０」のフレーム区切り情報３４１を出力する。

また、フレーム区切り抽出部３４は、フレームの区切りが正当か否かを、伝送路１０１で伝送するために付与されたヘッダ情報等にもとづいて確認してもよい。

このような補正が行なわれることにより、伝送路においてビット誤りまたはデータロスが生じたときに、ＲＴＰヘッダ部に設定されるマーカビットの確度が改善される。

符号化ストリームパケット化部３２は、符号化ストリーム受信部２１から符号化データ２１２を受信し、フレーム区切り抽出部３４からフレーム区切り情報を受信する。

符号化ストリームパケット化部３２は、符号化データ２１２をＲＴＰパケット化する。このとき、符号化ストリームパケット化部３２は、ＲＴＰヘッダ部におけるマーカビットにフレーム区切り情報３４１を設定し、かつ、ＲＴＰペイロード部に符号化データ２１２を設定する。そして、符号化ストリームパケット化部３２は、ＲＴＰパケット化された符号化データ２１２を、ＲＴＰパケット１２１として伝送路１０２に送出する。

なお、第２の実施の形態では、符号化ストリーム出力装置が符号化情報を符号化ストリームとは別に送信する場合を例にしたが、符号化ストリーム出力装置は、符号化情報を符号化ストリームに含めて送信するようにしてもよい。

ただし、符号化ストリーム１１１とは別に送信される符号化情報１３１に含まれる情報（profile_and_level_indication）を使用してフレーム区切り情報３４１を生成する場合では、符号化ストリームに含まれる情報を使用してフレーム区切り情報３４１を生成する場合に比べて、フレーム区切り情報３４１の確度が向上することが期待される。つまり、伝送路においてビット誤りまたはデータロスが生じたときに、符号化ストリーム１１１に含まれる情報を使用してフレーム区切り情報３４１を生成する場合に比べて、フレーム区切り情報３４１が誤った情報になる可能性が低くなる。

なお、符号化方式としてＭＰＥＧ−４を例にして説明したが、符号化方式は、ＭＰＥＧ−４に限られず、他の符号化方式でもよい。

また、伝送路１０１が回線交換網であって、ＩＴＵ−Ｕ勧告Ｈ．２４５を呼制御に使用するようなシステムでは、制御情報受信部３３は、Ｈ．２４５における符号化情報を受信してもよい。この場合、そのＨ．２４５における符号化情報のプロファイル３３２に相当する情報を用いてマーカビットを決定することができる。つまり、伝送路１０１が回線交換網である場合、制御情報受信部３３を、Ｈ．２４５処理部で実現することができる。

また、伝送路１０１がパケット交換網であって、ＩＥＴＦ勧告ＲＦＣ２３２７（ＳＤＰ）を用いて符号化情報等の制御情報を送受信するシステムでは、制御情報受信部２３は、ＳＤＰにおける符号化情報を受信してもよい。この場合、ＳＤＰにおける符号化情報の上記のプロファイル３３２に相当する情報を用いてマーカビットを決定することができる。つまり、伝送路１０１がパケット交換網である場合、制御情報受信部３３を、ＳＤＰ処理部で実現することができる。

本実施例によれば、フレーム区切り抽出部３４は、制御情報受信部３３が受信した符号化情報を使用して、符号化ストリーム受信部２１が受信した符号化ストリームからフレームの区切りを抽出する。フレーム区切り抽出部３４は、そのフレームの区切りが正当でない場合、そのフレームの区切りを補正する。フレーム区切り抽出部３４は、その補正したフレームの区切りを示す情報を出力する。符号化ストリームパケット化部３２は、フレーム区切り抽出部３４が出力したフレームの区切りを示す情報をヘッダ部に設定して、符号化ストリームをパケット化する。

この場合、フレームの区切りが正当でない場合、そのフレームの区切りが補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、パケットに、正当なフレームの区切りを設定することが可能になる。したがって、パケットに設定されるフレームの区切りの確度を改善することが可能になる。

（実施の形態３）
図５は、第３の実施の形態のパケット送信装置の構成例を示したブロック図である。図５に示したパケット送信装置４は、図２に示したパケット送信装置１００に対応する。

パケット送信装置４は、符号化ストリーム受信部２１と、時刻情報算出部２４と、フレーム区切り抽出部３４と、符号化ストリームパケット化部４２と、制御情報受信部４３とを含む。以下、主に第１および第２の実施の形態で示した構成と異なる構成について説明する。

なお、符号化ストリーム出力装置は、少なくとも以下のような情報を含む符号化情報を、符号化ストリームの送信開始時等に送信する。
（１）時間解像度（vop_time_increment_resolution ）。
（４）プロファイルおよびレベル（profile_and_level_indication）。

また、符号化ストリーム出力装置は、符号化ストリームをＶＯＰ（video_object_plane）単位で送信するが、例えばＶＯＰにおけるＶＯＰヘッダには、以下のような情報が含まれる。
（２）タイムベース（modulo_time_base）。
（３）経過時刻（例えば、vop_time_increment）。

符号化ストリームパケット化部４２は、符号化ストリーム１１１をパケット化する際、時刻情報算出部２４が出力する時刻情報２４１とフレーム区切り抽出部３４が出力するフレーム区切り情報３４１とをＲＴＰヘッダ部に設定する。

制御情報受信部４３は、符号化ストリーム出力装置から伝送路１０１を経由して符号化情報１３１を受信すると、符号化情報１３１からvop_time_increment_resolutionおよびprofile_and_level_indicationを抽出する。制御情報受信部４３は、その抽出したvop_time_increment_resolutionを時間解像度２３２として時刻情報算出部２４に出力し、その抽出したprofile_and_level_indicationをプロファイル３３２としてフレーム区切り抽出部３４に出力する。

符号化ストリームパケット化部４２および制御情報受信部４３以外の構成要素は、第１の実施の形態または第２の実施の形態における構成要素と同じである。

次に、パケット送信装置４の動作を図２および図５を参照して説明する。

制御情報受信部４３は、符号化ストリーム出力装置から伝送路１０１を経由して符号化情報１３１を受信すると、符号化情報１３１からvop_time_increment_resolutionを抽出する。制御情報受信部４３は、その抽出したvop_time_increment_resolutionを時間解像度２３２として時刻情報算出部２４に出力する。

また、制御情報受信部４３は、符号化情報１３１からprofile_and_level_indicationを抽出する。制御情報受信部４３は、その抽出したprofile_and_level_indicationをプロファイル３３２としてフレーム区切り抽出部３４に出力する。

時刻情報算出部２４は、第１の実施の形態の場合と同様に動作する。フレーム区切り抽出部３４は、第２の実施の形態の場合と同様に動作する。

符号化ストリームパケット化部４２は、符号化ストリーム受信部２１から符号化データ２１２を受信し、フレーム区切り抽出部３４からフレーム区切り情報３４１を受信する。

符号化ストリームパケット化部４２は、符号化データ２１２をＲＴＰパケット化する。このとき、符号化ストリームパケット化部４２は、ＲＴＰヘッダ部におけるマーカビットにフレーム区切り情報３４１を設定し、かつ、ＲＴＰペイロード部に符号化データ２１２を設定する。そして、符号化ストリームパケット化部４２は、ＲＴＰパケット化された符号化データ２１２を、ＲＴＰパケット１２１として伝送路１０２に送出する。

この実施の形態では、パケット送信装置４は、第１の実施の形態の構成と第２の実施の形態の構成とを兼ね備えている。従って、第１の実施の形態の効果と第２の実施の形態の効果とを併せて得ることができる。

なお、符号化方式がＭＰＥＧ−４に限られず、他の符号化方式を用いてもよいことは、第１の実施の形態および第２の実施の形態の場合と同じである。また、伝送路１０１が回線交換網であって、ＩＴＵ−Ｕ勧告Ｈ．２４５を呼制御に使用するようなシステムでは、Ｈ．２４５における符号化情報を用いて、タイムスタンプを算出することができ、かつ、マーカビットを決定することができる。つまり、伝送路１０１が回線交換網である場合、制御情報受信部４３を、Ｈ．２４５処理部で実現することができる。

また、伝送路１０１がパケット交換網であって、ＩＥＴＦ勧告ＲＦＣ２３２７（ＳＤＰ）を用いて符号化情報等の制御情報を送受信するシステムでは、ＳＤＰにおける符号化情報を用いて、タイムスタンプを算出することができ、かつ、マーカビットを決定することができる。つまり、伝送路１０１がパケット交換網である場合、制御情報受信部４３を、ＳＤＰ処理部で実現することができる。

本実施例によれば、時刻情報算出部２４は、制御情報受信部２３が受信した符号化情報と、符号化ストリーム受信部２１が受信した符号化ストリームとを使用して時刻情報の値を算出する。時刻情報算出部２４は、その値が正当でない場合、その時刻情報を補正し、その補正した時刻情報を出力する。フレーム区切り抽出部３４は、制御情報受信部３３が受信した符号化情報を使用して、符号化ストリーム受信部２１が受信した符号化ストリームからフレームの区切りを抽出する。フレーム区切り抽出部３４は、そのフレームの区切りが正当でない場合、そのフレームの区切りを補正する。フレーム区切り抽出部３４は、その補正したフレームの区切りを示す情報を出力する。符号化ストリームパケット化部２２は、時刻情報算出部２４が出力した時刻情報と、フレーム区切り抽出部３４が出力したフレームの区切りを示す情報とをヘッダ部に設定して、符号化ストリームをパケット化する。

この場合、例えば、伝送路においてビット誤りまたはデータロスが生じても、パケットに、正当な時刻情報とフレームの区切りを示す情報とを設定することが可能になる。したがって、パケットに設定される時刻情報とフレームの区切りを示す情報との確度を改善することが可能になる。

なお、上記の各実施の形態では、パケットとしてＲＴＰパケットを例にしたが、本発明による符号化ストリーム送信装置が扱えるパケットは、ＲＴＰパケットに限定されない。符号化ストリーム送信装置は、タイムスタンプやマーカビットに相当する情報が設定されるパケットであれば、他の種類のパケットを作成する装置であってもよい。

本発明を、回線交換網またはパケット交換網等による伝送路に接続され、伝送路を経由して受信した符号化ストリームをパケット化して送出する端末装置およびメディア配信サーバなどに適用することができる。

Claims (6)

1. 符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、
   前記符号化ストリームを受信する符号化ストリーム受信部と、
   前記符号化ストリームの符号化情報を受信する制御情報受信部と、
   前記制御情報受信部が受信した符号化情報と、前記符号化ストリーム受信部が受信した符号化ストリームとを使用して時間増加分を算出し、前回算出した時刻情報の値に前記時間増加分を加えることにより時刻情報の値を算出し、前記算出した時刻情報の値に基づき、前記算出した時刻情報の値を出力するか、あるいは前記算出した時刻情報に所定の値を加えて算出した時刻情報の値を出力する時刻情報算出部と、
   前記時刻情報算出部が出力した時刻情報をヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケット化部と、を含む符号化ストリーム送信装置。
2. 前記符号化ストリーム受信部は、ＭＰＥＧ−４方式の符号化ストリームを受信し、
   前記時刻情報算出部は、前記符号化ストリーム受信部が受信した符号化ストリームに含まれるmodulo_time_baseとvop_time_incrementとのうちの少なくともどちらか一方を使用して前記時刻情報を算出する、請求の範囲１に記載の符号化ストリーム送信装置。
3. 前記制御情報受信部は、前記符号化情報としてＭＰＥＧ−４方式のＤＣＩを受信し、前記ＤＣＩからvop_time_increment_resolutionを抽出し、
   前記時刻情報算出部は、前記制御情報受信部が抽出した前記vop_time_increment_resolutionと、前記符号化ストリーム受信部が受信した符号化ストリームとを使用して前記時刻情報を算出する、請求の範囲１または２に記載の符号化ストリーム送信装置。
4. 前記制御情報受信部は、前記符号化情報としてＩＥＴＦ勧告ＲＦＣ２３２７（ＳＤＣ）による符号化情報を受信する、請求の範囲１または２に記載の符号化ストリーム送信装置。
5. 前記制御情報受信部は、前記符号化情報としてＩＴＵ−Ｔ勧告Ｈ．２４５による符号化情報を受信する、請求の範囲１または２に記載の符号化ストリーム送信装
   置。
6. 前記制御情報受信部は、前記符号化情報としてＭＰＥＧ−４方式のＤＣＩを受信する、請求の範囲１または２に記載の符号化ストリーム送信装置。

Images