WO2007108222A1

WO2007108222A1 - 符号化ストリーム送信装置

Info

Publication number: WO2007108222A1
Application number: PCT/JP2007/050570
Authority: WO
Inventors: Kazuhiro Koyama; Kazunori Ozawa
Original assignee: Nec Corporation
Priority date: 2006-03-17
Filing date: 2007-01-17
Publication date: 2007-09-27
Also published as: KR100989087B1; KR20080108533A; EP1998510A1; JP4947049B2; US20090060059A1; JPWO2007108222A1; EP1998510B1; EP1998510A4; CN101401373A; US8243826B2; CN101401373B

Abstract

　パケットに設定される時刻情報の確度を改善することが可能にする。　時刻情報算出部２４は、制御情報受信部２３が受信した符号化情報と、符号化ストリーム受信部２１が受信した符号化ストリームとを使用して時刻情報を算出する。時刻情報算出部２４は、その時刻情報が正当でない場合、その時刻情報を補正し、その補正した時刻情報を出力する。符号化ストリームパケット化部２２は、時刻情報算出部２４が出力した時刻情報をヘッダ部に設定して、符号化ストリームをパケット化する。

Description

明細書

符号化ストリーム送信装置

技術分野

[0001] 本発明は、符号化ストリームをパケットで送信する符号化ストリーム送信装置に関する。

背景技術

[0002] 符号化された動画像データ (符号化ストリーム）を、 IPネットワークなどの通信ネットワークを経由してパケットで伝送する通信システムが普及しつつある。符号化ストリームなどのマルチメディアデータをパケットで伝送する場合の通信プロトコルとして、 RT P (Real-time Transport Protocol)がある。 RTPは、例えば、 IP (Internet Protocol) 層の上位層の通信プロトコルである UDP (User Datagram protocol)のさらに上位層の通信プロトコルとして使用される。

[0003] RTPにおけるパケット (RTPパケット）は、例えば図 1に示すように、 RTPヘッダ部と RTPペイロード部とで構成される（例えば、特許文献 1参照。 ) o RTPヘッダ部は、タィムスタンプおよびマーカビット（M)を含む。

[0004] タイムスタンプは、ノケット (具体的には、最初のオクテット）が送信される時刻を示す。パケットの受信側において、タイムスタンプは、パケットの再生をスケジュールするために使用される。

[0005] マーカビットは、符号化ストリーム内の重要なイベント（例えば、符号化ストリームの最後のパケットおよびフレームの区切り）を示す。パケットの受信側において、マーカビットは、符号化ストリーム内の重要なイベントを判別するために使用される。

[0006] タイムスタンプおよびマーカビットのそれぞれのパラメータ（時刻およびイベントを示す値)は、符号化ストリーム力算出される。

[0007] なお、符号化ストリームの符号ィ匕情報 (例えば、時間解像度)を送信する方式には、符号化情報を符号化ストリームに含めて送信する方式と、符号化情報を符号化ストリ一ムとは別に送信する方式とがある。これらの方式は、例えば、特許文献 2に記載されている。ここで、符号化ストリームの符号ィ匕情報は、例えば、時間解像度であり、符号化ストリームの符号ィ匕に関する情報である。

特許文献 1 :特開 2005— 328131号公報 (段落 0011、図 2)

特許文献 2：特開 2006— 13583号公報 (段落 0007、図 2)

発明の開示

発明が解決しょうとする課題

[0008] 伝送路を介して符号化ストリームを受信し、受信した符号化ストリームをパケット化してパケット通信網に送出する符号化ストリーム送信装置がある。このような符号化ストリーム送信装置において、上記のようにタイムスタンプおよびマーカビットのパラメ一タを符号化ストリーム力算出する場合がある。

[0009] この場合、伝送路においてビット誤りが生じた符号化ストリームが受信されたり、伝送路においてデータの欠落 (データロス）が生じたりすると、ノケットに、正当なタイムスタンプを設定できないという課題がある。また、伝送路においてビット誤りが生じた符号化ストリームが受信されたり、伝送路においてデータロスが生じたりすると、パケットに、正当なマーカビットを設定できないという課題がある。

[0010] 本発明は、上記の課題を解決するための発明であって、パケットに設定されるタイムスタンプ等の時刻情報と、マーカビット等のフレームの区切りを示す情報との少なくともどちらか一方の確度を改善することが可能な符号化ストリーム送信装置を提供することを目的とする。

課題を解決するための手段

[0011] 上記目的を達成するために、本発明の符号化ストリーム送信装置は、符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、前記符号化ストリームを受信する符号化ストリーム受信部と、前記符号化ストリームの符号ィ匕情報を受信する制御情報受信部と、前記制御情報受信部が受信した符号化情報と、前記符号ィ匕ストリーム受信部が受信した符号化ストリームとを使用して時刻情報の値を算出し、前記算出した値が正当である場合、前記算出した値の時刻情報を出力し、前記算出した値が正当でない場合、前記算出した値を補正し、前記補正した値の時刻情報を出力する時刻情報算出部と、前記時刻情報算出部が出力した時刻情報をヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケット化部と、を含む。

[0012] 上記の発明によれば、時刻情報の値が正当でな、場合、その値が補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、パケットに、正当な時刻情報を設定することが可能になる。したがって、パケットに設定される時刻情報の確度を改善することが可能になる。

[0013] また、本発明の符号化ストリーム送信装置は、符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、前記符号化ストリームを受信する符号化ストリーム受信部と、前記符号化ストリームの符号化情報を受信する制御情報受信部と、前記制御情報受信部が受信した符号化情報を使用して、前記符号化ストリーム受信部が受信した符号化ストリーム力もフレームの区切りを抽出し、前記抽出したフレームの区切りが正当である場合、前記抽出したフレームの区切りを示す情報を出力し、前記抽出したフレームの区切りが正当でない場合、前記フレームの区切りを補正し、前記補正したフレームの区切りを示す情報を出力するフレーム区切り抽出部と、前記フレーム区切り抽出部が出力するフレームの区切りを示す情報をヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケットィヒ部と、を含む。

[0014] 上記の発明によれば、フレームの区切りが正当でない場合、そのフレームの区切りが補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、ノケットに、正当なフレームの区切りを示す情報を設定することが可能になる。したがって、パケットに設定されるフレームの区切りを示す情報の確度を改善することが可能になる。

[0015] また、本発明の符号化ストリーム送信装置は、符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、前記符号化ストリームを受信する符号化ストリーム受信部と、前記符号化ストリームの符号化情報を受信する制御情報受信部と、前記制御情報受信部が受信した符号化情報と、前記符号化ストリーム受信部が受信した符号化ストリームとを使用して時刻情報の値を算出し、前記算出した値が正当である場合、前記算出した値の時刻情報を出力し、前記算出した値が正当でない場合、前記算出した値を補正し、前記補正した値の時刻情報を出力する時刻情報算出部と、前記制御情報受信部が受信した符号化情報を使用して、前記符号化ストリーム受信部が受信した符号化ストリーム力もフレームの区切りを抽出し、前記抽出したフレームの区切りが正当である場合、前記抽出したフレームの区切りを示す情報を出力し、前記抽出したフレームの区切りが正当でない場合、前記フレームの区切りを補正し、前記補正したフレームの区切りを示す情報を出力するフレーム区切り抽出部と、前記時刻情報算出部が出力する時刻情報と、前記フレーム区切り抽出部が出力するフレームの区切りを示す情報とをヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケット化部と、を含む。

[0016] 上記の発明によれば、時刻情報の値が正当でな、場合、その値が補正される。また、フレームの区切りが正当でない場合、そのフレームの区切りが補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、パケットに、正当な時刻情報およびフレームの区切りを示す情報を設定することが可能になる。したがつて、パケットに設定される時刻情報およびフレームの区切りを示す情報との確度を改善することが可能になる。

[0017] また、前記符号化ストリーム受信部は、 MPEG— 4方式の符号化ストリームを受信し、前記時刻情報算出部は、前記符号化ストリーム受信部が受信した符号化ストリーム使用して前記時刻情報を算出することが望ましい。

[0018] また、前記符号化ストリーム受信部は、 MPEG— 4方式の符号化ストリームを受信し、前記フレーム区切り抽出部は、前記符号化ストリーム受信部が受信した符号化ストリームに含まれるスタートコードを使用して前記フレームの区切りを抽出することが望ましい。

[0019] また、前記制御情報受信部は、前記符号化情報として MPEG— 4方式の DCIを受信し、前記 DCIから vop_timejncrement_resolutionを抽出し、前記時刻情報算出部は、前記制御情報受信部が抽出した前記 vop— time— increment— resolutionと、前記符号ィ匕ストリーム受信部が受信した符号化ストリームとを使用して前記時刻情報を算出することが望ましい。 [0020] また、前記制御情報受信部は、前記符号化情報として MPEG— 4方式の DCIを受信し、前記 DCIから profile_and_level_indicationを抽出し、前記フレーム区切り抽出部は、前記制御情報受信部が抽出した前記 profile_and_le_VeUndicationを使用して、前記符号化ストリーム受信部が受信した符号化ストリーム力前記フレームの区切りを抽出することが望ましい。

[0021] また、前記制御情報受信部は、前記符号化情報として IETF勧告 RFC2327 (SD C)による符号ィ匕情報を受信することが望ましい。

[0022] また、前記制御情報受信部は、前記符号化情報として ITU— T勧告 H. 245による符号ィ匕情報を受信することが望まし、。

[0023] また、前記制御情報受信部は、前記符号化情報として MPEG— 4方式の DCIを受信することが望ましい。

発明の効果

[0024] 本発明によれば、パケットに設定される時刻情報と、フレームの区切りを示す情報との少なくともどちらか一方の確度を改善することが可能になる。

図面の簡単な説明

[0025] [図 1]図 1は RTPパケットの構成の一例を示す説明図である。

[図 2]図 2は本発明による符号化ストリーム送信装置としてのパケット送信装置を含む通信システムの一例を示したシステム構成図である。

[図 3]図 3は第 1の実施の形態のパケット送信装置の構成例を示したブロック図である [図 4]図 4は第 2の実施の形態のパケット送信装置の構成例を示したブロック図である [図 5]図 5は第 3の実施の形態のパケット送信装置の構成例を示したブロック図である発明を実施するための最良の形態

[0026] 図 2は、本発明による符号化ストリーム送信装置としてのパケット送信装置 100を含む通信システムの一例を示したシステム構成図である。図 2において、パケット送信装置 100は、伝送路 101および 102と接続される。 [0027] 伝送路 101は、符号化ストリームを出力する装置（図示せず)が送信した符号化ストリームと、その符号化ストリームの符号ィ匕情報とをパケット送信装置 100に伝送する。伝送路 102は、パケット送信装置 100がパケット化した符号化ストリームを、符号化ストリームを受信する装置（図示せず）に伝送する。以下、符号化ストリームを出力する装置を符号化ストリーム出力装置といい、パケット化された符号化ストリームを受信する装置をパケット受信装置とヽぅ。

[0028] 以下、 MPEG— 4を符号ィ匕方式の一例として用いる。また、 RTPにおけるパケット（ RTPパケット）をパケットの一例として用いる。

[0029] また、符号化ストリーム出力装置力符号化情報である DCI (Decoder Configuratio n Information)を含む符号化ストリームを送信してもよいが、以下では、符号化ストリーム出力装置が、符号化ストリームとは別に符号ィ匕情報を送信する場合を例に説明する。

[0030] (実施の形態 1)

図 3は、第 1の実施の形態のパケット送信装置 2の構成例を示したブロック図である。図 3に示したパケット送信装置 2は、図 2に示したパケット送信装置 100に対応する

[0031] パケット送信装置 2は、符号化ストリーム受信部 21と、符号化ストリームパケットィ匕部

22と、制御情報受信部 23と、時刻情報算出部 24とを含む。

[0032] なお、符号化ストリーム出力装置は、少なくとも以下のような情報を含む符号化情報を、符号化ストリームの送信開始時等に送信する。

、 1 )時間解像度、vop— time— increment— resolution)。

[0033] また、符号化ストリーム出力装置は、符号化ストリームを VOP (video_object_plane) 単位で送信する。ここで、 VOPにおける VOPヘッダには、例えば、以下のような情報が含まれる。

(2)タイムへ ~~ス (modulo— time— base)。

(3)経過時刻（例えば、 vop_time_increment)。

[0034] modulo— time— baseは、秒単位の情報であり、 vop— time— incrementは、秒単位より小さい単位の情報である。 modulo— time— baseは、前 VOPの秒単位の値と現 VOPの秒単位の値との変ィ匕分す。 vop— time— incrementは、 vop— time— increment— resolution;^不す精度であり、秒単位より小さい単位の変化分の情報を示す。以下、 modulo_time_ba seと vop_timejncrementとの組み合わせを、時間増分値と!/、うことがある。

[0035] 符号化ストリーム受信部 21は、符号化ストリーム出力装置力も伝送路 101を経由して符号化ストリーム 111を受信する。また、符号化ストリーム受信部 21は、符号化データ 212を出力する。

[0036] 制御情報受信部 23は、符号化ストリーム出力装置力も伝送路 101を経由して、符号化ストリーム 111の符号ィ匕情報 131を受信する。また、制御情報受信部 23は、時間解像度 232を出力する。

[0037] 時刻情報算出部 24は、制御情報受信部 23が出力した時間解像度 232と、符号ィ匕ストリーム受信部 21が出力した符号ィ匕データ 212とを使用して、時刻情報 241の値を算出する。また、時刻情報算出部 24は、その値の時刻情報 241を出力する。

[0038] 符号化ストリームパケット化部 22は、時刻情報算出部 24が出力した時刻情報 241 を RTPヘッダ部に設定し、かつ、符号化ストリーム受信部 21が出力した符号ィ匕デ一タ 212を RTPペイロード部に設定して、符号化ストリーム 111を RTPパケットィ匕する。また、符号化ストリームパケットィ匕部 22は、 RTPパケットィ匕された符号化ストリーム 11 1を、 RTPパケット 121として伝送路 102に送出する。 RTPパケット 121は、伝送路 1 02を介して、パケット受信装置に送信される。

[0039] 次に、パケット送信装置 2の動作を図 2および図 3を参照して説明する。

[0040] 制御情報受信部 23は、符号化ストリーム出力装置力も伝送路 101を経由して符号化情報 131を受信すると、符号化情報 131から、 vop_time_increment_resolutionを抽出する。制御情報受信部 23は、その抽出した vop_timejncrement_resolutionを時間解像度 232として時刻情報算出部 24に出力する。

[0041] 符号化ストリーム受信部 21は、符号化ストリーム出力装置力も伝送路 101を経由して符号化ストリーム 111を受信すると、伝送路 101で伝送するために付与されたへッダ情報等を符号化ストリーム 111から削除する。符号化ストリーム受信部 21は、そのヘッダ情報等が削除された符号化ストリーム 111を、符号化データ 212として符号ィ匕ストリームパケットィ匕部 22および時刻情報算出部 24に出力する。 [0042] 時刻情報算出部 24は、符号化ストリーム受信部 21から符号ィ匕データ 212を受信し

、制御情報受信部 23から時間解像度 232を受信する。

[0043] 時刻情報算出部 24は、符号ィ匕データ 212から時間増分値を抽出する。そして、時刻情報算出部 24は、その抽出した時間増分値と、時間解像度 232とを使用して、時刻情報 241の値を算出する。

[0044] 具体的には、先ず、時刻情報算出部 24は、時間解像度 232を用いて vopjimejncr ementの単位を確認することで、時間増分値の精度を確認する。その後、時刻情報算出部 24は、以下の計算により時刻情報 241の値を算出する。

[0045] (前回算出した時刻情報が示す値） + (時間増分値） = (時刻情報 241の値）

なお、時刻情報算出部 24は、時刻情報 241の値を算出する度に、算出した値の時刻情報 241を保存する。また、ここでは、時刻情報算出部 24は、時間増分値として、 modulo_time_baseと vop_time_incrementとの糸且み合わせを使用して！/、る。し力しながら

、時刻情報算出部 24は、時間増分値として、 modulo_time_baseと vop_time_incremenとの少なくともどちらか一方を使用すればよい。

[0046] 時刻情報算出部 24は、さらに、以下のような処理も実行する。

[0047] 時刻情報算出部 24は、その算出した時間情報 241の値が正当力否かを判断する

[0048] 時間情報 241の値が正当でない場合、時刻情報算出部 24は、その値を補正する。

例えば、時刻情報 241の値が負の値になった場合、時刻情報算出部 24は、受け付けた modulo_time_baseの値を、時刻情報 241の値が正の値になるまで増加させる。また、例えば、前回算出された時刻情報が示す値に比べて時刻情報 241の値が過大であるなど、算出された時刻情報 241の値が異常な値である場合、時刻情報算出部 24は、前回算出した時刻情報が示す値に妥当な値を加算した値を時刻情報 241の値にするなどの補正を行なうことが好ま U、。

[0049] このような補正が行なわれることにより、伝送路においてビット誤りまたはデータロスが生じたときに、 RTPヘッダ部に設定されるタイムスタンプの確度が改善される。

[0050] 時刻情報算出部 24は、時刻情報 241の値を補正すると、補正した値の時刻情報 2 41を符号化ストリームパケットィ匕部 22に出力する。 [0051] 一方、時刻情報 241の値が正当である場合、時刻情報算出部 24は、算出した値の時刻情報 241を符号化ストリームパケットィ匕部 22に出力する。

[0052] 符号化ストリームパケットィ匕部 22は、符号化ストリーム受信部 21から符号ィ匕データ 2 12を受信し、時刻情報算出部 24から時刻情報 241を受信する。

[0053] 符号化ストリームパケットィ匕部 22は、符号化データ 212を RTPパケット化する。このとき、符号化ストリームパケットィ匕部 22は、 RTPパケットの RTPヘッダ部におけるタイムスタンプに時刻情報 241を設定し、かつ、 RTPペイロード部に符号ィ匕データ 212を設定する。そして、符号化ストリームパケット化部 22は、 RTPパケット化された符号ィ匕データ 212を、 RTPパケット 121として伝送路 102に送出する。

[0054] なお、第 1の実施の形態では、符号化ストリーム出力装置が符号化情報を符号化ストリームとは別に送信する場合を例にしたが、符号化ストリーム出力装置は、符号ィ匕情報を符号化ストリームに含めて送信するようにしてもょ、。

[0055] ただし、符号化ストリーム 111とは別に送信される符号ィ匕情報 131に含まれる情報（ vop_time_increment_resolution)を使用して時刻情報 241の値を算出する場合では、符号化ストリームに含まれる情報を使用して時刻情報 241の値を算出する場合に比ベて、時刻情報 241の確度が向上することが期待される。つまり、伝送路においてビット誤りまたはデータロスが生じたときに、符号化ストリーム 111とは別に送信される符号ィ匕情報 131に含まれる情報を使用して時刻情報 241の値を算出する場合では、符号化ストリームに含まれる情報を使用して時刻情報 241の値を算出する場合に比ベて、時刻情報 241の値が誤った値になる可能性が低くなる。

[0056] なお、符号ィ匕方式として MPEG— 4を例にして説明した力符号化方式は、 MPE G—4に限られず、他の符号ィ匕方式でもよい。

[0057] また、伝送路 101が回線交換網であって、 ITU—U勧告 H. 245を呼制御に使用するようなシステムでは、制御情報受信部 23は、 ITU— U勧告 H. 245における符号化情報 (例えば、 Open Logical Channelで記述されている符号化情報）を受信してもよい。この場合、その H. 245における符号ィ匕情報が含む上記のタイムベースや時間増分値に相当する情報を用いてタイムスタンプを算出することができる。つまり、伝送路 101が回線交換網である場合、制御情報受信部 23を、 H. 245処理部で実現することができる。

[0058] また、伝送路 101がパケット交換網であって、 IETF勧告 RFC2327 (SDP : Session

Description Protocol)を用いて符号化情報等の制御情報を送受信するシステムでは、制御情報受信部 23は、 SDPにおける符号ィヒ情報 (例えば、 "_COnfig= "で記述されている符号ィ匕情報)を受信してもよい。この場合、その SDPにおける符号ィ匕情報が含む上記のタイムベースや時間増分値に相当する情報を用いてタイムスタンプを算出することができる。つまり、伝送路 101がパケット交換網である場合、制御情報受信部 23を、 SDP処理部で実現することができる。

[0059] また、伝送路 101が回線交換網である場合、 ITU—U勧告 H. 245における符号化情報の代わりに、

223における符号ィ匕情報が用いられてもよい。つまり、伝送路 101が回線交換網である場合、符号化ストリーム受信部 21を、 ITU- U勧告 H. 223処理部で実現することができる。

[0060] また、伝送路 101が回線交換網である場合、 SDPにおける符号ィ匕情報の代わりに、 RTPパケットが含む符号ィ匕情報が用いられてもよい。つまり、伝送路 101がパケット交換網である場合、符号化ストリーム受信部 21を、 RTPパケット受信部で実現することがでさる。

[0061] 本実施例によれば、時刻情報算出部 24は、制御情報受信部 23が受信した符号ィ匕情報と、符号化ストリーム受信部 21が受信した符号化ストリームとを使用して時刻情報の値を算出する。時刻情報算出部 24は、その値が正当でない場合、その時刻情報を補正し、その補正した時刻情報を出力する。符号化ストリームパケット化部 22は、時刻情報算出部 24が出力した時刻情報をヘッダ部に設定して、符号化ストリームをパケットィ匕する。

[0062] この場合、時刻情報が正当でない場合、その時刻情報が補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、ノケットに、正当な時刻情報を設定することが可能になる。したがって、パケットに設定される時刻情報の確度を改善することが可能になる。

[0063] (実施の形態 2)

図 4は、第 2の実施の形態のパケット送信装置の構成例を示したブロック図である。図 4に示したバケツト送信装置 3は、図 2に示したパケット送信装置 100に対応する。

[0064] パケット送信装置 3は、符号化ストリーム受信部 21と、符号化ストリームパケットィ匕部

32と、制御情報受信部 33と、フレーム区切り抽出部 34とを含む。

[0065] なお、符号化ストリーム出力装置は、少なくとも以下のような情報を含む符号化情報を、符号化ストリームの送信開始時等に送信する。

(4)プロファイルおよびレベル (profile— and— level— indication)。

[0066] profile_and_level_indicationは、符号化ツールの組み合わせ等（プロファイル）と、画像サイズおよびビットレート等（レベル）とを指定する情報である。

[0067] 符号化ストリーム受信部 21は、符号化ストリーム出力装置力も伝送路 101を経由して符号化ストリーム 111を受信する。また、符号化ストリーム受信部 21は、符号化データ 212を出力する。

[0068] 制御情報受信部 33は、符号化ストリーム出力装置から伝送路 101を経由して符号化情報 131を受信する。また、制御情報受信部 23は、プロファイル 332を出力する。

[0069] フレーム区切り抽出部 34は、制御情報受信部 33が出力したプロファイル 332を使用して、符号化ストリーム受信部 21が出力した符号ィ匕データ 212からフレーム区切り (MPEG符号化ストリームにおけるフレームの区切り）を抽出する。また、フレーム区切り抽出部 34は、そのフレーム区切りを示す情報をフレーム区切り情報 341として出力する。

[0070] 符号化ストリームパケットィ匕部 32は、フレーム区切り抽出部 34が出力したフレーム区切り情報 341を RTPヘッダ部に設定し、かつ、符号化ストリーム受信部 21が出力した符号ィ匕データ 212を RTPペイロード部に設定して、符号化ストリーム 111を RTP パケット化する。また、符号化ストリームパケットィ匕部 32は、 RTPパケット化された符号化ストリーム 111を、 RTPパケット 121として出力する。 RTPパケット 121は、伝送路 1 02を介して、パケット受信装置に送信される。

[0071] 次に、パケット送信装置 3の動作を図 2および図 4を参照して説明する。

[0072] 制御情報受信部 33は、符号化ストリーム出力装置から伝送路 101を経由して符号化情報 131を受信すると、符号化情報 131から profile_and_level jndicationを抽出する。制御情報受信部 33、その抽出した profile_and_level_indicationをプロファイル 332としてフレーム区切り抽出部 34に出力する。

[0073] 符号化ストリーム受信部 21は、符号化ストリーム出力装置力も伝送路 101を経由して符号化ストリーム 111を受信すると、伝送路 101で伝送するために付与されたへッダ情報等を符号化ストリーム 111から削除する。符号化ストリーム受信部 21は、そのヘッダ情報等が削除された符号化ストリーム 111を、符号化データ 212として符号ィ匕ストリームパケットィ匕部 32およびフレーム区切り抽出部 34に出力する。

[0074] フレーム区切り抽出部 34は、符号化ストリーム受信部 21から符号ィ匕データ 212を受信し、制御情報受信部 33からプロファイル 332を受信する。

[0075] フレーム区切り抽出部 34は、プロファイル 332を使用して、符号化データ 212からフレーム区切りを抽出する。

[0076] 例えば、先ず、フレーム区切り抽出部 34は、フレーム区切りとして用いるスタートコードを決定する。なお、スタートコードは、 vop_start_codeでもよいし、他のスタートコ一ドでもよい。

[0077] 続いて、フレーム区切り抽出部 34は、符号ィ匕データ 212にその決定したスターコードが存在するか否かを検出する。フレーム区切り抽出部 34は、符号化データ 212〖こスタートコードが存在することを検出すると、そのスターコードをフレームの区切りとして抽出する。フレーム区切り抽出部 34は、そのフレームの区切りを示すフレーム区切り情報 341 (有意な値 (例えば「1」）のフレーム区切り情報 341)を出力する。一方、そうでない場合、フレームの区切りでないことを示すフレーム区切り情報 341 (例えば「0 」のフレーム区切り情報 341)を出力する。

[0078] フレーム区切り抽出部 34は、さらに、以下のような処理も実行する。

[0079] 例えば、フレーム区切り抽出部 34は、スタートコードをフレームの区切りとして抽出した場合、それに続く符号化データ 212 (具体的には、符号化データ 212の符号化タイブなど）を解析して、そのフレームの区切りが正当か否かを確認する。

[0080] フレームの区切りが正当でない場合、フレーム区切り抽出部 34は、フレームの区切りを補正する。例えば、フレーム区切り抽出部 34は、「0」のフレーム区切り情報 341 を出力する。

[0081] また、フレーム区切り抽出部 34は、フレームの区切りが正当力否かを、伝送路 101 で伝送するために付与されたヘッダ情報等にもとづ、て確認してもよ、。

[0082] このような補正が行なわれることにより、伝送路においてビット誤りまたはデータロスが生じたときに、 RTPヘッダ部に設定されるマーカビットの確度が改善される。

[0083] 符号化ストリームパケットィ匕部 32は、符号化ストリーム受信部 21から符号ィ匕データ 2 12を受信し、フレーム区切り抽出部 34からフレーム区切り情報を受信する。

[0084] 符号化ストリームパケットィ匕部 32は、符号化データ 212を RTPパケット化する。このとき、符号化ストリームパケットィ匕部 32は、 RTPヘッダ部におけるマーカビットにフレーム区切り情報 341を設定し、かつ、 RTPペイロード部に符号ィ匕データ 212を設定する。そして、符号化ストリームパケットィ匕部 32は、 RTPパケット化された符号化データ 212を、 RTPパケット 121として伝送路 102に送出する。

[0085] なお、第 2の実施の形態では、符号化ストリーム出力装置が符号化情報を符号化ストリームとは別に送信する場合を例にしたが、符号化ストリーム出力装置は、符号ィ匕情報を符号化ストリームに含めて送信するようにしてもょ、。

[0086] ただし、符号化ストリーム 111とは別に送信される符号ィ匕情報 131に含まれる情報（ profile_and_level_indication)を使用してフレーム区切り情報 341を生成する場合では、符号化ストリームに含まれる情報を使用してフレーム区切り情報 341を生成する場合に比べて、フレーム区切り情報 341の確度が向上することが期待される。つまり、伝送路にぉ、てビット誤りまたはデータロスが生じたときに、符号化ストリーム 111に含まれる情報を使用してフレーム区切り情報 341を生成する場合に比べて、フレーム区切り情報 341が誤った情報になる可能性が低くなる。

[0087] なお、符号ィ匕方式として MPEG— 4を例にして説明した力符号化方式は、 MPE G—4に限られず、他の符号ィ匕方式でもよい。

[0088] また、伝送路 101が回線交換網であって、 ITU—U勧告 H. 245を呼制御に使用するようなシステムでは、制御情報受信部 33は、 H. 245における符号ィ匕情報を受信してもよい。この場合、その H. 245における符号ィ匕情報のプロファイル 332に相当する情報を用いてマーカビットを決定することができる。つまり、伝送路 101が回線交換網である場合、制御情報受信部 33を、 H. 245処理部で実現することができる。

[0089] また、伝送路 101がパケット交換網であって、 IETF勧告 RFC2327 (SDP)を用いて符号ィ匕情報等の制御情報を送受信するシステムでは、制御情報受信部 23は、 SD Pにおける符号ィ匕情報を受信してもよい。この場合、 SDPにおける符号化情報の上記のプロファイル 332に相当する情報を用いてマーカビットを決定することができる。つまり、伝送路 101がパケット交換網である場合、制御情報受信部 33を、 SDP処理部で実現することができる。

[0090] 本実施例によれば、フレーム区切り抽出部 34は、制御情報受信部 33が受信した符号化情報を使用して、符号化ストリーム受信部 21が受信した符号化ストリームからフレームの区切りを抽出する。フレーム区切り抽出部 34は、そのフレームの区切りが正当でない場合、そのフレームの区切りを補正する。フレーム区切り抽出部 34は、その補正したフレームの区切りを示す情報を出力する。符号化ストリームパケットィ匕部 3 2は、フレーム区切り抽出部 34が出力したフレームの区切りを示す情報をヘッダ部に設定して、符号化ストリームをパケット化する。

[0091] この場合、フレームの区切りが正当でない場合、そのフレームの区切りが補正される。このため、例えば、伝送路においてビット誤りまたはデータロスが生じても、バケツトに、正当なフレームの区切りを設定することが可能になる。したがって、パケットに設定されるフレームの区切りの確度を改善することが可能になる。

[0092] (実施の形態 3)

図 5は、第 3の実施の形態のパケット送信装置の構成例を示したブロック図である。図 5に示したバケツト送信装置 4は、図 2に示したパケット送信装置 100に対応する。

[0093] パケット送信装置 4は、符号化ストリーム受信部 21と、時刻情報算出部 24と、フレーム区切り抽出部 34と、符号化ストリームパケットィ匕部 42と、制御情報受信部 43とを含む。以下、主に第 1および第 2の実施の形態で示した構成と異なる構成について説明する。

[0094] なお、符号化ストリーム出力装置は、少なくとも以下のような情報を含む符号化情報を、符号化ストリームの送信開始時等に送信する。

、 1 )時間解像度、vop— time— increment— resolution )。

[0095] また、符号化ストリーム出力装置は、符号化ストリームを VOP (video_object_plane) 単位で送信するが、例えば VOPにおける VOPヘッダには、以下のような情報が含まれる。

(2)タイムへ ~~ス (modulo— time— base)。

(3)経過時刻（例えば、 vop_time_increment)。

[0096] 符号化ストリームパケットィ匕部 42は、符号化ストリーム 111をパケットィ匕する際、時刻情報算出部 24が出力する時刻情報 241とフレーム区切り抽出部 34が出力するフレーム区切り情報 341とを RTPヘッダ部に設定する。

[0097] 制御情報受信部 43は、符号化ストリーム出力装置から伝送路 101を経由して符号化情報 131を受信すると、符号化情報 131から vop_time_increment_resolutionおよび profile_and_level_indicationを抽出する。制御情報受信部 43は、その抽出した vop_tim e_increment_resolutionを時間解像度 232として時刻情報算出部 24に出力し、その抽出した profile_and_level_indicationをプロファイル 332としてフレーム区切り抽出部 34 に出力する。

[0098] 符号化ストリームパケット化部 42および制御情報受信部 43以外の構成要素は、第

1の実施の形態または第 2の実施の形態における構成要素と同じである。

[0099] 次に、パケット送信装置 4の動作を図 2および図 5を参照して説明する。

[0100] 制御情報受信部 43は、符号化ストリーム出力装置力も伝送路 101を経由して符号化情報 131を受信すると、符号化情報 131から vop_time_increment_resolutionを抽出する。制御情報受信部 43は、その抽出した vop_timejncrement_resolutionを時間解像度 232として時刻情報算出部 24に出力する。

[0101] また、制御情報受信部 43は、符号化情報 131から profile_and_level_indicationを抽出する。制御情報受信部 43は、その抽出した profile_and_level_indicationをプロフアイル 332としてフレーム区切り抽出部 34に出力する。

[0102] 時刻情報算出部 24は、第 1の実施の形態の場合と同様に動作する。フレーム区切り抽出部 34は、第 2の実施の形態の場合と同様に動作する。

[0103] 符号化ストリームパケットィ匕部 42は、符号化ストリーム受信部 21から符号ィ匕データ 2

12を受信し、フレーム区切り抽出部 34からフレーム区切り情報 341を受信する。

[0104] 符号化ストリームパケットィ匕部 42は、符号化データ 212を RTPパケット化する。このとき、符号化ストリームパケットィ匕部 42は、 RTPヘッダ部におけるマーカビットにフレーム区切り情報 341を設定し、かつ、 RTPペイロード部に符号ィ匕データ 212を設定する。そして、符号化ストリームパケットィ匕部 42は、 RTPパケット化された符号化データ 212を、 RTPパケット 121として伝送路 102に送出する。

[0105] この実施の形態では、パケット送信装置 4は、第 1の実施の形態の構成と第 2の実施の形態の構成とを兼ね備えている。従って、第 1の実施の形態の効果と第 2の実施の形態の効果とを併せて得ることができる。

[0106] なお、符号ィ匕方式が MPEG— 4に限られず、他の符号ィ匕方式を用いてもよいことは、第 1の実施の形態および第 2の実施の形態の場合と同じである。また、伝送路 101 が回線交換網であって、 ITU— U勧告 H. 245を呼制御に使用するようなシステムでは、 H. 245における符号ィ匕情報を用いて、タイムスタンプを算出することができ、力つ、マーカビットを決定することができる。つまり、伝送路 101が回線交換網である場合、制御情報受信部 43を、 H. 245処理部で実現することができる。

[0107] また、伝送路 101がパケット交換網であって、 IETF勧告 RFC2327 (SDP)を用いて符号ィ匕情報等の制御情報を送受信するシステムでは、 SDPにおける符号ィ匕情報を用いて、タイムスタンプを算出することができ、かつ、マーカビットを決定することができる。つまり、伝送路 101がパケット交換網である場合、制御情報受信部 43を、 SD P処理部で実現することができる。

[0108] 本実施例によれば、時刻情報算出部 24は、制御情報受信部 23が受信した符号ィ匕情報と、符号化ストリーム受信部 21が受信した符号化ストリームとを使用して時刻情報の値を算出する。時刻情報算出部 24は、その値が正当でない場合、その時刻情報を補正し、その補正した時刻情報を出力する。フレーム区切り抽出部 34は、制御情報受信部 33が受信した符号ィ匕情報を使用して、符号化ストリーム受信部 21が受信した符号化ストリーム力もフレームの区切りを抽出する。フレーム区切り抽出部 34 は、そのフレームの区切りが正当でない場合、そのフレームの区切りを補正する。フレーム区切り抽出部 34は、その補正したフレームの区切りを示す情報を出力する。符号化ストリームパケット化部 22は、時刻情報算出部 24が出力した時刻情報と、フレーム区切り抽出部 34が出力したフレームの区切りを示す情報とをヘッダ部に設定して、符号化ストリームをパケットィ匕する。

[0109] この場合、例えば、伝送路においてビット誤りまたはデータロスが生じても、パケットに、正当な時刻情報とフレームの区切りを示す情報とを設定することが可能になる。したがって、パケットに設定される時刻情報とフレームの区切りを示す情報との確度を改善することが可能になる。

[0110] なお、上記の各実施の形態では、パケットとして RTPパケットを例にした力本発明による符号化ストリーム送信装置が扱えるパケットは、 RTPパケットに限定されない。符号化ストリーム送信装置は、タイムスタンプやマーカビットに相当する情報が設定されるパケットであれば、他の種類のパケットを作成する装置であってもよ、。

産業上の利用可能性

[0111] 本発明を、回線交換網またはパケット交換網等による伝送路に接続され、伝送路を経由して受信した符号化ストリームをパケットィ匕して送出する端末装置およびメディア配信サーバなどに適用することができる。

Claims

請求の範囲

[1] 符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、

前記符号化ストリームを受信する符号化ストリーム受信部と、

前記符号化ストリームの符号化情報を受信する制御情報受信部と、

前記制御情報受信部が受信した符号化情報と、前記符号化ストリーム受信部が受信した符号化ストリームとを使用して時刻情報の値を算出し、前記算出した値が正当である場合、前記算出した値の時刻情報を出力し、前記算出した値が正当でない場合、前記算出した値を補正し、前記補正した値の時刻情報を出力する時刻情報算出部と、

前記時刻情報算出部が出力した時刻情報をヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケット化部と、を含む符号化ストリーム送信装置。

[2] 符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、

前記制御情報受信部が受信した符号化情報を使用して、前記符号化ストリーム受信部が受信した符号化ストリーム力もフレームの区切りを抽出し、前記抽出したフレームの区切りが正当である場合、前記抽出したフレームの区切りを示す情報を出力し、前記抽出したフレームの区切りが正当でない場合、前記フレームの区切りを補正し、前記補正したフレームの区切りを示す情報を出力するフレーム区切り抽出部と、前記フレーム区切り抽出部が出力するフレームの区切りを示す情報をヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケット化部と、を含む符号化ストリーム送信装置。

[3] 符号化ストリームをパケットで送信する符号化ストリーム送信装置であって、

前記制御情報受信部が受信した符号化情報を使用して、前記符号化ストリーム受信部が受信した符号化ストリーム力もフレームの区切りを抽出し、前記抽出したフレームの区切りが正当である場合、前記抽出したフレームの区切りを示す情報を出力し、前記抽出したフレームの区切りが正当でない場合、前記フレームの区切りを補正し、前記補正したフレームの区切りを示す情報を出力するフレーム区切り抽出部と、前記時刻情報算出部が出力する時刻情報と、前記フレーム区切り抽出部が出力するフレームの区切りを示す情報とをヘッダ部に設定して、前記符号化ストリーム受信部が受信した符号化ストリームをパケット化する符号化ストリームパケット化部と、を含む符号化ストリーム送信装置。

[4] 前記符号化ストリーム受信部は、 MPEG— 4方式の符号化ストリームを受信し、前記時刻情報算出部は、前記符号化ストリーム受信部が受信した符号化ストリーム使用して前記時刻情報を算出する、請求の範囲 1または 3に記載の符号化ストリーム

[5] 前記符号化ストリーム受信部は、 MPEG— 4方式の符号化ストリームを受信し、前記フレーム区切り抽出部は、前記符号化ストリーム受信部が受信した符号化ストリームに含まれるスタートコードを使用して前記フレームの区切りを抽出する、請求の範囲 2または 3に記載の符号化ストリーム送信装置。

[6] 前記制御情報受信部は、前記符号ィヒ情報として MPEG— 4方式の DCIを受信し、目 iJ ciDCI力ら vop— time— increment— resolution 抽出し、

前記時刻情報算出部は、前記制御情報受信部が抽出した前記 vopjime— increment resolution^,前記符号化ストリーム受信部が受信した符号化ストリームとを使用して前記時刻情報を算出する、請求の範囲 1、 3または 4に記載の符号化ストリーム送信

[7] 前記制御情報受信部は、前記符号ィ匕情報として MPEG— 4方式の DCIを受信し、前記 DCI力ら profile— and—level—indicationを抽出し、

前記フレーム区切り抽出部は、前記制御情報受信部が抽出した前記 pr₀file__andj_ev el—indicationを使用して、前記符号化ストリーム受信部が受信した符号化ストリームから前記フレームの区切りを抽出する、請求の範囲 2、 3または 5に記載の符号化ストリーム送信装置。

[8] 前記制御情報受信部は、前記符号ィ匕情報として IETF勧告 RFC2327 (SDC)による符号ィ匕情報を受信する、請求の範囲 1ないし 5のいずれか 1項に記載の符号化ストリーム送信装置。

[9] 前記制御情報受信部は、前記符号化情報として ITU— T勧告 H. 245による符号化情報を受信する、請求の範囲 1ないし 5のいずれ力 1項に記載の符号化ストリーム送信装置。

[10] 前記制御情報受信部は、前記符号化情報として MPEG— 4方式の DCIを受信する、請求の範囲 1ないし 5のいずれか 1項に記載の符号化ストリーム送信装置。