JP4655006B2

JP4655006B2 - Ｉｐストリーム送受信システム、ｉｐストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法

Info

Publication number: JP4655006B2
Application number: JP2006225970A
Authority: JP
Inventors: 延幸長藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-08-23
Filing date: 2006-08-23
Publication date: 2011-03-23
Anticipated expiration: 2026-08-23
Also published as: US8514945B2; US20080049846A1; JP2008053872A

Description

本発明はＩＰストリーム送受信システム、ＩＰストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法に関し、特にＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの受信処理のタイミング同期化に関する。

ＩＰネットワーク上等でリアルタイムに映像、音声ストリーム等を送受信する場合には、一般的にＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットが用いられ、また映像、音声ストリームはＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）に代表される符号化データや非圧縮（ＰＣＭ：ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）データ等が用いられている。

このＩＰストリームの受信処理における同期タイミング（例えば、ＴＳタイムスタンプ等）は、ＵＤＰより上位で定義されるプロトコル［例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）等］上で付加されている。この場合、ＩＰストリームとしては、図８（ａ）に示すようなＲＴＰヘッダを付加する例や図８（ｂ）に示すような独自ヘッダを付加する例がある。

図８（ａ）に示すＩＰストリームは、「ＩＰヘッダ」、「ＵＤＰヘッダ」、「ＲＴＰヘッダ」、「ＰＡＹＬＯＡＤ（映像、音声等）」から構成され、同期タイミングが「ＲＴＰヘッダ」に挿入される。図８（ｂ）に示すＩＰストリームは、「ＩＰヘッダ」、「ＵＤＰヘッダ」、「独自ヘッダ」、「ＰＡＹＬＯＡＤ（映像、音声等）」から構成され、同期タイミングが「独自ヘッダ」に挿入される。尚、上記の同期タイミングの代わりに、例えば、ＲＴＰヘッダ上のシーケンス番号先頭や独自ヘッダの同期フラグ等を用いることも可能である。

ＩＰストリームを受信する装置の構成例を図９に示す。図９において、映像／音声受信装置３はＩＰ網１００からＩＰパケットを受信するＵＤＰ／ＩＰ受信回路３１と、受信したＩＰパケットからＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号するＦＥＣ復号回路３２と、ＦＥＣ復号して誤り訂正が行われたＴＳパケットから映像／音声の復号処理を行う映像／音声復号処理回路３３とを含んで構成されている。

このＩＰストリームの同期タイミング（受信処理タイミング）は、ＩＰストリームを受信した直後のＦＥＣ復号処理等（ブロック、フレーミング処理）に必要となる。ここで、ブロックとはｎ個のＴＳパケットからなる組を指している。また、ＦＥＣ復号処理等にて、後述する誤り訂正処理が行われてロストしたＴＳパケットの復元が行われる（例えば、特許文献１参照）。

上記の同期タイミングは、送信側でＴＳパケットの先頭バイト到達時の時間を、送信直前に、ＴＳタイムスタンプとして付加し、受信側でＴＳタイムスタンプを再生し、ＴＳパケット先頭に付加されているタイムスタンプ情報を見ながら、送信時（ＴＳタイムスタンプ付加時）とパケット間隔が同じになるように、ＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）等を使って制御している。ここで、タイムスタンプ情報は２７ＭＨｚ、カウント値３２ｂｉｔで表現される。これは、一般的に、タイムスタンプ付きＴＳ（ＴＴＳ）と呼ばれることがある。

従来のＴＳタイムスタンプの付加例を図１０に示している。この図１０に示す例の場合、ＴＳパケット＃０のＴＳタイムスタンプをｔ０、ＴＳパケット＃１のＴＳタイムスタンプをｔ１とし、ＴＳパケット＃０をＦＩＦＯから読出して開始した時間をｔＡとすると、ＴＳパケット＃１のＦＩＦＯから読出すタイミングｔＢは、
ｔＢ＝ｔＡ＋（ｔ１−ｔ０）
という式によって算出される。

また、ＦＥＣ処理においては、一般にリード・ソロモン符号やＬＤＰＣ（ｌｏｗｄｅｎｓｉｔｙｐａｒｉｔｙｃｈｅｃｋ）符号等の「線形符号」を利用することができる。以下、ＬＤＰＣ符号を例に取ってパケットレベル（１パケット＝符号語の１ビット）の誤り訂正動作について簡単に説明する。

まず、ＦＥＣ処理に、パケット「０」〜「６」が入力されると、図１１に示すように、予め設定された検査行列を基に冗長パケット「７」〜「９」が作成される。この例の場合、冗長パケット「７」はパケット「１」とパケット「３」とパケット「５」との排他的論理和（ｅＸｃｌｕｓｉｖｅＯＲ）をとることで算出され、冗長パケット「８」はパケット「２」とパケット「４」とパケット「６」との排他的論理和をとることで算出され、冗長パケット「９」はパケット「０」とパケット「３」とパケット「６」との排他的論理和をとることで算出される。

受信側では、図１２に示すように、冗長パケット「７」〜「９」が付加されかつパケット「０」，「３」，「６」がロストしたＩＰストリームを受信すると、受信パケットのシーケンス番号をみて受信したパケットの位置に‘０’を書込むことでエラーリストを作成する。この時、エラーリストの初期値を‘１’とする。この場合、パケット「０」，「３」，「６」がロストしているので、エラーリストは‘１００１００１０００’となる。

このエラーリストと上記の検査行列とを突き合わせ、エラーリストを頭から順にリードし、エラーリストが‘１’の部分に対応する「列」に重み（‘１’）があれば、それを「エラー重み」（丸で囲んだ箇所）と定義し、「エラー重み」が行毎に幾つあるかをカウントしていく（行エラー重み数）。

図１２に示す例では、検査行列の１行目の行エラー重み数が「１」、検査行列の２行目の行エラー重み数が「１」、検査行列の３行目の行エラー重み数が「３」となる。この結果から、検査行列の１行目及び２行目が復元可能と判断され、それぞれ検査行列の１行目及び２行目の「エラー重み」以外の重み（‘１’）の部分のパケットの排他的論理和をとることでロストしたパケット「３」，「６」を復元する。この例の場合、ロストしたパケット「３」はパケット「１」とパケット「５」とパケット「７」との排他的論理和をとることで復元され、ロストしたパケット「６」はパケット「２」とパケット「４」とパケット「８」との排他的論理和をとることで復元される。

以上の処理はＦＥＣ処理における「サーチ」と呼ばれており、１回目の「サーチ」ではロストしたパケット「３」，「６」が復元されたこととなる。続いて、ＦＥＣ処理では、２回目の「サーチ」が行われるが、その際に、ロストしたパケット「３」，「６」が復元されたので、復元されたパケット「３」，「６」の位置に‘０’を書込むことでエラーリストを更新する。

２回目の「サーチ」でも、上記と同様に、エラーリストと上記の検査行列とを突き合わせ、エラーリストを頭から順にリードし、エラーリストが‘１’の部分に対応する「列」に重み（‘１’）があれば、それを「エラー重み」（丸で囲んだ箇所）と定義し、「エラー重み」が行毎に幾つあるかをカウントしていく（行エラー重み数）。

図１３に示す例では、検査行列の１行目の行エラー重み数が「０」、検査行列の２行目の行エラー重み数が「０」、検査行列の３行目の行エラー重み数が「１」となる。この結果から、検査行列の３行目が復元可能と判断され、検査行列の３行目の「エラー重み」以外の重み（‘１’）の部分のパケットの排他的論理和をとることでロストしたパケット「０」を復元する。この例の場合、ロストしたパケット「０」はパケット「３」とパケット「６」とパケット「９」との排他的論理和をとることで復元される。

以上に示したように、ＬＤＰＣのような誤り訂正処理では、エラー訂正可能なパターンがなくなるまで何度もサーチを繰り返し行う。しかしながら、ＬＤＰＣのような誤り訂正処理時間には、図１４に示すように、リアルタイムで処理する場合、限りがあるため（１ＦＥＣブロック時間）、各ＦＥＣブロックの訂正開始時間を規定する必要がある。この場合、各ＦＥＣブロックの訂正開始時間はＦＥＣ出力タイミング（＝ＴＳタイムスタンプ再生タイミング）より決定される。

図１４において、ＦＥＣ処理はＦＥＣ入力、ＦＥＣ訂正、ＦＥＣ出力が順次行われる。つまり、まず、ＦＥＣ入力＃１の処理が行われ、ＦＥＣ入力＃１の処理が終了すると、ＦＥＣ入力＃２の処理とＦＥＣ訂正＃１の処理とが行われる。続いて、ＦＥＣ入力＃２の処理が終了すると、ＦＥＣ入力＃３の処理とＦＥＣ訂正＃２の処理とＦＥＣ出力＃１の処理とが行われる。このように、ＦＥＣ処理では、ＦＥＣ入力、ＦＥＣ訂正、ＦＥＣ出力各々の処理が順次行われる。

特開２００５−２１０２１９号公報

上述した従来のＩＰストリームの受信装置では、ＬＤＰＣのような誤り訂正処理の場合、図１４に示すように、エラー訂正可能なパターンがなくなるまで何度もサーチが繰り返し行われるが、次のブロックの訂正開始タイミングがあるため、特にリアルタイムに処理を行う場合、誤り訂正処理時間に限りがある。

この場合、ＩＰストリームの受信がネットワークジッタ、パケット順序入れ替わり、パケットロス等によって不安定な状態になると、安定的・効果的に誤り訂正等の処理を行うことが困難となる。具体的には、誤り訂正処理時間を充分に確保することが難しくなる場合があり、前のブロックの受信処理の時間がネットワークジッタで延びてしまうと、そのブロックに続くブロックの誤り訂正処理時間が充分に確保できなくなる等の影響を与えてしまう。誤り訂正処理時間が短くなると、サーチの繰り返し回数が減ることとなり、誤り訂正能力が弱くなってしまうこととなる。

そこで、本発明の目的は上記の問題点を解消し、ＩＰストリームの受信が不安定な状態になっても、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができるＩＰストリーム送受信システム、ＩＰストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法を提供することにある。

本発明によるＩＰストリーム送受信システムは、受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置を含むＩＰストリーム送受信システムであって、
前記ＩＰストリーム受信装置は、前記ＦＥＣ復号処理の後段のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）タイムスロット再生処理で確定されるＴＳ同期を基に前記受信処理タイミングを生成する回路を備えている。

本発明によるＩＰストリーム受信装置は、受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置であって、
前記ＦＥＣ復号処理の後段のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）タイムスロット再生処理で確定されるＴＳ同期を基に前記受信処理タイミングを生成する回路を備えている。

本発明による受信処理タイミング同期化方法は、受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置を含むＩＰストリーム送受信システムに用いられる受信処理タイミング同期化方法であって、
前記ＩＰストリーム受信装置が、前記ＦＥＣ復号処理の後段のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）タイムスロット再生処理で確定されるＴＳ同期を基に前記受信処理タイミングを生成する処理を実行している。

すなわち、本発明のＩＰストリーム送受信システムは、受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリーム入力がネットワークジッタ、パケット順序入れ替わり、パケットロス等によって不安定な状態となっても、送信側に同期化した信号タイミングを安定的に生成することを特徴とする。ここで、受信ＩＰストリームは、その中身が映像、音声ストリーム等のＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットであり、映像、音声ストリームはＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）に代表される符号化データや非圧縮（ＰＣＭ：ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）データ等である。

上記のＩＰストリームの受信処理における同期タイミング（例えば、ＴＳタイムスタンプ等）は、ＵＤＰより上位で定義されるプロトコル［例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）等］上で付加されている。尚、上記の同期タイミングの代わりに、例えば、ＲＴＰヘッダ上のシーケンス番号先頭や独自ヘッダの同期フラグ等を用いることも可能である。

また、同期タイミング（受信処理タイミング）は、ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理等（ブロック、フレーミング処理）に必要となる。ここで、ブロックとはｎ個のＴＳパケットからなる組を指している。

より具体的説明すると、本発明のＩＰストリーム送受信システムでは、上記のＦＥＣ復号処理の後段のＴＳタイムスロット再生処理で確定されるＴＳ同期を基に正確な受信処理タイミング（ブロック同期）を生成している。つまり、本発明のＩＰストリーム送受信システムでは、ＴＳタイムスタンプ再生部で各ＴＳパケットに付加されている時間情報を基に正確な時間間隔でＴＳパケットを出力しており、この正確なＴＳ同期を基にブロック同期を生成してＦＥＣ復号処理に送出している。

ＴＳ同期がｎ周期経過した時点で、ＦＥＣ出力処理＃１が完了すると、ＦＥＣ出力処理＃２が開始され、ＦＥＣ訂正処理＃３が開始される。この場合、ＦＥＣ入力処理＃４が開始されている。これからさらに、ＴＳ同期がｎ周期経過した時点で、ＦＥＣ出力処理＃２が完了すると、ＦＥＣ出力処理＃３が開始され、ＦＥＣ訂正処理＃４が開始される。

これによって、本発明のＩＰストリーム送受信システムでは、上述した正確なＴＳ同期タイミングによってＦＥＣ処理の開始タイミングを規定しているので、処理タイミングの安定化を図ることが可能となり、受信ＩＰストリーム入力のネットワークジッタやパケットロス等の影響を受けなくなる。つまり、本発明のＩＰストリーム送受信システムでは、受信ＩＰストリーム入力がネットワークジッタ、パケット順序入れ替わり、パケットロス等によって不安定な状態でも、送信側に同期化した信号タイミングを安定的に生成することが可能となる。

尚、上述した正確なＴＳ同期を得るまでの間、本発明のＩＰストリーム送受信システムでは、送信側が実際のＩＰストリームを送信する前に、予め設定された所定数のダミーのＩＰストリームを送信し、受信側がダミーのＩＰストリームの同期タイミング（受信処理タイミング）を測定し、その測定結果を平均化したものを仮同期タイミングとしてＦＥＣ処理に与えることで、ＦＥＣ入力、ＦＥＣ訂正、ＦＥＣ出力を仮同期タイミングに同期させて行うことで、ＴＳ同期を得るようにしている。

本発明は、上記のような構成及び動作とすることで、ＩＰストリームの受信が不安定な状態になっても、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができるという効果が得られる。

次に、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例によるＩＰストリーム送信装置の構成例を示すブロック図であり、図２は本発明の一実施例によるＩＰストリーム受信装置の構成例を示すブロック図である。図１及び図２においては、ＩＰストリーム送信装置及びＩＰストリーム受信装置として、映像／音声送信装置１及び映像／音声受信装置２の構成例を示している。

図１において、映像／音声送信装置１は映像／音声入力及び映像フレーム同期を基に映像／音声の符号化処理を行う映像／音声符号化処理回路（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）１１と、映像／音声符号化処理回路１１からのＭＰＥＧ２−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）パケット（以下、ＴＳパケットとする）にＴＳタイムスタンプを付加するＴＳタイムスタンプ付加回路１２と、ＴＳパケットに冗長パケットを付加するＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）符号化回路１３と、ＴＳパケットにＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）ヘッダを付加するＲＴＰ化回路１４と、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）ヘッダやＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ヘッダを付加してＩＰ網１００に送信するＵＤＰ／ＩＰ送信回路１５とを含んで構成されている。

映像／音声符号化処理回路１１は映像／音声入力及び映像フレーム同期を基に映像／音声の符号化処理を行い、ＴＳパケットとＴＳ同期とをＴＳタイムスタンプ付加回路１２に送出する。ＴＳタイムスタンプ付加回路１２はＴＳパケットとＴＳ同期とを受取ると、ＴＳパケットの先頭バイト到達時の時間を、ＴＳパケットの送信直前に、ＴＳタイムスタンプとして付加し、そのＴＳパケットをＦＥＣ符号化回路１３に送出する。また、ＴＳタイムスタンプ付加回路１２はＴＳ同期がｎ周期経過した時点でブロック同期をＦＥＣ符号化回路１３に送出する。

ＦＥＣ符号化回路１３はＴＳパケットとブロック同期とを受取ると、従来の技術で説明したように、ＴＳパケットに付加する冗長パケットを生成し、その冗長パケットをＴＳパケットに付加してＲＴＰ化回路１４に送出する。冗長パケットが付加されたＴＳパケットはＲＴＰ化回路１４でＲＴＰヘッダが付加され、ＵＤＰ／ＩＰ送信回路１５でＵＤＰヘッダやＩＰヘッダが付加されてＩＰパケットとしてＩＰ網１００に送信される。

図２において、映像／音声受信装置２はＩＰ網１００からＩＰパケットを受信するＵＤＰ／ＩＰ受信回路２１と、受信したＩＰパケットからＲＴＰヘッダを外してＴＳパケットを取出すＲＴＰ受信回路２２と、予め設定された所定数（例えば、５ブロック等）のダミーのＴＳパケットから仮同期タイミングを生成する仮同期タイミング生成回路２３と、ＴＳパケットからＦＥＣ復号するＦＥＣ復号回路２４と、ＦＥＣ復号して誤り訂正が行われたＴＳパケットからＴＳタイムスタンプを抽出してＴＳ同期を生成するＴＳタイムスタンプ再生回路２５と、映像／音声の復号処理を行う映像／音声復号処理回路（ＭＰＥＧ２）２６とを含んで構成されている。

ＵＤＰ／ＩＰ受信回路２１はＩＰ網１００からＩＰパケットを受信すると、ＩＰパケットからＵＤＰヘッダやＩＰヘッダを外してＲＴＰ受信回路２２に送出する。ＲＴＰ受信回路２２はＵＤＰヘッダやＩＰヘッダが外されたパケットからＲＴＰヘッダを外してＴＳパケットを取出し、先頭から所定数のダミーのＴＳパケットを仮同期タイミング生成回路２３に送り、それ以降のＴＳパケットをＦＥＣ復号回路２４に送る。

仮同期タイミング生成回路２３は所定数のダミーのＴＳパケットの同期タイミング（受信処理タイミング）を測定し、その測定結果を平均化したものを仮同期タイミングとしてＦＥＣ復号回路２４に与える。ＦＥＣ復号回路２４は、上述した従来の技術と同様に、ＦＥＣ入力処理、ＦＥＣ訂正処理、ＦＥＣ出力処理を実行してＴＳパケットの誤り訂正（ＴＳパケットの復元等）を行い、誤り訂正したＴＳパケットをＴＳタイムスタンプ再生回路２５に送る。

ＴＳタイムスタンプ再生回路２５はＦＥＣ復号して誤り訂正が行われたＴＳパケットを映像／音声復号処理回路２６に送るとともに、そのＴＳパケットからＴＳタイムスタンプを抽出してＴＳ同期を生成し、そのＴＳ同期がｎ周期経過する毎にブロック同期をＦＥＣ復号回路２４に与える。映像／音声復号処理回路２６はＴＳパケットを受取ると、ＴＳパケットに対して映像／音声の復号処理を行い、映像／音声を図示せぬ他の回路に出力するとともに、映像フレーム同期を再生して他の回路に出力する。

ここで、ＦＥＣ復号回路２４は、ＴＳタイムスタンプ再生回路２５からブロック同期が送られてくるまでは仮同期タイミング生成回路２３からの仮同期タイミングに同期して上記のＦＥＣ入力処理、ＦＥＣ訂正処理、ＦＥＣ出力処理を実行し、ブロック同期が送られてくると、それ以降、ブロック同期に同期して上記のＦＥＣ入力処理、ＦＥＣ訂正処理、ＦＥＣ出力処理を実行する。

図３は図１の映像／音声送信装置１の処理動作を示すタイミングチャートであり、図４は図２の映像／音声受信装置２の処理動作を示すタイミングチャートであり、図５は図２の映像／音声受信装置２の処理動作を示すフローチャートである。これら図１〜図５を参照して本発明の一実施例によるＩＰストリーム送受信システムの動作について説明する。

映像／音声送信装置１においては、図３に示すように、映像／音声符号化処理回路１１が映像／音声入力及び映像フレーム同期を基に映像／音声の符号化処理を行い、ＴＳパケット（１，・・・，ｎ）とＴＳ同期（ｔ１，ｔ２，ｔ３，・・・）とをＴＳタイムスタンプ付加回路１２に送出する。

ＴＳタイムスタンプ付加回路１２はＴＳパケットとＴＳ同期とを受取ると、ＴＳパケットの先頭バイト到達時の時間を、ＴＳパケットの送信直前に、ＴＳタイムスタンプとして付加し、そのＴＳパケットをＦＥＣ符号化回路１３に送出する。また、ＴＳタイムスタンプ付加回路１２はＴＳ同期がｎ周期経過した時点でブロック同期をＦＥＣ符号化回路１３に送出する。

ＦＥＣ符号化回路１３はＴＳパケットとブロック同期とを受取ると、ＦＥＣ入力処理、ＦＥＣ訂正符号生成処理、ＦＥＣ出力処理からなるブロック同期処理を実行する。この場合、ＦＥＣ符号化回路１３はＦＥＣ訂正符号生成処理にて、上記の従来の技術で説明したように（図１１参照）、ＴＳパケットに付加する冗長パケットを生成し、その冗長パケットをＴＳパケットに付加してＲＴＰ化回路１４に送出する。

冗長パケットが付加されたＴＳパケットはＲＴＰ化回路１４でＲＴＰヘッダが付加され（ＲＴＰ化）、ＵＤＰ／ＩＰ送信回路１５でＵＤＰヘッダやＩＰヘッダが付加されて（ＵＤＰ／ＩＰ化）、ＩＰパケットとしてＩＰ網１００に送信される。

映像／音声受信装置２においては、図４に示すように、ＵＤＰ／ＩＰ受信回路２１がＩＰ網１００からＩＰパケットを受信すると、ＩＰパケットからＵＤＰヘッダやＩＰヘッダを外してＲＴＰ受信回路２２に送出する。ＲＴＰ受信回路２２はＵＤＰヘッダやＩＰヘッダが外されたパケットからＲＴＰヘッダを外してＴＳパケットを取出し、先頭から所定数のダミーのＴＳパケットを仮同期タイミング生成回路２３に送り、それ以降のＴＳパケットをＦＥＣ復号回路２４に送る。

仮同期タイミング生成回路２３は所定数のダミーのＴＳパケットの同期タイミング（受信処理タイミング）を測定し、その測定結果を平均化したものを仮同期タイミングとしてＦＥＣ復号回路２４に与える。ＦＥＣ復号回路２４は、上述した従来の技術と同様に（図１２及び図１３参照）、ＦＥＣ入力処理（ＦＥＣ入力＃１，＃２，＃３，＃４，・・・）、ＦＥＣ訂正処理（ＦＥＣ訂正処理＃１，＃２，＃３，・・・）、ＦＥＣ出力処理（ＦＥＣ出力＃１，＃２，・・・）を実行してＴＳパケットの誤り訂正（ＴＳパケットの復元等）を行い、誤り訂正したＴＳパケットをＴＳタイムスタンプ再生回路２５に送る。

ＴＳタイムスタンプ再生回路２５はＦＥＣ復号して誤り訂正が行われたＴＳパケット（１，・・・，ｎ）を映像／音声復号処理回路２６に送るとともに、そのＴＳパケットからＴＳタイムスタンプを抽出してＴＳ同期（ｔ１，ｔ２，ｔ３，・・・，ｔｎ）を生成し、そのＴＳ同期がｎ周期経過する毎にブロック同期をＦＥＣ復号回路２４に与える。本実施例では、このＴＳタイムスタンプ再生回路２５による最初のＴＳタイムスタンプ再生によって、１ＦＥＣ分（ＦＥＣ出力＃１）の正確な時間再生が行われ、ＦＥＣ出力＃２の開始タイミングとＦＥＣ訂正処理＃３の開始タイミングとが確定する。

映像／音声復号処理回路２６はＴＳパケットを受取ると、ＴＳパケットに対して映像／音声の復号処理を行い、映像／音声を図示せぬ他の回路に出力するとともに、映像フレーム同期を再生して他の回路に出力する。

ここで、ＦＥＣ復号回路２４は、ＴＳタイムスタンプ再生回路２５からブロック同期が送られてくるまでは仮同期タイミング生成回路２３からの仮同期タイミングに同期して上記のＦＥＣ入力処理（ＦＥＣ入力＃１，＃２，＃３）、ＦＥＣ訂正処理（ＦＥＣ訂正処理＃１，＃２）、ＦＥＣ出力処理（ＦＥＣ出力＃１）を開始し、ブロック同期が送られてくると、それ以降、ブロック同期に同期して上記のＦＥＣ入力処理（ＦＥＣ入力＃４）、ＦＥＣ訂正処理（ＦＥＣ訂正処理＃３）、ＦＥＣ出力処理（ＦＥＣ出力＃２）を開始する。

次に、図５を参照して映像／音声受信装置２の処理動作について説明する。映像／音声受信装置２では、同期化処理を開始し、予め設定された映像／音声送信装置１からのダミーブロックを所定数受信すると（図５ステップＳ１）、仮同期タイミング生成回路２３において所定数のダミーのＴＳパケットの同期タイミング（受信処理タイミング）を測定し、所定数のダミーブロックの受信時間の平均化によって仮同期タイミングを生成する（図５ステップＳ２）。

映像／音声受信装置２では、ＦＥＣ復号回路２４において、仮同期タイミング＃１にてＦＥＣ入力処理＃１を開始し（図４参照）（図５ステップＳ３）、仮同期タイミング＃２にてＦＥＣ入力処理＃２を開始し、ＦＥＣ訂正処理＃１を開始する（図４参照）（図５ステップＳ４）。

また、映像／音声受信装置２では、ＦＥＣ復号回路２４において、仮同期タイミング＃３にてＦＥＣ入力処理＃３を開始し、ＦＥＣ訂正処理＃２を開始し、ＦＥＣ出力処理＃１を開始する（図４参照）（図５ステップＳ５）。この後、映像／音声受信装置２では、ＴＳ同期がｎ周期経過すると（図５ステップＳ６）、仮同期タイミング生成回路２３において仮同期タイミングを停止し、ＴＳタイムスタンプ再生回路２５においてＦＥＣ復号回路２４のＦＥＣ出力処理＃１によってＴＳ同期がとられるので、ＦＥＣ復号回路２４ではそのＴＳ同期に基づくブロック同期にてＦＥＣ入力処理、ＦＥＣ訂正処理、ＦＥＣ出力処理を続行する（図４参照）（図５ステップＳ７）。

映像／音声受信装置２では、ＦＥＣ復号回路２４でのＦＥＣ入力処理、ＦＥＣ訂正処理、ＦＥＣ出力処理の続行によって、ＩＰストリームが終了すると（図５ステップＳ８）、処理を終了し、ＩＰストリームが終了しなければ（図５ステップＳ８）、ステップＳ６に戻ってＴＳ同期がｎ周期経過する毎にブロック同期が送出されるので、ＦＥＣ復号回路２４においてＦＥＣ入力処理、ＦＥＣ訂正処理、ＦＥＣ出力処理が続行される。

図６は本発明の一実施例によるＦＥＣ復号回路２４のＦＥＣ出力処理＃１によってＴＳ同期がとられた後の動作を説明するための図であり、図７は本発明の一実施例による効果を説明するための図である。

このように、本実施例では、上記のように、正確な受信処理タイミング（ブロック同期）が生成されるため、図６に示すように、ＴＳタイムスタンプ再生回路２５で各ＴＳパケットに付加されている時間情報から、正確な時間間隔でのＴＳパケットの出力＝正確なＴＳ同期生成が行われる。

したがって、本実施例では、ＴＳ同期がｎ周期経過した時点で、「ＦＥＣ出力処理＃１完了」、「ＦＥＣ出力処理＃２開始」、「ＦＥＣ訂正処理＃３開始」が行われ、さらにＴＳ同期がｎ周期経過した時点で、「ＦＥＣ出力処理＃２完了」、「ＦＥＣ出力処理＃３開始」、「ＦＥＣ訂正処理＃４開始」が行われる。

以降、本実施例では、図６に示すように、下流処理（ＴＳタイムスタンプ再生回路２５の処理）で確定した正確な同期タイミングを上流処理（ＦＥＣ復号回路２４の処理）に反映しているので、正確にＴＳ同期がｎ周期経過する毎にＦＥＣ出力処理、ＦＥＣ訂正処理が行われる。

これによって、本実施例では、正確なＴＳ同期タイミングからＦＥＣ処理開始タイミングが規定されるので、処理タイミングの安定化を図ることができる。この場合、本実施例では、図７に示すように、下流処理（ＴＳタイムスタンプ再生回路２５の処理）で確定した正確な同期タイミングを用いているため、従来の処理で受けていた受信ＩＰ入力のネットワークジッタやパケットロス等の影響を受けることがなくなる。

本発明の一実施例によるＩＰストリーム送信装置の構成例を示すブロック図である。本発明の一実施例によるＩＰストリーム受信装置の構成例を示すブロック図である。図１の映像／音声送信装置の処理動作を示すタイミングチャートである。図２の映像／音声受信装置の処理動作を示すタイミングチャートである。図２の映像／音声受信装置の処理動作を示すフローチャートである。本発明の一実施例によるＦＥＣ復号回路のＦＥＣ出力処理＃１によってＴＳ同期がとられた後の動作を説明するための図である。本発明の一実施例による効果を説明するための図である。（ａ），（ｂ）は従来のＩＰストリームの構成例を示す図である。従来のＩＰストリーム受信装置の構成例を示すブロック図である。従来のＴＳタイムスタンプの付加例を示す図である。従来のＦＥＣ処理の処理例を示す図である。従来のＦＥＣ処理の処理例を示す図である。従来のＦＥＣ処理の処理例を示す図である。従来のＦＥＣ処理の流れを示す図である。

符号の説明

１映像／音声送信装置
２映像／音声受信装置
１１映像／音声符号化処理回路
１２ＴＳタイムスタンプ付加回路
１３ＦＥＣ符号化回路
１４ＲＴＰ化回路
１５ＵＤＰ／ＩＰ送信回路
２１ＵＤＰ／ＩＰ受信回路
２２ＲＴＰ受信回路
２３仮同期タイミング生成回路
２４ＦＥＣ復号回路
２５ＴＳタイムスタンプ再生回路
２６映像／音声復号処理回路
１００ＩＰ網

Claims

受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置を含むＩＰストリーム送受信システムであって、
前記ＩＰストリーム受信装置は、前記ＦＥＣ復号処理の後段のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）タイムスロット再生処理で確定されるＴＳ同期を基に前記受信処理タイミングを生成する回路を有することを特徴とするＩＰストリーム送受信システム。
前記ＴＳタイムスロット再生処理において、各ＴＳパケットに付加されている時間情報に基づいた時間間隔で前記ＴＳパケットを出力し、前記時間情報に基づくＴＳ同期を基にブロック同期を生成して前記ＦＥＣ復号処理に付与することを特徴とする請求項１記載のＩＰストリーム送受信システム。
前記受信処理タイミングは、少なくとも前記ＴＳパケットに付加されたＴＳタイムスタンプ、前記受信ＩＰストリームのＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）ヘッダ上のシーケンス番号先頭、前記受信ＩＰストリームの独自ヘッダの同期フラグのうちのいずれかを用いて生成されることを特徴とする請求項１または請求項２記載のＩＰストリーム送受信システム。
前記ＩＰストリーム受信装置は、予め設定された所定数のダミーのＩＰストリームの受信処理タイミングを測定しかつその測定結果に基づいた仮同期タイミングを生成して前記ＦＥＣ復号処理に付与する回路を含み、
前記ＦＥＣ復号処理は、前記ＴＳ同期が確定されるまでの間、前記仮同期タイミングにて処理を行うことを特徴とする請求項１から請求項３のいずれか記載のＩＰストリーム送受信システム。
前記受信ＩＰストリームは、少なくとも映像及び音声ストリームのＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットであることを特徴とする請求項１から請求項４のいずれか記載のＩＰストリーム送受信システム。
前記映像及び音声ストリームは、ＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）を含む符号化データ及び非圧縮データであることを特徴とする請求項５記載のＩＰストリーム送受信システム。
前記ＦＥＣ復号処理は、ＦＥＣ入力処理とＦＥＣ訂正処理とＦＥＣ出力処理とを順次行い、
前記ＦＥＣ出力処理が行われた後に前記ＴＳタイムスロット再生処理で前記ＴＳ同期が確定されることを特徴とする請求項１から請求項６のいずれか記載のＩＰストリーム送受信システム。
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置であって、
前記ＦＥＣ復号処理の後段のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）タイムスロット再生処理で確定されるＴＳ同期を基に前記受信処理タイミングを生成する回路を有することを特徴とするＩＰストリーム受信装置。
前記ＴＳタイムスロット再生処理において、各ＴＳパケットに付加されている時間情報に基づいた時間間隔で前記ＴＳパケットを出力し、前記時間情報に基づくＴＳ同期を基にブロック同期を生成して前記ＦＥＣ復号処理に付与することを特徴とする請求項８記載のＩＰストリーム受信装置。
前記受信処理タイミングは、少なくとも前記ＴＳパケットに付加されたＴＳタイムスタンプ、前記受信ＩＰストリームのＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）ヘッダ上のシーケンス番号先頭、前記受信ＩＰストリームの独自ヘッダの同期フラグのうちのいずれかを用いて生成されることを特徴とする請求項８または請求項９記載のＩＰストリーム受信装置。
予め設定された所定数のダミーのＩＰストリームの受信処理タイミングを測定しかつその測定結果に基づいた仮同期タイミングを生成して前記ＦＥＣ復号処理に付与する回路を含み、
前記ＦＥＣ復号処理において、前記ＴＳ同期が確定されるまでの間、前記仮同期タイミングにて処理を行うことを特徴とする請求項８から請求項１０のいずれか記載のＩＰストリーム受信装置。
前記受信ＩＰストリームが、少なくとも映像及び音声ストリームのＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットであることを特徴とする請求項８から請求項１１のいずれか記載のＩＰストリーム受信装置。
前記映像及び音声ストリームが、ＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）を含む符号化データ及び非圧縮データであることを特徴とする請求項１２記載のＩＰストリーム受信装置。
前記ＦＥＣ復号処理において、ＦＥＣ入力処理とＦＥＣ訂正処理とＦＥＣ出力処理とを順次行い、
前記ＦＥＣ出力処理が行われた後に前記ＴＳタイムスロット再生処理で前記ＴＳ同期が確定されることを特徴とする請求項８から請求項１３のいずれか記載のＩＰストリーム受信装置。
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置を含むＩＰストリーム送受信システムに用いられる受信処理タイミング同期化方法であって、
前記ＩＰストリーム受信装置が、前記ＦＥＣ復号処理の後段のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）タイムスロット再生処理で確定されるＴＳ同期を基に前記受信処理タイミングを生成する処理を実行することを特徴とする受信処理タイミング同期化方法。
前記ＴＳタイムスロット再生処理において、各ＴＳパケットに付加されている時間情報に基づいた時間間隔で前記ＴＳパケットを出力し、前記時間情報に基づくＴＳ同期を基にブロック同期を生成して前記ＦＥＣ復号処理に付与することを特徴とする請求項１５記載の受信処理タイミング同期化方法。
前記受信処理タイミングが、少なくとも前記ＴＳパケットに付加されたＴＳタイムスタンプ、前記受信ＩＰストリームのＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）ヘッダ上のシーケンス番号先頭、前記受信ＩＰストリームの独自ヘッダの同期フラグのうちのいずれかを用いて生成されることを特徴とする請求項１５または請求項１６記載の受信処理タイミング同期化方法。
前記ＩＰストリーム受信装置が、予め設定された所定数のダミーのＩＰストリームの受信処理タイミングを測定しかつその測定結果に基づいた仮同期タイミングを生成して前記ＦＥＣ復号処理に付与する処理を実行し、
前記ＦＥＣ復号処理は、前記ＴＳ同期が確定されるまでの間、前記仮同期タイミングにて処理を行うことを特徴とする請求項１５から請求項１７のいずれか記載の受信処理タイミング同期化方法。
前記受信ＩＰストリームが、少なくとも映像及び音声ストリームのＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットであることを特徴とする請求項１５から請求項１８のいずれか記載の受信処理タイミング同期化方法。
前記映像及び音声ストリームが、ＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）を含む符号化データ及び非圧縮データであることを特徴とする請求項１９記載の受信処理タイミング同期化方法。
前記ＦＥＣ復号処理において、ＦＥＣ入力処理とＦＥＣ訂正処理とＦＥＣ出力処理とを順次行い、
前記ＦＥＣ出力処理が行われた後に前記ＴＳタイムスロット再生処理で前記ＴＳ同期が確定されることを特徴とする請求項１５から請求項２０のいずれか記載の受信処理タイミング同期化方法。