JP5357839B2 - 送信装置及び送信プログラム - Google Patents

Description

本発明は、放送ネットワーク、及びＩＰ（Internet Protocol）パケットの欠損が発生する可能性のある一方向の通信ネットワークを用いて映像・音声信号を伝送する送信装置及び送信プログラムに関する。

従来、インターネット等の通信ネットワークを介して、送信装置から受信装置へＩＰパケットを一方向に伝送する場合、伝送路の途中に設けられたルーター等のネットワーク機器において、バッファオーバーフローにより一時的な輻輳が発生し、パケットが連続して廃棄されることがある。

このようなＩＰパケットの欠損の問題を解決するための手法として、ＦＥＣ（Forward Error Correction）処理が行われる。ＩＰパケットを一方向に伝送する送信装置は、ＦＥＣ処理を行うことにより複数のデータパケットから冗長パケットを生成し、冗長パケットをデータパケットと共に送信する。受信装置は、データパケットの欠損を検出した場合、冗長パケットを用いたＦＥＣの復号処理を行う。これにより、受信装置は欠損パケットを復元することができる。

また、前記問題を解決するための他の手法として、ＩＰパケットの連送処理が行われる。送信装置は、データパケットの欠損に備え、データパケットを複製し連続して送信する。このデータパケットを連続して送信する処理を連送という。受信装置は、送信装置により連送された複数の同じデータパケットのうち、少なくとも１つを受信することにより、データパケットの欠損に対応することができる。

また、特許文献１には、送信装置がＲＴＰ（Real time Transport Protocol）パケットを繰り返し送信することにより、信頼性を高めたデータ伝送を実現する手法が提案されている。さらに、特許文献２には、ＦＥＣ処理を用いた映像伝送において、送信装置が映像データをインタリーブし、その上で冗長パケットを生成する手法が提案されている。これにより、受信装置において、並び替え処理が不要になり高速処理を実現することができる。

特開２００４−１５９１０１号公報 特開２００８−１１１４２号公報

〔映像・音声信号を伝送するシステム〕
ところで、放送ネットワーク及び通信ネットワークを用いて映像及び音声を再生するためのアプリケーションの開発が進められている。このアプリケーションを実現する伝送システムでは、映像信号を格納したＩＰパケット及び音声信号を格納したＩＰパケットが放送波として放送ネットワークを介して伝送され、映像信号に付随する他の音声信号を格納したＩＰパケットが通信ネットワークを介して伝送される。受信装置は、放送ネットワークを介して、映像信号が格納されたＩＰパケット及び音声信号が格納されたＩＰパケットを受信すると共に、通信ネットワークを介して、他の音声信号が格納されたＩＰパケットを受信し、映像及び音声を再生する。このような伝送システムに、前述したＦＥＣ処理または／及び連送処理を適用することにより、通信ネットワークにおけるＩＰパケットの欠損の問題を解決することができる。

しかしながら、ＦＥＣ処理及び連送処理には、以下に示す２つの課題が存在する。第１の課題（課題１）は、冗長パケットを生成する際のブロック化に伴う遅延（ブロック化遅延）が発生すること、また、連送に伴う遅延（連送遅延）が発生することにある。第２の課題（課題２）は、ＩＰパケットの連送処理が行われ、輻輳によってＩＰパケットが所定数以上連続して廃棄された場合、受信装置がＩＰパケットを受信できないことにある。

〔課題１〕
前述のとおり、ＩＰパケットの欠損の問題を解決するためにＦＥＣ処理を用いる場合、送信装置は、複数のデータパケットに基づいて１つのまたは複数の冗長パケットを生成する。ここで、冗長パケットを生成する単位をブロックという。つまり、送信装置は、複数のデータパケットを集めてブロックを構成し（ブロック化し）、冗長パケットを生成する。しかし、このようなブロック化処理は、複数のデータパケットから冗長パケットを生成するための時間を要するから、ブロック化遅延が発生してしまう。

また、ＩＰパケットの欠損の問題を解決するために連送処理を用いる場合、送信装置は、ＩＰパケットを複製することにより、予め設定された繰り返し数分のＩＰパケットを生成し、連送する。しかし、受信装置は、複製された複数のＩＰパケットを受信することになるから、１つのＩＰパケットを受信する場合に比べ、連送に伴う遅延（連送遅延）が発生してしまう。

〔課題２〕
さらに、連送処理を用いる場合、通信ネットワーク内に設けられたルーター等のネットワーク機器が輻輳を検出したときには、前記繰り返し数以上のＩＰパケットを連続して廃棄することがあり得る。この場合、受信装置は、ＩＰパケットを正しく受信することができなくなってしまう。

前述したＦＥＣ処理及び連送処理に伴う課題１，２が、映像及び音声を再生するための伝送システムに与える影響について説明する。まず、ブロック化遅延及び連送遅延の課題１は、受信装置において、放送ネットワークを介して伝送される映像信号と、通信ネットワークを介して伝送される音声信号との間の受信タイミングの差を生じさせてしまう。例えば、受信装置が、映像信号に対応する音声信号を、映像信号よりも後に受信する場合、映像信号と音声信号とを同時に再生するためには、映像信号をバッファに一旦格納し、音声信号を受信するまで待つ必要がある。つまり、受信装置は、受信した映像信号を、それに対応する音声信号を受信するまで待たせる必要があり、映像信号を再生するのに遅延が生じてしまう。

また、連続廃棄の課題２は、受信装置において、通信ネットワークを介して伝送される音声信号の受信、すなわち映像信号に対応する音声信号の受信を不可能にしてしまう。

さらに、特許文献１には、ＲＴＰパケットを繰り返し送信することにより、信頼性を確保する手法が提案されており、繰り返しの単位は送信するデータの単位である。この手法も、前述の伝送システムに適用することができる。しかしながら、課題１の場合と同様に、ストリーミング配信への適用は適切でないか、または、送信装置において映像信号及び音声信号が発生した時点から、受信装置へ伝送され、映像及び音声が再生されるまでの間の遅延時間が大きくなってしまう。

また、特許文献２には、冗長パケットを生成する単位であるブロック化のサイズについて明確に記載されていない。したがって、課題１の場合と同様に、ブロック化遅延が大きくなる可能性があり、映像信号の再生に遅延が生じてしまう。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、放送ネットワーク及び通信ネットワークを用いて、映像信号及び音声信号を伝送する伝送システムにおいて、映像信号及び音声信号を受信して再生する際に、映像信号を受信してから再生するまでの遅延時間を増加させることのない送信装置及び送信プログラムを提示することにある。また、他の目的は、前記伝送システムにおいて、通信ネットワークでのＩＰパケットの欠損に対する耐性を確保可能な送信装置及び送信プログラムを提示することにある。

前記目的を達成するために、本発明による送信装置は、映像信号、前記映像信号と共に再生される第１の音声信号及び第２の音声信号をそれぞれ符号化し、前記映像信号の符号を格納したＩＰパケット及び前記第１の音声信号の符号を格納したＩＰパケットを生成し、これらのＩＰパケットを放送波として放送ネットワークへ送信すると共に、前記第２の音声信号の符号を格納したＩＰパケットを生成し、前記ＩＰパケットを通信ネットワークへ送信する送信装置において、前記映像信号における所定数のフレームの発生に伴い、前記所定数のフレームを符号化し、映像信号の符号を生成する映像信号符号化処理部と、前記第１の音声信号における所定数のサンプルを符号化し、第１の音声信号の符号を生成する第１の音声信号符号化処理部と、前記第２の音声信号における所定数のサンプルを符号化し、第２の音声信号の符号を生成する第２の音声信号符号化処理部と、前記映像信号符号化処理部により生成された符号を格納し、映像信号のＩＰパケットを生成する映像信号パケタイズ部と、前記第１の音声信号符号化処理部により生成された符号を格納し、第１の音声信号のＩＰパケットを生成する第１の音声信号パケタイズ部と、前記第２の音声信号符号化処理部により生成された符号を格納し、第２の音声信号のＩＰパケットを生成する第２の音声信号パケタイズ部と、前記第１の音声信号パケタイズ部により生成された第１の音声信号のＩＰパケットを格納するバッファと、前記映像信号パケタイズ部により生成された映像信号のＩＰパケットを入力すると共に、前記バッファから第１の音声信号のＩＰパケットを所定時間後に読み出し、前記映像信号における所定数のフレームのうちの先頭フレームと、前記第１の音声信号における所定数のサンプルのうちの先頭サンプルとのタイミングを合わせて、前記入力した映像信号のＩＰパケット及び前記読み出した第１の音声信号のＩＰパケットに対し符号化及び変調処理を行い、放送波として送信する伝送路符号化／変調処理部と、前記第２の音声信号パケタイズ部により生成された第２の音声信号のＩＰパケットを入力し、前記映像信号における所定数のフレームに対する前記映像信号符号化処理部による符号化の処理が完了したタイミング毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを複製し、前記複製したＩＰパケットを繰り返し送信する順序制御部と、を備えたことを特徴とする。

また、本発明による送信装置は、前記順序制御部の代わりにＦＥＣ（Forward Error Correction）処理部を備え、前記ＦＥＣ処理部が、前記第２の音声信号パケタイズ部により生成された第２の音声信号のＩＰパケットを入力し、前記映像信号における所定数のフレームに対する前記映像信号符号化処理部による符号化の処理が完了したタイミング毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを送信する、ことを特徴とする。

また、本発明による送信装置は、前記順序制御部の代わりに順序制御／ＦＥＣ処理部を備え、前記順序制御／ＦＥＣ処理部が、前記第２の音声信号パケタイズ部により生成された第２の音声信号のＩＰパケットを入力し、前記映像信号における所定数のフレームに対する前記映像信号符号化処理部による符号化の処理が完了したタイミング毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを複製し、前記複製したＩＰパケット及び冗長パケットを繰り返し送信する、ことを特徴とする。

また、本発明による送信装置は、前記映像信号符号化処理部が、映像信号における所定数のフレームの発生に伴い、前記所定数のフレームを符号化し、映像信号の符号を生成し、前記所定数のフレームの符号化が完了したときにトリガを出力し、前記順序制御部が、前記映像信号符号化処理部からトリガを入力し、前記トリガを入力する毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを複製し、前記複製したＩＰパケットを繰り返し送信し、前記ＦＥＣ処理部が、前記映像信号符号化処理部からトリガを入力し、前記トリガを入力する毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを送信し、前記順序制御／ＦＥＣ処理部が、前記映像信号符号化処理部からトリガを入力し、前記トリガを入力する毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを複製し、前記複製したＩＰパケット及び冗長パケットを繰り返し送信する、ことを特徴とする。

また、本発明による送信装置は、前記映像信号パケタイズ部が、映像信号の符号を格納してＴＳ（Transport Stream）パケットを生成し、前記第１の音声信号パケタイズ部が、第１の音声信号の符号を格納してＴＳパケットを生成し、前記映像信号の符号を格納したＴＳパケット及び第１の音声信号を格納したＴＳパケットを放送波として放送ネットワークへ送信する、ことを特徴とする。

さらに、本発明による送信プログラムは、コンピュータを、前記送信装置として機能させることを特徴とする。

本発明によれば、映像信号の符号化単位の時間内で、第２の音声信号を含むパケットをブロック化して冗長パケットを生成し、第２の音声信号を含むパケット及び冗長パケットを送信し、または／及び、第２の音声信号を含むパケットを複製して連送するようにした。これにより、ブロック化遅延または／及び連送に伴い発生する第２の音声信号の遅延が原因となって、映像信号及びこれと同時刻に再生する第１の音声信号の再生開始時刻を遅らせることがない。つまり、受信装置において、映像信号と第１の音声信号を再生する際の再生出力までの遅延は、ブロック化を伴う冗長パケットの生成または／及び連送に起因して増加することがない。したがって、映像信号及び第１の音声信号を受信して再生する際に、映像信号及び第１の音声信号を受信してから再生するまでの遅延時間を増加させることがなく、前述した課題１を解決することができる。

また、本発明によれば、映像信号の符号化単位の時間内で、第２の音声信号を含むパケットを連送するようにした。これにより、従来技術に比べ、通信ネットワークにおけるパケット欠損に対する耐性を確保することができ、前述した課題２を解決することができる。

放送ネットワーク及び通信ネットワークを用いた映像・音声信号の伝送システムにおいて、その概要を説明する図である。 本発明の実施形態による送信装置の構成を示すブロック図である。 送信装置の処理を示すタイミングチャートである。 映像信号及び音声信号Ａに対する処理を示すフローチャートである。 音声信号Ｂ，Ｃに対する処理を示すフローチャートである。 （１）は、順序制御により連送を行う場合の、ＩＰパケットの順序を説明する図である。（２）は、ＦＥＣ処理により冗長パケットを生成する場合の、ＩＰパケットの順序を説明する図である。（３）は、順序制御及びＦＥＣ処理により冗長パケットを生成し連送を行う場合の、ＩＰパケットの順序を説明する図である。 （１）は、従来技術において繰り返し数３の場合の、ＩＰパケットの順序を説明する図である。（２）は、本発明の実施形態において繰り返し数３の場合の、ＩＰパケットの順序を説明する図である。 受信装置の構成を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔伝送システム、本発明の特徴〕
まず、本発明の実施形態による送信装置及び受信装置を含む伝送システムについて説明する。図１は、放送ネットワーク及び通信ネットワークを用いた映像・音声信号の伝送システムにおいて、その概要を説明する図である。この伝送システムは、サービス提供事業者により設けられた送信装置１と、サービスの提供を受けるユーザーにより設けられた受信装置２−１〜２−３とを備えて構成される。送信装置１と受信装置２−１〜２−３とは、放送ネットワーク３を介して接続されると共に、インターネット等の通信ネットワーク４を介して接続される。送信装置１から通信ネットワーク４を介して受信装置２−２，２−３へ送信されるＩＰパケットの伝送プロトコルは、例えばＵＤＰ／ＩＰが用いられ、一方向の伝送が実現される。

送信装置１は、映像信号、及びこの映像信号に付随しかつ基本になる音声信号Ａ（第１の音声信号）を、放送波として放送ネットワーク３を介して受信装置２−１〜２−３へ送信し、同時に、映像信号に付随するマルチチャンネルの、音声信号Ａとは別の音声信号Ｂ及び音声信号Ｃ（第２の音声信号）を、ＩＰパケットとして通信ネットワーク４へ送信する。音声信号Ｂは、音声信号Ａを下層としたときの中層のチャンネルの信号であり、音声信号Ｃは、さらに上層のチャンネルの信号である。

受信装置２−１〜２−３は、放送ネットワーク３を介して放送波を受信し、映像信号及び音声信号Ａを再生する。これにより、ユーザーは、映像及び音声を視聴することができる。受信装置２−２は、さらに、通信ネットワーク４を介してＩＰパケットを受信し、ＩＰパケットに格納された音声信号Ｂを、映像信号及び音声信号Ａに同期させて再生する。受信装置２−３は、さらに、通信ネットワーク４を介してＩＰパケットを受信し、ＩＰパケットに格納された音声信号Ｂ，Ｃを、映像信号及び音声信号Ａに同期させて再生する。これにより、ユーザーは、映像及び音声を視聴することに加え、再生された音声信号Ｂにより、マルチチャンネルの臨場感のある音声を視聴することができる。また、ユーザーは、再生された音声信号Ｃにより、さらに臨場感を向上させることができる。

尚、音声信号Ｂ，Ｃは、必ずしもマルチチャネルの信号である必要はなく、例えば、音声信号Ａとは異なる言語の音声信号であってもよく、映像を解説する音声信号であってもよい。また、受信装置２−１〜２−３は、音声信号Ａ、音声信号Ｂ及び音声信号Ｃのうちのいずれか１つの信号に切り替えて受信するようにしてもよい。本発明において、音声信号Ｂ，Ｃは、その内容を限定するものではなく、映像信号に付随する信号であればよい。

ここで、通信ネットワーク４にはＩＰパケットが伝送されるから、輻輳が発生するとＩＰパケットは廃棄され、ＩＰパケットの欠損（パケットロス）が生じる。つまり、通信ネットワーク４では、音声信号Ｂ，Ｃの一部の情報が廃棄される可能性がある。一方、放送ネットワーク３には放送波が伝送されるから、通信ネットワーク４とは異なり、映像信号及び音声信号Ａは廃棄されることがない。このようなパケットロスの問題を解決するため、送信装置１は、前述したように、ＦＥＣ処理により冗長パケットを生成してデータパケットと共に送信し、連送処理によりデータパケットを複製して繰り返し送信する。しかしながら、このような手法では、音声信号Ｂ，Ｃにブロック化遅延及び連送遅延が生じてしまい、映像信号及び音声信号Ａの再生が遅くなってしまう。

そこで、本発明では、図１に示したように、伝送品質の異なる放送ネットワーク３及び通信ネットワーク４を想定した伝送システムにおいて、放送ネットワーク３を介して映像信号及び音声信号Ａを受信した後に、通信ネットワーク４を介して音声信号Ｂ，Ｃを受信することがないように、映像信号及び音声信号Ａとほぼ同様のタイミングにて、音声信号Ｂ，Ｃを受信するようにする。すなわち、受信装置２（以下、受信装置２−１〜２−３を総称して受信装置２という。）において、受信した映像信号及び音声信号Ａを、音声信号Ｂ，Ｃの受信を待ってから再生しなくても済むように、映像信号の第１番目のフレーム＃１と音声信号Ｂ，Ｃの第１番目のサンプル＃１とを同様のタイミングにて受信するようにする。つまり、送信装置１は、映像信号の第１番目のフレーム＃１と音声信号Ｂ，Ｃの第１番目のサンプル＃１とをほぼ同じタイミングで送信するために、音声信号Ｂ，Ｃに対するブロック化遅延及び連送遅延を、映像信号の符号化単位の時間、すなわちＧＯＰ（Group of Picture）に含まれる、１回の符号化処理の対象となる複数のフレームが発生する時間、例えば５００ミリ秒に吸収させる。具体的には、映像信号の符号化単位の時間内で、音声信号Ｂ，Ｃのブロック化処理及び連送処理を行うようにする。これにより、映像信号のフレーム＃１と音声信号Ｂ，Ｃのサンプル＃１とを、ほぼ同じタイミングにて送信することができ、受信装置２において、音声信号Ｂ，Ｃの到着を待つことなく映像信号及び音声信号Ａを再生することができるから、映像信号を受信してから再生するまでの遅延時間が増加することがない。

〔送信装置〕
次に、図１に示した送信装置１について説明する。図２は、送信装置１の構成を示すブロック図であり、図３は、送信装置１の処理を示すタイミングチャートである。図４は、映像信号及び音声信号Ａに対する処理を示すフローチャートであり、図５は、音声信号Ｂ，Ｃに対する処理を説明するフローチャートである。図２を参照して、この送信装置１は、符号化処理部１０，１１−Ａ〜１１−Ｃ、パケタイズ部１２，１３−Ａ〜１３−Ｃ、バッファ１４、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃ及び伝送路符号化／変調処理部１６を備えている。

送信装置１は、映像信号に対し、１５枚のフレーム＃１〜＃１５を符号化単位、すなわちＧＯＰとして、連続して符号化処理を行ってＩＰパケットを生成し、符号化処理が完了したことを示すトリガを生成し、音声信号Ａに対し、１０２４個のサンプル＃１〜＃１０２４を符号化単位、すなわちアクセスユニットとして、連続して符号化処理を行ってＩＰパケットを生成し、バッファ１４に格納して遅延させた後に、フレーム＃１及びサンプル＃１の符号を含むＩＰパケットを変調信号としてほぼ同じタイミングにて送信し、フレーム＃２〜＃１５及びサンプル＃２〜＃１０２４の符号を含むＩＰパケットも順次送信する。また、送信装置１は、音声信号Ｂ，Ｃに対し、１０２４個のサンプル＃１〜＃１０２４を符号化単位、すなわちアクセスユニットとして、連続して符号化処理を行ってＩＰパケットを生成し、映像信号の符号化処理が完了したことを示すトリガが生成されたときに、順序制御／ＦＥＣ処理を行う。つまり、送信装置１は、音声信号Ｂ，Ｃのサンプル＃１〜＃１０２４の符号を含むＩＰパケットに対する順序制御／ＦＥＣ処理を、映像信号のフレーム＃１〜＃１５の符号化処理が完了する毎に行い、音声信号Ｂ，Ｃのサンプル＃１の符号を含むＩＰパケットを、映像信号のフレーム＃１及び音声信号Ａのサンプル＃１の符号を含むＩＰパケットとほぼ同じタイミングにて送信し、サンプル＃２〜＃１０２４の符号を含むＩＰパケットも順次送信する。尚、映像信号のフレーム＃１〜＃１５及び音声信号Ａ〜Ｃのサンプル＃１〜＃１０２４は、この符号化単位にて信号が対応しており、受信装置２において同期したタイミングにて再生される。

（映像信号及び音声信号Ａに対する処理）
まず、映像信号及び音声信号Ａに対する処理について説明する。図３及び図４を参照して、符号化処理部（映像信号符号化処理部）１０は、映像信号における１５枚のフレーム＃１〜＃１５の発生に伴い、フレーム＃１〜＃１５を入力し（ステップＳ４０１）、フレーム＃１〜＃１５を符号化単位とするＧＯＰに対し符号化処理を行って映像信号の符号を生成し（ステップＳ４０２）、パケタイズ部１２（映像信号パケタイズ部）に出力する。図３に示すように、フレーム＃１は、符号化処理部１０に入力された後、フレーム＃１５を入力するまで、符号化処理の一部として留め置かれる。映像信号のレートを毎秒３０フレームとすると、符号化処理部１０がフレーム＃１〜＃１５を入力する時間は５００ミリ秒である。つまり、符号化処理部１０は、フレーム＃１５を入力した時点で、フレーム＃１〜＃１５に対し符号化処理を行い、映像信号の符号を生成する。この符号化処理として、例えば、ITU-T Rec. H.264｜ISO／IEC 14496-10（MPEG-4 AVC）に規定する符号化方式を用いるが、他の符号化方式を用いるようにしても良い。

また、符号化処理部１０は、フレーム＃１〜＃１５の符号化処理が完了したか否かを判定し（ステップＳ４０３）、符号化処理が完了していないことを判定した場合（ステップＳ４０３：Ｎ）、ステップＳ４０２の符号化処理を行う。一方、符号化処理部１０は、符号化処理が完了したことを判定した場合（ステップＳ４０３：Ｙ）、符号化処理が完了したことを示すトリガを順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃに出力する（ステップＳ４０４）。ここで、トリガは、映像信号の符号化単位の時間である符号化単位のフレーム＃１〜＃１５の発生時間、すなわち１回の符号化処理の対象となるフレーム＃１〜＃１５が発生する時間（図３の例では５００ミリ秒）毎に出力される。映像信号は、１５枚のフレーム＃１〜＃１５毎に順次発生し、符号化処理部１０、パケタイズ部１２及び伝送路符号化／変調処理部１６による一連の処理が連続して行われるからである。

パケタイズ部１２は、符号化処理部１０から映像信号のフレーム＃１〜＃１５の符号を入力し、ＲＴＰヘッダにシーケンス番号及びタイムスタンプを記述し、ＲＴＰヘッダ及びＵＤＰヘッダを持つＩＰパケットにカプセル化してＩＰパケットを生成し（ステップＳ４０５）、伝送路符号化／変調処理部１６に出力する。カプセル化は、例えば、IETF RFC3894「RTP Payload Format for H.264」の規格に従って行う。ここで、シーケンス番号は、生成されるＩＰパケット毎に付与される番号であり、タイムスタンプは、受信装置２において映像信号が提示される提示時刻である。ここで、映像信号を提示するとは、受信装置２において、符号の復号処理が完了した後に映像信号を出力することを意味し、例えば、映像信号を再生する、記憶媒体に格納することをいう。映像信号と同じ時刻に提示される音声信号Ａ〜Ｃについては、後述するパケタイズ部１３−Ａ〜１３−Ｃにおいて、パケタイズ部１２により記述される映像信号のタイムスタンプと同じタイムスタンプが記述される。尚、宛先ＩＰアドレスは、映像信号、音声信号Ａ〜Ｃ毎に異なるアドレスが付与される。この宛先ＩＰアドレスは、受信装置２において、映像信号、音声信号Ａ〜Ｃを識別するために用いられる。

符号化処理部（第１の音声信号符号化処理部）１１−Ａは、音声信号Ａにおける１０２４個のサンプル＃１〜＃１０２４の発生に伴い、サンプル＃１〜＃１０２４を入力し（ステップＳ４０６）、サンプル＃１〜＃１０２４を符号化単位とするアクセスユニットに対し符号化処理を行って音声信号Ａの符号を生成し（ステップＳ４０７）、パケタイズ部１３−Ａ（第１の音声信号パケタイズ部）に出力する。図３に示すように、サンプル＃１は、符号化処理部１１−Ａに入力された後、サンプル＃１０２４を入力するまで、符号化処理の一部として留め置かれる。音声信号を４８ＫＨｚでサンプルしたとすると、符号化処理部１１−Ａがサンプル＃１〜＃１０２４を入力する時間は２１．３ミリ秒である。つまり、符号化処理部１１−Ａは、サンプル＃１０２４を入力した時点で、サンプル＃１〜＃１０２４に対し符号化処理を行い、音声信号Ａの符号を生成する。この符号化処理として、例えば、ISO／IEC 14496-3 MPEG-4 AACを用いるが、他の符号化方式を用いるようにしても良い。

パケタイズ部１３−Ａは、符号化処理部１１−Ａから音声信号Ａのサンプル＃１〜＃１０２４の符号を入力し、ＲＴＰヘッダにシーケンス番号及びタイムスタンプを記述し、ＲＴＰヘッダ及びＵＤＰヘッダを持つＩＰパケットにカプセル化してＩＰパケットを生成する（ステップＳ４０８）。カプセル化は、例えば、IETF RFC3640「RTP Payload Format for Transport of MPEG-4 Elementary Stream」の規格に従って行う。映像信号に対応した音声信号Ａのタイムスタンプについては、映像信号と同様に、音声信号Ａを出力する時刻がタイムスタンプとして記述される。

パケタイズ部１３−Ａは、生成したＩＰパケットをバッファ１４に格納し（ステップＳ４０９）、伝送路符号化／変調処理部１６は、パケタイズ部１３−ＡがＩＰパケットをバッファ１４に格納してから所定時間経過したか否かを判定し（ステップＳ４１０）、所定時間経過していないと判定した場合（ステップＳ４１０：Ｎ）、所定時間経過するまで待つ。一方、伝送路符号化／変調処理部１６は、所定時間経過したと判定した場合（ステップＳ４１０：Ｙ）、バッファ１４からＩＰパケットを読み出す（ステップＳ４１１）。

ここで、音声信号Ａのサンプル＃１〜＃１０２４の符号を含むＩＰパケットが、所定時間経過した後にバッファ１４から読み出されるのは、伝送路符号化／変調処理部１６が、パケタイズ部１２から映像信号のフレーム＃１〜＃１５の符号を含むＩＰパケットを入力するタイミングと、バッファ１４から音声信号Ａのサンプル＃１〜＃１０２４の符号を含むＩＰパケットを読み出すタイミングとをほぼ同じにするためである。映像信号の符号化単位であるＧＯＰの時間（５００ミリ秒）と、音声信号Ａの符号化単位であるアクセスユニットの時間（２１．３ミリ秒）とを比較すると、映像信号の時間の方が長いから、音声信号Ａのサンプル＃１〜＃１０２４の符号を含むＩＰパケットは、同時刻に発生した映像信号よりも早く送信されることが可能である。しかし、送信装置１のバッファ１４に、音声信号Ａのサンプル＃１〜＃１０２４の符号を含むＩＰパケットを所定時間留め置いた後、伝送路符号化／変調処理部１６が、映像信号のフレーム＃１〜＃１５の符号を含むＩＰパケットを入力するタイミングに合わせてバッファ１４から読み出すことにより、映像信号のフレーム＃１と音声信号Ａのサンプル＃１とをほぼ同じタイミングで、変調信号の放送波として送信することができる。受信装置２は、音声信号Ａのサンプル＃１と映像信号のフレーム＃１とのタイミングが合った放送波を受信することができるから、映像及び音声の同期再生を容易に行うことができる。

伝送路符号化／変調処理部１６は、パケタイズ部１２から映像信号のフレーム＃１〜＃１５の符号を含むＩＰパケットを入力すると共に、これとほぼ同じタイミングで、バッファ１４から音声信号Ａのサンプル＃１〜＃１０２４の符号を含むＩＰパケットを入力し、伝送路符号化及び変調処理を行い（ステップＳ４１２）、変調信号の放送波として放送ネットワーク３を介して受信装置２へ送信する（ステップＳ４１３）。これにより、伝送路符号化／変調処理部１６は、符号化処理部１０がフレーム＃１〜＃１５を入力するのに要した時間（５００ミリ秒）と同じ時間を費やして、映像信号のフレーム＃１〜＃１５の符号を含むＩＰパケットを放送波として送信することができる。ＩＰパケットを放送波へ多重するために、例えば、ＡＲＩＢ ＳＴＤ−Ｂ３２「デジタル放送における映像符号化、音声符号化及び多重化方式」に規定するＴＬＶ多重化方式を用いる場合、この伝送路符号化／変調処理として、ＡＲＩＢ ＳＴＤ−Ｂ４４「高度広帯域衛星デジタル放送の伝送方式」に規定する方式を用いるが、他の方式を用いるようにしてもよい。本発明は、放送波におけるＩＰパケットの伝送方式を限定するものではない。

（音声信号Ｂ，Ｃに対する処理）
次に、音声信号Ｂ，Ｃに対する処理について説明する。図３及び図５を参照して、符号化処理部（第２の音声信号符号化処理部）１１−Ｂ，１１−Ｃ及びパケタイズ部（第２の音声信号パケタイズ部）１３−Ｂ，１３−Ｃは、放送波として送信される音声信号Ａに対する符号化処理部１１−Ａ及びパケタイズ部１３−Ａと同様の処理を行う。すなわち、符号化処理部１１−Ｂ，１１−Ｃは、音声信号Ｂ，Ｃにおける１０２４個のサンプル＃１〜＃１０２４の発生に伴い、サンプル＃１〜＃１０２４を入力し（ステップＳ５０１）、サンプル＃１〜＃１０２４を符号化単位としたアクセスユニットに対し符号化処理を行って音声信号Ｂ，Ｃの符号を生成し（ステップＳ５０２）、パケタイズ部１３−Ｂ，１３−Ｃに出力する。

パケタイズ部１３−Ｂ，１３−Ｃは、符号化処理部１１−Ｂ，１１−Ｃから音声信号Ｂ，Ｃのサンプル＃１〜＃１０２４の符号を入力し、ＲＴＰヘッダにシーケンス番号及びタイムスタンプを記述し、ＲＴＰヘッダ及びＵＤＰヘッダを持つＩＰパケットにカプセル化してＩＰパケットを生成し（ステップＳ５０３）、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃに出力する。映像信号に対応した音声信号Ｂ，Ｃのタイムスタンプについては、映像信号と同様に、音声信号Ｂ，Ｃを出力する時刻がタイムスタンプとして記述される。

順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、パケタイズ部１３−Ｂ，１３−Ｃから音声信号Ｂ，Ｃのサンプル＃１〜＃１０２４の符号を含むＩＰパケットを入力し、符号化処理部１０からトリガを入力したか否かを判定する（ステップＳ５０４）。順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、トリガを入力していないと判定した場合（ステップＳ５０４：Ｎ）、トリガの入力を待つ。一方、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、トリガを入力したと判定した場合（ステップＳ５０４：Ｙ）、順序制御または／及びＦＥＣ処理を行い（ステップＳ５０５）、ＩＰパケット（及び冗長パケット）を、通信ネットワーク４を介して受信装置２へ送信する（ステップＳ５０６）。

図３に示すように、サンプル＃１〜＃１０２４の符号化処理が完了し、その符号を格納したＩＰパケットの送信を開始するまでの時間は、約４７８ミリ秒（５００−２１．３ミリ秒）となり、この間に７個のＩＰパケットが生成される。また、放送系出力を行う伝送路符号化／変調処理部１６では、音声信号Ａにおける７個のＩＰパケットがシーケンス番号１〜７の順番で送信されるのに対し、通信系出力を行う順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃでは、音声信号Ｂ，Ｃにおける７個のＩＰパケットに対し順序制御／ＦＥＣ処理が行われ、順序制御／ＦＥＣ処理後のＩＰパケット（及び冗長パケット）が送信される。また、図３のαに示すように、映像信号の第１番目のフレーム＃１及び音声信号Ａの第１番目のサンプル＃１と、音声信号Ｂ，Ｃの第１番目のサンプル＃１とが、ほぼ同じタイミングで送信されることになる。

〔順序制御／ＦＥＣ処理部〕
次に、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃによる処理について詳細に説明する。前述のとおり、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、パケタイズ部１３−Ｂ，１３−Ｃにより生成された、音声信号Ｂ，Ｃのサンプル＃１〜＃１０２４の符号が格納された７個のＩＰパケットを入力し、符号化処理部１０からトリガを入力するタイミングで順序制御／ＦＥＣ処理を行う。具体的には、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、以下に示す３つの処理のうち、通信ネットワーク４の品質及び音声信号Ｂ，Ｃの伝送に用いるビットレート等に応じて、予め設定された処理を行う。第１の処理は、順序制御により、入力した７個のＩＰパケットを、予め設定された繰り返し数分複製し、連送するものである。第２の処理は、ＦＥＣ処理により、入力した７個のＩＰパケットから所定数の冗長パケットを生成し、ＩＰパケット及び冗長パケットを送信するものである。第３の処理は、第１の処理及び第２の処理を同時に行うものである。

図６は、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃの処理を説明する図である。（１）は、第１の処理において、順序制御により連送を行う場合のＩＰパケットの順序を説明する図であり、（２）は、第２の処理において、ＦＥＣ処理により冗長パケットを生成する場合のＩＰパケットの順序を説明する図であり、（３）は、第３の処理において、順序制御及びＦＥＣ処理により冗長パケットを生成し連送を行う場合のＩＰパケットの順序を説明する図である。

図６（１）を参照して、第１の処理において、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、シーケンス番号１〜７の順番でＩＰパケットを入力し、符号化処理部１０からトリガを入力したタイミングにて、シーケンス番号１〜７のＩＰパケットを予め設定された繰り返し数分複製し、複製後のＩＰパケットを出力する。例えば、繰り返し数が３の場合、シーケンス番号１〜７のＩＰパケットを３回分複製し、シーケンス番号１〜７のＩＰパケットを、以下のように３回連続して出力する。１〜７は、それぞれシーケンス番号１〜７のＩＰパケットを示す。
７，６，５，４，３，２，１，７，６，５，４，３，２，１，７，６，５，４，３，２，１→（送信順）

つまり、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、トリガを入力する時間間隔である５００ミリ秒の間に生成されたＩＰパケットをひとまとめとし、その順序で繰り返し送信する。この場合、繰り返すＩＰパケットのＲＴＰヘッダに記述されたシーケンス番号及びタイムスタンプは、最初に送信されるＩＰパケットのそれらと同一の値となり、同一のＩＰパケットは、時間をあけて重複して送信されることになる。このような動作が５００ミリ秒毎に繰り返される。

図６（２）を参照して、第２の処理において、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、シーケンス番号１〜７の順番でＩＰパケットを入力し、符号化処理部１０からトリガを入力したタイミングにて、シーケンス番号１〜７のＩＰパケットから、所定数の冗長パケットを生成し、シーケンス番号１〜７のＩＰパケット及び所定数の冗長パケットを出力する。例えば、リードソロモン符号（ｎ＝９，ｋ＝７）を用いた場合、７個のＩＰパケットから２個の冗長パケットＰ１，Ｐ２を生成し、以下のように出力する。１〜７は、それぞれシーケンス番号１〜７のＩＰパケットを示し、Ｐ１，Ｐ２は、それぞれ冗長パケットを示す。
Ｐ２，Ｐ１，７，６，５，４，３，２，１→（送信順）

つまり、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、５００ミリ秒の間に生成されたＩＰパケットをひとまとめとしてブロック化を行い、リードソロモン符号により冗長パケットを生成し送信する。このような動作が５００ミリ秒毎に繰り返される。

尚、リードソロモン符号による冗長パケットの生成方法は既知であるから説明を省略する。詳細については、「Efficient Reliable Multicast Using FEC and Limited Retransmission for HDTV IP Broadcasting」（S.Aoki, et al., IEEE Consumer Communications & Network Conference （CCNC） 2008,FP1-S5-1,2008年1月）、及び「IPマルチキャスト放送における信頼性を確保した伝送方式の一検討」（青木秀一他、電子情報通信学会 技術報告CQ2006-35、2006年9月）を参照されたい。また、リードソロモン符号を用いることなく、「Unidirectional Transport of Constant Bit Rate MPEG-2 Transport Streams on IP Networks」（SMPTE 2022-2-2007）に従い、Ｅｘｃｌｕｓｉｖｅ ＯＲにより冗長パケットを生成するようにしてもよい。

図６（３）を参照して、第３の処理において、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、シーケンス番号１〜７の順番でＩＰパケットを入力し、符号化処理部１０からトリガを入力したタイミングにて、シーケンス番号１〜７のＩＰパケットから、所定数の冗長パケットを生成し、シーケンス番号１〜７のＩＰパケット及び所定数の冗長パケットを予め設定された繰り返し数分複製し、複製後のＩＰパケット及び冗長パケットを出力する。例えば、リードソロモン符号（ｎ＝９，ｋ＝７）を用いた場合、７個のＩＰパケットから２個の冗長パケットＰ１，Ｐ２を生成する。また、繰り返し数が３の場合、７個のＩＰパケット及び２個の冗長パケットを３回分複製し、７個のＩＰパケット及び２個の冗長パケットを、以下のように３回連続して出力する。
Ｐ２，Ｐ１，７，６，５，４，３，２，１，Ｐ２，Ｐ１，７，６，５，４，３，２，１，Ｐ２，Ｐ１，７，６，５，４，３，２，１→（送信順）

つまり、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、５００ミリ秒の間に生成されたＩＰパケットをひとまとめとしてブロック化を行い、リードソロモン符号により冗長パケットを生成し、この単位で繰り返し送信する。このような動作が５００ミリ秒毎に繰り返される。

以上のように、本発明の実施形態による送信装置１によれば、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、符号化処理部１０からトリガを入力する毎に、すなわち映像信号の符号化単位の時間である符号化単位のフレーム＃１〜＃１５の発生時間、すなわち１回の符号化処理の対象となるフレーム＃１〜＃１５が発生する時間（図３の例では５００ミリ秒）内で順序制御／ＦＥＣ処理を行うようにした。したがって、映像信号の第１番目のフレーム＃１と音声信号Ｂ，Ｃの第１番目のサンプル＃１とが、ほぼ同じタイミングで送信されるようになり（図３のαを参照）、受信装置２において、音声信号Ｂ，Ｃの到着を待つことなく映像信号及び音声信号Ａを再生することができるから、映像信号を受信してから再生するまでの遅延時間が増加することがない。つまり、音声信号Ｂ，Ｃのブロック化または／及び連送による遅延が原因となって、受信装置２において映像信号を再生するのに遅延が生じてしまうという課題１を解決することができる。

また、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、順序制御を行う場合、符号化処理部１０からトリガを入力する毎に、図３の例では５００ミリ秒内で順序制御を行い、複製したＩＰパケットを繰り返し送信するようにした。例えば、繰り返し数が３の場合、５００ミリ秒内において、シーケンス番号１〜７のＩＰパケットを３回分複製し、シーケンス番号１〜７のＩＰパケットを３回連続して出力するようにした。これにより、従来技術に比べ、通信ネットワーク４におけるパケット欠損に対する耐性を確保することができ、輻輳に伴うＩＰパケットの連続廃棄により音声信号Ｂ，Ｃを受信できないという課題２を解決することができる。以下、詳細に説明する。

図７は、繰り返し数として３が設定されている場合の、従来技術及び本発明の実施形態におけるＩＰパケットの順序を説明する図であり、図７（１）は従来技術の場合を示し、図７（２）は本発明の実施形態の場合を示している。図７（１）の従来技術の場合、順序制御によって、シーケンス番号１〜７のＩＰパケットは、以下に示すように、同じシーケンス番号のＩＰパケット毎に繰り返し送信される。
７，７，７，・・・，３，３，３，２，２，２，１，１，１→（送信順）
これに対し、図７（２）の本発明の実施形態による送信装置１の場合、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃでの順序制御によって、シーケンス番号１〜７のＩＰパケットは、以下に示すように、シーケンス番号１〜７のＩＰパケットをひとまとめにして繰り返し送信される。これは、前述の図６（１）に示した第１の処理の場合と同様である。
７，６，５，４，３，２，１，７，６，５，４，３，２，１，７，６，５，４，３，２，１→（送信順）

従来技術の場合、通信ネットワーク４にて輻輳が発生し、同じシーケンス番号のＩＰパケットに対してパケット損失が３回連続したときには、ＩＰパケットを復元できない場合がある。これに対し、本発明の実施形態による送信装置１の場合、パケット損失が１４回以上連続したときには、ＩＰパケットを復元できない場合がある。つまり、従来技術の場合、パケット損失が連続して２回までに限り、ＩＰパケットを復元することができるが、本発明の実施形態による送信装置１の場合、パケット損失が連続して１３回以下であれば、ＩＰパケットを復元することができる。したがって、本発明の実施形態による送信装置１によれば、従来技術に比べ、通信ネットワーク４におけるパケット欠損に対する耐性を確保することができ、映像信号に対応する音声信号Ｂ，Ｃの伝送の信頼性を確保することができる。

〔受信装置〕
次に、図１に示した受信装置２（２−１〜２−３）について説明する。図８は、受信装置２の構成を示すブロック図である。この受信装置２は、復調／伝送路復号処理部２０、受信バッファ２１−Ｂ，２１−Ｃ、ＦＥＣ処理部２２−Ｂ，２２−Ｃ、デパケタイズ部２３，２４−Ａ〜２４−Ｃ、トランスポートバッファ２５，２６−Ａ〜２６−Ｃ及び復号処理部２７，２８−Ａ〜２８−Ｃを備えている。

受信装置２は、放送ネットワーク３を介して映像信号及び音声信号Ａの変調信号を放送波として受信し、通信ネットワーク４を介して音声信号Ｂ，ＣのＩＰパケットを受信する。この場合、映像信号のフレーム＃１及び音声信号Ａのサンプル＃１と音声信号Ｂ，Ｃのサンプル＃１とをほぼ同じタイミングにて受信する。そして、受信装置２は、映像信号及び音声信号ＡのＩＰパケットを識別し、復号して再生する。また、受信装置２は、音声信号Ｂ，ＣのＩＰパケットに対し、送信装置１の順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃに対応した順序制御による並び替えまたは／及びＦＥＣによる回復処理を行い、復号して再生する。

（映像信号及び音声信号Ａに対する処理）
まず、映像信号及び音声信号Ａに対する処理について説明する。復調／伝送路復号処理部２０は、放送ネットワーク３を介して受信した映像信号及び音声信号Ａの変調信号を入力し、復調処理、伝送路復号処理を行い、多重されたＩＰパケットを取り出す。そして、復調／伝送路復号処理部２０は、ＩＰパケットの宛先アドレスに基づいて、映像信号のＩＰパケットと音声信号ＡのＩＰパケットとを識別し、映像信号のＩＰパケットをデパケタイズ部２３に出力し、音声信号ＡのＩＰパケットをデパケタイズ部２４−Ａに出力する。

デパケタイズ部２３は、復調／伝送路復号処理部２０から映像信号のＩＰパケットを入力し、ＩＰパケットからＩＰヘッダ、ＵＤＰヘッダ及びＲＴＰヘッダを取り除き、ＩＰパケットに格納された映像信号の符号を取得する。また、デパケタイズ部２３は、ＲＴＰヘッダからタイムスタンプを取得し、タイムスタンプ及びこのタイムスタンプに対応した映像信号の符号をトランスポートバッファ２５に格納する。前述のとおり、タイムスタンプは、映像信号を提示する時刻を示している。

デパケタイズ部２４−Ａは、復調／伝送路復号処理部２０から音声信号ＡのＩＰパケットを入力し、デパケタイズ部２３と同様の処理を行い、タイムスタンプ及びこのタイムスタンプに対応した音声信号Ａの符号をトランスポートバッファ２６−Ａに格納する。前述のとおり、タイムスタンプは、音声信号Ａを提示する時刻を示している。

復号処理部２７は、トランスポートバッファ２５からタイムスタンプを読み出し、タイムスタンプの示す時刻と図示しないタイマの時刻とを比較し、タイマの時刻がタイムスタンプの示す時刻よりも所定時間前の時刻であるときに、トランスポートバッファ２５からそのタイムスタンプに対応した映像信号の符号を読み出す。そして、復号処理部２７は、読み出した映像信号の符号に対して復号処理を行い、タイマの時刻がタイムスタンプの示す時刻になったときに、映像信号を出力する。このような復調／伝送路復号処理部２０、デパケタイズ部２３、トランスポートバッファ２５及び復号処理部２７による処理は、映像信号のフレーム＃１〜＃１５毎に行われ、映像信号が再生される。

復号処理部２８−Ａは、復号処理部２７と同様の処理を行い、タイマの時刻がトランスポートバッファ２６−Ａに格納されたタイムスタンプの示す時刻よりも所定時間前の時刻であるときに、トランスポートバッファ２６−Ａからそのタイムスタンプに対応した音声信号Ａの符号を読み出す。そして、復号処理部２８−Ａは、読み出した音声信号Ａの符号に対して復号処理を行い、タイマの時刻がタイムスタンプの示す時刻になったときに、音声信号Ａを出力する。このような復調／伝送路復号処理部２０、デパケタイズ部２４−Ａ、トランスポートバッファ２６−Ａ及び復号処理部２８−Ａによる処理は、映像信号のフレーム＃１〜＃１５に対応した音声信号Ａのサンプル＃１〜＃１０２４毎に行われ、音声信号Ａが再生される。

（音声信号Ｂ，Ｃに対する処理）
次に、音声信号Ｂ，Ｃに対する処理について説明する。受信装置２は、通信ネットワーク４を介して音声信号ＡのＩＰパケットを受信すると、受信バッファ２１−Ｂに格納する。受信バッファ２１−Ｂは、ＩＰパケットのＲＴＰヘッダからシーケンス番号を取り出し、同一のシーケンス番号を持つＩＰパケットを削除し、シーケンス番号の順番にＩＰパケットを並び替える。

ＦＥＣ処理部２２−Ｂは、受信バッファ２１−Ｂからシーケンス番号の順番に並び替えられたＩＰパケットを読み出し、シーケンス番号が不連続であるか否かを判定し、不連続であると判定した場合、欠損したＩＰパケットを検出したとして、冗長パケットを用いてＦＥＣの復号処理を行い、ＩＰパケットの回復処理を行う。ＦＥＣ処理部２２−Ｂは、シーケンス番号の順番に並び替えられかつＦＥＣの復号処理後の、音声信号ＢのＩＰパケットをデパケタイズ部２４−Ｂに出力する。尚、冗長パケットが存在しない場合（送信されていない場合、または欠損した場合）は、ＦＥＣの復号処理を行わない。

受信バッファ２１−Ｃ及びＦＥＣ処理部２２−Ｃは、通信ネットワーク４を介して受信した音声信号ＣのＩＰパケットに対し、受信バッファ２１−Ｂ及びＦＥＣ処理部２２−Ｂと同様の処理を行う。

デパケタイズ部２４−Ｂ，２４−Ｃは、デパケタイズ部２３，２４−Ａと同様の処理を行い、タイムスタンプ及びこのタイムスタンプに対応した音声信号Ｂ，Ｃの符号をトランスポートバッファ２６−Ｂ，２６−Ｃに格納する。前述のとおり、タイムスタンプは、音声信号Ｂ，Ｃを提示する時刻を示している。

復号処理部２８−Ｂ，２８−Ｃは、復号処理部２７，２８−Ａと同様の処理を行い、
タイマの時刻がトランスポートバッファ２６−Ｂ，２６−Ｃに格納されたタイムスタンプの示す時刻よりも所定時間前の時刻であるときに、トランスポートバッファ２６−Ｂ，２６−Ｃからそのタイムスタンプに対応した音声信号Ｂ，Ｃの符号を読み出し、復号処理を行い、タイマの時刻がタイムスタンプの示す時刻になったときに、音声信号Ｂ，Ｃを出力する。このような受信バッファ２１−Ｂ，２１−Ｃ、ＦＥＣ処理部２２−Ｂ，２２−Ｃ、デパケタイズ部２４−Ｂ，２４−Ｃ、トランスポートバッファ２６−Ｂ，２６−Ｃ及び復号処理部２８−Ｂ，２８−Ｃによる処理は、映像信号のフレーム＃１〜＃１５に対応した音声信号Ｂ，Ｃのサンプル＃１〜＃１０２４毎に行われ、音声信号Ｂ，Ｃが再生される。

以上のように、本発明の実施形態による受信装置２によれば、送信装置１から送信された映像信号、音声信号Ａ〜Ｃについて、映像信号の第１番目のフレーム＃１及び音声信号Ａの第１番目のサンプル＃１と音声信号Ｂ，Ｃの第１番目のサンプル＃１とを、ほぼ同じタイミングで受信するから、音声信号Ｂ，Ｃの到着を待つことなく映像信号及び音声信号Ａを再生することができる。したがって、映像信号を受信してから再生するまでの遅延時間が増加することがない。つまり、音声信号Ｂ，Ｃのブロック化または／及び連送による遅延が原因となって、受信装置２において映像信号を再生するのに遅延が生じてしまうという課題１を解決することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、送信装置１の符号化処理部１０は、映像信号の符号化単位を１５フレームに設定することにより、符号化単位のフレーム＃１〜＃１５の発生時間が５００ミリ秒となることから、５００ミリ秒毎にトリガを順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃに出力するようにした。また、符号化処理部１１−Ａ〜１１−Ｃは、音声信号Ａ〜Ｃのサンプル＃１〜＃１０２４を入力する時間を２１．３ミリ秒とし、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃは、５００ミリ秒毎に入力するトリガのタイミングにて、順序制御／ＦＥＣ処理を行うようにした。一般に、映像信号の符号化単位の時間は、音声信号Ａ〜Ｃの符号化単位の時間よりも長い。したがって、本発明は、前述した具体的な値及び方式に限定されるものではない。

また、前記実施形態では、放送系の信号として、映像信号及び音声信号Ａの符号を格納したＩＰパケットを多重する例を説明したが、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓに規定するＴＳ（Transport Stream）パケットにこれらの符号を格納し多重するようにしてもよい。具体的には、送信装置１のパケタイズ部１２，１３−Ａは、例えば２００９年１０月１６日付けの情報通信審議会による答申「携帯端末向けマルチメディア放送方式の技術的条件」に規定する方式を用いることにより、生成したＩＰパケットをＴＳパケットにカプセル化し、ＴＳパケットを出力する。

尚、本発明の実施形態による送信装置１及び受信装置２のハード構成としては、通常のコンピュータを使用することができる。送信装置１及び受信装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。送信装置１に備えた符号化処理部１０，符号化処理部１１−Ａ〜１１−Ｃ、パケタイズ部１２，１３−Ａ〜１３−Ｃ、バッファ１４、順序制御／ＦＥＣ処理部１５−Ｂ，１５−Ｃ及び伝送路符号化／変調処理部１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、受信装置２に備えた復調／伝送路復号処理部２０、受信バッファ２１−Ｂ，２１−Ｃ、ＦＥＣ処理部２２−Ｂ，２２−Ｃ、デパケタイズ部２３，２４−Ａ〜２４−Ｃ、トランスポートバッファ２５，２６−Ａ〜２６−Ｃ及び復号処理部２７，２８−Ａ〜２８−Ｃの各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１ 送信装置
２ 受信装置
３ 放送ネットワーク
４ 通信ネットワーク
１０，１１ 符号化処理部
１２，１３ パケタイズ部
１４ バッファ
１５ 順序制御／ＦＥＣ処理部
１６ 伝送路符号化／変調処理部
２０ 復調／伝送路復号処理部
２１ 受信バッファ
２２ ＦＥＣ処理部
２３，２４ デパケタイズ部
２５，２６ トランスポートバッファ
２７，２８ 復号処理部

Claims (6)

1. 映像信号、前記映像信号と共に再生される第１の音声信号及び第２の音声信号をそれぞれ符号化し、前記映像信号の符号を格納したＩＰパケット及び前記第１の音声信号の符号を格納したＩＰパケットを生成し、これらのＩＰパケットを放送波として放送ネットワークへ送信すると共に、前記第２の音声信号の符号を格納したＩＰパケットを生成し、前記ＩＰパケットを通信ネットワークへ送信する送信装置において、
   前記映像信号における所定数のフレームの発生に伴い、前記所定数のフレームを符号化し、映像信号の符号を生成する映像信号符号化処理部と、
   前記第１の音声信号における所定数のサンプルを符号化し、第１の音声信号の符号を生成する第１の音声信号符号化処理部と、
   前記第２の音声信号における所定数のサンプルを符号化し、第２の音声信号の符号を生成する第２の音声信号符号化処理部と、
   前記映像信号符号化処理部により生成された符号を格納し、映像信号のＩＰパケットを生成する映像信号パケタイズ部と、
   前記第１の音声信号符号化処理部により生成された符号を格納し、第１の音声信号のＩＰパケットを生成する第１の音声信号パケタイズ部と、
   前記第２の音声信号符号化処理部により生成された符号を格納し、第２の音声信号のＩＰパケットを生成する第２の音声信号パケタイズ部と、
   前記第１の音声信号パケタイズ部により生成された第１の音声信号のＩＰパケットを格納するバッファと、
   前記映像信号パケタイズ部により生成された映像信号のＩＰパケットを入力すると共に、前記バッファから第１の音声信号のＩＰパケットを所定時間後に読み出し、前記映像信号における所定数のフレームのうちの先頭フレームと、前記第１の音声信号における所定数のサンプルのうちの先頭サンプルとのタイミングを合わせて、前記入力した映像信号のＩＰパケット及び前記読み出した第１の音声信号のＩＰパケットに対し符号化及び変調処理を行い、放送波として送信する伝送路符号化／変調処理部と、
   前記第２の音声信号パケタイズ部により生成された第２の音声信号のＩＰパケットを入力し、前記映像信号における所定数のフレームに対する前記映像信号符号化処理部による符号化の処理が完了したタイミング毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを複製し、前記複製したＩＰパケットを繰り返し送信する順序制御部と、を備えたことを特徴とする送信装置。
2. 請求項１に記載の送信装置において、
   前記順序制御部の代わりにＦＥＣ（Forward Error Correction）処理部を備え、
   前記ＦＥＣ処理部は、前記第２の音声信号パケタイズ部により生成された第２の音声信号のＩＰパケットを入力し、前記映像信号における所定数のフレームに対する前記映像信号符号化処理部による符号化の処理が完了したタイミング毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを送信する、ことを特徴とする送信装置。
3. 請求項１に記載の送信装置において、
   前記順序制御部の代わりに順序制御／ＦＥＣ処理部を備え、
   前記順序制御／ＦＥＣ処理部は、前記第２の音声信号パケタイズ部により生成された第２の音声信号のＩＰパケットを入力し、前記映像信号における所定数のフレームに対する前記映像信号符号化処理部による符号化の処理が完了したタイミング毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを複製し、前記複製したＩＰパケット及び冗長パケットを繰り返し送信する、ことを特徴とする送信装置。
4. 請求項１から３までのいずれか一項に記載の送信装置において、
   前記映像信号符号化処理部は、映像信号における所定数のフレームの発生に伴い、前記所定数のフレームを符号化し、映像信号の符号を生成し、前記所定数のフレームの符号化が完了したときにトリガを出力し、
   請求項１の順序制御部は、前記映像信号符号化処理部からトリガを入力し、前記トリガを入力する毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを複製し、前記複製したＩＰパケットを繰り返し送信し、
   請求項２のＦＥＣ処理部は、前記映像信号符号化処理部からトリガを入力し、前記トリガを入力する毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを送信し、
   請求項３の順序制御／ＦＥＣ処理部は、前記映像信号符号化処理部からトリガを入力し、前記トリガを入力する毎に、前記所定数のフレームの発生時間に相当する時間内で、前記入力した第２の音声信号における所定数のサンプルについてのＩＰパケットを用いて冗長パケットを生成し、前記ＩＰパケット及び冗長パケットを複製し、前記複製したＩＰパケット及び冗長パケットを繰り返し送信する、ことを特徴とする送信装置。
5. 請求項１から４までのいずれか一項に記載の送信装置において、
   前記映像信号パケタイズ部は、映像信号の符号を格納してＴＳ（Transport Stream）パケットを生成し、
   前記第１の音声信号パケタイズ部は、第１の音声信号の符号を格納してＴＳパケットを生成し、
   前記映像信号の符号を格納したＴＳパケット及び第１の音声信号を格納したＴＳパケットを放送波として放送ネットワークへ送信する、ことを特徴とする送信装置。
6. コンピュータを、請求項１から５までのいずれか一項に記載の送信装置として機能させるための送信プログラム。

Images