WO2010103635A1

WO2010103635A1 - データ送信装置、データ送信プログラムおよびデータ送受信システム

Info

Publication number: WO2010103635A1
Application number: PCT/JP2009/054682
Authority: WO
Inventors: 範幸井原
Original assignee: 富士通株式会社
Priority date: 2009-03-11
Filing date: 2009-03-11
Publication date: 2010-09-16
Also published as: JP5234172B2; US9100672B2; JPWO2010103635A1; US20120039396A1

Abstract

　開示するデータ送信装置の一形態では、符号化した映像情報を含むデータの送信を行うデータ送信装置において、当該データ送信装置が送信する前記データに、該データに含まれる前記映像情報を識別するための映像識別情報を挿入する識別情報挿入部と、当該データ送信装置が送信する前記データに、前記映像情報を挿入する映像情報挿入部と、を有するデータ送信装置であって、前記映像情報挿入部は、前記識別情報挿入部により挿入された前記映像識別情報の直後に、フレーム内符号化を施した前記映像情報を挿入することを特徴とする。

Description

データ送信装置、データ送信プログラムおよびデータ送受信システム

　本発明は、符号化した映像情報を含むデータを送受信するシステムに関する。

　昨今、インターネット通信を始めとする様々な通信手段を介して映像データなどをリアルタイムで伝送するストリーム配信の需要が高まっている。特に近年、デジタル放送やインターネットテレビにおいて、映像及び音声を圧縮し、多重化する技術としてＭＰＥＧ２で規定されたトランスポートストリームによるリアルタイムデータ配信が一般的である（特許文献１等）。

　そして、ＭＰＥＧ２で規定されたトランスポートストリームを受信し、映像及び音声を再生する際には、再生開始に必要な情報を含む複数のＴＳ（Transport Stream）パケットを受信した後、該ＴＳパケットが含む情報を利用し映像及び音声を再生する。
特開２００８－２４５０６１号公報

　しかしながら、上記の技術において映像及び音声の再生を行う際、再生開始に必要な情報を含むＴＳパケットの全てが揃うまでにある程度の時間を要するため、データ受信開始から再生開始までにタイムラグが生じるという問題がある。

　そこで、本発明では、データ送信装置より送信する符号化した映像情報に基づき受信機側で映像等の再生を行う際、データ受信開始後、短時間で該再生処理を開始させることができるデータ送信装置、データ送信プログラム及びデータ送受信システムを提供することを目的とする。

　データ送信装置の一例では、ＭＰＥＧ２で規定するトランスポートストリームを送信するデータ送信装置において、前記トランスポートストリームとして、該トランスポートストリームの再生に関連するプログラムの一覧を表すＰＡＴ（Program Association Table）情報並びに該プログラムに対応する画像及び音声の識別を表すＰＭＴ（Program Map Table）情報を多重化するＰＡＴ／ＰＭＴ多重化制御部と、前記トランスポートストリームとして、符号化された映像情報を多重化する映像多重化制御部と、を有するデータ送信装置であって、前記ＰＡＴ／ＰＭＴ多重化制御部は、前記ＰＡＴ情報、前記ＰＭＴ情報の順に多重化し、前記映像多重化制御部は、前記ＰＡＴ／ＰＭＴ多重化制御部により多重化された前記ＰＭＴ情報の直後にＩ－Ｐｉｃｔｕｒｅ情報を多重化することを特徴とする。

　上記データ送信装置の一例では、ＭＰＥＧ２で規定されたトランスポートストリームの再生処理に必要な情報を、使用する順序に並べて送信するため、受信機側における該再生処理を円滑にさせることができる。

　開示するデータ送信装置、データ送信プログラム及びデータ送受信システムでは、データ送信装置が送信した符号化された映像情報に基づき受信機側で映像等の再生を行う際、データ受信開始後、短時間で該再生処理を開始させることができる。

ＴＳパケットの構造を説明するための図である。ＰＡＴパケットの構造を説明するための図である。ＰＭＴパケットの構造を説明するための図である。本実施の形態に係るデータ送信装置及びデータ受信装置のハードウェア構成の一例を示す図である。本実施の形態に係るデータ送信装置の動作原理を説明するための図である。本実施の形態に係るデータ送信装置の外部送信パケットの構成を説明するための図である。ＲＴＰヘッダの構造を説明するための図である。本実施の形態に係るデータ送信装置による多重化処理の流れを示すフローチャートである。本実施の形態に係るデータ送信装置による外部送信処理の流れを示すフローチャートである。従来技術によるデータ送信装置の機能構成例を示す。従来技術により送信又は受信されるデータを時系列で示す図である。本実施の形態において送信又は受信されるデータを時系列で示す図である。本実施の形態に係るデータ受信装置の動作原理を説明するための図である。

符号の説明

１００　データ送信装置
１１０　多重化部
１２０　ＰＡＴ／ＰＭＴ多重化制御部
１３０　多重化タイミング取得手段
１４０　ＰＡＴ多重化制御部
１５０、１７０、１９０　タイマー
１６０　ＰＭＴ多重化制御部
１８０　ＰＣＲ多重化制御部
２００　映像多重化制御部
２１０、２３０　多重化タイミング通知手段
２２０　映像符号化部
２４０　音声多重化制御部
２５０　音声符号化部
２６０　ＴＳ送信部
２７０　ＩＰネットワーク
２８０　データ受信装置
３１０、４１０　ＣＰＵ
３２０、４２０　ＲＯＭ
３３０、４３０　ＲＡＭ
３４０、４４０　ＨＤＤ
３５０、４５０　通信Ｉ／Ｆ
３６０、４６０　表示装置
５１０　データ受信部
５２０　データ振分部
５３０　データ復号部
６００　データ送受信システム

　図面を参照しながら、本発明を実施するための最良の形態について説明する。以下、本実施の形態に係るデータ送信装置及びデータ受信装置においては、ＭＰＥＧ２で規定されるトランスポートストリームを処理対象としているが、本発明の範囲はこれに限定されるものではない。
（ＭＰＥＧ２で規定されるトランスポートストリームに基づく映像及び音声の再生処理）
　ＭＰＥＧ２で規定されるトランスポートストリーム（以下、ＴＳ（Transport Stream）という。）では、１つのＴＳ内に、複数の映像（ＭＰＥＧ２規格、Ｈ．２６４規格等）や音声（ＭＰＥＧ１－Ｌａｙｅｒ２規格、ＭＰＥＧ－ＡＡＣ規格等）を多重化する。

　このＴＳから映像及び音声を再生するためには、初めに、受信したＴＳからＰＡＴ（Program Association Table）のＴＳパケットを抽出し、該ＰＡＴのデータ内からＰＭＴ（Program Map Table）のＰＩＤ（Packet ID）を取得する。ここで、ＰＡＴとはＴＳ内に含まれるプログラム一覧を、ＰＭＴのＰＩＤ一覧として格納したものであり、ＰＡＴのＰＩＤは必ず０である。上記処理においては、図１で示す「ＰＩＤ」及び図２で示す「ｐｒｏｇｒａｍ＿ｍａｐ＿ＰＩＤ」を参照して行う。

　次に、映像等を再生するためには、取得したＰＭＴのＰＩＤに基づいて、受信したＴＳからＰＭＴのＴＳパケットを抽出し、該ＰＭＴのデータ内から映像及び音声のＰＩＤを取得する。ここでＰＭＴとはプログラムに含まれる画像及び音声の各ＰＩＤを格納したものであり、上記処理は図３で示す「ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ」を参照して行う。

　そして、映像等を再生するためには、取得した映像及び音声のＰＩＤに基づいて、受信したＴＳから映像及び音声のＴＳパケットを抽出し、映像及び音声のＴＳパケットのデータ領域を繋ぎ合わせて、エレメンタリストリームを再生する。ここで、エレメンタリストリーム（以下、ＥＳ（Elementary Stream）という。）は、符号化された画像・音声の最小単位である。

　ここで、上記のように映像及び音声のＴＳパケットからＥＳを再生するための情報として、ＴＳパケット内の「ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ」がある。当該「ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ」が１であるＴＳパケットは、ＥＳのＰＥＳ（Packetized ＥＳ）パケットの先頭であることを示す。当該「ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ」が０であるＴＳパケットは、該ＰＥＳパケットの途中のデータであることを示す。そして、当該「ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ」が０から１に変化する直前のＴＳパケットまでを抽出し、抽出したＴＳパケットを繋ぎ合わせることで、映像及び音声のＥＳを再生する。

　また、映像のＥＳ内には、Ｉ－Ｐｉｃｔｕｒｅ（フレーム内符号化した映像）、Ｐ－Ｐｉｃｔｕｒｅ（フレーム間順方向予測符号化した映像）、Ｂ－Ｐｉｃｔｕｒｅ（双方向予測符号化した映像）という映像符号化方式の異なる映像情報を挿入し、圧縮効率を高めている。ただし、映像のＥＳを再生する際、最初の映像として、前後の映像フレームの情報を用いないＩ－Ｐｉｃｔｕｒｅに基づき映像の再生を行う必要がある。

　さらに、リアルタイムで映像及び音声のＴＳを再生するためには、ＴＳ送信側のエンコーダが送信するＰＣＲ（Program Clock Reference）に同期したクロックをＴＳ受信側のデコーダで生成し、該クロックに同期して映像及び音声を再生する場合もある。ここで、ＰＣＲは、ＴＳパケットとしてＴＳ送信側より送信され、ＰＣＲパケットのＰＩＤはＰＭＴで示される。

　図１０に従来技術によるデータ送信装置の機能構成例を示す。図１０で示すように従来技術によるデータ送信装置においては、それぞれ任意のタイミングで、ＰＡＴ多重化制御部がＰＡＴパケットを、ＰＭＴ多重化制御部がＰＭＴパケットを、ＰＣＲ多重化制御部がＰＣＲパケットを、また、映像多重化制御部がＩ－Ｐｉｃｔｕｒｅなどを含んだパケットを、音声多重化制御部が音声情報を含んだパケットを多重化する。従って、データ受信装置が受信したＴＳの並び順においては、どのパケットがいつ出現するかはわからない。ＰＡＴパケットとＰＭＴパケット、ＰＭＴパケットとＰＣＲパケット、ＰＣＲパケットとＩ－Ｐｉｃｔｕｒｅを含んだパケットとの間には、１以上のＴＳパケットが挟まれる場合がある。

　データ受信装置が映像の再生開始指示を受け付けた場合、まずＰＡＴパケットの受信を待ち、ＰＡＴパケットを受信すると該パケット内に示されるＰＭＴパケットのＰＩＤと同じＰＩＤのパケットを受信するまで待ち時間が発生することになる。同様に、ＰＣＲパケットやＩ－Ｐｉｃｔｕｒｅを含んだパケットを参照する際にも、そのパケットを受信するまで待ち時間が発生することになる。そのため、再生開始指示を受けてから実際に再生を開始するまでに時間がかかってしまう。

　また、図１１に従来技術を適用したデータ受信装置によるデータ受信例を示す。図１１で示すように、データ受信装置におけるＩ－Ｐｉｃｔｕｒｅパケットの受信間隔はＸであり、ＰＡＴパケット、ＰＭＴパケット及びＰＣＲパケットのうち何れかのパケットの受信間隔はＹであり、双方で受信間隔は異なる。また、例えば、受信間隔Ｘは５００ｍｓｅｃであり、受信間隔Ｙは１００ｍｓｅｃというように、受信間隔Ｘは受信間隔Ｙより長い。この様な場合に、上記で説明した各パケットの特徴を考慮すると、データ受信装置においてＩ－Ｐｉｃｔｕｒｅパケットに基づき映像情報の復号化を開始するためには、データ受信開始からの時間がＸ以上掛かる場合もあることが分かる。

　そこで、開示のデータ送信装置１００は、受信側で円滑な再生処理を実行させるために、ＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケット、Ｉ－Ｐｉｃｔｕｒｅパケットの順序でＴＳパケットを送信する。そうすることで、ＭＰＥＧ２で規定されるＴＳから多重化された映像及び音声を再生する場合、受信側ではＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケット、Ｉ－Ｐｉｃｔｕｒｅパケットの順序でＴＳパケットを取得するため、円滑な再生処理が可能となる。つまり、この順序でＴＳパケットを取得した場合、受信側においてデータ受信から再生処理を開始するまでの時間を短縮することができる。

　（本実施の形態に係るデータ送信装置のハードウェア構成）
図４を用いて、本実施の形態に係るデータ送信装置１００のハードウェア構成の一例について説明する。図４は、データ送信装置１００のハードウェア構成の一例を説明する図である。

　図４に示すデータ送信装置１００は、ＣＰＵ（Central Processing Unit）３１０、ＲＯＭ（Read-Only Memory）３２０、ＲＡＭ（Random Access Memory）３３０、ＨＤＤ（Hard Disc Drive）３４０、通信Ｉ／Ｆ（Interface）３５０、表示装置３６０を有する。

　ＣＰＵ３１０は、ＲＯＭ３２０に記憶されたプログラムを実行する装置であり、ＲＡＭ３３０に展開（ロード）されたデータを、プログラムの命令に従って演算処理し、データ送信装置１００の全体を制御する。ＲＯＭ３２０は、ＣＰＵ３１０が実行するプログラムやデータを記憶している。ＲＡＭ３３０は、ＣＰＵ３１０でＲＯＭ３２０に記憶されたプログラムを実行する際に、実行するプログラムやデータが展開（ロード）され、演算の間、演算データを一時的に保持する。ＨＤＤ３４０は、基本ソフトウェアであるＯＳや本実施の形態に係るアプリケーションプログラムなどを、関連するデータとともに記憶する装置である。

　通信Ｉ／Ｆ３５０は、無線又は有線の通信ネットワークを介して接続された他の通信制御機能を備えた周辺機器（ＭＰＥＧ２で規定されたトランスポートストリームの受信装置等）とデータを送受信するためのインタフェースである。表示装置３６０は、ハードキーによるキースイッチやＬＣＤ（Liquid Crystal Display）等で構成され、データ送信装置１００が有する機能をユーザが利用する際や各種設定を行う際のユーザインタフェースとして機能する装置である。

　また、図４で示すように、データ受信装置２８０もデータ送信装置１００と同様に、ＣＰＵ４１０、ＲＯＭ４２０、ＲＡＭ４３０、ＨＤＤ４４０、通信Ｉ／Ｆ４５０、表示装置４６０を有する。

　データ送信装置１００及びデータ受信装置２８０が有する各部・各手段は、ＣＰＵ３１０、４１０が、ＲＯＭ３２０、４２０又はＨＤＤ３４０、４４０に記憶された各部・各手段に対応するプログラムを実行することにより実現される形態としても良い。また、データ送信装置１００及びデータ受信装置２８０が有する各部・各手段は、当該各部・各手段に関する処理をハードウェアとして実現する形態としても良い。

　（本実施の形態に係るデータ送信装置の動作原理）
図５を用いて、本実施の形態に係るデータ送信装置１００の動作原理を説明する。図５は、データ送信装置１００の動作原理を説明するための図である。

　図５に示すデータ送信装置１００は、多重化部１１０、ＰＡＴ／ＰＭＴ多重化制御部１２０、ＰＡＴ多重化制御部１４０、ＰＭＴ多重化制御部１６０、ＰＣＲ多重化制御部１８０、タイマー１５０、１７０、１９０を有する。さらに、データ送信装置１００は、映像多重化制御部２００、映像符号化部２２０、音声多重化制御部２４０、音声符号化部２５０、ＴＳ送信部２６０を有する。

　データ送信装置１００は、例えば、ＩＰネットワーク２７０を介してデータ受信装置２８０と接続され、ＭＰＥＧ２で規定されるトランスポートストリームをデータ受信装置２８０に送信する。そして、データ受信装置２８０は、受信したトランスポートストリームをデコードし、映像及び音声を再生する。

　多重化部１１０は、ＰＡＴ／ＰＭＴ多重化制御部１２０、ＰＡＴ多重化制御部１４０、ＰＭＴ多重化制御部１６０、ＰＣＲ多重化制御部１８０、映像多重化制御部２００、音声多重化制御部２４０からの指示に従い、ＴＳに所定の情報を多重化する。

　ＰＡＴ多重化制御部１４０は、タイマー１５０から所定の通知があった場合、多重化部１１０に対して、ＴＳにＰＡＴパケットを多重化するよう指示を行う。また、タイマー１５０は、ＰＡＴ多重化制御部１４０に対し適当な時間間隔で通知を行うタイマーである。

　ＰＭＴ多重化制御部１６０は、タイマー１７０から所定の通知があった場合、多重化部１１０に対して、ＴＳにＰＭＴパケットを多重化するよう指示を行う。また、タイマー１７０は、ＰＭＴ多重化制御部１６０に対し適当な時間間隔で通知を行うタイマーである。

　ＰＣＲ多重化制御部１８０は、タイマー１９０から所定の通知があった場合、多重化部１１０に対して、ＴＳにＰＣＲパケットを多重化するよう指示を行う。また、タイマー１９０は、ＰＣＲ多重化制御部１８０に対し適当な時間間隔で通知を行うタイマーである。

　音声符号化部２５０は、ＴＳに多重化する音声を符号化したＥＳを生成し、該ＥＳを音声多重化制御部２４０に通知する。また、音声符号化部２５０は、生成したＥＳを音声多重化制御部２４０に通知すると共に、ＴＳに該ＥＳを多重化するタイミングを通知する。

　音声多重化制御部２４０は、音声符号化部２５０により通知されるタイミングに基づき、音声符号化部２５０により通知される音声に関するＥＳをＴＳに多重化するよう多重化部１１０に対し指示を行う。

　映像符号化部２２０は、ＴＳに多重化する映像を符号化したＥＳを生成し、該ＥＳを映像多重化制御部２００に通知する。また、映像符号化部２２０は、生成したＥＳを映像多重化制御部２００に通知すると共に、ＴＳに該ＥＳを多重化するタイミングを通知する。

　映像多重化制御部２００は、映像符号化部２２０により通知されるタイミングに基づき、映像符号化部２２０により通知される映像に関するＥＳをＴＳに多重化するよう多重化部１１０に対し指示を行う。

　映像多重化制御部２００、映像符号化部２２０は、多重化タイミング通知手段２１０、２３０をそれぞれ有する。多重化タイミング通知手段２１０、２３０は、ＰＡＴ／ＰＭＴ多重化制御部１２０に対し、ＴＳにＩ－Ｐｉｃｔｕｒｅパケットを多重化する旨、又はＴＳにＩ－Ｐｉｃｔｕｒｅパケットを多重化するタイミングを通知する。

　図５で示すように、多重化タイミング通知手段２１０、２３０は、映像多重化制御部２００及び映像符号化部２２０の双方が有する形態としても良く、映像多重化制御部２００又は映像符号化部２２０の何れか一方が有する形態としても良い。

　ＰＡＴ／ＰＭＴ多重化制御部１２０は、ＰＡＴパケット及びＰＭＴパケットをＴＳに多重化するよう多重化部１１０に対し指示を行う。この際、ＰＡＴ／ＰＭＴ多重化制御部１２０は、ＰＡＴパケット、ＰＭＴパケットの順で多重化するよう指示を行う。

　そして、映像多重化制御部２００は、ＰＡＴ／ＰＭＴ多重化制御部１２０の多重化指示に基づきＴＳに多重化されたＰＭＴパケットの直後にＩ－Ｐｉｃｔｕｒｅパケットを多重化するよう多重化部１１０に対し指示を行う。

　ＰＡＴ／ＰＭＴ多重化制御部１２０の一形態においては、ＰＡＴパケット、ＰＭＴパケット及びＰＣＲパケットをＴＳに多重化するよう多重化部１１０に対し指示を行う。この際、ＰＡＴ／ＰＭＴ多重化制御部１２０は、ＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケットの順で多重化するよう指示を行う。

　そして、映像多重化制御部２００は、ＰＡＴ／ＰＭＴ多重化制御部１２０の多重化指示に基づきＴＳに多重化されたＰＣＲパケットの直後にＩ－Ｐｉｃｔｕｒｅパケットを多重化するよう多重化部１１０に対し指示を行う。

　また、ＰＡＴ／ＰＭＴ多重化制御部１２０は、多重化タイミング取得手段１３０を有する。多重化タイミング取得手段１３０は、多重化タイミング通知手段２１０、２３０により通知されたＴＳにＩ－Ｐｉｃｔｕｒｅパケットを多重化する旨の通知、又はＴＳにＩ－Ｐｉｃｔｕｒｅパケットを多重化するタイミングの通知を取得する。

　さらに、ＰＡＴ／ＰＭＴ多重化制御部１２０の一形態においては、多重化タイミング取得手段１３０により前記通知を取得した場合、多重化部１１０に対し上記の多重化指示を行う。

　図１２は、データ送信装置１００により送信される（又はデータ受信装置２８０により受信される）ＴＳの概要を説明するための図である。図１２で示すようにデータ送信装置１００は、ＰＡＴ／ＰＭＴ多重化制御部１２０及び映像多重化制御部２００による処理に基づき、ＴＳにＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケット、Ｉ－Ｐｉｃｔｕｒｅパケットの順で多重化する（以下、前多重処理という。）ことができる。ＰＡＴ／ＰＭＴ多重化制御部１２０によって多重化されたパケットは、図中の点線で囲まれたパケットである。したがって、データ送信装置１００は、前多重処理を行うことで、受信機２８０側においてＭＰＥＧ２で規定されたトランスポートストリームの再生処理を行う際、該再生処理を円滑に行わせることができる。また、データ受信装置２８０においては、ＴＳの受信を開始した後、Ｉ－Ｐｉｃｔｕｒｅパケットの受信間隔Ｘ（例えば、５００ｍｓｅｃ）以内に映像情報の復号化を開始することができる。つまり、図１１で示す従来技術と比較すると、データ送信装置１００及びデータ受信装置２８０を用いれば、データ受信装置２８０におけるＴＳ受信開始後、相対的に短時間で映像情報の復号化を開始することができる。

　ＴＳ送信部２６０は、データ送信装置１００の外部に、多重化部１１０において多重化が行われたＴＳを送信する。図６で示すように、ＴＳ送信部２６０は、ＴＳに多重化したＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケット、Ｉ－Ｐｉｃｔｕｒｅパケットの順序を変更することなく、データ送信装置１００の外部に送信する。

　さらに、図６で示すように、ＴＳ送信部２６０は、ＩＰネットワークを介してＴＳを外部送信する際、送信パケットのヘッダ部の直後にＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケット、Ｉ－Ｐｉｃｔｕｒｅパケットの順序で配置する形態としても良い。データ送信装置１００は、ＴＳ送信部２６０による処理に基づき、受信機２８０側においてＴＳ再生処理に必要なデータを必要な順序で送信するため、該ＴＳ再生処理を円滑に行わせることができる。また、ＴＳ送信部２６０は、ＲＴＰ（Real-time Transport Protocol）を使用してＴＳを外部送信する際、上記要件に加え、ＲＴＰパケットのヘッダ部内に前多重処理を施した送信パケットであることを識別するマーカー・フラグを付する形態としても良い。ここで、図７中の「Ｍ」で示す位置に上記マーカー・フラグは配置される。このような処理を送信機１００側で行い、データ受信装置２８０において上記マーカー・フラグを監視することで、再生処理の際にＩ－Ｐｉｃｔｕｒｅの再生可能位置を容易に検知することができる。

　一方、図１３で示すようにデータ受信装置２８０は、データ受信部５１０、データ振分部５２０、データ復号部５３０を有する。データ受信部５１０は、データ送信装置１００から送信されたＴＳを受信する。データ振分部５２０は、受信したＴＳパケットから抽出されたＰＡＴパケット及びＰＭＴパケットに含まれるデータ属性識別情報に基づき、ＴＳパケットを映像情報、音声情報、およびその他情報に振り分ける。そして、データ復号部５３０は、データ振分部５２０により振り分けられた情報毎に復号化を行う。

　また、データ受信部５１０は、ＴＳ送信部２６０によりＲＴＰパケットに付されたマーカー・フラグの監視を行い、該マーカー・フラグを検知した場合、受信したＴＳが前多重処理を施したＴＳであると判定する。そして、データ受信部５１０は、受信したＴＳが前多重処理を施したＴＳであると判定した以降のＴＳパケットに対し、映像情報の復号化処理を実行する。このようにすることで、データ受信装置２８０における再生処理の際にＩ－Ｐｉｃｔｕｒｅの再生可能位置を容易に検知することができる。また、データ受信装置２８０において、Ｉ－Ｐｉｃｔｕｒｅの再生可能位置を検知した後は、復号化の情報処理のみを行えば良いため、データ受信装置２８０におけるＴＳパケットのデータ属性識別処理に掛かる負荷を低減させることができる。

　ここで、本実施の形態におけるＰＡＴ／ＰＭＴ多重化制御部１２０、映像多重化制御部２００又は映像符号化部２２０、多重化タイミング取得手段１３０、ＴＳ送信部２６０のそれぞれは、特許請求の範囲における識別情報挿入部、映像情報挿入部、挿入タイミング取得手段、データ送信部にそれぞれ対応している。

　（本実施の形態に係るデータ送信装置による処理例）
図８、９を用いて、本実施の形態に係るデータ送信装置１００による処理例を説明する。

　（１）本実施の形態に係るデータ送信装置による多重化処理の一例
ここでは、図８を用いて、データ送信装置１００による多重化処理の一例を説明する。図８は、データ送信装置１００による多重化処理の流れを示すフローチャートである。

　Ｓ１０でデータ送信装置１００が、ＴＳの多重化処理を開始する。Ｓ２０において、Ｉ－Ｐｉｃｔｕｒｅパケットを多重化するタイミングか否かの判定を行う。つまり、Ｓ２０で多重化タイミング取得手段１３０が、映像多重化制御部２００又は映像符号化部２２０よりＩ－Ｐｉｃｔｕｒｅパケットを多重化するタイミングの通知を受けた場合（Ｓ２０でＹｅｓの場合）、Ｓ３０における処理に移行する。一方、Ｓ２０で多重化タイミング取得手段１３０が、当該通知を受けない場合（Ｓ２０でＮｏの場合）、Ｓ４０における処理に移行する。

　Ｓ３０でＰＡＴ／ＰＭＴ多重化制御部１２０が、多重化部１１０に対し、ＴＳにＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケットの順序で多重化するよう指示を通知する。そして、Ｓ３０で多重化部１１０が、当該指示に従い、ＰＡＴパケット、ＰＭＴパケット及びＰＣＲパケットの多重化を行う。

　Ｓ４０において、ＰＡＴパケットを多重化するタイミングか否かの判定を行う。Ｓ４０でＰＡＴ多重化制御部１４０に対しタイマー１５０から通知があった場合（Ｓ４０でＹｅｓの場合）、Ｓ５０でＰＡＴ多重化制御部１４０が、多重化部１１０に対してＴＳにＰＡＴパケットを多重化するよう指示を行う。そして、Ｓ５０で多重化部１１０が、ＴＳにＰＡＴパケットを多重化する。Ｓ４０でＰＡＴ多重化制御部１４０に対しタイマー１５０から通知が無い場合（Ｓ４０でＮｏの場合）、Ｓ６０における処理に移行する。

　Ｓ６０において、ＰＭＴパケットを多重化するタイミングか否かの判定を行う。Ｓ６０でＰＭＴ多重化制御部１６０に対しタイマー１７０から通知があった場合（Ｓ６０でＹｅｓの場合）、Ｓ７０でＰＭＴ多重化制御部１６０が、多重化部１１０に対してＴＳにＰＭＴパケットを多重化するよう指示を行う。そして、Ｓ７０で多重化部１１０が、ＴＳにＰＭＴパケットを多重化する。Ｓ６０でＰＭＴ多重化制御部１６０に対しタイマー１７０から通知が無い場合（Ｓ６０でＮｏの場合）、Ｓ８０における処理に移行する。

　Ｓ８０において、ＰＣＲパケットを多重化するタイミングか否かの判定を行う。Ｓ８０でＰＣＲ多重化制御部１８０に対しタイマー１９０から通知があった場合（Ｓ８０でＹｅｓの場合）、Ｓ９０でＰＣＲ多重化制御部１８０が、多重化部１１０に対してＴＳにＰＣＲパケットを多重化するよう指示を行う。そして、Ｓ９０で多重化部１１０が、ＴＳにＰＣＲパケットを多重化する。Ｓ８０でＰＣＲ多重化制御部１８０に対しタイマー１９０から通知が無い場合（Ｓ８０でＮｏの場合）、Ｓ１００における処理に移行する。

　Ｓ１００において、符号化した映像を多重化するタイミングか否かの判定を行う。Ｓ１００で映像多重化制御部２００が、映像符号化部２２０により映像多重化のタイミングを通知された場合（Ｓ１００でＹｅｓの場合）、Ｓ１１０における処理に移行する。Ｓ１００で映像多重化制御部２００が、映像符号化部２２０により映像多重化のタイミングを通知されない場合（Ｓ１００でＮｏの場合）、Ｓ１２０における処理に移行する。

　Ｓ１１０で映像多重化制御部２００が、映像符号化部２２０により通知される映像に関するＥＳをＴＳに多重化するよう多重化部１１０に対し指示を行う。特に、Ｓ２０でＹｅｓであった場合は、Ｓ１１０で映像多重化制御部２００が、映像符号化部２２０により通知されるＩ－Ｐｉｃｔｕｒｅパケットを、Ｓ３０においてＴＳに多重化されたＰＣＲパケットの直後に多重化するよう多重化部１１０に対し指示を行う。そして、Ｓ１１０で多重化部１１０が、映像多重化制御部２００の指示に従い多重化を行う。

　Ｓ１２０において、符号化した音声を多重化するタイミングか否かの判定を行う。Ｓ１２０で音声多重化制御部２４０が、音声符号化部２５０により音声多重化のタイミングを通知された場合（Ｓ１２０でＹｅｓの場合）、Ｓ１３０における処理に移行する。Ｓ１２０で音声多重化制御部２４０が、音声符号化部２５０により音声多重化のタイミングを通知されない場合（Ｓ１２０でＮｏの場合）、Ｓ１４０における処理に移行する。

　Ｓ１３０で音声多重化制御部２４０が、音声符号化部２５０により通知される音声に関するＥＳをＴＳに多重化するよう多重化部１１０に対し指示を行う。そして、Ｓ１３０で多重化部１１０が、音声多重化制御部２４０の指示に従い多重化を行い、Ｓ１４０でデータ送信装置１００が、ＴＳの多重化処理を終了する。

　データ送信装置１００は、ＰＡＴ／ＰＭＴ多重化制御部１２０及び映像多重化制御部２００による処理に基づき、前多重処理を行うことができる。また、データ送信装置１００は、前多重処理を行うことで、受信機２８０側においてＭＰＥＧ２で規定されたＴＳの再生処理を行う際、該再生処理を円滑に行わせることができる。

　（２）本実施の形態に係るデータ送信装置による外部送信処理の一例
ここでは、図９を用いて、データ送信装置１００による外部送信処理の一例を説明する。図９は、データ送信装置１００による外部送信処理の流れを示すフローチャートである。

　Ｓ２１０でデータ送信装置１００が、ＴＳの外部送信処理を開始する。Ｓ２２０で外部送信するデータが前多重処理を施したＴＳである場合（Ｓ２２０でＹｅｓの場合）、Ｓ２３０でＴＳ送信部２６０が、Ｉ－Ｐｉｃｔｕｒｅ送信フラグを立てる。一方、Ｓ２２０で外部送信するデータが前多重処理を施したＴＳではない場合（Ｓ２２０でＮｏの場合）、Ｓ２６０でＴＳ送信部２６０が、多重化部１１０から送出されたＴＳを、ＲＡＭ３３０等に一時蓄積しているＴＳに追加して保存する。

　Ｓ２４０において、一次蓄積している前多重処理を施していないＴＳが１つ以上ある場合（Ｓ２４０でＹｅｓの場合）、Ｓ２５０でＴＳ送信部２６０が、該前多重処理を施していないＴＳ全てをＵＤＰ（User Datagram Protocol）又はＲＴＰを使用して外部送信する。

　Ｓ２４０において、一次蓄積している前多重処理を施さないＴＳが１つも無い場合（Ｓ２４０でＮｏの場合）、Ｓ２６０でＴＳ送信部２６０が、多重化部１１０から送出されたＴＳを、ＲＡＭ３３０等に一時蓄積しているＴＳに追加して保存する。一次蓄積しているＴＳに追加して保存する際には、ＴＳ送信部２６０が多重化部１１０から受信した順序に従ってＴＳを保存する。このような順にＴＳを保存することで、多重化部１１０が多重した順のままＴＳを外部へ送信できる。

　また、Ｓ２４０で前多重処理を施していない保存ＴＳが１パケット以上あれば、Ｓ２５０で送信してしまうことにより、送信パケットのヘッダ部の直後にＰＡＴ情報（ＰＡＴパケット）を配置することができるようになる。

　Ｓ２７０において、ＲＡＭ３３０等に一時蓄積しているＴＳ数が所定数以内である場合（Ｓ２７０でＹｅｓの場合）、Ｓ２２０における処理に移行する。Ｓ２７０において、一時蓄積しているＴＳ数が所定数より多い場合（Ｓ２７０でＮｏの場合）、Ｓ２８０における処理に移行する。

　Ｓ２８０において、ＴＳ送信部２６０が外部送信する送信モードがＵＤＰである場合（Ｓ２８０でＹｅｓの場合）、Ｓ２９０でＴＳ送信部２６０が、ＵＤＰを使用して、一時蓄積している全ＴＳを外部送信する。Ｓ２９０でＴＳ送信部２６０は、ＴＳに多重化したＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケット、Ｉ－Ｐｉｃｔｕｒｅパケットの順序を変更することなく外部送信する。

　データ送信装置１００は、ＴＳ送信部２６０による処理に基づき、受信機２８０側においてＴＳ再生処理に必要なデータを必要な順序で送信するため、該ＴＳ再生処理を円滑に行わせることができる。

　Ｓ２８０において、ＴＳ送信部２６０が外部送信する送信モードがＵＤＰでない場合（Ｓ２８０でＮｏの場合）、Ｓ３００における処理に移行する。Ｓ３００において、Ｉ－Ｐｉｃｔｕｒｅフラグが立っている場合（Ｓ３００でＹｅｓの場合）、Ｓ３１０でＴＳ送信部２６０が、マーカー・フラグを「１」としたＲＴＰヘッダを、一次蓄積しているＴＳの先頭に付加する。

　Ｓ３００において、Ｉ－Ｐｉｃｔｕｒｅフラグが立っていない場合（Ｓ３００でＮｏの場合）、Ｓ３２０でＴＳ送信部２６０が、マーカー・フラグを「０」としたＲＴＰヘッダを、一次蓄積しているＴＳの先頭に付加する。

　Ｓ３３０でＴＳ送信部２６０が、生成したＲＴＰパケットを外部送信し、Ｓ３４０でデータ送信装置１００が、ＴＳの外部送信処理を終了する。データ受信装置２８０では、データ送信装置１００が送信したＴＳを受信し、受信したＲＴＰヘッダ内の上記マーカー・フラグを監視することで、Ｉ－Ｐｉｃｔｕｒｅの再生可能位置を検知することができる。

　データ送信装置１００により送信されたパケットを受信したデータ受信装置においては、ＰＡＴパケットのすぐ後にＰＭＴパケットを、ＰＭＴパケットのすぐ後にＰＣＲパケットを、ＰＣＲパケットのすぐ後にＩ－Ｐｉｃｔｕｒｅパケットをそれぞれ受信することになる。そのため、上述の従来技術によるデータ送信装置から送信されたパケットを受信した時には発生していた必要なパケットを受信するまでの待ち時間を、生じさせなくすることができる。尚、データ送信装置１００を導入するにあたって、データ受信装置には、機能やハードウェアを何ら変更する必要は無い。

　（総括）
開示するデータ送信装置の一形態では、データ送信装置が送信した符号化された映像情報に基づき受信機側で映像等の再生を行う際、データ受信開始後、短時間で該再生処理を開始させることができる。
以上、本発明の実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲において、種々の変形・変更が可能である。

Claims

　符号化した映像情報を含むデータの送信を行うデータ送信装置において、
　当該データ送信装置が送信する前記データに、該データに含まれる前記映像情報を識別するための映像識別情報を挿入する識別情報挿入部と、
　当該データ送信装置が送信する前記データに、前記映像情報を挿入する映像情報挿入部と、を有するデータ送信装置であって、
　前記映像情報挿入部は、前記識別情報挿入部により挿入された前記映像識別情報の直後に、フレーム内符号化を施した前記映像情報を挿入することを特徴とするデータ送信装置。
　前記識別情報挿入部は、
　前記映像情報挿入部から、前記フレーム内符号化を施した映像情報が挿入される旨の通知を取得する挿入タイミング取得手段を有し、
　前記挿入タイミング取得手段により前記通知を取得した場合、前記映像識別情報、前記データの送受信装置間で同期を取るために使用するクロック情報の順に挿入し、
　前記映像情報挿入部は、
　前記映像識別情報に代えて、前記識別情報挿入部により挿入された前記クロック情報の直後に、前記フレーム内符号化を施した映像情報を挿入することを特徴とする請求項１に記載のデータ送信装置。
　ＩＰネットワークを介して当該データ送信装置の外部に、前記データを送信するデータ送信部を有し、
　前記データ送信部は、前記映像識別情報、前記クロック情報、および前記フレーム内符号化を施した映像情報の順序を変更することなく、かつ、送信パケットのヘッダ部の直後に該映像識別情報を配置して、前記データを送信することを特徴とする請求項２に記載のデータ送信装置。
　前記データ送信部は、ＲＴＰ（Real-time Transport Protocol）を使用して送信する場合、前記映像識別情報、クロック情報、およびフレーム内符号化を施した映像情報の順序で配置された送信パケットであることを識別するマーカー・フラグを、ＲＴＰパケットのヘッダ部内に付することを特徴とする請求項３に記載のデータ送信装置。
　請求項１乃至３のいずれか一に記載のデータ送信装置と、
　前記データ送信装置により送信された前記データを受信するデータ受信部と、受信した該データに含まれる前記映像識別情報に基づき、該データから前記映像情報を抽出するデータ振分部と、抽出した該映像情報を復号化するデータ復号化部とを有するデータ受信装置と、を含むことを特徴とするデータ送受信システム。
　請求項４に記載のデータ送信装置と、
　前記データ送信装置により送信された前記データを受信するデータ受信部と、受信した該データに含まれる前記映像識別情報に基づき、該データから前記映像情報を抽出するデータ振分部と、抽出した該映像情報を復号化するデータ復号化部とを有するデータ受信装置と、を含むデータ送受信システムであって、
　前記データ受信部は、受信した前記データに関するＲＴＰパケットのヘッダ部内の前記マーカー・フラグに基づき、該データを、前記映像識別情報、クロック情報、およびフレーム内符号化を施した映像情報の順序で配置された送信パケットであると識別することを特徴とするデータ送受信システム。
　符号化した映像情報を含むデータの送信を行うデータ送信装置に、
　識別情報挿入部が、当該データ送信装置が送信する前記データに、該データに含まれる前記映像情報を識別するための映像識別情報を挿入するステップと、
　映像情報挿入部が、当該データ送信装置が送信する前記データに、前記映像情報を挿入するステップと、を実行させるデータ送信プログラムであって、
　前記映像情報挿入部は、前記識別情報挿入部により挿入された前記映像識別情報の直後に、フレーム内符号化を施した前記映像情報を挿入することを特徴とするデータ送信プログラム。
　前記識別情報挿入部は、
　挿入タイミング取得手段が、前記映像情報挿入部から、前記フレーム内符号化を施した映像情報が挿入される旨の通知を取得するステップをさらに有し、
　前記挿入タイミング取得手段により前記通知を取得した場合、前記映像識別情報、前記データの送受信装置間で同期を取るために使用するクロック情報の順に挿入し、
　前記映像情報挿入部は、
　前記映像識別情報に代えて、前記識別情報挿入部により挿入された前記クロック情報の直後に、前記フレーム内符号化を施した映像情報を挿入することを特徴とする請求項７に記載のデータ送信プログラム。
　データ送信部が、ＩＰネットワークを介して当該データ送信装置の外部に、前記データを送信するステップをさらに有し、
　前記データ送信部は、前記映像識別情報、前記クロック情報、および前記フレーム内符号化を施した映像情報の順序を変更することなく、かつ、送信パケットのヘッダ部の直後に該映像識別情報を配置して、前記データを送信することを特徴とする請求項８に記載のデータ送信プログラム。
　前記データ送信部は、ＲＴＰ（Real-time Transport Protocol）を使用して送信する場合、前記映像識別情報、クロック情報、およびフレーム内符号化を施した映像情報の順序で配置された送信パケットであることを識別するマーカー・フラグを、ＲＴＰパケットのヘッダ部内に付することを特徴とする請求項９に記載のデータ送信プログラム。
　ＭＰＥＧ２で規定するトランスポートストリームを送信するデータ送信装置において、
　前記トランスポートストリームとして、該トランスポートストリームの再生に関連するプログラムの一覧情報を含むＰＡＴ（Program Association Table）情報並びに該プログラムに対応する画像及び音声の識別情報を含むＰＭＴ（Program Map Table）情報を多重化するＰＡＴ／ＰＭＴ多重化制御部と、
　前記トランスポートストリームとして、符号化された映像情報を多重化する映像多重化制御部と、を有するデータ送信装置であって、
　前記ＰＡＴ／ＰＭＴ多重化制御部は、前記ＰＡＴ情報、前記ＰＭＴ情報の順に多重化し、
　前記映像多重化制御部は、前記ＰＡＴ／ＰＭＴ多重化制御部により多重化された前記ＰＭＴ情報の直後にＩ－Ｐｉｃｔｕｒｅ情報を多重化することを特徴とするデータ送信装置。
　前記ＰＡＴ／ＰＭＴ多重化制御部は、
　前記Ｉ－Ｐｉｃｔｕｒｅ情報が多重化される旨の通知を前記映像多重化制御部から取得する前多重タイミング取得手段を有し、
　前記前多重タイミング取得手段により前記通知を取得した場合、前記ＰＡＴ情報、前記ＰＭＴ情報、前記トランスポートストリームのデータ送受信装置間で同期を取るために使用するＰＣＲ（Program Clock Reference）情報の順に多重化し、
　前記映像多重化制御部は、
　前記ＰＭＴ情報に代えて、前記ＰＡＴ／ＰＭＴ多重化制御部により多重化された前記ＰＣＲ情報の直後に前記Ｉ－Ｐｉｃｔｕｒｅ情報を多重化することを特徴とする請求項１１に記載のデータ送信装置。
　ＩＰネットワークを介して、前記トランスポートストリームを当該データ送信装置の外部に送信するＴＳ送信部を有し、
　前記ＴＳ送信部は、前記トランスポートストリームについて、前記ＰＡＴ情報、前記ＰＭＴ情報、前記ＰＣＲ情報、前記Ｉ－Ｐｉｃｔｕｒｅ情報の順序を変更することなく、かつ、送信パケットのヘッダ部の直後に該ＰＡＴ情報を配置して、外部送信することを特徴とする請求項１２に記載のデータ送信装置。
　前記ＴＳ送信部は、
　ＲＴＰ（Real-time Transport Protocol）を使用して前記トランスポートストリームを外部送信する場合、
　ＲＴＰパケットのヘッダ部内に、前記ＰＣＲ情報の直後に前記Ｉ－Ｐｉｃｔｕｒｅ情報を多重化した前記トランスポートストリームに関する送信パケットであることを識別するマーカー・フラグを付することを特徴とする請求項１３に記載のデータ送信装置。
　ＭＰＥＧ２で規定するトランスポートストリームを送信するデータ送信装置に、
　ＰＡＴ／ＰＭＴ多重化制御部が、前記トランスポートストリームとして、該トランスポートストリームの再生に関連するプログラムの一覧情報を含むＰＡＴ（Program Association Table）情報並びに該プログラムに対応する画像及び音声の識別情報を含むＰＭＴ（Program Map Table）情報を多重化するステップと、
　映像多重化制御部が、前記トランスポートストリームとして、符号化された映像情報を多重化するステップと、を実行させるデータ送信プログラムであって、
　前記ＰＡＴ／ＰＭＴ多重化制御部は、前記ＰＡＴ情報、前記ＰＭＴ情報の順に多重化し、
　前記映像多重化制御部は、前記ＰＡＴ／ＰＭＴ多重化制御部によって多重化された前記ＰＭＴ情報の直後にＩ－Ｐｉｃｔｕｒｅ情報を多重化することを特徴とするデータ送信プログラム。
　前記ＰＡＴ／ＰＭＴ多重化制御部は、
　前多重タイミング取得手段が、前記Ｉ－Ｐｉｃｔｕｒｅ情報が多重化される旨の通知を前記映像多重化制御部から取得するステップをさらに有し、
　前記前多重タイミング取得手段によって前記通知を取得した場合、前記ＰＡＴ情報、前記ＰＭＴ情報、前記トランスポートストリームのデータ送受信装置間で同期を取るために使用するＰＣＲ（Program Clock Reference）情報の順に多重化し、
　前記映像多重化制御部は、
　前記ＰＭＴ情報に代えて、前記ＰＡＴ／ＰＭＴ多重化制御部により多重化された前記ＰＣＲ情報の直後に前記Ｉ－Ｐｉｃｔｕｒｅ情報を多重化することを特徴とする請求項１５に記載のデータ送信プログラム。
　ＴＳ送信部が、ＩＰネットワークを介して、前記トランスポートストリームを前記データ送信装置の外部に送信するステップをさらに有し、
　前記ＴＳ送信部は、前記トランスポートストリームについて、前記ＰＡＴ情報、前記ＰＭＴ情報、前記ＰＣＲ情報、前記Ｉ－Ｐｉｃｔｕｒｅ情報の順序を変更することなく、かつ、送信パケットのヘッダ部の直後に該ＰＡＴ情報を配置して、外部送信することを特徴とする請求項１６に記載のデータ送信プログラム。
　前記ＴＳ送信部は、
　ＲＴＰ（Real-time Transport Protocol）を使用して前記トランスポートストリームを外部送信する場合、
　ＲＴＰパケットのヘッダ部内に、前記ＰＣＲ情報の直後に前記Ｉ－Ｐｉｃｔｕｒｅ情報を多重化した前記トランスポートストリームに関する送信パケットであることを識別するマーカー・フラグを付することを特徴とする請求項１７に記載のデータ送信プログラム。