JP4040426B2 - データ送信装置 - Google Patents
データ送信装置 Download PDFInfo
- Publication number
- JP4040426B2 JP4040426B2 JP2002304166A JP2002304166A JP4040426B2 JP 4040426 B2 JP4040426 B2 JP 4040426B2 JP 2002304166 A JP2002304166 A JP 2002304166A JP 2002304166 A JP2002304166 A JP 2002304166A JP 4040426 B2 JP4040426 B2 JP 4040426B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- signal
- timing
- synchronization signal
- compression encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims description 67
- 230000006835 compression Effects 0.000 claims description 87
- 238000007906 compression Methods 0.000 claims description 87
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 230000000630 rising effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000695274 Processa Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、１つの映像信号から異なる複数のビットレートの圧縮符号化データを生成してネットワーク上に同時に送信するデータ送信装置に関し、特に、これらの圧縮符号化データをリアルタイムで送信する場合に適用可能なデータ送信装置に関する。
【０００２】
【従来の技術】
近年、ＭＰＥＧ（Moving Picture Experts Group）等の画像圧縮符号化技術を用いることで、動画像データをネットワークを通じて容易に配信することが可能となっている。しかし、特にインターネットを通じて配信を行う場合には、配信したデータがアナログ電話回線やＩＳＤＮ（Integrated Services Digital Network）回線等を経由する可能性を考えると、必ずしもどの受信者に対しても広帯域の通信が保証されてはいない。このため、解像度を低下させる、あるいは圧縮度を高めることで、比較的低ビットレートのデータ配信を行う必要があるのが現状である。
【０００３】
このことから、動画像データを配信する場合に、１つの映像ソースから、企業内のイントラネット等の比較的広帯域のネットワークに配信するためのデータと、インターネット等の比較的狭帯域のネットワークに配信するためのデータの２種類を生成して、これらを同時に配信することが考えられている。例えば、広帯域のネットワーク向けには、ＭＰＥＧ−２方式で圧縮符号化した６Ｍｂｐｓ程度のビットレートのデータストリームを配信し、狭帯域のネットワーク向けには、ＭＰＥＧ−４方式で圧縮符号化した１００ｋｂｐｓ程度のビットレートのデータストリームを配信する。
【０００４】
従来、このように１つの映像ソースからビットレートの異なる複数のデータストリームを生成して配信する場合、生成したいデータストリームの数だけのエンコード装置を設け、このそれぞれに映像ソースを分配して符号化処理を実行させていた。あるいは、トランスコーダ装置等を用いて広帯域向けのデータストリームを一旦復号化し、狭帯域用に符号化し直して再配信していた。
【０００５】
しかし、動画像データの配信が一般化した現在では、配信側のシステムの低コスト化や、設置スペースの小型化への要求が強い。また、特に最近では、河川・ダムの水位や道路等の遠隔監視、あるいは会議やコンサートの生中継といった用途で、配信したデータのリアルタイム性が重要視される場合が多い。このため、１つのエンコーダ装置内に複数のエンコーダエンジンを設け、このエンコーダ装置でビットレートの異なる複数のデータストリームを生成し、同時に配信することが考えられている。
【０００６】
ところで、ＭＰＥＧ方式のようにフレーム間予測を用いて圧縮符号化したデータでは、自身のデータのみで復号化が可能なピクチャと、フレーム間予測を用いて生成されたピクチャとの間にデータ量の差が生じる場合が多い。このため、画像の符号化・復号化処理時の処理負荷の変動量が大きくなり、またこのようなデータをネットワークを通じて送信する際に、実際の送信データ量が局所的に平均のビットレート値を大きく上回ってしまうことが問題となる。
【０００７】
従来、画像をオブジェクトごとに符号化し、これらを多重化してデータを生成する場合については、各オブジェクトにおいてフレーム当たりに発生する符号量の変動幅に応じて、オブジェクト間の符号化開始タイミングをオフセットすることにより、発生符号量および処理負荷を平滑化する方法があった（例えば、特許文献１参照）。
【０００８】
【特許文献１】
特開平１０−０２３４２７号公報（段落番号〔００３７〕〜〔００５
１〕、第５図）
【０００９】
【発明が解決しようとする課題】
上述したように、ＭＰＥＧ方式のようなフレーム間予測を用いた圧縮符号化では、発生符号量の変動幅が大きいことが問題であった。特に、１つの映像ソースからビットレートの異なる複数の圧縮符号化データを生成し、これらを同時に配信する場合には、発生符号量の変動幅がさらに増大し、ネットワークに送信されるデータ量が局所的に大きくなった際に正常な受信が不可能となることが問題となる。
【００１０】
図９は、ビットレートの異なる複数の圧縮符号化データが同時配信された場合のデータ量の変動を示す図である。図９（Ａ）は、ＭＰＥＧ−２方式で生成されたデータストリーム中におけるピクチャの配置例を示し、（Ｂ）は、各ピクチャに対応して発生する合計のデータ量のグラフを示している。
【００１１】
図９（Ａ）では、２つのエンコーダ装置により、１つの映像ソースからビットレートの異なる２つのデータストリームＡおよびＢが生成された場合を示している。ＭＰＥＧ−２方式（またはＭＰＥＧ−１方式）で符号化されたデータストリームは、１フレーム内で閉じた符号化がなされるＩピクチャと、順方向予測を利用して符号化されるＰピクチャと、双方向予測を利用して符号化されるＢピクチャで構成される。図９（Ａ）のデータストリームＡおよびＢは、２枚のＢピクチャの前後に１枚のＩピクチャまたはＰピクチャが配置される、一般的なピクチャの配置構造を有している。また、ＧＯＰ（Group Of Picture）は途中再生を可能とするための単位であり、１ＧＯＰ中にはＩピクチャが必ず１枚以上配置される。なお、この例では１ＧＯＰ当たりのピクチャ数を一定としている。
【００１２】
ここで、Ｉピクチャは１フレーム内で閉じた符号化がなされて生成されるため、特にＢピクチャと比較してデータ量が格段に大きい。図９（Ａ）のようなピクチャの配置構造を有するデータストリームでは、Ｉピクチャのデータ量はデータストリーム全体のほぼ１／３を占める。
【００１３】
図の例の場合、１２ピクチャに１枚がＩピクチャであるので、１秒間の平均のデータ配信量で考えると、１／１２秒の期間で残りの１１／１２秒分の半分のデータが一度に配信されることになる。例えば、平均のビットレートが６Ｍｂｐｓのデータストリームの場合、Ｉピクチャの発生時には瞬間的に２４Ｍｂｐｓの速度でデータが発生する可能性がある。さらに、この２４Ｍｂｐｓというビットレートは、１／１２秒の期間に均等にデータが配信された場合の値であるので、データの発生と同時に一度に送信した場合にはさらに高速でデータが送信されてしまう。
【００１４】
また、１つのエンコーダ装置内の複数のデコーダエンジンにより、複数のデータストリームを同時に符号化する場合には、通常、これらの符号化が同時に開始され、図９（Ａ）のように、Ｉピクチャ、Ｂピクチャ、Ｐピクチャがそれぞれで同じ位置に生成される。従って、各データストリームでともにＩピクチャが生成されたタイミングでは、データ発生量は瞬間的にさらに極端に増大する。例えば、データストリームＡおよびＢの平均ビットレートをそれぞれ６Ｍｂｐｓ、３Ｍｂｐｓとすると、ピーク時には３６Ｍｂｐｓ（＝２４Ｍｂｐｓ＋１２Ｍｂｐｓ）にも達してしまう。このような発生データ量の極端な偏りは、データが伝送されるネットワークの負荷を瞬間的に高め、パケットロス等を引き起こす。
【００１５】
一方、発生データ量の偏りの少ない符号化データを生成することは可能であるが、このためにはエンコーダ装置内に大容量のバッファを設け、相当量のデータを一時記憶しながら符号化を行う必要がある。このため、元の映像に対してデータの送信が遅延し、リアルタイム性が損なわれてしまう。また、制御が複雑になり、装置コストも増加してしまう。
【００１６】
本発明は、このような課題に鑑みてなされたものであり、１つの映像信号からビットレートの異なる複数の圧縮符号化データを生成する場合に、発生するデータ量の偏りを容易に低減することが可能なデータ送信装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明では上記課題を解決するために、図１に示すように、１つの映像信号から異なる複数のビットレートの圧縮符号化データを生成してネットワーク２上に同時に送信するデータ送信装置１において、前記映像信号としてＮＴＳＣ方式のコンポジット信号の入力を受け、当該映像信号から垂直同期信号および色同期信号を検出する同期信号検出部１１と、前記映像信号を圧縮符号化してそれぞれ異なるビットレートのデータストリームを生成する複数の圧縮符号化処理部１２ａおよび１２ｂと、検出された前記垂直同期信号および前記色同期信号を基にして、圧縮符号化処理の開始タイミングが前記各圧縮符号化処理部１２ａおよび１２ｂの間でフレーム単位でシフトするように制御するタイミング制御部１３と、前記各圧縮符号化処理部１２ａおよび１２ｂにおいて生成された前記各データストリームを順次多重化して前記ネットワーク２上に送信する多重化処理部１４と、を有し、前記タイミング制御部１３は、前記垂直同期信号に基づく前記映像信号のフレーム開始タイミングが、前記色同期信号に同期する色副搬送波信号の立ち上がりタイミングと一致したときに、１つの前記圧縮符号化処理部１２ａまたは１２ｂの圧縮符号化処理を開始させ、次に前記フレーム開始タイミングが前記色副搬送波信号の立ち下がりタイミングと一致したときに、他の前記圧縮符号化処理部１２ａまたは１２ｂの圧縮符号化処理を開始させることを特徴とするデータ送信装置１が提供される。
【００１９】
ここで、同期信号検出部１１は、映像信号としてＮＴＳＣ方式のコンポジット信号の入力を受け、この映像信号から垂直同期信号および色同期信号を検出して、タイミング制御部１３に供給する。一方、複数の圧縮符号化処理部１２ａおよび１２ｂは、同じ映像信号の入力を受けてこれらを圧縮符号化し、それぞれ異なるビットレートのデータストリームを生成する。タイミング制御部１３は、各圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングがフレーム単位でオフセットされるように制御する。これにより、各圧縮符号化処理部１２ａおよび１２ｂの間では、互いにピクチャ配置が異なるデータストリームが生成される。
【００２０】
また、タイミング制御部１３でのタイミング制御は、同期信号検出部１１において検出された同期信号を基にして行われる。すなわち、タイミング制御部１３は、垂直同期信号に基づく映像信号のフレーム開始タイミングが、色同期信号に同期する色副搬送波信号の立ち上がりタイミングと一致したときに、１つの圧縮符号化処理部（例えば圧縮符号化処理部１２ａ）の圧縮符号化処理を開始させ、次に上記のフレーム開始タイミングが色副搬送波信号の立ち下がりタイミングと一致したときに、他の圧縮符号化処理部（例えば圧縮符号化処理部１２ｂ）の圧縮符号化処理を開始させる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の原理を説明するための原理図である。
【００２３】
本発明のデータ送信装置１は、カメラ等からの映像信号を圧縮符号化して、生成したデータストリームをネットワーク２上にリアルタイムで配信するための装置である。この際に、受信者までのネットワーク構成が広帯域の場合と狭帯域の場合とを考慮して、これらの帯域に合わせて、１つの映像ソースからビットレートの異なる複数のデータストリームを生成し、同時に配信を行う。
【００２４】
このデータ送信装置１は、図１（Ａ）に示すように、入力された映像信号から同期信号を検出する同期信号検出部１１と、入力された映像信号を圧縮符号化してそれぞれ異なるビットレートのデータストリームを生成する圧縮符号化処理部１２ａおよび１２ｂと、圧縮符号化処理の開始タイミングが各圧縮符号化処理部１２ａおよび１２ｂの間でフレーム単位でシフトするように制御するタイミング制御部１３と、各圧縮符号化処理部１２ａおよび１２ｂにおいて生成された各データストリームを順次多重化してネットワーク２上に送信する多重化処理部１４によって構成される。なお、図１の例では圧縮符号化処理部が２つのみ設けられているが、これより多くの圧縮符号化処理部が設けられてもよい。
【００２５】
同期信号検出部１１は、入力された映像信号中から、フレームあるいはフィールドや水平走査の開始タイミングの検出、色信号の復調等のための同期信号を検出する。映像信号として例えばＮＴＳＣ（National TV Standards Committee）方式のコンポジット信号が入力された場合、垂直同期信号、水平同期信号、色同期信号（カラーバースト）等の同期信号が検出される。検出した同期信号はタイミング制御部１３に供給される。
【００２６】
タイミング制御部１３は、供給された同期信号を用いて、各圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングを制御する。このとき、各圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングがフレーム単位でシフトするように制御する。
【００２７】
各圧縮符号化処理部１２ａおよび１２ｂは、タイミング制御部１３による制御に従って、入力された映像信号をそれぞれ異なる所定のビットレートで圧縮符号化し、動画像のデータストリームを生成する。
【００２８】
多重化処理部１４は、各圧縮符号化処理部１２ａおよび１２ｂで生成された各データストリームを順次パケット化して多重化し、ネットワーク２上に送信する。この多重化処理部１４は、各圧縮符号化処理部１２ａおよび１２ｂによる生成データ量に応じてパケットを分割し、それらのパケットを単位時間内で均等な間隔を置いて送信するように制御する。
【００２９】
ここで、データ送信装置１では、生成するデータストリームに対応する複数の圧縮符号化処理部１２ａおよび１２ｂが設けられ、これらの動作が並行して行われる。従って、各データストリームの生成開始タイミングについては“ずれ”が生じるものの、その後に生成される各データストリームの間に遅延は生じず、極めてリアルタイム性の高い画像配信を行うことが可能である。
【００３０】
次に、映像信号としてＮＴＳＣ（National TV Standards Committee）方式のコンポジット信号が入力された場合を想定して、データ送信装置１の動作を説明する。
【００３１】
データ送信装置１に入力された映像信号は、２つの圧縮符号化処理部１２ａおよび１２ｂとともに、同期信号検出部１１に入力される。各圧縮符号化処理部１２ａおよび１２ｂは、図示しないＡ／Ｄ変換処理部等の処理により、映像信号をデジタル方式のビデオ信号として受ける。そして、タイミング制御部１３からの制御信号に従って、ビデオ信号に対する圧縮符号化処理をそれぞれ開始する。
【００３２】
ここで、各圧縮符号化処理部１２ａおよび１２ｂでは、生成するデータの圧縮率や解像度等は異なるが、ピクチャの生成間隔は同じとされる。また、フレーム間予測処理を用いて圧縮符号化が行われる場合、各圧縮符号化処理部１２ａおよび１２ｂで生成されるデータストリーム中のピクチャ配置構造は、通常同じとされる。
【００３３】
従って、圧縮符号化処理の開始タイミングをフレーム単位でシフトさせることにより、各圧縮符号化処理部１２ａおよび１２ｂで生成される各データストリームのピクチャ配置構造を互いに異なるものとすることができる。これにより、生成されたピクチャのデータ量が極端に増大するタイミングが、各データストリーム間で異なることになり、生成された各データストリームのデータ量が平滑化される。
【００３４】
一方、同期信号検出部１１は、映像信号から同期信号として垂直同期信号や色同期信号等を検出して、タイミング制御部１３に出力する。タイミング制御部１３は、入力された垂直同期信号からフレーム（またはフィールド）開始タイミングを得るとともに、色同期信号に同期する色副搬送波信号を生成する。この色副搬送波信号は、入力された映像信号に対する色信号の分離処理等の際の基準信号として使用されるものである。
【００３５】
ここで、ＮＴＳＣ信号では、２フィールド（すなわち１フレーム）ごとに色副搬送波信号の位相が反転する。従って、タイミング制御部１３は、図１（Ｂ）に示すように、フレームの開始タイミングにおける色副搬送波信号の位相を検出することで、１フレーム分のシフト量を容易に得て、各圧縮符号化処理部１２ａおよび１２ｂに対する圧縮符号化処理の開始タイミングを与えることができる。具体的には、フレーム開始タイミングと色副搬送波信号の立ち上がりタイミングが同期したときに、圧縮符号化処理部１２ａに対して処理開始を指示し、その後にフレーム開始タイミングと色副搬送波信号の立ち下がりタイミングが同期したときに、圧縮符号化処理部１２ｂに対して処理開始を指示する。これにより、生成される各データストリームのデータ量が平滑化される。
【００３６】
また、生成された各データストリームは、多重化処理部１４に出力される。多重化処理部１４は、図１（Ｃ）に示すように、各圧縮符号化処理部１２ａおよび１２ｂによって生成される単位時間内のデータ量が大きい場合に、それらを格納するパケットを分割する。例えば、１パケットに格納するデータ量の基準値を設け、各データストリームについて、１ピクチャ分（すなわち１フレーム分）のデータ量がこの基準値を超えた場合に格納するパケットを分割する。そして、分割したパケットを単位時間内で均等な間隔を置いて送信する。
【００３７】
このようなパケットの送信制御を行うことにより、ネットワーク２に送信されるデータ量がさらに平滑化され、送信データのビットレートのピークを下げ、送信負荷を低減することが可能となる。また、１パケットへの格納データ量の基準値は、データ送信装置１自身の性能や送信するネットワーク２の容量を考慮して、任意に設定可能としてもよい。
【００３８】
以上のように、本発明では、入力される映像信号から検出される同期信号を利用して、複数の圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングが、フレーム単位でシフトされる。これにより、生成される各データストリーム間でデータ生成量が極端に増大するタイミングが分散され、送信データ量が平滑化されるので、ネットワーク負荷の増大に伴うパケットロスの発生等を防止することができる。
【００３９】
特に、ＮＴＳＣ方式のコンポジット信号の入力を受ける場合は、この映像信号から検出した垂直同期信号および色同期信号より、各圧縮符号化処理部１２ａおよび１２ｂの制御タイミングを容易に得ることが可能である。このため、例えばフレーム開始タイミングのシフト量を得るためのカウンタ回路等を設けることなく、上記の圧縮符号化処理の開始タイミング制御を低コストで実現することができ、また、装置を小型化することができる。
【００４０】
さらに、各圧縮符号化処理部１２ａおよび１２ｂによるデータストリームの生成データ量に応じて、多重化処理部１４においてこれらが格納されるパケットが分割され、分割されたパケットが均等な間隔を置いて送信される。これにより、ネットワーク２上に送信されるデータ量がさらに平滑化される。このように、本発明では、圧縮符号化処理の開始タイミングの制御と、生成されたデータのパケット化制御とを併用することにより、送信データのリアルタイム性を損なうことなく、ネットワーク２上の送信データ量に対する平滑化の効果をより高めることができる。
【００４１】
なお、以上では、圧縮符号化処理の開始タイミングを１フレーム分だけシフトする場合の例について説明したが、複数フレーム分のシフトを行うようにしてもよい。また、ビットレートの異なるデータストリームを３つ以上同時に生成する場合は、対応する圧縮符号化処理部の処理開始タイミングを、順次フレーム単位でシフトさせればよい。ただし、この場合は特に、シフト量を１フレーム分とすることにより、生成データ量をより確実に平滑化することができる。
【００４２】
次に、本発明の実施の形態を具体的に説明する。ここでは、例として、企業内ＬＡＮ（Local Area Network）等のイントラネットやインターネットに接続した受信者に対して画像配信が行われるシステムについて説明する。
【００４３】
図２は、本発明のデータ送信装置を適用可能な画像配信システムのシステム構成を示す図である。
図２に示す画像配信システムは、カメラ１１０ａおよび１２０ａで撮像された画像からデータストリームを生成し、これらをネットワークを通じて受信者にリアルタイムで配信するためのシステムである。この画像配信システムは、例えば、河川・ダムの水位や道路等の遠隔監視、あるいは会議やコンサートの生中継といった用途に使用される。
【００４４】
この画像配信システムは、それぞれカメラ１１０ａおよび１２０ａが接続された複数のデータ送信装置１１０および１２０と、各データ送信装置１１０および１２０から配信された動画像のデータストリームを受信する複数の受信端末２１０および２２０によって構成される。また、各データ送信装置１１０および１２０は、イントラネット３１０を通じてインターネット３２０に接続されている。また、受信端末２１０はイントラネット３１０に接続されており、受信端末２２０は、例えば図示しない電話回線等を通じてインターネット３２０に接続されている。
【００４５】
カメラ１１０ａおよび１２０ａは、それぞれ画像を撮像し、撮像画像をＮＴＳＣ方式のコンポジット信号として出力する。各データ送信装置１１０および１２０は、それぞれカメラ１１０ａおよび１２０ａにおける撮像画像信号をＭＰＥＧ形式で圧縮符号化し、イントラネット３１０上に送信する。各受信端末２１０および２２０は、送信されたデータストリームをそれぞれイントラネット３１０、インターネット３２０を通じて受信し、復号化してディスプレーに表示する機能を有しており、例えばＰＣ（パーソナルコンピュータ）等のコンピュータ装置として実現される。
【００４６】
なお、データ送信装置および受信端末は、それぞれ多数設けられてもよい。ただし、データ送信装置はイントラネット３１０に接続されている必要がある。
ここで、イントラネット３１０は、インターネット３２０と比較して、全体として高速なデータ送受信が保証されたネットワークとなっている。また、データ送信装置１１０では、カメラ１１０ａからの１つの映像ソースから、イントラネット３１０およびインターネット３２０のそれぞれの伝送帯域に適した異なるビットレートのデータストリームが生成され、送信される。このことは、データ送信装置１２０でも同様である。
【００４７】
従って、図２に示すように、例えばデータ送信装置１１０から配信されるデータストリームのうち、数Ｍｂｐｓといった比較的高ビットレートのデータストリームＡは、受信端末２１０において好適に受信可能で、数百ｋｂｐｓといった比較的低ビットレートのデータストリームＢは、受信端末２２０において好適に受信可能となる。なお、各データ送信装置１１０および１２０からは、例えばマルチキャスト等を利用してデータの送信が行われ、受信端末２１０および２２０では、受信するデータストリームのビットレートを選択することが可能である。
【００４８】
次に、例としてデータ送信装置１１０における処理機能について説明する。図３は、データ送信装置１１０の機能を示すブロック図である。
データ送信装置１１０は、図３に示すように、Ａ／Ｄ変換部１１１、同期検出部１１２、ローパスフィルタ１１３、Ｙ／Ｃ分離部１１４、フィルタリング／スケーリング処理部１１５、出力フォーマット部１１６、エンコーダ１１７ａおよび１１７ｂ、ビデオタイミング処理部１１８、およびパケット生成処理部１１９によって構成される。
【００４９】
Ａ／Ｄ変換部１１１は、カメラ１１０ａから送信されたＮＴＳＣ方式のコンポジット信号をサンプリングして、デジタル方式のビデオ信号に変換する。同期検出部１１２は、Ａ／Ｄ変換部１１１でデジタル変換されたビデオ信号から、垂直同期信号、水平同期信号および色同期信号を検出して、ビデオタイミング処理部１１８に出力する。
【００５０】
ローパスフィルタ１１３は、Ａ／Ｄ変換部１１１からのビデオ信号から低域成分のみ通過させ、ノイズを除去する処理を行う。Ｙ／Ｃ分離部１１４は、ローパスフィルタ１１３からのビデオ信号を、輝度信号と色差信号に分離する。
【００５１】
フィルタリング／スケーリング処理部１１５は、Ｙ／Ｃ分離処理されたビデオ信号に対して解像度変換、および有効画像領域の切り出しを行う。出力フォーマット部１１６は、フィルタリング／スケーリング処理部１１５からのビデオ信号をフレーム単位でバッファし、ノンインタレース化する。
【００５２】
エンコーダ１１７ａおよび１１７ｂは、出力フォーマット部１１６からのビデオ信号をそれぞれ受けて、所定の解像度および圧縮度の設定に基づき、ビデオ信号をＭＰＥＧ−２方式で圧縮符号化する。ここで、エンコーダ１１７ａは、例えば数Ｍｂｐｓ程度の比較的高い平均ビットレートのデータストリームＡを生成する。一方、エンコーダ１１７ｂは、例えば数百ｋｂｐｓ程度の比較的低い平均ビットレートＢを生成する。各エンコーダ１１７ａおよび１１７ｂは、後述するように、ビデオタイミング処理部１１８からの同じフィールド開始信号に従ってピクチャの生成を行うので、これらの間で圧縮符号化処理に伴うデータの遅延は生じず、元の映像信号に対して極めてリアルタイム性の高いデータ生成が行われる。
【００５３】
ビデオタイミング処理部１１８は、同期検出部１１２で検出された各同期信号を受けて、エンコーダ１１７ａおよび１１７ｂ等の動作タイミングを制御する。ビデオタイミング処理部１１８は、同期検出部１１２からの色同期信号を使用して、データ送信装置１内の映像信号同期の基準信号となる１４．３１８ＭＨｚの同期信号を生成する。この同期信号は、例えばＡ／Ｄ変換部１１１におけるサンプリング周波数として使用されるとともに、同期検出部１１２からの垂直同期信号および水平同期信号がこの同期信号に同期される。また、この同期信号に同期する色副搬送波信号（３．５７８５ＭＨｚ）が生成される。
【００５４】
ビデオタイミング処理部１１８は、後述するように、垂直同期信号に基づくフィールド開始信号およびフレーム開始信号を生成するとともに、色副搬送波信号を出力して、これらの信号によって各エンコーダ１１７ａおよび１１７ｂのフレーム開始タイミングおよび圧縮符号化の開始タイミングを制御する。なお、この動作開始タイミング制御のための詳しい構成については、図４において説明する。
【００５５】
パケット生成処理部１１９は、各エンコーダ１１７ａおよび１１７ｂにおいて生成されたデータストリームを受けて、これらのデータをＩＰ（Internet Protocol）パケット化して多重化し、イントラネット３１０上に送出する。
【００５６】
次に、図４は、各エンコーダ１１７ａおよび１１７ｂの動作開始タイミング制御のための信号系の構成を示す図である。
エンコーダ１１７ａおよび１１７ｂの動作開始タイミングを制御するために、ビデオタイミング処理部１１８からは、フィールド開始信号Ｓｆｄ、フレーム開始信号Ｓｆｍおよび色副搬送波信号Ｓｃが出力される。
【００５７】
フィールド開始信号Ｓｆｄは、垂直同期信号の立ち上がりタイミングに同期したパルス信号であり、各エンコーダ１１７ａおよび１１７ｂに対してフィールド開始タイミングを与える。
【００５８】
フレーム開始信号Ｓｆｍは、フィールド開始信号Ｓｆｄの２パルスに１パルスだけ出力される信号で、２つのＡＮＤゲート１１８ａおよび１１８ｂに入力される。また、ＡＮＤゲート１１８ａの他方の入力端子には、色副搬送波信号Ｓｃが入力される。一方、ＡＮＤゲート１１８ｂの他方の入力端子には、色副搬送波信号Ｓｃの位相反転信号が入力される。各ＡＮＤゲート１１８ａおよび１１８ｂの出力信号は、それぞれエンコーダ１１７ａおよび１１７ｂに入力されて、これらにより各エンコーダ１１７ａおよび１１７ｂは圧縮符号化処理の開始タイミングを与えられる。
【００５９】
図５は、ビデオタイミング処理部１１８とエンコーダ１１７ａおよび１１７ｂとの間で伝送される信号の波形を示すタイムチャートである。
ＮＴＳＣ方式では、フィールド周期と色副搬送波信号との間で４フィールドごとの同期関係が保たれており、２フィールド（すなわち１フレーム）ごとの色副搬送波信号の位相が反転する。このため、図５（Ａ）に示すフレーム同期信号Ｓｆｍのパルスが出力されるタイミングＴ５０１が、（Ｂ）に示す色副搬送波信号Ｓｃの立ち上がりタイミングと一致した場合には、次にフレーム同期信号Ｓｆｍが出力されるタイミングＴ５０２は、色副搬送波信号Ｓｃの立ち下がりタイミングとなる。
【００６０】
従って、圧縮符号化処理部１２ａおよび１２ｂの処理開始が指示されると、その後に最初にフレーム開始信号Ｓｆｍが出力されたタイミングＴ５０１において、（Ｃ）に示すようにＡＮＤゲート１１８ａから開始信号Ｓａが出力される。この開始信号Ｓａに従って、エンコーダ１１７ａにおける動作が開始される。
【００６１】
また、ＡＮＤゲート１１８ｂには（Ｄ）に示すように、色副搬送波信号Ｓｃの位相反転信号が入力され、次のフレーム開始のタイミングＴ５０２において、この位相反転信号とフレーム開始信号Ｓｆｍの各立ち上がりタイミングが一致する。これにより、（Ｅ）に示すように、ＡＮＤゲート１１８ｂからは開始信号Ｓｂが出力され、エンコーダ１１７ｂにおける動作が開始される。従って、エンコーダ１１７ｂの動作開始タイミングは、エンコーダ１１７ａより１フレーム分だけ遅延する。
【００６２】
なお、この例では色副搬送波信号Ｓｃの位相と比較する信号をフレーム開始信号Ｓｆｍとしたが、その代わりにフィールド開始信号Ｓｆｄが使用されてもよい。
【００６３】
図６は、このような動作開始タイミングの制御が行われた場合の各データストリームのピクチャ配置構造と、生成されるデータ量とを示す図である。
各エンコーダ１１７ａおよび１１７ｂでそれぞれ生成されるデータストリームＡおよびＢは、図６（Ａ）に示すように、２枚のＢピクチャの前後に１枚のＩピクチャまたはＰピクチャが配置されたピクチャの配置構造を有している。また、各データストリームＡおよびＢでは、１ＧＯＰ当たりのピクチャ数を互いに一定の同じ数としている。
【００６４】
エンコーダ１１７ｂにおける圧縮符号化処理の開始タイミングは、エンコーダ１１７ａより１フレーム分遅延することから、（Ａ）に示すように、生成された各データストリームＡおよびＢの間では、ピクチャの出現位置が１フレーム分ずつ異なる。従って、各データストリームＡおよびＢでは、ＩピクチャやＰピクチャは必ず異なる位置に現れる。
【００６５】
（Ｂ）では、各データストリームＡおよびＢで生成されるデータ量をピクチャごとに示している。この（Ｂ）に示すように、各データストリームＡおよびＢではともに、特にＩピクチャのデータ量がＢピクチャのデータ量より極端に大きい。しかし、各データストリームＡおよびＢの間ではＩピクチャの出現位置が重ならないため、これらが重なった場合と比較して、双方で発生するフレーム当たりのデータ量がより平滑化される。
【００６６】
以上のようなビデオタイミング処理部１１８による圧縮符号化処理の開始タイミング制御により、エンコーダ１１７ａおよび１１７ｂにより生成されるデータストリームのデータ量を平滑化することができる。このために、ビデオタイミング処理部１１８では、元の映像信号に含まれる同期信号を基に生成した制御信号が用いられる。ここで用いられる制御信号は、アナログ映像信号の入力を受けてデジタル変換し、各エンコーダ１１７ａおよび１１７ｂに取り込んでその処理を開始させるために、従来から生成されていた同期信号である。このため、上記の圧縮符号化処理のタイミング制御を、ＡＮＤゲート等の回路の追加等により簡易な構成で実現することができ、コストや設置スペースの増大を最小限に抑制することができる。
【００６７】
次に、パケット生成処理部１１９における送信データの平滑化について説明する。図７は、生成されたデータストリームＡまたはＢのピクチャごとのデータ量と、これらが格納されるパケットについて説明する図である。
【００６８】
図７（Ａ）では、例としてエンコーダ１１７ａにより生成されたデータストリームＡのピクチャごとのデータ量を示している。この図のように、１つのデータストリーム中では、Ｉピクチャのデータ量はＢピクチャやＰピクチャと比較して極端に大きくなっている。ここで、パケット生成処理部１１９では、１パケットに格納するデータ量の上限として、基準値Ｄ１が設定される。なお、図中のＤ２は基準値Ｄ１の２倍のデータ量を示している。
【００６９】
図の例では、Ｉピクチャのデータ量は基準値Ｄ１を超えている。このような場合に、パケット生成処理部１１９は、このピクチャのデータを分割してパケット化する。（Ｂ）は、パケットに格納されるデータ量とそれらの送信タイミングを示している。
【００７０】
（Ｂ）に示すように、基準値Ｄ１を超えないピクチャについては、この１ピクチャ分のデータが１パケットに格納されて、フレーム周期で送信される。一方、基準値Ｄ１よりデータ量の大きいピクチャについては、１パケットに基準値Ｄ１を上限とするデータ量だけ格納して、パケットを分割する。図中のＩピクチャの場合、データ量が基準値Ｄ１の２倍を超えているので、３個のパケットに分割して格納される。
【００７１】
また、分割された各パケットは、次のピクチャに対応するパケット送信タイミングまでの期間をパケット生成数で均等に分割したタイミングで、順次送信される。これにより、Ｉピクチャによる大容量のデータが、１ピクチャ分の送信期間内で分散して送信され、ネットワーク（イントラネット３１０）上の送信負荷が急激に高まってパケットロス等が生じることが防止される。
【００７２】
図８は、パケット生成処理部１１９におけるデータストリームＡおよびＢのそれぞれに対する処理手順を示すフローチャートである。
パケット生成処理部１１９は、例えば、各エンコーダ１１７ａおよび１１７ｂからのデータの入力をそれぞれ受けるバッファを具備する。そして、ステップＳ８０１において、１フレーム分すなわち１ピクチャ分のデータをバッファから読み出す。ステップＳ８０２において、読み出した１ピクチャ分のデータ量を検出する。
【００７３】
ステップＳ８０３において、検出したデータ量とパケット化のための基準値Ｄ１とを比較し、パケット数を算出する。ここで、検出したデータ量が基準値Ｄ１のｎ倍を超え、（ｎ＋１）倍以下である場合に、このデータを格納するパケット数を（ｎ＋１）個に設定する。
【００７４】
ステップＳ８０４において、算出したパケット数を基に、各パケットの送信間隔を算出する。ここで、上記のようにパケット数が（ｎ＋１）個に設定された場合に、１ピクチャ分の送信間隔である１／３０秒をパケット数（ｎ＋１）で除算した値を、分割したパケットの送信間隔として設定する。また、パケット生成処理部１１９は、パケットの送信間隔をカウントするタイマを具備し、算出した送信間隔に基づいてタイマを設定する。
【００７５】
ステップＳ８０５において、基準値Ｄ１分のデータに所定のヘッダ情報等を付加して１つ目のＵＤＰ（User Datagram Protocol）パケットを生成し、所定のフレーム同期タイミングでこのパケットをイントラネット３１０上に送信する。
【００７６】
ステップＳ８０６において、１ピクチャ分の全パケットを送信したか否かを判定する。送信済みの場合は１ピクチャ分の処理を終了し、次のピクチャについてステップＳ８０１の処理から繰り返す。また、未送信のパケットがある場合は、ステップＳ８０７に進む。
【００７７】
ステップＳ８０７において、タイマをカウントし、ステップＳ８０４で設定した送信間隔分の時間が経過するまで待機する。そして、設定した時間が経過するとステップＳ８０５に戻り、次のパケットの生成および送信を行う。以後、１ピクチャ分の全パケットの送信が終了するまで、ステップＳ８０５〜Ｓ８０７の処理が繰り返される。
【００７８】
なお、以上の図８の処理手順は、１つのデータストリームに対するものである。パケット生成処理部１１９は、２つのデータストリームＡおよびＢのピクチャに対応するパケットは、同じフレーム周期のタイミングで連続して送信する。また、各データストリームＡおよびＢの間では、ビデオタイミング処理部１１８による処理開始タイミングの制御により、データ量の大きいＩピクチャが同時に生成されることはない。このため、通常は、各データストリームＡおよびＢの双方でパケットの分割が同時に行われることはない。従って、例えばデータストリームＡのピクチャのデータが分割された場合には、データストリームＢのパケットは、データストリームＡの１つ目のパケットの送信直後に連続して送信されればよい。
【００７９】
また、パケットに格納するデータ量の基準値Ｄ１は、任意に変更することが可能である。これにより、データ送信装置１１０自身の性能や送信するイントラネット３１０の容量や通信状態を考慮して、適切なデータ送信量の制御を行うことが可能となる。
【００８０】
以上のように、本実施の形態例では、ビデオタイミング処理部１１８による圧縮符号化処理の開始タイミングの制御と、パケット生成処理部１１９による生成データ量に応じたパケットの分割および均等間隔での送信制御とが併用されることにより、送信データのリアルタイム性を損なうことなく、送信データ量の平滑化を容易に行うことが可能となる。
【００８１】
（付記１） １つの映像信号から異なる複数のビットレートの圧縮符号化データを生成してネットワーク上に同時に送信するデータ送信装置において、
入力された前記映像信号から同期信号を検出する同期信号検出部と、
前記映像信号を圧縮符号化してそれぞれ異なるビットレートのデータストリームを生成する複数の圧縮符号化処理部と、
検出された前記同期信号を基にして、圧縮符号化処理の開始タイミングが前記各圧縮符号化処理部の間でフレーム単位でシフトするように制御するタイミング制御部と、
前記各圧縮符号化処理部において生成された前記各データストリームを順次多重化して前記ネットワーク上に送信する多重化処理部と、
を有することを特徴とするデータ送信装置。
【００８２】
（付記２） 前記映像信号としてＮＴＳＣ方式のコンポジット信号が入力された場合、前記同期信号検出部は、垂直同期信号および色同期信号を検出することを特徴とする付記１記載のデータ送信装置。
【００８３】
（付記３） 前記タイミング制御部は、前記垂直同期信号に基づく前記映像信号のフレーム開始タイミングが、前記色同期信号に同期する色副搬送波信号の立ち上がりタイミングと一致したときに、１つの前記圧縮符号化処理部の圧縮符号化処理を開始させ、次に前記フレーム開始タイミングが前記色副搬送波信号の立ち下がりタイミングと一致したときに、他の前記圧縮符号化処理部の圧縮符号化処理を開始させることを特徴とする付記２記載のデータ送信装置。
【００８４】
（付記４） 前記多重化処理部は、前記圧縮符号化処理部によって単位時間内に生成された前記各データストリームのデータ量に応じて、前記各データストリームを格納するパケットを分割し、分割した前記パケットを前記単位時間内で均等に間隔を空けて送信することを特徴とする付記１記載のデータ送信装置。
【００８５】
（付記５） 前記多重化処理部は、１パケットに格納するデータの基準量を設定し、前記各圧縮符号化処理部による１フレーム分のデータ生成期間に生成されたデータ量が前記基準量のｎ倍（ｎ：ｎ＞０の整数）を超えた場合に、これらのデータを（ｎ＋１）個のパケットに前記基準量以下のデータ量に分割して格納し、分割された前記各パケットを前記データ生成期間を均等に分割したタイミングで順に送信することを特徴とする付記４記載のデータ送信装置。
【００８６】
（付記６） 前記基準量は任意に設定可能であることを特徴とする付記５記載のデータ送信装置。
（付記７） １つの映像信号を圧縮符号化して異なるビットレートの複数のデータストリームを生成し、ネットワーク上に同時に送信するためのデータ送信方法において、
入力された前記映像信号から同期信号を検出し、
検出された前記同期信号を基にして、各データストリームの生成に対応する圧縮符号化処理の開始タイミングをフレーム単位でシフトさせ、
前記圧縮符号化処理によって単位時間内に生成された前記各データストリームのデータ量に応じて、前記各データストリームを格納するパケットを分割し、分割した前記パケットを前記単位時間内で均等に間隔を空けて前記ネットワーク上に送信する、
ことを特徴とするデータ送信方法。
【００８７】
【発明の効果】
以上説明したように、本発明のデータ送信装置によれば、タイミング制御部により、各圧縮符号化処理部における圧縮符号化処理の開始タイミングがフレーム単位でオフセットするように制御される。これにより、各圧縮符号化処理部の間では、互いにピクチャ配置が異なるデータストリームが生成されるので、生成されるピクチャのデータ量の増加・減少タイミングが各データストリームごとに異なった位置となり、ネットワークに送信されるデータ量が平滑化される。また、タイミング制御部でのタイミング制御が同期信号検出部で検出された同期信号を基にして行われるので、装置構成が単純化される。
【図面の簡単な説明】
【図１】本発明の原理を説明するための原理図である。
【図２】本発明のデータ送信装置を適用可能な画像配信システムのシステム構成を示す図である。
【図３】本発明の実施の形態例に係るデータ送信装置の機能を示すブロック図である。
【図４】各エンコーダの動作開始タイミング制御のための信号系の構成を示す図である。
【図５】ビデオタイミング処理部と各エンコーダとの間で伝送される信号の波形を示すタイムチャートである。
【図６】生成された各データストリームのピクチャ配置構造と、生成されるデータ量とを示す図である。
【図７】生成された各データストリームのピクチャごとのデータ量と、これらが格納されるパケットについて説明する図である。
【図８】パケット生成処理部におけるデータストリームのそれぞれに対する処理手順を示すフローチャートである。
【図９】ビットレートの異なる複数の圧縮符号化データが同時配信された場合のデータ量の変動を示す図である。
【符号の説明】
１ データ送信装置
２ ネットワーク
１１ 同期信号検出部
１２ａ、１２ｂ 圧縮符号化処理部
１３ タイミング制御部
１４ 多重化処理部
【発明の属する技術分野】
本発明は、１つの映像信号から異なる複数のビットレートの圧縮符号化データを生成してネットワーク上に同時に送信するデータ送信装置に関し、特に、これらの圧縮符号化データをリアルタイムで送信する場合に適用可能なデータ送信装置に関する。
【０００２】
【従来の技術】
近年、ＭＰＥＧ（Moving Picture Experts Group）等の画像圧縮符号化技術を用いることで、動画像データをネットワークを通じて容易に配信することが可能となっている。しかし、特にインターネットを通じて配信を行う場合には、配信したデータがアナログ電話回線やＩＳＤＮ（Integrated Services Digital Network）回線等を経由する可能性を考えると、必ずしもどの受信者に対しても広帯域の通信が保証されてはいない。このため、解像度を低下させる、あるいは圧縮度を高めることで、比較的低ビットレートのデータ配信を行う必要があるのが現状である。
【０００３】
このことから、動画像データを配信する場合に、１つの映像ソースから、企業内のイントラネット等の比較的広帯域のネットワークに配信するためのデータと、インターネット等の比較的狭帯域のネットワークに配信するためのデータの２種類を生成して、これらを同時に配信することが考えられている。例えば、広帯域のネットワーク向けには、ＭＰＥＧ−２方式で圧縮符号化した６Ｍｂｐｓ程度のビットレートのデータストリームを配信し、狭帯域のネットワーク向けには、ＭＰＥＧ−４方式で圧縮符号化した１００ｋｂｐｓ程度のビットレートのデータストリームを配信する。
【０００４】
従来、このように１つの映像ソースからビットレートの異なる複数のデータストリームを生成して配信する場合、生成したいデータストリームの数だけのエンコード装置を設け、このそれぞれに映像ソースを分配して符号化処理を実行させていた。あるいは、トランスコーダ装置等を用いて広帯域向けのデータストリームを一旦復号化し、狭帯域用に符号化し直して再配信していた。
【０００５】
しかし、動画像データの配信が一般化した現在では、配信側のシステムの低コスト化や、設置スペースの小型化への要求が強い。また、特に最近では、河川・ダムの水位や道路等の遠隔監視、あるいは会議やコンサートの生中継といった用途で、配信したデータのリアルタイム性が重要視される場合が多い。このため、１つのエンコーダ装置内に複数のエンコーダエンジンを設け、このエンコーダ装置でビットレートの異なる複数のデータストリームを生成し、同時に配信することが考えられている。
【０００６】
ところで、ＭＰＥＧ方式のようにフレーム間予測を用いて圧縮符号化したデータでは、自身のデータのみで復号化が可能なピクチャと、フレーム間予測を用いて生成されたピクチャとの間にデータ量の差が生じる場合が多い。このため、画像の符号化・復号化処理時の処理負荷の変動量が大きくなり、またこのようなデータをネットワークを通じて送信する際に、実際の送信データ量が局所的に平均のビットレート値を大きく上回ってしまうことが問題となる。
【０００７】
従来、画像をオブジェクトごとに符号化し、これらを多重化してデータを生成する場合については、各オブジェクトにおいてフレーム当たりに発生する符号量の変動幅に応じて、オブジェクト間の符号化開始タイミングをオフセットすることにより、発生符号量および処理負荷を平滑化する方法があった（例えば、特許文献１参照）。
【０００８】
【特許文献１】
特開平１０−０２３４２７号公報（段落番号〔００３７〕〜〔００５
１〕、第５図）
【０００９】
【発明が解決しようとする課題】
上述したように、ＭＰＥＧ方式のようなフレーム間予測を用いた圧縮符号化では、発生符号量の変動幅が大きいことが問題であった。特に、１つの映像ソースからビットレートの異なる複数の圧縮符号化データを生成し、これらを同時に配信する場合には、発生符号量の変動幅がさらに増大し、ネットワークに送信されるデータ量が局所的に大きくなった際に正常な受信が不可能となることが問題となる。
【００１０】
図９は、ビットレートの異なる複数の圧縮符号化データが同時配信された場合のデータ量の変動を示す図である。図９（Ａ）は、ＭＰＥＧ−２方式で生成されたデータストリーム中におけるピクチャの配置例を示し、（Ｂ）は、各ピクチャに対応して発生する合計のデータ量のグラフを示している。
【００１１】
図９（Ａ）では、２つのエンコーダ装置により、１つの映像ソースからビットレートの異なる２つのデータストリームＡおよびＢが生成された場合を示している。ＭＰＥＧ−２方式（またはＭＰＥＧ−１方式）で符号化されたデータストリームは、１フレーム内で閉じた符号化がなされるＩピクチャと、順方向予測を利用して符号化されるＰピクチャと、双方向予測を利用して符号化されるＢピクチャで構成される。図９（Ａ）のデータストリームＡおよびＢは、２枚のＢピクチャの前後に１枚のＩピクチャまたはＰピクチャが配置される、一般的なピクチャの配置構造を有している。また、ＧＯＰ（Group Of Picture）は途中再生を可能とするための単位であり、１ＧＯＰ中にはＩピクチャが必ず１枚以上配置される。なお、この例では１ＧＯＰ当たりのピクチャ数を一定としている。
【００１２】
ここで、Ｉピクチャは１フレーム内で閉じた符号化がなされて生成されるため、特にＢピクチャと比較してデータ量が格段に大きい。図９（Ａ）のようなピクチャの配置構造を有するデータストリームでは、Ｉピクチャのデータ量はデータストリーム全体のほぼ１／３を占める。
【００１３】
図の例の場合、１２ピクチャに１枚がＩピクチャであるので、１秒間の平均のデータ配信量で考えると、１／１２秒の期間で残りの１１／１２秒分の半分のデータが一度に配信されることになる。例えば、平均のビットレートが６Ｍｂｐｓのデータストリームの場合、Ｉピクチャの発生時には瞬間的に２４Ｍｂｐｓの速度でデータが発生する可能性がある。さらに、この２４Ｍｂｐｓというビットレートは、１／１２秒の期間に均等にデータが配信された場合の値であるので、データの発生と同時に一度に送信した場合にはさらに高速でデータが送信されてしまう。
【００１４】
また、１つのエンコーダ装置内の複数のデコーダエンジンにより、複数のデータストリームを同時に符号化する場合には、通常、これらの符号化が同時に開始され、図９（Ａ）のように、Ｉピクチャ、Ｂピクチャ、Ｐピクチャがそれぞれで同じ位置に生成される。従って、各データストリームでともにＩピクチャが生成されたタイミングでは、データ発生量は瞬間的にさらに極端に増大する。例えば、データストリームＡおよびＢの平均ビットレートをそれぞれ６Ｍｂｐｓ、３Ｍｂｐｓとすると、ピーク時には３６Ｍｂｐｓ（＝２４Ｍｂｐｓ＋１２Ｍｂｐｓ）にも達してしまう。このような発生データ量の極端な偏りは、データが伝送されるネットワークの負荷を瞬間的に高め、パケットロス等を引き起こす。
【００１５】
一方、発生データ量の偏りの少ない符号化データを生成することは可能であるが、このためにはエンコーダ装置内に大容量のバッファを設け、相当量のデータを一時記憶しながら符号化を行う必要がある。このため、元の映像に対してデータの送信が遅延し、リアルタイム性が損なわれてしまう。また、制御が複雑になり、装置コストも増加してしまう。
【００１６】
本発明は、このような課題に鑑みてなされたものであり、１つの映像信号からビットレートの異なる複数の圧縮符号化データを生成する場合に、発生するデータ量の偏りを容易に低減することが可能なデータ送信装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明では上記課題を解決するために、図１に示すように、１つの映像信号から異なる複数のビットレートの圧縮符号化データを生成してネットワーク２上に同時に送信するデータ送信装置１において、前記映像信号としてＮＴＳＣ方式のコンポジット信号の入力を受け、当該映像信号から垂直同期信号および色同期信号を検出する同期信号検出部１１と、前記映像信号を圧縮符号化してそれぞれ異なるビットレートのデータストリームを生成する複数の圧縮符号化処理部１２ａおよび１２ｂと、検出された前記垂直同期信号および前記色同期信号を基にして、圧縮符号化処理の開始タイミングが前記各圧縮符号化処理部１２ａおよび１２ｂの間でフレーム単位でシフトするように制御するタイミング制御部１３と、前記各圧縮符号化処理部１２ａおよび１２ｂにおいて生成された前記各データストリームを順次多重化して前記ネットワーク２上に送信する多重化処理部１４と、を有し、前記タイミング制御部１３は、前記垂直同期信号に基づく前記映像信号のフレーム開始タイミングが、前記色同期信号に同期する色副搬送波信号の立ち上がりタイミングと一致したときに、１つの前記圧縮符号化処理部１２ａまたは１２ｂの圧縮符号化処理を開始させ、次に前記フレーム開始タイミングが前記色副搬送波信号の立ち下がりタイミングと一致したときに、他の前記圧縮符号化処理部１２ａまたは１２ｂの圧縮符号化処理を開始させることを特徴とするデータ送信装置１が提供される。
【００１９】
ここで、同期信号検出部１１は、映像信号としてＮＴＳＣ方式のコンポジット信号の入力を受け、この映像信号から垂直同期信号および色同期信号を検出して、タイミング制御部１３に供給する。一方、複数の圧縮符号化処理部１２ａおよび１２ｂは、同じ映像信号の入力を受けてこれらを圧縮符号化し、それぞれ異なるビットレートのデータストリームを生成する。タイミング制御部１３は、各圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングがフレーム単位でオフセットされるように制御する。これにより、各圧縮符号化処理部１２ａおよび１２ｂの間では、互いにピクチャ配置が異なるデータストリームが生成される。
【００２０】
また、タイミング制御部１３でのタイミング制御は、同期信号検出部１１において検出された同期信号を基にして行われる。すなわち、タイミング制御部１３は、垂直同期信号に基づく映像信号のフレーム開始タイミングが、色同期信号に同期する色副搬送波信号の立ち上がりタイミングと一致したときに、１つの圧縮符号化処理部（例えば圧縮符号化処理部１２ａ）の圧縮符号化処理を開始させ、次に上記のフレーム開始タイミングが色副搬送波信号の立ち下がりタイミングと一致したときに、他の圧縮符号化処理部（例えば圧縮符号化処理部１２ｂ）の圧縮符号化処理を開始させる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の原理を説明するための原理図である。
【００２３】
本発明のデータ送信装置１は、カメラ等からの映像信号を圧縮符号化して、生成したデータストリームをネットワーク２上にリアルタイムで配信するための装置である。この際に、受信者までのネットワーク構成が広帯域の場合と狭帯域の場合とを考慮して、これらの帯域に合わせて、１つの映像ソースからビットレートの異なる複数のデータストリームを生成し、同時に配信を行う。
【００２４】
このデータ送信装置１は、図１（Ａ）に示すように、入力された映像信号から同期信号を検出する同期信号検出部１１と、入力された映像信号を圧縮符号化してそれぞれ異なるビットレートのデータストリームを生成する圧縮符号化処理部１２ａおよび１２ｂと、圧縮符号化処理の開始タイミングが各圧縮符号化処理部１２ａおよび１２ｂの間でフレーム単位でシフトするように制御するタイミング制御部１３と、各圧縮符号化処理部１２ａおよび１２ｂにおいて生成された各データストリームを順次多重化してネットワーク２上に送信する多重化処理部１４によって構成される。なお、図１の例では圧縮符号化処理部が２つのみ設けられているが、これより多くの圧縮符号化処理部が設けられてもよい。
【００２５】
同期信号検出部１１は、入力された映像信号中から、フレームあるいはフィールドや水平走査の開始タイミングの検出、色信号の復調等のための同期信号を検出する。映像信号として例えばＮＴＳＣ（National TV Standards Committee）方式のコンポジット信号が入力された場合、垂直同期信号、水平同期信号、色同期信号（カラーバースト）等の同期信号が検出される。検出した同期信号はタイミング制御部１３に供給される。
【００２６】
タイミング制御部１３は、供給された同期信号を用いて、各圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングを制御する。このとき、各圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングがフレーム単位でシフトするように制御する。
【００２７】
各圧縮符号化処理部１２ａおよび１２ｂは、タイミング制御部１３による制御に従って、入力された映像信号をそれぞれ異なる所定のビットレートで圧縮符号化し、動画像のデータストリームを生成する。
【００２８】
多重化処理部１４は、各圧縮符号化処理部１２ａおよび１２ｂで生成された各データストリームを順次パケット化して多重化し、ネットワーク２上に送信する。この多重化処理部１４は、各圧縮符号化処理部１２ａおよび１２ｂによる生成データ量に応じてパケットを分割し、それらのパケットを単位時間内で均等な間隔を置いて送信するように制御する。
【００２９】
ここで、データ送信装置１では、生成するデータストリームに対応する複数の圧縮符号化処理部１２ａおよび１２ｂが設けられ、これらの動作が並行して行われる。従って、各データストリームの生成開始タイミングについては“ずれ”が生じるものの、その後に生成される各データストリームの間に遅延は生じず、極めてリアルタイム性の高い画像配信を行うことが可能である。
【００３０】
次に、映像信号としてＮＴＳＣ（National TV Standards Committee）方式のコンポジット信号が入力された場合を想定して、データ送信装置１の動作を説明する。
【００３１】
データ送信装置１に入力された映像信号は、２つの圧縮符号化処理部１２ａおよび１２ｂとともに、同期信号検出部１１に入力される。各圧縮符号化処理部１２ａおよび１２ｂは、図示しないＡ／Ｄ変換処理部等の処理により、映像信号をデジタル方式のビデオ信号として受ける。そして、タイミング制御部１３からの制御信号に従って、ビデオ信号に対する圧縮符号化処理をそれぞれ開始する。
【００３２】
ここで、各圧縮符号化処理部１２ａおよび１２ｂでは、生成するデータの圧縮率や解像度等は異なるが、ピクチャの生成間隔は同じとされる。また、フレーム間予測処理を用いて圧縮符号化が行われる場合、各圧縮符号化処理部１２ａおよび１２ｂで生成されるデータストリーム中のピクチャ配置構造は、通常同じとされる。
【００３３】
従って、圧縮符号化処理の開始タイミングをフレーム単位でシフトさせることにより、各圧縮符号化処理部１２ａおよび１２ｂで生成される各データストリームのピクチャ配置構造を互いに異なるものとすることができる。これにより、生成されたピクチャのデータ量が極端に増大するタイミングが、各データストリーム間で異なることになり、生成された各データストリームのデータ量が平滑化される。
【００３４】
一方、同期信号検出部１１は、映像信号から同期信号として垂直同期信号や色同期信号等を検出して、タイミング制御部１３に出力する。タイミング制御部１３は、入力された垂直同期信号からフレーム（またはフィールド）開始タイミングを得るとともに、色同期信号に同期する色副搬送波信号を生成する。この色副搬送波信号は、入力された映像信号に対する色信号の分離処理等の際の基準信号として使用されるものである。
【００３５】
ここで、ＮＴＳＣ信号では、２フィールド（すなわち１フレーム）ごとに色副搬送波信号の位相が反転する。従って、タイミング制御部１３は、図１（Ｂ）に示すように、フレームの開始タイミングにおける色副搬送波信号の位相を検出することで、１フレーム分のシフト量を容易に得て、各圧縮符号化処理部１２ａおよび１２ｂに対する圧縮符号化処理の開始タイミングを与えることができる。具体的には、フレーム開始タイミングと色副搬送波信号の立ち上がりタイミングが同期したときに、圧縮符号化処理部１２ａに対して処理開始を指示し、その後にフレーム開始タイミングと色副搬送波信号の立ち下がりタイミングが同期したときに、圧縮符号化処理部１２ｂに対して処理開始を指示する。これにより、生成される各データストリームのデータ量が平滑化される。
【００３６】
また、生成された各データストリームは、多重化処理部１４に出力される。多重化処理部１４は、図１（Ｃ）に示すように、各圧縮符号化処理部１２ａおよび１２ｂによって生成される単位時間内のデータ量が大きい場合に、それらを格納するパケットを分割する。例えば、１パケットに格納するデータ量の基準値を設け、各データストリームについて、１ピクチャ分（すなわち１フレーム分）のデータ量がこの基準値を超えた場合に格納するパケットを分割する。そして、分割したパケットを単位時間内で均等な間隔を置いて送信する。
【００３７】
このようなパケットの送信制御を行うことにより、ネットワーク２に送信されるデータ量がさらに平滑化され、送信データのビットレートのピークを下げ、送信負荷を低減することが可能となる。また、１パケットへの格納データ量の基準値は、データ送信装置１自身の性能や送信するネットワーク２の容量を考慮して、任意に設定可能としてもよい。
【００３８】
以上のように、本発明では、入力される映像信号から検出される同期信号を利用して、複数の圧縮符号化処理部１２ａおよび１２ｂにおける圧縮符号化処理の開始タイミングが、フレーム単位でシフトされる。これにより、生成される各データストリーム間でデータ生成量が極端に増大するタイミングが分散され、送信データ量が平滑化されるので、ネットワーク負荷の増大に伴うパケットロスの発生等を防止することができる。
【００３９】
特に、ＮＴＳＣ方式のコンポジット信号の入力を受ける場合は、この映像信号から検出した垂直同期信号および色同期信号より、各圧縮符号化処理部１２ａおよび１２ｂの制御タイミングを容易に得ることが可能である。このため、例えばフレーム開始タイミングのシフト量を得るためのカウンタ回路等を設けることなく、上記の圧縮符号化処理の開始タイミング制御を低コストで実現することができ、また、装置を小型化することができる。
【００４０】
さらに、各圧縮符号化処理部１２ａおよび１２ｂによるデータストリームの生成データ量に応じて、多重化処理部１４においてこれらが格納されるパケットが分割され、分割されたパケットが均等な間隔を置いて送信される。これにより、ネットワーク２上に送信されるデータ量がさらに平滑化される。このように、本発明では、圧縮符号化処理の開始タイミングの制御と、生成されたデータのパケット化制御とを併用することにより、送信データのリアルタイム性を損なうことなく、ネットワーク２上の送信データ量に対する平滑化の効果をより高めることができる。
【００４１】
なお、以上では、圧縮符号化処理の開始タイミングを１フレーム分だけシフトする場合の例について説明したが、複数フレーム分のシフトを行うようにしてもよい。また、ビットレートの異なるデータストリームを３つ以上同時に生成する場合は、対応する圧縮符号化処理部の処理開始タイミングを、順次フレーム単位でシフトさせればよい。ただし、この場合は特に、シフト量を１フレーム分とすることにより、生成データ量をより確実に平滑化することができる。
【００４２】
次に、本発明の実施の形態を具体的に説明する。ここでは、例として、企業内ＬＡＮ（Local Area Network）等のイントラネットやインターネットに接続した受信者に対して画像配信が行われるシステムについて説明する。
【００４３】
図２は、本発明のデータ送信装置を適用可能な画像配信システムのシステム構成を示す図である。
図２に示す画像配信システムは、カメラ１１０ａおよび１２０ａで撮像された画像からデータストリームを生成し、これらをネットワークを通じて受信者にリアルタイムで配信するためのシステムである。この画像配信システムは、例えば、河川・ダムの水位や道路等の遠隔監視、あるいは会議やコンサートの生中継といった用途に使用される。
【００４４】
この画像配信システムは、それぞれカメラ１１０ａおよび１２０ａが接続された複数のデータ送信装置１１０および１２０と、各データ送信装置１１０および１２０から配信された動画像のデータストリームを受信する複数の受信端末２１０および２２０によって構成される。また、各データ送信装置１１０および１２０は、イントラネット３１０を通じてインターネット３２０に接続されている。また、受信端末２１０はイントラネット３１０に接続されており、受信端末２２０は、例えば図示しない電話回線等を通じてインターネット３２０に接続されている。
【００４５】
カメラ１１０ａおよび１２０ａは、それぞれ画像を撮像し、撮像画像をＮＴＳＣ方式のコンポジット信号として出力する。各データ送信装置１１０および１２０は、それぞれカメラ１１０ａおよび１２０ａにおける撮像画像信号をＭＰＥＧ形式で圧縮符号化し、イントラネット３１０上に送信する。各受信端末２１０および２２０は、送信されたデータストリームをそれぞれイントラネット３１０、インターネット３２０を通じて受信し、復号化してディスプレーに表示する機能を有しており、例えばＰＣ（パーソナルコンピュータ）等のコンピュータ装置として実現される。
【００４６】
なお、データ送信装置および受信端末は、それぞれ多数設けられてもよい。ただし、データ送信装置はイントラネット３１０に接続されている必要がある。
ここで、イントラネット３１０は、インターネット３２０と比較して、全体として高速なデータ送受信が保証されたネットワークとなっている。また、データ送信装置１１０では、カメラ１１０ａからの１つの映像ソースから、イントラネット３１０およびインターネット３２０のそれぞれの伝送帯域に適した異なるビットレートのデータストリームが生成され、送信される。このことは、データ送信装置１２０でも同様である。
【００４７】
従って、図２に示すように、例えばデータ送信装置１１０から配信されるデータストリームのうち、数Ｍｂｐｓといった比較的高ビットレートのデータストリームＡは、受信端末２１０において好適に受信可能で、数百ｋｂｐｓといった比較的低ビットレートのデータストリームＢは、受信端末２２０において好適に受信可能となる。なお、各データ送信装置１１０および１２０からは、例えばマルチキャスト等を利用してデータの送信が行われ、受信端末２１０および２２０では、受信するデータストリームのビットレートを選択することが可能である。
【００４８】
次に、例としてデータ送信装置１１０における処理機能について説明する。図３は、データ送信装置１１０の機能を示すブロック図である。
データ送信装置１１０は、図３に示すように、Ａ／Ｄ変換部１１１、同期検出部１１２、ローパスフィルタ１１３、Ｙ／Ｃ分離部１１４、フィルタリング／スケーリング処理部１１５、出力フォーマット部１１６、エンコーダ１１７ａおよび１１７ｂ、ビデオタイミング処理部１１８、およびパケット生成処理部１１９によって構成される。
【００４９】
Ａ／Ｄ変換部１１１は、カメラ１１０ａから送信されたＮＴＳＣ方式のコンポジット信号をサンプリングして、デジタル方式のビデオ信号に変換する。同期検出部１１２は、Ａ／Ｄ変換部１１１でデジタル変換されたビデオ信号から、垂直同期信号、水平同期信号および色同期信号を検出して、ビデオタイミング処理部１１８に出力する。
【００５０】
ローパスフィルタ１１３は、Ａ／Ｄ変換部１１１からのビデオ信号から低域成分のみ通過させ、ノイズを除去する処理を行う。Ｙ／Ｃ分離部１１４は、ローパスフィルタ１１３からのビデオ信号を、輝度信号と色差信号に分離する。
【００５１】
フィルタリング／スケーリング処理部１１５は、Ｙ／Ｃ分離処理されたビデオ信号に対して解像度変換、および有効画像領域の切り出しを行う。出力フォーマット部１１６は、フィルタリング／スケーリング処理部１１５からのビデオ信号をフレーム単位でバッファし、ノンインタレース化する。
【００５２】
エンコーダ１１７ａおよび１１７ｂは、出力フォーマット部１１６からのビデオ信号をそれぞれ受けて、所定の解像度および圧縮度の設定に基づき、ビデオ信号をＭＰＥＧ−２方式で圧縮符号化する。ここで、エンコーダ１１７ａは、例えば数Ｍｂｐｓ程度の比較的高い平均ビットレートのデータストリームＡを生成する。一方、エンコーダ１１７ｂは、例えば数百ｋｂｐｓ程度の比較的低い平均ビットレートＢを生成する。各エンコーダ１１７ａおよび１１７ｂは、後述するように、ビデオタイミング処理部１１８からの同じフィールド開始信号に従ってピクチャの生成を行うので、これらの間で圧縮符号化処理に伴うデータの遅延は生じず、元の映像信号に対して極めてリアルタイム性の高いデータ生成が行われる。
【００５３】
ビデオタイミング処理部１１８は、同期検出部１１２で検出された各同期信号を受けて、エンコーダ１１７ａおよび１１７ｂ等の動作タイミングを制御する。ビデオタイミング処理部１１８は、同期検出部１１２からの色同期信号を使用して、データ送信装置１内の映像信号同期の基準信号となる１４．３１８ＭＨｚの同期信号を生成する。この同期信号は、例えばＡ／Ｄ変換部１１１におけるサンプリング周波数として使用されるとともに、同期検出部１１２からの垂直同期信号および水平同期信号がこの同期信号に同期される。また、この同期信号に同期する色副搬送波信号（３．５７８５ＭＨｚ）が生成される。
【００５４】
ビデオタイミング処理部１１８は、後述するように、垂直同期信号に基づくフィールド開始信号およびフレーム開始信号を生成するとともに、色副搬送波信号を出力して、これらの信号によって各エンコーダ１１７ａおよび１１７ｂのフレーム開始タイミングおよび圧縮符号化の開始タイミングを制御する。なお、この動作開始タイミング制御のための詳しい構成については、図４において説明する。
【００５５】
パケット生成処理部１１９は、各エンコーダ１１７ａおよび１１７ｂにおいて生成されたデータストリームを受けて、これらのデータをＩＰ（Internet Protocol）パケット化して多重化し、イントラネット３１０上に送出する。
【００５６】
次に、図４は、各エンコーダ１１７ａおよび１１７ｂの動作開始タイミング制御のための信号系の構成を示す図である。
エンコーダ１１７ａおよび１１７ｂの動作開始タイミングを制御するために、ビデオタイミング処理部１１８からは、フィールド開始信号Ｓｆｄ、フレーム開始信号Ｓｆｍおよび色副搬送波信号Ｓｃが出力される。
【００５７】
フィールド開始信号Ｓｆｄは、垂直同期信号の立ち上がりタイミングに同期したパルス信号であり、各エンコーダ１１７ａおよび１１７ｂに対してフィールド開始タイミングを与える。
【００５８】
フレーム開始信号Ｓｆｍは、フィールド開始信号Ｓｆｄの２パルスに１パルスだけ出力される信号で、２つのＡＮＤゲート１１８ａおよび１１８ｂに入力される。また、ＡＮＤゲート１１８ａの他方の入力端子には、色副搬送波信号Ｓｃが入力される。一方、ＡＮＤゲート１１８ｂの他方の入力端子には、色副搬送波信号Ｓｃの位相反転信号が入力される。各ＡＮＤゲート１１８ａおよび１１８ｂの出力信号は、それぞれエンコーダ１１７ａおよび１１７ｂに入力されて、これらにより各エンコーダ１１７ａおよび１１７ｂは圧縮符号化処理の開始タイミングを与えられる。
【００５９】
図５は、ビデオタイミング処理部１１８とエンコーダ１１７ａおよび１１７ｂとの間で伝送される信号の波形を示すタイムチャートである。
ＮＴＳＣ方式では、フィールド周期と色副搬送波信号との間で４フィールドごとの同期関係が保たれており、２フィールド（すなわち１フレーム）ごとの色副搬送波信号の位相が反転する。このため、図５（Ａ）に示すフレーム同期信号Ｓｆｍのパルスが出力されるタイミングＴ５０１が、（Ｂ）に示す色副搬送波信号Ｓｃの立ち上がりタイミングと一致した場合には、次にフレーム同期信号Ｓｆｍが出力されるタイミングＴ５０２は、色副搬送波信号Ｓｃの立ち下がりタイミングとなる。
【００６０】
従って、圧縮符号化処理部１２ａおよび１２ｂの処理開始が指示されると、その後に最初にフレーム開始信号Ｓｆｍが出力されたタイミングＴ５０１において、（Ｃ）に示すようにＡＮＤゲート１１８ａから開始信号Ｓａが出力される。この開始信号Ｓａに従って、エンコーダ１１７ａにおける動作が開始される。
【００６１】
また、ＡＮＤゲート１１８ｂには（Ｄ）に示すように、色副搬送波信号Ｓｃの位相反転信号が入力され、次のフレーム開始のタイミングＴ５０２において、この位相反転信号とフレーム開始信号Ｓｆｍの各立ち上がりタイミングが一致する。これにより、（Ｅ）に示すように、ＡＮＤゲート１１８ｂからは開始信号Ｓｂが出力され、エンコーダ１１７ｂにおける動作が開始される。従って、エンコーダ１１７ｂの動作開始タイミングは、エンコーダ１１７ａより１フレーム分だけ遅延する。
【００６２】
なお、この例では色副搬送波信号Ｓｃの位相と比較する信号をフレーム開始信号Ｓｆｍとしたが、その代わりにフィールド開始信号Ｓｆｄが使用されてもよい。
【００６３】
図６は、このような動作開始タイミングの制御が行われた場合の各データストリームのピクチャ配置構造と、生成されるデータ量とを示す図である。
各エンコーダ１１７ａおよび１１７ｂでそれぞれ生成されるデータストリームＡおよびＢは、図６（Ａ）に示すように、２枚のＢピクチャの前後に１枚のＩピクチャまたはＰピクチャが配置されたピクチャの配置構造を有している。また、各データストリームＡおよびＢでは、１ＧＯＰ当たりのピクチャ数を互いに一定の同じ数としている。
【００６４】
エンコーダ１１７ｂにおける圧縮符号化処理の開始タイミングは、エンコーダ１１７ａより１フレーム分遅延することから、（Ａ）に示すように、生成された各データストリームＡおよびＢの間では、ピクチャの出現位置が１フレーム分ずつ異なる。従って、各データストリームＡおよびＢでは、ＩピクチャやＰピクチャは必ず異なる位置に現れる。
【００６５】
（Ｂ）では、各データストリームＡおよびＢで生成されるデータ量をピクチャごとに示している。この（Ｂ）に示すように、各データストリームＡおよびＢではともに、特にＩピクチャのデータ量がＢピクチャのデータ量より極端に大きい。しかし、各データストリームＡおよびＢの間ではＩピクチャの出現位置が重ならないため、これらが重なった場合と比較して、双方で発生するフレーム当たりのデータ量がより平滑化される。
【００６６】
以上のようなビデオタイミング処理部１１８による圧縮符号化処理の開始タイミング制御により、エンコーダ１１７ａおよび１１７ｂにより生成されるデータストリームのデータ量を平滑化することができる。このために、ビデオタイミング処理部１１８では、元の映像信号に含まれる同期信号を基に生成した制御信号が用いられる。ここで用いられる制御信号は、アナログ映像信号の入力を受けてデジタル変換し、各エンコーダ１１７ａおよび１１７ｂに取り込んでその処理を開始させるために、従来から生成されていた同期信号である。このため、上記の圧縮符号化処理のタイミング制御を、ＡＮＤゲート等の回路の追加等により簡易な構成で実現することができ、コストや設置スペースの増大を最小限に抑制することができる。
【００６７】
次に、パケット生成処理部１１９における送信データの平滑化について説明する。図７は、生成されたデータストリームＡまたはＢのピクチャごとのデータ量と、これらが格納されるパケットについて説明する図である。
【００６８】
図７（Ａ）では、例としてエンコーダ１１７ａにより生成されたデータストリームＡのピクチャごとのデータ量を示している。この図のように、１つのデータストリーム中では、Ｉピクチャのデータ量はＢピクチャやＰピクチャと比較して極端に大きくなっている。ここで、パケット生成処理部１１９では、１パケットに格納するデータ量の上限として、基準値Ｄ１が設定される。なお、図中のＤ２は基準値Ｄ１の２倍のデータ量を示している。
【００６９】
図の例では、Ｉピクチャのデータ量は基準値Ｄ１を超えている。このような場合に、パケット生成処理部１１９は、このピクチャのデータを分割してパケット化する。（Ｂ）は、パケットに格納されるデータ量とそれらの送信タイミングを示している。
【００７０】
（Ｂ）に示すように、基準値Ｄ１を超えないピクチャについては、この１ピクチャ分のデータが１パケットに格納されて、フレーム周期で送信される。一方、基準値Ｄ１よりデータ量の大きいピクチャについては、１パケットに基準値Ｄ１を上限とするデータ量だけ格納して、パケットを分割する。図中のＩピクチャの場合、データ量が基準値Ｄ１の２倍を超えているので、３個のパケットに分割して格納される。
【００７１】
また、分割された各パケットは、次のピクチャに対応するパケット送信タイミングまでの期間をパケット生成数で均等に分割したタイミングで、順次送信される。これにより、Ｉピクチャによる大容量のデータが、１ピクチャ分の送信期間内で分散して送信され、ネットワーク（イントラネット３１０）上の送信負荷が急激に高まってパケットロス等が生じることが防止される。
【００７２】
図８は、パケット生成処理部１１９におけるデータストリームＡおよびＢのそれぞれに対する処理手順を示すフローチャートである。
パケット生成処理部１１９は、例えば、各エンコーダ１１７ａおよび１１７ｂからのデータの入力をそれぞれ受けるバッファを具備する。そして、ステップＳ８０１において、１フレーム分すなわち１ピクチャ分のデータをバッファから読み出す。ステップＳ８０２において、読み出した１ピクチャ分のデータ量を検出する。
【００７３】
ステップＳ８０３において、検出したデータ量とパケット化のための基準値Ｄ１とを比較し、パケット数を算出する。ここで、検出したデータ量が基準値Ｄ１のｎ倍を超え、（ｎ＋１）倍以下である場合に、このデータを格納するパケット数を（ｎ＋１）個に設定する。
【００７４】
ステップＳ８０４において、算出したパケット数を基に、各パケットの送信間隔を算出する。ここで、上記のようにパケット数が（ｎ＋１）個に設定された場合に、１ピクチャ分の送信間隔である１／３０秒をパケット数（ｎ＋１）で除算した値を、分割したパケットの送信間隔として設定する。また、パケット生成処理部１１９は、パケットの送信間隔をカウントするタイマを具備し、算出した送信間隔に基づいてタイマを設定する。
【００７５】
ステップＳ８０５において、基準値Ｄ１分のデータに所定のヘッダ情報等を付加して１つ目のＵＤＰ（User Datagram Protocol）パケットを生成し、所定のフレーム同期タイミングでこのパケットをイントラネット３１０上に送信する。
【００７６】
ステップＳ８０６において、１ピクチャ分の全パケットを送信したか否かを判定する。送信済みの場合は１ピクチャ分の処理を終了し、次のピクチャについてステップＳ８０１の処理から繰り返す。また、未送信のパケットがある場合は、ステップＳ８０７に進む。
【００７７】
ステップＳ８０７において、タイマをカウントし、ステップＳ８０４で設定した送信間隔分の時間が経過するまで待機する。そして、設定した時間が経過するとステップＳ８０５に戻り、次のパケットの生成および送信を行う。以後、１ピクチャ分の全パケットの送信が終了するまで、ステップＳ８０５〜Ｓ８０７の処理が繰り返される。
【００７８】
なお、以上の図８の処理手順は、１つのデータストリームに対するものである。パケット生成処理部１１９は、２つのデータストリームＡおよびＢのピクチャに対応するパケットは、同じフレーム周期のタイミングで連続して送信する。また、各データストリームＡおよびＢの間では、ビデオタイミング処理部１１８による処理開始タイミングの制御により、データ量の大きいＩピクチャが同時に生成されることはない。このため、通常は、各データストリームＡおよびＢの双方でパケットの分割が同時に行われることはない。従って、例えばデータストリームＡのピクチャのデータが分割された場合には、データストリームＢのパケットは、データストリームＡの１つ目のパケットの送信直後に連続して送信されればよい。
【００７９】
また、パケットに格納するデータ量の基準値Ｄ１は、任意に変更することが可能である。これにより、データ送信装置１１０自身の性能や送信するイントラネット３１０の容量や通信状態を考慮して、適切なデータ送信量の制御を行うことが可能となる。
【００８０】
以上のように、本実施の形態例では、ビデオタイミング処理部１１８による圧縮符号化処理の開始タイミングの制御と、パケット生成処理部１１９による生成データ量に応じたパケットの分割および均等間隔での送信制御とが併用されることにより、送信データのリアルタイム性を損なうことなく、送信データ量の平滑化を容易に行うことが可能となる。
【００８１】
（付記１） １つの映像信号から異なる複数のビットレートの圧縮符号化データを生成してネットワーク上に同時に送信するデータ送信装置において、
入力された前記映像信号から同期信号を検出する同期信号検出部と、
前記映像信号を圧縮符号化してそれぞれ異なるビットレートのデータストリームを生成する複数の圧縮符号化処理部と、
検出された前記同期信号を基にして、圧縮符号化処理の開始タイミングが前記各圧縮符号化処理部の間でフレーム単位でシフトするように制御するタイミング制御部と、
前記各圧縮符号化処理部において生成された前記各データストリームを順次多重化して前記ネットワーク上に送信する多重化処理部と、
を有することを特徴とするデータ送信装置。
【００８２】
（付記２） 前記映像信号としてＮＴＳＣ方式のコンポジット信号が入力された場合、前記同期信号検出部は、垂直同期信号および色同期信号を検出することを特徴とする付記１記載のデータ送信装置。
【００８３】
（付記３） 前記タイミング制御部は、前記垂直同期信号に基づく前記映像信号のフレーム開始タイミングが、前記色同期信号に同期する色副搬送波信号の立ち上がりタイミングと一致したときに、１つの前記圧縮符号化処理部の圧縮符号化処理を開始させ、次に前記フレーム開始タイミングが前記色副搬送波信号の立ち下がりタイミングと一致したときに、他の前記圧縮符号化処理部の圧縮符号化処理を開始させることを特徴とする付記２記載のデータ送信装置。
【００８４】
（付記４） 前記多重化処理部は、前記圧縮符号化処理部によって単位時間内に生成された前記各データストリームのデータ量に応じて、前記各データストリームを格納するパケットを分割し、分割した前記パケットを前記単位時間内で均等に間隔を空けて送信することを特徴とする付記１記載のデータ送信装置。
【００８５】
（付記５） 前記多重化処理部は、１パケットに格納するデータの基準量を設定し、前記各圧縮符号化処理部による１フレーム分のデータ生成期間に生成されたデータ量が前記基準量のｎ倍（ｎ：ｎ＞０の整数）を超えた場合に、これらのデータを（ｎ＋１）個のパケットに前記基準量以下のデータ量に分割して格納し、分割された前記各パケットを前記データ生成期間を均等に分割したタイミングで順に送信することを特徴とする付記４記載のデータ送信装置。
【００８６】
（付記６） 前記基準量は任意に設定可能であることを特徴とする付記５記載のデータ送信装置。
（付記７） １つの映像信号を圧縮符号化して異なるビットレートの複数のデータストリームを生成し、ネットワーク上に同時に送信するためのデータ送信方法において、
入力された前記映像信号から同期信号を検出し、
検出された前記同期信号を基にして、各データストリームの生成に対応する圧縮符号化処理の開始タイミングをフレーム単位でシフトさせ、
前記圧縮符号化処理によって単位時間内に生成された前記各データストリームのデータ量に応じて、前記各データストリームを格納するパケットを分割し、分割した前記パケットを前記単位時間内で均等に間隔を空けて前記ネットワーク上に送信する、
ことを特徴とするデータ送信方法。
【００８７】
【発明の効果】
以上説明したように、本発明のデータ送信装置によれば、タイミング制御部により、各圧縮符号化処理部における圧縮符号化処理の開始タイミングがフレーム単位でオフセットするように制御される。これにより、各圧縮符号化処理部の間では、互いにピクチャ配置が異なるデータストリームが生成されるので、生成されるピクチャのデータ量の増加・減少タイミングが各データストリームごとに異なった位置となり、ネットワークに送信されるデータ量が平滑化される。また、タイミング制御部でのタイミング制御が同期信号検出部で検出された同期信号を基にして行われるので、装置構成が単純化される。
【図面の簡単な説明】
【図１】本発明の原理を説明するための原理図である。
【図２】本発明のデータ送信装置を適用可能な画像配信システムのシステム構成を示す図である。
【図３】本発明の実施の形態例に係るデータ送信装置の機能を示すブロック図である。
【図４】各エンコーダの動作開始タイミング制御のための信号系の構成を示す図である。
【図５】ビデオタイミング処理部と各エンコーダとの間で伝送される信号の波形を示すタイムチャートである。
【図６】生成された各データストリームのピクチャ配置構造と、生成されるデータ量とを示す図である。
【図７】生成された各データストリームのピクチャごとのデータ量と、これらが格納されるパケットについて説明する図である。
【図８】パケット生成処理部におけるデータストリームのそれぞれに対する処理手順を示すフローチャートである。
【図９】ビットレートの異なる複数の圧縮符号化データが同時配信された場合のデータ量の変動を示す図である。
【符号の説明】
１ データ送信装置
２ ネットワーク
１１ 同期信号検出部
１２ａ、１２ｂ 圧縮符号化処理部
１３ タイミング制御部
１４ 多重化処理部
Claims (1)
- １つの映像信号から異なる複数のビットレートの圧縮符号化データを生成してネットワーク上に同時に送信するデータ送信装置において、
前記映像信号としてＮＴＳＣ（ National TV Standards Committee ）方式のコンポジット信号の入力を受け、当該映像信号から垂直同期信号および色同期信号を検出する同期信号検出部と、
前記映像信号を圧縮符号化してそれぞれ異なるビットレートのデータストリームを生成する複数の圧縮符号化処理部と、
検出された前記垂直同期信号および前記色同期信号を基にして、圧縮符号化処理の開始タイミングが前記各圧縮符号化処理部の間でフレーム単位でシフトするように制御するタイミング制御部と、
前記各圧縮符号化処理部において生成された前記各データストリームを順次多重化して前記ネットワーク上に送信する多重化処理部と、
を有し、
前記タイミング制御部は、前記垂直同期信号に基づく前記映像信号のフレーム開始タイミングが、前記色同期信号に同期する色副搬送波信号の立ち上がりタイミングと一致したときに、１つの前記圧縮符号化処理部の圧縮符号化処理を開始させ、次に前記フレーム開始タイミングが前記色副搬送波信号の立ち下がりタイミングと一致したときに、他の前記圧縮符号化処理部の圧縮符号化処理を開始させることを特徴とするデータ送信装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002304166A JP4040426B2 (ja) | 2002-10-18 | 2002-10-18 | データ送信装置 |
| US10/688,245 US7502417B2 (en) | 2002-10-18 | 2003-10-20 | Data transmission device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002304166A JP4040426B2 (ja) | 2002-10-18 | 2002-10-18 | データ送信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004140651A JP2004140651A (ja) | 2004-05-13 |
| JP4040426B2 true JP4040426B2 (ja) | 2008-01-30 |
Family
ID=32170892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002304166A Expired - Fee Related JP4040426B2 (ja) | 2002-10-18 | 2002-10-18 | データ送信装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7502417B2 (ja) |
| JP (1) | JP4040426B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100403736C (zh) * | 2006-03-14 | 2008-07-16 | 杭州华三通信技术有限公司 | 多单元发送时的报文序列号检测方法及装置 |
| US7605737B2 (en) * | 2007-03-08 | 2009-10-20 | Texas Instruments Incorporated | Data encoding in a clocked data interface |
| JP4934524B2 (ja) * | 2007-06-25 | 2012-05-16 | パナソニック株式会社 | データ通信装置及びデータ通信方法 |
| JP5339697B2 (ja) | 2007-08-14 | 2013-11-13 | キヤノン株式会社 | 送信装置、送信方法、及びコンピュータプログラム |
| US8509315B1 (en) * | 2008-09-23 | 2013-08-13 | Viasat, Inc. | Maintaining synchronization of compressed data and associated metadata |
| WO2010035378A1 (ja) * | 2008-09-29 | 2010-04-01 | パナソニック株式会社 | 画像符号化装置、画像符号化方法及び撮像システム |
| US20100091888A1 (en) * | 2008-10-13 | 2010-04-15 | General Instrument Corporation | Multi-Rate Encoder with GOP Alignment |
| JP5359724B2 (ja) * | 2009-09-16 | 2013-12-04 | 日本電気株式会社 | ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム |
| KR101702562B1 (ko) * | 2010-06-18 | 2017-02-03 | 삼성전자 주식회사 | 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치 |
| JP2012074844A (ja) * | 2010-09-28 | 2012-04-12 | Panasonic Corp | マルチストリーム符号化制御装置及びカメラシステム |
| JP5929358B2 (ja) * | 2012-03-15 | 2016-06-01 | ソニー株式会社 | 画像伝送システムおよび画像伝送方法 |
| JP5844692B2 (ja) * | 2012-06-11 | 2016-01-20 | 日本電信電話株式会社 | リソース使用量平準化装置及びリソース使用量平準化方法 |
| WO2015072005A1 (ja) * | 2013-11-15 | 2015-05-21 | 株式会社日立製作所 | 通信装置及びシステム及び方法 |
| JP6756212B2 (ja) * | 2016-09-23 | 2020-09-16 | 沖電気工業株式会社 | 情報配信装置、中継装置、情報配信プログラム、中継プログラム、情報配信方法、中継方法及び情報配信システム |
| JP7250588B2 (ja) * | 2019-03-28 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、送信方法、及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07193820A (ja) | 1993-12-27 | 1995-07-28 | Toshiba Corp | 映像高能率符号化方式及び映像高能率符号化装置 |
| JPH08307876A (ja) | 1995-05-08 | 1996-11-22 | Nippon Telegr & Teleph Corp <Ntt> | パケット多重伝送装置 |
| JPH1023427A (ja) | 1996-07-04 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 映像信号符号化及び復号化装置と映像信号伝送装置 |
| US6014694A (en) * | 1997-06-26 | 2000-01-11 | Citrix Systems, Inc. | System for adaptive video/audio transport over a network |
| JP4258063B2 (ja) | 1999-05-31 | 2009-04-30 | 三菱電機株式会社 | データ送信装置 |
-
2002
- 2002-10-18 JP JP2002304166A patent/JP4040426B2/ja not_active Expired - Fee Related
-
2003
- 2003-10-20 US US10/688,245 patent/US7502417B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7502417B2 (en) | 2009-03-10 |
| JP2004140651A (ja) | 2004-05-13 |
| US20040086051A1 (en) | 2004-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7010032B1 (en) | Moving image coding apparatus and decoding apparatus | |
| JP4040426B2 (ja) | データ送信装置 | |
| US8458744B2 (en) | Method for reducing channel change times and synchronizing audio/video content during channel change | |
| CA2457614C (en) | First pass encoding of i and p-frame complexity for compressed digital video | |
| US20110123170A1 (en) | Information processing apparatus and method | |
| US20120200663A1 (en) | Method and Apparatus For Improving The Average Image Refresh Rate in a Compressed Video Bitstream | |
| US6226328B1 (en) | Transcoding apparatus for digital video networking | |
| JP3809220B2 (ja) | 伝送システム及び伝送方法 | |
| JP2004507178A (ja) | ビデオ信号符号化方法 | |
| US6215824B1 (en) | Transcoding method for digital video networking | |
| WO2010031170A1 (en) | Low latency video encoder | |
| US6992692B2 (en) | System and method for providing video quality improvement | |
| EP1443776B1 (en) | Video signal processing system | |
| KR101164365B1 (ko) | 차량용 영상 모니터링 장치의 4채널 화면 분할 방법 | |
| Walker et al. | Mobile video-streaming | |
| EP1342378A2 (en) | Method and apparatus for adaptive bit rate control in an asynchronized encoding system | |
| JP4799191B2 (ja) | 通信端末、通信システムおよび通信方法 | |
| KR100747664B1 (ko) | 대역폭에 적응적인 멀티미디어 데이터 처리방법 및 이를적용한 호스트장치 | |
| US20100037281A1 (en) | Missing frame generation with time shifting and tonal adjustments | |
| EP0927954B1 (en) | Image signal compression coding method and apparatus | |
| Johanson | Designing an environment for distributed real-time collaboration | |
| JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
| KR100368759B1 (ko) | 동영상 압축 양방향 전송방법 | |
| JP2004193961A (ja) | 映像伝送システム | |
| Knee | MPEG video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050523 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |