JP5585109B2

JP5585109B2 - Video transmission device

Info

Publication number: JP5585109B2
Application number: JP2010027898A
Authority: JP
Inventors: 貴裕浅野; 俊洋木村; 信彦上村; 章佳渥美
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2010-02-10
Filing date: 2010-02-10
Publication date: 2014-09-10
Anticipated expiration: 2030-02-10
Also published as: JP2011166508A

Description

本発明は映像を送信する技術に関する。 The present invention relates to a technique for transmitting video.

映像を含むマルチメディアデータのストリーミングにおいて、データの破綻やデータ配信の遅延を抑制するために、映像送信装置側で、階層符号化された映像データに基づいてパケットを選別して廃棄したり、パケットの送信順序を制御する技術が知られている。例えば特許文献１には、階層符号化された映像データのフレーム単位でバッファリングを行い、一定のフレーム周期を超えた場合に優先度の低いパケットを廃棄する技術が記載されている。また、公知の技術であるＷＲＥＤ（Weighted Random Early Detection）では、単一の送信キューにおいてパケットの優先度ごとにキュー長制限を設けて、キュー長制限を越えたパケットについて廃棄を行うというアルゴリズムを採用している。さらに、公知の技術として、優先度の低いパケットを定常的に廃棄したり、パケットの優先度ごとに送信キューを用意して送信順序の制御を行うものが存在する。 In the streaming of multimedia data including video, the video transmission device side selects and discards packets based on the hierarchically encoded video data in order to suppress data corruption and data delivery delay, A technique for controlling the transmission order of the. For example, Patent Document 1 describes a technique in which buffering is performed in units of frames of hierarchically encoded video data, and packets with low priority are discarded when a certain frame period is exceeded. In addition, WRED (Weighted Random Early Detection), which is a well-known technique, employs an algorithm that sets a queue length limit for each packet priority in a single transmission queue and discards packets that exceed the queue length limit. doing. Further, as a known technique, there is a technique that regularly discards a low priority packet or prepares a transmission queue for each packet priority to control the transmission order.

特許第３００３６１８号公報Japanese Patent No. 3003618

特許文献１に記載の技術では、バッファリング分の伝送遅延が発生しやすいという問題や、映像送信装置で映像のフォーマットを解釈する必要があるため装置が複雑で高コストになりやすいという問題がある。また、ＷＲＥＤにおいては、一度、送信キューに格納されたパケットは廃棄される事が無いため、そのキュー内において優先度の低いパケットを廃棄せずに、それに後続する優先度の高いパケットを廃棄せざるを得ない場合がある。また、優先度の低いパケットを定常的に廃棄すると、可用帯域を有効に活用できないという問題がある。これは映像帯域や回線帯域の変動に追従できず、パケットの廃棄しすぎやパケットが廃棄しきれないといったことが理由である。さらに、パケットの優先度ごとに送信キューを用意する場合、パケットの送信順序が入れ替わることがあり、キューの管理コストも大きくなる。 In the technique described in Patent Document 1, there is a problem that transmission delay due to buffering is likely to occur, and there is a problem that the apparatus is complicated and expensive because the video format needs to be interpreted by the video transmission apparatus. . Also, in WRED, packets once stored in the transmission queue are never discarded, so that packets with lower priority in that queue should not be discarded, but subsequent packets with higher priority should be discarded. There are cases where it must be done. Moreover, there is a problem that the available bandwidth cannot be effectively used if packets with low priority are regularly discarded. This is because it is not possible to follow fluctuations in the video bandwidth and the line bandwidth, and the packet is discarded too much or the packet cannot be discarded. Further, when a transmission queue is prepared for each packet priority, the packet transmission order may be changed, and the queue management cost also increases.

本発明の目的は、上述の背景を鑑みてなされたものであり、映像データのパケットを送信するにあたり、当該映像データに基づいて映像が再生されるときのその映像の品質低下を抑制しつつ、パケットが送信されてからそのパケットに応じた映像が再生されるまでの遅延を小さくすることにある。 The object of the present invention has been made in view of the above-mentioned background, and in transmitting a packet of video data, while suppressing a deterioration in the quality of the video when the video is reproduced based on the video data, The purpose is to reduce the delay from when a packet is transmitted until the video corresponding to the packet is reproduced.

上述の課題を解決するため、本発明は、映像データのパケットであって、当該映像データに基づいて映像を再生するときの当該映像の品質に応じた優先度が割り当てられた各パケットを、順次エンキューして格納するキューを記憶する記憶手段と、前記キューに格納されたパケットを、当該キューへのエンキューの順番が時間的に古いものから順番に送信する送信手段と、前記キューにパケットがエンキューされるときに、当該キューに格納されているパケットの数が、当該キューに格納されるパケットの上限値に達している場合には、当該キューに格納されているパケット及び前記エンキューされるパケットの中から、最も低い優先度が割り当てられたパケットのうちエンキューの順番が時間的に最も古いパケットである第１のパケットに加えて、当該第１のパケットと同じ優先度が割り当てられたパケットのうち、当該第１のパケットとエンキューの順番が前記キュー内で隣接する第２のパケットを廃棄する廃棄手段とを備えることを特徴とする映像送信装置を提供する。 In order to solve the above-described problems, the present invention sequentially processes each packet, which is a packet of video data, and assigned a priority according to the quality of the video when the video is reproduced based on the video data. Storage means for storing a queue to be enqueued and stored; transmission means for transmitting packets stored in the queue in order from the oldest in time of enqueue to the queue; and packets enqueued in the queue When the number of packets stored in the queue reaches the upper limit value of the packets stored in the queue, the packets stored in the queue and the packets to be enqueued from within, is the oldest packet order of enqueued in time of the lowest priority is assigned packets to the first packet Ete, said one of the first packets with the same priority as the packet is assigned, characterized in that it comprises a discarding means the order of the first packet and the enqueue discards the second packet adjacent in the queue A video transmission apparatus is provided.

また、別の好ましい態様において、前記送信手段により送信されるパケットが伝送される伝送経路の可用帯域を計測する計測手段と、前記送信手段が前記キューからパケットを読み出して送信するときの帯域を、前記計測手段によって計測された前記伝送経路の可用帯域に応じて制御する帯域制御手段とを備えることを特徴とする。 Further, in another preferred aspect, a measuring unit that measures an available bandwidth of a transmission path through which a packet transmitted by the transmitting unit is transmitted, and a band when the transmitting unit reads and transmits a packet from the queue, Band control means for controlling according to the available bandwidth of the transmission path measured by the measuring means.

また、別の好ましい態様において、前記キューに格納されるパケットの上限値を変更する変更手段であって、前記計測手段によって計測された前記伝送経路の可用帯域が大きくなった場合には前記上限値を大きくし、前記伝送経路の可用帯域が小さくなった場合には前記上限値を小さくする変更手段を備え、前記廃棄手段は、前記変更手段が前記上限値を小さくしたことにより、前記キューに格納できずに当該キューからあふれるパケットが発生した場合、当該キューに格納されているパケットと、エンキューの対象となるパケットと、前記キューからあふれるパケットとの中から、前記最も低い優先度が割り当てられたパケットのうちエンキューの順番が時間的に最も古いパケットである第１のパケット及び当該第１のパケットと同じ優先度が割り当てられたパケットのうち、当該第１のパケットとエンキューの順番が前記キュー内で隣接する第２のパケットを前記キューからあふれるパケットの数以上廃棄することを特徴とする。 In another preferred aspect, the changing means for changing the upper limit value of the packet stored in the queue, the upper limit value when the available bandwidth of the transmission path measured by the measuring means becomes large And changing means for reducing the upper limit value when the available bandwidth of the transmission path becomes smaller, and the discarding means stores in the queue when the changing means reduces the upper limit value. If a packet overflowing from the queue can not occur, and packets stored in the queue, a packet to be enqueued in a subject, from among the packets overflows from the queue, before Symbol lowest priority is assigned The first packet that is the oldest packet in time and the same priority as the first packet Among is allocated packet, wherein the order of the first packet and the enqueue discards several more overflowing the second packet adjacent from the queue packets in the queue.

また、別の好ましい態様において、前記廃棄手段は、前記第１のパケット及び前記第２のパケットが前記キューからあふれるパケットの数以上存在しない場合には、前記第１のパケット及び当該第１のパケットと同じ優先度が割り当てられたパケットを全て廃棄することを特徴とする。
また、別の好ましい態様において、前記送信手段により既に送信済みのパケットを再送する要求を受信した場合に、当該パケットを再送する再送制御手段を備え、前記廃棄手段は、前記再送制御手段が再送するパケットについても廃棄の対象とすることを特徴とする。 Moreover, in another preferable aspect, the discarding unit includes the first packet and the first packet when the first packet and the second packet do not exist more than the number of packets overflowing from the queue. All packets assigned the same priority as are discarded.
Further, in another preferred aspect, when a request for resending a packet that has already been transmitted by the transmitting means is received, a retransmission control means for resending the packet is provided, and the discarding means retransmits the retransmission control means The packet is also subject to discarding.

本発明によれば、映像データのパケットを送信するにあたり、当該映像データに基づいて映像が再生されるときのその映像の品質低下を抑制しつつ、パケットが送信されてからそのパケットに応じた映像が再生されるまでの遅延を小さくすることが可能となる。 According to the present invention, when transmitting a packet of video data, the video corresponding to the packet is transmitted after the packet is transmitted while suppressing deterioration in the quality of the video when the video is reproduced based on the video data. It is possible to reduce the delay until the image is reproduced.

本発明の実施形態におけるシステムの構成を表した図である。It is a figure showing the structure of the system in embodiment of this invention. 映像送信装置のハードウェア構成を表したブロック図である。It is a block diagram showing the hardware constitutions of the video transmission apparatus. 映像送信装置の機能構成を表したブロック図である。It is a block diagram showing the function structure of the video transmission apparatus. パケットの構成を表した図である。It is a figure showing the structure of the packet. キュー処理部の構成を表した図である。It is a figure showing the structure of the queue process part. キュー処理部におけるパケット廃棄の制御内容を表した図である。It is a figure showing the control content of the packet discard in a queue process part. キュー処理部における処理フロー図である。It is a processing flow figure in a queue process part. 変形例１のキュー処理部における処理フロー図である。FIG. 10 is a processing flow diagram in a queue processing unit of Modification 1; 変形例２のキュー処理部における処理フロー図である。FIG. 10 is a processing flow diagram in a queue processing unit according to Modification 2;

（１）実施形態
次に、図面を参照して本発明の実施形態について説明する。
図１は本発明の実施形態におけるシステムの構成を表した図である。このシステムは、映像出力装置１と、映像送信装置２と、パケット通信網３と、中継装置４と、映像受信装置５と、映像表示装置６とを備えている。映像出力装置１は、例えば撮像を行うビデオカメラや、映像データを記憶したパーソナルコンピュータ（以下、パソコンという）やサーバ装置等である。映像出力装置１は、映像の内容を表すアナログの映像信号或いはデジタルの映像データを映像送信装置２に出力する。映像送信装置２は、映像出力装置１から入力される映像信号或いは映像データをカプセル化して所定のデータ長の複数のパケットに変換する。そして映像送信装置２は、これらの映像データのパケットを、映像表示装置６で映像が再生される際にデータの破綻や遅延が発生するのを抑制することを目的として選択的に廃棄しつつ、順次送信先に向けてパケット通信網３に送信する。この映像送信装置２は、映像エンコーダの機能とルータの機能を併せ持つ装置である。パケット通信網３は、ＬＡＮ（Local Area Network）やインターネットであり、映像送信装置２から送信先へ向けて送信されたパケットが伝送される伝送経路となる。 (1) Embodiment Next, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing the configuration of a system according to an embodiment of the present invention. This system includes a video output device 1, a video transmission device 2, a packet communication network 3, a relay device 4, a video reception device 5, and a video display device 6. The video output device 1 is, for example, a video camera that performs imaging, a personal computer (hereinafter referred to as a personal computer) that stores video data, a server device, or the like. The video output device 1 outputs an analog video signal or digital video data representing the content of the video to the video transmission device 2. The video transmission device 2 encapsulates the video signal or video data input from the video output device 1 and converts it into a plurality of packets having a predetermined data length. The video transmission device 2 selectively discards these video data packets for the purpose of suppressing the occurrence of data corruption or delay when the video is reproduced on the video display device 6. The packet is sequentially transmitted to the packet communication network 3 toward the transmission destination. The video transmission device 2 is a device that has both a video encoder function and a router function. The packet communication network 3 is a LAN (Local Area Network) or the Internet, and serves as a transmission path through which packets transmitted from the video transmission device 2 to the transmission destination are transmitted.

中継装置４は、例えばルータであり、パケット通信網３を通じて映像送信装置２から送信されてくるパケットを受信する。中継装置４は、受信したパケットを順次映像受信装置５に出力する。映像受信装置５は、中継装置４から入力されたパケットをデカプセル化して映像信号或いは映像データを復元し、この映像信号或いは映像データを映像表示装置６に出力する。中継装置４および映像受信装置５は、分離した別体の装置ではなく、一体の装置であってもよい。映像表示装置６は、映像受信装置５から入力された映像信号或いは映像データに基づいた映像を再生して表示する装置であり、例えばディスプレイ装置、アナログテレビ、デジタルテレビ、パソコン、或いは携帯電話機等である。映像送信装置２においてパケットの廃棄が行われると、本来の順番からすると間のパケットが抜けた状態で映像受信装置５にパケットが入力される場合がある。このとき、映像受信装置５は間が抜けていても入力された順番に従ってパケットから映像信号或いは映像データを復元する。つまり、映像受信装置５は、入力されなかったパケットに基づく部分の映像信号或いは映像データはスキップしながら、入力された順番でパケットから映像信号或いは映像データを復元し、この映像信号或いは映像データに基づく映像を映像表示装置６が再生して表示する。従って、映像受信装置５がパケットの到着を待つことで処理が滞ることもなく、時系列に沿って順次パケットが処理されるため、映像表示装置６のストリーミング再生におけるリアルタイム性が損なわれることが極力無いようになっている。図1に示した各構成のうち、中継装置４、映像受信装置５および映像表示装置６は複数存在してもよい。また、映像受信装置５および映像表示装置６は、分離した別体の装置ではなく、一体の装置であってもよい。また、中継装置４、映像受信装置５および映像表示装置６の全てが、一体の装置であってもよい。なお、映像表示装置６が携帯電話機の場合、この携帯電話機は、中継装置４に接続された、図示しない携帯通信網の基地局と無線通信を行うことでパケットの受信を行う。 The relay device 4 is a router, for example, and receives a packet transmitted from the video transmission device 2 through the packet communication network 3. The relay device 4 sequentially outputs the received packets to the video reception device 5. The video receiving device 5 decapsulates the packet input from the relay device 4 to restore the video signal or video data, and outputs the video signal or video data to the video display device 6. The relay device 4 and the video reception device 5 may be integrated devices instead of separate separate devices. The video display device 6 is a device that reproduces and displays a video based on the video signal or video data input from the video receiving device 5, for example, a display device, an analog television, a digital television, a personal computer, a mobile phone, or the like. is there. When the video transmission apparatus 2 discards the packet, the packet may be input to the video reception apparatus 5 in a state in which the packet is missing from the original order. At this time, the video receiving device 5 restores the video signal or video data from the packet in accordance with the input order even if there is a gap. That is, the video receiving device 5 restores the video signal or video data from the packet in the order of input while skipping the video signal or video data of the part based on the packet that has not been input, and converts the video signal or video data into the video signal or video data. The video display device 6 reproduces and displays the video based on the video. Therefore, since the video receiving device 5 waits for the arrival of the packet and the processing is not delayed and the packets are sequentially processed in time series, the real-time property in streaming reproduction of the video display device 6 is impaired as much as possible. There is no such thing. Among each configuration shown in FIG. 1, there may be a plurality of relay apparatuses 4, video reception apparatuses 5, and video display apparatuses 6. In addition, the video receiving device 5 and the video display device 6 may be integrated devices instead of separate separate devices. Further, all of the relay device 4, the video reception device 5, and the video display device 6 may be an integrated device. When the video display device 6 is a mobile phone, the mobile phone receives packets by performing wireless communication with a base station of a mobile communication network (not shown) connected to the relay device 4.

図２は、映像送信装置２のハードウェア構成を表したブロック図である。
映像送信装置２は、ＣＰＵ（Central Processing Unit）２０、揮発性記憶部２１、不揮発性記憶部２２、入力ポート２３及び出力ポート２４を備えており、これらの各部がバスを介して互いに接続されている。ＣＰＵ２０は、不揮発性記憶部２２に記憶されているプログラムを読み出し揮発性記憶部２１にロードして実行することにより、映像送信装置２の各部を制御して、例えば映像データ階層符号化機能、パケット生成機能、キュー処理機能及びパケット送信機能などの各機能を実現する。揮発性記憶部２１は、例えばＲＡＭ（Random Access Memory）であり、ＣＰＵ２０が処理を行う際のワークエリアとなる。不揮発性記憶部２２は、例えばフラッシュメモリであり、ＣＰＵ２０が実現する映像送信装置２の各機能に関するプログラムや、パケット送信機能を実現するにあたりルーティングを行うためのルーティングテーブルを記憶している。入力ポート２３は、動画出力装置１から出力される映像信号或いは映像データを映像送信装置２に入力するインターフェースであり、入力端子を備える。出力ポート２４は、映像送信装置２が映像信号或いは映像データに基づいて生成したパケットをパケット通信網３に出力するインターフェースであり、出力端子を備える。 FIG. 2 is a block diagram illustrating a hardware configuration of the video transmission device 2.
The video transmission device 2 includes a CPU (Central Processing Unit) 20, a volatile storage unit 21, a nonvolatile storage unit 22, an input port 23, and an output port 24. These units are connected to each other via a bus. Yes. The CPU 20 reads out a program stored in the non-volatile storage unit 22 and loads it into the volatile storage unit 21 to execute it, thereby controlling each unit of the video transmission device 2 and, for example, a video data hierarchical encoding function, a packet Each function such as a generation function, a queue processing function, and a packet transmission function is realized. The volatile storage unit 21 is, for example, a RAM (Random Access Memory), and serves as a work area when the CPU 20 performs processing. The non-volatile storage unit 22 is, for example, a flash memory, and stores a program related to each function of the video transmission device 2 realized by the CPU 20 and a routing table for performing routing when realizing the packet transmission function. The input port 23 is an interface for inputting a video signal or video data output from the video output device 1 to the video transmission device 2 and includes an input terminal. The output port 24 is an interface that outputs a packet generated by the video transmission device 2 based on a video signal or video data to the packet communication network 3, and includes an output terminal.

図３は、映像送信装置２の機能構成を表したブロック図である。
映像送信装置２は、ＣＰＵ２０が、不揮発性記憶部２２に記憶されているプログラムを読み出し揮発性記憶部２１にロードして実行することにより、映像情報入力部２５、階層符号化部２６、パケット生成部２７、キュー処理部２８及びパケット送信部２９の各機能を実現する。以下の説明において、各部を処理の主体として記載するが、その主体の実態はＣＰＵ２０である。映像情報入力部２５は、入力ポート２４を通じて映像出力装置１から入力された映像信号又は映像データを受け取る。ここで、映像情報入力部２５は、アナログの映像信号についてはデジタル化を行い、デジタル化した映像データを階層符号化部２６に出力する。映像出力装置１からの入力が既にデジタル化された映像データである場合、映像情報入力部２５は、受け取った映像データを階層符号化部２６に出力する。階層符号化部２６は、入力されたデジタルの映像データを時間軸、周波数、画素数等を基準として階層符号化し、階層符号化した映像データをパケット生成部２７に出力する。 FIG. 3 is a block diagram showing a functional configuration of the video transmission device 2.
In the video transmission device 2, the CPU 20 reads out a program stored in the non-volatile storage unit 22, loads it into the volatile storage unit 21, and executes it, thereby generating a video information input unit 25, hierarchical encoding unit 26, packet generation The functions of the unit 27, the queue processing unit 28, and the packet transmission unit 29 are realized. In the following description, each unit is described as the main subject of processing, but the actual subject is the CPU 20. The video information input unit 25 receives a video signal or video data input from the video output device 1 through the input port 24. Here, the video information input unit 25 digitizes the analog video signal and outputs the digitized video data to the hierarchical encoding unit 26. When the input from the video output device 1 is already digitized video data, the video information input unit 25 outputs the received video data to the hierarchical encoding unit 26. The hierarchical encoding unit 26 hierarchically encodes the input digital video data with reference to the time axis, frequency, number of pixels, and the like, and outputs the hierarchically encoded video data to the packet generation unit 27.

ここで映像データの階層符号化について、概略を説明する。映像データの階層符号化とは、映像データを、低品質だが再生にあたり最低限必要な映像データと、再生時の映像の品質を高めるそれ以外の映像データとに階層化して分割することである。ここで3層構造の階層符号化の例を考える。Ｌ０は基本階層データであり、Ｌ１は第１階層データ、Ｌ２は第２階層データであるとする。Ｌ０のデータのみを復号すると、低品質の映像が得られる。Ｌ０およびＬ１のデータを復号すると中品質、Ｌ０、Ｌ１およびＬ２の全てのデータを復号すると高品質の映像が得られる。このとき、Ｌ０のデータは復号側で最低限必要とするデータであるため、データがパケット化されて送信される際には最優先で送信されるべきデータである。一方、Ｌ１およびＬ２のデータは映像の品質を高めるが、Ｌ０のデータと比較すると必須ではないため、パケット化されて送信される際の優先度をＬ０のデータよりも下げてもよい。ただし、Ｌ１のデータは、より基本階層に近い階層で符号化されているため、そのデータが欠けたときの事を考えると、Ｌ２のデータと比べて、映像品質の劣化に対する影響度が高いと言える。これらのことから、上述の3層構造における階層符号化映像データに対し、映像品質への影響度を考慮してパケット送信の際の優先順位をつけると、Ｌ０＞Ｌ１＞Ｌ２となる。このように、階層符号化された映像データに対しては、各階層、つまり再生時の映像の品質に応じて優先度を割り当てる事が可能である。なお、ここでいう映像の品質とは、映像の解像度や映像のフレームレート等を指し、映像の品質が高いとは、解像度が高いことやフレームレートが大きいことを表す。 Here, an outline of hierarchical encoding of video data will be described. Hierarchical encoding of video data is to divide video data into hierarchies of low-quality video data that is at least necessary for playback and other video data that improves video quality during playback. Here, consider an example of hierarchical coding with a three-layer structure. It is assumed that L0 is basic hierarchy data, L1 is first hierarchy data, and L2 is second hierarchy data. If only the data of L0 is decoded, a low quality video is obtained. Decoding L0 and L1 data provides medium quality, and decoding all L0, L1 and L2 data provides high quality video. At this time, since the data of L0 is the minimum necessary data on the decoding side, it is data that should be transmitted with the highest priority when the data is packetized and transmitted. On the other hand, the data of L1 and L2 improves the quality of the video, but since it is not essential as compared with the data of L0, the priority when packetized and transmitted may be lowered than the data of L0. However, since the data of L1 is encoded in a layer closer to the basic layer, considering that the data is missing, it has a higher degree of influence on the degradation of video quality than the data of L2. I can say that. For these reasons, when the priority order in packet transmission is given to the hierarchically encoded video data in the above three-layer structure in consideration of the influence on the video quality, L0> L1> L2. As described above, it is possible to assign a priority to the hierarchically encoded video data according to each layer, that is, the quality of the video during reproduction. The video quality here refers to the resolution of the video, the frame rate of the video, etc., and the high quality of the video means that the resolution is high or the frame rate is high.

パケット生成部２７は、階層符号化された映像データをカプセル化して、パケットを生成する。この際、パケット生成部２７は、階層符号化された映像データに応じて、各パケットに対して優先度を割り当てる。つまり、パケット生成部２７は、階層符号化された映像データのうち基本階層データは最も高い優先度を割り当ててパケット化し、それ以外の階層の映像データに対しては、階層に応じた優先度を割り当ててパケット化する。このように各パケットに割り当てられた優先度は、キュー処理部２８がパケットの廃棄制御を行う際に使用される。パケット生成部２７は、生成したパケットをキュー処理部２８に出力する。キュー処理部２８は、揮発性記憶部２１に送信キューを生成し、この送信キューに、パケット生成部２７から入力されたパケットをエンキューして格納する。さらにキュー処理部２８は、帯域制御を行いながら必要に応じてパケットの廃棄を行い、出力対象のパケットを送信キューからデキューしてパケット送信部２９に出力する。パケット送信部２９は、キュー処理部２８から入力されたパケットを、出力ポート２４を通じてパケット通信網３に送信する。 The packet generation unit 27 encapsulates the hierarchically encoded video data to generate a packet. At this time, the packet generator 27 assigns a priority to each packet according to the hierarchically encoded video data. That is, the packet generation unit 27 packetizes the basic layer data by assigning the highest priority among the hierarchically encoded video data, and assigns the priority according to the layer to the video data of other layers. Allocate and packetize. The priority assigned to each packet is used when the queue processing unit 28 performs packet discard control. The packet generator 27 outputs the generated packet to the queue processor 28. The queue processing unit 28 generates a transmission queue in the volatile storage unit 21, and enqueues and stores the packet input from the packet generation unit 27 in this transmission queue. Further, the queue processing unit 28 discards packets as necessary while performing bandwidth control, dequeues the output target packet from the transmission queue, and outputs the packet to the packet transmission unit 29. The packet transmission unit 29 transmits the packet input from the queue processing unit 28 to the packet communication network 3 through the output port 24.

図４はパケットの構成を表した図である。パケット３０はＩＰ（Internet Protocol）パケットの一例である。各々のパケット３０はヘッダ部とデータ部とからなる。データ部はパケット化されたデータの内容そのものに相当するものであり、ヘッダ部はパケット３０を宛先に送信するために必要な情報などに相当する。ヘッダ部は、ＩＰヘッダと、ＴＣＰ若しくはＵＤＰヘッダとから構成される。データ部は、Ｔｙｐｅ、Ｐｒｉｏｒｉｔｙ、ＳＥＱ（Sequence Number）、ＶｉｄｅｏＤａｔａ等の複数の項目から構成される。Ｔｙｐｅは、このパケット３０が映像データであるのか、若しくは制御メッセージであるのか、といったパケット３０におけるデータの種別を表す数値が記述される。Ｐｒｉｏｒｉｔｙは、前述した各パケットに割り当てられる優先度を示すものである。例えば３階層を例にとると、基本階層データＬ０のパケットのＰｒｉｏｒｉｔｙには、最も高い優先度が記述され、第１階層データＬ１のパケットのＰｒｉｏｒｉｔｙには、中位の優先度が記述され、第２階層データＬ２のパケットのＰｒｉｏｒｉｔｙには、最も低い優先度が記述されるといった具合である。ＳＥＱは、順序だてて一意にパケット３０を識別するためにシーケンシャルに振られた番号である。ＶｉｄｅｏＤａｔａは、映像データそのものである。 FIG. 4 is a diagram showing a packet configuration. The packet 30 is an example of an IP (Internet Protocol) packet. Each packet 30 includes a header portion and a data portion. The data portion corresponds to the content of the packetized data itself, and the header portion corresponds to information necessary for transmitting the packet 30 to the destination. The header part is composed of an IP header and a TCP or UDP header. The data part is composed of a plurality of items such as Type, Priority, SEQ (Sequence Number), and Video Data. In Type, a numerical value indicating the type of data in the packet 30 such as whether the packet 30 is video data or a control message is described. Priority indicates the priority assigned to each packet described above. For example, taking 3 layers as an example, the highest priority is described in the priority of the packet of the basic layer data L0, the medium priority is described in the Priority of the packet of the first layer data L1. The priority of the lowest priority is described in the priority of the packet of the second layer data L2. SEQ is a sequential number assigned to uniquely identify the packet 30 in order. Video Data is video data itself.

図５は、キュー処理部２８の構成を表した図である。キュー処理部２８は、１つの送信キュー２８１と、送信キュー２８１のパケット送出側（デキュー側）に論理的に設けられた帯域制御部２８２とで構成される。送信キュー２８１は、揮発性記憶部２１に記憶される。送信キュー２８１は、データを先入れ先出しのリスト構造で保持するものであり、キュー処理部２８に入力されるパケット３０を入力順にエンキューし、そのエンキューされた順番が古いものから順にデキューする。図において、各々のパケット３０に付された数字は、各パケット３０のＰｒｉｏｒｉｔｙに記述された優先度を表している。図５の例では、パケット３０に付された数字が小さい程優先度が高く、数字が大きい程優先度が低いことを表している。 FIG. 5 is a diagram showing the configuration of the queue processing unit 28. The queue processing unit 28 includes one transmission queue 281 and a bandwidth control unit 282 logically provided on the packet transmission side (dequeue side) of the transmission queue 281. The transmission queue 281 is stored in the volatile storage unit 21. The transmission queue 281 holds data in a first-in first-out list structure. The transmission queue 281 enqueues the packets 30 input to the queue processing unit 28 in the order of input, and dequeues the packets in order from the oldest. In the figure, the number given to each packet 30 represents the priority described in the Priority of each packet 30. In the example of FIG. 5, the smaller the number attached to the packet 30, the higher the priority, and the larger the number, the lower the priority.

帯域制御部２８２は、パケット通信網３における可用帯域を過不足なく使い切るように、パケット送信に関する帯域制御を行う。すなわち帯域制御部２８２は、伝送経路であるパケット通信網３における可用帯域を通信開始当初に計測し、この計測結果に合わせて設定した帯域で、送信キュー２８１から各パケット３０をデキューして順番にパケット送信部２９に出力していく。この通信開始当初に設定されたパケット送出における帯域は、以後映像送信装置２の電源が再投入されるまで維持される。ここで、可用帯域とは、データの伝送経路において利用可能な帯域のことである。また、本実施形態では、「帯域」という用語を、単位時間あたりの通信速度という意味で用いるものとし、その単位は例えばbps：bit/secondである。このように、送信キュー２８１におけるデキュー側の帯域は帯域制御部２８２によって制御される。また、「エンキュー」という言葉は、通常、キューにデータを格納することを意味するが、便宜上以降の説明においては、これからエンキューされるパケットに対して「エンキュー」という言葉を用い、既にキューにエンキューされたパケットについては「格納」という言葉を用いることとする。 The bandwidth control unit 282 performs bandwidth control related to packet transmission so that the available bandwidth in the packet communication network 3 is used up and down. That is, the bandwidth control unit 282 measures the available bandwidth in the packet communication network 3 that is a transmission path at the beginning of communication, and dequeues each packet 30 from the transmission queue 281 with the bandwidth set according to the measurement result in order. The data is output to the packet transmitter 29. The bandwidth for packet transmission set at the beginning of communication is maintained until the video transmission apparatus 2 is turned on again. Here, the usable bandwidth is a bandwidth that can be used in a data transmission path. In this embodiment, the term “bandwidth” is used to mean a communication speed per unit time, and the unit is, for example, bps: bit / second. As described above, the bandwidth on the dequeue side in the transmission queue 281 is controlled by the bandwidth control unit 282. In addition, the term “enqueue” usually means storing data in the queue. However, for convenience, in the following description, the term “enqueue” is used for a packet to be enqueued, and the queue is already enqueued. The word “store” is used for the received packet.

一方、エンキュー側に注目すると、可用帯域を越える帯域でパケット３０がエンキューされると、エンキューに対してデキューが追いつかない状態となり、送信キュー２８１にパケット３０が溜まっていきキュー長が次第に長くなってしまう。送信キュー２８１には、格納可能なパケットの上限値が予め定められている（以下、この上限値をキュー長制限という）。キュー処理部２８は、送信キューに格納されているパケットの数（キュー長）を常時監視しており、キュー長制限を越えてパケット３０が送信キュー２８１にエンキューされた際には、パケット３０の廃棄を行う。 On the other hand, paying attention to the enqueue side, when the packet 30 is enqueued in a bandwidth exceeding the usable bandwidth, the dequeue cannot catch up with the enqueue, and the packet 30 accumulates in the transmission queue 281 and the queue length gradually increases. End up. In the transmission queue 281, an upper limit value of packets that can be stored is determined in advance (hereinafter, this upper limit value is referred to as a queue length limit). The queue processing unit 28 constantly monitors the number of packets (queue length) stored in the transmission queue, and when the packet 30 is enqueued in the transmission queue 281 exceeding the queue length limit, Discard.

図６（Ａ）〜図６（Ｄ）は送信キュー２８１がキュー長制限に達している際にエンキューが行われた状態を表しており、これらの図を用いて、キュー処理部２８におけるパケット廃棄の内容を説明する。キュー処理部２８は、エンキューが行われた際にキュー長制限に達している場合、パケット３０の優先度を判別し、最も優先度が低いうちエンキューの順番が最も古いパケット３０を廃棄する。ここで、廃棄の判別対象となるパケットは、キュー長制限に達している状態でエンキューされようとしているパケットと、そのときに送信キューに格納されているパケットの全てである。図６（Ａ）〜図６（Ｄ）において、最も優先度が低いパケットのうち、パケット３０の送出口である帯域制御部２８２により近い位置に表記されたパケットが、廃棄の対象となる。例えば図６（Ａ）においては、送信キュー２８１に格納された優先度「４」のパケット３０が最も優先度が低いうちエンキューの順番が最も古いパケットであるため、キュー処理部２８はこのパケット３０を廃棄する。図６（Ｂ）においては、エンキューされる優先度「５」のパケット３０が最も優先度が低いうちエンキューの番が最も古いパケットであるため、キュー処理部２８はこのパケット３０を廃棄する。以上の図６（Ａ）および図６（Ｂ）におけるパケット廃棄の処理が、キュー処理部２８が行う廃棄制御の基本動作である。なお、図６（Ａ）〜図６（Ｄ）では、階層符号化の階層数として５を想定しているから、１〜５の優先度がパケットに割り当てられている。 6A to 6D show a state where enqueue is performed when the transmission queue 281 has reached the queue length limit. With reference to these drawings, packet discarding in the queue processing unit 28 is performed. Will be explained. When the queue length limit is reached when enqueue is performed, the queue processing unit 28 determines the priority of the packet 30, and discards the packet 30 with the oldest enqueue order that has the lowest priority. Here, the packets to be discarded are all packets that are about to be enqueued in a state where the queue length limit has been reached and all the packets that are stored in the transmission queue at that time. In FIG. 6A to FIG. 6D, among the packets with the lowest priority, the packet indicated at a position closer to the bandwidth control unit 282 that is the sending / receiving port of the packet 30 is a target of discard. For example, in FIG. 6A, since the packet 30 with the priority “4” stored in the transmission queue 281 has the lowest priority and is the oldest packet in the enqueue order, the queue processing unit 28 uses the packet 30. Discard. In FIG. 6B, since the enqueued packet 30 with the priority “5” has the lowest priority, the queue processing unit 28 discards the packet 30. The packet discarding process in FIGS. 6A and 6B is the basic operation of the discard control performed by the queue processing unit 28. In FIGS. 6A to 6D, 5 is assumed as the number of hierarchies for hierarchical coding, and therefore, priority levels 1 to 5 are assigned to the packets.

図６（Ｃ）は、最も優先度が低いパケット３０のうちエンキューの順番が最も古いもの（第１のパケット）と、そのパケット３０にエンキューの順番がキュー内で隣接する同じ優先度のパケット３０（第２のパケット）とが存在した場合の廃棄の例を示している。この場合、キュー処理部２８は、最も優先度が低いパケットのうち最も古いものに加えて、この隣接するパケット３０も廃棄する。すなわち、図６（Ｃ）において、最も優先度が低いパケットのうち最も古いものである優先度「４」のパケットと、それに隣接する同じく優先度「４」のパケットとが、キュー処理部２８によって廃棄される。優先度は、前述したように階層符号化された映像データのパケットが属する階層に応じて付加されたものであるから、同じ優先度のパケットが時間的に連続してエンキューされた場合、これらのパケットは、同階層における１単位の映像データから複数に分割されたパケットである可能性が高い。つまり、特定のパケット３０を廃棄した際に、隣接する同じ優先度のパケット３０だけを送出してもデータとして意味をなさず受信側で利用できない可能性がある。図６（Ｃ）の廃棄制御はこのような考え方に基づいたものであり、同じ優先度のパケット３０が時間的に連続してエンキューされた場合、映像として意味のある一塊のパケット群とみなし、廃棄を行う際にはこれら全てを廃棄対象とするものである。 FIG. 6C shows the packet 30 with the lowest priority, the packet with the oldest enqueue order (first packet), and the packet 30 with the same priority adjacent to the packet 30 in the queue. An example of discarding when (second packet) exists is shown. In this case, the queue processing unit 28 discards the adjacent packet 30 in addition to the oldest packet among the lowest priority packets. That is, in FIG. 6C, the queue processing unit 28 causes a packet with the priority “4”, which is the oldest among the packets with the lowest priority, and a packet with the same priority “4” adjacent thereto to be queued. Discarded. As described above, since the priority is added according to the layer to which the packet of the hierarchically encoded video data belongs, when packets of the same priority are enqueued continuously in time, these priorities are added. There is a high possibility that the packet is a packet divided into a plurality of pieces of video data of one unit in the same hierarchy. That is, when a specific packet 30 is discarded, there is a possibility that even if only the adjacent packet 30 having the same priority is transmitted, it does not make sense as data and cannot be used on the receiving side. The discard control in FIG. 6C is based on such a concept, and when packets 30 having the same priority are enqueued continuously in time, they are regarded as a group of packets that are meaningful as video. All of these are to be discarded when discarded.

図６（Ｄ）は、最も優先度が低いパケット３０全てをキュー処理部２８が廃棄する例を示している。すなわち、図６（Ｄ）において、最も低い優先度「４」のパケット３０全てをキュー処理部２８は廃棄する。図６（Ｄ）における廃棄制御は、デキューに対してエンキューのスピードが早い若しくはデキューのスピードが遅い状態が発生した際、これに対して遅延の抑制を最優先したい場合に有効である。 FIG. 6D shows an example in which the queue processing unit 28 discards all the packets 30 having the lowest priority. That is, in FIG. 6D, the queue processing unit 28 discards all the packets 30 having the lowest priority “4”. The discard control in FIG. 6 (D) is effective when it is desired to give priority to the suppression of delay when the enqueue speed is high or the dequeue speed is low.

上記のように、図６（Ａ）および図６（Ｂ）の内容に従うパケット廃棄制御のほか、図６（Ｃ）の内容に従うパケット廃棄制御や、図６（Ｄ）の内容に従うパケット廃棄制御がある。キュー処理部２８は、図６（Ａ）および図６（Ｂ）のパケット廃棄制御を基本として、図６（Ｃ）および図６（Ｄ）の廃棄制御のいずれか若しくは双方を組み合わせて行ってもよい。また、映像送信装置２にユーザ操作により設定を行う設定部を設けて、図６（Ａ）〜図６（Ｄ）の廃棄制御の中から任意のものをユーザに選択させてもよい。 As described above, in addition to packet discard control according to the contents of FIGS. 6 (A) and 6 (B), packet discard control according to the contents of FIG. 6 (C) and packet discard control according to the contents of FIG. 6 (D) are performed. is there. The queue processing unit 28 may perform either or both of the discard controls in FIGS. 6C and 6D based on the packet discard control in FIGS. 6A and 6B. Good. In addition, the video transmission device 2 may be provided with a setting unit that performs settings by a user operation so that the user can select any one of the discard controls shown in FIGS. 6 (A) to 6 (D).

図７は、キュー処理部２８における処理フロー図である。帯域制御部２８２は、パケット通信網３における可用帯域に応じて送信キューからパケットを読み出して送信するときの帯域を決定する（ステップＳ１）。キュー処理部２８がパケットを受け取っていない期間は（ステップＳ２；ＮＯ）、ステップＳ１で決定された帯域に従って送信キューからパケットを読み出してパケット送信部２９に送出し（ステップＳ６）、ステップＳ２の処理に戻る。キュー処理部２８がパケットを受け取ると（ステップＳ２；ＹＥＳ）、キュー処理部２８は、キュー長制限にキュー長が達しているかどうかの判定を行う（ステップＳ３）。キュー長がキュー長制限に達していない場合（ステップＳ３；ＮＯ）、キュー処理部２８は、送信キュー２８１にパケットをエンキューする（ステップＳ４）。キュー長がキュー長制限に達している場合（ステップＳ３；ＹＥＳ）、キュー処理部２８は図６（Ａ）〜図６（Ｄ）で説明した廃棄制御に従ってパケットの廃棄を行う（ステップＳ５）。その後、キュー処理部２８は、ステップＳ６の処理に従ってパケットを送出し、ステップＳ２の処理に戻る。 FIG. 7 is a processing flowchart in the queue processing unit 28. The bandwidth control unit 282 determines a bandwidth for reading and transmitting a packet from the transmission queue according to the available bandwidth in the packet communication network 3 (step S1). During a period in which the queue processing unit 28 has not received a packet (step S2; NO), the packet is read from the transmission queue according to the bandwidth determined in step S1 and sent to the packet transmission unit 29 (step S6). Return to. When the queue processing unit 28 receives the packet (step S2; YES), the queue processing unit 28 determines whether or not the queue length has reached the queue length limit (step S3). If the queue length has not reached the queue length limit (step S3; NO), the queue processing unit 28 enqueues the packet in the transmission queue 281 (step S4). When the queue length has reached the queue length limit (step S3; YES), the queue processing unit 28 discards the packet according to the discard control described with reference to FIGS. 6A to 6D (step S5). Thereafter, the queue processing unit 28 transmits a packet according to the process of step S6, and returns to the process of step S2.

このように、本実施形態によれば、階層符号化された映像データの階層に応じてパケットに付加された優先度を用いて廃棄制御を行うため、映像送信装置２が、パケットの廃棄制御のために、映像データのフォーマットを解釈する機能を実装する必要がなく、より簡素な構成で低コストな映像送信装置２を製造することが可能となる。また、送信キュー２８１の内外を問わず、つまり、送信キュー２８１に格納されているパケットであるか格納されていないパケットであるかを問わず、最も優先度が低いパケットを廃棄対象とするため、優先度の高いパケットの廃棄率を抑えること、すなわち映像の品質に影響が高いパケットの廃棄率を抑えることが可能となり、優先度をなんら考慮せずにパケットを廃棄する場合と比べて、映像表示装置６で再生される映像の品質低下を抑制することができる。また、映像表示装置６において映像をストリーミング再生する際には、通常、リアルタイム性が最優先される。そのため前述したように、映像受信装置５が、廃棄されて間が抜けたパケットに基づく部分はスキップして、映像受信装置５に入力される順番がより新しいパケットにタイミングを合わせて映像信号或いは映像データを復元する事で、再生における遅延を抑制するようになっている。従って、本実施形態のように、最も優先度が低いパケットのうちエンキューの順番が最も古いものを廃棄対象とすることで、エンキューされる順番がより新しいパケット、すなわち映像受信装置５に入力される順番がより新しいパケットに基づく部分の映像信号或いは映像データがより早く映像表示装置６に届くこととなり、パケットが送信されてからそのパケットに応じた映像が再生されるまでの遅延を抑制する事が可能となる。さらに、送信キュー２８１のキュー長制限にキュー長が達したタイミングで廃棄制御を行うため、そのキュー長制限に達するまでは、伝送経路の可用帯域を有効に活用することが可能となる。さらに単一の送信キュー２８１を用いているため、複数の送信キューを用いた場合に懸念されるパケットの送信順序の入れ替わりを心配する必要もない。 As described above, according to the present embodiment, since the discard control is performed using the priority added to the packet in accordance with the hierarchy of the hierarchically encoded video data, the video transmission apparatus 2 performs the packet discard control. Therefore, it is not necessary to implement a function for interpreting the format of the video data, and it is possible to manufacture the low-cost video transmission device 2 with a simpler configuration. In addition, regardless of whether inside or outside the transmission queue 281, that is, whether it is a packet stored in the transmission queue 281 or a packet not stored, the packet with the lowest priority is to be discarded, It is possible to reduce the discard rate of packets with high priority, that is, to reduce the discard rate of packets that have a high effect on video quality, and to display video compared to discarding packets without considering priority. It is possible to suppress the deterioration of the quality of the video reproduced by the device 6. Further, when streaming video on the video display device 6, the real-time property is usually given the highest priority. For this reason, as described above, the video receiving device 5 skips the portion based on the packet that has been discarded and skipped, and the video signal or video is synchronized with the newer packet in the order of input to the video receiving device 5. By restoring the data, delay in playback is suppressed. Accordingly, as in this embodiment, among the packets with the lowest priority, the packet with the oldest enqueue order is discarded, and the packet with the newest queue is input to the video receiving device 5. The video signal or video data of the part based on the newer packet arrives at the video display device 6 earlier, and the delay from when the packet is transmitted until the video corresponding to the packet is reproduced can be suppressed. It becomes possible. Further, because discard control is performed at the timing when the queue length reaches the queue length limit of the transmission queue 281, the available bandwidth of the transmission path can be effectively used until the queue length limit is reached. Furthermore, since the single transmission queue 281 is used, there is no need to worry about the change in the transmission order of packets, which is a concern when a plurality of transmission queues are used.

（２）変形例
上記の実施形態を次のように変形してもよい。また、以下の変形例は適宜組み合わせて実施することも可能である。
（２−１）変形例１
実施形態において、帯域制御部２８２は、通信開始当初に設定した帯域を通信終了まで維持してパケット送信を行っていたが、これを次のようにしてもよい。すなわち、帯域制御部２８２が、伝送経路の可用帯域の計測を定期的に行い、変動する可用帯域に応じて、送信キューからのパケット送信の帯域を動的に制御するようにしてもよい。図８は変形例１のキュー処理部２８における処理フロー図である。帯域制御部２８２は伝送経路であるパケット通信網３の可用帯域を計測する（ステップＳ１Ａ）。帯域制御部２８２は、計測した可用帯域に合わせたレートでパケットを送出するように、送信キューからのパケット送信の帯域を変更する（ステップＳ１Ｂ）。キュー処理部２８がパケットを受け取っていない場合（ステップＳ２；ＮＯ）、ステップＳ６の処理に進む。キュー処理部２８がパケットを受け取ると（ステップＳ２；ＹＥＳ）、図７と同様のフローに従って処理が行われる。以降の処理は図７と同様であるため説明を省略する。このようにすれば、パケット通信網３が帯域変動の大きなモバイル回線等の場合に、変動する可用帯域に合わせて、送信キューからのパケット送信の帯域の変更が動的に行われながらパケットが送出されることになるから、可用帯域に応じた品質の映像データを伝送することが可能となる。 (2) Modification The above embodiment may be modified as follows. Further, the following modifications can be implemented in combination as appropriate.
(2-1) Modification 1
In the embodiment, the bandwidth control unit 282 performs packet transmission while maintaining the bandwidth set at the beginning of communication until the end of communication, but this may be performed as follows. In other words, the bandwidth control unit 282 may periodically measure the available bandwidth of the transmission path and dynamically control the bandwidth of packet transmission from the transmission queue according to the varying available bandwidth. FIG. 8 is a processing flowchart in the queue processing unit 28 of the first modification. The bandwidth control unit 282 measures the available bandwidth of the packet communication network 3 that is a transmission path (step S1A). The bandwidth control unit 282 changes the bandwidth of packet transmission from the transmission queue so that packets are transmitted at a rate that matches the measured available bandwidth (step S1B). If the queue processing unit 28 has not received a packet (step S2; NO), the process proceeds to step S6. When the queue processing unit 28 receives the packet (step S2; YES), the processing is performed according to the same flow as in FIG. The subsequent processing is the same as that in FIG. In this way, when the packet communication network 3 is a mobile line or the like having a large band fluctuation, the packet is transmitted while the packet transmission band is dynamically changed from the transmission queue in accordance with the fluctuating usable band. Therefore, it becomes possible to transmit video data having a quality corresponding to the available bandwidth.

（２−２）変形例２
変形例１に更に加えて、帯域制御部２８２が行う帯域制御に応じて送信キュー２８１のキュー長制限を動的に変更するようにしてもよい。すなわち、帯域制御部２８２が計測を行った結果、パケット送出帯域をより大きく設定した場合、これに合わせてキュー処理部２８がキュー長制限を長くし、帯域制御部２８２が計測を行った結果、パケット送出帯域をより小さく設定した場合、これに合わせてキュー処理部２８がキュー長制限を短くする。キュー処理部２８は、帯域制御部２８２が計測の結果に基づいてパケット送出帯域の設定について変更を行う都度、上述のキュー長制限の調整を行う。キュー処理部２８がキュー長制限を短くする際に、既にエンキューされていたパケットのうち、より新しくエンキューされたパケットが、短くなったキュー長制限により送信キュー２８１に格納できなくなる場合がある。ここで、短くなったキュー長制限により送信キュー２８１に格納できなくなるパケットのことを、キュー長制限からあふれるパケットと呼ぶ。この場合、キュー処理部２８は、送信キュー２８１に格納されているパケットと、エンキューされる対象となるパケットと、送信キュー２８１のキュー長制限からあふれるパケットとを対象として、図６（Ａ）〜図６（Ｄ）で説明した廃棄制御のうちいずれかに従ってパケットの廃棄を行う。この場合、廃棄するパケットの数は、送信キュー２８１のキュー長制限からあふれたパケットの数以上である。 (2-2) Modification 2
In addition to the first modification, the queue length limit of the transmission queue 281 may be dynamically changed according to the bandwidth control performed by the bandwidth controller 282. That is, as a result of measurement by the bandwidth control unit 282, when the packet transmission bandwidth is set larger, the queue processing unit 28 lengthens the queue length limit accordingly, and the bandwidth control unit 282 performs measurement, When the packet transmission bandwidth is set smaller, the queue processing unit 28 shortens the queue length limit accordingly. The queue processing unit 28 adjusts the queue length limitation described above every time the bandwidth control unit 282 changes the setting of the packet transmission bandwidth based on the measurement result. When the queue processing unit 28 shortens the queue length limit, among the packets that have already been enqueued, a newly enqueued packet may not be stored in the transmission queue 281 due to the shortened queue length limit. Here, a packet that cannot be stored in the transmission queue 281 due to the shortened queue length limit is called a packet overflowing from the queue length limit. In this case, the queue processing unit 28 targets the packet stored in the transmission queue 281, the packet to be enqueued, and the packet overflowing from the queue length limit of the transmission queue 281, as shown in FIGS. The packet is discarded according to any one of the discard controls described with reference to FIG. In this case, the number of packets to be discarded is equal to or greater than the number of packets overflowing from the queue length limit of the transmission queue 281.

図９は変形例２のキュー処理部２８における処理フロー図である。ステップＳ１ＡとステップＳ１Ｂの処理は図８と同様である。帯域制御部２８２が設定帯域の変更を行った後、キュー処理部２８は設定帯域に応じてキュー長制限の調整を行う（ステップＳ１Ｃ）。この際、キュー長制限が短くなることにより送信キュー２８１からあふれるパケットが発生した場合、キュー処理部２８は図６（Ａ）〜図６（Ｄ）で説明した廃棄制御のうちいずれかに従ってパケットの廃棄を行う。以降の処理は図８と同様であるため説明を省略する。上述の方式を採用する利点を説明すると、以下の通りである。映像データがパケット化されて送信される際に、パケットの個数と映像の再生時間とは必ずしも比例するものではない。例えばＭＰＥＧ（Moving Picture Experts Group）系の映像フォーマットにおいては、特定のフレームにおいて極端にビットレートが高まる、すなわちパケットの個数が増える可能性があり、これらのパケット全てをエンキューすると、後続フレームに基づくパケットがデキューされるまでに一定の時間を要してしまう。つまりこの場合、受信端末側での映像の再生において遅延が発生する可能性がある。さらに、帯域変動が大きな伝送経路において可用帯域が小さい方向に変動した場合には、パケットがデキューされるスピードが遅くなるため、この遅延量はより増加する傾向にある。従ってこのような場合には、可用帯域が小さくなる、すなわちデキューのスピードが遅くなることに合わせて、キュー長制限を動的に短くする事で、エンキューの順番がより古いパケットの廃棄が行われて、より新しいパケットがより早く送信されることとなるため、遅延を抑制する事が可能となる。この際、キュー長制限が変更され得る幅は、映像送信装置２の内部において許容可能な最大伝送遅延に応じたものとなる。 FIG. 9 is a processing flowchart in the queue processing unit 28 of the second modification. Steps S1A and S1B are the same as those in FIG. After the bandwidth controller 282 changes the set bandwidth, the queue processor 28 adjusts the queue length limit according to the set bandwidth (step S1C). At this time, when a packet overflowing from the transmission queue 281 occurs due to the queue length limit being shortened, the queue processing unit 28 determines whether the packet is transmitted according to any of the discard controls described with reference to FIGS. 6 (A) to 6 (D). Discard. Subsequent processing is the same as that shown in FIG. The advantages of adopting the above-described method are as follows. When video data is packetized and transmitted, the number of packets and the video playback time are not necessarily proportional. For example, in the MPEG (Moving Picture Experts Group) video format, there is a possibility that the bit rate will be extremely increased in a specific frame, that is, the number of packets may be increased. It takes a certain amount of time to be dequeued. That is, in this case, there is a possibility that a delay occurs in the reproduction of the video on the receiving terminal side. Furthermore, when the available bandwidth fluctuates in a direction where the bandwidth fluctuation is large, the speed at which the packet is dequeued becomes slow, so this delay amount tends to increase. Therefore, in such a case, packets that are older in the enqueue order are discarded by dynamically shortening the queue length limit in accordance with the decrease in available bandwidth, that is, the dequeuing speed decreases. Thus, since a newer packet is transmitted earlier, the delay can be suppressed. At this time, the width in which the queue length limit can be changed corresponds to the maximum transmission delay allowable in the video transmission device 2.

（２−３）変形例３
パケットの廃棄処理やパケット通信網３でのパケットロスにより、中継装置４或いは映像受信装置５から映像送信装置２にパケットの再送要求が送信された場合、映像送信装置２におけるキュー処理部２８は、この要求に応えて、該当するパケットをパケット送信部２９から再送させる再送制御を行う。この際、再送するパケットについても、キュー処理部２８が通常のパケットと同様の廃棄制御の対象とし、前述したような廃棄の条件を満たす場合にはこれを廃棄するようにしてもよい。このようにすれば、キュー処理部２８が行うパケットの再送制御においても優先度の高いパケットの到達率を高めることが可能となる。 (2-3) Modification 3
When a packet retransmission request is transmitted from the relay device 4 or the video reception device 5 to the video transmission device 2 due to packet discard processing or packet loss in the packet communication network 3, the queue processing unit 28 in the video transmission device 2 In response to this request, retransmission control is performed to retransmit the corresponding packet from the packet transmission unit 29. At this time, for the packet to be retransmitted, the queue processing unit 28 may be subject to the same discard control as that for a normal packet, and may be discarded if the discard condition described above is satisfied. This makes it possible to increase the arrival rate of packets with high priority even in packet retransmission control performed by the queue processing unit 28.

（２−４）変形例４
実施形態においては映像送信装置２を映像エンコーダ機能とルータ機能をあわせもつ送信装置としていたが、図３における映像情報入力部２５、階層符号化部２６およびパケット生成部２７の機能を持った映像エンコーダと、キュー処理部２８およびパケット送信部２９の機能を持つルータとを別々に分けて本発明におけるシステムを構成してもよい。この場合、映像エンコーダとルータとは有線或いは無線によって通信が行われる。このようにすれば、実施形態と同様の効果を奏することが可能となる。 (2-4) Modification 4
In the embodiment, the video transmission device 2 is a transmission device having both the video encoder function and the router function. However, the video encoder having the functions of the video information input unit 25, the hierarchical encoding unit 26, and the packet generation unit 27 in FIG. And the router having the functions of the queue processing unit 28 and the packet transmission unit 29 may be separately provided to constitute the system according to the present invention. In this case, the video encoder and the router communicate with each other by wire or wireless. If it does in this way, it will become possible to show the same effect as an embodiment.

（２−５）変形例５
実施形態においては、パケット３０のデータ部にＰｒｉｏｒｉｔｙという領域を確保し、これに優先度を記述するようにしていたが、優先度のラベル付けはこれに限ったものではない。すなわち、データ部に記述するのではなく、パケット３０のヘッダ部におけるＴＯＳ（Type Of Service）に、パケット３０に割り当てた優先度を記述するようにしてもよい。この場合、以降の処理においてはデータ部に記述された優先度ではなく、ＴＯＳに記述された優先度が用いられる。
また、上記実施形態では、階層符号化された映像データにおける各々の階層別に優先度を定義していたが、パケットに割り当てる優先度は、映像データに基づいて映像を再生するときの当該映像の品質に応じたものであればよい。つまり、階層符号化されていない映像において高い映像品質に関するパケットには高い優先度を割り当て、低い映像品質に関するパケットには低い優先度を割り当ててもよい。 (2-5) Modification 5
In the embodiment, an area called Priority is secured in the data portion of the packet 30 and priority is described therein. However, labeling of priority is not limited to this. In other words, the priority assigned to the packet 30 may be described in a TOS (Type Of Service) in the header portion of the packet 30 instead of describing it in the data portion. In this case, in the subsequent processing, the priority described in the TOS is used instead of the priority described in the data part.
In the above embodiment, the priority is defined for each layer in the hierarchically encoded video data. However, the priority assigned to the packet is the quality of the video when the video is reproduced based on the video data. As long as it meets the requirements. That is, in a video that is not hierarchically encoded, a high priority may be assigned to a packet related to high video quality, and a low priority may be assigned to a packet related to low video quality.

１…映像出力装置、２…映像送信装置、３…パケット通信網、４…中継装置、５…映像受信装置、６…映像表示装置、２０…ＣＰＵ、２１…揮発性記憶部、２２…不揮発性記憶部、２３…入力ポート、２４…出力ポート、２５…映像情報入力部、２６…階層符号化部、２７…パケット生成部、２８…キュー処理部、２９…パケット送信部、３０…パケット、２８１…送信キュー、２８２…帯域制御部 DESCRIPTION OF SYMBOLS 1 ... Video output device, 2 ... Video transmission device, 3 ... Packet communication network, 4 ... Relay device, 5 ... Video reception device, 6 ... Video display device, 20 ... CPU, 21 ... Volatile memory | storage part, 22 ... Non-volatile Storage unit, 23 ... input port, 24 ... output port, 25 ... video information input unit, 26 ... hierarchical encoding unit, 27 ... packet generation unit, 28 ... queue processing unit, 29 ... packet transmission unit, 30 ... packet, 281 ... Transmission queue, 282 ... Band control unit

Claims

Storage means for storing a queue for sequentially enqueuing and storing packets of video data, each of which is assigned a priority according to the quality of the video when the video is reproduced based on the video data ,
Transmitting means for transmitting the packets stored in the queue in order from the oldest in the order of enqueue to the queue;
When the number of packets stored in the queue reaches the upper limit value of the packets stored in the queue when packets are enqueued in the queue, the packets stored in the queue and Among the packets to be enqueued, among the packets to which the lowest priority is assigned , in addition to the first packet that is the packet having the oldest enqueue order , the same priority as the first packet is given. A video transmission apparatus comprising: a discarding unit that discards a second packet that is adjacent to the first packet and enqueue in the queue among the assigned packets .

Measuring means packets transmitted by pre Symbol transmission means to measure the available bandwidth of the transmission path to be transmitted,
Claim 1, characterized in that said transmitting means and a band control means for the band, is controlled in accordance with the available bandwidth of the transmission path measured by said measuring means when sending reads a packet from the queue video transmission apparatus according to.

A changing means for changing the upper limit of the packet stored prior Symbol queue, if the available bandwidth of the transmission path measured by said measuring means becomes large to increase the upper limit value, the transmission path When the available bandwidth becomes smaller, it comprises a changing means for reducing the upper limit value,
The discarding unit becomes a target of enqueue and a packet stored in the queue when a packet overflowing from the queue that cannot be stored in the queue occurs due to the change unit reducing the upper limit value. a packet, among the packets overflows from the queue, the same as the previous SL first packet and the first packet is the oldest packet order of enqueued in time of the lowest priority is assigned packet of priority assigned packet, claim 2, characterized in that the order of the first packet and the enqueue discards several more overflowing the second packet adjacent from the queue packets in the queue The video transmission device described in 1.

The discard unit is assigned the same priority as the first packet and the first packet when the first packet and the second packet do not exist more than the number of packets overflowing from the queue. Discard all packets
The video transmission apparatus according to claim 3.

When receiving the previously request to retransmit already transmitted packet by pre-Symbol transmitting means, comprising a retransmission control unit for retransmitting the packet,
The disposal means, the video transmission apparatus according to any one of claims 1 to 4 wherein the retransmission control unit is characterized in that a target of discarding also packet to be retransmitted.