WO2004077832A1 - 映像受信装置、映像送信装置および映像伝送システム - Google Patents

映像受信装置、映像送信装置および映像伝送システム Download PDF

Info

Publication number
WO2004077832A1
WO2004077832A1 PCT/JP2004/001989 JP2004001989W WO2004077832A1 WO 2004077832 A1 WO2004077832 A1 WO 2004077832A1 JP 2004001989 W JP2004001989 W JP 2004001989W WO 2004077832 A1 WO2004077832 A1 WO 2004077832A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
layer
band
receiving
bandwidth
Prior art date
Application number
PCT/JP2004/001989
Other languages
English (en)
French (fr)
Inventor
Yoshimasa Honda
Tsutomu Uenoyama
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/515,226 priority Critical patent/US20060168632A1/en
Publication of WO2004077832A1 publication Critical patent/WO2004077832A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Definitions

  • the present invention relates to a video transmission system for transmitting video through a network.
  • Video data that has been encoded and encoded once can not change the video quality even if the transmission band changes.
  • the band indicates a transmission bit rate.
  • MPEG-4 FGS Full Granularity Scalability
  • ISO / IEC 14496-2 Amendment 2: 2001 is a layer code having a high degree of freedom especially in band selection.
  • the video data encoded by MPEG-4 FGS is a moving picture stream for improving the moving picture quality of the basic layer, which is a moving picture stream that can be decoded alone, and one basic layer. Composed of at least one or more enhancement layers.
  • the basic layer is low-band, low-quality image data, and by adding the enhancement layer to this according to the band, high-quality image processing with high freedom is possible.
  • the total data size of the enhancement layer to be transmitted is It is possible to control and adapt to various bands, and it is possible to transmit a picture of quality according to the band.
  • any video coding method has a role of performing compression coding so that the input video can be transmitted in a predetermined band, and controlling the band of the video data to an appropriate value. Therefore, when the bandwidth of the video data is higher than the bandwidth of the transmission path, the video data can not be transmitted in real time, and the receiving terminal not only causes a delay in the video, but also the video data is lost in the network. The video stops (disruption occurs). Conversely, if the bandwidth of the video data is lower than the bandwidth of the transmission channel, no delay occurs but the video quality is extremely degraded. In particular, when real-time capability and high-quality video are required, such as TV telephone and live relay, it is necessary to match the bandwidth of the video data to the bandwidth of the transmission line.
  • the server generates a bit 1 generated in advance and a plurality of video streams of different rates in response to a bit rate change request from the receiving terminal.
  • One of them is selected for transmission (refer to, for example, Japanese Patent Application Laid-Open No. 10-36266, page 1, page 1).
  • FIG. 1 is a diagram showing an example of the configuration of a conventional video transmission system.
  • the server 10 transmitting the video stream 1 and the ream 10 receives the transfer rate change request from the client 20 receiving the video stream in the bit rate switching unit 11, and receives from the different bit rate video data storage unit 13 Select the video data of the corresponding video and send it to the client 20.
  • the client 20 receives the video data transmitted from the server 10 by the video data reception unit 21, outputs the data to the data buffer management unit 23, and receives the reception speed to the reproduction data management unit 25. Output.
  • the data buffer management unit 23 stores the video data input from the video data reception unit 21 in the overhead buffer, manages the storage status, and outputs the stagnant data status to the reproduction data management unit 25.
  • the video data is Read out from the buffer and output to the video decoding display unit 27.
  • the video decoding display unit 27 outputs a data read request to the data buffer management unit 23, and decodes and displays the video data input from the data buffer management unit 23.
  • the reproduction data management unit 25 judges the transfer bit rate change using the stagnant data state input from the data buffer management 23 and the reception speed input from the video data reception unit 21 and changes the change bit rate Output to request section 29.
  • the transfer bit rate change determination method in the reproduction data management unit 25 when the staying data exceeds the upper threshold value, the average value of the reception speeds up until immediately before is calculated to be a bit rate reduction request. If the stagnant data falls below the lower threshold, the average value of the reception rates up to the previous time is calculated and used as the bit rate up request.
  • the rate change request unit 29 transmits a bit rate change request to the server 10 using the bit rate input from the reproduction data management unit 25.
  • the server 10 selects and transmits suitable data from video data of different bit rates. By this, it is possible to receive the video without interruption at the receiving terminal.
  • An object of the present invention is to provide a network including a wireless network whose transmission band varies It is an object of the present invention to provide a video transmission system capable of realizing uninterrupted video transmission even in the case where the bandwidth greatly changes due to the movement of the receiving terminal in the work.
  • the video receiving device is a video receiving device for receiving hierarchically encoded data, and the transmitting means for transmitting the specific information of the video receiving device; and based on the transmitted specific information.
  • band receiving and receiving means for receiving hierarchically encoded data divided into a plurality of channels.
  • a video transmitting apparatus comprises: receiving means for receiving specific information of a video receiving apparatus; and control for controlling a band of hierarchically encoded data divided using the received specific information. And transmission means for transmitting the band control and the divided hierarchically encoded data in another channel.
  • a video transmission system is a video transmission system that divides hierarchically encoded data into a plurality of channels and transmits the data from another video transmission apparatus to a video reception apparatus through a network using different channels
  • the transmitting device comprises: receiving means for receiving the specific information of the video receiving device; and control means for controlling the bandwidth of the divided layer encoded data using the received specific information, and the video receiving device And transmitting means for transmitting the specific information.
  • Fig. 1 is a diagram showing an example of the configuration of a conventional video transmission system
  • FIG. 2 is a diagram showing a configuration of a video transmission system according to Embodiment 1 of the present invention
  • FIG. 3A is a diagram showing an example of a structure of coded data when using M PEG-4F G S coding.
  • FIG. 3B is a diagram showing an example of channel division results for the encoded data of FIG. 3A.
  • Fig. 4 is a diagram showing an example of a video list
  • FIG. 5 is a diagram for explaining the concept of Embodiment 1;
  • FIG. 6 is a flow chart showing the operation of the video transmission apparatus corresponding to the first embodiment,
  • FIG. 7 shows the operation of the image receiving apparatus corresponding to the first embodiment.
  • FIG. 8A is a sequence diagram showing exchange of main information when the terminal moves in the video transmission system according to the first embodiment.
  • FIG. 8B is a sequence diagram showing exchange of main information in a steady state in the video transmission system according to the first embodiment.
  • FIG. 9 is a block diagram showing an example of a video transmission system based on MP E G 4 F G S to which the first embodiment is applied.
  • FIG. 10 is a diagram showing the configuration of a video transmission system according to Embodiment 2 of the present invention
  • FIG. 11 is a diagram for explaining the concept of Embodiment 2.
  • Fig. 12 is a flowchart showing the operation of the video transmission apparatus corresponding to the second embodiment
  • FIG. 13 is a diagram showing the configuration of a video transmission system according to Embodiment 3 of the present invention
  • FIG. 14 is a diagram for explaining the concept of Embodiment 3.
  • FIG. 15 is a flow chart showing the operation of the video transmission apparatus corresponding to the third embodiment
  • Fig. 16 A is a diagram showing an example of the structure of coded data when using M P E G-4 F G S coding;
  • Figure 16 B shows an example of the result of channel division for the coded data of Figure 16 A in steady mode
  • Figure 16 C shows an example of the result of channel division for the encoded data of Figure 16 A in mobile mode
  • FIG. 17 is a diagram showing a configuration of a video transmission system according to Embodiment 4 of the present invention
  • FIG. 18 is a diagram for explaining the concept of Embodiment 4.
  • Fig. 19 A is a diagram showing an example of reception layer information
  • Fig. 19 B is a diagram showing another example of reception layer information
  • FIG. 20 is a flowchart showing an operation of the video transmission apparatus corresponding to the fourth embodiment
  • FIG. 21 is a flowchart showing an operation of the video receiving apparatus corresponding to the fourth embodiment.
  • the gist of the present invention is a system in which a hierarchically encoded video stream is transmitted to a plurality of terminals, when hierarchically encoded data is divided into a plurality of layers and transmitted on different channels (for example, information from the receiving terminal (eg, Dynamic control of hierarchical bandwidth by using handover, user request, etc.).
  • the band of the base layer is used.
  • a video transmission system including a radio and transmitting a layer coded video stream in an environment of large band fluctuation
  • a large band fluctuation is expected due to movement of a terminal, etc.
  • the band of the base layer is used.
  • FIG. 2 is a diagram showing a configuration of a video transmission system according to Embodiment 1 of the present invention.
  • This video transmission system comprises a video transmission device (hereinafter also referred to as “transmission terminal”) 100 for transmitting video, a video reception device (hereinafter also referred to as “reception terminal”) for reception of video, and video transmission And a network 180 for relaying the video transmitted from the device 100 to the video receiver 150. That is, the video transmitted from the video transmission device 100 is transmitted to the video reception device 150 through the network 180.
  • Video transmission device 100 is a video input unit 102, a video coding unit 104, a channel It has a loop division unit 106, a video transmission unit 108, a terminal information reception unit 110, and a band calculation unit 112.
  • the video input unit 102 outputs an image provided from the outside or generated by the device 100 to the video coding unit 104 for each frame.
  • the video coding unit 104 hierarchically codes the image output from the video input unit 102 as an input image, and outputs the obtained coded data to the channel division unit 106.
  • the video coding unit 104 comprises a basic layerer (B) for the input image and an enhancement layer (EL) for improving the image quality.
  • EL enhancement layer
  • Generate data for example, see Figure 3A.
  • the bandwidth of the base layer is given from the bandwidth calculation unit 112.
  • the image quality can be improved by adding the enhancement layer to the base layer.
  • the enhancement layer can be divided from lower layers, and the quality improvement can be controlled according to the amount of data of the enhancement layer added to the base layer.
  • the channel division unit 106 divides the encoded data output from the video coding unit 104 into a plurality of pieces, and outputs the divided data to the video transmission unit 100 together with the video list.
  • the division band of the enhancement layer is given from the band calculation unit 112.
  • FIG. 3B an example of the channel division result is as shown in FIG. 3B. Details of the process will be described later.
  • an example of the video list is, for example, as shown in FIG.
  • the video list shows channel numbers, layer names, and the bandwidth required to receive each layer. Note that the video list is not limited to the one shown in FIG. 4 and may be a band for each channel.
  • the video transmission unit 108 transmits the divided data and the video list output from the channel division unit 106 to the network 180 by separate channels.
  • the band and channel number of each layer are indicated. Multicast the selected video list.
  • the channel number is indicated by, for example, a multicast address.
  • multicast transmission is a scheme in which data is transmitted only to a terminal that selects reception for a channel on which data is transmitted from one transmitting terminal, and in the case where a plurality of receiving terminals perform reception. Also in the same transmission path, there is no duplication in the data to be transmitted, so it is a transmission method with good transmission efficiency.
  • the transmission method of the video stream is not limited to multicast transmission.
  • the terminal information receiving unit 110 receives the terminal information transmitted from the receiving terminal (video receiving apparatus 150), and outputs the terminal information to the band calculating unit 112.
  • the terminal information is information (terminal movement information) indicating that the receiving terminal is moving or starting moving.
  • the band calculation unit 112 calculates the band of the base layer and the division band of the enhancement layer using the terminal information output from the terminal information receiver 110, and the former (the band of the base layer) The latter (division band of the enhancement layer) is output to the channel division unit 106 to the coding unit 104.
  • band calculation section 112 reduces the band (bit rate) of the base layer to an extreme and sets it to an ultra-low bit rate (see FIG. 5). As a result, uninterrupted video reception becomes possible. At this time, the image quality is compensated by the enhancement layer. Details of the process will be described later.
  • the video receiving apparatus 150 has a terminal information transmitting unit 152, a video receiving unit 154, a video decoding unit 156, and a video display unit 158.
  • the terminal information transmission unit 1 52 determines that the terminal is moving or starts moving. When the terminal movement information is disconnected, the terminal movement information is transmitted to the video transmission device 100 and output to the video reception unit 1 5 4.
  • the video receiving unit 1 54 receives the video list transmitted from the video transmitting unit 100, selects a plurality of receivable video data in the video list, and receives the video data. Output to
  • the video reception unit 154 receives the video list transmitted from the video transmission device 100, compares the band indicated in the video list with the current reception band, and Determine a plurality of receivable channel numbers in order from the bottom.
  • the terminal movement information is input from the terminal information transmission unit 152, at least the channel of the base layer is received.
  • the unit 154 receives the video data of the determined channel number, outputs the received video data to the video decoding unit 156, and measures the current reception band from the amount of the received video data.
  • the video decoding unit 1 56 decodes the video data (coded data) output from the video reception unit 1 5 4 and outputs the video obtained by decoding to the video display unit 1 5 8 .
  • the video display unit 1 5 8 displays the video output from the video decoding unit 1 5 6 on the screen.
  • the video display unit 1 58 is configured of a display device.
  • the flowchart shown in FIG. 6 is stored as a control program in a storage device (for example, ROM, flash memory, etc., not shown) of the video transmission apparatus 100, and is executed by the CPU (not shown).
  • a storage device for example, ROM, flash memory, etc., not shown
  • step S 1 0 0 the image input unit 1 0 2 2 outputs an image forming the image to the image encoding unit 1 0 4 frame by frame.
  • step S 1 0 it is determined whether or not the terminal information receiving unit 1 1 0 has received terminal movement information from the receiving terminal (video receiving apparatus 1 5 0). This format If terminal movement information is not received as a result of disconnection (S1 100: NO), the process proceeds to step S1 200. If terminal movement information is received (S1 100: YES), step S1. Proceed to 300.
  • step S 1 200 the band calculation unit 1 12 performs stationary mode band calculation processing. Specifically, since the terminal movement information from the receiving terminal is not received, the band B 1 ⁇ BL of the base layer set in advance and the division band B 1 ⁇ EL (1) to B l_E of the enhancement layer are set. Using L (i) (i is the number of division layers set in advance), the band of the base layer is output to the video encoding unit 104, and the division band of the enhancement layer is output to the channel division unit 106. Then, go to step S1400.
  • the band calculation unit 112 performs mobile mode band calculation processing. Specifically, since the terminal movement information from the receiving terminal is received, the divided band B-BL of the base layer and the divided band B-EL (1) to B-EL (i) (i is previously set. The set number of division layers) is calculated, and the band of the base layer is output to the video encoding unit 104, and the division band of the enhancement layer is output to the channel division unit 106. Then, the process proceeds to step S1400.
  • the base layer band B— B L is, for example,
  • the value of N is set to a value that can ensure the minimum bandwidth that can be received without interruption even if the bandwidth changes significantly due to the movement of the terminal.
  • the division band of the enhancement layer is, for example, the same as in the stationary mode. To.
  • step S 1400 the video encoding unit 104 performs video encoding processing. Specifically, hierarchical coding is performed on the input video from the video input unit 102 to generate coded data composed of the base layer and the enhancement layer (see FIG. 3A), and the channel division unit 106 Output to At this time, the base layer performs coding in the band B-BL output from the band calculation unit 112.
  • channel division section 106 performs channel division processing. Specifically, the encoded data output from the video encoding unit 104 and the divided bands B-EL (1) to B-EL (i) of the enhancement layer output from the band calculation unit 112 The extension layer is divided into a plurality of channels, and the divided data including the basic layer is output to the video transmission unit 108 together with the video list (see FIG. 4).
  • the base layer is taken as one channel (BL), and the enhancement layer (EL) is divided by a predetermined data amount, and another channel is used. I assume.
  • bit rate of each channel should be set bit rate B-BL, B-EL (1), B-EL (2), B_EL (3)
  • the enhancement layer (EL) is divided into EL_1, EL_2, and EL_3 (see Figure 3 B). Naturally, the number of divisions is not limited to four.
  • step S1600 the video transmission unit 108 performs video transmission processing. Specifically, the divided data (one base layer and a plurality of divided enhancement layers, see FIG. 3B) output from the channel division unit 106 are multicast transmitted to the network 180 on the corresponding separate channels. At the same time, multicast the video list (see Fig. 4) showing the band and channel number of each printer.
  • the flowchart shown in FIG. 7 is stored as a control program in a storage device (for example, a ROM, a flash memory, etc.) (not shown) of the video reception device 150, and is executed by a CPU (not shown).
  • a storage device for example, a ROM, a flash memory, etc.
  • step S 2000 it is determined whether or not the own terminal is moving, more specifically, whether the own terminal is moving or whether to start moving. This determination is made, for example, using information such as the radio wave condition at the terminal and the handover state across the wireless access point. It is also possible for the user to specify the movement of the terminal. As a result of this determination, if the own terminal is moving (S 2000: Y E S), the process proceeds to step S 220. If the own terminal is not moving (S 2000: NO), the process immediately proceeds to step S 2200. .
  • step S2200 the terminal information transmission unit 125 performs terminal movement information transmission processing. Specifically, since the own terminal is moving, the terminal movement information is transmitted to the video transmission device 100 and output to the video reception unit 154. Then, go to step S2200.
  • step S2200 the video reception unit 154 performs video reception processing. Specifically, a video list transmitted from the video transmission apparatus 100 is received, the band indicated in the video list is compared with the current reception band, and a plurality of receivable can be received in order from the bottom of the channel number. Determine the channel number. However, as described above, when the terminal movement information is input from the terminal information transmission unit 152, at least the channel of the base layer is received. Then, the video data of the determined channel number is received, the received video data is output to the video decoding unit 156, and the current reception band is measured from the amount of the received video data.
  • step S2300 the video decoding unit 156 performs video decoding processing. Specifically, the video data (coded data) output from the video reception unit 154 is decoded, and the video obtained by decoding is output to the video display unit 1 5 8. Then, in step S 2400, the video display processing is performed by the video display unit 1558. Specifically, the video output from the video decoding unit 156 is displayed on the screen.
  • Fig. 8 A is the case of movement
  • Fig. 8 B is the case of steady state.
  • the receiving terminal 150 transmits terminal information (specifically, terminal moving information) to the transmitting terminal 100 via the network 180 ((1)).
  • terminal information specifically, terminal moving information
  • the transmitting terminal 100 calculates the band, specifically, the band (bit rate) of the base layer is extremely reduced to an extremely low bit rate.
  • the video list is sent to the receiving terminal 150 via the network cache 180 ((3)).
  • receiving terminal 150 When receiving terminal 150 receives the video list from transmitting terminal 100, receiving terminal 150 determines a receiving channel using the received video list ((4)).
  • transmitting terminal 100 performs video encoding and channel division for each frame of the input video, and transmits the divided encoded data to receiving terminal 150 through network 180 by separate channels. Do (5).
  • the receiving terminal 150 receives the encoded video data from the transmitting terminal 100 by the above reception channel, decodes it, and displays it on the screen ((6)).
  • the transmitting terminal 100 does not receive the terminal movement information from the receiving terminal 150, but calculates the bandwidth. Specifically, the bandwidth (bit rate) of the base layer is set to a predetermined bit rate in the steady state. After being set to (1), the video list is transmitted to the receiving terminal 150 through the network 180 (2). The subsequent processing is the same as in the case of movement shown in FIG. 8A, so the description thereof is omitted (however, the numbers in the figure are incremented by one). As described above, according to the present embodiment, when the receiving terminal 150 is moving, the bandwidth of the base layer of the layer coding data is reduced to the minimum, so that the moving receiving terminal at least only the base layer is By receiving, it is possible to receive uninterrupted video reception.
  • FIG. 9 is a block diagram showing an example of a video transmission system based on MP EG-4 FGS to which the present embodiment is applied.
  • the video server 100 transmits a video stream composed of a base layer and a plurality of (N) enhancement layers to the network and sends it to various terminals 150 a, 150 b, and 150 c.
  • terminal 150 a is a high bandwidth terminal (eg, high definition personal computer, digital television, etc.)
  • terminal 150 b is a medium bandwidth terminal (eg, medium definition personal computer, etc.)
  • 150 c is a low-bandwidth terminal (eg, a cell phone or PDA).
  • the high-bandwidth terminal 150a is connected to the high-bandwidth LAN 180a
  • the mid-band terminal 150b is connected to the mid-band internet 180b
  • the low-bandwidth terminal 150c is It is connected to a low bandwidth mobile network 180c.
  • each terminal 150 a, 150 b, 150 c connected to the high-band LAN 1 80 a, the mid-band Internet 1 80 b, and the low-band mobile network 1 80 c, respectively,
  • the high bandwidth terminal 150 a can receive the base layer and all the enhancement layers 1 to N to obtain high quality video.
  • the mid-band terminal 150 b can receive the basic layer and the two enhancement layers 1 to 2 to obtain medium-quality video.
  • the low-bandwidth terminal 150c can receive the base layer and one enhancement layer 1 to obtain low-quality video.
  • the video server 100 lowers the bandwidth of the base layer to the limit, so the moving terminal 150 c must receive at least only the base layer. In the picture without interruption can do.
  • the band of the base layer is used.
  • the bandwidth of the lowermost (that is, closest to the base layer) bandwidth not only enabling uninterrupted video reception, but also the degradation due to bandwidth change of the base layer
  • FIG. 10 is a diagram showing a configuration of a video transmission system according to Embodiment 2 of the present invention.
  • the video transmission apparatus 200 in this video transmission system has the same basic configuration as the video transmission apparatus 100 in the video transmission system shown in FIG. 2, and the same constituent elements have the same reference numerals. The explanation is omitted.
  • the video receiving apparatus 150 is completely the same as that shown in FIG. 2, the description thereof will be omitted.
  • the feature of the present embodiment is that the bandwidth of the base layer is lowered to the limit when the terminal moves in the first embodiment, whereas the bandwidth of the basic layer is lowered to the limit when the terminal moves. Furthermore, the bandwidth of the lowest enhancement layer should be increased to complement the image quality (see Figure 11). For this reason, the video transmission device 200 has a bandwidth calculation unit 202.
  • the band calculating unit 202 uses the terminal information output from the terminal information receiving unit 110 to divide the base layer band and the extension layer divided band.
  • the former is calculated, and the former (band of the base layer) is output to the video encoding unit 104, and the latter (division band of the enhancement layer) is output to the channel division unit 106.
  • the band calculating unit 202 lowers the band of the base layer and raises the band of the lowest enhancement layer. As a result, other terminals due to lowering the bandwidth of the base layer You can reduce the impact on Details of the process will be described later.
  • the flowchart shown in FIG. 12 is stored as a control program in a storage device (for example, a ROM, flash memory, etc.) (not shown) of the video transmission device 200, and is executed by a CPU (not shown).
  • a storage device for example, a ROM, flash memory, etc.
  • step S 1 320 is inserted into the flow chart shown in FIG. 6, and step S 1 300 is deleted.
  • Steps S 1 0 0 to S 1 2 0 0 are the same as the steps of the flowchart shown in FIG.
  • step S1302 the band calculation unit 202 performs movement mode band calculation processing. Specifically, since it is a case where the terminal movement information from the receiving terminal is received, the divided band B_BL of the base layer and the divided band B_EL (1) to B-EL (i) (i The number of division layers set in advance) is calculated, and the band of the base layer is output to the video encoding unit 104, and the division band of the extension layer is output to the channel division unit 106. Then, go to step S 1 400.
  • the bandwidth calculation method of the base layer is calculated using the above (Expression 1), as in the first embodiment.
  • B-EL (1) is the bandwidth of the lowest enhancement layer
  • B 1-EL (1) is the bandwidth of the lowest enhancement layer in the steady mode
  • B-BL is the base layer of the mobility mode.
  • the band, B 1 ⁇ BL, is the band of the base layer in the stationary mode.
  • the bands B-E L (2) to B-E L (i) of the enhancement layers other than the lowest level are the same as in the steady mode.
  • Step S 1 4 0 to step SI 6 0 0 are the same as the respective steps of the flowchart shown in FIG.
  • a receiving terminal in motion can not only receive uninterrupted video reception by receiving at least only the basic layer, but other terminals can prevent the degradation of the quality of the received video due to the bandwidth reduction of the basic layer.
  • the band of the base layer is used.
  • the limit to the limit and finely dividing the bandwidth of the lowermost (that is, closest to the base layer) band it is possible not only to enable uninterrupted video reception, but also to receive the received video when the bandwidth fluctuates.
  • FIG. 13 is a diagram showing a configuration of a video transmission system according to Embodiment 3 of the present invention.
  • the video transmission device 300 in this video transmission system has the same basic configuration as the video transmission device 100 in the video transmission system shown in FIG. 2, and the same components have the same reference numerals. The explanation is omitted.
  • the video receiving apparatus 150 is completely the same as that shown in FIG. 2, the description thereof will be omitted.
  • the bandwidth of the basic layer is reduced to the limit when the terminal moves in the embodiment 1, whereas the bandwidth of the basic layer is reduced to the limit when the terminal moves. Furthermore, after raising the bandwidth of the lowermost enhancement layer, it is further subdivided to increase the adaptability to bandwidth when bandwidth changes (see Fig. 14). For this reason, the video transmission device 300 is configured to: 0 has 2
  • the band calculating unit 302 uses the terminal information output from the terminal information receiving unit 110 as in the band calculating unit 112 of FIG. 2 to divide the base layer band and the extension layer divided band.
  • the former is calculated, and the former (band of the base layer) is output to the video encoding unit 104, and the latter (division band of the enhancement layer) is output to the channel division unit 106.
  • the band calculation unit 302 lowers the band of the base layer and increases the band of the lowermost enhancement layer to divide it finely. As a result, it is possible to suppress the influence on other terminals by lowering the bandwidth of the base layer, and to increase the adaptability to the bandwidth at the time of bandwidth fluctuation. Details of the process will be described later.
  • the flowchart shown in FIG. 15 is stored as a control program in a storage device (for example, ROM, flash memory, etc., not shown) of the video transmission device 300, and is executed by the CPU (not shown).
  • a storage device for example, ROM, flash memory, etc., not shown
  • step S 1 340 is inserted into the flowchart shown in FIG. 6, and step S 1 300 is deleted.
  • Steps S 1 0 0 to S 1 2 0 0 are the same as the steps of the flowchart shown in FIG.
  • step S1304 the band calculation unit 302 performs movement mode band calculation processing. Specifically, since it is a case where the terminal movement information from the receiving terminal is received, the divided band B-BL of the base layer and the divided band B-EL (1) to B- EL (i) (i The number of division layers set in advance) is calculated, and the band of the base layer is output to the video encoding unit 104, and the division band of the enhancement layer is output to the channel division unit 106. Then, go to step S 1 400.
  • enhancement layer sub-bands B _ EL (j) for example, the following (Equation 3), ⁇ ⁇ / Bi EL (I) + (BI BL -B BL) ⁇ ⁇ ,
  • B-EL (j) is the band of the jth extended rayer with the lowest position being the first
  • B 1-EL (1) is the steady-state band of the lowest extension layer
  • B-BL is The band of the base layer in the mobile mode
  • B 1 ⁇ BL is the band of the base layer in the stationary mode
  • M is the number of divisions of the lowermost enhancement layer.
  • FIG. 16A shows the structure of encoded data
  • FIG. 16B shows an example of band division results in the steady mode, and these correspond respectively to FIGS. 3A and 3B.
  • each terminal can be selected from the video list.
  • a receivable channel it is possible to adapt the quality of the received video on a fine scale basis.
  • Steps S 1 4 0 to S 1 6 0 0 are the same as the steps of the flowchart shown in FIG.
  • a mobile receiving terminal when the receiving terminal 150 is moving, the bandwidth of the base layer of the layer coding data is reduced to the limit and the bandwidth of the lowermost enhancement layer is increased to finely
  • a mobile receiving terminal can not only receive uninterrupted video reception by selectively receiving a receivable division enhancement layer in addition to the base layer. Video reception can be performed with quality that is finely adapted to the transmission band.
  • the video is calculated by calculating the configuration of the enhancement layer according to the layer reception status of the receiving terminal. Transmission efficiency of A video transmission system that can achieve
  • FIG. 17 is a diagram showing the configuration of a video transmission system according to Embodiment 4 of the present invention.
  • the video transmission apparatus 400 and the video reception apparatus 450 in this video transmission system are basically the same as the video transmission apparatus 100 and the video reception apparatus 150 in the video transmission system shown in FIG. 2, respectively.
  • the components have the same configuration, and the same symbols are attached to the same components and the description is omitted.
  • a feature of the present embodiment is that the bandwidth of each extension ray is determined using reception layer information (specifically, the rayer information being received by the receiving terminal).
  • reception layer information specifically, the rayer information being received by the receiving terminal.
  • an enhancement layer with a small number of receiving terminals further divides the layer (see (1) in Fig. 18), and multiple enhancement layers received in common between receiving terminals are combined into one layer (figure 1 of 8 (2)). Therefore, the video transmission device 400 has a video transmission unit 402, a reception status reception unit 404, and a band calculation unit 404, and the video reception device 450 has a reception status transmission unit. It has 4 5 2.
  • the video transmission unit 402 transmits the divided data and the video list output from the channel division unit 106 to the network 180 on separate channels, as in the video transmission unit 108 shown in FIG. Furthermore, in the present embodiment, the video list output from the band calculation unit 4 0 6 is also transmitted to the network 1 8 0.
  • the video list output from the channel division unit 106 and the video list output from the band calculation unit 406 are similar (see FIG. 4).
  • Reception status reception unit 404 receives the reception status transmitted from a plurality of reception terminals (video reception devices 4 5 0), generates reception layer information that summarizes the reception status of each reception terminal, and Output to calculation unit 4 0 6
  • the reception status indicates the layer name that each receiving terminal is currently receiving
  • the receiving layer information is information indicating the total number of receiving terminals for each layer.
  • reception layer information is as shown in, for example, FIGS. 19A and 19B.
  • CLIEN T_N UM indicates the total number of receiving terminals
  • the band calculating unit 406 calculates the divided band of the enhancement layer using the reception layer information output from the reception status receiving unit 404, and outputs the calculated divided band of the enhancement layer to the channel dividing unit 106. Also, it outputs the band of the basic rate set in advance to the video encoding unit 104.
  • the reception status transmission unit 452 transmits information on the layer currently received by the reception terminal 450 as the reception status to the transmission terminal (video transmission device 400).
  • the information of the layer currently being received is given from the video receiver 154a.
  • the flowchart shown in FIG. 20 is stored as a control program in a storage device (for example, a ROM, a flash memory, etc.) (not shown) of the video transmission device 400, and is executed by a CPU (not shown).
  • a storage device for example, a ROM, a flash memory, etc.
  • step S 1 120, step S 1 140, step S 1 160, and step S 1 180 are inserted into the flow chart shown in FIG. Step S 1100, step S 1200, and step S 1 300 have been deleted.
  • Step S 1000 is the same as the steps of the flowchart shown in FIG.
  • the reception status reception unit 404 performs reception status reception processing. Specifically, it receives the reception status sent from multiple reception terminals (video reception device 450), generates reception layer information (see Figure 19 A and 19 B), and outputs it to band calculation section 406. Do.
  • the bandwidth calculation unit 406 performs enhancement layer configuration calculation processing.
  • the bandwidth of the base layer set in advance is The configuration of the enhancement layer, that is, the division band is calculated using the reception layer information output from the reception status reception unit 404 while being output to the image coding unit 104, and the division band of the obtained enhancement layer is divided into channel division units. Output to 1 0 6
  • the division of the enhancement layer is, for example, the following (Expression 4) and (Expression 5),
  • Equation 4 when the total number of enhancement layers received at all receiving terminals is 1 or more, (Equation 4) is used.
  • B ⁇ EL (i) ′ is the bandwidth of the enhancement layer i after bandwidth calculation
  • B ⁇ EL (i) is the bandwidth of the previous enhancement layer i
  • m is all receiving terminals Is the total number of enhancement layers received.
  • Equation 5 M is a band division parameter, and is a parameter for equally dividing the band of the enhancement layer EL-1.
  • K is the terminal proportion parameter
  • CLI ENT— NUM is the reception The total number of terminals
  • N (EL-1) is the number of terminals receiving the enhancement layer EL-1.
  • step S1 160 the bandwidth calculation unit 406 determines whether the layer configuration has been changed as the processing result of step S1 140. This judgment is made based on whether the division band of the enhancement layer is different from the previously calculated band. If the configuration of the enhancement layer is changed as a result of this determination (S1 1 6 0: YE S), a video list (see FIG. 4) is generated and output to the video transmission unit 402, and the process proceeds to step S1 1 80. move on. On the other hand, if the configuration of the enhancement layer does not change (S1 160: ⁇ ), the process immediately proceeds to step S1400.
  • step S 1 180 the video transmission unit 402 performs video list transmission processing. Specifically, the video list output from the bandwidth calculation unit 406 is transmitted to the network queue 180. Then, the process proceeds to step S1400.
  • Steps S 1 400 to S 1 600 are the same as the steps of the flowchart shown in FIG.
  • the flowchart shown in FIG. 21 is stored as a control program in a storage device (for example, ROM, flash memory, etc.) (not shown) of the video reception device 450, and is executed by the CPU (not shown).
  • a storage device for example, ROM, flash memory, etc.
  • step S 2250 is inserted into the flow chart shown in FIG. 7, and step S 2000 and step S 21 00 are performed. Has been removed.
  • Step S2200 is the same as the step of the flowchart shown in FIG. However, in the present embodiment, the video reception unit 1 5 4 a outputs the information of the layer currently being received to the reception status transmission unit 4 5 2.
  • the reception status transmission unit 4 52 performs reception status transmission processing. Specifically, information indicating the layer name currently received by the receiving terminal 450 is transmitted to the transmitting terminal (video transmitting apparatus 400) as a reception status.
  • the transmission of the reception status is performed every time the video reception processing is performed.
  • the present invention is not limited to this, and transmission may be performed at a constant interval to avoid congestion of the transmission path. It is.
  • Steps S 2 3 0 0 and S 2 4 0 0 are the same as the steps of the flowchart shown in FIG.
  • transmission efficiency can be improved by making a plurality of enhancement layers being commonly received one enhancement layer according to the reception status from the receiving terminal.
  • the number of receiving terminals is small, by further dividing the lowermost extension rayer, many terminals can receive higher definition video.
  • the present invention is applied to a network including a wireless network or the like in which the transmission band fluctuates, even when the band largely fluctuates due to the movement of the receiving terminal or the like.
  • the present invention can be applied to a video transmission system that transmits video through a network, as well as to a video receiving apparatus and a video transmitting apparatus used in the system, which have an effect of realizing video transmission without a noise.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

映像受信装置、 映像送信装置および映像伝送システム
技術分野
本発明は、 ネットワークを通じて映像を伝送する映像伝送システムに関す る。
明 背景技術
従来の映像伝送システムで伝送される映像データは、 ある一定の伝送帯域 で伝送できるように、 通常、 H . 2 6 1方式や M P E G (Moving Picture Experts Group) 方式などによつて一定帯域以下に圧縮符号化されており、一 度符号化された映像データは伝送帯域が変わっても映像品質を変えることは できない。 ここで、 帯域とは伝送ビットレートを示すものとする。
しかし、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、 複数の帯域に見合った品質で映像を伝送可能な映像データが必要とされてお り、 これに対応するために、 階層構造を持ち複数帯域に対応できる階層符号 化方式が規格化されている。 このような階層符号化方式の中でも、 近年規格 化された M P E G— 4 F G S (Fine Granulari ty Scalability) (ISO/IEC 14496-2 Amendment 2:2001)は、 とりわけ帯域選択に関して自由度が高い階 層符号化方式である。 M P E G— 4 F G Sにより符号化された映像データは、 単体で復号化が可能な動画像ストリームである一の基本レイヤと、 基本レイ ャの復号化動画像品質を向上させるための動画像ストリームである、 少なく とも一以上の拡張レイヤとで構成される。 基本レイヤは低帯域で低画質の映 像データであり、 これに拡張レイヤを帯域に応じて足し合わせることにより 自由度の高い高画質化が可能である。
M P E G - 4 F G Sにおいては、伝送する拡張レイヤの総データサイズを 制御して様々な帯域に適応させることが可能であり、 帯域に応じた品質の映 像を伝送することが可能である。
このように、 いずれの映像符号化方式も、 入力映像を決められた帯域で伝 送できるように圧縮符号化を行い、 映像データの帯域を適切な値に制御する 役割を持っている。 このため、 伝送路の帯域に比べて映像データの帯域が高 い場合は、 映像データをリアルタイムに伝送できず、 受信端末においては映 像に遅延が発生するだけでなく、 映像データがネットワークで欠落し映像が 停止してしまう (途切れの発生)。逆に、映像データの帯域が伝送路の帯域よ りも低い場合は、 遅延は発生しないが、 映像品質が極端に低下してしまう。 特に T V電話やライブ中継などリアルタイム性と高品質映像が要求される場 合は、 映像データの帯域を伝送路の帯域に合わせることが必要となる。
そこで、 帯域変動による映像の途切れを防止するための従来技術では、 受 信端末からのビットレート変更要求に応じて、 サーバが、 あらかじめ生成さ れたビッ 1、レートの異なる複数の映像ストリ—ムの中から 1つを選択して送 信するようにしている (たとえば、 特開平 1 0— 3 3 6 6 2 6号公報、 第 1 頁、 第 1図を参照)。
図 1は、 従来の映像伝送システムの構成の一例を示す図である。
映像ス 1、リームを送信するサーバ 1 0は、ビットレート切り替え部 1 1で、 映像ストリームを受信するクライアント 2 0からの転送レート変更要求を受 けて、 異ビットレート映像データ蓄積部 1 3から対応ビ Vトレートの映像デ ータを選択しクライアント 2 0に送信する。
そして、 クライアント 2 0は、 映像データ受信部 2 1でサーバ 1 0から送 信された映像データを受信し、データバッファ管理部 2 3にデータを出力し、 受信速度を再生データ管理部 2 5に出力する。 データバッファ管理部 2 3で は、映像データ受信部 2 1から入力した映像データを內部バッファに格納し、 格納状況を管理し、 滞留データ状況を再生データ管理部 2 5に出力し、 さら に、 映像複号化表示部 2 7からのデータリード要求時は映像データを内部バ ッファから読み出して映像復号化表示部 2 7に出力する。 映像復号化表示部 2 7では、 データリード要求をデータバッファ管理部 2 3に出力し、 データ バッファ管理部 2 3から入力した映像データを複号化し表示する。 再生デー タ管理部 2 5では、 データバッファ管理 2 3から入力する滞留データ状況と 映像データ受信部 2 1から入力する受信速度を用いて転送ビットレート変更 の判断を行い、 変更ビッ トレートをレート変更要求部 2 9に出力する。 この とき、 再生データ管理部 2 5における転送ビットレート変更判断方法として は、 滞留データが上方しきい値を超える場合は、 直前までの受信速度の平均 値を求めてビットレートダウン要求とし、 逆に、 滞留データが下方しきい値 を下回る場合は、 直前までの受信速度の平均値を求めてビットレートアップ 要求とする。 レート変更要求部 2 9では、 再生データ管理部 2 5から入力さ れるビットレートを用いてビットレート変更要求をサーバ 1 0に送信する。 このように、 従来の技術においては、 受信端末 (クライアント 2 0 ) から のビッ トレート変更要求に応答して、 サーバ 1 0が異なるビッ トレートの映 像データの中から適するデータを選択し送信することにより、 受信端末にお いて映像を途切れることなく受信することができる。
しかしながら、 従来の技術においては、 平均的な帯域を用いて映像データ の帯域制御を行うため、 受信端末の移動などにより伝送路の帯域が大きく変 動した場合には、 平均的な帯域と実際の帯域の差が大きくなる。 特に、 映像 データの帯域が伝送帯域よりも高くなつた場合は、 映像データをリアルタイ ムに伝送できず、 映像に遅延が発生するだけでなく、 映像データがネットヮ ークで欠落し映像が停止してしまう (途切れの発生)。 このため、受信端末の 移動などにより伝送帯域が大きく変動した場合であっても途切れのない映像 受信が可能な映像伝送システムが望まれている。 発明の開示
本発明の目的は、 伝送帯域が変動する無線ネットワークなどを含むネット ワークにおいて、 受信端末の移動などにより帯域が大きく変動した場合にお いても、 途切れのない映像伝送を実現することができる映像伝送システムを 提供することである。
本発明の一形態によれば、 映像受信装置は、 階層符号化データを受信する 映像受信装置であって、 前記映像受信装置の特定情報を送信する送信手段と 、 送信した前記特定情報に基づいて帯域制御され、 更に、 複数のチャネルに 分割された階層符号化データを受信する受信手段と、 を含む。
本発明の他の形態によれば、 映像送信装置は、 映像受信装置の特定情報を 受信する受信手段と、 受信された前記特定情報を用いて分割された階層符号 化データの帯域を制御する制御手段と、 前記帯域制御及び分割された階層符 号化データを別チャネルで送信する送信手段と、 を含む。
本発明のさらに他の形態によれば、 映像伝送システムは、 階層符号化デー タを複数に分割し別チャネルで映像送信装置からネットワークを通じて映像 受信装置に伝送する映像伝送システムであって、 前記映像送信装置は、 前記 映像受信装置の特定情報を受信する受信手段と、 受信された特定情報を用い て分割階層符号化データの帯域を制御する制御手段と、 を有し、 前記映像受 信装置は、 前記特定情報を送信する送信手段を有する。 図面の簡単な説明
図 1は、 従来の映像伝送システムの構成の一例を示す図、
図 2は、 本発明の実施の形態 1に係る映像伝送システムの構成を示す図、 図 3 Aは、 M P E G— 4 F G S符号化を用いた場合の符号化データの構造 の一例を示す図、
図 3 Bは、 図 3 Aの符号化データに対するチャネル分割結果の一例を示す 図、
図 4は、 映像リストの一例を示す図、
図 5は、 実施の形態 1の概念を説明するための図、 図 6は、 実施の形態 1に対応する映像送信装置の動作を示すフローチヤ一 卜、
図 7は、 実施の形態 1に対応する映像受信装置の動作を示すフ口一チヤ一 卜、
図 8 Aは、 実施の形態 1に対応する映像伝送システムにおける端末移動時 の主要な情報のやり取りを示すシーケンス図、
図 8 Bは、 実施の形態 1に対応する映像伝送システムにおける定常時の主 要な情報のやり取りを示すシーケンス図、
図 9は、実施の形態 1を適用した M P E G— 4 F G Sによる映像伝送シス テムの一例を示す構成図、
図 1 0は、本発明の実施の形態 2に係る映像伝送システムの構成を示す図、 図 1 1は、 実施の形態 2の概念を説明するための図、
図 1 2は、 実施の形態 2に対応する映像送信装置の動作を示すフローチヤ ート、
図 1 3は、本発明の実施の形態 3に係る映像伝送システムの構成を示す図、 図 1 4は、 実施の形態 3の概念を説明するための図、
図 1 5は、 実施の形態 3に対応する映像送信装置の動作を示すフローチヤ 一ト、
図 1 6 Aは、 M P E G _ 4 F G S符号化を用いた場合の符号化データの構 造の--例を示す図、
図 1 6 Bは、 定常モードにおける図 1 6 Aの符号化データに対するチヤネ ル分割結果の一例を示す図、
図 1 6 Cは、 移動モードにおける図 1 6 Aの符号化データに対するチヤネ ル分割結果の一例を示す図、
図 1 7は、本発明の実施の形態 4に係る映像伝送システムの構成を示す図、 図 1 8は、 実施の形態 4の概念を説明するための図、
図 1 9 Aは、 受信レイヤ情報の一例を示す図、 図 1 9 Bは、 受信レイヤ情報の他の一例を示す図、
図 2 0は、 実施の形態 4に対応する映像送信装置の動作を示すフローチヤ 一ト、
図 2 1は、 実施の形態 4に対応する映像受信装匱の動作を示すフローチヤ ートである。 発明を実施するための最良の形態
本発明の骨子は、 階層符号化された映像ストリームを複数の端末に伝送す るシステムにおいて、 階層符号化データを複数のレイヤに分割し別チヤネル で伝送する際に、 受信端末からの情報 (たとえば、 ハンドオーバやユーザ要 求など) を用いて階層別の帯域を動的に制御することである。
以下、 本発明の実施の形態について、 図面を参照して詳細に説明する。
(実施の形態 1 )
本実施の形態では、 無線を含み帯域変動の大きい環境で階層符号化映像ス トリームを伝送する映像伝送システムにおいて、 端末の移動などにより大き な帯域変動が予想される場合には基本レイヤの帯域を極限まで下げることに より、 途切れのない映像受信を可能とする映像伝送システムについて説明す る。
図 2は、 本発明の実施の形態 1に係る映像伝送システムの構成を示す図で ある。
この映像伝送システムは、 映像を送信する映像送信装置 (以下「送信端末」 ともいう) 1 0 0と、 映像を受信する映像受信装置 (以下 「受信端末」 とも いう) 1 5 0と、 映像送信装置 1 0 0から送信された映像を映像受信装置 1 5 0に中継するネットワーク 1 8 0とを有する。 すなわち、 映像送信装置 1 0 0から送信された映像は、 ネットワーク 1 8 0を通じて映像受信装置 1 5 0に伝送される。
映像送信装置 1 0 0は、 映像入力部 1 0 2、 映像符号化部 1 0 4、 チヤネ ル分割部 1 0 6、 映像送信部 1 0 8、 端末情報受信部 1 1 0、 および帯域算 出部 1 1 2を有する。
映像入力部 1 0 2は、 外部から提供されまたは当該装置 1 0 0で生成され た映像を構成する画像を 1フレームごとに映像符号化部 1 0 4に出力する。 映像符号化部 1 0 4は、 映像入力部 1 0 2から出力された画像を入力画像 として階層符号化し、 得られた符号化データをチャネル分割部 1 0 6に出力 する。
たとえば、 M P E G— 4 F G S符号化を用いる場合、映像符号化部 1 0 4 は、 入力画像に対して基本レイャ ( Bし) と、 画質を向上させる拡張レイヤ ( E L ) とで構成される符号化データを生成する (たとえば、 図 3 A参照)。 このとき、 本実施の形態では、 基本レイヤの帯域は、 帯域算出部 1 1 2から 与 られる。
この場合、 基本レイヤに拡張レイヤを加えることにより、 画質を向上する ことができる。 また、 拡張レイヤは下位層からデータ分割が可能であり、 基 本レイヤに加える拡張レイヤのデータ量に応じて、 品質向上度合いを制御す ることが可能である。
チャネル分割部 1 0 6は、 映像符号化部 1 0 4から出力された符号化デ一 タを複数に分割し、 分割データを映像リストと共に映像送信部 1 0 8に出力 する。 このとき、 本実施の形態では、 拡張レイヤの分割帯域は、 帯域算出部 1 1 2から与えられる。 たとえば、 チャネル分割結果の一例は、 図 3 Bに示 すとおりである。 処理の詳細については、 後で説明する。
また、 映像リス トの一例は、 たとえば、 図 4に示すとおりである。 映像リ ス トには、 チャネル番号、 レイヤ名称、 および各レイヤを受信するために必 要な帯域が示されている。 なお、 映像リストは、 図 4に示すものに限定され るわけではなく、 チャネルごとの帯域が示されたものであればよい。
映像送信部 1 0 8は、 チヤネル分割部 1 0 6から出力された分割データお よび映像リス トを別々のチヤネルでネットワーク 1 8 0に送信する。 具体的 には、たとえば、分割され別々のチャネルに割り当てられた符号化データ(基 本レイヤと拡張レイヤ) を別々のチャネルでネットワーク 1 8 0にマルチキ ヤスト送信するとともに、 各レイヤの帯域とチャネル番号が示された映像リ ストをマルチキャスト送信する。 マルチキャスト送信を行う場合、 チャネル 番号は、 たとえば、 マルチキャストアドレスで示される。 ここで、 マルチキ ヤスト送信とは、 1つの送信端末からデータを送信するチャネルに関して、 受信を選択した端末に対してのみデータが伝送される方式であり、 複数の受 信端末が受信を行う場合においても同一伝送路内では伝送されるデータに重 複がないため、 伝送効率が良い伝送方式である。
なお、 映像ストリームの送信方法は、 もちろん、 マルチキャスト送信に限 定されない。
端末情報受信部 1 1 0は、 受信端末 (映像受信装置 1 5 0 ) から送信され た端末情報を受信し、 帯域算出部 1 1 2に出力する。 ここで、 端末情報は、 受信端末が移動していることまたは移動を開始することを示す情報 (端末移 動情報) である。
帯域算出部 1 1 2は、 端末情報受信部 1 1 0から出力された端末情報を用 いて、 基本レイヤの帯域および拡張レイヤの分割帯域をそれぞれ算出し、 前 者 (基本レイヤの帯域) を映像符号化部 1 0 4に、 後者 (拡張レイヤの分割 帯域) をチャネル分割部 1 0 6にそれぞれ出力する。
このとき、 本実施の形態では、 帯域算出部 1 1 2は、 端末移動情報を入力 すると、 基本レイヤの帯域 (ビットレート) を極限まで下げ超低ビットレー トに設定する (図 5参照)。 この結果、 途切れのない映像受信が可能になる。 このとき、 画質は拡張レイヤで補われる。 処理の詳細については、 後で説明 する。
一方、映像受信装置 1 5 0は、端末情報送信部 1 5 2、映像受信部 1 5 4、 映像復号化部 1 5 6、 および映像表示部 1 5 8を有する。
端末情報送信部 1 5 2は、 端末が移動しているまたは移動を開始すると判 断される場合、 端末移動情報を映像送信装置 1 0 0に送信するとともに、 映 像受信部 1 5 4に出力する。
映像受信部 1 5 4は、 映像送信装置 1 0 0から送信された映像リストを受 信し、 映像リスト内で受信可能な映像データを複数選択して受信し、 映像復 号化部 1 5 6に出力する。
具体的には、 映像受信部 1 5 4は、 映像送信装置 1 0 0から送信された映 像リストを受信し、映像リストに示された帯域と現在の受信帯域とを比較し、 チャネル番号の下から順に受信可能な複数のチャネル番号を決定する。 ただ し、 本実施の形態では、 端末情報送信部 1 5 2から端末移動情報を入力した 場合は、 少なくとも基本レイヤのチャネルは受信する。 そして、 映像受信部
1 5 4は、 決定したチャネル番号の映像データを受信し、 受信した映像デー タを映像複号化部 1 5 6に出力するとともに、 受信した映像データの量から 現在の受信帯域を測定する。
映像複号化部 1 5 6は、 映像受信部 1 5 4から出力された映像データ (符 号化データ) を復号化し、 復号化して得られた映像を映像表示部 1 5 8に出 力する。
映像表示部 1 5 8は、 映像復号化部 1 5 6から出力された映像を画面に表 示する。 この映像表示部 1 5 8は、 表示デバイスで構成されている。
次いで、 上記構成を有する映像送信装置 1 0 0の動作について、 図 6に示 すフローチヤ一トを用いて説明する。 なお、 図 6に示すフローチャートは、 映像送信装置 1 0 0の図示しない記憶装置 (たとえば、 R OMやフラッシュ メモリなど) に制御プログラムとして記憶されており、 同じく図示しない C P Uによって実行される。
まず、 ステップ S 1 0 0 0では、 映像入力部 1 0 2で、 映像を構成する画 像を 1フレームごとに映像符号化部 1 0 4に出力する。
そして、 ステップ S 1 1 0 0では、 端末情報受信部 1 1 0が受信端末 (映 像受信装置 1 5 0 ) から端末移動情報を受信したか否かを判断する。 この判 断の結果として端末移動情報を受信していない場合は (S 1 100 : NO)、 ステップ S 1 200に進み、 端末移動情報を受信した場合は (S 1 1 00 : YE S), ステップ S 1 300に進む。
ステップ S 1 200では、 帯域算出部 1 1 2で、 定常モード帯域算出処理 を行う。 具体的には、 受信端末からの端末移動情報を受信していない場合で あるため、 あらかじめ設定された基本レイヤの帯域 B 1— B Lと拡張レイヤ の分割帯域 B 1— EL (1)〜B l_E L(i) ( iはあらかじめ設定された分割 レイヤ数) を用いて、 映像符号化部 104に基本レイヤの帯域を出力すると ともに、チャネル分割部 1 06に拡張レイヤの分割帯域を出力する。そして、 ステップ S 1400に進む。
一方、 ステップ S 1 300では、 帯域算出部 1 1 2で、 移動モード帯域算 出処理を行う。 具体的には、 受信端末からの端末移動情報を受信した場合で あるため、 基本レイヤの帯域 B— B Lと拡張レイヤの分割帯域 B— E L (1) 〜B— E L (i) ( iはあらかじめ設定された分割レイヤ数) を算出し、映像符 号化部 1 04に基本レイヤの帯域を出力するとともに、 チャネル分割部 1 0 6に拡張レイヤの分割帯域を出力する。そして、ステップ S 1 400に進む。 ここで、 基本レイヤの帯域 B— B Lは、 たとえば、 次の (式 1)、
B BL = ^=^ … (式 1)
― N を用いて算出する。 ただし、 B— BLは、 算出後の基本レイヤの帯域、 B 1 一 B Lは、 定常モードの基本レイヤの帯域、 Nは、 端末の移動に伴い基本レ ィャの帯域を下げるための帯域低減パラメータである。 たとえば、 N= 1 0 とした場合、 端末の移動に合わせて基本レイヤの帯域 (ビットレート) を 1 Zl 0に下げることになる。 Nの値は、 端末の移動により帯域が大きく変動 したとしても映像を途切れずに受信できる最低限の帯域を確保可能な値に設 定される。
また、 拡張レイヤの分割帯域は、 たとえば、 定常モードの場合と同一であ るとする。
ステップ S 1400では、映像符号化部 1 04で、映像符号化処理を行う。 具体的には、 映像入力部 1 02からの入力映像に対して階層符号化を行い、 基本レイヤと拡張レイヤで構成される符号化データを生成し (図 3 A参照)、 チャネル分割部 1 06に出力する。 このとき、 基本レイヤは、 帯域算出部 1 1 2から出力された帯域 B— B Lにて符号化を行う。
そして、 ステップ S 1 500では、 チャネル分割部 1 06で、 チャネル分 割処理を行う。 具体的には、 映像符号化部 1 04から出力された符号化デー タと、 帯域算出部 1 1 2から出力された拡張レイヤの分割帯域 B— E L (1) 〜B— E L (i)とを用いて、拡張レイヤを複数のチャネルに分割し、基本レイ ャを含めた分割データを映像リスト (図 4参照) と共に映像送信部 1 08に 出力する。
たとえば、 図 3 Aに示す構造の符号化データを例にとって説明すると、 基 本レイヤを 1つのチャネルとし (B L)、 拡張レイヤ (EL) をあらかじめ決 められたデ一タ量で分割し別チヤネルとする。
一例として、 符号化データを 4つに分割する場合、 各チャネルのビットレ 一トが設定ビットレート B— B L、 B一 E L (1)、 B一 E L (2)、 B_E L (3) となるように、 拡張レイヤ (E L) を E L— 1、 E L— 2、 EL_3と 3つ に分割する (図 3 B参照)。 なお、 当然のことながら、 分割数は 4に限定され ない。
そして、 ステップ S 1 600では、 映像送信部 1 08で、 映像送信処理を 行う。 具体的には、 チャネル分割部 1 06から出力された分割データ (1つ の基本レイヤと複数に分割された拡張レイヤ、 図 3 B参照) を対応する別々 のチャネルでネットワーク 1 80にマルチキャスト送信するとともに、 各レ ィャの帯域とチャネル番号が示された映像リスト (図 4参照) をマルチキヤ スト送信する。
次いで、 上記構成を有する映像受信装置 1 50の動作について、 図 7に示 すフローチャートを用いて説明する。 なお、 図 7に示すフローチャートは、 映像受信装置 1 50の図示しない記憶装置 (たとえば、 ROMやフラッシュ メモリなど) に制御プログラムとして記憶されており、 同じく図示しない C PUによって実行される。
まず、ステップ S 2000では、自端末が移動中か否か、より具体的には、 自端末が移動しているかまたは移動を開始するか否かを判断する。 この判断 は、 たとえば、 端末における電波状況や、 無線アクセスポイントをまたぐハ ンドオーバ状態などの情報を用いて行う。 また、 ユーザが端末の移動を明示 する方法も可能である。 この判断の結果として自端末が移動中の場合は (S 2000 : YE S)、 ステップ S 2 1 00に進み、 自端末が移動中でない場合 は ( S 2000 : NO), ただちにステップ S 2200に進む。
ステップ S 2 1 00では、 端末情報送信部 1 5 2で端末移動情報送信処理 を行う。 具体的には、 自端末が移動中であるため、 端末移動情報を映像送信 装置 1 00に送信するとともに、 映像受信部 1 54に出力する。 そして、 ス テツプ S 2200に進む。
ステップ S 2200では、 映像受信部 1 54で映像受信処理を行う。 具体 的には、 映像送信装置 1 00から送信された映像リス トを受信し、 映像リス トに示された帯域と現在の受信帯域とを比較し、 チャネル番号の下から順に 受信可能な複数のチャネル番号を決定する。 ただし、 上記のように、 端末情 報送信部 1 52から端末移動情報を入力した場合は、 少なくとも基本レイヤ のチャネルは受信する。 そして、 決定したチヤネル番号の映像データを受信 し、 受信した映像データを映像復号化部 1 56に出力するとともに、 受信し た映像データの量から現在の受信帯域を測定する。
そして、 ステップ S 2300では、 映像復号化部 1 5 6で映像復号化処理 を行う。 具体的には、 映像受信部 1 54から出力された映像データ (符号化 データ) を複号化し、 復号化して得られた映像を映像表示部 1 5 8に出力す る。 そして、 ステップ S 2400では、 映像表示部 1 58で映像表示処理を行 う。具体的には、映像複号化部 1 56から出力された映像を画面に表示する。 次いで、 上記構成の映像伝送システムにおける主要な信号のやり取りにつ いて、 図 8 Aおよび図 8 Bのシーケンス図を用いて説明する。 ここで、 図 8 Aは、 移動時の場合であり、 図 8 Bは、 定常時の場合である。
まず、 図 8 Aを用いて移動時の場合について説明する。
移動時の場合(移動を開始する場合を含む)、受信端末 1 50は、端末情報 (具体的には端末移動情報) を、 ネットワーク 180を通じて送信端末 1 0 0に送信する ((1))。
そして、 送信端末 1 00は、 受信端末 1 50からの端末移動情報を受信す ると、 帯域を算出し、 具体的には、 基本レイヤの帯域 (ビットレート) を極 限まで下げ超低ビットレートに設定した後 ((2))、映像リストをネットヮー ク 1 80を通じて受信端末 1 50に送信する ((3))。
そして、 受信端末 1 50は、 送信端末 1 00からの映像リストを受信する と、 受信した映像リストを用いて受信チャネルを決定する ((4))。
そして、 送信端末 1 00は、 入力映像に対して、 1フレームごとに、 映像 符号化とチヤネル分割を行い、 分割後の符号化データを別々のチヤネルでネ ットワーク 1 80を通じて受信端末 1 50に送信する ((5))。
そして、 受信端末 1 50は、 送信端末 1 00からの符号化映像データを上 記受信チャネルで受信し、 複号化し、 画面に表示する ((6))。
次に、 図 8 Bを用いて定常時の場合について説明する。
定常時の場合、 送信端末 100は、 受信端末 1 50からの端末移動情報を 受信せず、 帯域を算出し、 具体的には、 基本レイヤの帯域 (ビットレート) を所定の定常時のビットレートに設定した後((1))、映像リストをネットヮ ーク 180を通じて受信端末 1 50に送信する ((2))。 その後の処理は、 図 8 Aに示す移動時の場合と同様であるため、 その説明を省略する (ただし、 図中の番号は 1ずつ繰り上がっている)。 このように、 本実施の形態によれば、 受信端末 1 50が移動中の場合は、 階層符号化データの基本レイヤの帯域を極限まで下げるため、 移動中の受信 端末は、 少なくとも基本レイヤのみを受信することで、 途切れない映像受信 を行うことができる。
図 9は、本実施の形態を適用した MP EG— 4 FGSによる映像伝送シス テムの一例を示す構成図である。
映像サーバ 1 00は、 基本レイヤと複数 (N個) の拡張レイヤとで構成さ れる映像ストリームをネットワークに伝送して各種の端末 1 50 a、 1 50 b、 1 50 cに送る。 たとえば、端末 1 50 aは、高帯域の端末(たとえば、 高品位のパソコンゃデジタルテレビなど) であり、 端末 1 50 bは、 中帯域 の端末 (たとえば、 中品位のパソコンなど) であり、 端末 1 50 cは、 低帯 域の端末 (たとえば、 携帯電話や PDAなど) である。 高帯域の端末 1 50 aは、 高帯域の LAN 1 80 aに接続され、 中帯域の端末 1 50 bは、 中帯 域のインターネット 1 80 bに接続され、 低帯域の端末 1 50 cは、 低帯域 のモバイル網 1 80 cに接続されている。
このとき、 高帯域の LAN 1 80 a、 中帯域のインターネット 1 80 b、 および低帯域のモバイル網 1 80 cにそれぞれ接続された各端末 1 50 a、 1 50 b、 1 50 cは、 各自の受信帯域に合わせて、 受信するストリームを 選択し、 帯域に応じた品質の映像を受信することができる。 たとえば、 高帯 域の端末 1 50 aは、 基本レイヤとすべての拡張レイヤ 1〜Nを受信して、 高品質の映像を得ることができる。 また、 中帯域の端末 1 50 bは、 基本レ ィャと 2つの拡張レイヤ 1〜 2を受信して、 中品質の映像を得ることができ る。 また、 低帯域の端末 1 50 cは、 基本レイヤと 1つの拡張レイヤ 1を受 信して、 低品質の映像を得ることができる。
しかも、 このとき、 低帯域の端末 1 50 cが移動中の場合、 映像サーバ 1 00は基本レイヤの帯域を極限まで下げるため、 移動中の端末 1 50 cは、 少なくとも基本レイヤのみを受信することで、 映像を途切れることなく受信 することができる。
(実施の形態 2 )
本実施の形態では、 無線を含み帯域変動の大きい環境で階層符号化映像ス トリームを伝送する映像伝送システムにおいて、 端末の移動などにより大き な帯域変動が予想される場合には基本レイヤの帯域を極限まで下げるととも に、 最下位の (つまり、 基本レイヤに一番近い) 拡張レイヤの帯域を上げる ことにより、 途切れのない映像受信を可能とするだけでなく、 基本レイヤの 帯域変更による品質低下を防止することができる映像伝送システムについて 説明する。
· 図 1 0は、 本発明の実施の形態 2に係る映像伝送システムの構成を示す図 である。 なお、 この映像伝送システムにおける映像送信装置 2 0 0は、 図 2 に示す映像伝送システムにおける映像送信装置 1 0 0と同様の基本的構成を 有しており、 同一の構成要素には同一の符号を付し、 その説明を省略する。 また、 映像受信装置 1 5 0は、 図 2に示すものと全く同一であるため、 その 説明を省略する。
本実施の形態の特徴は、 実施の形態 1では端末の移動時に基本レイヤの帯 域を極限まで下げるだけであるのに対し、 ここでは、 端末の移動時に基本レ ィャの帯域を極限まで下げるとともに、 さらに、 最下位の拡張レイヤの帯域 を上げて画質の補完を図ることである (図 1 1参照)。 このため、映像送信装 置 2 0 0は、 帯域算出部 2 0 2を有する。
帯域算出部 2 0 2は、 図 2の帯域算出部 1 1 2と同様に、 端末情報受信部 1 1 0から出力された端末情報を用いて、 基本レイヤの帯域および拡張レイ ャの分割帯域をそれぞれ算出し、 前者 (基本レイヤの帯域) を映像符号化部 1 0 4に、 後者 (拡張レイヤの分割帯域) をチャネル分割部 1 0 6にそれぞ れ出力する。 ただし、 本実施の形態では、 帯域算出部 2 0 2は、 端末移動情 報を入力すると、 基本レイヤの帯域を下げるとともに、 最下位の拡張レイヤ の帯域を上げる。 この結果、 基本レイヤの帯域を下げたことによる他の端末 への影響を抑えることができる。 処理の詳細については、 後で説明する。 次いで、 上記構成を有する映像送信装置 2 0 0の動作について、 図 1 2に 示すフローチャートを用いて説明する。 なお、 図 1 2に示すフローチャート は、 映像送信装置 2 0 0の図示しない記憶装置 (たとえば、 R O Mやフラッ シュメモリなど) に制御プログラムとして記憶されており、 同じく図示しな い C P Uによって実行される。
本実施の形態では、 図 1 2に示すように、 ステップ S 1 3 2 0を図 6に示 すフローチヤ一トに挿入し、 ステップ S 1 3 0 0を削除している。
ステップ S 1 0 0 0〜ステップ S 1 2 0 0は、 図 6に示すフローチヤ一ト の各ステップと同様であるため、 その説明を省略する。
ステップ S 1 3 2 0では、 帯域算出部 2 0 2で、 移動モード帯域算出処理 を行う。 具体的には、 受信端末からの端末移動情報を受信した場合であるた め、基本レイヤの帯域 B— B Lと拡張レイヤの分割帯域 B _ E L (1)〜B— E L (i) ( iはあらかじめ設定された分割レイヤ数) を算出し、 映像符号化部 1 0 4に基本レイヤの帯域を出力するとともに、 チャネル分割部 1 0 6に拡張 レィャの分割帯域を出力する。 そして、 ステップ S 1 4 0 0に進む。
ここで、基本レイヤの帯域算出方法は、実施の形態 1と同様に、上記の(式 1 ) を用いて算出する。
これに対し、拡張レイャの分割帯域 B— E L (1)は、たとえば、次の(式 2 )、 B _ EL{\) = Bl_ EL{\) + {B\_BL-B_ EL) .'· (式 2 )
を用いて算出する。 ただし、 B— E L (1)は、 最下位の拡張レイヤの帯域、 B 1— E L (1)は、最下位拡張レイヤの定常モードの帯域、 B— B Lは、移動モ ードの基本レイヤの帯域、 B l— B Lは、 定常モードの基本レイヤの帯域で ある。 また、 最下位以外の拡張レイヤの帯域 B— E L (2)〜B— E L (i)は、 定常モードの場合と同一とする。
このように、 最下位の拡張レイヤの帯域を基本レイヤの帯域の減少に合わ せて向上させることにより、 品質低下を防止することができる。 ステップ S 1 4 0 0〜ステップ S I 6 0 0は、 図 6に示すフローチヤ一ト の各ステップと同様であるため、 その説明を省略する。
このように、 本実施の形態によれば、 受信端末 1 5 0が移動中の場合は、 階層符号化データの基本レイヤの帯域を極限まで下げるとともに、 最下位の 拡張レイヤの帯域を上げるため、 移動中の受信端末は、 少なくとも基本レイ ャのみを受信することで、 途切れない映像受信を行うことができるだけでな く、 他の端末は、 基本レイヤの帯域低下による受信映像の品質低下を防止す ることができる。
(実施の形態 3 )
本実施の形態では、 無線を含み帯域変動の大きい環境で階層符号化映像ス トリームを伝送する映像伝送システムにおいて、 端末の移動などにより大き な帯域変動が予想される場合には基本レイヤの帯域を極限まで下げるととも に、 最下位の (つまり、 基本レイヤに一番近い) 拡張レイヤの帯域を細かく 分割することにより、 途切れのない映像受信を可能とするだけでなく、 帯域 変動時の受信映像の品質を可及的に向上することができる映像伝送システム について説明する。
図 1 3は、 本発明の実施の形態 3に係る映像伝送システムの構成を示す図 である。 なお、 この映像伝送システムにおける映像送信装置 3 0 0は、 図 2 に示す映像伝送システムにおける映像送信装置 1 0 0と同様の基本的構成を 有しており、 同一の構成要素には同一の符号を付し、 その説明を省略する。 また、 映像受信装置 1 5 0は、 図 2に示すものと全く同一であるため、 その 説明を省略する。
本実施の形態の特徴は、 実施の形態 1では端末の移動時に基本レイャの帯 域を極限まで下げるだけであるのに対し、 ここでは、 端末の移動時に基本レ ィャの帯域を極限まで下げるとともに、 さらに、 最下位の拡張レイヤの帯域 を上げたのち、 さらに細かく分割して帯域変動時の帯域への適応度を上げる ことである (図 1 4参照)。 このため、 映像送信装置 3 0 0は、 帯域算出部 3 0 2を有する。
帯域算出部 3 0 2は、 図 2の帯域算出部 1 1 2と同様に、 端末情報受信部 1 1 0から出力された端末情報を用いて、 基本レイヤの帯域および拡張レイ ャの分割帯域をそれぞれ算出し、 前者 (基本レイヤの帯域) を映像符号化部 1 0 4に、 後者 (拡張レイヤの分割帯域) をチャネル分割部 1 0 6にそれぞ れ出力する。 ただし、 本実施の形態では、 帯域算出部 3 0 2は、 端末移動情 報を入力すると、 基本レイヤの帯域を下げるとともに、 最下位の拡張レイヤ の帯域を上げて細かく分割する。 この結果、 基本レイヤの帯域を下げたこと による他の端末への影響を抑え、 しかも、 帯域変動時の帯域への適応度を上 げることができる。 処理の詳細については、 後で説明する。
次いで、 上記構成を有する映像送信装置 3 0 0の動作について、 図 1 5に 示すフローチャートを用いて説明する。 なお、 図 1 5に示すフローチャート は、 映像送信装置 3 0 0の図示しない記憶装置 (たとえば、 R O Mやフラッ シュメモリなど) に制御プログラムとして記憶されており、 同じく図示しな い C P Uによって実行される。
本実施の形態では、 図 1 5に示すように、 ステップ S 1 3 4 0を図 6に示 すフローチヤ一トに揷入し、 ステップ S 1 3 0 0を削除している。
ステップ S 1 0 0 0〜ステップ S 1 2 0 0は、 図 6に示すフローチヤ一ト の各ステップと同様であるため、 その説明を省略する。
ステップ S 1 3 4 0では、 帯域算出部 3 0 2で、 移動モード帯域算出処理 を行う。 具体的には、 受信端末からの端末移動情報を受信した場合であるた め、基本レイヤの帯域 B— B Lと拡張レイヤの分割帯域 B— E L (1)〜B— E L (i) ( iはあらかじめ設定された分割レイヤ数) を算出し、 映像符号化部 1 0 4に基本レイヤの帯域を出力するとともに、 チャネル分割部 1 0 6に拡張 レイヤの分割帯域を出力する。 そして、 ステップ S 1 4 0 0に進む。
ここで、 基本レイヤの帯域は、 実施の形態 1と同様に、 上記の (式 1 ) を 用いて算出する。 これに対し、拡張レイヤの分割帯域 B _ E L (j)は、たとえば、次の(式 3 )、 πτ / Bi EL(I)+ (BI BL -B BL) 〜Λ,、
β-Ε 一 M~ (J≤M) ... (式 3 )
B一 EL(j) = ΒΪ_ EL(j— Μ) (j >M)
を用いて算出する。 ただし、 B— E L (j)は、最下位を第 1位として第 j位の 拡張レイャの帯域、 B 1— E L (1)は、最下位拡張レイヤの定常モードの帯域、 B— B Lは、 移動モードの基本レイヤの帯域、 B l— B Lは、 定常モードの 基本レイヤの帯域、 Mは、 最下位の拡張レイヤの分割数である。
たとえば、 移動モードにおける M= 3の場合の帯域分割結果の一例は、 図 1 6 Cに示すとおりである。 なお、 図 1 6 Aは符号化データの構造を示し、 図 1 6 Bは定常モードにおける帯域分割結果の一例を示し、 それぞれ図 3 A および図 3 Bに対応している。
このように、 最下位の拡張レイヤの帯域を基本レイヤの帯域の減少に合わ せて向上させた上で細かく分割することにより、 帯域変動が大きい環境にお いて、 各端末が映像リストの中から受信可能なチヤネルを選択することによ り細かい単位で受信映像の品質を適応させることができる。
ステップ S 1 4 0 0〜ステップ S 1 6 0 0は、 図 6に示すフローチヤ一ト の各ステップと同様であるため、 その説明を省略する。
このように、 本実施の形態によれば、 受信端末 1 5 0が移動中の場合は、 階層符号化データの基本レイヤの帯域を極限まで下げるとともに、 最下位の 拡張レイヤの帯域を上げて細かく分割してチャネル数を増加させるため、 移 動中の受信端末は、 基本レイヤに加えて受信可能な分割拡張レイヤを選択的 に受信することで、 途切れない映像受信を行うことができるだけでなく、 伝 送帯域に細かく適応した品質で映像受信を行うことができる。
(実施の形態 4 )
本実施の形態では、 無線を含み帯域変動の大きい環境で階層符号化映像ス トリームを伝送する映像伝送システムにおいて、 受信端末のレイヤ受信状況 に応じて、 拡張レイヤの構成を算出することにより、 映像の伝送効率の向上 を図ることができる映像伝送システムについて説明する。
図 1 7は、 本発明の実施の形態 4に係る映像伝送システムの構成を示す図 である。 なお、 この映像伝送システムにおける映像送信装置 4 0 0および映 像受信装置 4 5 0は、 図 2に示す映像伝送システムにおける映像送信装置 1 0 0および映像受信装置 1 5 0とそれぞれ同様の基本的構成を有しており、 同一の構成要素には同一の符号を付し、 その説明を省略する。
本実施の形態の特徴は、 受信レイヤ情報 (具体的には受信端末が受信中の レイャ情報)を用いて各拡張レイャの帯域を決定することである。たとえば、 受信端末数が少ない拡張レイヤはレイヤをさらに分割し (図 1 8の ( 1 ) 参 照)、受信端末間で共通に受信されている複数の拡張レイヤは 1つのレイヤに 結合する (図 1 8の ( 2 ) 参照)。 このため、 映像送信装置 4 0 0は、 映像送 信部 4 0 2、 受信状況受信部 4 0 4、 および帯域算出部 4 0 6を有し、 映像 受信装置 4 5 0は、 受信状況送信部 4 5 2を有する。
映像送信部 4 0 2は、 図 2の映像送信部 1 0 8と同様に、 チャネル分割部 1 0 6から出力された分割データおよび映像リストを別々のチャネルでネッ トワーク 1 8 0に送信する。 さらに、 本実施の形態では、 帯域算出部 4 0 6 から出力される映像リス トもネットワーク 1 8 0に送信する。 なお、 チヤネ ル分割部 1 0 6から出力される映像リストと帯域算出部 4 0 6から出力され る映像リストは、 同様のものである (図 4参照)。
受信状況受信部 4 0 4は、 複数の受信端末 (映像受信装置 4 5 0 ) から送 信された受信状況を受信し、 各受信端末の受信状況をまとめた受信レイャ情 報を生成して帯域算出部 4 0 6に出力する。 ここで、 受信状況は、 各受信端 末が現在受信しているレイヤ名称を示すものであり、 受信レイヤ情報は、 各 レイヤに対する受信端末の総数を示す情報である。
受信レイヤ情報の一例は、 たとえば、 図 1 9 Aおよび図 1 9 Bに示すとお りである。 ここで、 C L I E N T_N UMは、 受信端末の総数を示し、 B L = Xは、 基本レイヤを受信している端末の数が Xであり、 E L— I = yは、 拡張レイヤ E L— I ( Iは拡張レイヤの番号) を受信している端末の数が yで あることをそれぞれ示している。
帯域算出部 406は、 受信状況受信部 404から出力された受信レイヤ情 報を用いて、 拡張レイヤの分割帯域を算出し、 算出した拡張レイヤの分割帯 域をチャネル分割部 1 06に出力する。 また、 あらかじめ設定された基本レ ィャの帯域を映像符号化部 1 04に出力する。
受信状況送信部 45 2は、 当該受信端末 4 50が現在受信しているレイヤ の情報を受信状況として送信端末 (映像送信装置 400) に送信する。 この とさ、 現在受信しているレイヤの情報は、 映像受信部 1 54 aから与えられ る。
次いで、 上記構成を有する映像送信装置 400の動作について、 図 20に 示すフローチヤ一トを用いて説明する。 なお、 図 20に示すフローチャート は、 映像送信装置 400の図示しない記憶装置 (たとえば、 ROMやフラッ シュメモリなど) に制御プログラムとして記憶されており、 同じく図示しな い C PUによって実行される。
本実施の形態では、 図 20に示すように、 ステップ S 1 1 20、 ステップ S 1 140、 ステップ S 1 1 60、 およぴステツプ S 1 1 80を図 6に示す フローチヤ一トに揷入し、 ステップ S 1 1 00、 ステップ S 1200、 およ びステップ S 1 300を削除している。
ステップ S 1 000は、 図 6に示すフローチヤ一トのステップと同様であ るため、 その説明を省略する。
ステップ S 1 1 20では、 受信状況受信部 404は、 受信状況受信処理を 行う。 具体的には、 複数の受信端末 (映像受信装置 450) から送信された 受信状況を受信し、 受信レイヤ情報 (図 1 9 Aおよび図 1 9 B参照) を生成 して帯域算出部 406に出力する。
そして、 ステップ S 1 140では、 帯域算出部 406で、 拡張レイヤ構成 算出処理を行う。 具体的には、 あらかじめ設定された基本レイヤの帯域を映 像符号化部 1 04に出力するとともに、 受信状況受信部 404から出力され た受信レイヤ情報を用いて、 拡張レイヤの構成つまり分割帯域を算出し、 得 られた拡張レイヤの分割帯域をチャネル分割部 1 0 6に出力する。
ここで、 拡張レイヤの分割は、 たとえば、 次の (式 4) および (式 5)、
Figure imgf000024_0001
• (式 4)
B_EL{i) =B_EL(i+m-l) (i≥ 2)
Figure imgf000024_0002
… (式 5)
B _EL{i) = B _EL(i-M +\) (i>M) を用いて行う。
すなわち、 全受信端末において受信されている拡張レイヤの総数が 1以上 の場合は、 (式 4) を用いる。 ただし、 (式 4) において、 B— E L(i) 'は、 帯域算出後の拡張レイヤ iの帯域、 B— E L (i)は、前回の拡張レイヤ iの帯 域、 mは、 全受信端末が受信している拡張レイヤの総数である。 たとえば、 図 1 9 Aの例では、 全端末数が 3であり、 E L— 1、 E L— 2の受信端末数 がいずれも 3であるため、 m= 2となる。
このように、 (式 4) を用いる場合は、全端末で受信されている拡張レイヤ を 1つにまとめることにより、 ヘッダ情報などのオーバーへッドを削減し、 伝送効率を向上することできる (図 1 8の (2) 参照)。
また、全端末において受信されている拡張レイヤの総数が 0であり、かつ、 次の (式 6) の条件が満たされる場合は、
if LIENT—NUM I K)> N{ELー\) … (式 6 )
(式 5) を用いる。 すなわち、 受信端末が少ない場合は、 最下位の拡張レイ ャを分割する。ただし、 (式 5)において、 Mは、帯域分割パラメータであり、 拡張レイヤ E L—1の帯域を等分割するためのパラメータである。また、 (式 6) において、 Kは、 端末割合パラメータ、 C L I ENT— NUMは、 受信 端末の総数、 N (EL— 1) は、 拡張レイヤ E L—lを受信している端末の 数である。
たとえば、 図 1 9 Bにおいて、 K= 2、 Μ= 3と想定すると、 全端末数の 1 2の端末が E L— 1を受信していない場合は、 (式 5) を用いて、拡張レ ィャ EL— 1を 3つに分割し、 より多くの端末において拡張レイヤを受信し やすくことができる。
また、全端末において受信されている拡張レイヤの総数が 0であり、かつ、 (式 6) の条件が満たされない場合は、 前回と同じ帯域を用いる。
そして、 ステップ S 1 1 60では、 帯域算出部 406で、 ステップ S 1 1 40の処理結果としてレイヤ構成が変更されたか否かを判断する。 この判断 は、 拡張レイヤの分割帯域が前回算出した帯域と異なるか否かによってなさ れる。 この判断の結果として拡張レイヤの構成が変わった場合は (S 1 1 6 0: YE S)、映像リスト (図 4参照)を生成して映像送信部 402に出力し、 ステップ S 1 1 80に進む。 これに対し、 拡張レイヤの構成が変わらない場 合は (S 1 1 60 : ΝΟ)、 ただちにステップ S 1400に進む。
ステップ S 1 1 80では、 映像送信部 40 2で、 映像リスト送信処理を行 う。 具体的には、 帯域算出部 406から出力された映像リス トをネットヮー ク 1 80に送信する。 そして、 ステップ S 1 400に進む。
ステップ S 1 400〜ステップ S 1 600は、 図 6に示すフローチヤ一ト の各ステップと同様であるため、 その説明を省略する。
次いで、 上記構成を有する映像受信装置 4 50の動作について、 図 2 1に 示すフローチャートを用いて説明する。 なお、 図 2 1に示すフローチャート は、 映像受信装置 450の図示しない記憶装置 (たとえば、 ROMやフラッ シュメモリなど) に制御プログラムとして記憶されており、 同じく図示しな い C PUによって実行される。
本実施の形態では、 図 2 1に示すように、 ステップ S 2250を図 7に示 すフローチヤ一トに揷入し、 ステップ S 2000およびステップ S 2 1 00 を削除している。
ステップ S 2 2 0 0は、 図 7に示すフローチヤ一トのステップと同様であ るため、 その説明を省略する。 ただし、 本実施の形態では、 映像受信部 1 5 4 aは、現在受信しているレイヤの情報を受信状況送信部 4 5 2に出力する。 ステップ S 2 2 5 0では、 受信状況送信部 4 5 2で、 受信状況送信処理を 行う。 具体的には、 当該受信端末 4 5 0が現在受信しているレイヤ名称を示 す情報を受信状況として送信端末 (映像送信装置 4 0 0 ) に送信する。
なお、 本実施の形態では、 受信状況の送信を映像受信処理の度に行ってい るが、 これに限定されるわけではなく、 伝送路の混雑を避けるため、 一定の 間隔で送信することも可能である。
ステップ S 2 3 0 0およびステップ S 2 4 0 0は、 図 7に示すフローチヤ 一トの各ステップと同様であるため、 その説明を省略する。
このように、 本実施の形態によれば、 受信端末からの受信状況に応じて、 共通受信されている複数の拡張レイヤを 1つの拡張レイヤとすることにより、 伝送効率を向上することができ、 または、 受信端末数が少ない場合は最下位 の拡張レイャをさらに分割することにより、 多くの端末でより高品位な映像 を受信することができる。 ,
以上説明したように、 本発明によれば、 伝送帯域が変動する無線ネットヮ ークなどを含むネットワークにおいて、 受信端末の移動などにより帯域が大 きく変動した場合においても、 途切れのない映像伝送を実現することができ る。
本明細書は、 2 0 0 3年 2月 2 8日出願の特願 2 0 0 3— 0 5 3 7 7 9に 基づく。 この内容はすべてここに含めておく。 産業上の利用可能性
本発明は、 伝送帯域が変動する無線ネットワークなどを含むネットワーク において、 受信端末の移動などにより帯域が大きく変動した場合でも途切れ のない映像伝送を実現する効果を有し、 ネットワークを通じて映像を伝送す る映像伝送システムならびに当該システムにおいて使用される映像受信装置 および映像送信装置に適用することができる。

Claims

請求の範囲
1 . 階層符号化データを受信する映像受信装置であって、
前記映像受信装置の特定情報を送信する送信手段と、
送信した前記特定情報に基づいて帯域制御され、 更に、 複数のチャネルに 分割された階層符号化データを受信する受信手段と、
を含む映像受信装置。
2 . 前記特定情報は、 前記映像受信装置が移動中である、 もしくは受信端 末が移動を開始することを示す情報であり、
前記受信手段は、
前記映像受信装置が移動中であること、 もしくは^:信端末の移動開始を示 す情報に応じて、 基本レイヤの帯域が下げられた分割階層符号化データを受 信する、
請求の範囲 1記載の映像受信装置。
3 . 前記受信手段は、
帯域の下がった基本レイヤの帯域を受信する場合、 帯域の上がった最下位 の拡張レイヤを受信する、
請求の範囲 2記載の映像受信装置。
4 . 前記受信手段は、
帯域の下がった基本レイヤを受信する場合、 帯域の分割された最下位の拡 張レイヤを受信する、
請求の範囲 2記載の映像受信装置。
5 . 前記特定情報は、 前記映像受信装置のレイヤ受信状況を示す情報であ り、
前記受信手段は、
前記映像受信装置のレイヤ受信状況に応じて拡張レイヤの帯域が決定され た分割階層符号化データを受信する、 請求の範囲 1記載の映像受信装置。
6 . 前記受信手段は、
前記映像受信装置のレイヤ受信状況に示される受信端末数が所定値以下で ある場合、 帯域が分割された最下位の拡張レイヤを受信する、 ;
請求の範囲 5記載の映像受信装置。
7 . 前記受信手段は、
前記映像受信装置のレイヤ受信状況に示される拡張レイヤ受信状況に共通 に受信されている拡張レイヤが複数存在する場合、 当該共通の拡張レイヤを 1つのレイヤに結合された拡張レイヤを受信する、
請求の範囲 5記載の映像受信装置。
8 . 映像受信装置の特定情報を受信する受信手段と、
受信された前記特定情報を用いて分割された階層符号化データの帯域を制 御する制御手段と、
前記帯域制御及び分割された階層符号化データを別チャネルで送信する送 信手段と、
を含む映像送信装置。
9 . 前記特定情報は、 前記映像受信装置が移動中であることを示す情報で あり、
前記制御手段は、
前記映像受信装置が移動中であることを示す情報に応じて、 分割階層符号 化データのうち基本レイヤの帯域を下げる、
請求の範囲 8記載の映像送信装置。
1 0 . 前記制御手段は、
基本レイヤの帯域を下げる場合、 最下位の拡張レイヤの帯域を上げる、 請求の範囲 9記載の映像送信装置。
1 1 . 前記制御手段は、
基本レイヤの帯域を下げる場合、 最下位の拡張レイヤの帯域を分割する、 請求の範囲 9記載の映像送信装置。
1 2 . 前記特定情報は、 前記映像受信装置の受信状況を示す情報であり、 前記制御手段は、
前記映像受信装置の受信状況を示す情報を用いて、 分割階層符号化データ のうち拡張レイヤの帯域を決定する、
請求の範囲 8記載の映像送信装置。
1 3 . 前記制御手段は、
前記映像受信装置の受信状況を示す情報を用いて受信端末数が所定値以下 である場合、 最下位の拡張レイヤの帯域をさらに分割する、
請求の範囲 1 2記載の映像送信装置。
1 4 . 前記制御手段は、
前記映像受信装置の受信状況を示す情報を用いて共通に受信されている拡 張レイヤが存在する場合、 当該共通の拡張レイヤを 1つのレイヤに結合する 請求の範囲 1 2記載の映像送信装置。
1 5 . 階層符号化データを複数に分割し別チャネルで映像送信装置からネ ッ トワークを通じて映像受信装置に伝送する映像伝送システムであって、 前記映像送信装置は、
前記映像受信装置の特定情報を受信する受信手段と、
受信された特定情報を用いて分割階層符号化データの帯域を制御する制御 手段と、 を有し、
前記映像受信装置は、
前記特定情報を送信する送信手段を有する、 映像伝送システム。
PCT/JP2004/001989 2003-02-28 2004-02-20 映像受信装置、映像送信装置および映像伝送システム WO2004077832A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/515,226 US20060168632A1 (en) 2004-02-20 2004-02-20 Video reception device, video transmission device, and video transmission system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-53779 2003-02-28
JP2003053779A JP4227438B2 (ja) 2003-02-28 2003-02-28 映像伝送システム

Publications (1)

Publication Number Publication Date
WO2004077832A1 true WO2004077832A1 (ja) 2004-09-10

Family

ID=32923444

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/001989 WO2004077832A1 (ja) 2003-02-28 2004-02-20 映像受信装置、映像送信装置および映像伝送システム

Country Status (3)

Country Link
JP (1) JP4227438B2 (ja)
CN (1) CN1698382A (ja)
WO (1) WO2004077832A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10270511B2 (en) 2004-11-17 2019-04-23 Koninklijke Philips N.V. Robust wireless multimedia transmission in multiple in multiple-out (MIMO) system assisted by channel state information

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4066268B2 (ja) 2005-03-25 2008-03-26 船井電機株式会社 データ伝送システム
WO2006109508A1 (ja) * 2005-03-31 2006-10-19 Matsushita Electric Industrial Co., Ltd. パケット転送方法、外部接続エッジ装置、パケット転送装置及び移動端末
JP4687538B2 (ja) * 2006-04-04 2011-05-25 パナソニック株式会社 受信装置、送信装置およびその通信方法
CN101688696B (zh) 2007-04-24 2012-05-23 开利公司 制冷剂蒸气压缩系统及跨临界运行方法
CN103634552A (zh) * 2012-08-28 2014-03-12 华为技术有限公司 一种监控视频存储方法、系统和中心管理服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2744783B2 (ja) * 1986-04-17 1998-04-28 ブリティッシュ・ブロードキャスティング・コーポレーション 情報信号を伝達するための伝達方法
JPH10304334A (ja) * 1997-04-25 1998-11-13 Canon Inc 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体
JP2000092486A (ja) * 1998-09-10 2000-03-31 Toshiba Corp 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法
JP2001222720A (ja) * 2000-02-10 2001-08-17 Sony Corp 情報符号化装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2744783B2 (ja) * 1986-04-17 1998-04-28 ブリティッシュ・ブロードキャスティング・コーポレーション 情報信号を伝達するための伝達方法
JPH10304334A (ja) * 1997-04-25 1998-11-13 Canon Inc 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体
JP2000092486A (ja) * 1998-09-10 2000-03-31 Toshiba Corp 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法
JP2001222720A (ja) * 2000-02-10 2001-08-17 Sony Corp 情報符号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10270511B2 (en) 2004-11-17 2019-04-23 Koninklijke Philips N.V. Robust wireless multimedia transmission in multiple in multiple-out (MIMO) system assisted by channel state information

Also Published As

Publication number Publication date
JP4227438B2 (ja) 2009-02-18
CN1698382A (zh) 2005-11-16
JP2004266502A (ja) 2004-09-24

Similar Documents

Publication Publication Date Title
KR101557504B1 (ko) 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
WO2004077831A1 (ja) 映像伝送システム、映像送信装置、映像受信装置および映像伝送方法
US20060168632A1 (en) Video reception device, video transmission device, and video transmission system
CN100508606C (zh) 用于经由无线网络进行通信的服务器系统及其操作方法
JP4028356B2 (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
RU2516010C2 (ru) Система многоканальной видеосвязи и способ обработки многоканальной видеосвязи
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
US20090110060A1 (en) Method and apparatus for performing lower complexity multiple bit rate video encoding using metadata
US7769790B2 (en) Method and device for processing scalable data
JPH11225168A (ja) 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
WO2010037310A1 (zh) 多路视频通信方法与系统
JP2005515714A (ja) クライアントの帯域又は性能に基づく対象を絞ったスケーラブル映像マルチキャスト
MXPA06013210A (es) Suministro de informacion en un canal de comunicacion.
KR100592547B1 (ko) 스트리밍을 위한 패킷 스케줄링 방법
CN109068187A (zh) 实时流量传送系统和方法
KR20160108342A (ko) 계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치
CN108540745B (zh) 高清双流视频的传输方法、发送端、接收端及传输系统
US8891539B2 (en) Re-searching reference image for motion vector and converting resolution using image generated by applying motion vector to reference image
WO2004077832A1 (ja) 映像受信装置、映像送信装置および映像伝送システム
CN103081530A (zh) 多媒体传送系统中的跨层优化方法及其抽象层组件
US20070110168A1 (en) Method for generating high quality, low delay video streaming
JP3126956B2 (ja) 通信サービス品質制御方法及び装置
CN103347201A (zh) 集群系统组呼中的视频传输方法和视频传输系统
JPWO2009017229A1 (ja) 動画像データ配信システム、その方法及びそのプログラム
KR100565307B1 (ko) 이동 통신 단말기의 스트리밍 콘텐츠 저장 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006168632

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10515226

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20048002834

Country of ref document: CN

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10515226

Country of ref document: US