WO2004075548A1 - 画像データ配信制御方法及び装置とシステムならびにプログラム - Google Patents

画像データ配信制御方法及び装置とシステムならびにプログラム Download PDF

Info

Publication number
WO2004075548A1
WO2004075548A1 PCT/JP2004/001621 JP2004001621W WO2004075548A1 WO 2004075548 A1 WO2004075548 A1 WO 2004075548A1 JP 2004001621 W JP2004001621 W JP 2004001621W WO 2004075548 A1 WO2004075548 A1 WO 2004075548A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
data
image
encoded
session
Prior art date
Application number
PCT/JP2004/001621
Other languages
English (en)
French (fr)
Inventor
Hiroaki Dei
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to CN2004800048683A priority Critical patent/CN1754385B/zh
Priority to EP04711466A priority patent/EP1599044A4/en
Priority to JP2005502692A priority patent/JPWO2004075548A1/ja
Priority to US10/546,448 priority patent/US20060285149A1/en
Publication of WO2004075548A1 publication Critical patent/WO2004075548A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0033Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/02Arrangements for detecting or preventing errors in the information received by diversity reception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing

Definitions

  • the present invention relates to a method, an apparatus, and a system for distributing encoded image data, and a computer program executed by a computer constituting each of an image data distributing apparatus and a receiving apparatus.
  • TECHNICAL FIELD The present invention relates to a method, an apparatus, a system, and a computer program which are suitable for enabling reproduction of good image quality in accordance with a reception environment such as a moving image data. Background art
  • a method using a compression coding method such as MPEG (MoVingPictureExpres rts Group) -1, MPEG-2, and MPEG-4.
  • MPEG MoVingPictureExpres rts Group
  • MPEG-4 MPEG-4
  • an input image frame is subjected to inter-frame prediction by motion compensation in units of a rectangular area of a fixed size called a macroblock, and the obtained motion vector and prediction residual image data are two-dimensionally discrete.
  • the signal data compressed by performing cosine transform and quantization is subjected to variable length coding.
  • packets may vary depending on network traffic conditions.
  • a method of requesting a retransmission of the lost data is generally used.
  • transmission / reception power control and the like are performed depending on the wireless reception environment of each receiver to ensure the communication quality in a short time and stabilize the received data.
  • the reconstructing means in the receiving side device is configured to execute a plurality of block data received for the same portion of the image frame (from the transmitting side device in the image frame). A plurality of block data is transmitted for the same part). Normal block data is selected from the data, the image frame is reconstructed, and an image decoding means for decoding the reconstructed image frame is also known.
  • Patent Document 3 For RTP header information and the like described later, the following Non-Patent Document 1 and the like are referred to.
  • Patent Document 1
  • Patent Document 2
  • packet loss may occur even if techniques such as retransmission control or power control in the wireless transmission path for each receiver are adopted.
  • image data that makes errors less noticeable is generated from images of frames that were temporally preceding and succeeding or that of surrounding images within the same frame that could be decoded correctly.
  • the inter-frame prediction since the inter-frame prediction is used, there is a problem that once-disturbed image is propagated to a subsequent frame.
  • a first object of the present invention is to provide a moving image distribution that suppresses an increase in traffic while reducing the traffic according to the receiving environment of the receiver.
  • An object of the present invention is to provide a method, an apparatus, a system, and a computer program for optimizing the distribution image quality.
  • a second object of the present invention is to receive image data from at least one or more sessions and select and decode the data according to the image quality in order to increase the reliability of the image distribution method. Accordingly, it is an object of the present invention to provide a method, an apparatus, a system, and a computer program capable of suppressing the disturbance of an image when a bucket loss occurs.
  • Still another object of the present invention is to provide a method, an apparatus, a system, and a computer which can suppress an increase in power consumption required on the receiving device side while achieving the first and second objects. To provide a program.
  • An apparatus that achieves at least one of the above objects, when distributing a plurality of pieces of encoded image data of the same image, performs an image encoding process according to image quality.
  • a configuration may be adopted in which a plurality of encoded image data of the same image is distributed with a time difference.
  • the present invention when distributing a plurality of pieces of encoded image data of the same image, means for selecting a session to be distributed based on image quality, and routing for a transmission path for each session selected according to image quality. And means for performing priority control and power control in the Z or wireless transmission path.
  • an apparatus configured to select a session to be distributed based on a type of an image frame and / or an image block when distributing the encoded image data.
  • Means for distributing encoded data are provided.
  • a configuration may be provided that includes means for performing priority control of routing and / or power control in a wireless transmission path.
  • an apparatus for distributing encoded image data comprising: means for selecting a plurality of sessions for distributing the encoded image data; and distributing the encoded image data in the selected session. Means.
  • means for selecting a session for delivering image encoded data, and routing for a transmission path for each session selected based on image quality means for selecting a session for delivering image encoded data, and routing for a transmission path for each session selected based on image quality.
  • the plurality of pieces of encoded image data of the same image have the same encoding scheme and frame configuration, and each transmission unit is data obtained by encoding the same part of the same frame.
  • an apparatus for receiving at least one moving image encoded data distributed from an image data distributing apparatus comprising: And means for selecting data based on image quality, and means for decoding the selected data.
  • an apparatus for receiving at least one piece of encoded video data which is distributed from an image data distribution apparatus, and determining whether or not at least one piece of image data has been received. Error in received data.Selection method based on at least one of Z loss rate, available power, and predetermined settings. It has means for selecting data based on quality, and means for decoding the selected data.
  • a method according to another aspect of the present invention is a control method for distributing image data from an image data distribution device to an image data reception device,
  • the image data distribution device when distributing a plurality of encoded image data of the same image, selects a session to distribute based on image quality;
  • a method for receiving image data from an image distribution apparatus A control method for distributing image data to a communication device,
  • the image data distribution device when distributing the encoded image data, selecting a session to distribute based on a type of an image frame and / or an image block;
  • the image data distribution device when distributing image encoded data, selects a session to be distributed based on a type of an image frame and / or an image block.
  • It includes the step of controlling the priority of routing on the transmission line for each session selected according to the image quality, and the step of performing power control in the case of a wireless transmission line.
  • a method wherein the image data receiving device receives at least one moving image coded data distributed from the image data distribution device.
  • the image data receiving device selects data from the normally received encoded data based on image quality
  • a method wherein the image data receiving device receives at least one encoded moving image data distributed from the image data distribution device.
  • the image data receiving device selects data from the normally received encoded data based on image quality
  • the image data distribution device includes a plurality of the same images.
  • Means for distributing the moving image data in different sessions means for setting the priority control of the routing on the transmission line and the power control in the wireless transmission line for each session for distributing the moving image data.
  • the image data receiving apparatus comprises: means for receiving data distributed by at least one session; selecting data from the received moving image data based on image quality; A means for reconstructing the data over time; and a means for decoding the reconstructed data.
  • the image data delivery apparatus includes means for delivering a plurality of pieces of moving image data of the same image in different sessions, and a transmission path for each session for delivering the moving image data.
  • Means for setting priority control of routing and power control in a wireless transmission path wherein the image data receiving apparatus receives data distributed by at least one session; and Means for selecting whether or not to receive one session based on at least one of an error / loss rate of received data, available power of a receiving device, and a predetermined setting; and Among them, means for selecting data based on image quality and reconstructing it into one piece of moving image data, and means for decoding the reconstructed data, Have.
  • the image data distribution device includes: moving image data; and encoded data obtained by encoding at least a part of the frame of the moving image data with an intra macroblock. It has means for distributing in different sessions, and means for setting routing priority control on the transmission path and power control in the wireless transmission path for each session for distributing moving image data.
  • the image data distribution device when the image data distribution device is in an encoding method used for encoding an I (Intra) picture, a P (Predictive) picture, and a moving image of moving image data,
  • the means for distributing the I picture and other pictures in different sessions, and the transmission path for each session for distributing the video data Means for setting priority control of routing in the wireless communication path and power control in the wireless transmission path, wherein the image data receiving apparatus receives data distributed by at least one session;
  • Moving image It has means for reconstructing data into one piece of moving image data, and means for decoding the reconstructed data.
  • the image data distribution device includes: a means for distributing, in different sessions, IZP pictures and other pictures among I pictures, P pictures, and B pictures of moving image data; Means for setting routing priority control on a transmission path and power control on a wireless transmission path for each session for distributing moving image data.
  • the image data distribution device includes: a means for distributing the I picture, the P picture, and the B picture of the moving picture data in I, P, and B pictures in different sessions. Means for setting routing priority control on the transmission path and power control on the wireless transmission path for each session for distributing moving image data.
  • the image data distribution device includes: an I picture, a P picture, and a B picture if the video data is present in the encoding scheme used for encoding the video.
  • the present invention it is possible to optimize a distributed image in accordance with the receiving environment of a receiver while minimizing an increase in network traffic in the distribution of a moving image. In this way, it is possible to perform distribution that is resistant to data errors and omissions, and to improve the reliability of moving image distribution.
  • the above two effects can be obtained without sending feedback information from the receiving side to the transmitting side.
  • FIG. 1 is a diagram showing an example of the configuration of the first exemplary embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of the configuration of the second exemplary embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of the configuration of the third exemplary embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of the configuration of the fourth exemplary embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of the configuration of the fifth exemplary embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of the configuration of the sixth embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of the configuration of the seventh exemplary embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of the configuration of the eighth embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of the configuration of the ninth embodiment of the present invention.
  • FIG. 10 is a diagram showing an example of the configuration of the tenth embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of the configuration of the eleventh embodiment of the present invention.
  • FIG. 12 is a diagram showing an example of the configuration of the 12th embodiment of the present invention.
  • the image data distribution device distributes a plurality of moving image data of the same image (for example, moving image data of different image quality) in different sessions. And means for setting routing priority control in a transmission path and power control in a wireless transmission path for each session for distributing moving image data.
  • the image data receiving apparatus side receives the data distributed in at least one session, selects data from the received moving image data based on the image quality, and converts the data into one moving image data. And means for reconstructing and decoding.
  • the image data receiving apparatus determines whether at least one session has been received, an error / loss ratio of the received data,
  • a configuration may be provided that includes means for selecting based on at least one of available power and predetermined settings.
  • FIG. 1 shows a configuration of a first embodiment of the present invention.
  • an image data distribution device 101 for distributing encoded image data an image data receiving device 108, and a transmission line 107 for transmitting the encoded image data are provided.
  • the image data distribution device 101 is connected to a transmission line 107 which is an IP (Internet Protocol) network, and uses a UDP (User Datagram Protocol) / IP to encode image data.
  • the image data receiving device 108 is a client terminal connected to the IP network.
  • the number of image data to be distributed is described as “2” for the sake of simplicity, but the number of image data to be distributed in the present invention is not limited to two. .
  • the image data distribution device 101 includes a distribution information transmission unit 102, a session information management unit 103, an image data storage and generation unit 104, and an image encoded data 1 transmission unit 105. And an image encoded data 2 transmission unit 106.
  • the image data receiving apparatus 108 includes a session information receiving section 109, an image coded data receiving section 110, an image coded data 2 receiving section 111, and a coded data reconstructing section. 1 1 2 and a decoder 1 1 3 are provided.
  • a session information receiving section 109 receives a session information from the image data distribution device 101 and the image data reception device 108 and the image data reconstructing section. 1 1 2 and a decoder 1 1 3 .
  • the image data distribution device 101 is an image data storage Z generation unit 104,
  • the image encoded data 1 The transmission unit 105 and the encoded image data 2
  • the transmission unit 106 transmits via the transmission path 107.
  • Priority routing sends and receives specific application data with priority by specifying a specific protocol and port number.
  • any known method can be used.
  • the power control in the wireless transmission path is for controlling the transmission power and controlling to an appropriate reception level.In this embodiment and each of the following embodiments, it is possible to use any known method. it can.
  • the session information management unit 103 manages information on the image quality (compression ratio) of the image encoded data 1 and the image encoded data 2 and notifies the image data receiving device 108 from the distribution information transmitting unit 102. I do.
  • the image encoded data 1 transmission unit 105 and the image encoded data 2 transmission unit 106 are used by the image data receiving device 108 to select data when a plurality of overlapping image data are received. It has a function to add information (for example, RTP header) equivalent to RTP (Real-time Transport Protocol) so that it can be rearranged correctly even if the order of received data is changed. .
  • RTP header information (for example, RTP header) equivalent to RTP (Real-time Transport Protocol) so that it can be rearranged correctly even if the order of received data is changed.
  • RTP header for the RTP header, reference is made to the above Non-patent Document 1.
  • each transmission unit of the image encoded data 1 and the image encoded data 2 is data obtained by encoding the same part of the same frame of the same image, and the same RTP sequence number is assigned to this data.
  • the image coded data 2 is set with respect to the image coded data 1 by, for example, providing a time lag that is longer than the data error or transmission loss length on the transmission line 107.
  • a time lag that is longer than the data error or transmission loss length on the transmission line 107.
  • the image quality of the image encoded data 1 and the image encoded data 2 is set to be the same, or the image encoded data 1 is transmitted to the image encoded data 1 transmitting unit 105 and the image encoded data 2 transmitting unit 1 If transmission is performed from both sides, it is possible to minimize the deterioration of the reproduced image quality in the image data receiving device when there is an error or loss on the transmission path.
  • the time difference (time (Interval) may be managed by the session information management unit 103, and the distribution information transmission unit 102 may notify the image data receiving device 108 of the image data.
  • a configuration may be adopted in which the evening distribution apparatus 101 and the image data receiving apparatus 108 are set in advance, and the image data receiving apparatus 108 sets the reception buffer amount based on the time difference.
  • the image data receiving apparatus 108 receives, from the image data distribution apparatus 101, information relating to image encoding such as image quality (compression rate) in the session information receiving unit 109, and from this information, The encoding information of the image data received from the transmission path 107 is known.
  • the distribution information transmitting unit 102 notifies the image data receiving device 108 of the information or the information is stored in advance in the image data distribution device 101 and the image data receiving device 10. You may set it between eight.
  • the encoded data reconstructing unit 112 for the duplicated image data has the function equivalent to RTP, the sequence number of the RTP header, and the payload. Based on the type, SSRC, CSRC, and / or information on the image quality received by the session information receiving unit 109, it is reconstructed into one image data, and the reconstructed data is decoded by the decoder 1. Output to 13 Since only one image data needs to be decoded, the load on the decoding process of the decoder 113 does not increase.
  • the mechanism for optimizing the quality of the delivered image depending on the receiving environment is as follows.
  • the image encoding data 1 transmission unit 105 and the image encoding data transmission unit 106 transmit the image encoding data 2 at a higher priority than the image encoding data 1 on the transmission path 107. Set to be performed. Alternatively, the image encoded data 1 transmitting unit 105 and the image encoded data 2 transmitting unit 106 are set to transmit the image encoded data 2 with higher power in the wireless transmission path.
  • Numeral 08 indicates that, for example, there is more room in the traffic on the network or the radio reception environment is better than the image data receiving apparatus 108 of the receiver B.
  • the image data receiving device 108 of the receiver A Since the image data receiving device 108 of the receiver A has sufficient network traffic or a good wireless reception environment, the high-quality image data of the image encoded data 1 and the low image encoded data 2 Both high quality image data can be received. Then, even if an error or omission occurs in the image data of the image coded data 1 in the image data receiving device 108 of the receiver A, the corresponding portion is stored in the image coded data Therefore, high-quality and stable moving image data can be reproduced according to the good reception environment.
  • the image data receiving device 108 of the receiver A is
  • control may be performed to stop receiving the image encoded data 2 and extend the use time of the apparatus as much as possible.
  • the image data receiving device 108 may receive both the image encoded data 1 and the image encoded data 2. In this way, the presence or absence of data reception can be controlled according to the available power and the reception environment.
  • the receiver A may be configured to set the number of received image data in the image data receiving device 108.
  • the image data receiving device 108 of the receiver B can receive the image encoded data 2 which is routed with high priority or wirelessly distributed with high power, and the image of the receiver A is deteriorated due to the poor reception environment. Although the quality is inferior to that of the data receiving device 108, moving image data can be reproduced.
  • the image data receiving device 108 of the recipient B At this time, for example, the image data receiving device 108 of the recipient B
  • the image data receiving device 108 of the receiver B may receive both the image data 1 and the image data 2. In this way, the presence or absence of data reception can be controlled according to the available power and the reception environment.
  • the receiver B may be able to set the number of received image data in the image data receiving device 108.
  • the distribution of encoded image data 2 with a higher compression rate and lower quality is more suitable for distribution in networks with less traffic than the encoded image data 1 of high quality. Since it is easy to transmit with higher power on a transmission path, it can be applied to distribution under a limited resource environment.
  • a configuration may be adopted in which a plurality of transmission paths are used, and the image encoded data 1 and the image encoded data 2 and information related to the image encoding are transmitted through different transmission paths.
  • a plurality of transmission paths are used, and the image encoded data 1 and the image encoded data 2 and information related to the image encoding are transmitted through different transmission paths.
  • At least one session for distributing the encoded image data 1 and the encoded image data 2 may be transmitted by a unicast method, or at least one of the sessions may be transmitted by a multicast or broadcast method. You may make it transmit by.
  • a distribution information transmission unit 102, a session information management unit 103, an image data storage Z generation unit 104, and an image encoded data 1 transmission unit 1 0 5 and the image coded data 2 transmission unit 106 are controlled by a program executed by a computer constituting the image data distribution device 101, respectively. It goes without saying that the function and processing of the above may be realized.
  • the session information receiving portion 109, the image coded data 1 receiving portion 110 and the image coded data 2 receiving portion 111, and the coded data reconstructing portion 111 It goes without saying that the functions and processes of the decoder 2 and the decoder 113 may be realized by program control executed by a computer constituting the image data receiver 108.
  • the image data distribution device transmits moving image data and encoded data obtained by intra-macroblock encoding at least a part of the frame of the moving image data in different sessions. It is provided with means for distributing, and means for setting priority control of routing on a transmission line and power control on a wireless transmission line for each session for distributing moving image data.
  • the image data receiving device receives the data distributed in at least one session, and selects data based on the image quality from the received moving image data, and reconstructs the data into one moving image data.
  • decoding means Furthermore, a configuration is provided that has a means for selecting whether or not to receive at least one session based on at least one of an error Z loss rate of received data, available power of a receiving device, and a predetermined setting. Is also good.
  • FIG. 2 is a diagram showing a configuration of a second embodiment of the present invention.
  • an image data distribution device 201 an image data reception device 208, and a transmission line 207 for transmitting encoded moving image data are provided.
  • the image data distribution device 201 is connected to a transmission line 207 that is an IP (Internet Protocol) network, and distributes image encoded data using UD PZ IP, It is assumed that the data receiving device 208 is a client terminal connected to the IP network.
  • IP Internet Protocol
  • the image data distribution device 201 includes a distribution information transmission unit 202, a session information management unit 203, an image data storage Z generation unit 204, an image encoded data transmission unit 205, and an Toller macroblock (Intra—MB) Encoded data transmission unit 206 It has.
  • the image data receiving apparatus 208 includes a session information receiving section 209, an image coded data overnight receiving section 210, an intra macroblock (Intra-MB) coded data night receiving section 211, It comprises an encoded data reconstruction unit 212 and a decoder 213.
  • a session information receiving section 209 an image coded data overnight receiving section 210
  • an intra macroblock (Intra-MB) coded data night receiving section 211 It comprises an encoded data reconstruction unit 212 and a decoder 213.
  • the image data distribution device 201 is an image data storage / generation unit 204
  • the transmission unit 205 and the intra-macroblock (Intra-MB) coded data transmission unit 206 transmits the data via the transmission path 207.
  • the session information management unit 203 transmits the code It manages information on the type of data conversion, and notifies the distribution information transmitting unit 202 to the image data receiving device 208.
  • the image coded data transmission unit 205 and the Intra-MB coded data transmission unit 206 receive data when a plurality of overlapping image data are received by the image data reception device 208. It has a function to add information corresponding to RTP so that the user can select the data and even if the order of the received data is changed, so that the data can be rearranged correctly. At this time, the same RTP sequence number is assigned to the same part of the image to be coded by the intra-macroblock coded data, and whether the data is an image-coded data or an intra-macroblock. Payload Evening and / or SSRC and / or CSRC may be added.
  • intra-macroblock coded data is used for image coded data, for example, based on a data error on the transmission path 207 or a burst length of loss. If a transmission is performed with a time difference such that the length becomes longer, both the image coded data and the Intra macroblock coded data are erroneous on the transmission path. If the image data receiving device has a receiving buffer longer than this time difference, the image data receiving device can deliver more stable image data.
  • the time difference between the transmission of a plurality of encoded image data of the same image is managed by the session information management unit 203, and the distribution information transmission unit 202 transmits the image data from the image data reception device 2 08, or set in advance between the image data delivery device 201 and the image data receiving device 208, and the image data receiving device 208 sets the receiving buffer amount based on the time difference. May be.
  • the image data receiving device 208 receives the information on the coded data type from the image data distribution device 201 in the session information receiving unit 209, and from this information, receives the information from the transmission path 207. Know the type of encoded data.
  • At least one of them is notified to the image data receiving apparatus 208 by the distribution information transmitting section 202, or the information is previously transmitted to the image data transmitting apparatus 201 and the image data receiving apparatus 2 It may be set between 0 and 8.
  • the duplicated image data is converted to a function equivalent to RTP by the encoded data reconstructing unit 212 and the sequence number of the RTP header. , Payload type, SSRC, CSRC: and / or information received by the session information receiving unit 209 to reconstruct one image data and output it to the decoder 213. Since only one image data needs to be decoded, the load on the decoding process of the decoder 213 does not increase.
  • the mechanism for optimizing the quality of the delivered image depending on the receiving environment is as follows.
  • the intra macroblock selects and encodes only a part of macroblocks, such as a portion having a large motion vector, from the frame to be encoded.
  • Image coded data transmission unit 205 and Intra—MB coded data transmission unit 206 transfers image coded data to transmission line 207 with higher priority than intra macroblock coded data. Set to be routed by. Alternatively, the image coded data transmission unit 205 and the Intra-MB coded data transmission unit 206 are set to transmit the image coded data with higher power in the wireless transmission path.
  • Reference numeral 8 denotes, for example, one having more network traffic or a better wireless reception environment than the image data receiving device 208 of the receiver B.
  • the image data receiving device 208 of the receiver A receives both the image coded data and the intra-macroblock coded data because there is enough traffic or the wireless reception environment is good. can do. Then, in the image data receiving apparatus 208 of the receiver A, even if there is an error or omission in a part of the coded image data, the coded data of the macro block at that location is transferred to the intra-macro block code. If it can be received from structured data, it can be complemented. Alternatively, macroblocks that have been degraded due to errors or omissions can be corrected, so that stable moving image data can be reproduced according to the good reception environment.
  • the image data receiving device 208 of the receiver B can receive the image coded data routed with high priority or wirelessly distributed with high power, and the image of the receiver A can be received because of the poor reception environment.
  • the moving image data can be reproduced, although there is a possibility that the number of errors and omissions may increase in comparison with the data receiving device 208.
  • the image data receivers 208 of the receivers A and B are used in an environment where power is limited, such as when operating on a battery / battery, and / or If the reception environment is good and the image-encoded data can be received almost without errors or omissions, the reception of the intra-macroblock-encoded data is stopped and the equipment is not used.
  • the working time may be made as long as possible.
  • a large-capacity battery or AC power is connected, it receives both image-encoded data and intra-macroblock-encoded data. Can also be controlled.
  • the type of the received image encoded data may be set to the image data overnight receiving device 208 by the receiver.
  • the encoded data reconstructing unit 212 periodically makes one intra macroblock periodically.
  • CIR Cyclic Intra Refresh
  • a plurality of transmission paths may be used to transmit image encoded data, intra macroblock encoded data, and information on these image encodings via different transmission paths.
  • At least one session is transmitted by the unicast method, and at least one is transmitted by the multicast or broadcast method in the session for distributing the image coded data and the Inner macroblock coded data. You may send it.
  • a distribution information transmission unit 202, a session information management unit 203, an image data storage Z generation unit 204, and an image encoded data transmission unit Regarding 205 and the intra-macroblock coded data transmission unit 206 their functions and processes may be realized by program control executed by a computer constituting the image data distribution device 201.
  • the session information receiving section 209, the image coded data receiving section 210, the intra macroblock coded data receiving section 211, and the coded data reconstructing section 21 2 and the decoder 2 13 are controlled by programs executed by a computer constituting the image data receiving device 208, respectively. It goes without saying that the function and processing of the above may be realized.
  • the image data distribution device side uses an I (Intra) picture, a P (Predictive) picture of moving image data, and an encoding method used for encoding moving images. If it exists in the B (Bidirection yp yp redictive) picture, the means for distributing the I picture and the other pictures in different sessions, and the transmission path for each session for distributing video data Means for setting the routing priority control and power control in the wireless transmission path.
  • the image data receiving device side includes: means for receiving data distributed by at least one session; and means for reconstructing the received moving image data into one moving image data and decoding the same. ing. Furthermore, a configuration including means for selecting whether or not to receive at least one session based on at least one of an error / loss rate of received data, available power of a receiving device, and a predetermined setting is provided. Is also good.
  • FIG. 3 is a diagram showing a configuration of a third embodiment of the present invention. As shown in FIG. 3, it is composed of an image data distribution device 301, an image data reception device 308, and a transmission path 307 for transmitting encoded image data.
  • the image data distribution device 301 is connected to a transmission path 307 which is an IP network, distributes image encoded data using UDP / IP, and the image data reception device 308 is connected to the IP network. It is assumed that the client terminal is connected. For the sake of simplicity, the description will be made on the assumption that there are three frame types of I picture, P picture, and B picture in the encoding method of the image data to be distributed.
  • the image data distribution device 301 includes a distribution information transmission unit 302, a session information management unit 303, an image data storage Z generation unit 304, an I picture encoded data transmission unit 305, and a P / B picture encoded data transmission unit 306. It has.
  • the image data overnight receiving apparatus 308 includes a session information receiving section 309, an I picture coded data receiving section 310, a PZB picture coded data receiving section 311, It has a data reconstruction unit 312 and a decoder 313.
  • a session information receiving section 309 receives data from the image data delivery device 301 and the image data receiving device 308 and a decoder 313.
  • the image data distribution device 301 is an image data overnight storage and generation unit 304.
  • the transmission section 305 and the PZB picture coded data transmission section 306 transmit the data via the transmission path 307.
  • the session information management unit 303 manages the picture information distributed from each session, and notifies the distribution information transmission unit 302 to the image data receiving device 310.
  • the I-picture coded data transmission section 305 and the PZB coded picture data transmission section 306 are correctly connected to the image data receiving apparatus 308 even if the order of the received data is changed. It has a function to add information corresponding to RTP so that it can be rearranged.
  • the image data receiving device 308 receives the information on the image encoding from the image data distribution device 301 in the session information receiving unit 309, and from this information, the image received from the transmission path 307. Know the picture type of the data.
  • the received I-picture, P-picture, and B-picture coded data are encoded by the coded data reconstructing unit 312, where the function corresponding to RTP, the sequence number of the RTP header, the payload type, SSRC, CSRC, and Z Alternatively, it reconstructs one image data based on the information received by the session information receiving unit 309, and outputs it to the decoder 313.
  • the mechanism for optimizing the quality of delivered images depending on the receiving environment is as follows.
  • the I-picture coded data transmitting section 305 and the PZB-picture coded data transmitting section 306 place the I-picture coded data on the transmission path 307 at a higher priority than the PZB picture coded data. Set to be routed by. Alternatively, the I-picture coded data transmission unit 305 and the PZB-picture coded data transmission unit 306 are set to transmit the I-picture coded data with higher power in the wireless transmission path.
  • the image data receiving device 308 of the receiver A and the image data receiving device 308 of the receiver B are receiving the moving image data to be distributed, and the image data receiving device 300 of the receiver A 8 has, for example, more network traffic or a better wireless reception environment than the receiver B's image data receiving device 308.
  • the image data receiving device 308 of the receiver A should receive both the I picture coded data and the P / B picture coded data because there is sufficient traffic or the radio reception environment is good. This makes it possible to reproduce high-quality moving image data with smooth motion according to the good reception environment.
  • the image data receiving device 308 of the receiver B can receive the I-picture coded data routed with high priority or wirelessly distributed with high power, and the receiver A has a poor reception environment. Although the quality is inferior to that of the image data receiver 308, it can reproduce moving image data.
  • the receiver If you want to keep the device running longer than the image quality, The reception of the P / B picture encoded data may be stopped, and the use time of the device may be extended as much as possible.
  • the image data receiving device 308 may receive encoded data of all pictures. In this way, the presence or absence of data reception can be controlled according to the available power and the reception environment.
  • the type of the coded received picture data may be set to the image data receiving device 308 by the receiver.
  • a plurality of transmission paths may be used, and the I-picture coded data, the PZB-picture coded data, and the information related to the image coding may be transmitted through different transmission paths.
  • At least one session for distributing the I picture encoded data and the PZB picture encoded data may be transmitted by the unicast method, or at least one may be transmitted by the multicast or broadcast method. You may make it transmit.
  • a distribution information transmission unit 302 a session information management unit 303, an image data accumulation / generation unit 304, and an I picture encoding
  • the functions and processing of the data transmission unit 304 and the P / B picture coded data transmission unit 303 are realized by program control executed by a computer constituting the image data distribution device 301. Needless to say, this may be done.
  • the functions of the decoder 312 and the decoder 313 are controlled by a program executed by a computer constituting the image data receiver 3108. Of course, the processing may be realized.
  • the image data distribution apparatus performs the IZP picture and the other pictures out of the I picture, P picture, and B picture of the moving picture data in different sessions. It is provided with means for distributing, and means for setting routing priority control on the transmission path and power control on the wireless transmission path for each session for distributing moving image data.
  • the image data receiving apparatus includes: means for receiving data distributed by at least one session; and means for reconstructing the received moving image data into one moving image data and decoding the same. Furthermore, a configuration including means for selecting whether or not to receive at least one session based on at least one of an error / loss rate of received data, available power of a receiving device, and a predetermined setting is provided. Is also good.
  • FIG. 4 is a diagram showing a configuration of a fourth embodiment of the present invention. As shown in FIG. 4, it is composed of an image data distribution device 401, an image data reception device 408, and a transmission path 407 for transmitting encoded image data.
  • the image data distribution device 401 is connected to a transmission line 407, which is an IP network, and distributes image encoded data using UDP / IP.
  • 08 is a client terminal connected to the IP network.
  • a transmission line 407 which is an IP network
  • UDP / IP IP
  • 08 is a client terminal connected to the IP network.
  • the image data distribution device 401 includes a distribution information transmission unit 402, a session information management unit 403, an image data storage / generation unit 404, and an I / P picture coded data transmission unit 405. And a B-picture coded data transmission unit 406.
  • the image data receiving apparatus 408 includes a session information receiving section 409, an IZP picture coded data receiving section 410, a B picture coded data receiving section 4111, and a coded data reconstructing section 4. 12 and a decoder 4 13.
  • the image data distribution device 4 01 is an image data storage / generation unit 4 04,
  • the I / P picture based on the routing priority information on the transmission path 407 for each session and / or the power control information on the wireless transmission path set by the session information management unit 403
  • the data is transmitted by the coded data transmission unit 405 and the B-picture coded data transmission unit 406 via the transmission path 407.
  • the session information management unit 403 manages the picture information distributed from each session, and notifies the distribution information transmission unit 402 to the image data receiving device 408.
  • the I ZP picture coded data transmitting section 405 and the B picture coded data transmitting section 406 are correctly rearranged by the image receiving apparatus 408 even if the order of the received data is reversed.
  • the image data receiving apparatus 408 having the function of adding information corresponding to RTP receives the information relating to the image encoding distributed from the image data distribution apparatus 401 in the session information receiving section 409. From this information, the picture type of the image data received from the transmission path 407 is known.
  • the session information management section 4003 The session information management section 4003
  • the received I-picture, P-picture, and B-picture coded data are encoded by the coded data reconstructing unit 4 12, which is equivalent to the RTP function, sequence number of the RTP header, payload type, SSRC, CSRC, and / or Session information receiver 4 0
  • the image data is reconstructed into one image data based on the information received in step 9 and output to the decoder 4 13.
  • the mechanism for optimizing the quality of the delivered image depending on the receiving environment is as follows.
  • the I / P picture coded data transmission unit 405 and the B picture coded data transmission unit 406 transmit the I / P picture coded data on the transmission path 407 from the B picture coded data Is also set to be routed with high priority.
  • the I / P picture encoded data is transmitted with higher power in the wireless transmission path by the IZB picture encoded data transmitting section 405 and the B picture encoded data transmitting section 406.
  • Reference numeral 408 denotes that, for example, the network data has more room or the wireless reception environment is better than that of the image data receiving device 408 of the receiver B.
  • the image data receiving device 408 of the receiver A can receive both the IZP picture coded data and the B picture coded data because there is sufficient traffic or the radio reception environment is good. It is possible to reproduce high-quality moving images with smooth motion according to the good reception environment.
  • the image data receiving device 408 of the receiver B can receive the I / P picture coded data routed with high priority or wirelessly distributed with high power, and the reception environment is inferior. Although the quality is lower than that of the image data receiving device 408 of the receiver A, it can reproduce the moving image data.
  • the image data receiving devices 408 of the receivers A and B are used in an environment where power is limited, such as when operating on a battery, for example, if the receivers If it is desired to maintain the usage time of the device longer than that, the reception of B-picture coded data may be stopped and the usage time of the device may be extended as much as possible.
  • the image data receiver 408 is connected to a large capacity battery or AC power. In this case, the coded data of all pictures may be received. In this way, it is also possible to control whether or not to receive data according to the available power and the reception environment.
  • the type of the coded picture data may be set so that the receiver can set the picture data receiving device 408.
  • a configuration may be adopted in which a plurality of transmission paths are used, and izp picture coded data, B picture coded data, and information related to image coding thereof are transmitted through different transmission paths.
  • At least one session for distributing the IZP picture encoded data and the B picture encoded data may be transmitted by the unicast method, or at least one of the sessions may be multicast or broadcast. You may make it transmit by a private method.
  • a distribution information transmission unit 402 a session information management unit 403, an image data storage Z generation unit 404, and IZP picture encoded data transmission
  • the functions and processes of the unit 405 and the B-picture coded data transmission unit 406 may be realized by program control executed by a computer constituting the image data distribution device 401.
  • the good thing is, of course.
  • the image data distribution device includes an I-picture of moving image data. Of I, P, and B pictures among the pictures, P pictures, and B pictures, means for distributing in different sessions, and the priority of routing on the transmission line for each session for distributing video data And a means for setting power control in a wireless transmission path.
  • the image data receiving apparatus includes: means for receiving data distributed by at least one session; and means for reconstructing and decoding the received moving image data into one moving image data. Furthermore, a configuration including means for selecting whether or not to receive at least one session based on at least one of an error / loss rate of received data, available power of a receiving device, and a predetermined setting is provided. Is also good.
  • FIG. 5 shows an example of the configuration of the fifth embodiment of the present invention.
  • the image data distribution device 501 is connected to a transmission line 508 which is an IP network, distributes image encoded data using UDP / IP, and Is a client terminal connected to the IP network.
  • a transmission line 508 which is an IP network, distributes image encoded data using UDP / IP, and Is a client terminal connected to the IP network.
  • the image data distribution device 501 includes a distribution information transmission unit 502, a session information management unit 503, an image data storage / generation unit 504, an I-picture coded data transmission unit 505, P It comprises a coded picture data transmitting section 506 and a coded B picture data transmitting section 507.
  • the image data receiving apparatus 509 includes a session information receiving section 510, an I picture coded data receiving section 511, a P picture coded data receiving section 511, and a B picture coded. It has a data receiving section 513, an encoded data reconstructing section 514, and a decoder 515.
  • the image data distribution device 501 is an image data storage and generation unit 504, W
  • the transmission section 505, the P picture coded data transmission section 506, and the B picture coded data transmission section 507 transmit the data via the transmission path 508.
  • the session information management unit 503 manages picture information distributed from each session, and notifies the distribution information transmission unit 502 to the image data receiving device 509.
  • the I-picture coded data transmitting section 505, the P-picture coded data transmitting section 506, and the B-picture coded data transmitting section 507 are arranged in the image data receiving apparatus 509 so that the order of the received data is It has a function to add information corresponding to RTP so that it can be sorted correctly even if it is replaced.
  • the image data receiving device 509 receives the information on the image encoding from the image data distribution device 510 in the session information receiving unit 510, and from the information, the image received from the transmission path 508 Know the picture type of the data.
  • the distribution information transmitting section 502 notifies the image data receiving apparatus 509 of the information.
  • the information is transmitted in advance to the image data distribution apparatus 501 and the image data receiving apparatus 500. It may be set between 9 hours.
  • the received I'-picture, P-picture, and B-picture coded data are converted by the coded data reconstructing unit 514 into functions corresponding to RTP, RTP header sequence number, payload type, SSRC, CSRC, and / or , Session information receiver 5 1 Based on the information received in 0, the image data is reconstructed into one image data and output to the decoder 5 15.
  • the mechanism for optimizing the quality of the delivered image depending on the receiving environment is as follows.
  • the I-picture coded data transmitting section 505, the P-picture coded data transmitting section 506, and the B-picture coded data transmitting section 507 use the I-picture coded data on the Set so that the P picture coded data is routed at the highest priority, the P picture coded data at the next priority, and the B picture coded data at the lowest priority.
  • the I-picture coded data transmission unit 505, the P-picture coded data transmission unit 506, and the B-picture coded data transmission unit 507 have the highest I-picture coded data in the wireless transmission path.
  • the power is set so that the P picture encoded data is transmitted at the next power, and the B picture is transmitted at the lowest power.
  • the image data receiving devices 509 of the receivers A, B, and C are receiving the moving image data to be distributed, and the image data receiving devices 509 of the receiver A are From the receiver B's image data receiving device 509, the receiver B's image data receiving device 509 can be received from the receiver C's image data receiving device 509, for example, if there is enough network traffic or wireless reception The environment is good. Since the image data receiving device 509 of the receiver A has sufficient traffic or a good wireless reception environment, any one of the I-picture coded data, the P-picture coded data, and the B-picture coded data And can reproduce the highest quality moving image data with smooth motion according to the good reception environment.
  • the image data receiving apparatus 509 of the receiver B has the highest priority, the routing with the next priority or the highest power, the I-picture coded data wirelessly distributed with the next power, and P It can receive picture-encoded data, and its quality is inferior to that of receiver A due to the poor reception environment, but it can play back moving images with relatively smooth motion.
  • the image data receiving device 509 of the receiver C can receive the I-picture coded data routed with the highest priority or wirelessly distributed with the highest power. Because the reception environment is inferior, the quality is inferior to the image data receiving device 509 of the receiver A and the receiver B, but the moving image data can be reproduced.
  • the image data receiving apparatus 509 of the receivers A, B, and C is used in an environment with limited power, such as when operating on a battery / battery. If the receiver wants to maintain the usage time of the device longer than the image quality, stop receiving B-picture coded data of less important data, or further receive B-pictures and P-pictures. By stopping, the usage time of the device may be made as long as possible.
  • the image data receiving device 509 is connected to a large-capacity battery or AC power supply, it will receive more important encoded data depending on the available power and reception environment. Thus, the presence or absence of data reception can be controlled.
  • the received picture coded data type may be set to the image data receiver 509 by the receiver.
  • the traffic load is high.
  • flexible priority setting and power control can be performed according to the situation, and moving image data can be distributed with little quality fluctuation.
  • a plurality of transmission paths are used, and I-picture coded data, B-picture coded data, and P-picture coded data, and information about these picture codings are transmitted through different transmission paths. It is good also as a structure which performs.
  • At least one session for distributing the I-picture coded data, the P-picture coded data, and the B-picture coded data may be transmitted by the unicast method. However, at least one may be transmitted by multicast or broadcast.
  • a distribution information transmitting unit 502 a session information managing unit 503, an image data accumulating / generating unit 504, and an I picture coded data overnight transmitting unit 5 05, a P-picture coded data transmitting section 506, and a B-picture coded data transmitting section 507,
  • each function and processing may be realized by program control executed in the evening.
  • the session information receiver 510 In the image data overnight receiver 509, the session information receiver 510, the I picture coded data receiver 511, the P picture coded data receiver 511, the B picture code
  • the functions and processing of the encoded data receiving section 5 13, the encoded data reconstructing section 5 14, and the decoder 5 15 are controlled by a program executed by a computer constituting the image data receiving apparatus 5 09. Needless to say, it may be possible to realize.
  • the image data distribution apparatus includes: an I-picture, a P-picture of moving image data, and a B-picture when the encoding method used for encoding the moving image is present.
  • the image data receiving device receives the data transmitted in at least one session, selects data based on image quality from the received moving image data, and reconstructs the data into one moving image data.
  • Means for decrypting the data Further, a configuration including means for selecting whether or not to receive at least one session based on at least one of an error / loss rate of received data, available power of a receiving device, and a predetermined setting. Is also good.
  • FIG. 6 is a diagram showing a configuration of a sixth embodiment of the present invention. As shown in FIG. 6, it is composed of an image data distribution device 601, an image data reception device 610, and a transmission path 609 for transmitting encoded image data.
  • the image data distribution device 601 is connected to a transmission path 609 which is an IP network, distributes image encoded data using UDP / IP, and receives an image data reception device 610.
  • I-picture I-picture, P-picture, and B-picture in the encoding method of the image data to be distributed. Will be explained.
  • the image data distribution device 600 includes a distribution information transmission unit 602, a session information management unit 603, an image data storage / generation unit 604, and an I-picture coded data transmission unit 605, P It includes a picture coded data transmission section 606, a B picture coded data transmission section 607, and an intra-macro block (Intra-MB) coded data transmission section 608.
  • a distribution information transmission unit 602 a session information management unit 603, an image data storage / generation unit 604, and an I-picture coded data transmission unit 605, P It includes a picture coded data transmission section 606, a B picture coded data transmission section 607, and an intra-macro block (Intra-MB) coded data transmission section 608.
  • IP-MB intra-macro block
  • the image data receiving device 610 includes a session information receiving portion 611, an I-picture coded data receiving portion 612, a P-picture coded data receiving portion 613, and a B-picture coded data receiving portion.
  • Unit 614, Intra-macroblock (Intra-MB) coded data receiving unit 615, coded data reconstructing unit 616, and decoder 617 are provided.
  • Intra-macroblock (Intra-MB) coded data receiving unit 615 Intra-macroblock (Intra-MB) coded data receiving unit 615, coded data reconstructing unit 616, and decoder 617 are provided.
  • the image data distribution device 600 is an image data storage Z generation unit 604,
  • P-picture coded data transmitting section 606, B-picture coded data transmitting section 607, and Intra-MB coded data transmitting section 608, Based on the routing priority information on the transmission path 609 for each session and / or the power control information on the wireless transmission path set by the session information management section 603, 05, P-picture coded data transmitting section 606, B-picture coded data transmitting section 607, and Intra-MB coded data transmitting section 608, and transmit via transmission path 609.
  • the session information management unit 603 manages the picture information to be distributed from each session, and the distribution information transmission unit 602 notifies the image data receiving device 610.
  • the I-picture coded data transmitting section 605, the P-picture coded data transmitting section 606, the B-picture coded data transmitting section 607, and the Intra-MB coded data transmitting section 608 uses RTP so that when multiple overlapping image data are received, the data can be selected and the data can be sorted correctly even if the order of the received data is changed. It has a function to add corresponding information. At this time, for example, intra-macroblock encoded data is encoded.
  • the same RTP sequence number is assigned to the I / PZB picture coded data of the same part of the image to be processed, and a payload type indicating whether the data is image coded data or an intra macro block, and / or SSRC and / or CSRC may be added.
  • the I / P ZB picture coded data is processed so that the intra-macroblock coded data is longer than the burst length of the data error or loss on the transmission path 609, for example. If the transmission is performed with a large time difference, the possibility that both the IZP / B picture coded data and the Intra macroblock coded data are erroneous or lost in the transmission path is reduced, and image data reception is reduced. If the device has a reception buffer longer than this time difference, more stable distribution of image data can be achieved.
  • the session information management unit 603 manages the time difference between the transmission of a plurality of pieces of encoded image data of the same image, and notifies the distribution information transmission unit 602 to the image data receiving device 610.
  • the transmission time difference is determined in advance between the image data distribution device 61 and the image data receiving device 61, and based on the time difference, the image data receiving device
  • the image data receiving device 610 receives the information on the image encoding from the image data distribution device 601 in the session information receiving portion 611, and from this information, From 09, the picture and block type of the received image data are known.
  • At least one of them is notified to the image data receiving device 6100 by the distribution information transmitting unit 6102, or the information is transmitted in advance to the image data receiving device 6101 and the image data receiving device 6101. It may be set between the devices 609.
  • the received I-picture, P-picture, B-picture, and Intra-macroblock coded data are processed by the coded data reconstructing unit 6 16 into functions equivalent to RTP, RTP header sequence number, payload type, SSRC, Based on the information received by the CSRC and / or the session information receiving unit 611, it reconstructs one image data and outputs it to the decoder 617. Since only one image data needs to be decoded, the load on the decoding process of the decoder 617 does not increase.
  • the mechanism for optimizing the quality of the delivered image depending on the receiving environment is as follows.
  • the intra macroblock only some macroblocks, such as a portion having a large motion vector, are selected and encoded from the frame to be encoded.
  • the I-picture coded data transmission section 605 the P-picture coded data transmission section 606, the B-picture coded data transmission section 607, and the Intra-MB coded data transmission section 608, , On the transmission line 609,
  • an I-picture coded data transmission section 605 a P-picture coded data transmission section 606, a B-picture coded data transmission section 607, and an Intra-MB coded data transmission section In the transmission section 608, in the wireless transmission path,
  • the receiver A's image data receiver 6 1 0 is the receiver B's image data receiver 6 1 From 0,
  • the image data receiving device 610 of the receiver B is transmitted from the image data receiving device 610 of the receiver C.
  • the image data receiving device 610 of the receiver C has more network traffic than the image data receiving device 610 of the receiver D, or that the wireless reception environment is favorable.
  • the image data receiving device 6 10 of the receiver A Since the image data receiving device 6 10 of the receiver A has sufficient traffic or a good wireless reception environment, the I-picture encoded data, the P-picture encoded data, the B-picture encoded data, It can receive any of the Intra macroblock coded data, and can reproduce the highest quality video data with smooth motion according to the good reception environment.
  • the coded data of the corresponding macro block is converted to an integer macro.
  • Block coded data If received in the evening, it can be complemented, or macroblocks that have deteriorated due to errors or omissions can be corrected, so that stable moving image data according to the good reception environment Can be played.
  • the image data receiving device 6 10 of the receiver B has the highest priority, the next priority, the routing with the next priority, or the highest power, the next power, and the next power It is possible to receive I picture encoded data, P picture encoded data, and B picture encoded data wirelessly distributed at.
  • the image data receiving device 610 of the receiver B when an error or omission occurs in a part of the image encoded data, the data is complemented or supplemented like the image data receiving device 610 of the receiver A.
  • the image quality is degraded because it cannot be corrected, but in other cases, video data of the same quality can be reproduced.
  • the image data receiving device 6 10 of the receiver C has the highest priority, the routing with the next priority, or the highest power, the I-picture coded data wirelessly distributed with the next power, and P Because of the reduced reception environment, which can receive picture-encoded data, the moving image data has relatively poorer quality than the image data receiving devices 6 10 of the receivers A and B, but the motion is relatively smooth. Can be played.
  • the image data receiving device 610 of the receiver D can receive the I-picture coded data which is routed with the highest priority or wirelessly distributed with the highest power. Although the quality is lower than that of the image data receiving device 610 of the receiver A, the receiver B, and the receiver C, the video data can be reproduced.
  • the image data receiving device 610 of the receivers A, B, C, and D is used in an environment with limited power, such as when operating on a battery / battery. If the user wants to maintain the usage time of the device longer than the image quality, stop receiving the less important macroblock-coded data, and then stop the B-picture coded data. By stopping the reception and further stopping the reception of the P picture, the power consumption may be reduced and the use time of the device may be extended as much as possible.
  • the image data receiver 610 is connected to a large-capacity battery or AC power, the available power and reception The presence or absence of data reception can also be controlled according to.
  • the type of the received picture coded data may be set in the image data receiving apparatus 610 by the receiver.
  • the coded data reconstructing unit 6 By selecting block-coded data, even if an error or loss occurs on the transmission path, the same effect as CIR (Cyclic Intra Refresh) in MPEG-4 coding can be obtained. By quickly recovering the degradation of the reproduced image quality due to errors or losses in the transmission path, it is possible to minimize the propagation of the subsequent quality degradation to the frame.
  • CIR Cyclic Intra Refresh
  • a plurality of transmission paths are used, and It is a matter of course that the encoded encoded data, encoded P-picture data, encoded intra-macroblock data, and information on these data may be transmitted through different transmission paths.
  • At least one session for transmitting I-picture coded data, P-picture coded data, B-picture coded data, and intra-macroblock coded data is transmitted by the unicast method.
  • at least one of them may be transmitted by multicast or broadcast.
  • the P-picture coded data transmitting section 606, the B-picture coded data transmitting section 607, and the intra-macroblock coded data transmitting section 608 are composed of a computer constituting the image data distribution device 601. It goes without saying that each function and processing may be realized by controlling the program to be executed.
  • the session information receiving portion 611 the I-picture coded data receiving portion 612, the P-picture coded data receiving portion 613, and the B-picture coded data
  • the image data distribution device transmits a plurality of moving image data (for example, moving image data having different image qualities) of the same image and error correction code data in different sessions.
  • the image data overnight receiving device side receives the data distributed by at least one session, and recovers the moving image data lost due to an error or loss in the transmission path using the error correction code data.
  • the image data receiving apparatus determines whether or not at least one session has been received, by determining an error / loss rate of received data, available power of the receiving apparatus, and a predetermined value.
  • a configuration may be provided that includes means for selecting based on at least one of the settings.
  • FIG. 7 shows the configuration of the seventh embodiment of the present invention.
  • an image data distribution device 701 for distributing encoded image data an image data receiving device 708, and a transmission line 7 for transmitting the encoded image data and the error correction code data.
  • 07 which correspond to the image data distribution device 101, the image data reception device 108, and the transmission path 107 of the first embodiment, respectively.
  • Each of the components 702 to 706 constituting the image data distribution device 701 and the components 709 to 713 constituting the image data receiving device 708 are respectively the same as those of the first embodiment.
  • the elements correspond to the elements 102 to 106 of the image data distribution apparatus 101 and the elements 109 to 113 of the image data receiving apparatus 108.
  • the number of image data to be distributed is assumed to be “2” and the number of error correction code data generated from one encoded data is assumed to be “1”. It is a matter of course that the number of image data to be distributed in is not limited to “2” and the number of error correction code data is not limited to “1”.
  • the image data distribution device 701 includes a distribution information transmission unit 702, a session information management unit 703, an image data storage generation unit 704, an image encoded data 1 transmission unit 705, It has an image encoded data 2 transmission unit 706 and an FEC (forward error correction) coded data transmission unit 714.
  • a distribution information transmission unit 702 a session information management unit 703, an image data storage generation unit 704, an image encoded data 1 transmission unit 705, It has an image encoded data 2 transmission unit 706 and an FEC (forward error correction) coded data transmission unit 714.
  • FEC forward error correction
  • the image data receiving apparatus 708 includes a session information receiving section 709, an image coded data overnight receiving section 710, an image coded data 2 receiving section 711, and a coded data reconstructing section 711. 2, a decoder 7 13, and a FEC code data receiving section 7 15.
  • the session information management unit 703 manages information on the image quality (compression ratio) of the encoded image data 1 and the encoded image data 2 and the error correction code data, and notifies the image data receiving device 708 from the distribution information transmitting unit 702. I do.
  • the FEC code data transmission section 714 has a function of adding information corresponding to RTP (for example, a sequence number of an RTP header) so as to know which part of the image coded data is the error correction code data. Still further, a pay mouth type and / or SSRC and Z or CSRC indicating that the data is error correction code data may be added.
  • 'Error correction code setting (for example, parity check matrix data in LDPC code or setting to generate this),
  • At least one of the above may be set and notified to the image data receiving device 708 by the distribution information transmitting unit 702, and such information may be transmitted in advance to the image data transmitting device 701 and the image data receiving device 710. It may be set between the devices 708.
  • the coded data reconstructing unit 712 converts the error correction code data received by the FEC code data receiving unit. To restore the coded image data 1.
  • the mechanism for optimizing the quality of the distributed image according to the receiving environment is also the same as in the first embodiment, and the image data receiving device 708 having a favorable receiving environment is configured to transmit the image encoded data 1, 2, and Error correction code data can be received, and higher quality and stable moving image data can be reproduced.
  • the priority of routing on a transmission path and the transmission power on a wireless transmission path can be controlled for each session for distributing these, distribution can be performed in consideration of network resources.
  • the error correction coding data is generated according to some patterns of error or loss in the transmission path, and the content receiving apparatus 708 is most suitable for the reception environment.
  • the content distribution device 701 By recovering erroneous Z-loss data on the transmission line using suitable error-correcting code data, it is possible to obtain the original content coded data with a higher probability.
  • the content distribution device 701 notifies the content reception device 708 of the transmission path condition to which the respective error correction coded data is suitable, or the setting for generating the error correction coded data. (For example, a parity check matrix in the LDPC system or setting information for generating the matrix) or is determined in advance between the content distribution device 701 and the content reception device 708 Is also good.
  • the error correction code systems may be different, and the error correction code data that can be decoded is selected according to the reception environment and processing capacity of the content receiving device 708. Is also good.
  • the content distribution device 701 notifies the content reception device 708 of each error correction code type. Alternatively, this may be determined in advance between the content distribution device 701 and the content reception device 708.
  • a plurality of transmission paths are used, and the image coded data 1 and the image coded data 2, the error correction code data, and the information related to the image coding are transmitted through different transmission paths.
  • the image coded data 1 and the image coded data 2, the error correction code data, and the information related to the image coding are transmitted through different transmission paths.
  • the session for distributing the encoded image data 1 and the encoded image data 2 and the error correction code data may be transmitted by the unicast method, or transmitted by the multicast or the broadcast method. You may do so.
  • a distribution information transmission unit 702 a session information management unit 703, an image data storage / generation unit 704, and an image encoded data 1 transmission unit 7 5, the image coded data 2 transmission unit 706, and the FEC code data overnight transmission unit 714, the respective functions of which are controlled by a program executed by a computer constituting the image data distribution device 701.
  • the processing may be realized.
  • the decoder 713 and the FEC code data receiving unit 715 may realize their respective functions and processing by program control executed by a computer constituting the image data receiving device 708. The good thing is, of course.
  • the image data distribution device includes: moving image data; encoded data obtained by performing intra-block macroblock encoding on at least a part of the frame of the moving image data; and error correction code data.
  • the image data receiving device is provided with a means for receiving the data distributed in at least one session and an error or loss in the transmission path.
  • a configuration is provided with means for selecting whether or not to receive at least one session based on at least one of an error / loss rate of received data, available power of a receiving device, and a predetermined setting. Is also good.
  • FIG. 8 is a diagram showing a configuration of an eighth embodiment of the present invention.
  • an image data distribution device 801, an image data receiving device 808, and a transmission line 807 for transmitting moving image coded data and error correction code data are provided. These correspond to the image data distribution device 201, the image data reception device 208, and the transmission path 207 of the second embodiment, respectively.
  • each of the elements 800 to 806 constituting the image data distribution device 801 and each of the elements 809 to 813 constituting the image data receiving device 808 are the same as those of the second embodiment.
  • the error correction code data is assumed to be generated from the image coded data, and the number of error correction code data generated from one coded data is assumed to be “1”. However, it goes without saying that the number of error correction code data is not limited to “1”.
  • the image data distribution device 800 includes a distribution information transmission unit 802, a session information management unit 803, an image data storage Z generation unit 804, an image encoded data transmission unit 805, It has a Toler macroblock (Intra-MB) coded data transmission unit 806 and an FEC coded data transmission unit 814.
  • a distribution information transmission unit 802 a session information management unit 803, an image data storage Z generation unit 804, an image encoded data transmission unit 805, It has a Toler macroblock (Intra-MB) coded data transmission unit 806 and an FEC coded data transmission unit 814.
  • IP-MB Toler macroblock
  • the image data receiving device 808 includes a session information receiving unit 809, an image coded data receiving unit 810, an intra macroblock (Intra-MB) coded data evening receiving unit 811, It includes an encoded data reconstruction unit 812, a decoder 813, and an FEC encoded data receiving unit 815.
  • the FEC method is the same as in the seventh embodiment.
  • the image data distribution device 8001 is an image data storage / generation unit 8004,
  • error correction code data generated from the image coding data by any of the above, and the routing priority information on the transmission path 807 for each session set by the session information management unit 803 And / or, based on the power control information of the wireless transmission path, an image coded data transmission unit 805, an intra macro block (Intra-MB) coded data transmission unit 806, and FEC
  • the data is transmitted via the transmission line 807 by the code data transmission section 814.
  • the error correction code is the same as in the seventh embodiment.
  • the session information management unit 803 manages the type of encoded data and information on error correction code data, and notifies the distribution information transmission unit 802 to the image data receiving device 808.
  • the FEC code data transmission unit 814 has a function of adding information corresponding to RTP (for example, the sequence number of the RTP header) so that it can be understood which part of the coded image data is the error correction code data. Still further, a payload type and / or SSR C and / or C SRC indicating that the data is error correction code data may be added.
  • the image data receiving device 808 receives the information on the coded data type and the error correction code data from the image data distribution device 801 in the session information receiving section 809, and from this information, From 07, the type of the received data is known.
  • Error correction code setting for example, parity check matrix data in LDP C code or setting for generating this
  • At least one of them may be set, and the distribution information transmitting unit 802 may notify the image data receiving device 808 of the information.
  • the setting may be made between the devices 808.
  • the coded data reconstructing unit 812 sends the error correction code data received by the FEC code data receiving unit 815. To restore the image encoded data.
  • the mechanism for optimizing the image quality to be distributed depending on the reception environment is also the same as in the second embodiment, and the image data receiving device 808 with a good reception environment uses the image coded data, Block coded data and error correction code data can be received, and higher quality and stable moving image data can be reproduced.
  • the priority of routing on the transmission path and the transmission power on the radio transmission path can be controlled for each session for distributing these, distribution can be performed in consideration of network resources.
  • a plurality of transmission paths are used, and image coded data, intra-macroblock coded data, error correction code data, and information related to these data are transmitted through different transmission paths. Is also good.
  • At least one of the sessions that deliver image encoded data, Intra macroblock encoded data, and error correction code data is transmitted using the multicast method, but at least one is transmitted using the multicast or broadcast method. May be transmitted.
  • a session information receiving section 809 an image coded data receiving section 810, an integer macro block coded data receiving section 8111, and a coded data reconstructing section
  • the functions and processing of the decoder 813, the decoder 813, and the FEC code decoder 815 are realized by program control executed by a computer constituting the image data receiving device 808. Needless to say, this may be done.
  • the image data overnight distribution device side uses the I picture, the P picture of the moving image data, and the B picture when the encoding method used for encoding the moving image exists.
  • Means for distributing I-pictures and other pictures in different sessions, means for distributing error correction code data, and at least one session, routing on the transmission path for each session for distributing data Means for setting priority control and power control in a wireless transmission path.
  • the image data receiver receives the data delivered by at least one session, receives the error correction code data, and loses the data due to an error or loss in the transmission path.
  • a configuration is provided with means for selecting whether or not to receive at least one session, based on at least one of the following: the error Z loss rate of the received data, the available power of the receiving device, and a predetermined setting. It may be.
  • FIG. 9 is a diagram showing a configuration of a ninth embodiment of the present invention.
  • each element 90 2 to 90 6 constituting the image data distribution device 90 1 and 90 9 to 91 3 constituting the image data receiving device 90 8 are also the image data of the third embodiment.
  • the error correction code data is generated from the I picture coded data.
  • the error correction coded data is generated from all the picture coded data. Of course, it may be distributed by different sessions.
  • the number of error correction code data generated from one piece of encoded data is described as “1”, but the number of error correction code data is limited to “1”. Of course, it isn't the thing.
  • the image data distribution device 900 includes a distribution information transmitting unit 902, a session information managing unit 903, an image data overnight storage Z generating unit 904, and an I picture coded data transmitting unit 905. And a PZB picture coded data transmitting unit 906 and an FEC coded data transmitting unit 914.
  • the image data receiving device 908 includes a session information receiving unit 909, an I picture coded data receiving unit 910, a P / B picture coded data receiving unit 911, and a coded data reconstructing unit 9, a decoder 9 13, and an FEC code data receiving section 9 15.
  • the image data distribution device 9 01 is an image data storage / generation unit 9 04,
  • the I-picture coded data transmitting unit 905, the P / B picture coded data transmitting unit 906, and the FEC coded data transmitting unit 914 transmit the data via the transmission path 907.
  • the session information management unit 903 manages picture information and error correction code data distributed from each session, and notifies the distribution information transmission unit 902 to the image data receiving device 908.
  • the FEC code data transmission unit 914 has a function of adding information corresponding to RTP (for example, the sequence number of the RTP header) so that it can be understood which part of the I picture coded data is the error correction code data. Still further, a payload type, and / or S SRC and / or C SRC, which indicates that the error correction code is performed, may be added.
  • the image data receiving device 908 receives information related to image encoding and error correction code data from the image data distribution device 901 at the session information receiving unit 909, and from this information, converts the image data received from the transmission path 907. Know the picture type and the type of the target coded data of the error correction code data.
  • Error correction code setting for example, parity check matrix data in LDPC code or setting for generating this
  • the encoded data payload option is the encoded data payload option.
  • At least one of them may be set and notified to the image data receiving device 908 by the distribution information transmitting unit 902, and such information is set in advance between the image data distribution device 901 and the image data receiving device 908. You may keep it.
  • the coded data reconstructing unit 912 restores the I picture coded data using the error correction code data received by the FEC coded data receiving unit 915. Reconstruction of image data, including I-picture coded data obtained by restoration, is the same as in the third embodiment.
  • the mechanism for optimizing the quality of the distributed image according to the receiving environment is also the same as in the third embodiment.
  • the image data receiving apparatus 908 having a favorable receiving environment includes I-picture coded data, P / B Picture coded data and error correction code data can be received, and higher quality and stable moving picture data can be reproduced. Also, since the priority of routing on the transmission path and the transmission power on the wireless transmission path can be controlled for each session for distributing them, distribution can be performed in consideration of network resources.
  • the third embodiment is the same as the third embodiment.
  • a configuration may be adopted in which a plurality of transmission paths are used, and the I-picture coded data, the PZB-picture coded data, the error correction code data, and information related thereto are transmitted through different transmission paths.
  • At least one of the sessions for delivering the I picture encoded data, the P / B picture encoded data, and the error correction code data may be transmitted by a unicast method.
  • One may be transmitted by multicast or broadcast.
  • a distribution information transmission unit 902 a session information management unit 903, an image data storage Z generation unit 904, an I picture encoded data transmission unit 9 05, the PZB picture coded data transmitting section 906, and the FEC coded data transmitting section 914, respectively, under the program control executed by the computer constituting the image data distribution apparatus 901 respectively. It goes without saying that the functions and processing of the above may be realized.
  • the functions and processing of the FEC code data receiving section 915 may be realized by program control executed by a computer constituting the image data receiving apparatus 908.
  • the image data distribution apparatus is different in the I / P picture and the other pictures among the I picture, P picture, and B picture of the moving picture data.
  • Means for distributing the error correction code data means for distributing the error correction code data in at least one session, control of the routing priority in the transmission path for each set of data distribution in at least one session, Means for setting power control.
  • the image data receiving device includes a means for receiving the data delivered by at least one session, a means for receiving the error correction code data, and a method for receiving the moving image data lost due to an error or loss in the transmission path.
  • a means for selecting whether or not to receive at least one session based on at least one of an error Z loss rate of received data, available power of a receiving device, and a predetermined setting. May be adopted.
  • FIG. 10 is a diagram showing a configuration of a tenth embodiment of the present invention.
  • an image data distribution apparatus 1001 an image data reception apparatus 1008, and a transmission path 1007 for transmitting encoded image data and error correction code data. Consists of These correspond to the image data distribution device 401, the image data reception device 408, and the transmission path 407 of the fourth embodiment, respectively.
  • Each of the components 100 0 9 to 100 3 of the image data receiving device 100 0 to 1 100 6 constituting the image data distribution device 100 1 and the image data receiving device 100 8 of the fourth embodiment is also described in the fourth embodiment.
  • the elements correspond to the elements 4002 to 406 of the example image data distribution apparatus 401 and the elements 409 to 413 of the image data overnight receiving apparatus 408, respectively.
  • the error-correcting code data is Although the description will be made assuming that it is generated from the encoded picture data, it is needless to say that the generated picture data may be generated from all the picture encoded data and distributed by different sessions.
  • the number of error correction code data generated from one piece of encoded data is described as “1”, but the number of error correction code data is limited to “1”. Of course not.
  • the image data distribution device 1001 includes a distribution information transmission unit 1002, a session information management unit 1003, an image data storage Z generation unit 1004, and an IZP picture coded data transmission unit. 1005, a B-picture coded data transmission unit 1006, and an FEC coded data transmission unit 11014.
  • the image data receiving device 1008 includes a session information receiving unit 1009, an I / P picture coded data receiving unit 11010, a B picture coded data receiving unit 1011, and a code. It is provided with a coded data reconstructing unit 101, a decoder 101, and an FEC code data receiving unit 101.
  • the image data distribution device 1001 includes an image data storage Z generation unit 1004 that: • stores image data stored in advance or
  • the error correction code data generated from the image coding data by any of the above methods is transmitted to the transmission path 1007 for each session set by the session information management unit 1003. Based on the priority information and / or the power control information of the wireless transmission path, the IZP picture coded data transmission unit 1005 and the B picture coded data transmission unit 1006 and FEC code data transmission The transmission is performed by the unit 101 through the transmission line 107.
  • the session information management unit 1003 manages the picture information and error correction code data to be distributed from each session, and transmits from the distribution information transmission unit 1002 to the image data reception device 1008. Notice.
  • the FEC code data transmission unit 11014 transmits information corresponding to the RTP (for example, the RTP code) so as to know which part of the I / P picture coded data is the error correction code data. TP header sequence number). Further, a payload type and / or SSRC and / or CSRC indicating that the data is error correction code data may be added.
  • the image data receiving apparatus 1008 receives the information on the image encoding and error correction code data from the image data distribution apparatus 1001 in the session information receiving unit 1009, and from this information, the image data received from the transmission path 1007. , And the type of the target coded data of the error correction code.
  • Error correction code setting for example, parity check matrix data in LDPC code or setting for generating this
  • At least one of them may be set and notified to the image data receiving device 1008 by the distribution information transmitting unit 1002, and such information is transmitted between the image data transmitting and receiving device 1001 and the image data receiving device 1008 in advance. May be set.
  • the coded data reconstructing unit 1012 converts the error correction code data received by the FEC code data receiving unit 1015 To restore the I / P picture encoded data.
  • the reconstruction of the image data, including the IZP picture encoded data obtained by the restoration, is the same as in the fourth embodiment.
  • the mechanism for optimizing the quality of the distributed image according to the receiving environment is also the same as in the fourth embodiment, and the image data receiving apparatus 1008 having a good receiving environment includes I // p picture encoded data, Picture encoded data and error correction code data can be received, and higher quality and stable moving picture data can be reproduced. Also, since the priority of routing on the transmission path and the transmission power on the wireless transmission path can be controlled for each session for distributing them, distribution can be performed in consideration of network resources.
  • a configuration is also possible in which a plurality of transmission paths are used, and IZP picture encoded data, B picture encoded data, and error correction code data, and information about these data are transmitted through different transmission paths. Good.
  • At least one session for delivering the IZP picture coded data, the B picture coded data, and the error correction code data may be transmitted by a unicast method. One of them may be transmitted by multicast or broadcast.
  • a distribution information transmission unit 1002 a session information management unit 1003, an image data storage / generation unit 1004, an I / P picture
  • the coded data transmitting unit 1005, the B picture coded data transmitting unit 1006, and the FEC coded data transmitting unit 101 It goes without saying that each function and processing may be realized by controlling the program to be executed.
  • the functions of the constituent unit 101, the decoder 101, and the FEC code data receiving unit 101 are controlled by a program executed by a computer constituting the image data receiving device 1008. Of course, the processing may be realized.
  • the image data distribution apparatus performs the I-picture, the P-picture, and the B-picture among the I-picture, the P-picture, and the B-picture of the moving picture data in different sessions.
  • the image data receiving device includes means for receiving data distributed by at least one session, means for receiving error correction code data, and moving image data lost due to an error or loss in a transmission path.
  • a configuration including means for selecting whether or not to receive at least one session based on at least one of an error z loss rate of received data, available power of a receiving device, and a predetermined setting. It may be.
  • FIG. 11 shows an example of the configuration of the eleventh embodiment of the present invention.
  • an image data distribution device 1101 an image data reception device 110, and a transmission line 1108 for transmitting image encoded data and error correction code data. Be composed. These correspond to the image data distribution device 501, the image data reception device 509, and the transmission path 508 of the fifth embodiment, respectively.
  • Each of the elements 1 1 0 2 to 1 1 0 7 constituting the image data distribution device 1 1 0 1 and the respective elements 1 1 1 0 to 1 1 1 5 constituting the image data receiving device 1 1 1 correspond to the respective elements 502 to 507 of the image data overnight distribution device 503 and the respective elements 510 to 515 of the image data receiving device 509 of the embodiment.
  • error correction code data is generated from I-picture coded data. Of course, it may be distributed by different sessions. Further, in this embodiment, for the sake of simplicity, the number of error correction code data generated from one encoded data is described as “1”, but the number of error correction code data is limited to “1”. Of course it is not.
  • the image data distribution device 1101 includes a distribution information transmission unit 1102, a session information management unit 1103, an image data storage / generation unit 111, and an I-picture coded data transmission unit. 1 105, P-picture coded data transmission unit 110, and B-picture code It has a data transmission unit 1107 and a FEC code / data transmission unit 1116.
  • the image data receiving device 1109 includes a session information receiving unit 1110, an I-picture encoded data receiving unit 1111, a P-picture encoded data receiving unit 1112, a B-picture encoded data receiving unit 1113, and an encoded data reconstructing unit. 1114, a decoder 1115, and a FEC code data receiving unit 1117.
  • the FEC method is the same as in the seventh embodiment.
  • the image data distribution device 1101 includes an image data storage Z generation unit 1104,
  • the error correction code data generated from the image coded data by any of the above by setting the session information management unit 1103, the routing priority information on the transmission line 1108 for each session and / or Based on the power control information of the radio transmission path, based on the power control information of the wireless transmission path, the I picture coded data transmission section 1105, the P picture coded data transmission section 1106, and the B picture coded data transmission section 1107, and the FEC coded data Transmission is performed by the transmission unit 1116 via the transmission path 1108.
  • the session information management unit 1103 manages picture information and error correction code data distributed from each session, and notifies the image data receiving device 1109 from the distribution information transmitting unit 1102.
  • the FEC code data transmission unit 1116 has a function of adding information corresponding to RTP (for example, a sequence number of an RTP header) so as to know which part of the I picture coded data is the error correction code data. Furthermore, a payload type and / or SSRC and / or Z or CSRC may be added to indicate that the data is error correction code data.
  • the image data receiving apparatus 1109 receives the information on the image encoding and the error correction code data from the image data distribution apparatus 1101, in the session information receiving unit 1110, and from the information, the image received from the transmission path 1108 It knows the picture type of the data and the type of the target coded data of the error correction code data.
  • the session information management unit 1103 • Encoding setting of encoded data
  • Error correction code setting for example, parity check matrix decoding with LPC code or setting for generating it
  • At least one of these may be set, and the distribution information transmitting unit 1102 may notify the image data receiving device 1109, and such information may be set in advance in the image data transmitting device 1101. And between the image data receiving devices 111 and 109.
  • the coded data reconstructing unit 1 1 1 4 converts the error correction code data received by the FEC code data To restore the I picture encoded data.
  • the reconstruction of the image data, including the I-picture coded data obtained by the restoration, is the same as that of the fifth embodiment.
  • the mechanism for optimizing the quality of the distributed image according to the receiving environment is also the same as that of the fifth embodiment.
  • Picture coded data, B picture coded data, and error correction coded data can be received, and higher quality and stable moving picture data can be reproduced.
  • distribution can be performed in consideration of network resources.
  • a plurality of transmission paths are used, and I-picture coded data, B-picture coded data, P-picture coded data, and error correction code data are used.
  • the information on these data may be transmitted via different transmission paths.
  • the I-picture coded data, the P-picture coded data, the B-picture coded data, and the error correction At least one of the sessions for delivering the code data may be transmitted by a unicast method, or at least one of the sessions may be transmitted by a multicast or broadcast method.
  • a distribution information transmission unit 1102 a session information management unit 1103, an image data storage / generation unit 1104, and an I picture encoding Image data distribution for the data transmission section 1105, P picture coded data transmission section 1106, B picture coded data transmission section 1107, and FEC code data transmission section 1 116
  • each function and processing may be realized by program control executed by a computer constituting the device 111.
  • the session information receiving unit 111 the I picture coded data receiving unit 111, the P picture coded data receiving unit 111, and the B picture coded data reception A computer that composes an image data receiver 1 1 109 for the unit 1 1 1 3, the encoded data reconstruction unit 1 1 1 4, the decoder 1 1 1 5, and the FEC code data reception unit 1 1 1 7 It goes without saying that each function and processing may be realized by the program control executed by the.
  • the image data distribution device includes: an I picture, a P picture, and a B picture when the video data is present in the encoding scheme used for encoding the video; Means for distributing encoded data obtained by encoding at least a part of the frame of image data in an intra macroblock (Intra-MB) in different sessions, and means for distributing error correction code data.
  • Each session has means for setting priority control of routing on the transmission line and power control on the wireless transmission line for each session for distributing video data in one session.
  • the image data receiving apparatus includes: means for receiving data distributed by at least one session; means for receiving error correction code data; Means for restoring moving image data lost due to errors or loss of data using error correction code data, and selecting data from received moving image data based on image quality, and selecting one moving image Means for reconstructing and decoding the data. Further, a configuration including means for selecting whether or not to receive at least one session based on at least one of an error / loss rate of received data, available power of a receiving device, and a predetermined setting. It may be.
  • FIG. 12 shows the configuration of the 12th embodiment of the present invention.
  • an image data distribution device 1221 As shown in FIG. 12, as shown in FIG. 12, an image data distribution device 1221, an image data reception device 12210, and a transmission line 1209 for transmitting image encoded data and error correction code data. Consists of These correspond to the image data distribution device 601, the image data reception device 610, and the transmission line 609 of the sixth embodiment, respectively.
  • the respective elements 1 202 to 1 208 constituting the image data distribution apparatus 1 201 and the respective elements 1 211 to 1 212 constituting the image data receiving apparatus 1 210 are also the sixth elements.
  • the components correspond to the respective elements 62 to 608 of the image data distribution device 61 of the embodiment and the respective components 61 to 617 of the image data receiving device 61 of the present embodiment.
  • the error correction code data is generated from the I-picture coded data. Of course, they can be generated and distributed by different sessions.
  • the number of error correction code data generated from one encoded data is described as “1”, but the number of error correction code data is limited to “1”. Of course not.
  • the image data distribution device 1221 includes a distribution information transmission unit 122, a session information management unit 1203, an image data storage and generation unit 122, and an I picture encoded data transmission unit 1.
  • a distribution information transmission unit 122 includes a session information management unit 1203, an image data storage and generation unit 122, and an I picture encoded data transmission unit 1.
  • a data transmission unit 1 2 18 is provided.
  • the image data receiving device 1210 includes a session information receiving unit 1211, an I-picture coded data receiving unit 1212, a P-picture coded data receiving unit 1213, a B-picture coded data receiving unit 1214, an intra-macro block (I ntra -MB)
  • An encoded data receiving unit 1215, an encoded data reconstructing unit 1216, a decoder 1217, and an FEC encoded data receiving unit 1219 are provided.
  • the FEC method is the same as in the seventh embodiment.
  • the image data distribution device 1201 includes: an image data overnight storage / generation unit 1204;
  • the session information management unit 1203 manages picture information and error correction code data delivered from each session, and notifies the image data receiving device 1210 from the delivery information transmission unit 1202.
  • the FEC code data transmission unit 1218 has a function of adding information corresponding to RTP (for example, a sequence number of an RTP header) so as to know which part of the I picture coded data is the error correction code data. Furthermore, payload type and / or SSRC and / or CSRC may be added to indicate that the data is error correction code data.
  • the image data receiving apparatus 1210 receives the information on the image coding and error correction code data from the image data distribution apparatus 1201 in the session information receiving unit 1211, and from this information, the image data received from the transmission path 1209.
  • the picture, block type, and the target coded data type of the error correction code data are known. Also, the session information management unit 1 203
  • Error correction code setting for example, parity check matrix data in LDP C code or setting for generating this
  • At least one of them may be set, and the distribution information transmitting unit 122 may notify the image data receiving device 1 210 of the image data. And between the image data receiving devices 1 210.
  • the coded data reconstructing unit 1 2 16 converts the error correction code data received by the FEC code data To restore the I picture encoded data.
  • the reconstruction of the image data, including the I-picture coded data obtained by the restoration, is the same as in the sixth embodiment.
  • the mechanism for optimizing the quality of the distributed image depending on the receiving environment is also the same as in the sixth embodiment.
  • Picture encoded data, B picture encoded data, intra-macroblock encoded data, and error correction code data can be received, and higher quality and stable moving image data can be reproduced.
  • distribution can be performed in consideration of network resources.
  • At least one session distributes the I picture encoded data, the P picture encoded data, the B picture encoded data, the intra macroblock encoded data, and the error correction code data.
  • the transmission may be performed by the tunecast method, or at least one may be transmitted by the multicast method or the broadcast method.
  • a distribution information transmission unit 122 in the image data distribution device 1221, a distribution information transmission unit 122, a session information management unit 1203, an image data storage / generation unit 122, an I-picture encoding Data transmission unit 125, P-picture coded data transmission unit 126, B-picture coded data transmission unit 127, Intra macroblock coded data transmission unit 122, FEC code data
  • each function and process of the transmission section 122 may be realized by program control executed by a computer constituting the image data distribution apparatus 122.
  • Session information receiver 1 2 1 I picture coded data receiver 1 2 1 2, P picture coded data receiver 1 2 1 3, B picture coding in image data receiver 1 2 1 0 Data receiver 1 2 1 4, Intra-macroblock coded data receiver 1 2 1 5, Encoded data reconstructor 1 2 16, Decoder 1 2 17, FEC code data receiver 1 2 1 Regarding 9, it goes without saying that the respective functions and processes may be realized by program control executed by the computer constituting the image data receiving device 1210.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

画像データ配信装置(101)は、画像符号化データ1送信部(105)、画像符号化データ2送信部(106)、セッション管理部(103)を備え、同一画像の複数の画像符号化データを、異なったセッションで配信するか、もしくは、画像フレームや画像ブロックの種別の異なる画像データを、異なったセッションで配信し、その際、セッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路であれば電力制御を行い、画像データ受信装置(108)は、画像符号化データ1受信部(110)、画像符号化データ2受信部(111)、セッション情報受信部(109)、符号化データを再構成する符号化データ再構成部(112)、デコーダ(113)を備え、1つ以上のセッションから正常に受信できた画像符号化データの中から、画像品質に基づき、符号化データを選択して復号化する。

Description

明細書 画像デー夕配信制御方法及び装置とシステムならびにプログラム · 技術分野
本発明は、 符号化された画像データを配信する方法、 装置、 及びシステム、 並 びに画像デ一夕の配信装置と受信装置をそれぞれ構成するコンピュータで実行さ れるコンピュータプログラムに関し、 特に、 受信装置での動画像デ一夕等の受信 環境に応じて良好な画質の再生を可能とするのに好適とされる方法、 装置、 シス テム、 ならびにコンピュータプログラムに関する。 背景技術
近年: 動画像データを効率良く伝送する方法として、 フレーム間予測に基づい た高能率圧縮による符号化データを伝送する方法が多く用いられている。 これら の方式では、 時間的に前後のフレームから符号化画像を予測して得られた予測パ ラメ一夕と予測残差画像データを符号化することで、 時間方向の相関が高い動画 像データの情報量を削減する。 さらに、 予測残差画像データを変換符号化や量子 化により高能率に圧縮符号化することで、 少ない伝送帯域での動画像データ伝送 を可能としている。
その代表例としては MP EG (Mo V i n g P i c t u r e Exp e r t s Gr oup) — 1、 MPEG— 2、 MP EG- 4などの圧縮符号化方式を用い る方法がある。 これらの圧縮符号化方式では、 入力画像フレームをマクロブロッ クとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測を行い 、 得られた動きベクトルと、 予測残差画像データに 2次元離散コサイン変換及び 量子化を施して圧縮した信号デー夕を可変長符号化する。
このような動画像圧縮符号化情報を、 パケット交換方式を利用した I P (I n t e r ne t P r o t o c o l) ネットワークへ配信する方法は多数あり、 ま た、 無線伝送路を用いた動画像の配信へと展開していくことが考えられる。
動画像データの配信において、 ネットワークのトラヒックの状況によりパケッ ト損失が発生した場合、 もしくは無線伝送路での無線誤りや損失が発生した場合 、 失われたデ一夕の再送要求を行う方法が一般的である。
また、 無線伝送路での通信では、 個々の受信者の無線受信環境によって、 送受 信電力制御等を行って、 デ一夕の通信品質を確保し、 受信データの安定化を図つ ている。
なお、 画質の異なる画像情報を伝送する手法として、 データレートの低い低画 質成分の画像情報の伝送とデータレートの高い高画質成分の画像情報の伝送を適 応的に切り替え、 画質を劣化させることなく伝送効率の向上を図ったシステムが 知られている (例えば特許文献 1 ) 。 また、 送信側に異なるレートの複数の映像 データを備えたものとして、 映像送信装置に複数の映像レートを持つ映像データ ( 1 ) 〜 (3 ) を用意し、 映像受信装置が、 レート切替要求信号を映像送信装置 に送り、 映像データ (1 ) 〜 (3 ) を切替えることにより、 映像停止を防ぎ、 高 画質の映像データを送信するようにした装置も知られている (例えば特許文献 2 ) 。 さらに、 受信データを選択して再構成し復号化する装置として、 受信側装置 内の再構成手段が、 画像フレームの同一部分について受信した複数のブロックデ 一夕 (送信側装置から画像フレーム中の同一部分について複数のブロックデ一夕 が送信される) から正常なブロックデータを選択し当該画像フレームを再構成し 、 再構成された画像フレームを復号化する画像復号化手段を備えた構成も知られ ている (例えば特許文献 3 ) 。 なお、 後述される R T Pヘッダ情報等については 以下の非特許文献 1等が参照される。
特許文献 1
特開平 1 0— 2 9 4 9 4 1号公報 (第 5— 6頁、 第 1図)
特許文献 2
特開平 1 1— 1 8 7 3 6 7号公報 (第 3— 4頁、 第 1図)
特許文献 3
特開平 1 0— 2 2 4 7 4 6号公報 (第 4一 6頁、 第 1図)
非特許文献 1
Schulzri匿, H. , Casner, S. , Frederick, R. , and V. Jacobson, "RTP: A Tr ansport - Protocol for Real-Time Appl icat ions", RFC 1889, January 1996、 5. 1 RTP Fixed Header Fields. インターネッ h<URL//www. iet f. org/t fc. htmlから 入手される、 f tp:〃 f tp. rfc- edi tor. org/in-notes/rfc l889. txt> 発明の開示
ところで、 パケット損失発生時、 再送要求によるデータ損失を補完するという 従来の手法では、 再送要求情報、 及び再送されてくるデ 夕が、 さらにネットヮ 一クトラヒックを増大させる結果となる。 このため、 トラヒックの輻輳によって パケットが損失している場合、 本質的な解決とならない。 また、 受信者ごとの無 線伝送路での電力制御は、 複雑な処理が必要となる。
さらに、 再送制御や、 受信者ごとの無線伝送路での電力制御といった手法を採 用しても、 パケットの損失が発生する場合がある。 パケット損失に対する受信側 での対策として、 正しくデコードできた時間的に前後のフレームの画像や同一フ レーム内の周囲の画像データから、 誤りをなるベく目立たなくするような画像デ —夕を生成するエラ一コンシールメント手法がある。 しかしながら、 このエラー コンシールメント手法によっても、 復号化画像の乱れを除去することは不可能で ある。 さらに、 フレーム間予測を利用しているため、 一度発生した画像の乱れが 、 後続フレームにも伝搬してしまう、 という問題がある。
したがって、 本発明は上記の事情を考慮してなされたものであり、 本発明の第 1の目的は、 動画像の配信において、 トラヒックの増加を小さく抑えつつ、 受信 者の受信環境に応じて、 配信画像品質の最適化を図る方法、 装置、 システム、 及 びコンピュータプログラムを提供することである。
また、 本発明の第 2の目的は、 画像の配信方式の信頼性を高めるため、 少なく とも 1つ以上のセッションからの画像データを受信し、 画像品質に応じてデータ を選択し復号化することで、 バケツト損失発生時の画像の乱れを抑えることを可 能とした方法、 装置、 システム、 及びコンピュータプログラムを提供することで ある。
本発明のさらに別の目的は、 上記第 1、 第 2の目的を達成するため、 送受信者 両方に加わる処理量を少なく抑えることを可能とした方法、 装置、 システム、 及 びコンピュー夕プログラムを提供することにある。 本発明のさらに別の目的は、 受信側からのフィードバッ .情報を送信側に送る ことなく、 上記第 1、 第 2の目的を達成する方法、 装置、 システム、 及びコンビ ュ一タプログラムを提供することにある。
さらに本発明の別の目的は、 上記第 1、 第 2の目的を達成しながら、 受信装置 側で必要とされる消費電力の増大を抑えることを可能とする方法、 装置、 システ ム、 及びコンピュータプログラムを提供することにある。
前記目的の少なくとも 1つを達成する本発明の 1のァスぺク卜に係る装置は、 同一画像の複数の画像符号化データを配信する際、 画像品質にしたがって、 画像 符号化デ一夕を配信するセッションを選択する手段と、 選択されたセッシヨンで 画像符号化データを配信する手段と、 を備えている。 本発明においては、 この際 に、 同一画像の複数の画像符号化データを、 時間差を設けて配信する構成として もよい。
本発明においては、 同一画像の複数の画像符号化データを配信する際、 画像品 質に基づき配信するセッションを選択する手段と、 画像の品質によって選択され るセッションごとに、 伝送路でのルーティングの優先度制御、 及び Z又は、 無線 伝送路での電力制御、 を行う手段と、 を備えた構成としてもよい。
本発明の他のアスペクトに係る装置は、 画像符号化デ一夕を配信する際、 画像 フレーム及び/又は画像ブロックの種別に基づき、 配信するセッションを選択す る手段と、 選択されたセッションで画像符号化データを配信する手段と、 を備え ている。
本発明においては、 画像符号化データを配信する際、 画像フレーム及び 又は 画像ブロックの種別に基づき、 配信するセッションを選択する手段と、 画像の品 質によって選択されるセッションごとに、 伝送路でのルーティングの優先度制御 、 及び 又は、 無線伝送路での電力制御を行う手段を備えた構成としてもよい。 本発明の他のアスペクトに係る装置は、 画像符号化データを配信する際、 画像 符号化データを配信する複数のセッションを選択する手段と、 選択されたセッシ ョンで画像符号化データを配信する手段と、 を備えている。
本発明においては、 画像符号化データを配信するセッションを選択する手段と 、 画像の品質によって選択されるセッションごとに、 伝送路でのルーティングの 優先度制御、 及び 又は、 無線伝送路での電力制御、 を行う手段と、 を備えた構 成としてもよい。
本発明においては、 前記同一画像の複数の画像符号化データは、 符号化方式及 びフレーム構成が同一であり、 その各送信単位は、 それぞれ同一フレームの同一 部位が符号化されたデータである。
本発明の他のァスぺクトに係る装置は、 画像データ配信装置から配信される、 少なくとも 1つの動画像符号化デ一夕を受信する手段と、 正常に受信された符号 化データの中から、 画像品質に基づき、 データを選択する手段と、 選択されたデ 一夕を複号化する手段と、 を備えている。
本発明のさらに他のァスぺクトに係る装置は、 画像データ配信装置から配信さ れる、 少なくとも 1つの動画像符号化データを受信する手段と、 少なくとも 1つ の画像データの受信の有無を、 受信データの誤り Z損失率、 利用可能な電力、 あ らかじめ定められた設定のうちの少なくとも 1つに基づき、 選択する手段と、 正 常に受信された符号化デ一夕の中から、 画像品質に基づき、 データを選択する手 段と、 選択されたデ一夕を復号化する手段と、 を備えている。
本発明の他のァスぺク卜に係る方法は、 画像データ配信装置から画像データ受 信装置へ画像デー夕を配信する制御方法であって、
前記画像デ一夕配信装置が、 同一画像の複数の画像符号化デ一夕を配信する際 、 画像品質に基づき配信するセッションを選択するステップと、
選択されたセッションで画像符号化デー夕を配信するステップと、
を含む。
本発明の他のアスペクトに係る方法は、 前記画像データ配信装置が、 同一画像 の複数の画像符号化データを配信する際、 画像品質に基づき配信するセッション を選択するステップと、
前記画像データ配信装置が、 画像の品質によって選択されるセッションごとに 伝送路でのルーティングの優先度制御や、 無線伝送路の場合に電力制御を行うス テツプと、
を含む。
本発明の他のァスぺク卜に係る方法は、 画像デ一夕配信装置から画像データ受 信装置へ画像データを配信する制御方法であって、
前記画像データ配信装置が、 画像符号化データを配信する際、 画像フレーム及 び/又は画像ブロックの種別に基づき、 配信するセッションを選択するステップ と、
選択されたセッションで画像符号化データを配信するステツプと、
を含む。 '
本発明の他のアスペクトに係る方法は、 前記画像データ配信装置が、 画像符号 化データを配信する際、 画像フレーム及び 又は画像プロックの種別に基づき、 配信するセッションを選択するステップと、
画像の品質によって選択されるセッションごとに伝送路でのルーティングの優 先度制御や、 無線伝送路の場合に電力制御を行うステップを含む。
本発明の他のアスペクトに係る方法は、 前記画像データ受信装置は、 前記画像 デ一夕配信装置から配信される少なくとも 1つの動画像符号化デ一夕を受信する ステップと、
前記画像データ受信装置は、 正常に受信された符号化データの中から、 画像品 質に基づき、 データを選択するステップと、
選択されたデータを復号化するステップと、
を含む。
本発明の他のアスペクトに係る方法は、 前記画像データ受信装置は、 前記画像 デ一夕配信装置から配信される少なくとも 1つの動画像符号化データを受信する ステップと、
少なくとも 1つの画像データの受信の有無を、 受信データの誤り/損失率、 利 用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基づき、 選 択するステップと、
前記画像データ受信装置は、 正常に受信された符号化データの中から、 画像品 質に基づき、 データを選択するステップと、
選択されたデータを復号化するステップと、
を含む。
本発明に係るシステムにおいては、 画像データ配信装置は、 同一の画像の複数 の動画像データを、 それぞれ異なったセッションで配信する手段と、 動画像デー 夕を配信するセッションごとに伝送路でのルーティングの優先度制御や、 無線伝 送路での電力制御を設定する手段と、 を備え、 前記画像データ受信装置は、 少な くとも 1つのセッションにより配信されたデータを受信する手段と、 受信した動 画像データのうち、 画像品質に基づいてデータを選択し、 1つの動画像デ一夕に 再構成する手段と、 再構成されたデータを復号化する手段と、 を備えている。 本発明に係るシステムにおいては、 画像デ一夕配信装置は、 同一の画像の複数 の動画像データを、 それぞれ異なったセッションで配信する手段と、 動画像デー タを配信するセッションごとに伝送路でのルーティングの優先度制御や、 無線伝 送路での電力制御を設定する手段と、 を備え、 前記画像データ受信装置は、 少な くとも 1つのセッションにより配信されたデータを受信する手段と、 少なくとも 1つのセッションの受信の有無を、 受信データの誤り/損失率、 受信装置の利用 可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基づき、 選択 する手段と、 受信した動画像データのうち、 画像品質に基づいてデータを選択し 、 1つの動画像データに再構成する手段と、 再構成されたデータを復号化する手 段と、 を備えている。
本発'明に係るシステムにおいては、 前記画像デ一夕配信装置は、 動画像データ と、 動画像デ一夕の当該フレームの少なくとも一部をイントラーマクロブロック 符号化した符号化データとを、 それぞれ異なったセッションで配信する手段と、 動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御 や、 無線伝送路での電力制御を設定する手段と、 を備えている。
本発明に係るシステムにおいては、 前記画像データ配信装置は、 動画像データ の I ( I n t r a ) ピクチャ、 P (P r e d i c t i v e ) ピクチャ、 及び動画 像の符号化に用いた符号化方式に存在する場合には、 B (B i d i r e c t i o n a 1 1 y— p r e d i c t i v e ) ピクチャのうち、 Iピクチャとそれ以外の ピクチャとでそれぞれ異なったセッションで配信する手段と、 動画像デ一夕を配 信するセッションごとに、 伝送路でのルーティングの優先度制御や、 無線伝送路 での電力制御を設定する手段と、 を備え、 前記画像データ受信装置は、 少なくと も 1つのセッションにより配信されたデータを受信する手段と、 受信した動画像 データを、 1つの動画像データに再構成する手段と、 再構成されたデータを復号 化する手段とを備えている。
本発明に係るシステムにおいては、 前記画像データ配信装置は、 動画像データ の Iピクチャ、 Pピクチャ、 及び Bピクチャのうち、 I Z Pピクチャとそれ以外 のピクチャで、 それぞれ異なったセッションで配信する手段と、 動画像データを 配信するセッションごとに、 伝送路でのルーティングの優先度制御や、 無線伝送 路での電力制御を設定する手段と、 を備えている。
本発明に係るシステムにおいては、 前記画像データ配信装置は、 動画像データ の Iピクチャ、 Pピクチャ、 及び Bピクチャのうち Iピクチャ、 Pピクチャ、 B ピクチャで、 それぞれ異なったセッションで配信する手段と、 動画像データを配 信するセッシヨンごとに伝送路でのルーティングの優先度制御や、 無線伝送路で の電力制御を設定する手段と、 を備えている。
本発明に係るシステムにおいては、 前記画像データ配信装置は、 動画像データ の Iピクチャ、 Pピクチャ、 及び動画像の符号化に用いた符号化方式に存在する 場合には Bピクチヤ、 及び動画像データの当該フレームの少なくとも一部をイン トラーマクロブロック (I n t r a— MB) 符号化した符号化データを、 それぞ れ異なったセッションで配信する手段と、 動画像データを配信するセッシヨンご とに伝送路でのルーティングの優先度制御や、 無線伝送路での電力制御を設定す る手段と、 を備えている。
本発明によれば、 動画像の配信において、 ネットワークトラヒックの増加を小 さく抑えつつ、 受信者の受信環境に応じて、 配信画像を最適化することができる また、 本発明によれば、 伝送路でのデータ誤り、 欠落に対して耐性のある配信 が可能になり、 動画像配信の信頼性を高めることができる。
また、 本発明によれば、 上記の 2つの効果を得るため、 送受信者双方に必要と なる処理量の増加を、 小さく抑えることができる。
本発明によれば、 受信側から送信側へフィードバック情報を送ることなく、 上 記 2つの効果を得ることができる。
また、 本発明によれば、 上記の 2つの効果を得るために、 受信装置で必要とさ れる消費電力の増大を、 小さく抑えることができる。 図面の簡単な説明
第 1図は、 本発明の第 1の実施の形態の構成の一例を示す図である。
第 2図は、 本発明の第 2の実施の形態の構成の一例を示す図である。
第 3図は、 本発明の第 3の実施の形態の構成の一例を示す図である。
第 4図は、 本発明の第 4の実施の形態の構成の一例を示す図である。
第 5図は、 本発明の第 5の実施の形態の構成の一例を示す図である。
第 6図は、 本発明の第 6の実施の形態の構成の一例を示す図である。
第 7図は、 本発明の第 7の実施の形態の構成の一例を示す図である。
第 8図は、 本発明の第 8の実施の形態の構成の一例を示す図である。
第 9図は、 本発明の第 9の実施の形態の構成の一例を示す図である。
第 1 0図は、 本発明の第 1 0の実施の形態の構成の一例を示す図である。 第 1 1図は、 本発明の第 1 1の実施の形態の構成の一例を示す図である。 第 1 2図は、 本発明の第 1 2の実施の形態の構成の一例を示す図である。 発明を実施するための最良の形態
本発明を実施するための最良の形態と実施例について以下に説明する。
[発明の第 1の実施の形態]
本発明の第 1の実施の形態において、 画像データ配信装置は、 同一の画像の複 数の動画像データ (例えば異なる画像品質の動画像デ一夕) を、 それぞれ異なつ たセッションで配信する手段と、 動画像データを配信するセッションごとに、 伝 送路でのルーティングの優先度制御や、 無線伝送路での電力制御を設定する手段 と、 を備えている。 画像デ一夕受信装置側は、 少なくとも 1つのセッションによ り配信されたデータを受信する手段と、 受信した動画像データのうち、 画像品質 に基づいてデータを選択し、 1つの動画像データに再構成して復号化する手段と 、 を備えている。
さらに、 本発明の第 1の実施の形態において、 画像データ受信装置は、 少なく とも 1つのセッションの受信の有無を、 受信データの誤り/損失率、 受信装置の 利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基づき、 選択する手段を備えた構成としてもよい。
[第 1の実施例]
本発明の第 1の実施例を図面を参照して説明する。 第 1図は、 本発明の第 1の 実施例の構成を示している。 第 1図に示すように、 画像符号化データを配信する 画像データ配信装置 1 0 1と、 画像データ受信装置 1 0 8と、 画像符号化データ を伝送するための伝送路 1 0 7を備えている。 本実施例では、 画像データ配信装 置 1 0 1は、 I P (Internet Protocol) 網である伝送路 1 0 7に接続されており 、 UD P (User Datagram Protocol) / I Pを用いて画像符号化データを配信し 、 画像データ受信装置 1 0 8は、 I P網に接続されるクライアント端末とする。 なお、 本実施例では、 あくまで説明の簡単のため、 配信する画像データ数を 「2 」 として説明するが、 本発明において配信する画像データ数が 2に限定されるも のでないことは勿論である。
画像デ一夕配信装置 1 0 1は、 配信情報送信部 1 0 2と、 セッション情報管理 部 1 0 3と、 画像データ蓄積 生成部 1 0 4と、 画像符号化データ 1送信部 1 0 5と、 画像符号化データ 2送信部 1 0 6と、 を備えている。
画像データ受信装置 1 0 8は、 セッション情報受信部 1 0 9と、 画像符号化デ 一夕 1受信部 1 1 0及び画像符号化データ 2受信部 1 1 1と、 符号化データ再構 成部 1 1 2と、 デコーダ 1 1 3を備えている。 以下、 画像データ配信装置 1 0 1 、 画像データ受信装置 1 0 8の動作について順に説明する。
画像データ配信装置 1 0 1は、 画像データ蓄積 Z生成部 1 0 4で、
•あらかじめ蓄積された画像デ一夕、 もしくは、
•リアルタイムで符号化し生成された画像データ、 もしくは、
•リアルタイムで既存画像データを変換し生成された画像データ
を、 セッション情報管理部 1 0 3で設定された、 セッションごとの伝送路 1 0 7でのルーティングの優先度情報、 及び Z又は、 無線伝送路の電力制御情報に基 づいて、 画像符号化データ 1送信部 1 0 5及び画像符号化データ 2送信部 1 0 6 により、 伝送路 1 0 7経由で送信する。 優先ルーティングは、 特定プロトコルと ポート番号を指定することで、 特定のアプリケーションデータを優先して送受信 可能としたものであり、 この実施例及び以下の各実施例では、 公知の任意の手法 を用いることができる。 また無線伝送路での電力制御は、 送信電力を制御し、 適 切な受信レベルに制御するためのものであり、 この実施例及び以下の各実施例で は、 公知の任意の手法を用いることができる。
セッション情報管理部 1 0 3では、 画像符号化データ 1及び画像符号化データ 2の画像品質 (圧縮率) に関する情報を管理し、 配信情報送信部 1 0 2から画像 データ受信装置 1 0 8に通知する。
画像符号化データ 1送信部 1 0 5、 及び画像符号化データ 2送信部 1 0 6は、 画像データ受信装置 1 0 8で、 重複する複数の画像データが受信された場合に、 データの選択ができるように、 また、 受信したデータの順序が入れ替わつていて も、 正しく並び替えられるように、 R T P (Real-t ime Transport Protocol) に 相当する情報 (例えば R T Pヘッダ) を付加する機能を有する。 R T Pヘッダに ついては上記非特許文献 1等が参照される。 なお、 画像符号化データ 1及び画像 符号化データ 2の各送信単位は、 それぞれ同一画像の同一フレームの同一部位を 符号化したデータとし、 これに同一の R T Pシーケンス番号を付与し、 さらにい ずれの画像符号化データかを示す、 ペイロードタイプ、 及び Z又は、 S S R C (S ynchronizat ion Source ident i f ier) 、 及び 又は、 C S R C (Cont ribut ing So urce ident i f ier) を付与してもよい。
また、 送信の際、 画像符号化デ一夕 1に対して画像符号化データ 2を、 例えば 伝送路 1 0 7でのデータの誤り、 もしくは損失のパース卜長より長くなるような 時間差を設けて送信すると、 伝送路で画像符号化データが両方とも誤り、 もしぐ は損失の影響を受ける可能性が低下し、 画像データ受信装置 1 0 8がこの時間差 以上の受信バッファを備える場合、 より安定した画像データの配信をすることが できる。 このとき、 画像符号化データ 1と画像符号化データ 2の画像品質を同じ に設定するか、 あるいは画像符号化データ 1を画像符号化データ 1送信部 1 0 5 及び画像符号化データ 2送信部 1 0 6の双方から送信すれば、 伝送路での誤りや 損失の影響があった場合の、 画像データ受信装置での再生画像品質の劣化を最小 限に抑えることが可能となる。
本実施例において、 同一画像の複数の画像符号化データの送信の時間差 (時間 間隔) について、 セッション情報管理部 1 0 3で管理し、 配信情報送信部 1 0 2 から画像データ受信装置 1 0 8に通知する構成としてもよいし、 あるいは、 送信 の時間差について、 あらかじめ画像デ一夕配信装置 1 0 1及び画像データ受信装 置 1 0 8間で定めておき、 該時間差に基づいて、 画像デ一夕受信装置 1 0 8が、 受信バッファ量を設定する構成としてもよい。
画像データ受信装置 1 0 8は、 画像データ配信装置 1 0 1からの例えば画像品 質 (圧縮率) などの画像符号化に関する情報を、 セッション情報受信部 1 0 9で 受信し、 この情報から、 伝送路 1 0 7より受信した画像データの符号化情報を知 る。
また、 セッション情報管理部 1 0 3は、
•画像符号化データ 1及び画像符号化データ 2の符号化設定、
•符号化オプション (使用ツール) 、
•符号化デ一夕のペイロード ·ォプション、
•符号化データを識別する R T Pヘッダのペイロードタイプに相当する情報、 • S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 1 0 2により画像データ受信装置 1 0 8へ通知する力 あるいは、 これらの情報を、 あらかじめ画像データ配信装 置 1 0 1及び画像データ受信装置 1 0 8間で設定しておいてもよい。
画像符号化データ 1と画像符号化デ一夕 2ともに受信できた場合、 重複する画 像データについて、 符号化データ再構成部 1 1 2は、 R T Pに相当する機能、 R T Pヘッダのシーケンス番号、 ペイロードタイプ、 S S R Cや、 C S R C、 及び /又は、 セッション情報受信部 1 0 9で受信された画像品質に関する情報に基づ いて選択して、 1つの画像データに再構成し、 再構成したデータをデコーダ 1 1 3へと出力する。 画像データは、 1つだけ復号化すればよいので、 デコーダ 1 1 3の復号化処理の負担は増加しない。
受信環境により、 配信される画像品質が最適化される仕組みは、 以下のような ものとなる。
画像符号化データ 1と画像符号化データ 2の品質 (圧縮率等) を変え、 例えば 画像符号化データ 1をより高品質とする。 画像符号化データ 1送信部 1 0 5、 及び画像符号化デ一夕 2送信部 1 0 6で、 画像符号化データ 2を、 伝送路 1 0 7において画像符号化データ 1より高い優先 度でル一ティングされるように設定する。 もしくは、 画像符号化データ 1送信部 1 0 5及び画像符号化データ 2送信部 1 0 6で、 画像符号化データ 2を、 無線伝 送路において、 より高い電力で送信するように設定する。
受信者 Aの画像データ受信装置 1 0 8と受信者 Bの画像データ受信装置 1 0 8 が、 配信される動画像データを受信しているとものし、 受信者 Aの画像データ受 信装置 1 0 8は受信者 Bの画像デ一夕受信装置 1 0 8と比べて、 例えばネットヮ ークのトラヒックに余裕がある、 もしくは無線受信環境が良好である、 ものとす る。
受信者 Aの画像データ受信装置 1 0 8は、 ネットワークのトラヒックに余裕が ある、 もしくは無線受信環境が良好のため、 画像符号化データ 1の高品質な画像 データと、 画像符号化データ 2の低品質な画像データの両方を受信することがで きる。 そして、 受信者 Aの画像デ一夕受信装置 1 0 8では、 万が一、 画像符号化 データ 1の画像データに誤りや欠落があつたとしても、 当該箇所を画像符号化デ —夕 2の画像データで補完することができるため、 受信環境の良好さに応じた、 高品質で安定した動画像デー夕を再生することができる。
この際、 例えば受信者 Aの画像データ受信装置 1 0 8が、
バッテリー/電池で動作する場合のように、 利用可能な電力に制限のある環境 で使用される場合、 及び Z又は、
受信環境が良好であり、 画像符号化データ 1を、 ほとんど誤りや欠落なく受信 できる場合、
には、 画像符号化データ 2の受信を停止し、 装置の使用時間をできるだけ長く する制御を行ってもよい。
逆に、 画像データ受信装置 1 0 8が、 大容量バッテリーや、 A C電源が接続さ れた場合には、 画像符号化データ 1、 画像符号化データ 2とも受信するようにし てもよい。 このように、 利用可能な電力や受信環境に応じて、 データの受信の有 無を制御することもできる。 あるいは、 受信画像データ数を、 受信者 Aが、 画像 データ受信装置 1 0 8に設定できるように構成してもよい。 受信者 Bの画像データ受信装置 1 0 8は、 高優先度でルーティング、 もしくは 高電力で無線配信された画像符号化データ 2は受信することができ、 受信環境が 劣る分、 受信者 Aの画像データ受信装置 1 0 8と比べて品質は劣るものの、 動画 像データを再生することができる。
この際も、 例えば受信者 Bの画像データ受信装置 1 0 8が、
バッテリー/電池で動作する場合のように、 電力に制限のある環境で使用され る場合、 画像デ一夕 1の受信を停止し、 画像データ 2の受信のみとし、 装置の使 用時間をできるだけ長くするようにしてもよい。
逆に、 受信者 Bの画像データ受信装置 1 0 8が、 大容量バッテリーや、 A C電 源が接続された場合には、 画像データ 1、 画像データ 2とも受信するようにして もよい。 このように、 利用可能な電力や受信環境に応じて、 データの受信の有無 を制御することもできる。
あるいは、 受信画像デ一夕数を、 受信者 Bが画像データ受信装置 1 0 8に設定 できるようにしてもよい。
また、 圧縮率が高く、 より低品質な画像符号化データ 2の配信は、 高品質な画 像符号化データ 1と比べて、 トラヒックに余裕のないネットワークでの配信に適 しており、 また無線伝送路でより高い電力で送信することが容易であるため、 限 られたリソース環境下での配信に適用することが可能である。
なお、 本実施例において、 伝送路を複数とし、 画像符号化データ 1及び画像符 号化デ一夕 2、 及びこれらの画像符号化に関する情報を、 異なった伝送路により 伝送する構成としてもよいことは勿論である。
本実施例において、 画像符号化データ 1及び画像符号化データ 2を配信するセ ッシヨンは、 少なくとも 1つをュニキャスト方式で送信するようにしてもよいし 、 少なくとも 1つをマルチキャスト、 もしくはブロードキャス卜方式で送信する ようにしてもよい。
また、 画像データ配信装置 1 0 1における、 配信情報送信部 1 0 2と、 セッシ ョン情報管理部 1 0 3と、 画像データ蓄積 Z生成部 1 0 4と、 画像符号化データ 1送信部 1 0 5と、 画像符号化データ 2送信部 1 0 6について、 画像データ配信 装置 1 0 1を構成するコンピュータで実行されるプログラム制御によりそれぞれ の機能 ·処理を実現するようにしてもよいことは勿論である。 画像データ受信装 置 1 0 8における、 セッション情報受信部 1 0 9と、 画像符号化データ 1受信部 1 1 0及び画像符号化データ 2受信部 1 1 1と、 符号化データ再構成部 1 1 2と 、 デコーダ 1 1 3について、 画像デ一夕受信装置 1 0 8を構成するコンピュータ で実行されるプログラム制御によりそれぞれの機能 ·処理を実現するようにして もよいことは勿論である。
[発明の第 2の実施の形態]
本発明の第 2の実施の形態では、 画像データ配信装置は、 動画像データと、 動 画像データの当該フレームの少なくとも一部をイントラ—マクロブロック符号化 した符号化データを、 それぞれ異なったセッションで配信する手段と、 動画像デ 一夕を配信するセッションごとに伝送路でのルーティングの優先度制御や、 無線 伝送路での電力制御を設定する手段とを備えている。 また画像データ受信装置側 は、 少なくとも 1つのセッションにより配信されたデータを受信する手段と、 受 信した動画像データのうち、 画像品質に基づいてデータを選択し、 1つの動画像 データに再構成して復号化する手段と、 を備えている。 さらに少なくとも 1つの セッションの受信の有無を、 受信データの誤り Z損失率、 受信装置の利用可能な 電力、 あらかじめ定められた設定のうちの少なくとも 1つに基づき、 選択する手 段を備えた構成としてもよい。
[第 2の実施例]
次に本発明の第 2の実施例として図面を参照しながら説明する。 第 2図は、 本 発明の第 2の実施例の構成を示す図である。 第 2図に示すように、 画像データ配 信装置 2 0 1と、 画像データ受信装置 2 0 8、 及び動画像符号化データを伝送す るための伝送路 2 0 7を備えている。 本実施例では、 画像データ配信装置 2 0 1 は I P ( I n t e r n e t P r o t o c o l ) 網である伝送路 2 0 7に接続さ れており、 UD PZ I Pを用いて画像符号化データを配信し、 画像データ受信装 置 2 0 8は、 I P網に接続されるクライアント端末であるとする。
画像データ配信装置 2 0 1は、 配信情報送信部 2 0 2と、 セッション情報管理 部 2 0 3と、 画像データ蓄積 Z生成部 2 0 4と、 画像符号化データ送信部 2 0 5 と、 イントラーマクロブロック (I n t r a— MB) 符号化データ送信部 2 0 6 を備えている。
画像データ受信装置 2 0 8は、 セッション情報受信部 2 0 9と、 画像符号化デ 一夕受信部 2 1 0、 イントラーマクロブロック (I n t r a— MB ) 符号化デー 夕受信部 2 1 1、 符号化データ再構成部 2 1 2と、 デコーダ 2 1 3を備えている 。 以下、 画像データ配信装置 2 0 1、 画像データ受信装置 2 0 8の動作を順に説 明する。
画像データ配信装置 2 0 1は、 画像データ蓄積/生成部 2 0 4で、
•あらかじめ蓄積された画像データ、 もしくは、
•リアルタイムで符号化し生成された画像データ、 もしくは、
•リアルタイムで既存画像デ一夕を変換し生成された画像データ、
を、 セッション情報管理部 2 0 3で設定された、 セッションごとの伝送路 2 0 7でのルーティングの優先度情報、 及び Z又は、 無線伝送路の電力制御情報に基 づいて、 画像符号化デ一夕送信部 2 0 5、 及びイントラ—マクロブロック (I n t r a— M B ) 符号化データ送信部 2 0 6により、 伝送路 2 0 7経由で送信する また、 セッション情報管理部 2 0 3で、 符号化デ一夕の種別に関する情報を管 理し、 配信情報送信部 2 0 2から画像データ受信装置 2 0 8に通知する。
画像符号化データ送信部 2 0 5、 及び I n t r a— M B符号化デ一夕送信部 2 0 6は、 画像データ受信装置 2 0 8で、 重複する複数の画像データが受信された 場合に、 データの選択ができるよう、 また、 受信したデータの順序が入れ替わつ ていても、 正しく並び替えられるよう、 R T Pに相当する情報を付加する機能を 有する。 この際、 イントラーマクロブロック符号化データが符号化する画像の同 一部位の画像符号化データに、 同じ R T Pシーケンス番号を付与し、 さらに画像 符号化デー夕とイントラ—マクロブロックのいずれであるかを示すペイロード夕 イブ、 及び/又は、 S S R C、 及び/又は、 C S R Cを付与してもよい。
また、 本実施例においては、 送信の際、 画像符号化データに対して、 イントラ 一マクロブロック符号化データを、 例えば伝送路 2 0 7でのデータの誤り、 もし くは損失のバース卜長より長くなるような時間差を設けて送信すると、 伝送路で 画像符号化デー夕とイントラーマクロブロック符号化デー夕が両方とも誤り、 も しくは損失の影響を受ける可能性が低下し、 画像データ受信装置がこの時間差以 上の受信バッファを備える場合、 より安定した画像デ一夕の配信をすることがで ぎる。
本実施例において、 同一画像の複数の画像符号化デ一夕の送信の時間差につい ては、 セッション情報管理部 2 0 3で管理し、 配信情報送信部 2 0 2から画像デ 一夕受信装置 2 0 8に通知するか、 あらかじめ画像デ一夕配信装置 2 0 1及び画 像データ受信装置 2 0 8間で定めておき、 その時間差に基づいて画像データ受信 装置 2 0 8が受信バッファ量を設定してもよい。
画像データ受信装置 2 0 8は、 画像データ配信装置 2 0 1からの符号化データ 種別に関する情報を、 セッション情報受信部 2 0 9で受信し、 この情報から、 伝 送路 2 0 7より受信した符号化データの種別を知る。
また、 セッション情報管理部 2 0 3は、
-符号化データの符号化設定、
·符号化オプション (使用ツール) 、
·符号化データのペイロード 'ォプション、
•符号化データを識別する R T Pへッダのペイロードタイプに相当する情報、 • S S R C、 C S R Cに相当する情報
の少なくとも 1つを設定し、 配信情報送信部 2 0 2により画像データ受信装置 2 0 8へ通知するか、 あるいは、 これらの情報を、 あらかじめ画像データ配信装 置 2 0 1及び画像データ受信装置 2 0 8間で設定しておいてもよい。
画像符号化データ、 及び、 イントラーマクロブロック符号化データの両方が受 信できた場合、 重複する画像データは、 符号化データ再構成部 2 1 2で R T Pに 相当する機能、 R T Pヘッダのシーケンス番号、 ペイロードタイプ、 S S R Cや 、 C S R C:、 及び 又は、 セッション情報受信部 2 0 9で受信された情報に基づ いて、 1つの画像データに再構成し、 デコーダ 2 1 3へと出力する。 画像データ は、 1つだけ復号化すればよいので、 デコーダ 2 1 3の復号化処理の負担は増加 しない。
受信環境により、 配信される画像品質が最適化される仕組みは、 以下のような ものとなる。 イントラーマクロブロックは、 符号化されるフレームのうち、 動きベクトルの 大きい箇所等、 一部のマクロブロックのみを選択して符号化する。
画像符号化データ送信部 2 0 5、 及び I n t r a— M B符号化データ送信部 2 0 6で、 画像符号化データを、 伝送路 2 0 7において、 イントラーマクロブロッ ク符号化データより高い優先度でルーティングされるように設定する。 もしくは 、 画像符号化データ送信部 2 0 5、 及び I n t r a—M B符号化データ送信部 2 0 6で、 画像符号化デ一夕を、 無線伝送路においてより高い電力で送信するよう に設定する。
受信者 Aの画像データ受信装置 2 0 8と受信者 Bの画像データ受信装置 2 0 8 が、 配信される動画像データを受信しているものとし、 受信者 Aの画像データ受 信装置 2 0 8は、 受信者 Bの画像データ受信装置 2 0 8と比べて、 例えばネット ワークのトラヒックに余裕があるか、 もしくは、 無線受信環境が良好であるもの 、 とする。
受信者 Aの画像データ受信装置 2 0 8は、 トラヒックに余裕があるか、 もしく は無線受信環境が良好のため、 画像符号化データとイントラ—マクロブロック符 号化デ一夕の両方を受信することができる。 そして、 受信者 Aの画像データ受信 装置 2 0 8では、 万が一、 画像符号化データの一部に誤りや欠落があつたとして も、 当該箇所のマクロブロックの符号化デー夕がイントラ一マクロブロック符号 化データから受信できれば、 補完することができる。 あるいは、 誤りや欠落によ り劣化したマクロブロックを、 補正することができるため、 受信環境の良好さに 応じた、 安定した動画像データが再生できる。
受信者 Bの画像データ受信装置 2 0 8は、 高優先度でルーティング、 もしくは 高電力で無線配信された画像符号化データは受信することができ、 受信環境が劣 る分、 受信者 Aの画像デ一夕受信装置 2 0 8よりも、 デ一夕の誤りや欠落が増え る可能性はあるものの、 動画像データを再生することができる。
この際、 例えば受信者 A、 Bの画像デ一夕受信装置 2 0 8が、 バッテリー/電 池で動作する場合のように、 電力に制限のある環境で使用される場合、 及ぴ,又 は、 受信環境が良好で、 画像符号化データを、 ほとんど誤りや欠落なく受信でき る場合には、 イントラーマクロブロック符号化データの受信を停止し、 装置の使 用時間をできるだけ長くするようにしてもよい。
逆に、 大容量バッテリーや、 A C電源が接続された場合、 画像符号化データ、 イントラ—マクロブロック符号化データとも受信するなど、 利用可能な電力ゃ受 信環境に応じて、 データの受信の有無を制御することもできる。
本実施例においては、 この受信画像符号化データの種別を、 受信者が、 画像デ 一夕受信装置 2 0 8に設定できる構成としてもよい。
また、 例えば画像符号化データが正しく受信できている場合でも、 それがイン ターフレーム (参照フレーム) 符号化データであるとき、 符号化データ再構成部 2 1 2で周期的に必ずイントラ一マクロブロック符号化データを選択するように すれば、 伝送路での誤りや損失が発生した場合でも、 M P E G— 4符号化方式で の C I R (Cycl ic Intra Refresh) と同様の効果を得ることができ、 伝送路での 誤りや損失による再生画像品質の劣化を素早く回復させることで、 以後のフレー ムへの品質劣化の伝播を小さく抑えることができる。
なお、 本実施例において、 伝送路を複数とし、 画像符号化データ及びイントラ 一マクロブロック符号化デ一夕、 及びこれらの画像符号化に関する情報を、 異な つた伝送路により伝送する構成としてもよい。
また、 画像符号化デ一夕及びィントラーマクロプロック符号化データを配信す るセッションは、 少なくとも 1つをュニキャスト方式で送信されても、 少なくと も 1つをマルチキャス卜、 もしくはブロードキャスト方式で送信するようにして もよい。
また、 画像デ一夕配信装置 2 0 1における、 配信情報送信部 2 0 2と、 セッシ ョン情報管理部 2 0 3と、 画像データ蓄積 Z生成部 2 0 4と、 画像符号化データ 送信部 2 0 5と、 イントラ—マクロブロック符号化データ送信部 2 0 6について 、 画像データ配信装置 2 0 1を構成するコンピュータで実行されるプログラム制 御によりそれぞれの機能 ·処理を実現するようにしてもよいことは勿論である。 画像データ受信装置 2 0 8における、 セッション情報受信部 2 0 9と、 画像符号 化データ受信部 2 1 0及びイントラーマクロブロック符号化データ受信部 2 1 1 と、 符号化データ再構成部 2 1 2と、 デコーダ 2 1 3について、 画像データ受信 装置 2 0 8を構成するコンピュータで実行されるプログラム制御によりそれぞれ の機能 ·処理を実現するようにしてもよいことは勿論である。
[発明の第 3の実施の形態]
本発明の第 3の実施の形態では、 画像データ配信装置側は、 動画像データの I (I n t r a) ピクチャ、 P (Pr ed i c t i ve) ピクチャ、 及び動画像の 符号化に用いた符号化方式に存在する場合は B (B i d i r e c t i ona l l y-p r e d i c t i v e) ピクチャのうち、 Iピクチャとそれ以外のピクチャ とでそれぞれ異なったセッションで配信する手段と、 動画像データを配信するセ ッシヨンごとに伝送路でのルーティングの優先度制御や、 無線伝送路での電力制 御を設定する手段と、 を備えている。 画像データ受信装置側は、 少なくとも 1つ のセッションにより配信されたデータを受信する手段と、 受信した動画像デ一夕 を、 1つの動画像データに再構成して復号化する手段と、 を備えている。 さらに 少なくとも 1つのセッションの受信の有無を、 受信データの誤り/損失率、 受信 装置の利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基 づき、 選択する手段を備えた構成としてもよい。
[第 3の実施例] „
本発明の第 3の実施例を図面を参照しながら説明する。 第 3図は、 本発明の第 3の実施例の構成を示す図である。 第 3図に示すように、 画像データ配信装置 3 01と、 画像データ受信装置 308、 及び画像符号化データを伝送するための伝 送路 307から構成される。 本実施例では、 画像データ配信装置 301は I P網 である伝送路 307に接続されており、 UDP/I Pを用いて画像符号化デ一夕 を配信し、 画像データ受信装置 308は、 I P網に接続されるクライアント端末 であるとする。 なお、 ここでは簡単のため、 配信する画像データの符号化方式に は、 Iピクチャ、 Pピクチャ、 Bピクチャの 3つのフレーム種別が存在するもの として説明する。
画像データ配信装置 301は、 配信情報送信部 302と、 セッション情報管理 部 303と、 画像データ蓄積 Z生成部 304と、 Iピクチャ符号化データ送信部 305と、 P/Bピクチャ符号化データ送信部 306を備えている。
画像デ一夕受信装置 308は、 セッション情報受信部 309と、 Iピクチャ符 号化データ受信部 310、 PZBピクチャ符号化データ受信部 311と、 符号化 データ再構成部 3 1 2と、 デコーダ 3 1 3を備えている。 以下、 画像デ一夕配信 装置 3 0 1、 画像データ受信装置 3 0 8の動作を順に説明する。
画像データ配信装置 3 0 1は、 画像デ一夕蓄積 生成部 3 0 4で、
•あらかじめ蓄積された画像データ、 もしくは、
'リアルタイムで生成された画像データ、 もしくは、
-リアルタイムで既存画像デ一夕を変換し生成された画像データ、
を、 セッション情報管理部 3 0 3で設定された、 セッションごとの伝送路 3 0 7でのルーティングの優先度情報及び Z又は、 無線伝送路の電力制御情報に基づ いて、 Iピクチャ符号化データ送信部 3 0 5及び P ZBピクチャ符号化データ送 信部 3 0 6により、 伝送路 3 0 7経由で送信する。
また、 セッション情報管理部 3 0 3では、 各セッションから配信するピクチャ 情報を管理し、 配信情報送信部 3 0 2から画像データ受信装置 3 0 8に通知する
Iピクチャ符号化データ送信部 3 0 5、 及び、 P ZBピクチャ符号化データ送 信部 3 0 6は、 画像データ受信装置 3 0 8で、 受信したデータの順序が入れ替わ つていても、 正しく並び替えられるよう、 R T Pに相当する情報を付加する機能 を有する。
画像データ受信装置 3 0 8は、 画像データ配信装置 3 0 1からの画像符号化に 関する情報を、 セッション情報受信部 3 0 9で受信し、 この情報から、 伝送路 3 0 7より受信した画像データのピクチャ種別を知る。
また、 セッション情報管理部 3 0 3は、
-符号化データの符号化設定、
•符号化オプション (使用ツール) 、
•符号化データのペイロード ·ォプション、
•符号化デ一夕を識別する R T Pへッダのペイロードタイプに相当する情報、 • S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 3 0 2により画像データ受信装置 3 0 8へ通知するか、 あるいは、 これらの情報を、 あらかじめ画像データ配信装 置 3 0 1及び画像データ受信装置 3 0 8間で設定しておいてもよい。 受信した Iピクチャ、 Pピクチャ、 Bピクチャ符号化データは、 符号化データ 再構成部 3 1 2で、 R T Pに相当する機能、 R T Pヘッダのシーケンス番号、 ぺ ィロードタイプ、 S S R Cや、 C S R C、 及び Z又は、 セッション情報受信部 3 0 9で受信された情報に基づいて、 1つの画像データに再構成し、 デコーダ 3 1 3へと出力する。
受信環境により、 配信される画像品質が最適化される仕組みは、 以下のような もとなる。
Iピクチャ符号化データ送信部 3 0 5、 及び P ZBピクチャ符号化データ送信 部 3 0 6で、 Iピクチャ符号化データを、 伝送路 3 0 7において、 P ZBピクチ ャ符号化データより高い優先度でルーティングされるように設定する。 もしくは 、 Iピクチャ符号化データ送信部 3 0 5、 及び P ZBピクチャ符号化データ送信 部 3 0 6で、 Iピクチャ符号化データを、 無線伝送路においてより高い電力で送 信するように設定する。
受信者 Aの画像データ受信装置 3 0 8と、 受信者 Bの画像データ受信装置 3 0 8が、 配信される動画像データを受信しているものとし、 受信者 Aの画像データ 受信装置 3 0 8は受信者 Bの画像データ受信装置 3 0 8と比べて、 例えばネット ワークのトラヒックに余裕がある、 もしくは無線受信環境が良好である、 ものと する。
受信者 Aの画像データ受信装置 3 0 8は、 トラヒックに余裕がある、 もしくは 無線受信環境が良好のため、 Iピクチャ符号化データと、 P /Bピクチャ符号化 デ一夕の両方を受信することができ、 受信環境の良好さに応じた、 動きの滑らか な、 高品質な動画像データを再生することができる。
受信者 Bの画像データ受信装置 3 0 8は、 高優先度でルーティング、 もしくは 高電力で無線配信された Iピクチャ符号化データを受信することができ、 受信環 境が劣る分、 受信者 Aの画像デ一夕受信装置 3 0 8よりも品質が劣るが、 動画像 データを再生することができる。
この際、 例えば受信者 A、 Bの画像データ受信装置 3 0 8が、 バッテリー/電 池で動作する場合のように、 電力に制限のある環境で使用される場合には、 例え ば、 受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、 P/Bピクチャ符号化データの受信を停止し、 装置の使用時間をできるだけ長く するようにしてもよい。
逆に、 画像データ受信装置 3 0 8が、 大容量バッテリーや、 A C電源が接続さ れた場合には、 全ピクチャの符号化デ一夕を受信するようにしてもよい。 このよ うに、 利用可能な電力や受信環境に応じて、 データの受信の有無を制御すること もできる。
本実施例においては、 この受信ピクチャ符号化データの種別を、 受信者が画像 データ受信装置 3 0 8に設定できるようにしてもよい。
また、 本来の全てのピクチャの符号化データを、 同一のセッションで、 同一の ルーティングの優先度、 または同一の電力で無線配信するのに比べ、 トラヒック の負荷が高い状況や、 無線リソースが限られた状況でも、 状況に応じた柔軟な優 先度設定や、 電力制御が可能であり、 少ない品質変動で動画像データを配信する ことができる。
なお、 本実施例において、 伝送路を複数とし、 Iピクチャ符号化データ及び P ZBピクチャ符号化データ、 及びこれらの画像符号化に関する情報を、 異なった 伝送路により伝送する構成としてもよい。
本実施例において、 Iピクチャ符号化データ及び PZBピクチャ符号化データ を配信するセッションは、 少なくとも 1っをュニキヤスト方式で送信するように してもよいし、 少なくとも 1つをマルチキャスト、 もしくはブロードキャスト方 式で送信するようにしてもよい。
また、 画像デ一夕配信装置 3 0 1における、 配信情報送信部 3 0 2と、 セッシ ョン情報管理部 3 0 3と、 画像デ一夕蓄積/生成部 3 0 4と、 Iピクチャ符号化 データ送信部 3 0 5と、 P /Bピクチャ符号化データ送信部 3 0 6について、 画 像データ配信装置 3 0 1を構成するコンピュータで実行されるプログラム制御に よりそれぞれの機能 ·処理を実現するようにしてもよいことは勿論である。 画像 データ受信装置 3 0 8における、 セッション情報受信部 3 0 9と、 Iピクチャ符 号化データ受信部 3 1 0及び P /Bピクチャ符号化データ受信部 3 1 1と、 符号 化データ再構成部 3 1 2と、 デコーダ 3 1 3について、 画像データ受信装置 3 0 8を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能 · 処理を実現するようにしてもよいことは勿論である。
[発明の第 4の実施の形態]
本発明の第 4の実施の形態では、 画像データ配信装置は、 動画像データの Iピ クチャ、 Pピクチャ、 及び Bピクチャのうち、 I ZPピクチャとそれ以外のピク チヤで、 それぞれ異なったセッションで配信する手段と、 動画像データを配信す るセッションごとに伝送路でのルーティングの優先度制御や、 無線伝送路での電 力制御を設定する手段とを備えている。 画像データ受信装置は、 少なくとも 1つ のセッションにより配信されたデータを受信する手段と、 受信した動画像データ を、 1つの動画像データに再構成して復号化する手段と、 を備えている。 さらに 少なくとも 1つのセッションの受信の有無を、 受信データの誤り/損失率、 受信 装置の利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基 づき、 選択する手段を備えた構成としてもよい。
[第 4の実施例]
本発明の第 4の実施例を図面を参照しながら説明する。 第 4図は、 本発明の第 4の実施例の構成を示す図である。 第 4図に示すように、 画像データ配信装置 4 0 1と、 画像データ受信装置 4 0 8、 及び画像符号化データを伝送するための伝 送路 4 0 7から構成される。 本実施例では、 画像データ配信装置 4 0 1は I P網 である伝送路 4 0 7に接続されており、 UD P / I Pを用いて画像符号化データ を配信し、 画像デ一夕受信装置 4 0 8は、 I P網に接続されるクライアント端末 であるとする。 なお、 ここでは簡単のため、 配信する画像データの符号化方式に は、 Iピクチャ、 Pピクチャ、 Bピクチャの 3つのフレーム種別が存在するとし て説明する。
画像データ配信装置 4 0 1は、 配信情報送信部 4 0 2と、 セッション情報管理 部 4 0 3と、 画像データ蓄積 生成部 4 0 4と、 I /Pピクチャ符号化データ送 信部 4 0 5と、 Bピクチャ符号化データ送信部 4 0 6とを備えている。
画像データ受信装置 4 0 8は、 セッション情報受信部 4 0 9と、 I ZPピクチ ャ符号化データ受信 4 1 0と、 Bピクチャ符号化データ受信部 4 1 1と、 符号化 データ再構成部 4 1 2と、 デコーダ 4 1 3を備えている。 以下、 画像デ一夕配信 装置 4 0 1、 画像データ受信装置 4 0 8の動作について順に説明する。 画像データ配信装置 4 0 1は、 画像データ蓄積/生成部 4 0 4で、
•あらかじめ蓄積された画像データ、 または、
'リアルタイムで生成された画像データ、 または、
• リアルタイムで既存画像データを変換し生成された画像データ、
を、 セッション情報管理部 4 0 3で設定された、 セッションごとの伝送路 4 0 7でのルーティングの優先度情報、 及び/又は、 無線伝送路の電力制御情報に基 づいて、 I / Pピクチャ符号化デ一夕送信部 4 0 5及ぴ Bピクチヤ符号化データ 送信部 4 0 6により、 伝送路 4 0 7経由で送信する。
また、 セッション情報管理部 4 0 3で、 各セッションから配信するピクチャ情 報を管理し、 配信情報送信部 4 0 2から画像データ受信装置 4 0 8に通知する。
I ZPピクチャ符号化データ送信部 4 0 5、 及び Bピクチャ符号化データ送信 部 4 0 6は、 画像受信装置 4 0 8で、 受信したデータの順序が入れ替わつていて も、 正しく並び替えられるよう、 R T Pに相当する情報を付加する機能を有する 画像データ受信装置 4 0 8は、 画像データ配信装置 4 0 1から配信される画像 符号化に関する情報を、 セッション情報受信部 4 0 9で受信し、 この情報から、 伝送路 4 0 7より受信した画像データのピクチャ種別を知る。
なお、 セッション情報管理部 4 0 3は、
•符号化データの符号化設定、
·符号化オプション (使用ツール) 、
•符号化データのペイロード ·ォプション、
•符号化デ一夕を識別する R T Pへッダのペイロードタイプに相当する情報、 •及び/又は、 S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 4 0 2により画像データ受信装置 4 0 8へ通知するカ、 あるいは、 これらの情報を、 あらかじめ画像データ配信装 置 4 0 1及び画像データ受信装置 4 0 8間で設定しておいてもよい。
受信した Iピクチャ、 Pピクチャ、 Bピクチャ符号化データは、 符号化データ 再構成部 4 1 2で R T Pに相当する機能、 R T Pヘッダのシーケンス番号、 ペイ ロードタイプ、 S S R Cや、 C S R C、 及び/又は、 セッション情報受信部 4 0 9で受信された情報に基づいて 1つの画像データに再構成し、 デコーダ 4 1 3へ と出力する。
受信環境により、 配信される画像品質が最適化される仕組みは、 以下のような ものとなる。
I ZPピクチャ符号化データ送信部 4 0 5、 及び Bピクチャ符号化データ送信 部 4 0 6で、 I /Pピクチャ符号化データを、 伝送路 4 0 7において、 Bピクチ ャ符号化デ一夕よりも高い優先度でルーティングされるように設定する。 もしく は、 I ZBピクチャ符号化データ送信部 4 0 5、 及び Bピクチャ符号化データ送 信部 4 0 6で、 I / Pピクチャ符号化データを、 無線伝送路においてより高い電 力で送信するように設定する。
受信者 Aの画像データ受信装置 4 0 8と、 受信者 Bの画像データ受信装置 4 0 8が、 配信される動画像データを受信しているものとし、 受信者 Aの画像デ一夕 受信装置 4 0 8は、 受信者 Bの画像データ受信装置 4 0 8と比べて、 例えばネッ トワークのトラヒックに余裕がある、 もしくは無線受信環境が良好である、 もの とする。
受信者 Aの画像データ受信装置 4 0 8は、 トラヒックに余裕がある、 もしくは 無線受信環境が良好であるため、 I ZPピクチャ符号化データと、 Bピクチャ符 号化データの両方を受信することができ、 受信環境の良好さに応じた、 動きの滑 らかな、 高品質な動画像デ一夕を再生することができる。
受信者 Bの画像データ受信装置 4 0 8は、 高優先度でルーティング、 もしくは 高電力で無線配信された I /Pピクチャ符号化デ一夕は受信することができ、 受 信環境が劣る分、 受信者 Aの画像データ受信装置 4 0 8よりも、 品質が劣るが、 動画像デ一夕を再生することができる。
この際、 例えば受信者 A、 Bの画像データ受信装置 4 0 8が、 バッテリー 電 池で動作する場合のように、 電力に制限のある環境で使用される場合には、 例え ば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、 B ピクチャ符号化データの受信を停止し、 装置の使用時間をできるだけ長くするよ うにしてもよい。
逆に、 画像データ受信装置 4 0 8が大容量バッテリーや、 A C電源が接続され た場合には、 全ピクチャの符号化データを受信するようにしてもよい。 このよう に、 利用可能な電力や受信環境に応じて、 データの受信の有無を制御することも できる。
本実施例においては、 受信ピクチャ符号化データ種別を、 受信者が画像データ 受信装置 4 0 8に設定できるようにしてもよい。
また、 本来の全てのピクチャの符号化データを、 同一のセッションで、 同一の ルーティングの優先度、 または同一の電力で無線配信するのに比べ、 トラヒック の負荷が高い状況や、 無線リソースが限られた状況でも、 状況に応じた柔軟な優 先度設定や、 電力制御が可能で、 少ない品質変動で動画像データを配信すること ができる。
なお、 本実施例において、 伝送路を複数とし、 i zpピクチャ符号化データ、 及び Bピクチャ符号化データ、 及びこれらの画像符号化に関する情報を異なった 伝送路により伝送する構成としてもよい。
本実施例においても、 I ZPピクチャ符号化データ及び Bピクチャ符号化デー タを配信するセッションは、 少なくとも 1つをュニキャスト方式で送信するよう にしてもよいし、 少なくとも 1つをマルチキャスト、 もしくはブロードキャス卜 方式で送信するようにしてもよい。
また、 画像データ配信装置 4 0 1における、 配信情報送信部 4 0 2と、 セッシ ョン情報管理部 4 0 3と、 画像データ蓄積 Z生成部 4 0 4と、 I ZPピクチャ符 号化データ送信部 4 0 5と、 Bピクチャ符号化データ送信部 4 0 6について、 画 像データ配信装置 4 0 1を構成するコンピュータで実行されるプログラム制御に よりそれぞれの機能 ·処理を実現するようにしてもよいことは勿論である。 画像 データ受信装置 4 0 8における、 セッション情報受信部 4 0 9と、 I ZPピクチ ャ符号化データ受信部 4 1 0及び Bピクチャ符号化データ受信部 4 1 1と、 符号 化データ再構成部 4 1 2と、 デコーダ 4 1 3について、 画像データ受信装置 4 0
8を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能 · 処理を実現するようにしてもよいことは勿論である。
[発明の第 5の実施の形態]
本発明の第 5の実施の形態では、 画像データ配信装置は、 動画像データの Iピ クチャ、 Pピクチャ、 及び Bピクチャのうち、 Iピクチャ、 Pピクチャ、 Bピク チヤで、 それぞれ異なったセッションで配信する手段と、 動画像データを配信す るセッションごとに伝送路でのルーティングの優先度制御や、 無線伝送路での電 力制御を設定する手段と、 を備えている。 画像データ受信装置は、 少なくとも 1 つのセッションにより配信されたデータを受信する手段と受信した動画像データ を、 1つの動画像デ一夕に再構成して復号化する手段と、 を備えている。 さらに 少なくとも 1つのセッションの受信の有無を、 受信データの誤り/損失率、 受信 装置の利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基 づき、 選択する手段を備えた構成としてもよい。
[第 5の実施例]
次に本発明の第 5の実施例を図面を参照しながら説明する。 第 5図は、 本発明 の第 5の実施例の構成の一例を示している。 第 5図に示すように、 画像データ配 信装置 5 0 1と、 画像データ受信装置 5 0 9、 及び画像符号化データを伝送する ための伝送路 5 0 8から構成される。 本実施例では、 画像データ配信装置 5 0 1 は I P網である伝送路 5 0 8に接続されており、 UD P / I Pを用いて画像符号 化データを配信し、 画像データ受信装置 5 0 9は、 I P網に接続されるクライア ント端末であるとする。 なお、 ここでは簡単のため、 配信する画像データの符号 化方式には、 Iピクチャ、 Pピクチャ、 Bピクチャの 3つのフレーム種別が存在 するとして説明する。
画像データ配信装置 5 0 1は、 配信情報送信部 5 0 2と、 セッション情報管理 部 5 0 3と、 画像データ蓄積/生成部 5 0 4と、 Iピクチャ符号化データ送信部 5 0 5、 Pピクチャ符号化データ送信部 5 0 6と、 Bピクチャ符号化データ送信 部 5 0 7を備えている。
画像データ受信装置 5 0 9は、 セッション情報受信部 5 1 0と、 Iピクチャ符 号化デ一夕受信部 5 1 1、 Pピクチャ符号化デ一夕受信部 5 1 2、 Bピクチャ符 号化データ受信部 5 1 3、 符号化データ再構成部 5 1 4と、 デコーダ 5 1 5を備 えている。 以下、 画像データ配信装置 5 0 1、 画像データ受信装置 5 0 9の動作 について順に説明する。
画像データ配信装置 5 0 1は、 画像データ蓄積 生成部 5 0 4で、 W
•あらかじめ蓄積された画像データ、 もしくは、
•リアルタイムで生成された画像データ、 もしくは、
• リアルタイムで既存画像データを変換し生成された画像データ、
を、 セッション情報管理部 5 0 3で設定された、 セッションごとの伝送路 5 0 8でのルーティングの優先度情報及び/又は、 無線伝送路の電力制御情報に基づ いて、 Iピクチャ符号化データ送信部 5 0 5、 及び Pピクチャ符号化データ送信 部 5 0 6、 及び Bピクチャ符号化データ送信部 5 0 7により、 伝送路 5 0 8経由 で送信する。
セッション情報管理部 5 0 3では、 各セッションから配信するピクチャ情報を 管理し、 配信情報送信部 5 0 2から画像データ受信装置 5 0 9に通知する。
Iピクチャ符号化データ送信部 5 0 5、 Pピクチャ符号化データ送信部 5 0 6 、 及び Bピクチャ符号化データ送信部 5 0 7は、 画像データ受信装置 5 0 9で、 受信したデータの順序が入れ替わっていても、 正しく並び替えられるよう、 R T Pに相当する情報を付加する機能を有する。
画像データ受信装置 5 0 9は、 画像データ配信装置 5 0 1からの画像符号化に 関する情報を、 セッション情報受信部 5 1 0で受信し、 この情報から、 伝送路 5 0 8より受信した画像データのピクチャ種別を知る。
また、 セッション情報管理部 5 0 3は、
,符号化データの符号化設定、
·符号化オプション (使用ツール) 、
-符号化デ一夕のペイロード ·ォプション、
•符号化データを識別する R T Pへッダのペイロードタイプに相当する情報、 • S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 5 0 2により画像データ受信装置 5 0 9へ通知する力 あるいは、 これらの情報を、 あらかじめ画像データ配信装 置 5 0 1及び画像データ受信装置 5 0 9間で設定しておいてもよい。
受信した I'ピクチャ、 Pピクチャ、 Bピクチャ符号化データは、 符号化データ 再構成部 5 1 4で R T Pに相当する機能、 R T Pヘッダのシーケンス番号、 ペイ ロードタイプ、 S S R Cや、 C S R C、 及び/又は、 セッション情報受信部 5 1 0で受信された情報に基づいて、 1つの画像データに再構成し、 デコーダ 5 1 5 へと出力する。
受信環境により、 配信される画像品質が最適化される仕組みは、 以下のような ものとなる。
Iピクチャ符号化データ送信部 5 0 5、 Pピクチャ符号化データ送信部 5 0 6 、 及び Bピクチャ符号化データ送信部 5 0 7で、 伝送路 5 0 8において、 Iピク チヤ符号化データを最も高い優先度で、 Pピクチャ符号化デ一夕をこれに次ぐ優 先度で、 Bピクチャ符号化デ一夕を最も低い優先度でルーティングされるように 設定する。 もしくは、 Iピクチャ符号化データ送信部 5 0 5、 Pピクチャ符号化 データ送信部 5 0 6、 及び Bピクチャ符号化データ送信部 5 0 7で、 無線伝送路 において、 Iピクチャ符号化データを最も高い電力で、 Pピクチャ符号化データ をこれに次ぐ電力で、 Bピクチャを最も低い電力で送信するように設定する。 受信者 Aと受信者 Bと受信者 Cのそれぞれの画像データ受信装置 5 0 9が、 配 信される動画像データを受信しているものとし、 受信者 Aの画像データ受信装置 5 0 9は受信者 Bの画像データ受信装置 5 0 9より、 受信者 Bの画像データ受信 装置 5 0 9は受信者 Cの画像データ受信装置 5 0 9より、 例えばネットワークの トラヒックに余裕がある、 もしくは無線受信環境が良好である、 ものとする。 受信者 Aの画像データ受信装置 5 0 9は、 トラヒックに余裕がある、 もしくは 無線受信環境が良好であるため、 Iピクチャ符号化データと、 Pピクチャ符号化 データと、 Bピクチャ符号化データのいずれも受信することができ、 受信環境の 良好さに応じた、 動きの滑らかな、 最も高品質な動画像データを再生することが できる。
受信者 Bの画像データ受信装置 5 0 9は、 最も高い優先度と、 これに次ぐ優先 度でルーティング、 もしくは最も高い電力と、 これに次ぐ電力で無線配信された Iピクチャ符号化データと、 Pピクチャ符号化データを受信することができ、 受 信環境が劣る分、 受信者 Aよりは品質が劣るが、 比較的滑らかな動きの動画像デ 一夕は再生することができる。
受信者 Cの画像データ受信装置 5 0 9では、 最も高い優先度でルーティング、 もしくは、 最も高い電力で無線配信された Iピクチャ符号化データを受信するこ とができ、 受信環境が劣る分、 受信者 A、 受信者 Bの画像データ受信装置 5 0 9 よりも、 品質が劣るが、 動画像データを再生することができる。
この際、 例えば受信者 A、 B、 Cの画像デ一夕受信装置 5 0 9が、 パッテリ一 /電池で動作する場合のように、 電力に制限のある環境で使用される場合には、 例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば 、 より重要度の低いデータの Bピクチャ符号化データの受信を停止し、 あるいは 、 さらに Bピクチャ及び Pピクチャの受信を停止することで、 装置の使用時間を できるだけ長くするようにしてもよい。
逆に、 画像データ受信装置 5 0 9が大容量バッテリーや、 A C電源が接続され た場合には、 より重要度の高い符号化データから受信をするなど、 利用可能な電 力や受信環境に応じて、 データの受信の有無を制御することもできる。
本実施例においては、 この受信ピクチャ符号化データ種別を、 受信者が画像デ —夕受信装置 5 0 9に設定できるようにしてもよい。
また、 本来の全てのピクチャの符号化データを、 同一のセッションで、 同一の ルーティングの優先度、 または同一の電力で無線配信する場合と比べ、 本実施例 においては、 トラヒックの負荷が高い状況や、 無線リソースが限られた状況でも 、 状況に応じた柔軟な優先度設定や、 電力制御が可能とされ、 少ない品質変動で 動画像データを配信することができる。
なお、 本実施例において、 伝送路を複数とし、 Iピクチャ符号化データ、 Bピ クチャ符号化データ、 及び Pピクチャ符号化データ、 これらの画像符号化に関す る情報を、 異なった伝送路により伝送する構成としてもよい。
本実施例においても、 Iピクチャ符号化デ一夕、 及び、 Pピクチャ符号化デー タ及び、 Bピクチャ符号化データを配信するセッションは、 少なくとも 1っをュ ニキヤスト方式で送信するようにしてもよいし、 少なくとも 1つをマルチキャス ト、 もしくはブロードキャスト方式で送信するようにしてもよい。
また画像データ配信装置 5 0 1における、 配信情報送信部 5 0 2と、 セッショ ン情報管理部 5 0 3と、 画像データ蓄積/生成部 5 0 4と、 Iピクチャ符号化デ 一夕送信部 5 0 5と、 Pピクチャ符号化データ送信部 5 0 6、 Bピクチャ符号化 デ一夕送信部 5 0 7について、 画像データ配信装置 5 0 1を構成するコンピュー 夕で実行されるプログラム制御によりそれぞれの機能 ·処理を実現するようにし てもよいことは勿論である。 画像デ一夕受信装置 5 0 9における、 セッション情 報受信部 5 1 0と、 Iピクチャ符号化デ一夕受信部 5 1 1、 Pピクチャ符号化デ 一夕受信部 5 1 2、 Bピクチャ符号化データ受信部 5 1 3と、 符号化データ再構 成部 5 1 4と、 デコーダ 5 1 5について、 画像データ受信装置 5 0 9を構成する コンピュータで実行されるプログラム制御によりそれぞれの機能 ·処理を実現す るようにしてもよいことは勿論である。
[発明の第 6の実施の形態]
本発明の第 6の実施の形態では、 画像データ配信装置は、 動画像データの Iピ クチャ、 Pピクチャ、 及び動画像の符号化に用いた符号化方式に存在する場合は Bピクチャ、 及び動画像デ一夕の当該フレームの少なくとも一部をイントラ一マ クロプロック (I n t r a— M B ) 符号化した符号化データを、 それぞれ異なつ たセッションで配信する手段と、 動画像データを配信するセッシヨンごとに伝送 路でのルーティングの優先度制御や、 無線伝送路での電力制御を設定する手段と 、 を備えている。 画像データ受信装置は、 少なくとも 1つのセッションにより配 信されたデータを受信する手段と、 受信した動画像データのうち、 画像品質に基 づいてデータを選択し、 1つの動画像データに再構成して復号化する手段と、 を 備えている。 さらに、 少なくとも 1つのセッションの受信の有無を、 受信データ の誤り/損失率、 受信装置の利用可能な電力、 あらかじめ定められた設定のうち の少なくとも 1つに基づき、 選択する手段を備えた構成としてもよい。
[第 6の実施例]
本発明の第 6の実施例を図面を参照しながら説明する。 第 6図は、 本発明の第 6の実施例の構成を示す図である。 第 6図に示すように、 画像データ配信装置 6 0 1と、 画像データ受信装置 6 1 0、 及び画像符号化データを伝送するための伝 送路 6 0 9から構成される。 本実施例では、 画像データ配信装置 6 0 1は I P網 である伝送路 6 0 9に接続されており、 UD P / I Pを用いて画像符号化データ を配信し、 画像データ受信装置 6 1 0は、 I P網に接続されるクライアント端末 であるとする。 なお、 ここでは簡単のため、 配信する画像データの符号化方式に は、 Iピクチャ、 Pピクチャ、 Bピクチャの 3つのフレーム種別が存在するとし て説明する。
画像データ配信装置 6 0 1は、 配信情報送信部 6 0 2と、 セッション情報管理 部 6 0 3と、 画像データ蓄積/生成部 6 0 4と、 Iピクチャ符号化データ送信部 6 0 5、 Pピクチャ符号化データ送信部 6 0 6、 Bピクチャ符号化データ送信部 6 0 7、 イントラ -マクロブロック (I n t r a - MB) 符号化データ送信部 6 0 8を備えている。
画像データ受信装置 6 1 0は、 セッション情報受信部 6 1 1と、 Iピクチャ符 号化デ一夕受信部 6 1 2、 Pピクチャ符号化データ受信部 6 1 3、 Bピクチャ符 号化データ受信部 6 1 4、 イントラ -マクロブロック (I n t r a - MB) 符号 化データ受信部 6 1 5と、 符号化データ再構成部 6 1 6と、 デコーダ 6 1 7を備 えている。 以下、 画像データ配信装置 6 0 1、 画像データ受信装置 6 1 0の動作 について順に説明する。
画像データ配信装置 6 0 1は、 画像データ蓄積 Z生成部 6 0 4で、
•あらかじめ蓄積された画像データ、 もしくは、
·リアルタイムで生成された画像データ、 もしくは、
• リアルタイムで既存画像を変換し生成された画像データ、
を、 セッション情報管理部 6 0 3で設定された、 セッションごとの伝送路 6 0 9でのルーティングの優先度情報及び 又は無線伝送路の電力制御情報に基づい て、 Iピクチャ符号化データ送信部 6 0 5、 Pピクチャ符号化データ送信部 6 0 6、 Bピクチャ符号化データ送信部 6 0 7、 及び I n t r a— M B符号化データ 送信部 6 0 8により、 伝送路 6 0 9経由で送信する。
セッション情報管理部 6 0 3で、 各セッションから配信するピクチャ情報を管 理し、 配信情報送信部 6 0 2から画像データ受信装置 6 1 0に通知する。
Iピクチャ符号化データ送信部 6 0 5、 Pピクチャ符号化データ送信部 6 0 6 、 Bピクチャ符号化データ送信部 6 0 7、 及び I n t r a—MB符号化データ送 信部 6 0 8は、 画像データ受信装置 6 1 0で、 重複する複数の画像データが受信 された場合に、 データの選択ができるよう、 また、 受信したデータの順序が入れ 替わっていても、 正しく並び替えられるよう、 R T Pに相当する情報を付加する 機能を有する。 この際、 例えばイントラ—マクロブロック符号化データが符号化 する画像の同一部位の I /PZBピクチャ符号化データに、 同じ R T Pシ一ケン ス番号を付与し、 さらに画像符号化データとイントラーマクロブロックのいずれ であるかを示すペイロードタイプ、 及び/又は、 S S R C、 及び/又は、 C S R Cを付与してもよい。
また、 送信の際、 I /P ZBピクチャ符号化データに対して、 イントラーマク ロブロック符号化デ一夕を、 例えば伝送路 6 0 9でのデータの誤り、 もしくは損 失のバースト長より長くなるような時間差を設けて送信すると、 伝送路で I ZP / Bピクチャ符号化デー夕とイントラーマクロブロック符号化デ一夕が両方とも 誤り、 もしくは損失の影響を受ける可能性が低下し、 画像データ受信装置がこの 時間差以上の受信バッファを備える場合、 より安定した画像データの配信をする ことができる。
本実施例において、 同一画像の複数の画像符号化データの送信の時間差につい て、 セッション情報管理部 6 0 3で管理し、 配信情報送信部 6 0 2から画像デー タ受信装置 6 1 0に通知するか、 あるいは、 送信の時間差について、 あらかじめ 画像デ一夕配信装置 6 0 1及び画像データ受信装置 6 1 0間で定めておき、 その 時間差に基づいて画像データ受信装置 6 1 0が受信バッファ量を設定してもよい 画像データ受信装置 6 1 0は、 画像データ配信装置 6 0 1からの画像符号化に 関する情報を、 セッション情報受信部 6 1 1で受信し、 この情報から、 伝送路 6 0 9より受信した画像データのピクチャ、 ブロック種別を知る。
また、 セッション情報管理部 6 0 3は、
•符号化データの符号化設定、
•符号化オプション (使用ツール) 、
•符号化データのペイロード ·オプション、
·符号化データを識別する R T Pへッダのペイロードタイプに相当する情報、 • S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 6 0 2により画像データ受信装置 6 1 0へ通知するか、 あるいは、 これらの情報を、 あらかじめ画像デ一夕配信装 置 6 0 1及び画像データ受信装置 6 0 9間で設定しておいてもよい。 受信した Iピクチャ、 Pピクチャ、 Bピクチャ、 イントラーマクロブロック符 号化データは、 符号化データ再構成部 6 1 6で、 R T Pに相当する機能、 R T P ヘッダのシーケンス番号、 ペイロードタイプ、 S S R Cや、 C S R C、 及びノ又 は、 セッション情報受信部 6 1 1で受信された情報に基づいて、 1つの画像デー 夕に再構成し、 デコーダ 6 1 7へと出力する。 画像データは、 1つだけ復号化す ればよいので、 デコーダ 6 1 7の復号化処理の負担は増加しない。
受信環境により、 配信される画像品質が最適化される仕組みは、 以下のように なる。
イントラ一マクロブロックは、 符号化されるフレームのうち、 動きベクトルの 大きい箇所等、 一部のマクロブロックのみを選択して符号化することとする。
Iピクチャ符号化データ送信部 6 0 5、 Pピクチャ符号化データ送信部 6 0 6 、 Bピクチャ符号化データ送信部 6 0 7、 及び、 I n t r a—M B符号化データ 送信部 6 0 8で、 例えば、 伝送路 6 0 9において、
• Iピクチャ符号化データを最も高い優先度で、
• Pピクチャをその次の優先度で、
• Bピクチャさらに次の優先度で、
•イントラーマクロプロック符号化デ一夕を最も低い優先度、
でルーティングされるように設定する。
もしくは、 Iピクチャ符号化データ送信部 6 0 5、 Pピクチャ符号化デ一夕送 信部 6 0 6、 Bピクチャ符号化データ送信部 6 0 7、 及び、 I n t r a—MB符 号化デ一夕送信部 6 0 8で、 無線伝送路において、
• Iピクチャ符号化データを最も高い電力で、
• Pピクチャ符号化データをこれに次ぐ電力で、
• Bピクチャ符号化デー夕をさらにこれに次ぐ電力で、
•イントラ—マクロプロック符号化データを最も低い電力、
で送信するように設定する。
受信者 Aと受信者 Bと受信者 Cと受信者 Dのそれぞれの画像データ受信装置 6 1 0が、 配信される動画像データを受信しているものとし、
•受信者 Aの画像データ受信装置 6 1 0は受信者 Bの画像データ受信装置 6 1 0より、
•受信者 Bの画像データ受信装置 6 1 0は受信者 Cの画像データ受信装置 6 1 0より、
-受信者 Cの画像データ受信装置 6 1 0は受信者 Dの画像データ受信装置 6 1 0より、 例えばネットワークのトラヒックに余裕がある、 もしくは無線受信環境 が良好である、 ものとする。
受信者 Aの画像データ受信装置 6 1 0は、 トラヒックに余裕がある、 もしくは 無線受信環境が良好であるため、 Iピクチャ符号化データと、 Pピクチャ符号化 データと、 Bピクチャ符号化データと、 イントラーマクロブロック符号化データ のいずれも受信することができ、 受信環境の良好さに応じた、 動きの滑らかな、 最も高品質な動画像データが再生できる。 また、 受信者 Aの画像データ受信装置 6 1 0では、 万が一、 画像符号化データの一部に誤りや欠落があつたとしても、 当該箇所のマクロブロックの符号化デ一夕がィントラーマクロブロック符号化デ —夕から受信できれば、 補完することができる、 あるいは、 誤りや欠落により劣 化したマクロブロックを、 補正することができるため、 受信環境の良好さに応じ た、 安定した動画像データが再生することができる。
受信者 Bの画像データ受信装置 6 1 0は、 最も高い優先度と、 これに次ぐ優先 度と、 さらに次の優先度でルーティング、 もしくは最も高い電力と、 これに次ぐ 電力と、 さらに次の電力で無線配信された Iピクチャ符号化データと、 Pピクチ ャ符号化データと、 Bピクチャ符号化データを受信することができる。 受信者 B の画像データ受信装置 6 1 0では、 画像符号化データの一部に誤りや欠落が発生 した場合には、 受信者 Aの画像データ受信装置 6 1 0のようなデータの補完、 補 正はできないため、 画質が劣化するが、 それ以外の場合は、 同等の品質の動画像 データが再生することができる。
受信者 Cの画像データ受信装置 6 1 0は、 最も高い優先度と、 これに次ぐ優先 度でルーティング、 もしくは最も高い電力と、 これに次ぐ電力で無線配信された Iピクチャ符号化データと、 Pピクチャ符号化データを受信することができ、 受 信環境が劣る分、 受信者 A、 受信者 Bの画像データ受信装置 6 1 0よりも、 品質 が劣るものの、 比較的滑らかな動きの動画像データは再生することができる。 受信者 Dの画像データ受信装置 6 1 0は、 最も高い優先度でルーティング、 も しくは最も高い電力で無線配信された Iピクチャ符号化データを受信することが でき、 受信環境が劣る分、 受信者 A、 受信者 B、 受信者 Cの画像データ受信装置 6 1 0よりも品質が劣るが、 動画像デ一夕を再生することができる。
この際、 例えば受信者 A、 B、 C、 Dの画像データ受信装置 6 1 0が、 バッテ リー/電池で動作する場合のように、 電力に制限のある環境で使用される場合に 、 例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれ ば、 より重要度の低いデータのィントラーマクロプロック符号化データの受信を 停止し、 次いで Bピクチャ符号化デ一夕の受信を停止する、 さらに Pピクチャの 受信を停止することで、 低消費電力化を図り、 装置の使用時間をできるだけ長く するようにしてもよい。
逆に、 画像データ受信装置 6 1 0が大容量バッテリーや、 A C電源が接続され た場合には、 より重要度の高い符号化デ一夕から受信をするなど、 利用可能な電 力や受信環境に応じて、 データの受信の有無を制御することもできる。
本実施例においては、 この受信ピクチャ符号化データの種別を、 受信者が、 画 像データ受信装置 6 1 0に設定できる構成としてもよい。
さらに、 例えば画像符号化データが正しく受信できている場合でも、 それが P ピクチャ、 もしくは Bピクチャ符号化データであるとき、 符号化デ一夕再構成部 6 1 6で周期的に必ずイントラーマクロブロック符号化データを選択するように すれば、 伝送路での誤りや損失が発生した場合でも、 M P E G— 4符号化方式で の C I R (Cycl ic Intra Refresh) と同様の効果を得ることができ、 伝送路での 誤りや損失による再生画像品質の劣化を素早く回復させることで、 以後のフレー ムへの品質劣化の伝播を小さく抑えることができる。
また、 本来の全てのピクチャの符号化データを、 同一のセッションで、 同一の ルーティングの優先度、 または同一の電力で無線配信するのに比べ、 トラヒック の負荷が高い状況や、 無線リソースが限られた状況でも、 状況に応じた柔軟な優 先度設定や、 電力制御が可能で、 少ない品質変動で動画像データを配信すること ができる。
なお、 本実施例において、 伝送路を複数とし、 Iピクチャ符号化データ、 Bピ クチャ符号化データ、 Pピクチャ符号化データ、 及びイントラ—マクロブロック 符号化データ、 及びこれらのデータに関する情報が、 異なった伝送路を介して伝 送される構成としてもよいことは勿論である。
本実施例において、 Iピクチャ符号化データ及び、 Pピクチャ符号化データ及 び、 Bピクチャ符号化データ、 及びイントラ—マクロブロック符号化データを配 信するセッションは、 少なくとも 1つをュニキャスト方式で送信するようにして もよいし、 少なくとも 1つをマルチキャスト、 もしくはブロードキャスト方式で 送信するようにしてもよい。
画像データ配信装置 6 0 1における、 配信情報送信部 6 0 2と、 セッション情 報管理部 6 0 3と、 画像データ蓄積/生成部 6 0 4と、 Iピクチャ符号化データ 送信部 6 0 5と、 Pピクチャ符号化データ送信部 6 0 6、 Bピクチャ符号化デー 夕送信部 6 0 7、 イントラ—マクロブロック符号化データ送信部 6 0 8について 、 画像データ配信装置 6 0 1を構成するコンピュータで実行されるプログラム制 御によりそれぞれの機能 ·処理を実現するようにしてもよいことは勿論である。 画像データ受信装置 6 1 0における、 セッション情報受信部 6 1 1と、 Iピクチ ャ符号化デ一夕受信部 6 1 2、 Pピクチャ符号化データ受信部 6 1 3、 Bピクチ ャ符号化デ一夕受信部 6 1 4、 イントラーマクロブロック符号化データ受信部 6 1 5と、 符号化データ再構成部 6 1 6と、 デコーダ 6 1 7について、 画像データ 受信装置 6 1 0を構成するコンピュータで実行されるプログラム制御によりそれ ぞれの機能 ·処理を実現するようにしてもよいことは勿論である。
[発明の第 7の実施の形態]
本発明の第 7の実施の形態において、 画像データ配信装置は、 同一の画像の複 数の動画像データ (例えば異なる画像品質の動画像データ) 及び、 誤り訂正符号 データを、 それぞれ異なったセッションで配信する手段と、 少なくとも 1つのセ ッシヨンで、 データを配信するセッションごとに、 伝送路でのルーティングの優 先度制御や、 無線伝送路での電力制御を設定する手段と、 を備えている。 画像デ 一夕受信装置側は、 少なくとも 1つのセッションにより配信されたデータを受信 する手段と、 伝送路での誤りや損失によって失われた動画像データを、 誤り訂正 符号データを用いて復元する手段と、 受信した動画像デ一夕及び、 復元された動 画像データのうち、 画像品質に基づいてデータを選択し、 1つの動画像データに 再構成して復号化する手段と、 を備えている。
さらに、 本発明の第 7の実施の形態において、 画像データ受信装置は、 少なく とも 1つのセッションの受信の有無を、 受信データの誤り/損失率、 受信装置の 利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基づき、 選択する手段を備えた構成としてもよい。
[第 7の実施例]
本発明の第 7の実施例を図面を参照して説明する。 第 7図は、 本発明の第 7の 実施例の構成を示している。 第 7図に示すように、 画像符号化データを配信する 画像データ配信装置 7 0 1と、 画像データ受信装置 7 0 8と、 画像符号化データ 及び誤り訂正符号データを伝送するための伝送路 7 0 7を備えており、 これらは 、 前記第 1の実施例の画像データ配信装置 1 0 1と、 画像データ受信装置 1 0 8 と、 伝送路 1 0 7にそれぞれ対応している。 画像データ配信装置 7 0 1を構成す る各要素 7 0 2乃至 7 0 6、 画像データ受信装置 7 0 8を構成する各要素 7 0 9 乃至 7 1 3は、 前記第 1の実施例のそれぞれ画像データ配信装置 1 0 1の各要素 1 0 2乃至 1 0 6、 画像データ受信装置 1 0 8の各要素 1 0 9乃至 1 1 3に対応 している。 以下では、 前記第 1の実施例と異なる部分のみ説明する。 なお、 本実 施例では、 あくまで説明の簡単のため、 配信する画像データ数を 「2」 とし、 1 つの符号化データから生成する誤り訂正符号データ数を 「1」 として説明するが 、 本発明において配信する画像デ一夕数が 「2」 に、 誤り訂正符号データ数が 「 1」 に限定されるものでないことは勿論である。
画像データ配信装置 7 0 1は、 配信情報送信部 7 0 2と、 セッション情報管理 部 7 0 3と、 画像データ蓄積ノ生成部 7 0 4と、 画像符号化データ 1送信部 7 0 5と、 画像符号化データ 2送信部 7 0 6と、 F E C (前方誤り訂正) 符号データ 送信部 7 1 4を備えている。
画像データ受信装置 7 0 8は、 セッション情報受信部 7 0 9と、 画像符号化デ 一夕 1受信部 7 1 0、 画像符号化データ 2受信部 7 1 1、 符号化データ再構成部 7 1 2と、 デコーダ 7 1 3と、 F E C符号データ受信部 7 1 5を備えている。 画像データ配信装置 7 0 1の画像データ蓄積 生成部 7 0 4で、 'あらかじめ蓄積された画像データ、 もしくは、
•リアルタイムで符号化し生成された画像符号化データ、 もしくは、 •リアルタイムで既存画像符号化データを変換し生成された画像符号化データ と、 上記のいずれかによる画像符号化デー夕から生成された誤り訂正符号デー 夕を、 セッション情報管理部 703で設定された、 セッションごとの伝送路 70 7でのルーティングの優先度情報、 及び/又は、 無線伝送路の電力制御情報に基 づいて、 画像符号化デ一夕 1送信部 705及び画像符号化デ一夕 2送信部 706 及び F EC符号デ一夕送信部 714により、 伝送路 707経由で送信する。 ここ で、 前方誤り訂正 (FEC; Forwards Error Correction) 符号とは、 リード ·ソ ロモン符号や LDPC (Low Density parity check) 符号、 畳み込み符号等があ り、 本発明ではこれらの既存の手法を用いるため、 ここでの詳しい説明は省略す る。
セッション情報管理部 703では、 画像符号化データ 1及び画像符号化データ 2の画像品質 (圧縮率) 及び、 誤り訂正符号データに関する情報を管理し、 配信 情報送信部 702から画像データ受信装置 708に通知する。
FEC符号データ送信部 714は、 画像符号化データのどの部分の誤り訂正符 号データであるかわかるように、 RTPに相当する情報 (例えば RTPヘッダの シーケンス番号) を付加する機能を有する。 またさらに、 誤り訂正符号データで あることを示す、 ペイ口一ドタイプ、 及び/又は、 SSRC、 及び Z又は、 CS RCを付与してもよい。
また、 セッション情報管理部 703は、
•画像符号化データ 1及び画像符号化デ一夕 2の符号化設定、
•誤り定性符号種別、
'誤り訂正符号設定 (例えば LD PC符号での検査行列データ、 もしくはこれ を生成するための設定) 、
•符号化オプション (使用ツール) 、
•符号化データのペイロード ·ォプション、
•符号化データ及び誤り訂正符号を識別する R T Pヘッダのペイロードタイプ に相当する情報、 - S S R C , C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 7 0 2により画像データ受信装置 7 0 8へ通知してもよく、 また、 これらの情報を、 あらかじめ画像データ配信装 置 7 0 1及び画像データ受信装置 7 0 8間で設定しておいてもよい。
画像デ一夕符号化データ 1が伝送路での誤り、 もしくは損失により受信できな かった場合、 符号化データ再構成部 7 1 2は、 F E C符号データ受信部で受信し た誤り訂正符号データを用いて画像符号化データ 1を復元する。 復元して得た画 像符号化データ 1を含め、 画像符号化データ 1と画像符号化データ 2ともに受信 できた場合については、 第 1の実施例と同様である。
受信環境により、 配信される画像品質が最適化される仕組みも、 第 1の実施例 と同様で、 受信環境が良好である画像データ受信装置 7 0 8は、 画像符号化デー 夕 1、 2及び誤り訂正符号データを受信することができ、 より高品質で安定した 動画像データを再生することができる。 また、 これらを配信するセッションごと に伝送路でのルーティングの優先度や、 無線伝送路での送信電力を制御すること ができるため、 ネットワークリソースを考慮した配信を行うことができる。 また、 誤り訂正符号データを複数とする場合、 誤り訂正符号化データを、 伝送 路での誤り、 もしくは損失のいくつかのパターンに合わせて生成し、 コンテンツ 受信装置 7 0 8が、 受信環境に最も適した誤り訂正符号データによって、 伝送路 で誤った Z損失したデータを復元することで、 より高い確率で本来のコンテンツ の符号化デ一夕を得ることもできる。 この場合、 コンテンツ配信装置 7 0 1が、 コンテンツ受信装置 7 0 8へ、 それぞれの誤り訂正符号化データが適している伝 送路状況を通知するか、 あるいは誤り訂正符号データを生成するための設定 (例 えば L D P C方式での検査行列、 もしくはこれを生成するための設定情報) を通 知するか、 あるいはこれをあらかじめコンテンツ配信装置 7 0 1とコンテンツ受 信装置 7 0 8間で定めておいてもよい。
さらに、 誤り訂正符号データを複数とする場合、 誤り訂正符号方式が異なって いてもよく、 コンテンツ受信装置 7 0 8の受信環境や、 処理能力によって、 復号 が可能な誤り訂正符号データを選択してもよい。 この場合、 コンテンツ配信装置 7 0 1が、 コンテンツ受信装置 7 0 8へ、 それぞれの誤り訂正符号種別を通知す るか、 あるいはこれをあらかじめコンテンツ配信装置 7 0 1とコンテンツ受信装 置 7 0 8間で定めておいてもよい。
上記以外については、 前記第 1の実施例と同様である。
なお、 本実施例において、 伝送路を複数とし、 画像符号化データ 1及び画像符 号化データ 2、 誤り訂正符号データ、 及びこれらの画像符号化に関する情報を、 異なった伝送路により伝送する構成としてもよいことは勿論である。
本実施例において、 画像符号化データ 1及び画像符号化データ 2及び誤り訂正 符号デ一夕を配信するセッションは、 ュニキャス卜方式で送信するようにしても よいし、 マルチキャスト、 もしくはブロードキャスト方式で送信するようにして もよい。
また、 画像データ配信装置 7 0 1における、 配信情報送信部 7 0 2と、 セッシ ョン情報管理部 7 0 3と、 画像データ蓄積/生成部 7 0 4と、 画像符号化データ 1送信部 7 0 5と、 画像符号化データ 2送信部 7 0 6と、 F E C符号デ一夕送信 部 7 1 4について、 画像データ配信装置 7 0 1を構成するコンピュータで実行さ れるプログラム制御によりそれぞれの機能 ·処理を実現するようにしてもよいこ とは勿論である。 画像データ受信装置 7 0 8における、 セッション情報受信部 7 0 9と、 画像符号化データ 1受信部 7 1 0及び画像符号化データ 2受信部 7 1 1 と、 符号化データ再構成部 7 1 2と、 デコーダ 7 1 3と、 F E C符号デ一夕受信 部 7 1 5について、 画像データ受信装置 7 0 8を構成するコンピュータで実行さ れるプログラム制御によりそれぞれの機能 ·処理を実現するようにしてもよいこ とは勿論である。
[発明の第 8の実施の形態]
本発明の第 8の実施の形態では、 画像データ配信装置は、 動画像データと、 動 画像データの当該フレームの少なくとも一部をイントラーマクロブロック符号化 した符号化データと、 誤り訂正符号データを、 それぞれ異なったセッションで配 信する手段と、 少なくとも 1つのセッションで、 データを配信するセッションご とに伝送路でのルーティングの優先度制御や、 無線伝送路での電力制御を設定す る手段とを備えている。 また画像データ受信装置側は、 少なくとも 1つのセッシ ヨンにより配信されたデータを受信する手段と、 伝送路での誤りや損失によって 失われた動画像データを、 誤り訂正符号データを用いて復元する手段と、 受信し た動画像データのうち、 画像品質に基づいてデータを選択し、 1つの動画像デー 夕に再構成して復号化する手段と、 を備えている。 さらに少なくとも 1つのセッ シヨンの受信の有無を、 受信データの誤り/損失率、 受信装置の利用可能な電力 、 あらかじめ定められた設定のうちの少なくとも 1つに基づき、 選択する手段を 備えた構成としてもよい。
[第 8の実施例]
次に本実施の形態の実施例を、 本発明の第 8の実施例として図面を参照しなが ら説明する。 第 8図は、 本発明の第 8の実施例の構成を示す図である。 第 8図に 示すように、 画像デ一夕配信装置 8 0 1と、 画像データ受信装置 8 0 8と、 動画 像符号化データ及び誤り訂正符号データを伝送するための伝送路 8 0 7を備えて おり、 これらは、 それぞれ前記第 2の実施例の画像データ配信装置 2 0 1と、 画 像データ受信装置 2 0 8と、 伝送路 2 0 7に対応している。 また、 画像データ配 信装置 8 0 1を構成する各要素 8 0 2乃至 8 0 6、 画像データ受信装置 8 0 8を 構成する各要素 8 0 9乃至 8 1 3は、 前記第 2の実施例の画像データ配信装置 2 0 1の各要素 2 0 2乃至 2 0 6、 画像デ一夕受信装置 2 0 8の各要素 2 0 9乃至 2 1 3にそれぞれ対応している。 以下では、 第 2の実施例との相違点についての み説明する。 なお、 本実施例では、 説明の簡単のため、 誤り訂正符 データは、 画像符号化デ一夕から生成するものとし、 1つの符号化データから生成する誤り 訂正符号データ数を 「1」 として説明するが、 誤り訂正符号データ数が 「1」 に 限定されるものでないことは勿論である。
画像データ配信装置 8 0 1は、 配信情報送信部 8 0 2と、 セッション情報管理 部 8 0 3と、 画像データ蓄積 Z生成部 8 0 4と、 画像符号化データ送信部 8 0 5 と、 イントラーマクロブロック (I n t r a— M B ) 符号化データ送信部 8 0 6 と、 F E C符号データ送信部 8 1 4を備えている。
画像データ受信装置 8 0 8は、 セッション情報受信部 8 0 9と、 画像符号化デ —タ受信部 8 1 0、 イントラーマクロブロック (I n t r a—M B ) 符号化デー 夕受信部 8 1 1、 符号化デ一夕再構成部 8 1 2と、 デコーダ 8 1 3と、 F E C符 号データ受信部 8 1 5を備えている。 なお、 F E Cの方式については、 第 7の実施例と同様である。
画像データ配信装置 8 0 1は、 画像データ蓄積/生成部 8 0 4で、
•あらかじめ蓄積された画像デ一夕、 もしくは、
•リアルタイムで符号化し生成された画像デ一夕、 もしくは、
·リアルタイムで既存画像データを変換し生成された画像データ
と、 上記のいずれかによる画像符号化デー夕から生成された誤り訂正符号デー 夕を、 セッション情報管理部 8 0 3で設定された、 セッションごとの伝送路 8 0 7でのルーティングの優先度情報、 及び/又は、 無線伝送路の電力制御情報に基 づいて、 画像符号化データ送信部 8 0 5、 イントラーマクロブロック (I n t r a— M B ) 符号化デ一夕送信部 8 0 6及び、 F E C符号データ送信部 8 1 4によ り、 伝送路 8 0 7経由で送信する。 なお、 誤り訂正符号については、 第 7の実施 例と同様である。
また、 セッション情報管理部 8 0 3で、 符号化データの種別及び、 誤り訂正符 号データに関する情報を管理し、 配信情報送信部 8 0 2から画像データ受信装置 8 0 8に通知する。
F E C符号データ送信部 8 1 4は、 画像符号化データのどの部分の誤り訂正符 号データであるかわかるように、 R T Pに相当する情報 (例えば R T Pヘッダの シーケンス番号) を付加する機能を有する。 またさらに、 誤り訂正符号データで あることを示す、 ペイロードタイプ、 及び/又は、 S S R C、 及び/又は、 C S R Cを付与してもよい。
画像データ受信装置 8 0 8は、 画像データ配信装置 8 0 1からの符号化データ 種別及び、 誤り訂正符号データに関する情報を、 セッション情報受信部 8 0 9で 受信し、 この情報から、 伝送路 8 0 7より受信したデータの種別を知る。
また、 セッション情報管理部 8 0 3は、
·符号化データの符号化設定、
•誤り定性符号種別、
•誤り訂正符号設定 (例えば L D P C符号での検査行列データ、 もしくはこれ を生成するための設定) 、
-符号化オプション (使用ツール) 、 •符号化データのペイロード ·オプション、
•符号化データ及び誤り訂正符号を識別する R T Pへッダのペイロードタイプ に相当する情報、
• S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 8 0 2により画像データ受信装置 8 0 8へ通知してもよく、 また、 これらの情報を、 あらかじめ画像データ配信装 置 8 0 1及び画像データ受信装置 8 0 8間で設定しておいてもよい。
画像データ符号化デ一夕が伝送路での誤り、 もしくは損失により受信できなか つた場合、 符号化データ再構成部 8 1 2は、 F E C符号データ受信部 8 1 5で受 信した誤り訂正符号データを用いて画像符号化データを復元する。 復元して得た 画像符号化データを含め、 画像符号化データとイントラ—マクロプロック符号化 データともに受信できた場合については、 第 2の実施例と同様である。
受信環境により、 配信される画像品質が最適化される仕組みも、 第 2の実施例 と同様で、 受信環境が良好である画像データ受信装置 8 0 8は、 画像符号化デー 夕、 イントラーマクロブロック符号化データ及び、 誤り訂正符号データを受信す ることができ、 より高品質で安定した動画像データを再生することができる。 ま た、 これらを配信するセッションごとに伝送路でのルーティングの優先度や、 無 線伝送路での送信電力を制御することができるため、 ネットワークリソースを考 慮した配信を行うことができる。
また、 誤り訂正符号データを複数とする場合については、 第 7の実施例と同様 である。
上記以外については、 前記第 2の実施例と同様である。
. なお、 本実施例において、 伝送路を複数とし、 画像符号化データ、 イントラ— マクロブロック符号化デー夕、 誤り訂正符号デー夕及びこれらのデータに関する 情報を、 異なった伝送路により伝送する構成としてもよい。
また、 画像符号化データ、 イントラーマクロブロック符号化デ一夕、 誤り訂正 符号デ一夕を配信するセッションは、 少なくとも 1っをュニキヤスト方式で送信 されても、 少なくとも 1つをマルチキャスト、 もしくはブロードキャスト方式で 送信するようにしてもよい。 また、 画像データ配信装置 8 0 1における、 配信情報送信部 8 0 2と、 セッシ ョン情報管理部 8 0 3と、 画像デ一夕蓄積/生成部 8 0 4と、 画像符号化データ 送信部 8 0 5と、 イントラーマクロブロック符号化データ送信部 8 0 6と、 F E C符号データ送信部 8 1 4について、 画像データ配信装置 8 0 1を構成するコン ピュー夕で実行されるプログラム制御によりそれぞれの機能 ·処理を実現するよ うにしてもよいことは勿論である。 画像データ受信装置 8 0 8における、 セッシ ョン情報受信部 8 0 9と、 画像符号化データ受信部 8 1 0及びィントラーマクロ ブロック符号化データ受信部 8 1 1と、 符号化デ一夕再構成部 8 1 2と、 デコー ダ 8 1 3と、 F E C符号デ一夕受信部 8 1 5について、 画像データ受信装置 8 0 8を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能 · 処理を実現するようにしてもよいことは勿論である。
[発明の第 9の実施の形態]
本発明の第 9の実施の形態では、 画像デ一夕配信装置側は、 動画像データの I ピクチャ、 Pピクチャ、 及び動画像の符号化に用いた符号化方式に存在する場合 は Bピクチヤのうち、 Iピクチャとそれ以外のピクチャとでそれぞれ異なったセ ッシヨンで配信する手段と、 誤り訂正符号データを配信する手段と、 少なくとも 1つのセッションで、 データを配信するセッションごとに伝送路でのルーティン グ 優先度制御や、 無線伝送路での電力制御を設定する手段と、 を備えている。 画像デ一夕受信装置側は、 少なくとも 1つのセッションにより配信されたデ一夕 を受信する手段と、 誤り訂正符号データを受信する手段と、 伝送路での誤りや損 失によつて失われた動画像デ一夕を、 誤り訂正符号データを用いて復元する手段 と、 受信した動画像データを、 1つの動画像デ一夕に再構成して復号化する手段 と、 を備えている。 さらに少なくとも 1つのセッションの受信の有無を、 受信デ 一夕の誤り Z損失率、 受信装置の利用可能な電力、 あらかじめ定められた設定の うちの少なくとも 1つに基づき、 選択する手段を備えた構成としてもよい。
[第 9の実施例]
本発明の第 9の実施例を図面を参照しながら説明する。 第 9図は、 本発明の第 9の実施例の構成を示す図である。 第 9図に示すように、 画像データ配信装置 9 0 1と、 画像データ受信装置 9 0 8と、 画像符号化データ及び誤り訂正符号デー 夕を伝送するための伝送路 9 0 7から構成される。 これらは、 それぞれ前記第 3 の実施例の画像データ配信装置 3 0 1と、 画像データ受信装置 3 0 8と、 伝送路 3 0 7に対応している。 また、 画像データ配信装置 9 0 1を構成する各要素 9 0 2乃至 9 0 6、 画像データ受信装置 9 0 8を構成する 9 0 9乃至 9 1 3も、 前記 第 3の実施例の画像データ配信装置 3 0 1の各要素 3 0 2乃至 3 0 6、 画像デー 夕受信装置 3 0 8の各要素 3 0 9乃至 3 1 3に対応している。 以下では、 前記第 3の実施例との相違点についてのみ説明する。 なお、 本実施例では、 説明の簡単 のため、 誤り訂正符号データは、 Iピクチャ符号化デ一夕から生成するものとし て説明するが、 全てのピクチャ符号化デ一夕から生成し、 それらを異なったセッ シヨンにより配信してもよいことは勿論である。 また、 本実施例では、 説明の簡 単のため、 1つの符号化データから生成する誤り訂正符号データ数を 「1」 とし て説明するが、 誤り訂正符号データ数が 「1」 に限定されるものでないことは勿 nmでめる。
画像データ配信装置 9 0 1は、 配信情報送信部 9 0 2と、 セッション情報管理 部 9 0 3と、 画像デ一夕蓄積 Z生成部 9 0 4と、 Iピクチャ符号化データ送信部 9 0 5と、 P ZBピクチャ符号化データ送信部 9 0 6と、 F E C符号データ送信 部 9 1 4を備えている。
画像データ受信装置 9 0 8は、 セッション情報受信部 9 0 9と、 Iピクチャ符 号化データ受信部 9 1 0、 P /Bピクチャ符号化データ受信部 9 1 1と、 符号化 データ再構成部 9 1 2と、 デコーダ 9 1 3と、 F E C符号データ受信部 9 1 5を 備えている。
なお、 F E Cの方式については、 第 7の実施例と同様である。
画像データ配信装置 9 0 1は、 画像データ蓄積/生成部 9 0 4で、
•あらかじめ蓄積された画像データ、 もしくは、
·リアルタイムで生成された画像データ、 もしくは、
-リアルタイムで既存画像データを変換し生成された画像データ、
と、 上記のいずれかによる画像符号化デー夕から生成された誤り訂正符号デー 夕を、 セッション情報管理部 9 0 3で設定された、 セッションごとの伝送路 9 0 7でのルーティングの優先度情報及び/又は、 無線伝送路の電力制御情報に基づ いて、 Iピクチャ符号化データ送信部 905及び P/Bピクチャ符号化データ送 信部 906及び F EC符号データ送信部 914により、 伝送路 907経由で送信 する。
また、 セッション情報管理部 903では、 各セッションから配信するピクチャ 情報及び、 誤り訂正符号データを管理し、 配信情報送信部 902から画像データ 受信装置 908に通知する。
FEC符号データ送信部 914は、 Iピクチャ符号化データのどの部分の誤り 訂正符号データであるかわかるように、 RTPに相当する情報 (例えば RTPへ ッダのシーケンス番号) を付加する機能を有する。 またさらに、 誤り訂正符号デ 一夕であることを示す、 ペイロードタイプ、 及びノ又は、 S SRC、 及び/又は 、 C S RCを付与してもよい。
画像データ受信装置 908は、 画像データ配信装置 901からの画像符号化及 び、 誤り訂正符号データに関する情報を、 セッション情報受信部 909で受信し 、 この情報から、 伝送路 907より受信した画像データのピクチャ種別及び、 誤 り訂正符号デー夕の対象符号化デ一夕種別を知る。
また、 セッション情報管理部 903は、
•符号化データの符号化設定、
•誤り定性符号種別、
•誤り訂正符号設定 (例えば LD PC符号での検査行列データ、 もしくはこれ を生成するための設定) 、
•符号化オプション (使用ツール) 、
•符号化データのペイロード ·ォプション、 .
•符号化データ及び誤り訂正符号を識別する R T Pへッダのペイロードタイプ に相当する情報、
' S SRC、 CSRCに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 902により画像データ受信装置 908へ通知してもよく、 また、 これらの情報を、 あらかじめ画像データ配信装 置 901及び画像データ受信装置 908間で設定しておいてもよい。
Iピクチャ符号化データが伝送路での誤り、 もしくは損失により受信できなか つた場合、 符号化データ再構成部 9 1 2は、 F E C符号データ受信部 9 1 5で受 信した誤り訂正符号データを用いて Iピクチャ符号化データを復元する。 復元し て得た Iピクチャ符号化データを含め、 画像データの再構成については、 前記第 3の実施例と同様である。
受信環境により、 配信される画像品質が最適化される仕組みも、 第 3の実施例 と同様で、 受信環境が良好である画像データ受信装置 9 0 8は、 Iピクチャ符号 化データ、 P /Bピクチャ符号化データ及び、 誤り訂正符号データを受信するこ とができ、 より高品質で安定した動画像データを再生することができる。 また、 これらを配信するセッションごとに伝送路でのルーティングの優先度や、 無線伝 送路での送信電力を制御することができるため、 ネットワークリソースを考慮し た配信を行うことができる。
また、 誤り訂正符号データを複数とする場合については、 第 7の実施例と同様 である。 .
上記以外については、 前記第 3の実施例と同様である。
なお、 本実施例において、 伝送路を複数とし、 Iピクチャ符号化データ、 P Z Bピクチャ符号化データ、 誤り訂正符号データ及びこれらに関する情報を、 異な つた伝送路により伝送する構成としてもよい。
本実施例において、 Iピクチャ符号化データ及び P /Bピクチャ符号化データ 及び、 誤り訂正符号デ一夕を配信するセッションは、 少なくとも 1つをュニキヤ スト方式で送信するようにしてもよいし、 少なくとも 1つをマルチキャスト、 も しくはブロードキャスト方式で送信するようにしてもよい。
また、 画像データ配信装置 9 0 1における、 配信情報送信部 9 0 2と、 セッシ ョン情報管理部 9 0 3と、 画像データ蓄積 Z生成部 9 0 4と、 Iピクチャ符号化 データ送信部 9 0 5と、 PZBピクチャ符号化データ送信部 9 0 6と、 F E C符 号デ一夕送信部 9 1 4について、 画像データ配信装置 9 0 1を構成するコンビュ 一夕で実行されるプログラム制御によりそれぞれの機能 ·処理を実現するように してもよいことは勿論である。 画像デ一夕受信装置 9 0 8における、 セッション 情報受信部 9 0 9と、 Iピクチャ符号化データ受信部 9 1 0及び P/Bピクチャ 符号化データ受信部 9 1 1と、 符号化データ再構成部 9 1 2と、 デコーダ 9 1 3 と、 F E C符号データ受信部 9 1 5について、 画像データ受信装置 9 0 8を構成 するコンピュータで実行されるプログラム制御によりそれぞれの機能 ·処理を実 現するようにしてもよいことは勿論である。
[発明の第 1 0の実施の形態]
本発明の第 1 0の実施の形態では、 画像データ配信装置は、 動画像デ一夕の I ピクチャ、 Pピクチャ、 及び Bピクチヤのうち、 I / Pピクチャとそれ以外のピ クチャで、 それぞれ異なったセッションで配信する手段と、 誤り訂正符号データ を配信する手段と、 少なくとも 1つのセッションで、 データを配信するセツ^ヨ ンごとに伝送路でのルーティングの優先度制御や、 無線伝送路での電力制御を設 定する手段とを備えている。 画像データ受信装置は、 少なくとも 1つのセッショ ンにより配信されたデ一夕を受信する手段と、 誤り訂正符号データを受信する手 段と、 伝送路での誤りや損失によって失われた動画像データを、 誤り訂正符号デ 一夕を用いて復元する手段と、 受信した動画像データを、 1つの動画像データに 再構成して復号化する手段と、 を備えている。 さらに少なくとも 1つのセッショ ンの受信の有無を、 受信データの誤り Z損失率、 受信装置の利用可能な電力、 あ らかじめ定められた設定のうちの少なくとも 1つに基づき、 選択する手段を備え た構成としてもよい。
[第 1 0の実施例]
本発明の第 1 0の実施例を図面を参照しながら説明する。 第 1 0図は、 本発明 の第 1 0の実施例の構成を示す図である。 第 1 0図に示すように、 画像データ配 信装置 1 0 0 1と、 画像データ受信装置 1 0 0 8と、 画像符号化データ及び誤り 訂正符号データを伝送するための伝送路 1 0 0 7から構成される。 これらは、 そ れぞれ前記第 4の実施例の画像データ配信装置 4 0 1と、 画像データ受信装置 4 0 8と、 伝送路 4 0 7に対応している。 画像データ配信装置 1 0 0 1を構成する 1 0 0 2乃至 1 0 0 6、 画像データ受信装置 1 0 0 8を構成する各要素 1 0 0 9 乃至 1 0 1 3も、 前記第 4の実施例の画像データ配信装置 4 0 1の各要素 4 0 2 乃至 4 0 6、 画像デ一夕受信装置 4 0 8の各要素 4 0 9乃至 4 1 3にそれぞれ対 応している。 以下では、 主に、 前記第 4の実施例との相違点についてのみ説明す る。 なお、 本実施例では、 説明の簡単のため、 誤り訂正符号データは、 I ZBピ クチャ符号化データから生成するものとして説明するが、 全てのピクチャ符号化 データから生成し、 それらを異なったセッションにより配信してもよいことは勿 論である。 また、 本実施例では、 説明の簡単のため、 1つの符号化データから生 成する誤り訂正符号データ数を 「1」 として説明するが、 誤り訂正符号データ数 が 「1」 に限定されるものでないことは勿論である。
画像データ配信装置 1 0 0 1は、 配信情報送信部 1 0 0 2と、 セッション情報 管理部 1 0 0 3と、 画像データ蓄積 Z生成部 1 0 0 4と、 I ZPピクチャ符号化 データ送信部 1 0 0 5と、 Bピクチャ符号化データ送信部 1 0 0 6と、 F E C符 号データ送信部 1 0 1 4を備えている。
画像データ受信装置 1 0 0 8は、 セッション情報受信部 1 0 0 9と、 I / Pピ クチャ符号化データ受信部 1 0 1 0と、 Bピクチャ符号化データ受信部 1 0 1 1 と、 符号化データ再構成部 1 0 1 2と、 デコーダ 1 0 1 3と、 F E C符号デ一夕' 受信部 1 0 1 5を備えている。
なお、 F E Cの方式については、 第 7の実施例と同様である。
画像データ配信装置 1 0 0 1は、 画像データ蓄積 Z生成部 1 0 0 4で、 •あらかじめ蓄積された画像デ一夕、 または、
• リアルタイムで生成された画像データ、 または、
• リアルタイムで既存画像を変換し生成された画像データ、
と、 上記のいずれかによる画像符号化デ一夕から生成された誤り訂正符号デー 夕を、 セッション情報管理部 1 0 0 3で設定された、 セッションごとの伝送路 1 0 0 7でのルーティングの優先度情報、 及び 又は、 無線伝送路の電力制御情報 に基づいて、 I ZPピクチャ符号化デ一夕送信部 1 0 0 5及び Bピクチャ符号化 データ送信部 1 0 0 6及び、 F E C符号データ送信部 1 0 1 4により、 伝送路 1 0 0 7経由で送信する。
また、 セッション情報管理部 1 0 0 3では、 各セッションから配信するピクチ ャ情報及び、 誤り訂正符号データを管理し、 配信情報送信部 1 0 0 2から画像デ 一夕受信装置 1 0 0 8に通知する。
F E C符号データ送信部 1 0 1 4は、 I /Pピクチャ符号化データのどの部分 の誤り訂正符号データであるかわかるように、 R T Pに相当する情報 (例えば R TPヘッダのシーケンス番号) を付加する機能を有する。 またさらに、 誤り訂正 符号データであることを示す、 ペイロードタイプ、 及び/又は、 SSRC、 及び 又は、 CSRCを付与してもよい。
画像データ受信装置 1008は、 画像データ配信装置 1001からの画像符号 化及び、 誤り訂正符号データに関する情報を、 セッション情報受信部 1009で 受信し、 この情報から、 伝送路 1007より受信した画像デ一夕のピクチャ種別 及び、 誤り訂正符号デ一夕の対象符号化データ種別を知る。
また、 セッション情報管理部 1003は、
•符号化データの符号化設定、
·誤り定性符号種別、
•誤り訂正符号設定 (例えば LD PC符号での検査行列データ、 もしくはこれ を生成するための設定) 、
•符号化オプション (使用ツール) 、
•符号化データのペイ口一ド ·オプション、
·符号化データ及び誤り訂正符号を識別する R T Pへッダのペイロードタイプ に相当する情報、
• SSRC、 CSRCに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 1002により画像データ受信装 置 1008へ通知してもよく、 また、 これらの情報を、 あらかじめ画像デ一夕配 信装置 1001及び画像データ受信装置 1008間で設定しておいてもよい。
I /Pピクチャ符号化データが伝送路での誤り、 もしくは損失により受信でき なかった場合、 符号化データ再構成部 1012は、 F EC符号データ受信部 10 15で受信した誤り訂正符号デ一夕を用いて I /Pピクチャ符号化データを復元 する。 復元して得た IZPピクチャ符号化データを含め、 画像データの再構成に ついては、 前記第 4の実施例と同様である。
受信環境により、 配信される画像品質が最適化される仕組みも、 第 4の実施例 と同様で、 受信環境が良好である画像データ受信装置 1008は、 I//pピクチ ャ符号化データ、 Bピクチャ符号化データ及び、 誤り訂正符号データを受信する ことができ、 より高品質で安定した動画像デ一夕を再生することができる。 また 、 これらを配信するセッションごとに伝送路でのルーティングの優先度や、 無線 伝送路での送信電力を制御することができるため、 ネットワークリソースを考慮 した配信を行うことができる。
また、 誤り訂正符号データを複数とする場合については、 第 7の実施例と同様 である。
上記以外については、 前記第 4の実施例と同様である。
なお、 本実施例において、 伝送路を複数とし、 I ZPピクチャ符号化データ、 Bピクチャ符号化データ、 及び誤り訂正符号データ、 これらのデータに関する情 報を、 異なった伝送路により伝送する構成としてもよい。
本実施例においても、 I Z Pピクチャ符号化データ及び Bピクチャ符号化デ一 夕及び、 誤り訂正符号データを配信するセッションは、 少なくとも 1っをュニキ ヤスト方式で送信するようにしてもよいし、 少なくとも 1つをマルチキャスト、 もしくはブロードキャスト方式で送信するようにしてもよい。
また、 画像データ配信装置 1 0 0 1における、 配信情報送信部 1 0 0 2と、 セ ッシヨン情報管理部 1 0 0 3と、 画像データ蓄積/生成部 1 0 0 4と、 I / Pピ クチャ符号化データ送信部 1 0 0 5と、 Bピクチャ符号化データ送信部 1 0 0 6 と、 F E C符号データ送信部 1 0 1 4について、 画像デ一夕配信装置 1 0 0 1を 構成するコンピュータで実行されるプログラム制御によりそれぞれの機能 ·処理 を実現するようにしてもよいことは勿論である。 画像データ受信装置 1 0 0 8に おける、 セッション情報受信部 1 0 0 9と、 I Z Pピクチャ符号化データ受信部 1 0 1 0及び Bピクチャ符号化データ受信部 1 0 1 1と、 符号化データ再構成部 1 0 1 2と、 デコーダ 1 0 1 3と、 F E C符号データ受信部 1 0 1 5について、 画像データ受信装置 1 0 0 8を構成するコンピュータで実行されるプログラム制 御によりそれぞれの機能 ·処理を実現するようにしてもよいことは勿論である。
[発明の第 1 1の実施の形態]
本発明の第 1 1の実施の形態では、 画像データ配信装置は、 動画像データの I ピクチャ、 Pピクチャ、 及び Bピクチャのうち、 Iピクチャ、 Pピクチャ、 Bピ クチャで、 それぞれ異なったセッションで配信する手段と、 誤り訂正符号データ を配信する手段と、 少なくとも 1つのセッションで、 動画像デ一夕を配信するセ ッシヨンごとに伝送路でのルーティングの優先度制御や、 無線伝送路での電力制 御を設定する手段と、 を備えている。 画像データ受信装置は、 少なくとも 1つの セッションにより配信されたデータを受信する手段と、 誤り訂正符号デー夕を受 信する手段と、 伝送路での誤りや損失によって失われた動画像データを、 誤り訂 正符号データを用いて復元する手段と、 受信した動画像デ一夕を 1つの動画像デ 一夕に再構成して復号化する手段と、 を備えている。 さらに少なくとも 1つのセ ッシヨンの受信の有無を、 受信データの誤り z損失率、 受信装置の利用可能な電 力、 あらかじめ定められた設定のうちの少なくとも 1つに基づき、 選択する手段 を備えた構成としてもよい。
[第 1 1の実施例]
次に本発明の第 1 1の実施例を図面を参照しながら説明する。 第 1 1図は、 本 発明の第 1 1の実施例の構成の一例を示している。 第 1 1図に示すように、 画像 データ配信装置 1 1 0 1と、 画像データ受信装置 1 1 0 9と、 画像符号化データ 及び誤り訂正符号データを伝送するための伝送路 1 1 0 8から構成される。 これ らは、 それぞれ前記第 5の実施例の画像データ配信装置 5 0 1と、 画像データ受 信装置 5 0 9と、 伝送路 5 0 8に対応している。 画像データ配信装置 1 1 0 1を 構成する各要素 1 1 0 2乃至 1 1 0 7、 画像データ受信装置 1 1 0 9を構成する 各要素 1 1 1 0乃至 1 1 1 5も、 前記第 5の実施例の画像デ一夕配信装置 5 0 1 の各要素 5 0 2乃至 5 0 7、 画像データ受信装置 5 0 9の各要素 5 1 0乃至 5 1 5に対応している。 以下では、 前記第 5の実施例と異なる部分のみ説明する。 な お、 本実施例では、 説明の簡単のため、 誤り訂正符号デ一夕は、 Iピクチャ符号 化データから生成するものとして説明するが、 全てのピクチャ符号化デ一夕から 生成し、 それらを異なったセッションにより配信してもよいことは勿論である。 また、 本実施例では、 説明の簡単のため、 1つの符号化データから生成する誤り 訂正符号デ一夕数を 「1」 として説明するが、 誤り訂正符号データ数が 「1」 に 限定されるものでないことは勿論である。
画像データ配信装置 1 1 0 1は、 配信情報送信部 1 1 0 2と、 セッション情報 管理部 1 1 0 3と、 画像データ蓄積/生成部 1 1 0 4と、 Iピクチャ符号化デー 夕送信部 1 1 0 5、 Pピクチャ符号化デ一夕送信部 1 1 0 6と、 Bピクチャ符号 化デ一夕送信部 1107と、 F EC符^データ送信部 1116を備えている。 画像データ受信装置 1109は、 セッション情報受信部 1110と、 Iピクチ ャ符号化データ受信部 1111、 Pピクチャ符号化データ受信部 1112、 Bピ クチャ符号化データ受信部 1113、 符号化データ再構成部.11 14と、 デコー ダ 1115と、 F EC符号データ受信部 1 117を備えている。
なお、 F ECの方式については、 第 7の実施例と同様である。
画像データ配信装置 1101は、 画像データ蓄積 Z生成部 1104で、
•あらかじめ蓄積された画像データ、 もしくは、
•リアルタイムで生成された画像データ、 もしくは、
·リアルタイムで既存画像データを変換し生成された画像データ、
と、 上記のいずれかによる画像符号化デー夕から生成された誤り訂正符号デー 夕を、 セッション情報管理部 1103で設定された、 セッションごとの伝送路 1 108でのルーティングの優先度情報及び/又は、 無線伝送路の電力制御情報に 基づいて、 Iピクチャ符号化データ送信部 1 105、 及び Pピクチャ符号化デー 夕送信部 1 106、 及び Bピクチャ符号化データ送信部 1107、 及び F EC符 号データ送信部 1116により、 伝送路 1 108経由で送信する。
セッション情報管理部 1103では、 各セッションから配信するピクチャ情報 及び、 誤り訂正符号データを管理し、 配信情報送信部 1102から画像データ受 信装置 1109に通知する。
FEC符号データ送信部 1116は、 Iピクチャ符号化データのどの部分の誤 り訂正符号データであるかわかるように、 RTPに相当する情報 (例えば RTP ヘッダのシーケンス番号) を付加する機能を有する。 またさらに、 誤り訂正符号 データであることを示す、 ペイロードタイプ、 及び 又は、 SSRC、 及び Z又 は、 CSRCを付与してもよい。
画像データ受信装置 1109は、 画像データ配信装置 1 101からの画像符号 化及び、 誤り訂正符号データに関する情報を、 セッション情報受信部 11 10で 受信し、 この情報から、 伝送路 1 108より受信した画像データのピクチャ種別 及び、 誤り訂正符号デー夕の対象符号化デー夕種別を知る。
また、 セッション情報管理部 1103は、 •符号化データの符号化設定、
•誤り定性符号種別、
•誤り訂正符号設定 (例えば L D P C符号での検査行列デ一夕、 もしくはこれ を生成するための設定) 、
·符号化オプション (使用ツール) 、
•符号化データのペイロード ·オプション、
•符号化データ及び誤り訂正符号を識別する R T Pヘッダのペイロードタイプ に相当する情報、
• S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 1 1 0 2により画像データ受信装 置 1 1 0 9へ通知してもよく、 また、 これらの情報を、 あらかじめ画像データ配 信装置 1 1 0 1及び画像データ受信装置 1 1 0 9間で設定しておいてもよい。
Iピクチャ符号化データが伝送路での誤り、 もしくは損失により受信できなか つた場合、 符号化データ再構成部 1 1 1 4は、 F E C符号データ受信部 1 1 1 7 で受信した誤り訂正符号データを用いて Iピクチャ符号化データを復元する。 復 元して得た Iピクチャ符号化データを含め、 画像データの再構成については、 前 記第 5の実施例と同様である。
受信環境により、 配信される画像品質が最適化される仕組みも、 第 5の実施例 と同様で、 受信環境が良好である画像データ受信装置 1 1 0 9は、 Iピクチャ符 号化データ、 Pピクチャ符号化データ、 Bピクチャ符号化データ及び、 誤り訂正 符号データを受信することができ、 より高品質で安定した動画像データを再生す ることができる。 また、 これらを配信するセッションごとに伝送路でのルーティ ングの優先度や、 無線伝送路での送信電力を制御することができるため、 ネット ワークリソースを考慮した配信を行うことができる。
また、 誤り訂正符号データを複数とする塲合については、 第 7の実施例と同様 である。
上記以外については、 前記第 5の実施例と同様である。
なお、 本実施例において、 伝送路を複数とし、 Iピクチャ符号化データ、 Bピ クチャ符号化データ、 Pピクチャ符号化データ及び、 誤り訂正符号データと、 こ れらのデータに関する情報を、 異なった伝送路により伝送する構成としてもよい 本実施例においても、 Iピクチャ符号化デ一夕及び Pピクチャ符号化データ及 び Bピクチヤ符号化デー夕及び、 誤り訂正符号デー夕を配信するセッションは、 少なくとも 1つをュニキャスト方式で送信するようにしてもよいし、 少なくとも 1つをマルチキャスト、 もしくはブロードキャスト方式で送信するようにしても よい。
また画像データ配信装置 1 1 0 1における、 配信情報送信部 1 1 0 2と、 セッ ション情報管理部 1 1 0 3と、 画像デ一夕蓄積/生成部 1 1 0 4と、 Iピクチャ 符号化データ送信部 1 1 0 5と、 Pピクチャ符号化データ送信部 1 1 0 6、 Bピ クチャ符号化データ送信部 1 1 0 7と、 F E C符号データ送信部 1 1 1 6につい て、 画像データ配信装置 1 1 0 1を構成するコンピュータで実行されるプロダラ ム制御によりそれぞれの機能 ·処理を実現するようにしてもよいことは勿論であ る。 画像データ受信装置 1 1 0 9における、 セッション情報受信部 1 1 1 0と、 Iピクチャ符号化データ受信部 1 1 1 1、 Pピクチャ符号化データ受信部 1 1 1 2、 Bピクチャ符号化データ受信部 1 1 1 3と、 符号化データ再構成部 1 1 1 4 と、 デコーダ 1 1 1 5と、 F E C符号データ受信部 1 1 1 7について、 画像デー 夕受信装置 1 1 0 9を構成するコンピュータで実行されるプログラム制御により それぞれの機能 ·処理を実現するようにしてもよいことは勿論である。
[発明の第 1 2の実施の形態]
本発明の第 1 2の実施の形態では、 画像データ配信装置は、 動画像データの I ピクチャ、 Pピクチャ、 及び動画像の符号化に用いた符号化方式に存在する場合 は Bピクチヤ、 及び動画像データの当該フレームの少なくとも一部をイントラ一 マクロブロック (I n t r a— M B ) 符号化した符号化データを、 それぞれ異な つたセッションで配信する手段と、 誤り訂正符号データを配信する手段と、 少な くとも 1つのセッションで、 動画像デ一夕を配信するセッシヨンごとに伝送路で のルーティングの優先度制御や、 無線伝送路での電力制御を設定する手段と、 を 備えている。 画像データ受信装置は、 少なくとも 1つのセッションにより配信さ れたデータを受信する手段と、 誤り訂正符号データを受信する手段と、 伝送路で の誤りや損失によつて失われた動画像データを、 誤り訂正符号データを用いて復 元する手段と、 受信した動画像データのうち、 画像品質に基づいてデータを選択 し、 1つの動画像データに再構成して復号化する手段と、 を備えている。 さらに 、 少なくとも 1つのセッションの受信の有無を、 受信データの誤り/損失率、 受 信装置の利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに 基づき、 選択する手段を備えた構成としてもよい。
[第 1 2の実施例]
本発明の第 1 2の実施例を図面を参照しながら説明する。 第 1 2図は、 本発明 の第 1 2の実施例の構成を示している。 第 1 2図に示すように、 画像データ配信 装置 1 2 0 1と、 画像データ受信装置 1 2 1 0と、 画像符号化データ及び誤り訂 正符号データを伝送するための伝送路 1 2 0 9から構成される。 これらは、 それ ぞれ前記第 6の実施例の画像データ配信装置 6 0 1と、 画像デ一夕受信装置 6 1 0と、 伝送路 6 0 9に対応している。 画像データ配信装置 1 2 0 1を構成する各 要素 1 2 0 2乃至 1 2 0 8、 画像データ受信装置 1 2 1 0を構成する各要素 1 2 1 1乃至 1 2 1 7も、 前記第 6の実施例の画像データ配信装置 6 0 1の各要素 6 0 2乃至 6 0 8、 画像データ受信装置 6 1 0の各要素 6 1 1乃至 6 1 7にそれぞ れ対応している。 以下では、 前記第 6の実施例との相違点についてのみ説明する 。 なお、 本実施例では、 説明の簡単のため、 誤り訂正符号データは、 Iピクチャ 符号化データから生成するものとして説明するが、 全てのピクチャ符号化データ 及び Z又は、 イントラーマクロプロック符号データから生成し、 それらを異なつ たセッションにより配信してもよいことは勿論である。 また、 本実施例では、 説 明の簡単のため、 1つの符号化データから生成する誤り訂正符号データ数を 「1 」 として説明するが、 誤り訂正符号データ数が 「1」 に限定されるものでないこ とは勿論である。
画像データ配信装置 1 2 0 1は、 配信情報送信部 1 2 0 2と、 セッション情報 管理部 1 2 0 3と、 画像データ蓄積 生成部 1 2 0 4と、 Iピクチャ符号化デー 夕送信部 1 2 0 5、 Pピクチャ符号化データ送信部 1 2 0 6、 Bピクチャ符号化 データ送信部 1 2 0 7、 イントラ -マクロブロック (I n t r a - M B ) 符号化 データ送信部 1 2 0 8、 F E C符号データ送信部 1 2 1 8を備えている。 画像データ受信装置 1210は、 セッション情報受信部 1211と、 Iピクチ ャ符号化データ受信部 1212、 Pピクチャ符号化データ受信部 1213、 Bピ クチャ符号化データ受信部 1214、 イントラ -マクロブロック (I n t r a - MB) 符号化データ受信部 1215と、 符号化データ再構成部 1216と、 デコ ーダ 1217と、 F E C符号データ受信部 1219を備えている。
なお、 F ECの方式については、 第 7の実施例と同様である。
画像データ配信装置 1201は、 画像デ一夕蓄積/生成部 1204で、 •あらかじめ蓄積された画像データ、
•リアルタイムで生成された画像データ、 もしくは、
-リアルタイムで既存画像を変換し生成された画像データ、
と、 上記のいずれかによる画像符号化デー夕から生成された誤り訂正符号デー 夕を、 セッション情報管理部 1203で設定された、 セッションごとの伝送路 1 209でのルーティングの優先度情報及び 又は無線伝送路の電力制御情報に基 づいて、 Iピクチャ符号化データ送信部 1205、 Pピクチャ符号化データ送信 部 1206、 Bピクチャ符号化データ送信部 1207、 I n t r a— MB符号化 データ送信部 1208及び、 F E C符号データ送信部 1218により、 伝送路 1 209経由で送信する。
セッション情報管理部 1203では、 各セッションから配信するピクチャ情報 及び、 誤り訂正符号データを管理し、 配信情報送信部 1202から画像データ受 信装置 1210に通知する。
FEC符号データ送信部 1218は、 Iピクチャ符号化データのどの部分の誤 り訂正符号データであるかわかるように、 RTPに相当する情報 (例えば RTP ヘッダのシーケンス番号) を付加する機能を有する。 またさらに、 誤り訂正符号 データであることを示す、 ペイロードタイプ、 及び 又は、 SSRC、 及び 又 は、 CSRCを付与してもよい。
画像デ一夕受信装置 1210は、 画像データ配信装置 1201からの画像符号 化及び、 誤り訂正符号データに関する情報を、 セッション情報受信部 1211で 受信し、 この情報から、 伝送路 1209より受信した画像データのピクチャ、 ブ ロック種別及び、 誤り訂正符号デー夕の対象符号化デー夕種別を知る。 また、 セッション情報管理部 1 2 0 3は、
,符号化データの符号化設定、
-誤り定性符号種別、
•誤り訂正符号設定 (例えば L D P C符号での検査行列データ、 もしくはこれ を生成するための設定) 、
•符号化オプション (使用ツール) 、
•符号化データのペイロード ·オプション、
•符号化データ及び誤り訂正符号を識別する R T Pへッダのペイロードタイプ に相当する情報、
· S S R C、 C S R Cに相当する情報、
の少なくとも 1つを設定し、 配信情報送信部 1 2 0 2により画像データ受信装 置 1 2 1 0へ通知してもよく、 また、 これらの情報を、 あらかじめ画像データ配 信装置 1 2 0 1及び画像データ受信装置 1 2 1 0間で設定しておいてもよい。
Iピクチャ符号化データが伝送路での誤り、 もしくは損失により受信できなか つた場合、 符号化データ再構成部 1 2 1 6は、 F E C符号データ受信部 1 2 1 9 で受信した誤り訂正符号データを用いて Iピクチャ符号化データを復元する。 復 元して得た Iピクチャ符号化データを含め、 画像データの再構成については、 前 記第 6の実施例と同様である。
受信環境により、 配信される画像品質が最適化される仕組みも、 第 6の実施例 と同様で、 受信環境が良好である画像データ受信装置 1 2 1 0は、 Iピクチャ符 号化データ、 Pピクチャ符号化データ、 Bピクチャ符号化データ、 イントラ—マ クロブロック符号化データ及び、 誤り訂正符号データを受信することができ、 よ り高品質で安定した動画像データを再生することができる。 また、 これらを配信 するセッションごとに伝送路でのルーティングの優先度や、 無線伝送路での送信 電力を制御することができるため、 ネットワークリソースを考慮した配信を行う ことができる。
また、 誤り訂正符号データを複数とする場合については、 第 7の実施例と同様 である。
上記以外については、 前記第 6の実施例と同様である。 なお、 本実施例において、 伝送路を複数とし、 Iピクチャ符号化デ一夕、 Bピ クチャ符号化データ、 Pピクチャ符号化データ、 イントラ—マクロブロック符号 化データ、 誤り訂正符号データ、 及びこれらのデータに関する情報が、 異なった 伝送路を介して伝送される構成としてもよいことは勿論である。
本実施例において、 Iピクチャ符号化データ及び、 Pピクチャ符号化データ及 び、 Bピクチャ符号化データ、 イントラ一マクロブロック符号化データ及び、 誤 り訂正符号データを配信するセッションは、 少なくとも 1っをュニキヤスト方式 で送信するようにしてもよいし、 少なくとも 1つをマルチキャスト、 もしくはブ ロードキャスト方式で送信するようにしてもよい。
なお、 画像データ配信装置 1 2 0 1における、 配信情報送信部 1 2 0 2と、 セ ッシヨン情報管理部 1 2 0 3と、 画像データ蓄積/生成部 1 2 0 4と、 Iピクチ ャ符号化データ送信部 1 2 0 5と、 Pピクチャ符号化データ送信部 1 2 0 6、 B ピクチャ符号化データ送信部 1 2 0 7、 イントラーマクロブロック符号化データ 送信部 1 2 0 8、 F E C符号データ送信部 1 2 1 8について、 画像データ配信装 置 1 2 0 1を構成するコンピュータで実行されるプログラム制御によりそれぞれ の機能 ·処理を実現するようにしてもよいことは勿論である。 画像データ受信装 置 1 2 1 0における、 セッション情報受信部 1 2 1 1と、 Iピクチャ符号化デー 夕受信部 1 2 1 2、 Pピクチャ符号化データ受信部 1 2 1 3、 Bピクチャ符号化 データ受信部 1 2 1 4、 イントラ—マクロプロック符号化データ受信部 1 2 1 5 と、 符号化データ再構成部 1 2 1 6と、 デコーダ 1 2 1 7と、 F E C符号データ 受信部 1 2 1 9について、 画像データ受信装置 1 2 1 0を構成するコンピュータ で実行されるプログラム制御によりそれぞれの機能 ·処理を実現するようにして もよいことは勿論である。
以上本発明を上記各実施例に即して説明したが、 本発明は、 上記実施例の構成 にのみ限定されるものでなく、 特許請求の範囲の各請求項の発明の範囲内で当業 者であればなし得るであろう各種変形、 修正を含むことは勿論である。

Claims

請求の範囲
1 . 同一画像の複数の画像符号化データについて、 それぞれ画像品質に基づき 、 配信するセッションを選択する手段と、
選択されたセッションにしたがって前記画像符号化データを配信する手段と、 を備えている、 ことを特徴とする画像データ配信装置。
2 . 同一画像の複数の画像符号化データについて、 それぞれ画像品質に基づき 、 配信するセッションを選択する手段と、
選択されるセッションの少なくとも 1つで、 セッションごとの、 伝送路でのル 一ティングの優先度制御、 及び Z又は、 無線伝送路での電力制御、 を行う手段と を備えている、 ことを特徴とする画像データ配信装置。
3 . 配信対象の画像符号化データについて、 画像フレーム及び Z又は画像プロ ックの種別に基づき、 配信するセッションを選択する手段と、
選択されたセッションにしたがって前記画像符号化データを配信する手段と、 を備えている、 ことを特徴とする画像データ配信装置。
4 . 配信対象の画像符号化データについて、 画像フレーム及びノ又は画像プロ ックの種別に基づき、 配信するセッションを選択する手段と、
選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル —ティングの優先度制御、 及び/又は、 無線伝送路での電力制御、 を行う手段と を備えている、 ことを特徴とする画像データ配信装置。
5 . 前記同一画像の複数の画像符号化データは、 符号化方式及びフレーム構成 が同一である、 ことを特徴とする請求の範囲第 1項又は第 2項に記載の画像デー 夕配信装置。 '
6 . 画像データ配信装置から配信された、 少なくとも 1つの画像符号化データ を受信する手段と、
正常に受信された符号化データの中から、 画像品質に基づきデータを選択する 手段と、 選択されたデータを復号化する手段と、
を備えている、 ことを特徴とする画像データ受信装置。
7 . 画像データを配信する画像データ配信装置と、 前記画像データ配信装置か ら配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を 備え、
前記画像データ配信装置は、 同一画像の複数の画像符号化デ一夕について、 そ れぞれ画像品質に基づき、 配信するセッションを選択する手段と、
選択されたセッションにしたがつて前記画像符号化デ一夕を配信する手段と、 を備えている、 ことを特徴とする画像データ配信システム。
8 . 画像データを配信する画像データ配信装置と、 前記画像データ配信装置か ら配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を 備え、
前記画像データ配信装置は、 同一画像の複数の画像符号化データについて、 そ れぞれ画像品質に基づき、 配信するセッションを選択する手段と、
選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル 一ティングの優先度制御、 及び/又は、 無線伝送路での電力制御、 を行う手段と を備えている、 ことを特徴とする画像データ配信システム。
9 . 画像データを配信する画像データ配信装置と、 前記画像データ配信装置か ら配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を 備え、
前記画像データ配信装置は、 配信対象の画像符号化データについて、 画像フレ —ム及び 又は画像ブロックの種別に基づき、 配信するセッションを選択する手 段と、
選択されたセッションにしたがって前記画像符号化データを配信する手段と、 を備えている、 ことを特徴とする画像データ配信システム。
1 0 . 画像データを配信する画像データ配信装置と、 前記画像データ配信装置 から配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を備え、 前記画像データ配信装置は、 配信対象の画像符号化データについて、 画像フレ ーム及び 又は画像ブロックの種別に基づき、 配信するセッションを選択する手 段と、
選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル 一ティングの優先度制御、 及びノ又は、 無線伝送路での電力制御、 を行う手段と を備えている、 ことを特徴とする画像データ配信システム-。
1 1 . 前記同一画像の複数の画像符号化データは、 符号化方式及びフレーム構 成が同一である、 ことを特徴とする請求の範囲第 7項又は第 8項に記載の画像デ 一夕配信システム。
1 2 . 画像データを配信する画像データ配信装置と、 前記画像デ一夕配信装置 から配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を備え、
前記画像データ受信装置は、 前記画像データ配信装置から配信される少なくと も 1つの画像符号化データを受信する手段と、
正常に受信された符号化データの中から、 画像品質に基づき、 データを選択す る手段と、
選択されたデ一タを復号化する手段と、'
を備えている、 ことを特徴とする画像データ配信システム。
1 3 . 画像データ配信装置から少なくとも 1つの画像デ一夕受信装置へ画像デ 一夕を配信する制御方法であつて、
前記画像データ配信装置が、 同一画像の複数の画像符号化データを配信する際 、 それぞれ画像品質に基づき、 配信するセッションを選択するステップと、 前記画像データ配信装置が、 選択されたセッションにしたがって前記画像符号 化データを配信するステップと、
を含む、 ことを特徴とする画像データ配信制御方法。
1 4. 画像データ配信装置から少なくとも 1つの画像データ受信装置へ画像デ 一夕を配信する制御方法であつて、
前記画像データ配信装置が、 同一画像の複数の画像符号化データを配信する際 、 それぞれ画像品質に基づき、 配信するセッションを選択するステップと、 前記画像デ一夕配信装置が、 選択されるセッションの少なくとも 1つで、 セッ シヨンごとに、 伝送路でのルーティングの優先度制御、 及び 又は、 無線伝送路 での電力制御、 を行うステップと、
を含む、 ことを特徴とする画像データ配信制御方法。
1 5 . 画像デ一夕配信装置から少なくとも 1つの画像データ受信装置へ画像デ ―夕を配信する制御方法であって、
前記画像データ配信装置が、 画像符号化データを配信する際、 画像フレーム及 び/又は画像ブロックの種別に基づき、 配信するセッションを選択するステップ と、
前記画像データ配信装置が、 選択されたセッションで画像符号化データを配信 するステップと、
を含む、 ことを特徴とする画像データ配信制御方法。
1 6 . 画像 ータ配信装置から少なくとも 1つの画像データ受信装置へ画像デ 一夕を配信する制御方法であって、
■ 前記画像データ配信装置が、 画像符号化データを配信する際、 画像フレーム及 び Z又は画像ブロックの種別に基づき、 配信するセッションを選択するステップ と、
画像の品質によって選択されるセッションの少なくとも 1つで、 セッションご とに、 伝送路でのルーティングの優先度制御、 及び/又は、 無線伝送路での電力 制御、 を行うステップと、
を含む、 ことを特徴とする画像データ配信制御方法。
1 7 . 前記同一画像の複数の画像符号化データは、 符号化方式及びフレーム構 成が同一である、 ことを特徴とする請求の範囲第 1 3項又は第 1 4項に記載の画 像データ配信制御方法。
1 8 . 画像データ配信装置から少なくとも 1つの画像データ受信装置へ画像デ 一夕を配信する制御方法であつて、
前記画像データ受信装置が、 前記画像データ配信装置から配信される少なくと も 1つの画像符号化デー夕を受信するステップと、 前記画像データ受信装置が、 正常に受信された符号化データの中から、 画像品 質に基づき、 データを選択するステップと、
前記画像デー夕受信装置が、 選択されたデータを復号化するステップと、 を含む、 ことを特徴とする画像データ配信制御方法。
1 9 . 画像データ配信装置を構成するコンピュータに、
同一画像の複数の画像符号化データを配信する際、 それぞれ画像品質に基づき 配信するセッションを選択する処理と、
選択されたセッションで画像符号化デー夕を配信する処理と、
を実行させるプログラム。
2 0 . 画像データ配信装置を構成するコンピュータに、
同一画像の複数の画像符号化データを配信する際、 それぞれ画像品質こ基づき 、 配信するセッションを選択する処理と、
選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル 一ティングの優先度制御、 及び/又は、 無線伝送路での電力制御、 を行う処理と 、
を実行させるプログラム。
2 1 . 画像データ配信装置を構成するコンピュータに、
画像符号化データを配信する際、 画像フレーム及び Ζ又は画像プロックの種別 に基づき、 配信するセッションを選択する処理と、
選択されたセッションで画像符号化データを配信する処理と、
を実行させるプログラム。 -
2 2 . 画像データ配信装置を構成するコンピュータに、
画像符号化データを配信する際、 画像フレーム及び Ζ又は画像プロックの種別 に基づき、 配信するセッションを選択する処理と、
選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル 一ティングの優先度制御、 及び 又は、 無線伝送路での電力制御、 を行う処理と を実行させるプログラム。
2 3 . 画像データ配信装置からのデータを受信する画像データ受信装置を構成 するコンピュータに、
前記画像デ一夕配信装置から配信される少なくとも 1つの画像符号化データを 受信する処理と、
正常に受信された符号化データの中から、 画像品質に基づき、 データを選択す る処理と、
選択されたデ一夕を復号化する処理と、
を実行させるプログラム。
2 4 . 画像データ配信装置と、 少なくとも 1つの画像データ受信装置と、 前記 画像データ配信装置からの情報を前記画像データ受信装置に伝送するための伝送 路と、 を備え、
前記画像データ配信装置は、 同一の画像の異なる画像品質の複数の動画像符号 化データをそれぞれ異なるセッションで配信する手段と、
動画像符号化データを配信するセッションごとに、 伝送路でのルーティングの 優先度制御、 及び Z又は、 無線伝送路での電力制御、 を設定する手段と、 を備え、
前記画像データ受信装置は、 前記画像データ配信装置から少なくとも 1つのセ ッシヨンにより配信された動画像符号化デ一夕を受信する手段と、
受信した動画像符号化データのうち、 画像品質に基づいて、 データを選択し、 1つの動画像符号化データに再構成する手段と、
再構成された符号化データを復号化する手段と、
を備えている、 ことを特徴とする画像データ配信システム。
2 5 . 画像データ配信装置と、 少なくとも 1つの画像データ受信装置と、 前記 画像データ配信装置からの情報を前記画像データ受信装置に伝送するための伝送 路と、 を備え、
前記画像データ配信装置は、 動画像符号化データと、 動画像符号化データのフ レームの少なくとも一部をイントラーマクロプロック符号化した符号化デ一夕と をそれぞれ異なるセッションで配信する手段と、
符号化データを配信するセッションごとに伝送路でのルーティングの優先度制 御、 及び/又は、 無線伝送路での電力制御、 を設定する手段と、 を備え、
前記画像データ受信装置は、 前記画像データ配信装置から少なくとも 1つのセ ッシヨンにより配信されたデー夕を受信する手段と、
受信した動画像符号化データのうち、 画像品質に基づいてデ一夕を選択し、 1 つの動画像符号化デー夕に再構成する手段と、
再構成された符号化デー夕を復号化する手段と、
を備えている、 ことを特徴とする画像デ一夕配信システム。
26. 画像データ配信装置と、 少なくとも 1つの画像データ受信装置と、 前記 画像データ配信装置からの情報を前記画像データ受信装置に伝送するための伝送 路と、 を備え、
前記画像データ配信装置は、 動画像デ一夕の I (I n t r a) ピクチャ、 P ( P r e d i c t i ve) ピクチャ、 及び動画像の符号化に用いた符号化方式に存 在する場合には B (B i d i r e c t i on a l 1 y-p r e d i c t i v e) ピクチャのうち、 Iピクチャとそれ以外のピクチャとで、 それぞれ異なるセッシ ヨンで配信する手段と、
動画像符号化データを配信するセッションごとに、 伝送路でのルーティングの 優先度制御、 及び/又は、 無線伝送路での電力制御を設定する手段と、
を備え、
前記画像データ受信装置は、 前記画像データ配信装置から少なくとも 1つのセ ッシヨンにより配信された動画像符号化データを受信する手段と、
受信した動画像符号化データから、 1つの動画像符号化データに再構成する手 段と、
再構成された符号化データを復号化する手段と、
を備えている、 ことを特徴とする画像デ一夕配信システム。
27. 画像データ配信装置と、 少なくとも 1つの画像データ受信装置と、 前記 画像データ配信装置からの情報を前記画像データ受信装置に伝送するための伝送 路と、 を備え、
前記画像データ配信装置は、 動画像データの I (I n t r a) ピクチャ、 P ( P r e d i c t i ve) ピクチャ、 及び B (B i d i r e c t i on a l l y— red i c t i v e) ピク^ャのうち、 I ZPピクチャとそれ以外のピクチャ で、 それぞれ異なるセッションで配信する手段と、
動画像符号化データを配信するセッションごとに、 伝送路でのルーティングの 優先度制御、 及び Z又は、 無線伝送路での電力制御、 を設定する手段と、
を備え、
前記画像データ受信装置は、 少なくとも 1つのセッションにより配信された動 画像符号化デー夕を受信する手段と、
受信した動画像符号化データから、 1つの動画像符号化データに再構成する手 段と、
再構成された符号化デー夕を復号化する手段と、
を備えている、 ことを特徴とする画像データ配信システム。
28. 画像データ配信装置と、 少なくとも 1つの画像データ受信装置と、 前記 画像データ配信装置からの情報を前記画像データ受信装置に伝送するための伝送 路と、 を備え、
前記画像データ配信装置は、 動画像デ一夕の I (I n t r a) ピクチャ、 P ( Pred i c t i ve) ピクチャ、 及び B (B i d i r ec t i ona l l y— pr ed i c t i v e) ピクチャについてそれぞれ異なったセッションで配信す る手段と、
動画像符号化データを配信するセッションごとに、 伝送路でのルーティングの 優先度制御、 及び 又は、 無線伝送路での電力制御、 を設定する手段と、
を備え、
前記画像データ受信装置は、 前記画像デ一夕配信装置から少なくとも 1つのセ ッシヨンにより配信された動画像符号化デー夕を受信する手段と、
受信した動画像符号化データから、 1つの動画像符号化データに再構成する手 段と、
再構成された符号化デ一夕を復号化する手段と、
を備えている、 ことを特徴とする画像データ配信システム。
29. 画像データ配信装置と、 少なくとも 1つの画像データ受信装置と、 前記 画像データ配信装置からの情報を前記画像データ受信装置に伝送するための伝送 路と、 を備え、
前記画像データ配信装置は、 動画像データの I (I n t r a) ピクチャ、 P ( P r e d i c t i ve) ピクチャ、 及び動画像の符号化に用いた符号化方式に存 在する場合には、 B (B i d i r e c t i on a l l y— p r e d i c t i v e ) ピクチャ、 及び動画像データの当該フレームの少なくとも一部をイントラーマ クロブロック (I n t r a— MB) 符号化した符号化データを、 それぞれ異なつ たセッションで配信する手段と、
動画像符号化データを配信するセッションごとに伝送路でのルーティングの優 先度制御、 及び 又は、 無線伝送路での電力制御、 を設定する手段と、
を備え、
前記画像データ受信装置は、 前記画像データ配信装置から少なくとも 1つのセ ッシヨンにより配信された動画像符号化デー夕を受信する手段と、
受信した動画像符号化データのうち、 画像品質に基づいて、 データを選択し、 1つの動画像符号化データに再構成する手段と、
再構成された符号化デー夕を復号化する手段と、
を備えている、 ことを特徴とする画像データ配信システム。
30. 前記画像データ受信装置は、 前記画像データ配信装置から送信されたセ ッシヨン情報に基づき、 受信したデータの符号化情報の種別を取得する、 ことを 特徴とする請求の範囲第 24項乃至第 29項のいずれか一項に記載の画像データ 配信システム。
31. 前記伝送路を複数備え、
前記画像データ配信装置は、 前記各符号化データ及び 又は、 セッション情報 を、 それぞれ異なった伝送路により伝送する、 ことを特徴とする請求の範囲第 2 4項乃至第 29項のいずれか一項に記載の画像データ配信システム。
32. 画像符号化データを配信する複数のセッションを選択する手段と、 選択されたセッシヨンにしたがつて前記画像符号化デー夕を配信する手段と、 を備えている、 ことを特徴とする画像データ配信装置。
33. 画像符号化データを配信する複数のセッションを選択する手段と、 選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル 一ティングの優先度制御、 及び/又は、 無線伝送路での電力制御、 を行う手段と を備えている、 ことを特徴とする画像データ配信装置。
3 4. 同一画像の前記複数の画像符号化データは、 符号化方式及びフレーム構 成が同一である、 ことを特徴とする請求の範囲第 3 2項又は第 3 3項に記載の画 像データ配信装置。
3 5 . 前記同一画像の複数の画像符号化データの各送信単位は、 それぞれ同一 フレームの同一部位が符号化されたデータである、 ことを特徴とする請求の範囲 第 5項又は第 3 4項に記載の画像データ配信装置。
3 6 . 同一画像の複数の画像符号化データを時間差を設けて配信するように制 御する手段を備えている、 ことを特徴とする請求の範囲第 1項乃至第 4項、 第 3 2項乃至第 3 5項のいずれか一項に記載の画像デ一夕配信装置。
3 7 . 誤り訂正符号データを配信するセッションを選択する手段と、
選択されたセッションにしたがつて誤り訂正符号デー夕を配信する手段と、 をさらに備えている、 ことを特徴とする請求の範囲第 1項乃至第 5項、 第 3 2 項乃至第 3 6項のいずれか一項に記載の画像データ配信装置。
3 8 . 誤り訂正符号データを配信するセッションを選択する手段と、
選択されるセッションの少なくとも 1つで、 セッションごとの、 伝送路でのル 一ティングの優先度、 及び z又は、 無線伝送路での電力制御を行う手段と、 をさらに備えている、 ことを特徴とする請求の範囲第 1項乃至第 5項、 第 3 2 項乃至第 3 6項のいずれか一項に記載の画像データ配信装置。
3 9 . 配信する前記セッションの少なくとも 1つを、 マルチキャスト又はプロ ードキャス卜により送信する、 ことを特徴とする請求の範囲第 1項乃至第 4項、 第 3 2項乃至第 3 8項のいずれか一項に記載の画像データ配信装置。
4 0 . 画像データ配信装置から配信された、 少なくとも 1つの画像符号化デ一 夕を受信する手段と、
少なくとも 1つの画像符号化データの受信の有無を、 受信データの誤り 損失 率、 利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基づ き、 選択する手段と、 正常に受信された符号化データの中から、 画像品 に基づきデータを選択する 手段と、
選択されたデータを復号化する手段と、
を備えている、 ことを特徴とする画像デ一夕受信装置。
4 1 . 前記画像データ配信装置から配信された少なくとも 1つの誤り訂正符号 データを受信する手段と、
受信デー夕に誤り /損失がある場合には、 誤り訂正符号デー夕から当該デー夕 を復元する手段と、
をさらに備えている、 ことを特徴とする請求の範囲第 6項に記載の画像データ 受信装置。
4 2 . 前記画像データ配信装置から配信された少なくとも 1つの誤り訂正符号 データを受信する手段と、
受信データに誤り/損失がある場合には、 誤り訂正符号データから当該データ を復元する手段と、
少なくとも 1つの誤り訂正符号データの受信の有無を、 受信データの誤り/損 失率、 利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基 づき、 選択する手段と、
をさらに備えている、 ことを特徴とする請求の範囲第 4 0項に記載の画像デー 夕受信装置。 .
4 3 . 前記画像データ受信装置が、 前記複数の誤り訂正符号データを受信した 場合、 受信データの受信状況によって、 その誤り Z損失を復元するのに最適な誤 り訂正符号データを選択する手段を、 さらに備えていることを特徴とする、 請求 の範囲第 4 1項または 4 2項のいずれか一項に記載の画像データ受信装置。
4 4. 画像データを配信する画像データ配信装置と、 前記画像データ配信装置 から配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を備え、
前記画像デ一夕配信装置は、 画像符号化データを配信する複数のセッションを 選択する手段と、
選択されたセッシヨンにしたがって前記画像符号化デ一夕を配信する手段と、 を備えている、 ことを特徴とする画像データ配信システム。
4 5 . 画像データを配信する画像データ配信装置と、 前記画像データ配信装置 から配信される画像デ一夕を受信する少なくとも 1つの画像データ受信装置と、 を備え、
前記画像データ配信装置は、 画像符号化データを配信する複数のセッションを 選択する手段と、
選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル 一ティングの優先度制御、 及び Z又は、 無線伝送路での電力制御、 を行う手段と を備えている、 ことを特徴とする画像データ配信システム。
4 6 . 同一画像の前記複数の画像符号化データは、 符号化方式及びフレーム構 成が同一である、 ことを特徴とする請求の範囲第 4 4項又は第 4 5項に記載の画 像データ配信システム。
4 7 . 同一画像の前記複数の画像符号化データの各送信単位は、 それぞれ同一 フレームの同一部位が符号化されたデータである、 ことを特徴とする請求の範囲 第 1 1項又は第 4 6項に記載の画像デ一夕配信システム。
4 8 . 同一画像の前記複数の画像符号化デ一夕を、 時間差を設けて配信するよ うに制御する手段を備えている、 ことを特徴とする請求の範囲第 7項乃至第 1 1 項、 第 4 4項乃至第 4 7項のいずれか一項に記載の画像データ配信システム。
4 9 . 前記画像データ配信装置が、
(A 1 ) 前記画像符号化データ種別及び Z又は前記画像符号化データの画像品 質及び 又は前期画像符号化データの符号化設定、
(A 2 ) 前記画像フレーム及び 又は画像プロック種別、
(A 3 ) 前記時間差、
の少なくとも 1つを、 前記画像データ受信装置へ通知することを特徴とする請 求の範囲第 7項乃至第 1 1項、 のいずれか一項に記載の画像データ配信システム
5 0 . 前記画像データ配信装置は、 誤り訂正符号データを配信する少なくとも 1つのセッションを選択する手段をさらに備えていることを特徴とする、 請求の 範囲第 7項乃至第 1 1項、 第 4 4項乃至第 4 9項のいずれか一項に記載の画像デ ータ配信システム。
5 1 . 前記配信セッションの少なくとも 1つは、 マルチキャスト又はブロード キャストにより送信される、 ことを特徴とする請求の範囲第 7項乃至第 1 1、 4 4項乃至第 4 9項のいずれか一項に記載の画像データ配信システム。
5 2 . 画像データを配信する画像データ配信装置と、 前記画像データ配信装置 から配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を備え、
前記画像データ受信装置は、 前記画像データ配信装置から配信される少なくと も 1つの画像符号化データを受信する手段と、
少なくとも 1つの画像符号化データの受信の有無を、 受信データの誤り Z損失 率、 利用可能な電力、 予め定められた設定のうちの少なくとも 1つに基づき、 選 択する手段と、
正常に受信された符号化データの中から、 画像品質に基づき、 データを選択す る手段と、
選択されたデ一夕を復号化する手段と、
を備えている、 ことを特徴とする画像デ一夕配信システム。
5 3 . 前記画像データ受信装置が、 前記画像データ配信装置から配信された少 なくとも 1つの誤り訂正符号データを受信する手段と、
受信データに誤り 損失がある場合には、 誤り訂正符号データから当該データ を復元する手段と、
をさらに備えている、 ことを特徴とする請求の範囲第 1 2項又は第 5 2項に記 載の画像データ配信システム。
5 4. 前記画像データ受信装置が、 前記画像データ配信装置から配信された少 なくとも 1つの誤り訂正符号データを受信する手段と、
受信データに誤り 損失がある場合には、 誤り訂正符号データから当該データ を復元する手段と、 少なくとも 1つの誤り訂正符号データの受信の有無を、 受信 データの誤り/損失率、 利用可能な電力、 あらかじめ定められた設定のうちの少 なくとも 1つに基づき、 選択する手段と、 をさらに備えている、 ことを特徴とする請求の範囲第 1 2項又は第 5 2項に記 載の画像データ配信システム。
5 5. 前記画像データ受信装置が、 前記複数の誤り訂正符号データを受信した 場合、 受信データの受信状況によって、 その誤り Z損失を復元するのに最適な誤 り訂正符号データを選択する手段を、 さらに備えていることを特徴とする、 請求 の範囲第 5 3項または 5 4項のいずれか一項に記載の画像データ配信システム。
5 6 . 画像データ配信装置から少なくとも 1つの画像データ受信装置へ画像デ 一夕を配信する制御方法であって、
前記画像データ配信装置が、 画像符号化データを配信する複数のセッションを 選択するステップと、
前記画像データ配信装置が、 選択されたセッションにしたがって前記画像符号 化デー夕を配信するステップと、
を含む、 ことを特徴とする画像データ配信制御方法。
5 7 . 画像データ配信装置から少なくとも 1つの画像データ受信装置へ画像デ 一夕を配信する制御方法であって、
前記画像データ配信装置が、 画像符号化データを配信する複数のセッションを 選択するステップと、
前記画像データ配信装置が、 選択されるセッションの少なくとも 1つで、 セッ シヨンごとに、 伝送路でのルーティングの優先度制御、 及び Z又は、 無線伝送路 での電力制御、 を行うステップと、
を含む、 ことを特徴とする画像デ一夕配信制御方法。
5 8 . 前記同一画像の複数の画像符号化デ一夕の各送信単位は、 それぞれ同一 フレームの同一部位が符号化されたデータである、 ことを特徴とする請求の範囲 第 1 7項に記載の画像データ配信制御方法。
5 9 . 同一画像の前記複数の画像符号化データを、 時間差を設けて配信する、 ことを特徴とする請求の範囲第 1 3項乃至第 1 8項、 第 5 6項乃至第 5 8項のい ずれか一項に記載の画像データ配信制御方法。
6 0 . 前記画像データ配信装置が、
(A 1 ) 前記画像符号化データ種別及び/又は前記画像符号化データの画像品 質及び/又は前期画像符号化デ一夕の符号化設定、
(A 2 ) 前記画像フレーム及び/又は画像プロック種別、
(A 3 ) 前記時間差、
の少なくとも 1つを、 前記画像データ受信装置へ通知する、 ことを特徵とする 請求の範囲第 1 3項乃至第 1 8項、 第 5 6項乃至第 5 9項のいずれか一項に記載 の画像データ配信制御方法。
6 1 . 誤り訂正符号データを配信するセッションを選択するステップと、 選択されたセッションにしたがつて誤り訂正符号データを配信するステツプと をさらに含む、 ことを特徴とする請求の範囲第 1 3項乃至第 1 8項、 第 5 6項 乃至第 6 0項のいずれか一項に記載の画像データ配信制御方法。
6 2 . 誤り訂正符号データを配信するセッションを選択するステップと、 選択されるセッションの少なくとも 1つで、 セッションごとの、 伝送路でのル 一ティングの優先度、 及び/又は、 無線伝送路での電力制御、 を行うステップと 、
をさらに含む、 ことを特徴とする請求の範囲第 1 3項乃至第 1 8項、 第 5 6項 乃至第 6 0項のいずれか一項に記載の画像データ配信制御方法。
6 3 . 前記画像データ配信装置は、 前記誤り訂正符号データ種別及び 又は前 記誤り訂正符号デー夕生成の符号化設定を、 前記画像デ一夕受信装置へ通知する 、 ことを特徴とする、 請求の範囲第 6 1項又は 6 2項記載の画像データ配信制御 方法。 -
6 4 . 前記配信セッションの少なくとも 1つを、 マルチキャスト又はブロード キャストにより送信するステップを含む、 ことを特徴とする請求の範囲第 1 3項 乃至第 1 8項、 第 5 6項乃至第 6 2項のいずれか一項に記載の画像データ配信制 御方法。
6 5 . 画像データ配信装置から少なくとも 1つの画像データ受信装置へ画像デ 一夕を配信する制御方法であって、
前記画像データ受信装置が、 前記画像データ配信装置から配信される少なくと も 1つの画像符号化データを受信するステップと、 前記画像データ受信装置が、 少なくとも 1つの画像符号化データの受信の有無 を、 受信データの誤り/損失率、 利用可能な電力、 予め定められた設定のうちの 少なくとも 1つに基づき、 選択するステップと、
前記画像データ受信装置が、 正常に受信された符号化データの中から、 画像品
5. 質に基づき、 デ一夕を選択するステップと、
前記画像データ受信装置が、 選択されたデータを復号化するステップと、 を含む、 ことを特徴とする画像デ一夕配信制御方法。
6 6 . 前記画像データ受信装置が、 前記画像データ配信装置から配信された少 なくとも 1つの誤り訂正符号デー夕を受信するステップと、
0 前記画像データ受信装置が、 受信データに誤り 損失がある場合には、 誤り訂 正符号デー夕から当該デ一夕を復元するステップと、
をさらに含む、 ことを特徵とする請求の範囲第 1 8項又は第 6 5項に記載の画 像データ配信制御方法。
6 7 . 前記画像デ一夕受信装置が、 前記画像データ配信装置から配信された少5 なくとも 1つの誤り訂正符号データを受信するステップと、
前記画像データ受信装置が、 受信デ一夕に誤り/損失がある場合には、 誤り訂 正符号デー夕から当該データを復元するステップと、
前記画像データ受信装置が、 少なくとも 1つの誤り訂正符号データの受信の有 無を、 受信データの誤り Z損失率、 利用可能な電力、 あらかじめ定められた設定0 のうちの少なくとも 1つに基づき、 選択するステップと、
をさらに含む、 ことを特徴とする請求の範囲第 1 8項又は第 6 5項に記載の画 像データ配信制御方法。
6 8 . 前記画像データ受信装置が、 前記複数の誤り訂正符号データを受信した 場合、 受信データの受信状況によって、 その誤り Z損失を復元するのに最適な誤5 り訂正符号データを選択するステップを、 さらに含むことを特徴とする、 請求の 範囲第 6 6項または 6 7項に記載の画像データ配信制御方法。
6 9 . 画像データ配信装置を構成するコンピュータに、
画像符号化データを配信する複数のセッションを選択する処理と、
選択されたセッションで画像符号化データを配信する処理と、 を実行させるプログラム b
7 0 . 画像データ配信装置を構成するコンピュータに、
画像符号化データを配信する複数のセッシヨンを選択する処理と、
選択されるセッションの少なくとも 1つで、 セッションごとに、 伝送路でのル 一ティングの優先度制御、 及び Z又は、 無線伝送路での電力制御、 を行う処理と を実行させるプログラム。
7 1 . 同一画像の複数の画像符号化データは、 符号化方式及びフレーム構成が 同一である、 ことを特徴とする請求の範囲第 1 9項、 第 2 0項、 第 6 9項、 第 7 0項のいずれか一項に記載のプログラム。
7 2 . 同一画像の複数の画像符号化データの各送信単位は、 それぞれ同一フレ ームの同一部位が符号化されたデータである、 ことを特徴とする請求の範囲第 7 1項に記載のプログラム。
7 3 . 請求の範囲第 1 9項、 第 2 0項、 第 6 9項乃至第 Ί 2項のいずれか一項 に記載のプログラムにおいて、
同一画像の複数の符号化データを、 時間差を設けて配信する処理を、 前記コン ピュー夕に実行させるプログラム。
7 4. 請求の範囲第 1 9項乃至第 2 3項、 第 6 9項乃至第 7 3項のいずれか一 項に記載のプログラムにおいて、
誤り訂正符号データを配信するセッションを選択する処理と、
選択されたセッシヨンにしたがつて誤り訂正符号データを配信する処理と、 を前記コンピュータに実行させるプログラム。
7 5 . 請求の範囲第 1 9項乃至第 2 3、 6 9項乃至第 7 3項のいずれか一項に 記載のプログラムにおいて、
誤り訂正符号データを配信するセッションを選択する処理と、
選択されるセッションの少なくとも 1つで、 セッションごとの、 伝送路でのル 一ティングの優先度、 及び/又は、 無線伝送路での電力制御を行う処理と、 を前記コンピュータに実行させるプログラム。
7 6 . 請求の範囲第 5 0項又は 7 4項又は 7 5項記載のプログラムにおいて、 前記誤り訂正符号データ種別及び/又は前記誤り訂正符号データ生成の符号化設 定を通知する処理を前記コンピュータに実行させるプ Gグラム。
7 7 . 請求の範囲第 1 9項、 第 2 0項、 第 6 9項乃至第 7 5項のいずれか一項 に記載のプログラムにおいて、
配信するセッションの少なくとも 1つを、 マルチキャスト又はブロードキャス トにより送信する処理を、 前記コンピュータに実行させるプログラム。
7 8 . 画像データ配信装置からのデータを受信する画像データ受信装置を構成 するコンピュータに、
前記画像データ配信装置から配信される少なくとも 1つの画像符号化データを 受信する処理と、
少なくとも 1つの画像符号化データの受信の有無を、 受信データの誤り/損失 率、 利用可能な電力、 予め定められた設定のうちの少なくとも 1つに基づき、 選 択する処理と、
正常に受信された符号化データの中から、 画像品質に基づき、 データを選択す る処理と、
前記選択されたデータを復号化する処理と、
を実行させるプログラム。
7 9 . 請求の範囲第 2 3項又は第 7 8項に記載のプログラムにおいて、 前記画像データ配信装置から配信された少なくとも 1つの誤り訂正符号データ を受信する処理と、
受信デ一夕に誤り /損失がある場合には、 誤り訂正符号デー夕から当該デ一夕 を復元する処理と、
を前記コンピュータに実行させるプログラム。
8 0 . 請求の範囲第 2 3項又は第 7 8項に記載のプログラムにおいて、 前記画像データ配信装置から配信された少なくとも 1つの誤り訂正符号データ を受信する処理と、
受信デー夕に誤り Z損失がある場合には、 誤り訂正符号デー夕から当該デー夕 を復元する処理と、 少なくとも 1つの誤り訂正符号データの受信の有無を、 受信 データの誤り 損失率、 利用可能な電力、 あらかじめ定められた設定のうちの少 なくとも 1つに基づき、 選択する処理と、
を前記コンピュータに実行させるプログラム。
8 1 . 請求の範囲第 7 9項又は第 8 0項に記載のプログラムにおいて、 前記複 数の誤り訂正符号データを受信した場合、 受信データの受信状況によって、 その 誤り/損失を復元するのに最適な誤り訂正符号デ一夕を選択する処理を、 さらに 前記コンピュータに実行させるプログラム。
8 2 . 同一画像の複数の画像符号化データを、 時間差を設けて配信する、 こと を特徴とする請求の範囲第 2 4項、 第 2 5項、 第 2 9項のいずれか一項に記載の 画像データ配信システム。
8 3 . _前記画像データ配信装置が、
(A 1 ) 前記画像符号化データ種別及び Z又は前記画像符号化データの画像品 質、
(A 2 ) 前記画像フレーム及び Z又は画像プロック種別、
(A 3 ) 前記時間差、
の少なくとも 1つを、 前記画像データ受信装置へ通知することを特徴とする請 求の範囲第 2 4項、 第 2 5項、 第 2 9項のいずれか一項に記載の画像データ配信 システム。
8 4. 前記画像デー夕配信装置が、 誤り訂正符号デー夕を配信するセッション を選択する手段と、
選択されたセッションにしたがって誤り訂正符号データを配信する手段と、 をさらに備えている、 ことを特徴とする請求の範囲第 2 4項乃至第 3 1項、 第 8 2項、 第 8 3項のいずれか一項に記載の画像デ一夕配信システム。
8 5 . 前記画像データ配信装置が、 誤り訂正符号データを配信するセッション を選択する手段と、
選択されるセッションの少なくとも 1つで、 セッションごとの、 伝送路でのル 一ティングの優先度、 及び 又は、 無線伝送路での電力制御、 を行う手段と、 をさらに備えている、 ことを特徴とする請求の範囲第 2 4項乃至第 3 1項、 第 8 2項、 第 8 3項のいずれか一項に記載の画像データ配信システム。
8 6 . 前記画像データ配信装置は、 前記誤り訂正符号データ種別及び/又は前 記誤り訂正符号データ生成の符号化設定を、 前記画像データ受信装置へ通知する ことを特徴とする、 請求の範囲第 8 4項又は 8 5項記載の画像データ配信システ ム。
8 7 . 前記画像デ一夕受信装置は、 少なくとも 1つのセッションの受信の有無 を、 受信デ一夕の誤り Z損失率、 前記画像データ受信装置の利用可能な電力、 予 め定められた設定の少なくとも 1つに基づき、 選択する手段をさらに備えている 、 ことを特徴とする請求の範囲第 2 4項乃至第 3 1項、 第 8 2項、 第 8 3項のい ずれか一項に記載の画像データ配信システム。
8 8 . 前記画像データ受信装置は、 前記画像データ配信装置から配信された少 なくとも 1つの誤り訂正符号デー夕を受信する手段と、
受信デー夕に誤り /損失がある場合には、 誤り訂正符号デ一夕から当該デー夕 を復元する手段と、
をさらに備えている、 ことを特徴とする請求の範囲第 2 4項乃至第 3 1項、 第 8 7項に記載の画像データ配信システム。
8 9 . 前記画像データ受信装置は、 前記画像データ配信装置から配信された少 なくとも 1つの誤り訂正符号デー夕を受信する手段と、
受信デー夕に誤り Z損失がある場合には、 誤り訂正符号デー夕から当該デー夕 を復元する手段と、
少なくとも 1つの誤り訂正符号データの受信の有無を、 受信データの誤り 損 失率、 利用可能な電力、 あらかじめ定められた設定のうちの少なくとも 1つに基 づき、 選択する手段と、
をさらに備えている、 ことを特徴とする請求の範囲第 2 4項乃至第 3 1項、 第 8 7項に記載の画像データ配信システム。
9 0 . 配信する前記セッションの少なくとも 1つを、 マルチキャスト又はプロ —ドキャストにより送信するように制御する手段を備えている、 ことを特徴とす る請求の範囲第 2 4項乃至第 3 1項、 第 8 2項乃至第 8 7項のいずれか一項に記 載の画像デ一夕配信システム。
9 1 . 前記画像データ受信装置において、 前記符号化データを再構成する手段 で、 イントラーマクロブロック符号化した符号化データを、 所定の方法で選択す る、 ことを特徴とする請求の範囲第 2 5項又は第 2 9項に記載の画像データ配信 システム。
9 2 . 同一画像の画像品質の異なる複数の画像符号化データについて、 画像品 質に基づき、 配信するセッションを選択する手段と、
選択されたセッションにしたがって前記画像符号化データを配信する手段と、 を備えている、 ことを特徴とする画像データ配信装置。
9 3 . 画像デ一夕を配信する画像データ配信装置と、 前記画像データ配信装置 から配信される画像データを受信する少なくとも 1つの画像データ受信装置と、 を備え、
前記画像デ一夕配信装置は、
画像符号化デ一夕を送信する複数の画像符号化デー夕送信手段と、
画像符号化デー夕を配信するセッションを選択する手段と、
を備え、 2つの前記画像符号化データ送信手段から同一の画像の少なくも 2つ の画像符号化データが所定の時間差を設けて送信され、
少なくとも 2つの前記画像符号化データ送信手段から送信される同一画像の前 記 2つの画像符号化データは、 互いに異なる画像品質とされるか、 又は、 同一の 画像品質とされ、
前記画像データ受信装置は、
前記画像デ一夕配信装置から配信される画像符号化デー夕を受信するための複 数の画像符号化デ一夕受信手段と、
前記受信した画像符号化デ一夕から、 符号化デー夕を再構成する手段と、 再構成されたデ一夕を復号化する手段と、
を備え、 利用可能な電力や受信環境に応じて、 前記複数の画像符号化デ一夕受 信手段での画像符号化データを全て受信するか、 又は、 少なくとも 1つの画像符 号化データ受信手段での画像符号化データの受信の制御を停止する、 ことを特徴 とする画像データ配信システム。
9 . 画像データおよびその誤り訂正符号データを配信する画像データ配信装 置と、 前記画像データ配信装置から配信される画像データ及び、 誤り訂正符号デ 一夕を受信する少なくとも 1つの画像データ受信装置と、 を備え、 前記画像データ配信装置は、
画像符号化デー夕を送信する複数の画像符号化デー夕送信手段と、
画像符号化デー夕を配信するセッシヨンを選択する手段と、
画像符号化データの誤り訂正符号データを送信する少なくとも 1つの送信手段 と、
誤り訂正符号データを配信するセッションを選択する手段と、
を備え、 2つの前記画像符号化データ送信手段から同一の画像の少なくも 2つ の画像符号化データが所定の時間差を設けて送信され、
少なくとも 2つの前記画像符号化データ送信手段から送信される同一画像の前 記 2つの画像符号化データは、 互いに異なる画像品質とされるか、 又は、 同一の 画像品質とされ、
前記画像データ受信装置は、
前記画像データ配信装置から配信される画像符号化データを受信するための複 数の画像符号化デー夕受信手段と、
前記画像デ一夕配信装置から配信される誤り定性符号デー夕を受信するための 受信手段と、
前記受信した画像符号化データに誤りや欠落がある場合に、 前記受信した誤り 訂正符号データにより当該データを復元する手段と、
前記受信した画像符号化データ及び、 復元した画像符号化デ一夕から、 符号化 データを再構成する手段と、
再構成されたデ一夕を復号化する手段と、
を備え、 利用可能な電力や受信環境に応じて、 前記複数の画像符号化データ受 信手段での画像符号化データ、 及び、 前記少なくとも 1つの誤り訂正符号データ 受信手段での誤り訂正符号データを全て受信するか、 又は、
少なくとも 1つの画像符号化データ受信手段での画像符号化データ、 及び/又 は、 少なくとも 1つの誤り訂正符号デ一夕受信手段での誤り定性符号データの受 信の制御を停止する、 ことを特徴とする画像データ配信システム。
9 5 . 前記画像データ受信装置は、 受信する画像符号化データの数を可変に設 定自在とされてなる、 ことを特徴とする請求の範囲第 9 3項または 9 4項記載の 画像データ配信システム。
9 6 . 前記複数の画像符号化データ送信手段からの複数の画像符号化データの 配信セッションの少なくとも iつは、 ュニキャスト、 マルチキャスト、 ブロード キャスト方式の 1つで送信される、 ことを特徴とする請求の範囲第 9 3項または 9 4項記載の画像データ配信システム。
9 7 . 配信する前記セッションの少なくとも 1つを、 ュニキャスト、 マルチキ ヤス卜又はブロードキャストにより送信する、 ことを特徴とする請求の範囲第 1 項乃至第 4項、 第 3 2項乃至第 3 8項のいずれか一項に記載の画像データ配信装 置。.
9 8 . 前記配信セッションの少なくとも 1つは、 ュニキャスト、 マルチキャス ト又はブロードキャストにより送信される、 ことを特徴とする請求の範囲第 7項 乃至第 1 1項、 4 4項乃至第 4 9項のいずれか一項に記載の画像データ配信シス テム。
9 9 . 前記配信セッションの少なくとも 1つを、 ュニキャスト、 マルチキャス ト又はブロードキャストにより送信するステップを含む、 ことを特徴とする請求 の範囲第 1 3項乃至第 1 8項、 第 5 6項乃至第 6 2項のいずれか一項に記載の画 像データ配信制御方法。
1 0 0 . 請求の範囲第 1 9項、 第 2 0項、 第 6 9項乃至第 7 5項のいずれか一 項に記載のプログラムにおいて、
配信するセッションの少なくとも 1つを、 ュニキャスト、 マルチキャスト又は ブロードキャストにより送信する処理を、 前記コンピュータに実行させるプログ ラム。
PCT/JP2004/001621 2003-02-21 2004-02-16 画像データ配信制御方法及び装置とシステムならびにプログラム WO2004075548A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2004800048683A CN1754385B (zh) 2003-02-21 2004-02-16 图像数据分发装置、方法及图像数据接收方法
EP04711466A EP1599044A4 (en) 2003-02-21 2004-02-16 IMAGE DATA DISTRIBUTION RULES, DEVICE, SYSTEM AND PROGRAM
JP2005502692A JPWO2004075548A1 (ja) 2003-02-21 2004-02-16 画像データ配信制御方法及び装置とシステムならびにプログラム
US10/546,448 US20060285149A1 (en) 2003-02-21 2004-02-16 Image data distribution control method, device, system and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003044237 2003-02-21
JP2003-044237 2003-02-21
JP2003387993 2003-11-18
JP2003-387993 2003-11-18

Publications (1)

Publication Number Publication Date
WO2004075548A1 true WO2004075548A1 (ja) 2004-09-02

Family

ID=32911428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/001621 WO2004075548A1 (ja) 2003-02-21 2004-02-16 画像データ配信制御方法及び装置とシステムならびにプログラム

Country Status (6)

Country Link
US (1) US20060285149A1 (ja)
EP (2) EP1599044A4 (ja)
JP (2) JPWO2004075548A1 (ja)
KR (2) KR100949402B1 (ja)
CN (1) CN1754385B (ja)
WO (1) WO2004075548A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011045126A (ja) * 2005-04-08 2011-03-03 Qualcomm Inc マルチキャスト通信またはブロードキャスト通信において拡張したファイル配信を行う方法および装置
JP2012513692A (ja) * 2008-12-22 2012-06-14 トムソン ライセンシング 高信頼マルチキャスト・ストリーミングを行う方法および装置
JP2013219698A (ja) * 2012-04-11 2013-10-24 Canon Inc 画像データ送信装置及び画像データ受信装置
JP2015505226A (ja) * 2012-01-16 2015-02-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated ユニキャストとブロードキャストとの間でブロードキャストdashサービスの受信を遷移させるための方法およびシステム
US9392244B2 (en) 2012-04-11 2016-07-12 Canon Kabushiki Kaisha Transmitting apparatus for transmitting image data with ID information and time code information and receiving apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006038054A1 (en) * 2004-10-06 2006-04-13 Nokia Corporation Packet transmission using error correction of data packets
US9128202B2 (en) * 2008-04-22 2015-09-08 Srd Innovations Inc. Wireless data acquisition network and operating methods
US8217803B2 (en) * 2008-04-22 2012-07-10 Srd Innovations Inc. Wireless data acquisition network and operating methods
JP4626701B2 (ja) * 2008-10-21 2011-02-09 ソニー株式会社 表示装置
US20110170443A1 (en) * 2010-01-13 2011-07-14 Ronald Gerald Murias Link sensitive aodv for wireless data transfer
US8949318B2 (en) * 2011-06-16 2015-02-03 Kodak Alaris Inc. Digital image communication
US9178778B2 (en) 2012-03-23 2015-11-03 Avaya Inc. System and method for end-to-end RTCP
US9356917B2 (en) 2012-03-23 2016-05-31 Avaya Inc. System and method for end-to-end encryption and security indication at an endpoint
US9860296B2 (en) 2012-03-23 2018-01-02 Avaya Inc. System and method for end-to-end call quality indication
CN102665109A (zh) * 2012-04-19 2012-09-12 中兴通讯股份有限公司 一种多媒体视频数据的发送、接收方法及对应装置
US10623805B2 (en) * 2014-11-17 2020-04-14 Sony Corporation Sending device, method of sending high dynamic range image data, receiving device, and method of receiving high dynamic range image data
JP7271080B2 (ja) * 2017-10-11 2023-05-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信装置、通信システム、通信方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0923214A (ja) * 1995-07-05 1997-01-21 Hitachi Ltd ディジタル信号送受信装置
JPH1023380A (ja) * 1996-06-28 1998-01-23 Canon Inc 画像通信システム、画像通信装置、画像通信方法および媒体
JPH1070715A (ja) * 1996-08-27 1998-03-10 Matsushita Electric Ind Co Ltd ディジタル映像通信システム
JPH11177628A (ja) * 1997-12-15 1999-07-02 Mitsubishi Electric Corp 広域環境用3次元仮想空間共有システム
JP2000295608A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 映像信号階層符号化伝送装置、映像信号階層復号化受信装置およびプログラム記録媒体
JP2002094560A (ja) * 2000-09-12 2002-03-29 Sony Corp 情報提供方法
JP2002353964A (ja) * 2001-05-30 2002-12-06 Sony Corp コンテンツ提供装置及びコンテンツ提供方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0744847B1 (fr) * 1995-05-23 2005-08-24 Koninklijke Philips Electronics N.V. Système de transmission d'information utilisant, en redondance, au moins deux canaux
JPH10224746A (ja) 1997-02-05 1998-08-21 Kokusai Electric Co Ltd 画像伝送システム
JPH10294941A (ja) 1997-04-22 1998-11-04 Canon Inc 画像伝送システム、画像伝送装置、画像送信装置及び画像受信装置
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
JPH11127138A (ja) * 1997-10-24 1999-05-11 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
JPH11187367A (ja) 1997-12-19 1999-07-09 Nec Corp 映像送信装置,映像受信装置及びこれらを用いた映像伝送システム
JPH11196072A (ja) * 1997-12-30 1999-07-21 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
CN1160958C (zh) * 2000-01-08 2004-08-04 四川长虹电器股份有限公司 数字hdtv接收装置
JP3662473B2 (ja) * 2000-05-12 2005-06-22 株式会社エヌ・ティ・ティ・ドコモ マルチキャストサービス提供方法及び情報配信装置
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
JP3461157B2 (ja) * 2000-05-29 2003-10-27 松下電器産業株式会社 マルチキャリア通信装置およびマルチキャリア通信方法
US7003794B2 (en) * 2000-06-27 2006-02-21 Bamboo Mediacasting, Inc. Multicasting transmission of multimedia information
JP2002077912A (ja) * 2000-08-29 2002-03-15 Brother Ind Ltd 画像符号化装置
US7072971B2 (en) * 2000-11-13 2006-07-04 Digital Foundation, Inc. Scheduling of multiple files for serving on a server
EP1217841A2 (en) * 2000-11-27 2002-06-26 Media Glue Corporation Bitstream separating and merging system, apparatus, method and computer program product
US20020073136A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Data reproduction method, data receiving terminal and data receiving method
US20020071052A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Transmission rate control method
JP2002251494A (ja) * 2000-12-20 2002-09-06 Victor Co Of Japan Ltd デジタルコンテンツデータ配信システム
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
EP1241821A1 (fr) * 2001-03-13 2002-09-18 Koninklijke Philips Electronics N.V. Procédé de protection de paquets de données contre des erreurs
EP1261204A2 (en) * 2001-03-29 2002-11-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data reproduction
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US7020823B2 (en) * 2002-03-19 2006-03-28 Matsushita Electric Industrial Co., Ltd. Error resilient coding, storage, and transmission of digital multimedia data
CN100508622C (zh) * 2002-12-19 2009-07-01 皇家飞利浦电子股份有限公司 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法
FR2852179A1 (fr) * 2003-03-06 2004-09-10 Thomson Licensing Sa Procede de codage d'une image video
KR101191181B1 (ko) * 2005-09-27 2012-10-15 엘지전자 주식회사 디지털 방송의 송/수신 시스템 및 데이터 구조

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0923214A (ja) * 1995-07-05 1997-01-21 Hitachi Ltd ディジタル信号送受信装置
JPH1023380A (ja) * 1996-06-28 1998-01-23 Canon Inc 画像通信システム、画像通信装置、画像通信方法および媒体
JPH1070715A (ja) * 1996-08-27 1998-03-10 Matsushita Electric Ind Co Ltd ディジタル映像通信システム
JPH11177628A (ja) * 1997-12-15 1999-07-02 Mitsubishi Electric Corp 広域環境用3次元仮想空間共有システム
JP2000295608A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 映像信号階層符号化伝送装置、映像信号階層復号化受信装置およびプログラム記録媒体
JP2002094560A (ja) * 2000-09-12 2002-03-29 Sony Corp 情報提供方法
JP2002353964A (ja) * 2001-05-30 2002-12-06 Sony Corp コンテンツ提供装置及びコンテンツ提供方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1599044A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011045126A (ja) * 2005-04-08 2011-03-03 Qualcomm Inc マルチキャスト通信またはブロードキャスト通信において拡張したファイル配信を行う方法および装置
US8351363B2 (en) 2005-04-08 2013-01-08 Qualcomm Incorporated Method and apparatus for enhanced file distribution in multicast or broadcast
JP2012513692A (ja) * 2008-12-22 2012-06-14 トムソン ライセンシング 高信頼マルチキャスト・ストリーミングを行う方法および装置
JP2015505226A (ja) * 2012-01-16 2015-02-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated ユニキャストとブロードキャストとの間でブロードキャストdashサービスの受信を遷移させるための方法およびシステム
JP2013219698A (ja) * 2012-04-11 2013-10-24 Canon Inc 画像データ送信装置及び画像データ受信装置
US9392244B2 (en) 2012-04-11 2016-07-12 Canon Kabushiki Kaisha Transmitting apparatus for transmitting image data with ID information and time code information and receiving apparatus
US9565386B2 (en) 2012-04-11 2017-02-07 Canon Kabushiki Kaisha Image data transmitting apparatus and image data receiving apparatus

Also Published As

Publication number Publication date
KR20080024544A (ko) 2008-03-18
KR20050103232A (ko) 2005-10-27
EP2538695A1 (en) 2012-12-26
JP5533435B2 (ja) 2014-06-25
KR100977646B1 (ko) 2010-08-24
CN1754385A (zh) 2006-03-29
CN1754385B (zh) 2010-07-21
KR100949402B1 (ko) 2010-03-24
JPWO2004075548A1 (ja) 2006-06-01
EP1599044A4 (en) 2010-05-12
EP1599044A1 (en) 2005-11-23
JP2011010356A (ja) 2011-01-13
US20060285149A1 (en) 2006-12-21

Similar Documents

Publication Publication Date Title
JP5533435B2 (ja) 画像データ配信制御方法及び装置とシステムならびにプログラム
JP6145127B2 (ja) ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法
US8503538B2 (en) Method, apparatus, system, and program for content encoding, content distribution, and content reception
US7627184B2 (en) Content distribution/reception device, content transmission/reception method, and content distribution/reception program
JP2008527862A (ja) Fecフィードバックを使用する適応型情報配送システム
KR100808306B1 (ko) 화상 데이터 배신 제어 방법 및 장치와 시스템
JP4596164B2 (ja) 画像データ通信システムおよび画像データ通信方法
Chen et al. A qoe-based app layer scheduling scheme for scalable video transmissions over multi-rat systems?
Noh et al. Robust mobile video streaming in a peer-to-peer system
Al-Jobouri et al. Multicast and unicast video streaming with rateless channel-coding over wireless broadband
Wen et al. Dynamic FEC-distortion optimization for H. 264 scalable video streaming
Kwon et al. Cross-layer optimized multipath video streaming over heterogeneous wireless networks
Cui et al. Joint source-network coding optimization for video streaming over wireless multi-hop networks
Park et al. Effective Relay Communication for Scalable Video Transmission
Huang et al. A novel unbalanced multiple description coder for robust video transmission over ad hoc wireless networks
Saadawi et al. A transport level unequal error protection mechanism for wireless interactive video
Wang et al. Unequal iterative decoding for power efficient video transmission
Psannis et al. Efficient support of wireless video multicast services in 3G and beyond
Wen et al. Hierarchical optimization of cascading error protection scheme for H. 264 scalable video streaming
Liang et al. MoViF: a lower power consumption live video multicasting framework over ad-hoc networks with terminal collaboration

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2005502692

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020057015285

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048048683

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2004711466

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057015285

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004711466

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006285149

Country of ref document: US

Ref document number: 10546448

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10546448

Country of ref document: US