WO2009104639A1 - 映像配信装置、映像配信システム及び映像配信方法 - Google Patents

映像配信装置、映像配信システム及び映像配信方法 Download PDF

Info

Publication number
WO2009104639A1
WO2009104639A1 PCT/JP2009/052785 JP2009052785W WO2009104639A1 WO 2009104639 A1 WO2009104639 A1 WO 2009104639A1 JP 2009052785 W JP2009052785 W JP 2009052785W WO 2009104639 A1 WO2009104639 A1 WO 2009104639A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
signal
content
playback speed
bit rate
Prior art date
Application number
PCT/JP2009/052785
Other languages
English (en)
French (fr)
Inventor
和男 浅見
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US12/866,827 priority Critical patent/US8572670B2/en
Priority to JP2009554344A priority patent/JP5257367B2/ja
Publication of WO2009104639A1 publication Critical patent/WO2009104639A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Definitions

  • the present invention relates to a video distribution device, a video distribution system, and a video distribution method, and more particularly to a technique that is preferably applied to a video content distribution service that requires real-time performance at a high bit rate.
  • FTTH Fiber To The Home
  • NGN Next Generation Network
  • FTTH Fiber To The Home
  • NGN Next Generation Network
  • the content distribution service is not only for viewing from content prepared by a provider such as VoD (Video on Demand), but also for nDVR (users to record or view broadcast content on the server automatically by designating the broadcast content)
  • VoD Video on Demand
  • nDVR users to record or view broadcast content on the server automatically by designating the broadcast content
  • a new video viewing service called network-based Digital-Video Recorder
  • the video distribution server When viewing video content via a network, such as a television broadcast, the video distribution server only sends a stream to the player sequentially from the beginning of the content.
  • video services that deliver stored content such as VoD and nDVR on demand
  • trick play functions such as fast forward, rewind, and pause.
  • trick play functions such as frequent use of fast-forwarding are becoming more important than ever in order to find a desired scene from the recorded result.
  • Patent Document 1 An example of a fast-forwarding method for stored content is described in Patent Document 1. This method realizes double-speed fast-forwarding, so that the read processing is performed at a double rate, the time information related to decoding and reproduction added to the data is changed to a half value, and according to the time information Perform decoding and playback processing. This realizes fast-forwarding of content at double speed.
  • Patent Document 2 An example of another fast-forwarding method for stored content is described in Patent Document 2.
  • decoding is performed after thinning processing is performed in units of frames in accordance with a specified fast-forwarding magnification.
  • thinning out is realized, and fast forward is realized.
  • JP 2002-354419 A JP 2006-295645 A
  • the present invention can realize a smooth change in reproduction speed without increasing the data transfer rate from the normal reproduction, and can reduce the decoding load even when the reproduction speed is changed.
  • An object is to provide a possible video distribution apparatus, video distribution system, and the like.
  • a first video distribution device is a video distribution device that distributes video content including a basic signal and one or more extended signals configured in a hierarchical manner, Content reading means for reading the basic signal and the extension signal therein at independent bit rates, and a playback speed changing means for changing the content playback speed by specifying a read bit rate for each signal in the content reading means.
  • the first video receiving apparatus of the present invention is a video receiving apparatus that receives video content including a basic signal and one or more extension signals configured in a hierarchical manner from a video distribution apparatus, wherein A request to change the magnification of the playback speed of the video content is sent to a video distribution device that reads the signal and the extension signal at independent bit rates and changes the playback speed of the video content by specifying a read bit rate for each signal.
  • a first video distribution system receives a video distribution device that distributes video content including basic signals and one or more extended signals configured in a hierarchy, and a video content distributed by the video distribution device.
  • a video receiving system comprising: a content reading unit that reads a basic signal and an extension signal in video content at independent bit rates; And a playback speed change means for changing the content playback speed by designating a read bit rate of the video, and the video receiving apparatus includes a playback speed change request means for sending a video content playback speed magnification change request to the video distribution apparatus,
  • the video decoding process is performed according to the time information added to the video content received from the video distribution device. Comprising a decoding means.
  • a first video reproduction device of the present invention receives a video distribution device that distributes video content including basic signals and one or more extended signals configured in a hierarchy, and a video content distributed by the video distribution device.
  • a video playback device configured to connect both devices to each other via a bus, wherein the video distribution device reads the basic signal and the extension signal in the video content at independent bit rates.
  • a playback speed changing means for changing the content playback speed by specifying a read bit rate for each signal in the content reading means
  • the video receiving apparatus issues a video content playback speed magnification change request to the video According to the playback speed change requesting means to be sent to the distribution device and the time information added to the video content received from the video distribution device
  • a decoding means for performing an image decoding process.
  • a first video distribution method is a video distribution method for distributing video content including a hierarchical basic signal and one or more extended signals, wherein the basic signal and the extended signal in the video content are distributed.
  • a read speed change step for changing the content playback speed by specifying a read bit rate for each signal, and a content read step for reading each signal at an independent bit rate according to the bit rate specified by the playback speed change step And having.
  • a first video receiving method of the present invention is a video receiving method for receiving video content including a basic signal configured in a hierarchical manner and one or more extended signals from a video distribution device, wherein the basic content in the video content is A request to change the magnification of the playback speed of the video content is sent to a video distribution device that reads the signal and the extension signal at independent bit rates and changes the playback speed of the video content by specifying a read bit rate for each signal. A playback speed change requesting step to be transmitted; and a decoding step for performing video decoding processing in accordance with time information added to the video content received from the video distribution device.
  • the first program of the present invention is a program used in a video distribution device that distributes video content including hierarchical basic signals and one or more extended signals.
  • each signal is independently bit rated according to the bit rate specified by the playback speed change function that changes the content playback speed by specifying the read bit rate for each signal and the playback speed change function.
  • a content reading function to be read by the user.
  • a second program of the present invention is a program used in a video receiving apparatus that receives video content including a basic signal and one or more extended signals configured in a hierarchical manner from a video distribution apparatus.
  • Video content playback speed for video distribution devices that change the playback speed of video content by reading the basic signal and extension signal in the video content at independent bit rates and specifying the read bit rate for each signal.
  • a playback speed change request function for sending a request for changing the magnification and a decoding function for performing video decoding processing according to time information added to the video content received from the video distribution apparatus.
  • the first recording medium of the present invention is a computer-readable recording medium on which the above program is recorded.
  • a smooth reproduction speed change can be realized without increasing the data transfer rate from the normal reproduction, and the decoding load can be reduced even when the reproduction speed is changed.
  • the present invention provides a video distribution device that distributes video content to a video reception device via a network, and stops the distribution of all or part of the enhancement layer stream and the basic layer stream that is essential for reproduction and the extension that does not stop the distribution. It is characterized in that by increasing the layer stream distribution rate, the video playback rate is changed while keeping the entire network bandwidth constant.
  • a video distribution device that distributes video content to a video reception device via a network, and stops the distribution of all or part of the enhancement layer stream and the basic layer stream that is essential for reproduction and the extension that does not stop the distribution. It is characterized in that by increasing the layer stream distribution rate, the video playback rate is changed while keeping the entire network bandwidth constant.
  • FIG. 1 is a schematic diagram showing a configuration of a video distribution system according to an embodiment of the present invention.
  • the video distribution device 100 and the reception device 200 that constitute the video distribution system of the present embodiment are terminals that can communicate with each other via the network 300.
  • the distribution device 100 is a device that holds video content and distributes the video content to the video reception device 200 on the network 300.
  • the video receiving device 200 is a device that receives and reproduces video content from the video distribution device 100 on the network 300.
  • the network 300 is a network that enables communication between terminals.
  • the network 300 is the Internet. However, it is not limited to a server device, a PC (Personal Computer), or the Internet, but may be an NGN, a mobile phone network, a wireless LAN (Local Area Network), a bus inside the device, or the like.
  • the video distribution apparatus 100 is assumed to be a streaming server in this embodiment, but may be a PC, a HDD (Hard Disk Drive) recorder, or the like.
  • the video receiving apparatus 200 is assumed to be a PC in this embodiment, but may be a mobile phone, a PDA (Personal Digital Assistant), a network connectable TV, a game machine connected to a TV, or the like.
  • FIG. 2 is a functional block diagram showing the configuration of the video distribution apparatus according to this embodiment.
  • the video distribution apparatus 100 includes a content storage unit 101, a content reading unit 102, a packetizing unit 103, a time information setting unit 104, a sending unit 105, a content information management unit 10, a playback speed changing unit 107, a playback It is composed of speed change request accepting means 108. Each of these means operates as follows.
  • the content storage unit 101 is a storage medium in which video content encoded using a scalable codec is stored.
  • the video content is H.264.
  • the image data is compressed by a H.264 / SVC (Scalable Video Video Coding) encoder and includes a base layer and two enhancement layers (first enhancement layer and second enhancement layer).
  • the first enhancement layer is a bit stream located above the base layer. By decoding the first enhancement layer together with the base layer, it is possible to obtain an image quality higher than the result of decoding only the base layer.
  • the second enhancement layer is a bit stream located above the first enhancement layer, and the result of decoding only the base layer and the first enhancement layer by decoding the second enhancement layer together with the base layer and the first enhancement layer. The above image quality can be obtained.
  • the content stored in the content storage unit 101 includes the information shown in FIG.
  • the content information 301 is data used at the time of content distribution, and includes information shown in FIG.
  • the layer type 401 is information indicating what layer the content is composed of.
  • the layer identifier 402 is an identifier for associating each layer with a NAL (Network Abstraction Layer) unit constituting the video stream 302 stored in the content.
  • the bit rate 403 is a bit rate for each layer.
  • the data structure of the content is an example in the present embodiment, and may be in other formats. For example, it corresponds to the case where the content information 301 is separated into different files, or the case where the video stream 302 is in another format such as MPEG (Motion Picture Expert Group) -2TS (Transport Stream) format. Further, any format may be used as long as the content reading unit 102 can read content in units of layers and can acquire bit rate information of each layer. In the present embodiment, the audio data is omitted for easy explanation.
  • the content information management means 106 is means for holding the content information 301 stored in the content storage means 101 and providing it to the playback speed changing means 107 as necessary.
  • this information is the content information 301 stored in the content storage unit 101.
  • a message from the encoder that created the content in the content storage unit 101 is displayed.
  • Other sources, such as when receiving, may also be used.
  • the content reading unit 102 is a unit that reads a stream of a specified layer from the content storage unit 101 at a specified bit rate. At the time of reading, the content reading unit 102 receives designation from the playback speed changing unit 107 regarding which layer in the content stored in the content storage unit 101 is to be read and the read bit rate of each layer.
  • the playback speed changing means 107 sends the basic layer, the first enhancement layer to the content reading means 102. Then, an instruction to read out the identifier 1, identifier 2, and identifier 3, which are layer identifiers of the second enhancement layer, and each layer at 1 Mbps is issued.
  • the content reading unit 102 stores the H.264 content stored in the content storage unit 101.
  • the H.264 / SVC stream is read, and NAL units with identifier 1, identifier 2, and identifier 3 are sent to the packetizing means 103.
  • processing is performed in accordance with the read bit rate for each layer determined by the playback speed changing unit 107.
  • the packetizing means 103 is an H.264 packet sent by the content reading means 102. This is a means for packetizing the H.264 / SVC NAL unit to be sent to the network 200.
  • the packetization method in this embodiment, the Internet-Engineering-Task-Force (IETF) draft-ietf-avt-rtp-svc-01 RTP (Real-time Transport-Protocol) packet format based on "RTP Payload Format for SVC Video" is used.
  • IETF Internet-Engineering-Task-Force
  • RTP Real-time Transport-Protocol
  • the time information setting unit 104 is a unit that adds time information at a clock rate specified to the packet generated by the packetizing unit 103. In the packetization process, the time information setting unit 104 receives a setting of the clock rate used for generating the time information from the reproduction speed changing unit 107. In the present embodiment, during normal playback, time information with an increase rate of 90,000 per second of video content is set as the time stamp of the RTP header by setting a clock rate of 90 kHz, which is a standard value determined by the RTP packetization standard. Append. When performing fast-forward playback, a new clock rate is designated from the playback speed changing means 107. The time information setting means 104 sends the packet to the sending means 105 after adding the time information to the RTP time stamp.
  • the sending means 105 is means for sending a packet to the network 300.
  • processing for sending a packet from the network interface card to the Internet is performed using a socket API (Application Program Interface).
  • the sending process is performed at the timing when a packet is received from the time information setting unit 104.
  • priority information may be added to IP (Internet Protocol) packets of each layer.
  • the playback speed change request accepting means 108 is a means for accepting a playback speed change request message from the video receiving device 200 connected via the network 300.
  • RFC Request For Comments
  • 2326 RTSP Real Time Streaming Protocol
  • another communication protocol that can request a change in playback speed may be used.
  • the video receiving apparatus 200 When requesting the video delivery apparatus 100 to change the playback speed, the video receiving apparatus 200 sends a message with a Scale header indicating the playback speed magnification added to the PLAY method. For example, when double fast-forward playback is requested, a header “Scale: 2.0” is added to the PLAY method.
  • the playback speed change request receiving means 108 Upon receiving the playback speed change request message, the playback speed change request receiving means 108 notifies the playback speed changing means 107 of a request for changing the playback speed magnification.
  • a playback speed change response message is returned to the video receiving apparatus 200 as an ACK method indicating that effect.
  • the playback speed changing means 107 is a means for obtaining the playback speed magnification from the playback speed change request receiving means 108 and determining the change of the read bit rate for each layer of the video content.
  • the reproduction speed changing unit 107 acquires content layer information and bit rate information to be distributed from the content information management unit 106. In addition, a usable network bandwidth is designated by the user.
  • the reproduction speed changing means 107 receives designation of the usable network band Ball from the user.
  • Ball 3 Mbps.
  • the read bit rate of the base layer is 1.5 Mbps
  • the unused band is 1.5 Mbps due to the difference from the usable network band Ball.
  • the transmission process including the upper extension layer may be performed. At this time, it becomes possible to view fast-forward video with higher image quality than when only the base layer is transmitted on the receiving terminal.
  • the reproduction speed magnification exceeds 2.0 times
  • (Bb * 2.0) + (Be1 * 2) 0.0) 4.0 Mbps, which exceeds the usable network bandwidth Ball.
  • transmission of the first enhancement layer is not performed, and transmission at 2.0 Mbps is determined only for the base layer while leaving a free bandwidth.
  • the reproduction speed magnification exceeds 3.0
  • the base layer read bit rate exceeds the usable network bandwidth Ball.
  • an error to the fast forward request is returned.
  • This error is notified to the request source by the reproduction speed change request receiving means 108. It is also possible to use a process of performing frame thinning without returning an error and sending a fast-forward video exceeding 3.0 times.
  • the network bandwidth of the network 300 may be separately measured and the value used.
  • the playback speed changing means 107 sets the new reading bit rate for each layer calculated in the above procedure in the content reading means 102 during fast forward playback. This increases the supply rate of data necessary for fast-forward playback.
  • the playback speed changing means 107 changes the clock rate of the RTP time stamp during fast forward playback.
  • a rate of 90 kHz is used, but the clock rate is changed to a value obtained by dividing the clock rate by the fast-forward magnification in accordance with the fast-forward magnification.
  • 90 kHz / 1.5 60 kHz
  • 90 kHz / 2.0 45 kHz
  • the fast feed magnification is 2.5 times.
  • Is 90 kHz / 2.5 36 kHz
  • when the rapid feed magnification 3.0
  • 90 kHz / 3.0 30 kHz.
  • the playback speed changing unit 107 sets the clock rate of the new RTP time stamp thus changed in the time information setting unit 104 during fast forward playback.
  • the video receiving apparatus 200 can display fast-forward playback video by performing decoding and playback according to the RTP time stamp.
  • the reproduction speed changing unit 107 sets the read bit rate and the clock rate, but they may be separated into different units.
  • FIG. 6 is a functional block diagram showing the configuration of the video reception device in the present embodiment.
  • the video receiving apparatus 200 includes a receiving unit 201, a buffering unit 202, a depacketizing unit 203, a decoding unit 204, a display unit 205, a playback speed change instruction input unit 206, and a playback speed change request unit 207.
  • the Each of these means operates as follows.
  • the receiving means 201 is means for receiving a video stream sent from the video distribution apparatus 100 connected via the network 300.
  • the receiving unit 201 connected to the Internet performs a process of receiving an RTP packet using a socket API.
  • a packet arriving at the receiving means 201 is immediately sent to the buffering means 202.
  • Buffering means 202 is means for buffering the received video stream in preparation for playback processing. By performing buffering, it is possible to reproduce video at a fixed frame rate that is not affected by jitter on the network.
  • the timing for buffering the packet is when the RTP packet arrives at the receiving means 201.
  • the buffered packet is taken out by the depacketizing means 203.
  • the depacketizing unit 203 can take out one or more RTP packets from the buffering unit 202. Further, the RTP time stamp of each buffered RTP packet can be acquired in order to determine whether the decoding unit 204 performs the decoding process.
  • the depacketizing unit 203 is a unit that receives an instruction from the decoding unit 204, extracts an RTP packet from the buffering unit 202, and acquires a video stream.
  • the depacketizing unit 203 receives time information to be decoded from the decoding unit 204 and performs processing for extracting the RTP packet from the buffering unit 202.
  • One or more RTP packets whose RTP timestamp value is equal to or less than the time information to be decoded are extracted, and RTP payloads are extracted and combined in the order of RTP sequence numbers. This combined RTP payload is H.264.
  • the H.264 / SVC elementary stream is passed to the decoding unit 204.
  • the decoding means 204 is H.264. This is a means for decoding a H.264 / SVC stream and obtaining a bitmap video.
  • the decoding unit 204 includes a system clock therein and autonomously performs a packet extraction instruction, a depacketization instruction, and a decoding process.
  • the system clock is a counter that advances at a clock rate of 90 kHz, and the value of this counter becomes time information that identifies the RTP packet to be decoded.
  • the decoding unit 204 performs the decoding process when there is an RTP packet having an RTP time stamp equal to or less than the value of the system clock in the buffering unit 202. Then, the decoding means 204 passes the system clock value to the depacketizing means 203, and the H.D. H.264 / SVC elementary stream is acquired.
  • nal_unit_type that is an identifier for identifying each layer.
  • the decoding means 204 identifies the arriving layer in units of NAL units by constantly checking this nal_unit_type.
  • the decoding unit 204 confirms whether or not there are extension layers in order from the base layer to the upper layer. Thereafter, the lowest extension layer is specified from the non-existing hierarchies, and the extension layer and the base layer below the hierarchy are decoded.
  • the decoding unit 204 performs only the decoding of the base layer.
  • the enhancement layer of the second hierarchy is not transmitted, only the base layer and the first enhancement layer are decoded as described above.
  • decoding can be continued, and the load on the processor can be reduced as compared with the case where all layers are decoded during fast-forward playback.
  • the bitmap data obtained as a result of decoding is immediately sent to the display means 205.
  • the inputted H.P. The extension layer that exists continuously from the basic layer of the H.264 / SVC elementary stream can be decoded and is described as a method that is subject to decoding.
  • Display means 205 is means for displaying bitmap data on the screen.
  • the bitmap data output from the decoding means 205 is received and displayed on a video display device that is mounted on the video receiving terminal 200 or connected to the video receiving terminal 200. In this embodiment, the description regarding the video display device is omitted.
  • the display unit 205 starts display at the timing when the output of the bitmap data is received from the decoding unit 204, and continues to display the bitmap data until the next bitmap data is received. As a result, even when the decoding unit 204 does not output the decoded video, it is possible to continue displaying the video until the next decoding is normally completed, and to suppress deterioration in the quality of the reproduced video.
  • the playback speed change instruction input means 206 is a means for receiving a playback speed change request from the user. Possible ways of accepting include pressing the fast-forward button, dragging the slide bar with the mouse, and inputting the playback magnification using the keys.
  • the input reproduction speed change request is converted into a reproduction speed magnification and sent to the reproduction speed change request means 207.
  • the playback speed change request unit 207 is a unit that requests the video distribution apparatus 100 connected via the network 300 to change the playback speed.
  • processing for sending a PLAY method with a Scale header added is performed using the RTSP protocol.
  • a process of receiving a response from the video distribution apparatus 100 as to whether or not fast-forwarding is possible is performed.
  • the change in the playback speed is only forward-forward playback in the forward direction, but it may be a speed change during reverse playback.
  • the video distribution device 100 and the video reception device 200 are configured to be connected via the network 300. However, as shown in FIG. 7, the video distribution device 100 and the video reception device 200 are arranged inside the video reproduction device 700. A configuration that does not use a simple network is also possible.
  • FIG. 8 is a flowchart showing the flow of the reproduction speed change process of the video distribution apparatus in the present embodiment, and shows the process when the reproduction speed change means 107 of the video distribution apparatus 100 performs n-times fast forward. is there. Note that error processing is omitted in the flowchart of FIG.
  • the playback speed changing means 107 receives an n-times fast-forward command instruction from the video playback speed change request accepting means 108 (step S801).
  • the playback speed changing unit 107 acquires the bit rate information of all layers of the content from the content information managing unit 106 (step S802).
  • the playback speed changing unit 107 determines an available network bandwidth (step S803). This value may be designated by the user or may be the sum of the bit rates of all layers. Alternatively, it may be determined from the result of measuring the available network bandwidth of the currently connected network 300.
  • the bit rate for reading each layer is calculated for fast-forward playback.
  • the read bit rate set at the time of fast forward reproduction is called a fast forward bit rate.
  • the value of the fast-forward bit rate of each layer is set to 0 for initialization (step S804).
  • the lowest layer is selected as a layer to be calculated.
  • the lowest layer in this case is the base layer (step S805).
  • step S806 a value obtained by multiplying the bit rate during normal playback of the calculation target layer by n is stored as the fast-forward bit rate of the target layer (step S806). Then, the sum of the fast-forward bit rates of all layers is obtained (step S807).
  • the sum of the fast-forward bit rates of all layers represents the network bandwidth used during fast-forward playback.
  • step S808 it is determined whether the sum of the fast-forward bit rates of all layers calculated above does not exceed the pre-determined usable network bandwidth.
  • step S814 the layer to be calculated is changed to the next higher layer. For example, if the current calculation target layer is a basic layer, the first enhancement layer is set as a new calculation target, and if the current calculation target layer is the first enhancement layer, the second enhancement layer is set as a new calculation target. To do. Thereafter, the process proceeds to step S806, and the fast-forward bit rate of the next layer is obtained.
  • step S808 / YES if the total fast-forward bit rate exceeds the usable network bandwidth (step S808 / YES), if the fast-forward playback is performed as it is, delivery exceeding the designated usable network bandwidth is performed. If it is not allowed to exceed the bandwidth, it is not possible to perform the process of reading the layer that is the current calculation target. Therefore, the fast-forward bit rate of the calculation target layer is changed to 0 (step S809). Since the number of transmission layers cannot be increased any more, the subsequent setting change processing is performed.
  • the reading process is temporarily stopped (step S810), and the fast-forward bit rate of each layer is designated to the content reading unit 102. (Step S811).
  • a layer whose fast-forward bit rate is set to 0 means to skip without performing read processing.
  • the clock rate of the time information setting means 104 is changed to 1 / n (step S812).
  • step S813 the reading process by the content reading unit 102 is resumed. Thereafter, the video distribution apparatus 100 performs n times fast-forward playback.
  • the first effect is that fast-forward playback can be realized without increasing the transmission bit rate.
  • the reason is that only a part of the stream including the base layer is transmitted at a rate higher than normal playback.
  • the video receiving apparatus can perform reproduction without transmitting some or all of the enhancement layers.
  • By allocating the bandwidth occupied by the extended layer whose transmission has been stopped to increase the transmission rate of the base layer it is possible to transmit a basic layer stream that exceeds the normal playback rate without increasing the overall network usage bandwidth. This is because it becomes possible.
  • the second effect is that the decoding load of the receiving apparatus can be reduced during fast-forward playback.
  • the video receiving apparatus performs decoding processing at or above the normal playback rate during fast-forward playback, but the stream sent out by the distribution apparatus is not the entire stream but a stream in which part or all of the enhancement layer does not exist.
  • the video receiving apparatus does not need to perform an extension layer decoding process that has not been transmitted during fast-forward playback, and can reduce the decoding load as compared with the existing method of decoding all layers.
  • the third effect is that a smooth video display can be realized during fast-forward playback.
  • the video distribution apparatus realizes a reduction in the bit rate during fast-forward playback by transmitting only the base layer or the base layer and a part of the extension layers instead of performing the frame-by-frame thinning process. For this reason, the video receiving apparatus can display all frames of the content during fast-forward playback.
  • the present invention can be applied to uses such as video distribution devices such as a VoD server and nDVR, and video playback devices such as an HDD recorder.
  • the present invention can also be implemented as a program for causing a video distribution device or the like to execute the operation as described above, and a recording medium recording the program.
  • the program executed by the video distribution apparatus has a module configuration including the above-described units (reproduction speed changing means, content reading means, time information setting means, etc.) Use to realize concrete means. That is, when the computer (CPU) of the video distribution apparatus reads out and executes a program from a predetermined recording medium, the above-described units are loaded onto the main storage device, and a reproduction speed changing unit, a content reading unit, a time information setting unit, and the like are loaded. Generated on main storage.
  • the program executed by the video distribution apparatus according to the present embodiment may be configured to be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program may be provided or distributed via a network such as the Internet.
  • the program is a file in an installable or executable format, such as a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD, non-volatile memory card, etc. It may be configured to be provided by being recorded on a computer-readable recording medium. Further, the program may be provided by being incorporated in advance in a ROM or the like.
  • the program code itself read from the recording medium or loaded and executed through the communication line realizes the functions of the above-described embodiment.
  • the recording medium which recorded the program code comprises this invention.
  • Video delivery apparatus 101
  • Content storage means 102
  • Packetizing means 104
  • Time information setting means 105
  • Sending means 106
  • Playback speed changing means 108
  • Playback speed change request receiving means 200
  • Video receiving apparatus 201
  • Receiving means 202
  • Buffering means 203
  • Depacketizing means 204
  • Decoding means 205
  • Display means 206
  • Playback speed change instruction input means 207
  • Playback speed change request means 300
  • Network 700 Video playback device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 通常再生時からデータ転送レートを増加させることなく滑らかな再生速度変更が実現でき、再生速度を変更させたときにもデコード負荷を軽減させることが可能な映像配信装置を提供する。  階層状に構成された基本信号及び1以上の拡張信号からなる映像コンテンツを配信する映像配信装置であって、映像コンテンツ中の基本信号と拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、コンテンツ読み出し手段に各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更手段と、を備える。

Description

映像配信装置、映像配信システム及び映像配信方法
 本発明は、映像配信装置、映像配信システム、及び映像配信方法に関し、特に、高ビットレートでリアルタイム性が要求される映像コンテンツの配信サービスに好ましく適用される技術に関するものである。
 近年、FTTH(Fiber To The Home)やNGN(Next Generation Network)等のネットワークサービスが提供され、一般家庭においても高速で高品質なネットワーク接続環境を利用できるようになった。高速で高品質なネットワークが利用できることで、高ビットレートでリアルタイム性が要求される映像コンテンツの配信サービスを利用する基盤が整備されてきた。コンテンツ配信サービスもVoD(Video on Demand)のような事業者が用意したコンテンツの中から視聴するだけでなく、ユーザが放送コンテンツを指定により、または自動的にサーバ上で録画して視聴するnDVR(network-based Digital Video Recorder)と呼ばれる新たな映像視聴サービスについても一部の国でサービスの提供が始まっている。
 テレビ放送のように映像コンテンツをネットワーク経由で視聴する場合は、映像配信サーバはプレーヤに対してコンテンツの先頭から順次ストリームを送出するのみである。しかし、VoDやnDVR等の蓄積コンテンツを要求に応じて配信する映像サービスでは、早送り、巻き戻し、一時停止といったトリックプレイ機能を提供することが一般的である。特に、放送コンテンツを自動的に録画するnDVRでは、録画結果から見たいシーンを見つけるために、早送りを頻繁に使用する等トリックプレイ機能は今まで以上に重要になっている。
 蓄積コンテンツの早送り方式の一例が特許文献1に記載されている。この方式は2倍速の早送りを実現するため、読み出し処理を2倍のレートで実施したうえで、データに付加されたデコードと再生に関する時刻情報を2分の1の値に変更し、時刻情報に従ってデコードと再生処理を実施する。これによりコンテンツの2倍速での早送りを実現している。
 また、他の蓄積コンテンツの早送り方式の一例が特許文献2に記載されている。この方式は指定された早送り倍率に従い、フレーム単位で間引き処理を実施した後にデコードを実施している。フレーム単位での間引きを行うことで、画像のフレームスキップを実現し、早送りを実現している。
特開2002-354419号公報 特開2006-295645号公報
 しかしながら、特許文献1による蓄積コンテンツ早送り方式では、2倍の早送り再生を実施するときにはデコーダへのデータ転送レートが2倍になる。これは、コンテンツ配信側とコンテンツ再生側がネットワークで分割されている映像配信サービスでは、ネットワーク使用帯域が2倍必要になることを意味している。また、単位時間当たりのデコード処理も2倍の処理量になる。このため、特許文献1の方式では、早送り再生のためネットワーク資源とデコード用プロセッサがボトルネックになり、対応できる早送り倍率が低くなる。
 また、特許文献2による蓄積コンテンツ早送り方式では、早送り再生の実現のためサーバ側でストリーム中からフレーム単位での間引きを行う。これによりコンテンツ再生側では表示されないフレームが発生し映像がスキップしているように見える。そのため、早送り再生の目的である、目的のシーンを見つけて通常再生に戻すという操作を行うことが高い早送り倍率の再生時には難しくなる。
 そこで、本発明は、上述した事情に鑑みて、通常再生時からデータ転送レートを増加させることなく滑らかな再生速度変更が実現でき、再生速度を変更させたときにもデコード負荷を軽減させることが可能な映像配信装置、映像配信システム等を提供することを目的とする。
 上記の課題を解決するために、本発明の第1の映像配信装置は、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置であって、映像コンテンツ中の基本信号と拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、コンテンツ読み出し手段に各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更手段と、を備える。
 また、本発明の第1の映像受信装置は、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置であって、映像コンテンツ中の基本信号と拡張信号とをそれぞれ独立のビットレートで読み出すとともに各信号別の読み出しビットレートを指定して映像コンテンツの再生速度を変更する映像配信装置に対して、映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求手段と、映像配信装置から受信した映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード手段と、を備える。
 また、本発明の第1の映像配信システムは、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置と、映像配信装置により配信された映像コンテンツを受信する映像受信装置と、を備える映像配信システムであって、映像配信装置は、映像コンテンツ中の基本信号と拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、コンテンツ読み出し手段に各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更手段と、を備え、映像受信装置は、映像コンテンツの再生速度の倍率変更要求を映像配信装置に送出する再生速度変更要求手段と、映像配信装置から受信した映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード手段と、を備える。
 また、本発明の第1の映像再生装置は、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置と、映像配信装置により配信された映像コンテンツを受信する映像受信装置と、を備え、両装置がバス接続されて構成される映像再生装置であって、映像配信装置は、映像コンテンツ中の基本信号と拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、コンテンツ読み出し手段に各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更手段と、を備え、映像受信装置は、映像コンテンツの再生速度の倍率変更要求を映像配信装置に送出する再生速度変更要求手段と、映像配信装置から受信した映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード手段と、を備える。
 また、本発明の第1の映像配信方法は、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信方法であって、映像コンテンツ中の基本信号と拡張信号について、各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更ステップと、再生速度変更ステップにより指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出しステップと、を有する。
 また、本発明の第1の映像受信方法は、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信方法であって、映像コンテンツ中の基本信号と拡張信号とをそれぞれ独立のビットレートで読み出すとともに各信号別の読み出しビットレートを指定して映像コンテンツの再生速度を変更する映像配信装置に対して、映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求ステップと、映像配信装置から受信した映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコードステップと、を有する。
 また、本発明の第1のプログラムは、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置に用いられるプログラムであって、コンピュータに、映像コンテンツ中の基本信号と拡張信号について、各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更機能と、再生速度変更機能により指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出し機能と、を実現させる。
 また、本発明の第2のプログラムは、階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置で用いられるプログラムであって、コンピュータに、映像コンテンツ中の基本信号と拡張信号とをそれぞれ独立のビットレートで読み出すとともに各信号別の読み出しビットレートを指定して映像コンテンツの再生速度を変更する映像配信装置に対して、映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求機能と、映像配信装置から受信した映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード機能と、を実現させる。
 また、本発明の第1の記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
 本発明によれば、通常再生時からデータ転送レートを増加させることなく滑らかな再生速度変更が実現でき、再生速度を変更させたときにもデコード負荷を軽減させることが可能となる。
 本発明は、映像受信装置にネットワークを介して映像コンテンツを配信する映像配信装置において、拡張レイヤストリームの全体または一部の配信を停止し、再生に必須となる基本レイヤストリームと配信を停止しない拡張レイヤストリームの配信レートを上昇させることで、全体のネットワーク利用帯域を一定に抑えたまま映像再生レートを変更する点に特徴を有する。以下、実施形態に則して詳細に説明する。
 はじめに、本発明の実施形態として、映像配信装置及び映像受信装置を含んで構成される映像配信システムの構成について説明する。図1は、本発明の実施形態の映像配信システムの構成を示した概略図である。本実施形態の映像配信システムを構成する映像配信装置100及び受信装置200は、ネットワーク300によって通信可能な端末である。配信装置100は、映像コンテンツを保持し、ネットワーク300上の映像受信装置200に向けて映像コンテンツを配信する装置である。映像受信装置200は、ネットワーク300上の映像配信装置100から映像コンテンツを受信して再生する装置である。ネットワーク300は端末間の通信を可能にするネットワークである。
 本実施形態では、ネットワーク300をインターネットと想定して説明を行う。ただし、サーバ機器やPC(Personal Computer)、インターネットに特定するものではなく、NGN、携帯電話網、無線LAN(Local Area Network)、機器内部のバス等であってもよい。また、映像配信装置100は、本実施形態ではストリーミングサーバを想定しているが、PCやHDD(Hard Disk Drive)レコーダ等であってもよい。映像受信装置200は、本実施形態ではPCを想定しているが、携帯電話、PDA(Personal Digital Assistant)、ネットワーク接続可能なテレビ、テレビに接続されたゲーム機等であってもよい。
 続いて、映像配信装置の構成について説明する。図2は、本実施形態における映像配信装置の構成を示した機能ブロック図である。映像配信装置100は、コンテンツ記憶手段101と、コンテンツ読み出し手段102と、パケタイズ手段103と、時刻情報設定手段104と、送出手段105と、コンテンツ情報管理手段10と、再生速度変更手段107と、再生速度変更要求受付手段108から構成される。これらの手段はそれぞれ以下のように動作する。
 コンテンツ記憶手段101は、スケーラブルコーデックを用いてエンコードした映像コンテンツが保存されている記憶媒体である。本実施形態では、映像コンテンツはH.264/SVC(Scalable Video Coding)エンコーダで圧縮され、基本レイヤと2つの拡張レイヤ(第1拡張レイヤ、第2拡張レイヤ)から構成されるものとする。第1拡張レイヤは基本レイヤの上位に位置するビットストリームであり、第1拡張レイヤを基本レイヤとあわせてデコードすることで基本レイヤのみデコードした結果以上の画像品質を得ることができる。また、第2拡張レイヤは、第1拡張レイヤの上位に位置するビットストリームであり、第2拡張レイヤを基本レイヤ及び第1拡張レイヤとともにデコードすることで基本レイヤ及び第1拡張レイヤのみデコードした結果以上の画像品質を得ることができる。
 本実施形態ではSNスケーラブル設定を用いる。すなわち、基本レイヤをBb=1Mbps、第2拡張レイヤをBe1=1Mbps、第2拡張レイヤをBe2=1Mbpsのビットレート設定でエンコードし、全ビットストリームで3Mbpsになるファイルを使用する。また、基本レイヤ及び拡張レイヤのビットレートの設定やレイヤの分割数等は一例であり他の値であってもよい。本発明では、SNスケーラブル設定に限らず、空間スケーラブル設定、時間スケーラブル設定等であっても有効である。
 コンテンツ記憶手段101が記憶しているコンテンツは、図3に示された情報を含んでいるものとする。コンテンツ情報301は、コンテンツ配信時に使用されるデータであり、図4に示す情報を含んでいる。レイヤ種別401は、コンテンツがどのようなレイヤから構成されているかを示す情報である。レイヤ識別子402は、コンテンツ内部に格納されている映像ストリーム302を構成するNAL(Network Abstraction Layer)ユニットと各レイヤを対応付けるための識別子である。ビットレート403は、レイヤごとのビットレートである。
 コンテンツのデータ構造は、本実施形態における一例であり、もちろん他の形式であってもよい。例えば、コンテンツ情報301が別ファイルに分離されている場合や、映像ストリーム302がMPEG(Motion Picture Expert Group)-2TS(Transport Stream)形式等の他の形式になっている場合が該当する。また、コンテンツ読み出し手段102がレイヤ単位でコンテンツを読み出すことが可能であり、各レイヤのビットレート情報が取得できる形式であれば任意の形式であってもよい。また、本実施形態では、説明を容易にするため音声データに関しては省略している。
 コンテンツ情報管理手段106は、コンテンツ記憶手段101が記憶しているコンテンツ情報301を保持し、必要に応じて再生速度変更手段107に提供する手段である。この情報は、本実施形態においてはコンテンツ記憶手段101中に記憶されているコンテンツ情報301としているが、別の設定ファイルから取得する場合や、コンテンツ記憶手段101のコンテンツを作成したエンコーダからのメッセージを受信する場合等、他のソースであってもよい。
 コンテンツ読み出し手段102は、コンテンツ記憶手段101から、指定されたレイヤのストリームを指定されたビットレートで読み出す手段である。コンテンツ読み出し手段102は、読み出しに際して、コンテンツ記憶手段101に記憶されているコンテンツ中のどのレイヤを読み出すか、またそれぞれのレイヤの読み出しビットレートについて、再生速度変更手段107から指定を受ける。
 本実施形態における通常再生時には、基本レイヤから第2拡張レイヤまでの全ストリームを映像受信端末200に送出するため、再生速度変更手段107はコンテンツ読み出し手段102に対して、基本レイヤ、第1拡張レイヤ、第2拡張レイヤのレイヤ識別子である識別子1、識別子2、識別子3と、各レイヤとを1Mbpsで読み出す指示を行う。コンテンツ読み出し手段102は、コンテンツ記憶手段101中のH.264/SVCストリームを読み出し、識別子1、識別子2、識別子3のNALユニットをパケタイズ手段103へ送出する。早送り再生を実施するときは、再生速度変更手段107が決定した各レイヤ別の読み出しビットレートに従って処理を行う。
 パケタイズ手段103は、コンテンツ読み出し手段102が送出するH.264/SVCのNALユニットをネットワーク200に送出するため、パケット化する手段である。パケット化方式としては、本実施形態ではIETF(Internet Engineering Task Force) draft-ietf-avt-rtp-svc-01 “RTP Payload Format for SVC Video”に基づくRTP(Real-time Transport Protocol)パケット形式とするが、パケットに時刻情報を付加できる形式であればMPEG-2 TS方式等他のパケット化形式であってもよい。
 時刻情報設定手段104は、パケタイズ手段103が生成したパケットに指定されたクロックレートで時刻情報を付加する手段である。パケット化処理に際し、時刻情報設定手段104は、再生速度変更手段107から時刻情報の生成に使用するクロックレートの設定を受ける。本実施形態において、通常再生時にはRTPパケット化の規格で決定された標準値である90kHzのクロックレートの設定により、映像コンテンツ1秒間につき90,000の増加率の時刻情報をRTPヘッダのタイムスタンプに付加する。早送り再生を実施するときは再生速度変更手段107から新たなクロックレートが指定される。時刻情報設定手段104は、RTPタイムスタンプに時刻情報を付加した後に送出手段105にパケットを送出する。
 送出手段105は、ネットワーク300にパケットを送出する手段である。本実施形態では、ソケットAPI(Application Program Interface)を利用して、ネットワークインターフェイスカードからインターネットにパケットを送出する処理を行う。送出処理は、時刻情報設定手段104からパケットを受信したタイミングで実施する。また、ネットワーク300がNGN網である場合は、各レイヤのIP(Internet Protocol)パケットに優先度情報を付加してもよい。
 再生速度変更要求受付手段108は,ネットワーク300で接続された映像受信装置200から再生速度変更要求メッセージを受け付ける手段である。本実施形態では、RFC(Request For Comments) 2326 RTSP(Real Time Streaming Protocol)を用いるが、再生速度変更の要求が可能な他の通信プロトコルであってもよい。
 映像配信装置100に対して再生速度変更を要求するとき、映像受信装置200は、PLAYメソッドに再生速度の倍率を示すScaleヘッダを付加したメッセージを送出する。例えば2倍の早送り再生を要求する場合は、PLAYメソッドに"Scale:2.0"というヘッダを付加する。再生速度変更要求メッセージを受け付けた再生速度変更要求受付手段108は、再生速度変更手段107に再生速度の倍率変更要求を通知する。再生速度変更手段107から再生速度変更要求への応答が返った場合には、映像受信装置200にその旨を示すACKメソッドとして再生速度変更応答メッセージを返す。
 再生速度変更手段107は、再生速度変更要求受付手段108から再生速度倍率を取得し、映像コンテンツの各レイヤ別読み出しビットレートの変更を決定する手段である。再生速度変更手段107は、コンテンツ情報管理手段106から配信するコンテンツのレイヤ情報及びビットレート情報を取得する。また、ユーザから使用可能ネットワーク帯域の指定を受ける。
 各レイヤ別の配信ビットレートの算出方法について、図5を参照して説明する。再生速度変更手段107は、ユーザから使用可能ネットワーク帯域Ballの指定を受ける。本実施形態ではBall=3Mbpsとする。この使用可能ネットワーク帯域Ballを超えない範囲で基本レイヤのストリームのビットレートに再生速度の倍率をかけて早送り再生時の基本レイヤ読み出しビットレートを算出する。例えば、1.5倍の時はBb*1.5=1.5Mbps、2.0倍の時はBb*2.0=2.0Mbps、2.5倍の時はBb*2.5=2.5Mbps、3.0倍の時はBb*3.0=3.0Mbpsとなる。
 再生速度の倍率が1.5倍のときには基本レイヤの読み出しビットレートは1.5Mbpsであり、使用可能ネットワーク帯域Ballとの差から使用していない帯域が1.5Mbpsとなる。また、基本レイヤだけでなく、基本レイヤの上位レイヤである第1拡張レイヤを1.5倍速で送出しても使用帯域は(Bb*1.5)+(Be1*1.5)=3.0Mbpsとなり、使用可能ネットワーク帯域Ballを超えることはない。
 このように、上位の拡張レイヤを含めてビットレートを上昇させても使用可能ネットワーク帯域Ballを超えない場合は、上位の拡張レイヤも含めて送出する処理を行ってもよい。このときは、受信端末上では基本レイヤのみを送出したとき以上の画質で早送り映像を視聴することが可能になる。しかし、本実施形態では、再生速度の倍率が2.0倍を超えるときは基本レイヤと同じ割合で第1拡張レイヤの読み出しビットレートを向上させると(Bb*2.0)+(Be1*2.0)=4.0Mbpsとなり、使用可能ネットワーク帯域Ballを超える。この場合は第1拡張レイヤの送出は行わずに、空き帯域を残したまま基本レイヤのみ2.0Mbpsでの送出を決定する。
 なお、本実施形態では、再生速度の倍率が3.0倍を超える場合には、基本レイヤ読み出しビットレートが使用可能ネットワーク帯域Ballを超える。この場合は早送り要求へのエラーを返す。このエラーは再生速度変更要求受付手段108によって要求元へ通知される。また、エラーを返さずにフレーム間引きを実施して3.0倍を超える早送り映像を送出する処理を併用することも可能である。
 また、使用可能ネットワーク帯域Ballにコンテンツ全体のビットレートを超える値を設定することも可能である。例えば使用可能ネットワーク帯域Ball に6.0Mbpsを指定した場合、全体の使用帯域は、再生速度が1.5倍の時に(Bb*1.5)+(Be1*1.5)+(Be2*1.5)=4.5Mbps、再生速度が2.0倍の時に(Bb*2.0)+(Be1*2.0)+(Be2*2.0)=6.0Mbps、再生速度が2.5倍の時に(Bb*2.5)+(Be1*2.5)+(Be2*0)=5.0Mbps、再生速度が3.0倍の時に(Bb*3.0)+(Be1*3.0)+(Be2*0)=6.0Mbpsとなる。使用可能ネットワーク帯域Ballに3.0Mbpsを指定したときに比べ、再生速度が1.5倍のときに第2拡張レイヤが、再生速度2.0倍の時に第1、第2拡張レイヤが、再生速度2.5倍の時に第1拡張レイヤが、再生速度3.0倍の時に第1拡張レイヤの配信が追加され、映像受信端末200ではより高画質での早送り再生が可能になる。
 また、使用可能ネットワーク帯域Ballの設定を省略し、コンテンツの全レイヤのビットレートを加算した値を使用可能ネットワーク帯域Ballとして設定する方法も考えられる。この場合は本実施形態では使用可能ネットワーク帯域Ball=Bb+Be1+Be2=3Mbpsとなる。また、別途ネットワーク300のネットワーク帯域を計測しその値を使用してもよい。
 再生速度変更手段107は、早送り再生時には上記の手続きで算出された新たな各レイヤ別読み出しビットレートをコンテンツ読み出し手段102に設定する。これにより早送り再生に必要なデータの供給レートを上昇させる。
 また、再生速度変更手段107は、早送り再生時に、RTPタイムスタンプのクロックレートを変更する。通常再生時には90kHzのレートを使用するが、早送り倍率に従い、クロックレートを早送り倍率で割った値に変更する。本実施形態では、早送り倍率が1.5倍のときは90kHz/1.5=60kHz、早送り倍率が2.0倍のときは90kHz/2.0=45kHz、早送り倍率が2.5倍のときは90kHz/2.5=36kHz、早送り倍率が3.0倍のときは90kHz/3.0=30kHzとなる。
 再生速度変更手段107は、早送り再生時にはこの変更された新たなRTPタイムスタンプのクロックレートを時刻情報設定手段104に設定する。これにより早送り再生時に映像受信装置200はRTPタイムスタンプに従ってデコードと再生を実施することで早送り再生映像を表示することが可能になる。
 本実施形態では、再生速度変更手段107が読み出しビットレートの設定とクロックレートの設定を実施しているが、それぞれ別の手段に分離していてもよい。
 続いて、映像受信装置の構成について説明する。図6は、本実施形態における映像受信装置の構成を示した機能ブロック図である。映像受信装置200は、受信手段201と、バッファリング手段202と、デパケタイズ手段203と、デコード手段204と、表示手段205と、再生速度変更指示入力手段206と、再生速度変更要求手段207から構成される。これらの手段はそれぞれ以下のように動作する。
 受信手段201は、ネットワーク300を介して接続されている映像配信装置100から送られる映像ストリームを受信する手段である。本実施形態では、インターネットに接続された受信手段201がソケットAPIを用いてRTPパケットを受信する処理を行う。受信手段201に到着したパケットは直ちにバッファリング手段202に送られる。
 バッファリング手段202は、受信した映像ストリームを再生処理に備えてバッファリングする手段である。バッファリングを行うことによりネットワーク上のジッタ等に影響されない一定のフレームレートによる映像再生が可能になる。パケットをバッファリングするタイミングは、受信手段201にRTPパケットが到着したときである。バッファリングされたパケットは、デパケタイズ手段203によって取り出される。デパケタイズ手段203は、バッファリング手段202から1つ以上のRTPパケットを取り出すことが可能である。また、バッファリングされた各RTPパケットのRTPタイムスタンプは、デコード手段204がデコード処理を行うかの判断を行うために取得することが可能である。
 デパケタイズ手段203は、デコード手段204からの指示を受け、バッファリング手段202からRTPパケットを取り出し、映像ストリームを取得する手段である。デパケタイズ手段203は、デコード手段204からデコード対象となる時刻情報を受け取り、バッファリング手段202からのRTPパケットの取り出し処理を行う。RTPタイムスタンプの値がデコード対象となる時刻情報以下である1つ以上のRTPパケットを取り出し、RTPシーケンス番号順にRTPペイロードを取り出して結合する。この結合されたRTPペイロードは、H.264/SVCエレメンタリーストリームであり、デコード手段204に渡される。
 デコード手段204は、H.264/SVCストリームをデコードし、ビットマップ映像を取得する手段である。デコード手段204は、内部にシステムクロックを備え、自律的にパケットの取り出し指示とデパケタイズ指示、デコード処理を行う。システムクロックは90kHzのクロックレートで進むカウンタであり、このカウンタの値がデコード対象となるRTPパケットを特定する時刻情報になる。また、デコード手段204は、システムクロックの値以下のRTPタイムスタンプを持つRTPパケットがバッファリング手段202に存在するときにデコード処理を実施する。そして、デコード手段204は、デパケタイズ手段203にシステムクロック値を渡し、デコード対象のH.264/SVCエレメンタリーストリームを取得する。
 取得されたH.264/SVCエレメンタリーストリームを構成するNALユニットには、各レイヤを識別するための識別子である、nal_unit_typeが存在する。デコード手段204は、このnal_unit_typeを常時確認することで、到着したレイヤをNALユニット単位で識別する。デコード手段204は、基本レイヤから上位階層に向けて順番に拡張レイヤが存在するかを確認する。その後存在しない階層の内、最も下位層の拡張レイヤを特定し、その階層未満の拡張レイヤと基本レイヤのデコードを実施する。
 例えば映像配信装置100が基本レイヤのみを送出するときは、デコード手段204は基本レイヤのデコードのみを実施する。第2階層の拡張レイヤを送出しないときは、上記により基本レイヤと第1拡張レイヤのみのデコードを実施する。これにより拡張レイヤの構成が変更された場合にもデコードを継続することが可能であるとともに、早送り再生時に全レイヤをデコードする場合に比べてプロセッサの負荷を低下させることが可能である。デコードの結果得られたビットマップデータは直ちに表示手段205に送られる。
 本実施形態では、入力されたH.264/SVCエレメンタリーストリームの基本レイヤから連続して存在する拡張レイヤはデコード可能とし、すべてデコードの対象とする方式として説明しているが、別途ユーザからデコード手段204へ受信し、デコード可能な拡張レイヤの中でデコードの対象とする拡張レイヤの階層を指定する手段を備えるように構成してもよい。
 表示手段205は、ビットマップデータを画面上に表示する手段である。デコード手段205から出力されたビットマップデータを受け取り、映像受信端末200に搭載されるか、映像受信端末200に接続された映像表示装置上に表示する処理を行う。本実施形態において映像表示装置に関する記載は省略している。
 表示手段205は、デコード手段204からビットマップデータの出力を受けたタイミングで表示を開始し、次のビットマップデータを受けるまでビットマップデータを表示し続ける。これによりデコード手段204がデコード映像を出力しなかった場合でも次のデコードが正常に完了するまで映像を表示し続け、再生映像の品質の劣化を抑えることが可能になる。
 再生速度変更指示入力手段206は、ユーザからの再生速度の変更要求を受け付ける手段である。受付の方式は、早送りボタンの押下のほか、マウスによってスライドバーをドラッグする操作、キーを用いて再生倍率を入力する等の方法が考えられる。入力された再生速度の変更要求は、再生速度の倍率に変換されて再生速度変更要求手段207に送られる。
 再生速度変更要求手段207は、ネットワーク300で接続された映像配信装置100に対して再生速度の変更を要求する手段である。本実施形態では、RTSPのプロトコルを用い、Scaleヘッダを付加したPLAYメソッドを送出する処理を実施する。また、映像配信装置100から早送りが可能か否かのレスポンスを受信する処理を行う。
 本実施形態では再生速度の変更は正方向の早送り再生のみであったが、逆再生時の速度変更であってもよい。また、映像配信装置100と映像受信装置200はネットワーク300で接続されるように構成したが、図7に示すように、映像再生装置700内部に映像配信装置100及び映像受信装置200を配置するようなネットワークを使用しない構成でもよい。
 次に、映像配信装置が行う映像コンテンツ早送り処理について図8を参照して説明する。図8は、本実施形態における映像配信装置の再生速度変更処理の流れを示したフローチャートで、映像配信装置100の再生速度変更手段107がn倍速の早送りを実施する場合の処理について表したものである。なお、図8のフローチャートではエラー処理を省略している。
 まず、映像再生速度変更要求受付手段108からn倍速の早送り命令の指示を再生速度変更手段107が受ける(ステップS801)。次いで、再生速度変更手段107は、コンテンツ情報管理手段106からコンテンツの全レイヤのビットレート情報を取得する(ステップS802)。
 再生速度変更手段107は、使用可能ネットワーク帯域を決定する(ステップS803)。この値はユーザから指定されるか、全レイヤのビットレートを加算した場合でもよい。また、現在接続されているネットワーク300の利用可能なネットワーク帯域を計測した結果から決定してもよい。
 続いて、早送り再生のため、各レイヤを読み出すビットレートの算出を行う。この早送り再生時に設定する読み出しビットレートを、早送りビットレートと呼ぶ。初期化のため各レイヤの早送りビットレートの値を0とする(ステップS804)。最初に計算対象となるレイヤとして最下位のレイヤを選択する。この場合の最下位レイヤは基本レイヤである(ステップS805)。
 次いで、計算対象レイヤの通常再生時のビットレートにnをかけた値を対象レイヤの早送りビットレートとして記憶させる(ステップS806)。そして、全レイヤの早送りビットレートの合計を求める(ステップS807)。この全レイヤの早送りビットレートの合計は、早送り再生時の使用ネットワーク帯域を表す。
 続いて、先ほど算出した全レイヤの早送りビットレートの合計が事前に決定した使用可能ネットワーク帯域を超えていないかを判定する(ステップS808)。
 早送りビットレートの合計が使用可能ネットワーク帯域を超えていない場合(ステップS808/NO)は、計算対象となるレイヤを1つ上位のレイヤに変更する(ステップS814)。例えば現在の計算対象となるレイヤが基本レイヤであれば第1拡張レイヤを新たな計算対象とし、現在の計算対象となるレイヤが第1拡張レイヤであれば第2拡張レイヤを新たな計算対象とする。その後ステップS806に処理を移して、次のレイヤの早送りビットレートを求める。
 他方、早送りビットレートの合計が使用可能ネットワーク帯域を超えた場合(ステップS808/YES)は、このまま早送り再生時を行えば指定された使用可能ネットワーク帯域を超えた配信を行うことになる。帯域の超過が許されない場合は現在の計算対象となるレイヤを読み出す処理を行うことはできない。そのため計算対象レイヤの早送りビットレートを0に変更する(ステップS809)。これ以上送出レイヤを増やすことはできないため、以降の設定変更処理に移る。
 上記の処理で求められた各レイヤの早送りビットレートをコンテンツ読み出し手段102に設定するため、読み出し処理を一時停止し(ステップS810)、コンテンツ読み出し手段102に対して各レイヤの早送りビットレートを指定する(ステップS811)。このとき、早送りビットレートに0が設定されているレイヤは、読み出し処理を行わずにスキップすることを意味する。また、早送り再生時にパケットに付加する時刻情報の増分を変更するため、時刻情報設定手段104が持つクロックレートをn分の1に変更する(ステップS812)。
 最後に、コンテンツ読み出し手段102による読み出し処理を再開する(ステップS813)。以降、映像配信装置100はn倍の早送り再生を実施する。
 上述した本実施形態によれば、第1の効果は、送出ビットレートを増加させずに早送り再生を実現できることである。その理由は、基本レイヤを含むストリームの一部のみを通常再生以上のレートで送出するためである。まず送出コンテンツをスケーラブルコーデックでエンコードしておくことにより、一部若しくは全ての拡張レイヤを送出しなくても映像受信装置は再生を行うことが可能である。送出を停止した拡張レイヤが占めていた帯域を、基本レイヤの送出レート上昇のために割り当てることにより、全体のネットワーク利用帯域を上昇させることなく、通常再生レート以上の基本レイヤストリームを送出することが可能になるためである。
 また、上述した本実施形態によれば、第2の効果は、早送り再生時に受信装置のデコード負荷を軽減できることである。その理由は、早送り再生時に映像受信装置は通常の再生レート以上のデコード処理を行うが、配信装置が送出するストリームはストリーム全体ではなく、拡張レイヤの一部若しくは全てが存在しないストリームである。そのため、映像受信装置では早送り再生時に送出されなかった拡張レイヤのデコード処理を行う必要がなく、全てのレイヤをデコードする既存の方式よりもデコード負荷を軽減することが可能になるためである。
 また、上述した本実施形態によれば、第3の効果は、早送り再生時に滑らかな映像表示を実現できることである。その理由は、映像配信装置が送出する映像に対してフレーム単位の間引き処理を行わないためである。映像配信装置は、フレーム単位の間引き処理を行う代わりに、基本レイヤあるいは基本レイヤと一部の拡張レイヤのみを送出することで早送り再生時のビットレートの削減を実現している。そのため、映像受信装置では早送り再生中にコンテンツの全フレームを表示することが可能になるからである。
 以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 つまり、本発明は、VoDサーバやnDVR等の映像配信装置や、HDDレコーダ等の映像再生装置と言った用途に適用することができる。また、本発明は、映像配信装置等に上述してきたような動作を実行させるプログラム、これを記録した記録媒体として実施することもできる。
 例えば本実施形態における映像配信装置で実行されるプログラムは、先に述べた各部(再生速度変更手段、コンテンツ読み出し手段、時刻情報設定手段等)を含むモジュール構成となっており、実際のハードウェアを用いて具体的手段を実現する。すなわち、映像配信装置のコンピュータ(CPU)が所定の記録媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、再生速度変更手段、コンテンツ読み出し手段、時刻情報設定手段等が主記憶装置上に生成される。
 本実施形態における映像配信装置で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
 また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、DVD、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ROM等にあらかじめ組み込んで提供するように構成してもよい。
 この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。
 この出願は、2008年2月20日に出願された日本出願特願2008-038818を基礎とする優先権を主張し、その開示を全てここに取り込む。
本発明の実施形態に係る映像配信システムの構成を示した概略図である。 本発明の実施形態に係る映像配信装置の構成を示した機能ブロック図である。 本発明の実施形態において配信される映像コンテンツのデータ構造を説明するための図である。 本発明の実施形態において配信される映像コンテンツのデータ構造を説明するための図である。 本発明の実施形態における各レイヤ別の配信ビットレートの算出方法を説明するための図である。 本発明の実施形態に係る映像配信装置の構成を示した機能ブロック図である。 本発明の実施形態に係る映像再生装置の構成を示した概略図である。 本発明の実施形態における映像配信装置の再生速度変更処理の流れを示したフローチャートである。
符号の説明
 100  映像配信装置
 101  コンテンツ記憶手段
 102  コンテンツ読み出し手段
 103  パケタイズ手段
 104  時刻情報設定手段
 105  送出手段
 106  コンテンツ情報管理
 107  再生速度変更手段
 108  再生速度変更要求受付手段
 200  映像受信装置
 201  受信手段
 202  バッファリング手段
 203  デパケタイズ手段
 204  デコード手段
 205  表示手段
 206  再生速度変更指示入力手段
 207  再生速度変更要求手段
 300  ネットワーク
 700  映像再生装置

Claims (35)

  1.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置であって、
     前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、
     前記コンテンツ読み出し手段に各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更手段と、
     を備えることを特徴とする映像配信装置。
  2.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
     前記再生速度変更手段に再生フレームレートの変更を指示する再生速度変更要求受付手段と、を備え、
     前記再生速度変更手段は、前記コンテンツ情報管理手段から取得した前記ビットレート情報を用い、前記再生速度変更要求受付手段から指示された再生フレームレートを実現するために映像コンテンツを読み出すための各信号別の読み出しビットレートを決定することを特徴とする請求項1に記載の映像配信装置。
  3.  前記コンテンツ読み出し手段が読み出した前記映像コンテンツに時刻情報を付加する時刻情報設定手段を備え、
     前記再生速度変更手段は、再生速度変更の決定を行った場合、前記時刻情報設定手段に対して前記時刻情報のクロックレートの変更を指示することを特徴とする請求項1又は2に記載の映像配信装置。
  4.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
     前記再生速度変更手段に再生フレームレートの変更を指示する再生速度変更要求受付手段と、を備え、
     前記再生速度変更手段は、前記再生速度変更要求受付手段から再生フレームレートの変更指示を取得し、前記コンテンツ情報管理手段から全信号のビットレートを取得し、ネットワーク使用可能帯域幅を決定し、前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程で、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止し、該変更をしなかった階層以上の拡張信号の読み出しを停止する指示を行うことを特徴とする請求項1から3のいずれか1項に記載の映像配信装置。
  5.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
     前記再生速度変更手段に再生フレームレートの変更を指示する再生速度変更要求受付手段と、を備え、
     前記再生速度変更手段は、前記コンテンツ情報管理手段から前記ビットレート情報として各信号のビットレートを取得し、前記再生速度変更要求受付手段から再生フレームレートの変更指示として映像再生フレームレートの倍率を取得し、前記各信号のビットレートと前記映像再生フレームレートの倍率との積を算出して読み出しビットレートの変更を行うことを特徴とする請求項1から4のいずれか1項に記載の映像配信装置。
  6.  前記コンテンツ読み出し手段が読み出した前記映像コンテンツに時刻情報を付加する時刻情報設定手段を備え、
     前記再生速度変更手段は、再生速度変更の決定を行った場合、前記時刻情報設定手段に対して、前記時刻情報のクロックレートを再生速度の変更倍率で除した値に変更する指示を行うことを特徴とする請求項1から5のいずれか1項に記載の映像配信装置。
  7.  前記再生速度変更手段に再生フレームレートの変更を指示する再生速度変更要求受付手段を備え、
     前記再生速度変更要求受付手段は、ネットワーク上の映像受信装置から再生速度変更要求を受け付けることを特徴とする請求項1から6のいずれか1項に記載の映像配信装置。
  8.  前記映像コンテンツは、H.264/SVCコーデックでエンコードされたコンテンツであり、前記基本信号は、H.264/SVCの基本レイヤであり、前記拡張信号は、H.264/SVCの拡張レイヤであることを特徴とする請求項1から7のいずれか1項に記載の映像配信装置。
  9.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置であって、
     前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すとともに各信号別の読み出しビットレートを指定して前記映像コンテンツの再生速度を変更する前記映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求手段と、
     前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード手段と、
     を備えることを特徴とする映像受信装置。
  10.  前記デコード手段は、入力される映像コンテンツ中に含まれる信号識別子を読み出して信号の種別を識別し、前記識別を繰り返して前記映像コンテンツ中に含まれない前記拡張信号を特定し、前記映像コンテンツ中に含まれない前記拡張信号の中で最も下位の階層を特定し、前記特定した最も下位の階層より下の階層の前記拡張信号と前記基本信号とについてデコード処理を行うことを特徴とする請求項9に記載の映像受信装置。
  11.  前記デコード手段は、入力される映像コンテンツ中に含まれる前記拡張信号のうち、デコード処理の対象とする前記拡張信号の階層をユーザからの指示により変更することを特徴とする請求項9又は10に記載の映像受信装置。
  12.  前記映像コンテンツは、H.264/SVCコーデックでエンコードされたコンテンツであり、前記基本信号は、H.264/SVCの基本レイヤであり、前記拡張信号は、H.264/SVCの拡張レイヤであることを特徴とする請求項9から11のいずれか1項に記載の映像受信装置。
  13.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置と、前記映像配信装置により配信された前記映像コンテンツを受信する映像受信装置と、を備える映像配信システムであって、
     前記映像配信装置は、
     前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、
     前記コンテンツ読み出し手段に各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更手段と、
     を備え、
     前記映像受信装置は、
     前記映像コンテンツの再生速度の倍率変更要求を前記映像配信装置に送出する再生速度変更要求手段と、
     前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード手段と、
     を備えることを特徴とする映像配信システム。
  14.  前記映像配信装置は、
     前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
     前記再生速度変更手段に再生フレームレートの変更を指示する再生速度変更要求受付手段と、を備え、
     前記再生速度変更手段は、前記コンテンツ情報管理手段から取得した前記ビットレート情報を用い、前記再生速度変更要求受付手段から指示された再生フレームレートを実現するために映像コンテンツを読み出すための各信号別の読み出しビットレートを決定することを特徴とする請求項13に記載の映像配信システム。
  15.  前記映像配信装置は、
     前記コンテンツ読み出し手段が読み出した前記映像コンテンツに時刻情報を付加する時刻情報設定手段を備え、
     前記再生速度変更手段は、再生速度変更の決定を行った場合、前記時刻情報設定手段に対して前記時刻情報のクロックレートの変更を指示することを特徴とする請求項13又は14に記載の映像配信システム。
  16.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置と、前記映像配信装置により配信された前記映像コンテンツを受信する映像受信装置と、を備え、前記両装置がバス接続されて構成される映像再生装置であって、
     前記映像配信装置は、
     前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、
     前記コンテンツ読み出し手段に各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更手段と、
     を備え、
     前記映像受信装置は、
     前記映像コンテンツの再生速度の倍率変更要求を前記映像配信装置に送出する再生速度変更要求手段と、
     前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード手段と、
     を備えることを特徴とする映像再生装置。
  17.  前記映像配信装置は、
     前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
     前記再生速度変更手段に再生フレームレートの変更を指示する再生速度変更要求受付手段と、を備え、
     前記再生速度変更手段は、前記コンテンツ情報管理手段から取得した前記ビットレート情報を用い、前記再生速度変更要求受付手段から指示された再生フレームレートを実現するために映像コンテンツを読み出すための各信号別の読み出しビットレートを決定することを特徴とする請求項16に記載の映像再生装置。
  18.  前記映像配信装置は、
     前記コンテンツ読み出し手段が読み出した前記映像コンテンツに時刻情報を付加する時刻情報設定手段を備え、
     前記再生速度変更手段は、再生速度変更の決定を行った場合、前記時刻情報設定手段に対して前記時刻情報のクロックレートの変更を指示することを特徴とする請求項16又は17に記載の映像再生装置。
  19.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信方法であって、
     前記映像コンテンツ中の前記基本信号と前記拡張信号について、各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更ステップと、
     前記再生速度変更ステップにより指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出しステップと、
     を有することを特徴とする映像配信方法。
  20.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理ステップと、
     前記再生速度変更ステップによる再生速度変更に際して、再生フレームレートの変更を指示する再生速度変更要求受付ステップと、を有し、
     前記再生速度変更ステップは、前記コンテンツ情報管理ステップにより管理される前記ビットレート情報を取得して用い、前記再生速度変更要求受付ステップにより指示された再生フレームレートを実現するために映像コンテンツを読み出すための各信号別の読み出しビットレートを決定することを特徴とする請求項19に記載の映像配信方法。
  21.  前記コンテンツ読み出しステップにより読み出された前記映像コンテンツに時刻情報を付加する時刻情報設定ステップを有し、
     前記再生速度変更ステップは、再生速度変更の決定を行った場合、前記時刻情報設定ステップによる時刻情報付加で用いられる前記時刻情報のクロックレートの変更することを特徴とする請求項19又は20に記載の映像配信方法。
  22.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理ステップと、
     前記再生速度変更ステップによる再生速度変更に際して、再生フレームレートの変更を指示する再生速度変更要求受付ステップと、を有し、
     前記再生速度変更ステップは、再生フレームレートの変更指示を取得するステップと、前記コンテンツ情報管理ステップにより管理される全信号のビットレートを取得するステップと、ネットワーク使用可能帯域幅を決定するステップと、前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程で、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止するステップと、前記読み出しビットレートの変更をしなかった階層以上の拡張信号の読み出しを停止する指示を行うステップと、を有することを特徴とする請求項19から21のいずれか1項に記載の映像配信方法。
  23.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理ステップと、
     前記再生速度変更ステップによる再生速度変更に際して、再生フレームレートの変更を指示する再生速度変更要求受付ステップと、を有し、
     前記再生速度変更ステップは、
     前記コンテンツ情報管理ステップにより管理された前記ビットレート情報として各信号のビットレートを取得するステップと、再生フレームレートの変更指示として映像再生フレームレートの倍率を取得するステップと、前記各信号のビットレートと前記映像再生フレームレートの倍率との積を算出して読み出しビットレートの変更を行うステップと、を有することを特徴とする請求項19から22のいずれか1項に記載の映像配信方法。
  24.  前記コンテンツ読み出しステップにより読み出された前記映像コンテンツに時刻情報を付加する時刻情報設定ステップを有し、
     前記再生速度変更ステップは、再生速度変更の決定を行った場合、前記時刻情報設定ステップによる時刻情報付加で用いられる前記時刻情報のクロックレートを再生速度の変更倍率で除した値に変更することを特徴とする請求項19から23のいずれか1項に記載の映像配信方法。
  25.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信方法であって、
     前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すとともに各信号別の読み出しビットレートを指定して前記映像コンテンツの再生速度を変更する前記映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求ステップと、
     前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコードステップと、
     を有することを特徴とする映像受信方法。
  26.  前記デコードステップは、入力される映像コンテンツ中に含まれる信号識別子を読み出して信号の種別を識別するステップと、前記識別を繰り返して前記映像コンテンツ中に含まれない前記拡張信号を特定するステップと、前記映像コンテンツ中に含まれない前記拡張信号の中で最も下位の階層を特定するステップと、前記特定した最も下位の階層より下の階層の前記拡張信号と前記基本信号とについてデコード処理を行うステップと、を有することを特徴とする請求項25に記載の映像受信方法。
  27.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを配信する映像配信装置に用いられるプログラムであって、
     コンピュータに、
     前記映像コンテンツ中の前記基本信号と前記拡張信号について、各信号別の読み出しビットレートを指定してコンテンツ再生速度を変更する再生速度変更機能と、
     前記再生速度変更機能により指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出し機能と、
     を実現させることを特徴とするプログラム。
  28.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理機能と、
     前記再生速度変更機能による再生速度変更に際して、再生フレームレートの変更を指示する再生速度変更要求受付機能と、をコンピュータに実現させ、
     前記再生速度変更機能は、前記コンテンツ情報管理機能により管理された前記ビットレート情報を取得して用い、前記再生速度変更要求受付ステップにより指示された再生フレームレートを実現するために映像コンテンツを読み出すための各信号別の読み出しビットレートを決定することを特徴とする請求項27に記載のプログラム。
  29.  前記コンテンツ読み出し機能により読み出された前記映像コンテンツに時刻情報を付加する時刻情報設定機能をコンピュータに実現させ、
     前記再生速度変更機能は、再生速度変更の決定を行った場合、前記時刻情報設定機能による時刻情報付加で用いられる前記時刻情報のクロックレートの変更することを特徴とする請求項27又は28に記載のプログラム。
  30.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理機能と、
     前記再生速度変更機能による再生速度変更に際して、再生フレームレートの変更を指示する再生速度変更要求受付機能と、をコンピュータに実現させ、
     前記再生速度変更機能は、前記再生速度変更要求受付機能による再生フレームレートの変更指示を取得し、前記コンテンツ情報管理手段により管理された全信号のビットレートを取得し、ネットワーク使用可能帯域幅を決定し、前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程で、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止し、前記読み出しビットレートの変更をしなかった階層以上の拡張信号の読み出しを停止する指示を行うことを特徴とする請求項27から29のいずれか1項に記載のプログラム。
  31.  前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理機能と、
     前記再生速度変更機能による再生速度変更に際して、再生フレームレートの変更を指示する再生速度変更要求受付機能と、をコンピュータに実現させ、
     前記再生速度変更機能は、前記コンテンツ情報管理手段により管理された前記ビットレート情報として各信号のビットレートを取得し、前記再生速度変更要求受付機能による再生フレームレートの変更指示として映像再生フレームレートの倍率を取得し、前記各信号のビットレートと前記映像再生フレームレートの倍率との積を算出して読み出しビットレートの変更を行うことを特徴とする請求項27から30のいずれか1項に記載のプログラム。
  32.  前記コンテンツ読み出し機能により読み出された前記映像コンテンツに時刻情報を付加する時刻情報設定機能をコンピュータに実現させ、
     前記再生速度変更機能は、再生速度変更の決定を行ったときに、前記時刻情報設定機能による時刻情報付加で用いられる前記時刻情報のクロックレートを再生速度の変更倍率で除した値に変更することを特徴とする請求項27から31のいずれか1項に記載のプログラム。
  33.  階層状に構成された基本信号及び1以上の拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置で用いられるプログラムであって、
     コンピュータに、
     前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すとともに各信号別の読み出しビットレートを指定して前記映像コンテンツの再生速度を変更する前記映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求機能と、
     前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード機能と、
     を実現させることを特徴とするプログラム。
  34.  前記デコード機能は、入力される映像コンテンツ中に含まれる信号識別子を読み出して信号の種別を識別し、該識別を繰り返して前記映像コンテンツ中に含まれない前記拡張信号を特定し、前記映像コンテンツ中に含まれない前記拡張信号の中で最も下位の階層を特定し、前記特定した最も下位の階層より下の階層の前記拡張信号と前記基本信号とについてデコード処理を行うことを特徴とする請求項33に記載のプログラム。
  35.  請求項27から34のいずれか1項に記載のプログラムを記録しコンピュータ読み取り可能なことを特徴とする記録媒体。
PCT/JP2009/052785 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法 WO2009104639A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/866,827 US8572670B2 (en) 2008-02-20 2009-02-18 Video distribution device, video distribution system, and video distribution method
JP2009554344A JP5257367B2 (ja) 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-038818 2008-02-20
JP2008038818 2008-02-20

Publications (1)

Publication Number Publication Date
WO2009104639A1 true WO2009104639A1 (ja) 2009-08-27

Family

ID=40985517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/052785 WO2009104639A1 (ja) 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法

Country Status (3)

Country Link
US (1) US8572670B2 (ja)
JP (1) JP5257367B2 (ja)
WO (1) WO2009104639A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125158A1 (ja) * 2012-02-21 2013-08-29 パナソニック株式会社 映像出力装置
JP2014525190A (ja) * 2011-07-21 2014-09-25 ロッサト、ルカ 層状の信号品質階層の再構成データの送信
JPWO2014034463A1 (ja) * 2012-08-27 2016-08-08 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10099321B2 (en) 2012-12-26 2018-10-16 Harima Chemicals, Inc. Flux and solder paste

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572670B2 (en) * 2008-02-20 2013-10-29 Nec Corporation Video distribution device, video distribution system, and video distribution method
KR20110071707A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 동영상 컨텐트 제공 방법 및 그 장치, 동영상 컨텐트 재생 방법 및 그 장치
US8925021B2 (en) 2011-07-11 2014-12-30 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for trick play in over-the-top video delivery
US9560392B2 (en) * 2012-09-07 2017-01-31 Google Inc. Dynamic bit rate encoding
US10015111B2 (en) * 2013-03-15 2018-07-03 Huawei Technologies Co., Ltd. System and method for steering packet streams
US9088813B2 (en) 2013-10-07 2015-07-21 Ericsson Television Inc. Network personal video recorder savings with scalable video coding
JP6911922B2 (ja) * 2017-07-19 2021-07-28 日本電気株式会社 データ配信装置、システム、方法およびプログラム
WO2019204714A1 (en) 2018-04-19 2019-10-24 Cramer Llc Chair having pliable backrest and methods for same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180224A (ja) * 2002-11-29 2004-06-24 Kyocera Corp 動画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法
JP2005130428A (ja) * 2003-09-29 2005-05-19 Ntt Communications Kk 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
JP2005277803A (ja) * 2004-03-25 2005-10-06 Hitachi Ltd 動画像再生装置
WO2006101681A2 (en) * 2005-03-18 2006-09-28 Sharp Kabushiki Kaisha Methods and systems for picture up-sampling

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
JP2002354419A (ja) 2001-05-25 2002-12-06 Sony Corp 記録再生装置および方法、記録媒体、並びにプログラム
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
JP4515465B2 (ja) * 2004-12-24 2010-07-28 パナソニック株式会社 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法
JP2006295645A (ja) 2005-04-12 2006-10-26 Matsushita Electric Ind Co Ltd 特殊再生データ生成方法、配信装置及びビデオ再生システム
US20080025413A1 (en) * 2006-07-28 2008-01-31 John Apostolopoulos Selecting bit rates for encoding multiple data streams
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US8572670B2 (en) * 2008-02-20 2013-10-29 Nec Corporation Video distribution device, video distribution system, and video distribution method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180224A (ja) * 2002-11-29 2004-06-24 Kyocera Corp 動画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法
JP2005130428A (ja) * 2003-09-29 2005-05-19 Ntt Communications Kk 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
JP2005277803A (ja) * 2004-03-25 2005-10-06 Hitachi Ltd 動画像再生装置
WO2006101681A2 (en) * 2005-03-18 2006-09-28 Sharp Kabushiki Kaisha Methods and systems for picture up-sampling

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014525190A (ja) * 2011-07-21 2014-09-25 ロッサト、ルカ 層状の信号品質階層の再構成データの送信
US10873772B2 (en) 2011-07-21 2020-12-22 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
US11695973B2 (en) 2011-07-21 2023-07-04 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
WO2013125158A1 (ja) * 2012-02-21 2013-08-29 パナソニック株式会社 映像出力装置
JPWO2013125158A1 (ja) * 2012-02-21 2015-07-30 パナソニックIpマネジメント株式会社 映像出力装置
JPWO2014034463A1 (ja) * 2012-08-27 2016-08-08 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6004133B1 (ja) * 2012-08-27 2016-10-05 ソニー株式会社 送受信システムおよび送受信方法
JP6004132B1 (ja) * 2012-08-27 2016-10-05 ソニー株式会社 送信装置および送信方法
JP2016220217A (ja) * 2012-08-27 2016-12-22 ソニー株式会社 送信装置および送信方法
JP2016220218A (ja) * 2012-08-27 2016-12-22 ソニー株式会社 送受信システムおよび送受信方法
US10099321B2 (en) 2012-12-26 2018-10-16 Harima Chemicals, Inc. Flux and solder paste

Also Published As

Publication number Publication date
JPWO2009104639A1 (ja) 2011-06-23
US20110010748A1 (en) 2011-01-13
JP5257367B2 (ja) 2013-08-07
US8572670B2 (en) 2013-10-29

Similar Documents

Publication Publication Date Title
JP5257367B2 (ja) 映像配信装置、映像配信システム及び映像配信方法
US8661152B2 (en) Method and apparatus for reducing deterioration of a quality of experience of a multimedia service in a multimedia system
JP5338394B2 (ja) 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
CN112752115B (zh) 直播数据传输方法、装置、设备及介质
US20060037057A1 (en) Method and system of enabling trick play modes using HTTP GET
WO2013008867A1 (ja) 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
JP5322518B2 (ja) 通信方法
US20100064054A1 (en) Remote fast forward and rewind functionality for client devices
EP2413564B1 (en) Method and apparatus for transmitting and receiving streaming data based on RTSP sessions
US20040034870A1 (en) Data streaming system and method
KR100410973B1 (ko) 주문형 비디오 시스템에서 동영상의 스트리밍 방법
KR20120035881A (ko) Http 스트리밍의 표현 스위칭시 자연스런 재생을 위한 스케일러블한 http 스트리밍 전송 방법
WO2008029640A1 (en) Method and device for playing video data of high bit rate format by player suitable to play video data of low bit rate format
JP4526294B2 (ja) ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
JP4315914B2 (ja) 画像再生装置及び画像再生方法
KR20060120285A (ko) 정보 배신 시스템 및 방법과 그 정보 배신 장치, 수신단말기, 정보 중계 장치
JP5151763B2 (ja) 映像配信システム、映像配信装置、映像受信装置、映像配信方法、映像受信方法及びプログラム
US7720067B2 (en) Data transfer apparatus and transfer control method
JP2009171294A (ja) 映像配信システム、映像中継装置、及び映像中継方法
JP5031230B2 (ja) データ送信装置及び方法
JP2006295601A (ja) 通信システム、送信装置および方法、受信装置および方法、並びにプログラム
JP2004159057A (ja) 再生情報配信システム及び再生情報配信方法
JP4794640B2 (ja) 送信装置およびメディアデータ送信方法
JP4528022B2 (ja) 映像配信方法およびシステム
JP6950386B2 (ja) 配信装置、再生装置、配信方法、再生方法、再生プログラムおよびデータ構造

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09712221

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12866827

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009554344

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09712221

Country of ref document: EP

Kind code of ref document: A1